地球表面约71%被水覆盖,但迄今为止,仅有一小部分通过直接观测进行了测绘。准确、详细和高频率的水深数据,并结合复杂的语义内容,对于受到气候变化和人类活动影响的未充分测绘的浅海沿海地区至关重要。

一方面,声学方法在浅水区效率低下,受到波浪和暗礁的影响,并因多路径误差而失效;另一方面,激光雷达(LiDAR)成本高昂,且均缺乏视觉信息。为了解决这些问题,现如今广泛使用航空和卫星图像。光谱导出的水深(SDB)基于辐射强度随水深和波长的衰减,可以覆盖大面积的浅水区。目前,许多从遥感图像中反演水深或海底分类的方法依赖于非开放的数据源,这限制了深度学习技术在该领域的广泛应用。

多模态数据集MagicBathyNet

MagicBathyNet是为解决这些问题而推出的数据集,这是一个新的多模态基准数据集,旨在支持在浅水区的基于机器学习的水深测绘和基于像素的海底分类。该基准数据集包括来自Sentinel-2和SPOT-6的卫星影像,以及航空摄影图像,配有相应的水深数据和不同海底分类类型的注释。该数据集包含:
- 来自Sentinel-2、SPOT-6和航空影像的图像块
- 栅格格式的水深数据
- 海底类别的注释
MagicBathyNet包含3355个Sentinel-2 (S2)、SPOT-6和航空影像的RGB三元组图像块,补充了1244个S2和SPOT-6的RGB二元组,3354个航空影像的数字表面模型(DSM)栅格块和3396个S2和SPOT-6的DSM栅格块。此外,它还包含533个标注的海底栖息地和类型的栅格块,支持基于有监督的像素分类。每个图像块覆盖180x180米的区域,在S2影像中用18x18像素表示,在SPOT-6影像中用30x30像素表示,在航空影像中用720x720像素表示。
MagicBathyNet主要特点
包括:
- 多模态数据集:该数据集结合了不同来源的图像(卫星和航空),为深度学习模型提供了丰富的输入数据,增强了模型的泛化能力。
- 标注和无标注样本:数据集中包含533个标注的海底栖息地和类型的栅格补丁,支持监督学习。同时,数据集中还有大量未标注样本,可用于自监督学习和模型预训练。
- 高覆盖率和多样性:数据集覆盖了两个不同的沿海区域(塞浦路斯的Agia Napa和波兰的Puck Lagoon),代表了不同的水柱特征和底部类型,这有助于提高模型在各种环境下的适用性和准确性。
- 深度学习模型的基准测试:MagicBathyNet被用于评估最先进的深度学习方法,如修改后的U-Net架构,专门用于从RGB图像中估计水深。为各种深度学习模型提供了一个公开的基准,促进了算法的开发和评估,使研究人员能够测试和比较不同的学习方法在水深反演和海底分类任务中的表现。

MagicBathyNet应用场景
MagicBathyNet的主要应用场景包括:
- 水深反演:该数据集支持基于学习的水深估计,利用遥感图像数据来准确获取浅水区的水深信息。
- 海底分类:通过提供海底栖息地和类型的注释,MagicBathyNet促进了基于像素的监督分类,帮助研究人员识别和分类不同的海底特征。
- 环境监测:该数据集特别适用于监测受到气候变化和人类活动影响的沿海地区,为管理和保护这些脆弱生态系统提供重要数据支持。
- 自监督学习任务:数据集中包含大量未标注样本,允许研究人员通过自监督学习进行模型的预训练,从而提高模型在特定任务上的性能


通过公开数据集和预训练权重,能够使更多研究人员开发和测试用于水深测绘和海底栖息地分类的先进机器学习模型,促进先进机器学习技术(如BenthicNet和NEURSS中描述的方法)在浅海底测绘和监测领域的更广泛应用。
数据、代码和预训练模型
- **数据:**https://zenodo.org/records/10470959
- **代码和模型权重:**https://github.com/pagraf/MagicBathyNet
- **论文:**https://arxiv.org/abs/2405.15477
本公众号相关内容推荐
- Argo海洋观测数据处理分析python库:ArgoPy
- 在Jupyter环境中创建交互式可视化地图
- 处理和可视化地理空间数据的Python库:EarthPy
- 地理空间深度学习python库:TorchGeo
- 遥感数据分析python库scikit-eo
- 图网络的应用场景及图分析python库
- 使用Python和NetworkX创建并可视化图网络(Graph Network)
- OpenResearcher:一个开源科学研究AI助理
- NeuralGCM: 一种融合机器学习与物理原理来模拟地球大气的新方法
- Transformer Explainer:文本生成模型交互式可视化工具
- 用于探索性数据分析(EDA)的开源python库
- 分享一个构建交互式D3js可视化的Python库
- 推荐15个图网络可视化python软件包
- 9个提升科研效率的软件工具
- 生成式人工智能模型颠覆传统天气预报
- 分享5个python可视化图表工具
- 分享17个网络(Network)数据可视化工具
- Napari:一个支持分析大型多维图像数据集的python工具
- 地理空间数据分析可视化R软件包汇总
- 大气海洋科学数据可视化案例集#2
- 一个快速检索和下载NASA地球科学数据的Python软件包
- 可视化呈现海洋洋流-墨西哥湾流
- 探索NOAA提供的数据产品资源
- 全球海洋船舶定位数据交互式可视化(附数据)
- 地球科学领域开源python包#1
- 地球科学领域开源python包#2
- 大规模空间矢量数据可视化Python库-lonboard
- 可视化呈现2023年是有气象记录以来最热的一年
- 大气海洋科学数据可视化案例集#1
- 地球科学领域计算分析开源Julia软件包
- 地球观测数据可视化工具
- 地球科学领域计算分析开源Julia软件包