Newsletter #2: pip install 2023 - 科学数据之美

1. Earthformer- A space-time Transformer for Earth system forecasting

传统的地球系统预测依赖于复杂物理模型的数值模拟，计算成本高，对领域的专业知识要求也高。随着过去十年中地球观测数据的爆炸性增长，应用深度学习的数据驱动模型在各种地球系统预测任务中显示出令人印象深刻的潜力。Transformer作为一种新兴的深度学习架构，在自然语言处理等领域取得了广泛的成功。Earthformer是一个用于地球系统预测的时空Transformer。它基于一个通用的、灵活的、高效的时空注意力模块，名为立方体注意力（Cuboid Attention）。其方法是将数据分解成立方体，然后并行运行这些立方体级的自注意（self-attention）模块，最后这些立方体进一步与全局向量的集合相连。

Paper:https://arxiv.org/abs/2207.05833Code: https://github.com/amazon-science/earth-forecasting-transformer**2. PDEBENCH: An Extensive Benchmark for Scientific Machine Learning**PDEBENCH（PDEs Differential Equations）是一个基于偏微分方程的时间相关模拟任务的机器学习模型评估基准套件，由代码和数据组成，以经典数值模拟和机器学习基线为基准，对新型机器学习模型的性能进行评估。PDEBench的特点是支持更多的偏微分方程，包括正向和反向问题，以及各种初始和边界条件以及PDE参数。

Datasets: https://doi.org/10.18419/darus-2986预训练模型: https://doi.org/10.18419/darus-2987Code:https://github.com/pdebench/PDEBenchPaper: https://openreview.net/pdf?id=dh\_MkX0QfrK**3. CloudSEN12 - a global dataset for semantic understanding of cloud and cloud shadow in Sentinel-2**
准确描述云层及其阴影是地球观测界的一个长期问题。CloudSEN12是利用哥白尼计划提供的可分析数据创建的一个新的多时空全球数据集，以促进云和云影探测方面的研究。CloudSEN12有49400个图像斑块，包括（1）Sentinel-2的1C级和2A级多光谱数据，（2）Sentinel-1的合成孔径雷达数据，（3）辅助的遥感产品，（4）不同的手工注释来标记厚云和薄云以及云影的存在，以及（5）八个最先进的云检测算法的结果。Datasets:https://cloudsen12.github.io/Paper:https://doi.org/10.5281/zenodo.7034410**4. SEN2VENµS: a Dataset for the Training of Sentinel-2 Super-Resolution Algorithms**SEN2VENμS是一个开放的数据集，由VENμS卫星在同一天获得的10米和20米无云Sentinel-2图像以及附带的5米分辨率的高分辨率参考资料组成。该数据集涵盖了29个地点，共有132,955个256×256像素的5米分辨率的斑块，可用于训练和比较超分辨率神经网络。

Paper: https://www.mdpi.com/2306-5729/7/7/96Datasets: https://doi.org/10.5281/zenodo.6514159**5. MSNet: 遥感图像的多光谱语义分割网络-multispectral semantic segmentation network for remote sensing images**在遥感影像自动解译的研究中，基于深度卷积神经网络的语义分割得到了快速发展和应用，特征分割精度和网络模型泛化能力逐步提高。然而，大多数网络设计主要面向遥感影像的RGB三个可见光波段，目的是为了能够直接借用成熟的自然影像语义分割网络和预训练模型，但同时造成了遥感影像近红外（NIR）等不可见光波段的光谱信息的浪费和损失。结合多光谱数据在区分水和植被等典型特征方面的优势，我们提出了一种新型的深度神经网络结构，称为多光谱语义分割网络（MSNet），用于对多分类特征场景进行语义分割。将多光谱遥感图像波段分成可见光和不可见光两组，在两个编码阶段采用ResNet-50进行特征提取，在解码阶段采用级联上采样恢复特征图的分辨率，并利用特征金字塔结构将上采样过程中的多尺度图像特征和光谱特征逐层融合，最终得到语义分割结果。

Paper: https://doi.org/10.1080/15481603.2022.2101728Code:https://github.com/taochx/MSNet**6. 神经网络及相关算法的PyTorch实现**
这是一个关于神经网络和相关算法的简单PyTorch实现的集合，包括Transformer, GANS, Reinforcement Learning (ppo, dqn), Capsnet, Distillation等。