2900 字
15 分钟
生成式人工智能模型颠覆传统天气预报

准确的天气预报可以对人们的生活产生直接影响,既可以帮助人们做出日常决定,比如为一天的活动准备什么,也可以为紧急行动提供信息,比如在危险天气条件下保护人们。准确及时的天气预报的重要性只会随着气候变化而增加。认识到这一点,我们谷歌一直在投资天气和气候研究,以帮助确保未来的预报技术能够满足对可靠天气信息的需求。我们最近的一些创新包括 MetNet-3(提供未来 24 小时内的高分辨率天气预报)和 GraphCast(一种可以预测未来 10 天天气的天气模型)。

天气本身具有随机性。为了量化不确定性,传统方法依靠基于物理的模拟来生成一系列预报。然而,要生成大量的集合预报,以便准确辨别和描述罕见的极端天气事件,计算成本很高。

**Google提出了一种名为SEEDS的生成式人工智能模型,旨在加快天气预报的进展,近期发表在《科学进展》(Science Advances)上。**SEEDS 是一种生成式人工智能模型,可以高效地生成大规模天气预报集合,而成本仅为传统物理预报模型的一小部分。这项技术为天气和气候科学带来了新的机遇,它代表了概率扩散模型在天气和气候预报领域的首次应用,而概率扩散模型是最近媒体生成技术进步背后的一种生成式人工智能技术。

概率预报的必要性:蝴蝶效应

1972 年 12 月,在华盛顿特区举行的美国科学促进会会议上,麻省理工学院气象学教授Ed Lorenz发表了题为 “巴西的蝴蝶扇动翅膀会引发德克萨斯州的龙卷风吗?“的演讲,这就是 “蝴蝶效应 “一词的由来。他在 1963 年发表的一篇具有里程碑意义的论文基础上,研究了 “超长程天气预报 “的可行性,并描述了初始条件的误差在与数值天气预报模型进行时间整合时是如何呈指数增长的。这种指数误差增长被称为 “混沌”,它导致了确定性可预测性的极限,限制了在决策中使用单个预报,因为它们无法量化天气条件固有的不确定性。这在预报极端天气事件(如飓风、热浪或洪水)时尤其成问题。

由于认识到确定性预报的局限性,世界各地的气象机构都会发布概率预报。此类预报基于确定性预报的集合,每个集合都是通过在初始条件中加入合成噪声和在物理过程中加入随机性而生成的。利用天气模型中的快速误差增长率,集合中的预报是有目的性的,即初始不确定性被调整以产生尽可能不同的运行,天气模型中的随机过程在模型运行期间引入了额外的差异。通过对集合中的所有预报进行平均,误差增长得到缓解,而集合预报中的变化则量化了天气条件的不确定性。生成这些概率预报虽然有效,但计算成本很高。它们需要在大型超级计算机上多次运行高度复杂的数值天气模型。因此,许多业务天气预报只能为每个预报周期生成约 10-50 个集合成员。这对于关注罕见但影响大的天气事件可能性的用户来说是个问题,因为这些事件通常需要更大的集合来评估几天后的天气。例如,要预报发生概率为 1%、相对误差小于 10%的事件,就需要 10,000 个集合。

SEEDS:人工智能带来的进步

在论文中,研究团队介绍了SEEDS:the Scalable Ensemble Envelope Diffusion Sampler,这是一种用于天气预报集合生成的人工智能生成技术。SEEDS 基于去噪扩散概率模型,这是一种最先进的生成式人工智能方法,部分由谷歌研究院首创。

SEEDS 可以根据运行中的数值天气预报系统中少至一两次的预报生成大型集合。生成的集合不仅能产生类似真实天气的可信预报,而且在技能指标(如等级直方图(rank histogram)、均方根误差(RMSE)和连续等级概率分数(CRPS))上也能与基于物理学的集合相媲美,甚至更胜一筹。特别是,生成的集合为预报分布的尾部,如±2σ和±3σ天气事件分配了更准确的可能性。最重要的是,与超级计算机进行一次预报所需的数小时计算时间相比,该模型的计算成本可以忽略不计。它在谷歌云 TPUv3-32 实例上的吞吐量为每 3 分钟 256 个集合成员(分辨率为 2°),并可通过部署更多加速器轻松扩展到更高吞吐量。

生成可信的天气预报

众所周知,生成式人工智能可以生成非常详细的图像和视频。这一特性对于生成符合可信天气模式的集合预报尤其有用,而可信天气模式最终会为下游应用带来最大的附加值。正如洛伦兹指出的,“它们生成的(天气预报)地图应该看起来像真实的天气图”。下图对比了 SEEDS 与美国业务化天气预报系统(全球集合预报系统,GEFS)对 2022 年欧洲热浪期间某一特定日期的预测结果。研究团队还将结果与高斯模型的预测结果进行了比较,高斯模型预测每个地点每个大气场的单变量平均值和标准偏差,这是一种常见的计算效率高但不太复杂的数据驱动方法。这种高斯模型旨在描述点后处理输出的特征,它忽略了相关性,并将每个网格点视为独立的随机变量。相比之下,真实的天气图会有详细的相关结构。

由于 SEEDS 直接模拟大气状态的联合分布,因此它能真实地捕捉到对流层中部位势和平均海平面气压之间的空间协方差和相关性,这两者密切相关,通常被天气预报员用于评估和验证预报。平均海平面气压的梯度是海面风的驱动力,而对流层中层位势的梯度则会产生上层风,从而推动大尺度天气模式。

下图所示 SEEDS 生成的样本(Ca-Ch 帧)显示了葡萄牙以西的位势槽,其空间结构与美国业务预报或基于观测资料的再分析中的位势槽相似。虽然高斯模型能充分预测边际单变量分布,但它未能捕捉到跨场或空间相关性。这阻碍了对这些异常可能对来自北非的热空气入侵产生的影响的评估,而热空气入侵会加剧欧洲上空的热浪。

2022/07/14 0:00 UTC 时欧洲上空的气压图。等值线表示平均海平面气压(虚线表示 1010 hPa 以下的等压线),热图表示 500 hPa 气压水平的位势高度。(A) ERA5 再分析,代表真实观测数据。(Ba-Bb)美国 7 天业务预报中的 2 个成员,作为我们模型的种子。(Ca-Ch)从 SEEDS 中提取的 8 个样本。(Da-Dh)从 7 天美国业务集合预报中提取的 8 个非种子样本。(Ea-Ed)4个取自点式高斯模型的样本,参数为整个美国业务集合的均值和方差。

更准确地极端天气事件预测

下图显示了当地时间 2022/07/14 1:00 发生极端高温事件期间里斯本附近 2 米处的温度和总水汽柱的联合分布。作者使用了 2022/07/07 发布的 7 天预报。对于每幅图,使用 SEEDS 生成了 16,384 个成员的集合。ERA5观测到的天气事件用星号表示。图中还显示了运行集合,正方形表示用于生成集合种子的预报,三角形表示集合的其他成员。

根据美国的业务集合预报,7 天前观测到的事件不太可能发生,其 31 个成员中没有一个预测到近地面温度与观测到的温度一样高。事实上,根据高斯核密度估计计算出的事件概率低于 1%,这意味着少于 100 个成员的集合不可能包含像这次事件这样极端的预测。相比之下,SEEDS集合能够从两个播种预报中进行推断,提供一个可能的天气状态包络,对该事件的统计覆盖率要高得多。这样既能量化事件发生的概率,又能对事件发生时的天气状况进行采样。具体来说,我们的生成方法具有高度可扩展性,可以创建非常大的集合,通过为任何用户定义的诊断提供超过给定阈值的天气状态样本,从而描述非常罕见的天气事件。

SEEDS 为 2022/07/14 欧洲极端高温事件提供了更好的统计覆盖范围,用棕色星星表示。每幅图都显示了葡萄牙里斯本附近网格点上的总柱积分水汽(TCVW)值与温度的关系,这些数值来自我们的模式生成的 16,384 个样本(显示为绿点),条件是取自 7 天美国业务集合预报的 2 个种子(蓝色正方形)(用较稀疏的棕色三角形表示)。有效预报时间为当地时间 1:00。实线等高线水平对应于 SEEDS 内核密度的等比例,最外层的等高线包围了 95% 的质量,每个等高线水平之间的等比例为 11.875%。

总结和展望

  • 传统认为天气预报依赖复杂的物理模型和超级计算机,但这项工作表明生成式人工智能可以在很低的计算成本下取得更好的效果,尤其在预测极端天气事件概率方面。
  • 生成式人工智能和扩散模型是一个非常有前景的方向,可以应用到传统的科学和工程领域,提供新的解决方案。
  • 在不确定性量化和概率预测方面,基于数据和机器学习的方法可能比传统的物理模拟更有优势。
  • 跨学科融合将产生更多突破,比如这里就是AI技术与天气预报的结合。
  • 这种方法为目前的业务天气预报模式提供了一种替代方案,统计模拟器节省下来的计算资源可用于提高基于物理模型的分辨率或更频繁地发布预报。

References:

论文:https://doi.org/10.1126/sciadv.adk4489

代码:

https://github.com/google-research/google-research/tree/master/seeds

生成式人工智能模型颠覆传统天气预报
https://blog.scidatalab.net/posts/生成式人工智能模型颠覆传统天气预报/
作者
Echo
发布于
2024-03-30
许可协议
CC BY-NC-SA 4.0