登上Nature正刊、欧洲气象中心背书、轻量级方案发布：盘古气象大模型后续进展综述

前言自2022年11月上传arXiv[1]以来，盘古气象大模型受到了气象学界的广泛关注。我们十分感谢同行们提出的意见和建议，它让我们更好地审视这个工作的缺点，也明确了未来的工作方向。在本文中，我们更新8个月内的进展，以期进一步充实对盘古气象大模型的理解。盘古气象大模型的首次文稿，请参见：谢凌曦：华为云提出盘古气象大模型：中长期气象预报精度首次超过传统数值方法，速度提升10000倍以上开源预训练模型盘古气象预训练模型已于2023年3月公开，见此链接。我们公开了论文中使用的1小时、3小时、6小时、24小时模型，使得所有研究者都能够在ERA5数据集上与我们达到相同的测试结果。这些模型的运行速度很快，即使在CPU上，单步迭代需要的时间也不超过1分钟。这意味着每个研究者都可以在自己的个人电脑上，在几分钟内，完成未来7天的高分辨率全球天气预报。登上Nature正刊2023年1月中旬，我们将盘古气象大模型的preprint精简之后，投稿至Nature正刊，题为《Accurate medium-range global weather forecasting with 3D neural networks》。对于这次投稿，我们完全没有把握，因为团队成员没有任何Nature系（包括子刊、通讯等）投稿的经历和经验，被盲拒的可能性比较大。好在Nature的编辑认可了文章的价值，经过一轮沟通后，同意将文章送审。让我们欣喜的是，在首轮评审中，三位审稿人都同意了文章的贡献，当然他们也给出了许多修改意见。其中R1的意见比较有代表性，他认为我们的某些陈述需要弱化，特别是诸如“AI方法超过传统方法”的论述。我们进行了针对性的修改，后续的审稿过程就比较顺利了。在4月中旬，我们得到了accept in principle的结果，并且在5月中旬得到final accept，7月上旬在线发表。正文链接：https://www.nature.com/articles/s41586-023-06185-3正文内容大体与arXiv版本相同。我们根据审稿人的建议，更新了一些结果，例如不同年份、不同区域的确定性预报结果，以及集成预报的两个新指标。我们也改变了可视化图的配色，使其更符合气象学界的要求。在论文接收以后，三位审稿人都选择了公开身份和审稿意见，完整审稿意见请参看此链接。三位审稿人的部分正面意见摘抄如下：R1 (Martin G. Schultz): I am convinced that the paper makes an important contribution to the field and that it is scientifically and technically sound.R2 (Matthew Chantry): The results themselves are a significant step beyond previous results. This work will, in my opinion, make people reevaluate what forecasting models might look like in the future.R3 (Imme Ebert-Uphoff): Our group picked one trained model, the 24h forecast model, and I can confirm that it is very easy to download and run it. It just took us one afternoon to get this to work, and it executed quickly on even a desktop computer. This means that anyone in the meteorological community can now run and test these models to their heart's desire. What a great opportunity for the community to explore how well the model predicts specific meteorological phenomena. Now THAT's going to help with progress in the field.在此，我们非常感谢三位审稿人。第一位审稿人是慕尼黑工业大学的Martin G. Schultz教授，作为非常资深的气象学家，他几乎逐字逐句地读了我们的文章，并且巨细靡遗地给出了修改意见。我们对他的治学态度十分尊敬。第二位审稿人是欧洲气象中心的‪Matthew Chantry博士，他追问了许多实现细节，或许也希望复现AI方法。第三位审稿人是科罗拉多州立大学的Imme Ebert-Uphoff教授，她仔细测试了我们发布的模型，认为这些模型将推动业界的研究。有趣的是，Imme Ebert-Uphoff教授还应邀为Nature撰写了一篇观点性文章，题为《The outlook for AI weather prediction》。这篇文章与我们的文章同日在线发表（见此链接），进一步补充说明了我们工作的价值。这次投稿，也让我们学到很多。Nature的投稿有一定套路。除了文章中取得的突破以外，还有一些加分项。例如投稿应该按照Nature的风格（多参考以往发表的同领域文章）、不要overclaim（这点我们没做好，第一轮的投稿踩到了很多雷区）、要提供足够的细节供复现，等。从审稿记录中可以看到，我的英文写作并不能让审稿人满意：R1指出了许多语法错误（没指出的还有更多），而R3直接用clumsy来评价我的写作。AI领域对于写作的要求普遍偏低（可能非native speaker太多，大家习惯了各种不标准的英文写作），给我一种自己写作还可以的错觉。最后，开源开放也是至关重要的。关于这次投稿的经验，将来有空的话，我会单独写一篇文章来分享。欧洲气象中心背书早在去年11月，欧洲气象中心（ECMWF）就通过邮件与我们联系，陆续进行了不少沟通。在2023年2月，我们的模型开放以后，欧洲气象中心非常积极地测试了我们的模型，随后给出了一系列测试报告。第一次，ECMWF的技术报告，3月30日。报告文件见此链接。报告的作者是Matthew Chantry（也就是我们的R2）。作者在一张展示盘古结果的大图中配文“landscape has changed in 2 years”，并且表明他们测试了盘古模型，发现其在确定性预报和一些天气过程（如冬季风暴Friederike）的预报中表现良好。图1：局面发生了变化，人们开始重新审视AI气象预报的能力（图源：ECMWF的技术报告）图2：盘古模型在冬季风暴Friederike的预报上表现良好（图源：ECMWF的技术报告）第二次，ECMWF在世界气象组织（WMO）研讨会上的发言，5月27日。会议信息见此链接，其中最后一个段落有会议议程链接，里面可以找到所有发言人的slides。在这次报告中，ECMWF的执行总裁Florence Rabier大篇幅提及了盘古模型。ECMWF称，盘古模型提供了一种“undeniable skill”，并且在推理功耗上显著低于传统方法（相当于大象和蚂蚁的差别）。同时，ECMWF还充分测试了盘古模型，发现其在包括冬季风暴、夏季风暴、发生在芬兰的寒潮、发生在伊比利亚半岛的热浪等天气现象中，都展现出良好的结果。图3：AI气象预报展示出了不可否认的能力，在某些方面超越了传统数值方法（图源：ECMWF报告的slides）图4：AI气象预报所消耗的能源，远远少于传统方法（图源：ECMWF报告的slides）图5：IFS、盘古、FourCastNet在风暴Otto预报上的对比（图源：ECMWF报告的slides）图6：IFS、盘古、FourCastNet在芬兰的一次寒潮预报上的对比（图源：ECMWF报告的slides）图7：IFS、盘古、FourCastNet在伊比利亚半岛热浪预报上的对比（图源：ECMWF报告的slides）在这次会议中，我也代表盘古团队发言。除了ECMWF大篇幅提及盘古模型以外，英国气象局、法国气象局、NVIDIA和Google的报告中也多次提及盘古模型。顺带一提，此次会议的主题是Early Warnings for All，即建立起能够普惠全球所有人的早期灾害预警系统。WMO正致力于为最不发达国家提供廉价的气象预报服务，而AI方法得益于其低廉的推理代价，正使得这一愿景成为可能。图8：英国气象局正在构建框架以测试盘古模型（图源：英国气象局报告的slides）图9：法国气象局对于盘古模型的初步测试结果（图源：法国气象局报告的slides）第三份报告，ECMWF的技术博客，6月20日。博客原文见此链接。在这篇题为“the rise of machine learning in weather forecasting”的博客中，Matthew Chantry（还是我们的R2）大致总结了过去两年间AI在气象预报的发展，并指出新的方法给ECMWF带来了很大的冲击。图10：盘古与IFS高分辨率模型的热带气旋预报误差对比（图源：Matthew Chantry的博客）图11：IFS、盘古和FourCastNet对热带气旋Freddy的预报结果对比（图源：Matthew Chantry的博客）此外，ECMWF还与我们团队多次通过邮件沟通。在盘古模型开源后，ECMWF的研究人员们还编写了一个开源工具（见此链接），将盘古模型与他们的系统接口融合起来，更加方便了用户的使用。作为世界领先的气象预报组织、传统气象预报方法的统治者，ECMWF的危机意识很强，对于新技术的关注度非常高，并没有因为AI对于传统方法的冲击而排斥AI。我想到一句话：技术的发展不以人的意志为转移。虽然当前AI还有诸多缺陷，但AI的进化速度很快，潜力巨大。假以时日，AI一定会成为气象预报的强大助力。轻量级训练方案发布为了让更多研究人员能够训练气象预报模型，我们改进了训练方案，提出了一种轻量级的模型。相比于原文使用的版本（4个模型，每个模型192块V100训练16天，需要从ECMWF下载60TB数据），我们的轻量级方案只需要1%左右的计算代价（1个模型，8块V100训练3或6天，需要从ECMWF下载不到1TB数据）。主要改动包括：修改网络结构，使用更大倍数的下采样使用更少的训练数据，从39年减少到11年，同时每天只采样UTC-00点的数据只训练24小时预报模型图12：盘古轻量级训练方案及测试结果与GPU消耗对比修改细节和训练效果如图所示。可以看出，即使在轻量级的训练方案下，盘古模型的3天、5天、7天确定性预报结果，仍然大部分超越了ECMWF的IFS系统。我们相信，这样一种轻量级方案，将吸引更多AI研究者来探索气象预报领域。总结北京时间7月5日晚11点，我们的文章如期在线发表。我们很荣幸被多家新闻媒体报道，包括国内的观察者网、量子位，以及国外的MIT Technology Review等。《Nature》刊发华为云盘古大模型最新成果 盛赞：重新审视气象预报的未来华为大模型登Nature正刊！审稿人：让人们重新审视预报模型的未来New AI systems could speed up our ability to create weather forecasts虽然盘古气象模型在一定程度上得到了业界的认可，但前方的路还有很长，未解决的问题还有很多。我们期待与更多同仁一起，继续探索AI在气象预报以及更广阔的科学领域的应用。《Nature》刊发华为云盘古大模型最新成果 盛赞：重新审视气象预报的未来虽然盘古气象模型在一定程度上得到了业界的认可，但前方的路还有很长，未解决的问题还有很多。我们期待与更多同仁一起，继续探索AI在气象预报以及更广阔的科学领域的应用。New AI systems could speed up our ability to create weather forecasts 虽然盘古气象模型在一定程度上得到了业界的认可，但前方的路还有很长，未解决的问题还有很多。我们期待与更多同仁一起，继续探索AI在气象预报以及更广阔的科学领域的应用。《Nature》刊发华为云盘古大模型最新成果 盛赞：重新审视气象预报的未来虽然盘古气象模型在一定程度上得到了业界的认可，但前方的路还有很长，未解决的问题还有很多。我们期待与更多同仁一起，继续探索AI在气象预报以及更广阔的科学领域的应用。未来如有更多进展，也将在此一并更新。 来源：知乎 www.zhihu.com 作者：谢凌曦 【知乎日报】千万用户的选择，做朋友圈里的新鲜事分享大牛。 点击下载