国防科技大学牵头研制全球高分辨率海洋预报大模型“羲和”，预报准确率达到世界先进数值预报业务系统水平！

2024年2月5日，国防科技大学气象海洋学院联合复旦大学大气与海洋科学系、中南大学计算机学院等单位，在Arxiv上在线公布了论文 《XiHe: A Data-Driven Model for Global Ocean Eddy-Resolving Forecasting》（https://arxiv.org/abs/2402.02995） ，该论文详细介绍了数据驱动的全球1/12°高分辨率海洋预报大模型“羲和”。论文将“羲和”与法国PSY4、加拿大GIOPS、澳大利亚OceanMPAS、英国FOAM等国际主流海洋环境数值预报业务系统进行了两年预报结果的对比，评测结果显示“羲和”预报准确率达到世界先进全球数值预报业务系统水平，实现了海洋智能预报领域的重大突破。
% M( H! H  T% Z. e$ I+ t5 N) I

                               
登录/注册后可看大图

图1 “羲和”全球海洋预报大模型论文
8 y( ^+ c' ^1 h4 h  K气象智能预报大模型的兴起与海洋智能预报大模型的缺失
现有世界先进全球海洋预报业务系统（如PSY4、GIOPS、RTOFS等）均采用数值预报方法，通过求解物理规律建立的偏微分方程实现对未来海洋环境状态的预报，已在海洋环境预报保障方面得到广泛应用。
近年来，以深度学习为代表的人工智能技术在气象预报领域取得了重要进展，以英伟达的FourCastNet、谷歌的GraphCast、华为的盘古、上海人工智能实验室的风乌和复旦大学的伏羲等为代表的一系列气象智能预报大模型相继涌现。它们不仅在速度上实现了“秒级”全球中期天气预报，在预报能力方面也达到了当前最先进数值预报业务预报系统水平。2023年7月和11月，《Nature》和《Science》相继刊登相关成果，在引发广泛关注的同时，也反映了气象智能预报大模型的强劲性能和巨大潜力。
现阶段的智能预报大模型主要集中于全球气象预报领域，尚无与业务系统水平相当的全球海洋环境预报大模型出现。全球海洋预报与气象预报的不同点主要表现在以下两个方面：（1）不同于连通的大气环境，海洋环境被大陆和岛屿划分为多个具有不同特征的区域，如何同时准确建模不同区域复杂的内部变化规律和相互影响机制成为难点；（2）全球海洋环境业务预报系统的水平分辨率大多为1/12度，高于全球气象预报大模型的1/4度，构建1/12度的全球海洋智能预报大模型将需要远大于气象预报大模型的计算资源，如何构建更加高效的预报大模型成为难点。
全球高分辨率海洋环境预报大模型“羲和”
- A9 g4 p5 m  F" Z1 s/ O& j针对前述现状及挑战，由国防科技大学气象海洋学院牵头，联合复旦大学大气与海洋科学系、中南大学计算机学院等单位，研制了首个数据驱动的全球1/12°高分辨率海洋环境预报大模型“羲和”。“羲和”是中国的传统神话中的太阳神，具备掌握时间和日月星辰运行规律的能力。同时，据《尚书·胤征》记载，中国在夏代设立“羲和”，负责“掌天地四时”。
/ E# @$ n0 A9 H“羲和”海洋预报大模型利用1993年到2017年共25年的GLORYS12海洋再分析数据、ERA5大气再分析数据以及CMEMS提供的海表面温度卫星观测数据进行训练，论文训练的模型将在Github（https://github.com/Ocean-Intelligent-Forecasting/XiHe-GlobalOceanForecasting）上公布，主要贡献如下：
8 F# ^5 N  E; s2 F, {（1）性能高。以法国麦卡托预报中心的GLORYS12再分析数据作为初始场，“羲和”开展了2019-2020为期两年的预报实验，并通过权威的世界海洋环境业务预报系统评测框架IV-TT，以及浮标和卫星等观测数据的评测显示，“羲和”在海水温度剖面、盐度剖面、海表流场、海平面高度等评测要素上，比法国PSY4、加拿大GIOPS、澳大利亚OceanMPAS（BLK）、英国FOAM等当前世界主流的业务预报系统具有更好的性能。
（2）推理快。“羲和”在单块GPU卡上平均仅需3.6秒即可完成1到10天的全球海洋环境逐日预报，比数值预报业务系统快1000倍以上。
（3）时效长。“羲和”可生成长达60天的海流预测结果，且准确率优于世界先进的海洋环境业务预报系统PSY4的10天预报结果。
（4）架构新。“羲和”设计了Ocean-Land掩码机制以排除陆地区域数据对模型学习的影响，使模型能专注于学习海洋环境的内在机理；设计实现了Ocean-specific Block，使得模型训练的计算复杂度与输入数据的大小成线性关系，并通过“组传播机制”学习海洋环境之间的遥相关关系。
0 `4 d/ T6 i$ D+ h模型架构
6 I3 ]6 l& L0 Z, c8 C) z# @% Q“羲和”在Swin-Transformer架构基础上，引入了Ocean-Land Mask机制和组传播机制。其主体结构如图2所示，包括Ocean-Specific Transformer模块，一个下采样模块和一个上采样模块组成。
Ocean-Specific Transformer模块是“羲和”海洋预报大模型的核心，它由5个连续的Ocean-Specific Block组成，其中第1个和第5个Block包括1个局部空间信息提取模块（Local Spatial Information Extraction）和1个全局空间信息提取模块（Global Spatial Information Extraction）模块，第2到第4个Block则包括2个连续的局部空间信息提取模块和1个全局空间信息提取模块。
3 [1 f3 i  X2 l6 k$ I  L% s

                               
登录/注册后可看大图

/ E2 Z' ]% a1 y: z
图2 “羲和”模型总体框架示意图
" a! C( ^! N; }$ O+ [' v$ K如 图 3 所示，局部空间信息提取模块基于窗口注意力机制将自注意力计算范围限制在局部窗口内，其计算复杂度与输入数据的大小成线性关系，有效降低高分辨率数据计算全局自注意力时的计算开销。而全局空间信息提取模块则基于组传播机制实现特征相似区块的分组聚合以及不同海域独有特性的捕获建模，从而允许跨窗口的信息交换以及远距离区域间全局关联信息的学习，其计算复杂度也与输入数据的大小成线性关系。
. U; K1 h+ S2 D3 p

                               
登录/注册后可看大图

" v5 ^7 n: T9 S图3 局部空间信息提取模块和全局空间信息提取模块示意图
, G4 P9 ?/ r0 U' Y& q2 {' A与Swin-Transformer的通用非相邻窗口Masking机制不同，“羲和”海洋预报大模型基于全球海洋陆地数据专门设计了Ocean-land Masking机制，用于在自注意力机制计算过程中排除陆地部分数据的干扰。通过排除29.2%陆地区域的数据，可降低模型训练的计算量。
0 Y$ y! q1 Q6 S# a  d- P) T; Q+ o实验结果
在评测过程中，论文基于权威的IV-TT评测框架、浮标观测数据和卫星观测数据，检验“羲和”海洋预报大模型在海水温度剖面、盐度剖面、海表流场、海平面高度等评测要素和多尺度海洋过程方面的预报能力，并将其与法国PSY4、加拿大GIOPS、澳大利亚OceanMPAS（BLK）、英国FOAM等国际主流海洋环境数值预报业务系统进行了两年预报结果的比较。
/ C* f; G7 b0 l  P图4和图5展示了“羲和”海洋预报大模型在2019年和2020年IV-TT框架上的评测结果，结果证明羲和在海水温度剖面、盐度剖面、海表流场、海平面高度等要素上的预报精度优于对比的数值预报业务系统。
3 C/ t3 e/ ~/ s

! c( N* J5 l$ {! U. t/ N                               
登录/注册后可看大图

, h  A! s) b: B
图4 “羲和”与其他四个世界先进数值预报业务系统在IV-TT框架上的评测结果，其中x轴表示预报时长，y轴表示预报结果的RMSE值（越低越好），其中每个RMSE值均为2019年1月1日至2020年12月31日两年间所有垂向层均方根误差的平均值。
4 K6 q. ^  f; B8 X" z. V1 _

. v5 ?, O- z4 F3 d6 ^, ?                               
登录/注册后可看大图

: C+ @) i7 }4 _+ V/ ]( K) C
* g  N- u# q( w/ [6 {3 Q图5 不同全球海洋环境预报系统的温度、盐度RMSE剖面图。预报时长为1天至10天，每个预报时长的RMSE值为2019年1月1日到2020年12月31日两年间的所有垂向层均方根误差的平均值。
) J, N2 K# [: |. p& \
图 6 展示了 “羲和”针对阿古拉斯洋流、黑潮和湾流等大尺度环流的预报结果， 图 7 展示了其中尺度涡旋的预测结果，从图中可以看出， “羲和”能够较好地预报大尺度海洋环流和中尺度涡旋。

                               
登录/注册后可看大图

& L" U) a6 @: O8 K图6 2019年9月1日的海流流速预报对比结果，其中左图为作为GLORYS12再分析数据的结果，右图为“羲和”预报时长为5天的结果，图中箭头指示海洋流动的方向，颜色深浅代表海洋流速的强度。

                               
登录/注册后可看大图

图7 2019年8月1日的中尺度涡识别情况对比图，包括CMEMS观测数据、GLORYS12再分析数据和“羲和”预报结果（预报时长为1天和4天），其中虚线表示气旋性涡旋，实线表示反气旋性涡旋。


1 ]& H( U* Z: ?$ X3 a- {' E! U信息来源：国防科技大学。