|
LLC4320模式简介 LLC4320是MITgcm 1/48°全球海洋模式，其诞生的直接原因是为即将到来的SWOT任务提供高分辨率的全球海洋模拟。 LLC4320模式在多个方面具有开创性，特别是其高空间分辨率（全球分辨率在 1 到 2 公里之间）、潮汐驱动、高频（每小时）输出，其海面高度信号中包含了内潮、内波、地转平衡等信号。除了在SWOT相关工作取得应用之外，该模式也在海洋亚中尺度、内波等研究方向得到了广泛应用。 " R$ j3 c5 ?0 w" d* Y0 q% x3 Q9 {" B
该模式主要特征是： " N7 h* f" s& [7 s
- • 全球覆盖（包含极地）
- • 垂向90层
- • 分辨率1/48°
- • 全球海洋分成13个face，每个face的网格数为4320*4320
- • 时间采样是1小时，总计时间维度9030
- • 共14 个月（2011 年 9 月至 2012 年 11 月）
- • 数据量巨大，PB级别
- • 以MDS自定义二进制数据格式存储，为MITgcm独有
- • 模型网格复杂，为lat-lon-cap (LLC) 曲线网格 ，很难在常规地图投影中可视化。
6 M/ R* y% D( a: v0 a; K
在数据发布之初，该数据集存储在高度安全的NASA超级计算机上，只有获得NASA资助的研究人员才能访问。 后来，NASA Ames研究中心创建数据共享网站（https://data.nas.nasa.gov/ecco/），开放了LLC4320数据。任何人都可以通过互联网访问数据。在此网站上，您可以单击下载单个大小40GB的二进制文件。除非您知道如何解码其中的内容，否则这些文件毫无用处。
+ a% M3 }! B& ]( \ # z' D) m" }0 |
xmitgcm.llcreaderxmitgcm 是一个 python 包，可以将 MITgcm 二进制 MDS 文件读入 xarray 结构。通过 dask，xmitgcm可以实现并行计算。
为了使二进制数据方便利用，Ryan Abernathey等开发了xmitgcm的python包，其中llcreader用于读取这些二进制文件。该模块使用xarray和dask从ECCO数据门户网站在线访问数据，使模式大数据的操作变得轻而易举。 # v4 u9 O8 u) z7 M {# \0 \: Q
海面温度读取示例& l# c1 U0 |1 ~
以海面温度读取为例，展示其基本操作。用到了如下库： - • xmitgcm: 提供llcreader
- • xarray: 基本数据结构和操作
- • dask: 大数据并行和lazy计算
- • sholoviews: 交互式的图像展示# M- M% M! v" l3 g0 C& g1 \. i
1 导入库
1 I, C& N( a( d% {7 a: y
! `3 w9 K, {) R5 nimport xmitgcm.llcreader as llcreader
( T$ J6 P' X" ?%matplotlib inline; K7 d& E5 b0 n" I
import holoviews as hv
7 V( P% C& \9 n# s$ U8 Mfrom holoviews.operation.datashader import regrid
! P8 K+ r! ]0 @4 Vhv.extension('bokeh')
# L e& F! `; O$ S! d y* d5 J7 C4 n) O+ P+ ~# J( _' S1 f/ J
2 初始化这里我们使用LLC4320模式数据： model = llcreader.ECCOPortalLLC4320Model()
! l9 |" L+ j. a I& |model根据数据分辨率和来源，llcreader 可用模块有： - • llcreader.ECCOPortalLLC2160Model: LLC2160 accessed via ECCO data portal
- • llcreader.ECCOPortal LLC4320Model: LLC4320 accessed via ECCO data portal
- • llcreader.PleiadesLLC2160Model: LLC2160 accessed on Pleaides filesystem
- • llcreader.PleiadesLLC4320Model: LLC4320 accessed on Pleaides filesystem
- • llcreader.CRIOSPortalASTE270Model: ASTE Release 1 accessed via AWS
- • llcreader.SverdrupASTE270Model: ASTE Release 1 accessed on Sverdrup filesystem at UT Austin
" ] O1 E h/ T5 U N1 Y8 ]1 Z
3 海表温度参数设置
3 D9 \8 e# L8 Z( Q, _7 ^6 T/ f. Y1 R: f3 a
ds_sst = model.get_dataset(varnames=['Theta'], k_levels=[0], type='latlon')$ H7 o: o/ `3 n: [# R
ds_sst这里的Theta是模式中固有的海表温度名称。这一行程序执行的lazy模式，数据并没有存储在本地内存，也不会进行计算。该变量的大小接近10T。 ds_sst.nbytes / 1e129.257148163328
如果想查看其他变量的名称： print(model.varnames)['Eta', 'KPPhbl', 'oceFWflx', 'oceQnet', 'oceQsw', 'oceSflux', 'oceTAUX', 'oceTAUY', 'PhiBot', 'Salt', 'SIarea', 'SIheff', 'SIhsalt', 'SIhsnow', 'SIuice', 'SIvice', 'Theta', 'U', 'V', 'W'] 比如Eta表示海面高度，U,V,W为速度。 get_dataset模块的全部参数设置为 get_dataset(varnames=None, iter_start=None, iter_stop=None, iter_step=None, iters=None, k_levels=None, k_chunksize=1, type='faces', read_grid=True, grid_vars_to_coords=True)
常见操作有： - • ds = model.get_dataset(varnames=['Eta'])
- • ds = model.get_dataset(varnames=['Salt', 'Theta'], k_levels=[1, 10, 40])
- • ds = model.get_dataset(varnames=['Theta'], k_levels=[0], type='latlon')9 s4 z0 }* Q" \, n5 f8 Y! I
) A9 `' u2 U; `# l; Z0 f
4 动态交互可视化
4 c8 ^. u/ v. A& @* K- O6 [4 @5 i. r: z
dataset = hv.Dataset(ds_sst.Theta.isel(k=0).astype('f4'))8 l% m& ~* t/ c' t9 ]8 v4 B
hv_im = (dataset.to(hv.Image, ['i', 'j'], dynamic=True)
9 e. E H# z' i6 y .options(cmap='Magma', width=950, height=600, colorbar=True))
; h( p0 L: p" [- r, W' B+ W& ^9 J) \ g" S3 h
%output holomap='scrubber' fps=3
' \, F: Y3 S* |/ i u, Wregrid(hv_im, precompute=True)上图是南非Aghulhas Rings，可以看到强大的洋流和丰富的中小尺度涡旋。下图作为对比是LLC2160的结果，和4320的分辨能力比较有一定差距。
% m+ k2 t2 p1 j: w: _涡度计算示例下面展示LLC4320涡度计算步骤。 model = llcreader.ECCOPortalLLC4320Model()
6 J2 |; e5 o+ g4 {4 I, m2 J2 Aprint(model)
9 H4 {) a6 m: i5 O/ Y( u
: u0 s7 Z: C% Z7 S0 {$ i' G# volecity0 }; U2 |0 H& y6 _4 j
ds = model.get_dataset(varnames=['U', 'V'], k_levels=[0], type='latlon',: A' R# m3 X; g9 O7 M
iter_start=model.iter_start,
- D( f4 V: f. w5 A5 q4 }0 j iter_stop=(model.iter_start + model.iter_step),1 }9 Q g @! ?# N5 d0 n
read_grid=True)! U7 h6 H; Y# y& Y( A4 o4 l
& T' [* y( D! D1 P8 y0 d
# Normal gridding
; X( b6 r) C% z1 {8 }import xgcm2 ^. l' M0 i% g) i! n' Y
grid = xgcm.Grid(ds, periodic=['X'])
- C" e' a. I; O% C# ~; I" C# r2 N: P5 |( k! X* D) ?. q
# Calculate vorticity B. K2 \0 u2 T" i" {* g
zeta = (-grid.diff(ds.U * ds.dxC, 'Y', boundary='fill') + grid.diff(ds.V * ds.dyC, 'X'))/ds.rAz' s2 ^1 m+ x. q% X& G+ n& E/ Z
zeta = zeta.squeeze().rename('vorticity').reset_coords(drop=True)
( n1 O" ]. P0 G4 _- `6 ^# r2 ]( Y i, q7 U+ a* i0 q# [
# load data$ G8 m# e+ b$ u' V1 O
zeta.load()3 L5 M, D0 F) |& A2 ?6 y: K
; b4 X; U( f: N9 A& X
# Show! K2 t. S) p0 d2 m) P
dataset = hv.Dataset(zeta)! s% t# a+ {6 Y8 j' e# n% q, l
hv_im = (dataset.to(hv.Image, ['i_g', 'j_g'])
; x" E" y) q. P! v9 C# E4 `# { .options(cmap='RdBu_r', width=950, height=600, colorbar=True, symmetric=True))
. q" B+ d0 B3 ?7 p j7 l3 L5 G6 l0 F V4 R
regrid(hv_im, precompute=True)! x: k# X9 A' P0 N, O% j! V
扩展：云虽然 ECCO 门户实现了数据自由访问，但它的带宽有限，国内用户往往难以正常访问。虽然它适合交互探索，但如果想实际处理PB级别的数据，它可能无法提供足够的网络支持。 商业云存储（例如 Amazon S3 或 Google Cloud Storage）具备两全其美的优势。它既可公开访问，又具有极大的数据处理能力。 目前大量的地学大数据已经存储于云端，并可以通过Pangeo进行操作，这其中就包含LLC4320模式。 后面我将介绍云计算平台Pangeo。 2 L! ]3 X! J( C3 H* _/ I0 j
1 e9 P# a! M# M+ i$ P& s
. [3 ^) Y6 H3 b2 a; C% K, {# R. t% D0 C: ^* M. u! ^% e$ f
0 m/ j s: B4 p3 f: u2 E5 i+ i" e& I
, T/ ?2 n) g- e; B* D& i! [
|
