|
LLC4320模式简介 LLC4320是MITgcm 1/48°全球海洋模式，其诞生的直接原因是为即将到来的SWOT任务提供高分辨率的全球海洋模拟。 LLC4320模式在多个方面具有开创性，特别是其高空间分辨率（全球分辨率在 1 到 2 公里之间）、潮汐驱动、高频（每小时）输出，其海面高度信号中包含了内潮、内波、地转平衡等信号。除了在SWOT相关工作取得应用之外，该模式也在海洋亚中尺度、内波等研究方向得到了广泛应用。 ) V7 C# t$ L/ Q5 t
该模式主要特征是： ) n* n+ g5 _: R/ l/ M: ~
- • 全球覆盖（包含极地）
- • 垂向90层
- • 分辨率1/48°
- • 全球海洋分成13个face，每个face的网格数为4320*4320
- • 时间采样是1小时，总计时间维度9030
- • 共14 个月（2011 年 9 月至 2012 年 11 月）
- • 数据量巨大，PB级别
- • 以MDS自定义二进制数据格式存储，为MITgcm独有
- • 模型网格复杂，为lat-lon-cap (LLC) 曲线网格 ，很难在常规地图投影中可视化。3 p+ s4 t4 O2 g( n* x
在数据发布之初，该数据集存储在高度安全的NASA超级计算机上，只有获得NASA资助的研究人员才能访问。 后来，NASA Ames研究中心创建数据共享网站（https://data.nas.nasa.gov/ecco/），开放了LLC4320数据。任何人都可以通过互联网访问数据。在此网站上，您可以单击下载单个大小40GB的二进制文件。除非您知道如何解码其中的内容，否则这些文件毫无用处。$ A/ F) I1 u+ s% }
* g( B$ `8 [* v" m$ m' o$ V
xmitgcm.llcreaderxmitgcm 是一个 python 包，可以将 MITgcm 二进制 MDS 文件读入 xarray 结构。通过 dask，xmitgcm可以实现并行计算。
为了使二进制数据方便利用，Ryan Abernathey等开发了xmitgcm的python包，其中llcreader用于读取这些二进制文件。该模块使用xarray和dask从ECCO数据门户网站在线访问数据，使模式大数据的操作变得轻而易举。 3 V+ R( n* i) O+ a2 o; p- W6 N
海面温度读取示例' [! \5 w7 g& m- d
以海面温度读取为例，展示其基本操作。用到了如下库： - • xmitgcm: 提供llcreader
- • xarray: 基本数据结构和操作
- • dask: 大数据并行和lazy计算
- • sholoviews: 交互式的图像展示: v5 V' Y4 g% g0 z! }: Q
1 导入库6 r# t1 }* t* a2 W
; Q0 n! E3 Z$ M1 `6 f$ O
import xmitgcm.llcreader as llcreader/ c0 E# C4 K( t, B
%matplotlib inline5 @: `7 W6 d% T* m, _
import holoviews as hv- S' n( X6 O* o
from holoviews.operation.datashader import regrid* i* }' d4 T1 i8 m5 e8 l4 @4 L
hv.extension('bokeh')
; \ U& j" D( K+ i
/ A% ]/ T! b) T2 初始化这里我们使用LLC4320模式数据： model = llcreader.ECCOPortalLLC4320Model()
+ `% I* r" G9 o2 O1 Q& C% Q- rmodel根据数据分辨率和来源，llcreader 可用模块有： - • llcreader.ECCOPortalLLC2160Model: LLC2160 accessed via ECCO data portal
- • llcreader.ECCOPortal LLC4320Model: LLC4320 accessed via ECCO data portal
- • llcreader.PleiadesLLC2160Model: LLC2160 accessed on Pleaides filesystem
- • llcreader.PleiadesLLC4320Model: LLC4320 accessed on Pleaides filesystem
- • llcreader.CRIOSPortalASTE270Model: ASTE Release 1 accessed via AWS
- • llcreader.SverdrupASTE270Model: ASTE Release 1 accessed on Sverdrup filesystem at UT Austin
4 C, s1 h9 x" O4 q7 q
3 海表温度参数设置4 A2 g* N. e* P }/ O5 f
' I* t0 V; U9 ?
ds_sst = model.get_dataset(varnames=['Theta'], k_levels=[0], type='latlon'), Y7 ?" K! c. J! ~3 B: D( `! T3 ]
ds_sst这里的Theta是模式中固有的海表温度名称。这一行程序执行的lazy模式，数据并没有存储在本地内存，也不会进行计算。该变量的大小接近10T。 ds_sst.nbytes / 1e129.257148163328
如果想查看其他变量的名称： print(model.varnames)['Eta', 'KPPhbl', 'oceFWflx', 'oceQnet', 'oceQsw', 'oceSflux', 'oceTAUX', 'oceTAUY', 'PhiBot', 'Salt', 'SIarea', 'SIheff', 'SIhsalt', 'SIhsnow', 'SIuice', 'SIvice', 'Theta', 'U', 'V', 'W'] 比如Eta表示海面高度，U,V,W为速度。 get_dataset模块的全部参数设置为 get_dataset(varnames=None, iter_start=None, iter_stop=None, iter_step=None, iters=None, k_levels=None, k_chunksize=1, type='faces', read_grid=True, grid_vars_to_coords=True)
常见操作有： - • ds = model.get_dataset(varnames=['Eta'])
- • ds = model.get_dataset(varnames=['Salt', 'Theta'], k_levels=[1, 10, 40])
- • ds = model.get_dataset(varnames=['Theta'], k_levels=[0], type='latlon')8 F, c; \) ?! p" k X9 h
% p/ R3 O0 x9 x x, r
4 动态交互可视化" l) p4 U/ |1 x2 ^) d2 \
0 t3 i) c3 E! T2 x" adataset = hv.Dataset(ds_sst.Theta.isel(k=0).astype('f4'))5 n3 P5 |) ]* s8 w, g
hv_im = (dataset.to(hv.Image, ['i', 'j'], dynamic=True)6 }5 `0 [# l2 a& f; P
.options(cmap='Magma', width=950, height=600, colorbar=True))
& m7 f7 O2 d% z
2 I" {5 ~2 ]2 ^% C1 W$ _%output holomap='scrubber' fps=3
7 P" L: o* h( H4 [regrid(hv_im, precompute=True)上图是南非Aghulhas Rings，可以看到强大的洋流和丰富的中小尺度涡旋。下图作为对比是LLC2160的结果，和4320的分辨能力比较有一定差距。
, p6 ]$ K* j7 x( Q, U涡度计算示例下面展示LLC4320涡度计算步骤。 model = llcreader.ECCOPortalLLC4320Model()5 o0 n' j$ ^0 z, ?% x# L
print(model)
/ a) k+ ~* z4 W9 o$ Q; _" I! K- f* |; {$ m! H `% o J
# volecity
3 L( s' D+ D( y# V. }ds = model.get_dataset(varnames=['U', 'V'], k_levels=[0], type='latlon',# p* L7 V/ p3 i3 T# ~1 r, P
iter_start=model.iter_start,% C4 a) o1 K# t9 U
iter_stop=(model.iter_start + model.iter_step),
$ a0 q6 b1 p2 ^' M/ ]0 W- c1 |( ^( N read_grid=True)
) b' \5 k! A7 I& ~8 z- {( D& L, d' n& O4 @$ Z3 H1 F! X
# Normal gridding$ {! X. {2 l6 ^1 D) G5 y6 V) z9 K
import xgcm
i2 k8 O% Y+ k+ ?* ygrid = xgcm.Grid(ds, periodic=['X']): t; a$ P" ] y
! _& g/ [/ {3 [7 n' f# Calculate vorticity$ H, a: D0 |- `! J) }- ^/ n. C: m
zeta = (-grid.diff(ds.U * ds.dxC, 'Y', boundary='fill') + grid.diff(ds.V * ds.dyC, 'X'))/ds.rAz" d6 o3 [% q& A% {% `
zeta = zeta.squeeze().rename('vorticity').reset_coords(drop=True)) ]# B6 E) P! t0 q0 x0 P* m: I
# {5 z$ N- J& X/ w- Z' t
# load data/ L# \9 O- m: J5 T) `, `' ?2 f N
zeta.load()
$ |0 n2 k5 \& b8 N4 b+ H0 Z# \" n5 u; `4 ^0 S( h, k
# Show, }7 |" Y1 Q: o2 z
dataset = hv.Dataset(zeta)3 [: Q6 ]: F2 S( c
hv_im = (dataset.to(hv.Image, ['i_g', 'j_g'])
3 \* W6 S7 I$ e- A+ Z8 m .options(cmap='RdBu_r', width=950, height=600, colorbar=True, symmetric=True))5 D1 C; Y7 v& G% u
4 t% h: T8 I& \regrid(hv_im, precompute=True)
i, S. F$ W8 D4 \# Q8 c扩展：云虽然 ECCO 门户实现了数据自由访问，但它的带宽有限，国内用户往往难以正常访问。虽然它适合交互探索，但如果想实际处理PB级别的数据，它可能无法提供足够的网络支持。 商业云存储（例如 Amazon S3 或 Google Cloud Storage）具备两全其美的优势。它既可公开访问，又具有极大的数据处理能力。 目前大量的地学大数据已经存储于云端，并可以通过Pangeo进行操作，这其中就包含LLC4320模式。 后面我将介绍云计算平台Pangeo。 * ]' n q, g8 |, K
( S0 S6 j2 W4 A* v' A/ O. Z& b% o& |6 S2 F- x, x$ Q, b
* c! K4 x* D( u z& v3 W
3 I. R! g7 V- e
* L. O" j R7 I' B0 l( @$ a7 K4 j |
