海洋数据处理软件 -海洋数据统计

气象海洋领域，常常会涉及到大规模的数据处理，比如高时空分辨率的模式数据、雷达数据和卫星数据等。

2 C: _4 F9 ?7 h, X! w0 p8 w

大部分情况，我们一般只会涉及小规模数据处理，对计算效率并不会太过追求。但是当数据量变大时，低效的数据处理所耗费的时间非常明显，因此高效的数据处理方式尤为重要。

6 ?3 P- T* B& i! z

本篇以拟合一个高维数据的正太分布参数为例，介绍如何使用xarray+dask加速数据处理。

$ h. H- o- g8 x7 p9 v

数据维度X[time, lev, lat, lon]，需要对三维空间每一点，沿着时间维度做正太分布拟合(正太分布拟合只是作为例子，这里可以定义你需要的操作函数)。

其中几个关键点解释一下：

（1）首先定义拟合正太分布的函数

% o! t% E k& \$ O

def norm_fit(data): loc, scale = st.norm.fit(data) return np.array([loc, scale])

这里需要注意的是，拟合的函数，输出参数，需要打包为一个数组。并且它的维度需要和后面aplly_ufun定义的输出维度一致。

3 T1 y" h& p. m; k' A' S5 u

（2）xarray分块

x = xr.DataArray(rs.randn(500, 20, 1500, 1500), dims=["time", "lev", "lat","lon"]) % {2 }4 l: O5 c9 P+ [0 n0 r, h" @ x = x.chunk({"lev":5, "lat":100,"lon":100})

xarray结合dask可以将一个大型数组分成一个个数据块（chunk），需要注意的是我们需要沿着时间维操作，拟合需要整个时间维度的数据，因此时间维time不能分块，只能对其他维度分块。

; `" f, y5 y7 N: @

（3）xarray.apply_ufunc函数

result = xr.apply_ufunc(norm_fit, x, & W4 P) A/ h" p. H, y/ T input_core_dims=[["time"]], 1 h, J( h2 [4 _8 Y, ` output_core_dims=[["paras"]], " i# r! ], B2 h2 t dask="parallelized", & B( n0 E# v7 c) D) N output_dtypes=[np.float], ; L8 P; y! ?5 j* g/ W/ x4 i dask_gufunc_kwargs={output_sizes:{"paras":2}} : P1 m% w1 E$ a7 G2 s )

# Y6 h6 _/ R) Q. T) n; ^) S

apply_ufunc函数具体可以参考官网教程，这里只说使用时遇到的困难，即如何定义输出维度：输出维度是用output_core_dim定义的，将输出的拟合参数（期望和标准差）定义为paras维度，维度的大小为2，通过output_sizes参数设置。这样我们输入[time, lev, lat, lon]的数据，在每个空间点对时间维度拟合之后，输出的数据为[lev, lat, lon, paras]。（PS: 这里感谢深雨露大佬的指点）

+ W' Q) ]( D1 j0 O2 _

以下是全部代码：

5 B2 X7 t( G9 i1 F$ I

from scipy import stats as st 6 W" P0 @9 i* r import xarray as xr 1 Y+ L+ N; t- t- h import dask import numpy as np Z4 W* ^, S8 e8 E0 d from dask.diagnostics import ProgressBar : q$ D8 q/ f; s5 x! _* T def norm_fit(data): , s5 {" C: }" J) ]+ h loc, scale = st.norm.fit(data) 3 G: D7 v8 b F* ?4 \$ O' u return np.array([loc, scale]) rs = np.random.RandomState(0) x = xr.DataArray(rs.randn(500, 20, 1500, 1500), dims=["time", "lev", "lat","lon"]) : P; p; o8 f4 H6 Q x = x.chunk({"lev":5, "lat":100,"lon":100}) ! u7 `- b) {5 A1 K/ `2 W+ L0 M/ d #使用apply_ufunc计算，并用dask的并行计算 % }5 ~3 i5 a2 c8 \2 o result = xr.apply_ufunc(norm_fit, ) ^8 r3 g0 Y# Q" B, C/ } x, input_core_dims=[["time"]], : k) ~7 ~ J2 F output_core_dims=[["paras"]], dask="parallelized", - P M+ \6 j9 ] output_dtypes=[np.float], dask_gufunc_kwargs={output_sizes:{"paras":2}} ) #compute进行真实的计算并显示进度 ; R4 {4 W1 a/ ]0 Q7 L with ProgressBar(): result = results.compute() 9 v( o" q7 {+ P0 g1 U #结果冲命名保存到nc文件 result = result.rename("norm_paras") result = result.to_netcdf("norm_fit_paras.nc",compute=False) / Q* O& I" G( s4 v" c" w with ProgressBar(): result.compute()

3 _. z, Y3 P9 O# @0 f. j% p

转自：气海同途

关注【Ai尚研修科研技术平台】公众号，查看更多课程安排及免费数据资料

7 e% B E5 o. A! N; B5 K4 M

【大气，生态、遥感、水文水资源、地下水环境、统计语言、生信等】多领域视频教程​mp.weixin.qq.com/s?__biz=MzUyNzczMTI4Mg==&mid=2247576733&idx=3&sn=8f147b34d9652c454b954dcc2952ae38&chksm=fa78f3a0cd0f7ab630d262dbe674cd24ee8c06b2b0c12ab029b18a702e692dd6d8c48e0783e6&token=1162449722&lang=zh_CN&scene=21#wechat_redirect

推荐：

5 A7 v e5 |1 B, s

1、Python语言在地球科学领域中的应用实践技术应用

6 A. o/ g4 c! X2 j- i

2、【夏令营】针对课题组人员AI培养计划:“开启AI科研之路”

5 f& ?# E) h; g% ~6 L( O l

3、Python在气象与海洋中的实践技术应用精品课程

7 w g9 N3 p1 G2 j) I6 ^# d

4、Python在WRF模型自动化运行及前后处理中的实践技术应用

5、全套Python机器学习核心技术与案例分析实践应用视频

9 _4 b/ ]$ e0 }: q+ p

6、全套区域高精度地学模拟-WRF气象建模、多案例应用与精美制图精品课程

7、WRF DA资料同化系统理论、运行与与变分、混合同化新方法技术应用视频教程

# I( o5 u! n: m * ?9 P6 F$ d Y9 i0 M6 A 1 o# @$ _, d- m