海洋科技丨山东易华录数据管控平台 - 海洋生态数据采集

$ \$ S. k' x! I6 H

数据管控平台

-- 山东易华录海洋科技专栏 --

PART

c0 ~6 B- X$ Y5 H3 G2 S5 s7 U

导语

J7 I! K* E' I

数据管控平台是一款针对数据全生命周期管理的平台，通过大数据和人工智能技术,对海量数据进行汇聚、存储、计算、加工、应用的数据生态系统，以数据据资产化为导向进行数据治理，以数据服务的方式实现数据共享，达到数据标准化、资产化、服务化、价值化，让数据挖掘变的更方便，让数据管理变得更简单，让数据管理变得更加容易。

2 ^) v$ [8 A3 j6 T. l2 N4 W; B. y

PART01

) n. k+ W; d- p$ @. |. \9 F

数据汇集

在数据大爆炸的信息时代，各行各业都面临着管理数据的问题。数据繁多，种类复杂，数据没有统一的标准，各系统之间的数据各自独立，没有互通，数据使用效率不高，数据价值得不到体现。

数据管控平台通过各种方法的优化，提供快捷下载、本地上传、定时任务、智能识别等功能，可以快速的采集数据,对各种开源数据集支持良好。通过离线下载、分布式任务、智能加速等方式，将数据采集效率提升高达十倍。通过对网页的分析和链接提取,可以识别文件结构目录，实现一次操作批量提取成千上万的数据集。目前，已实现全球13个海洋数据源汇聚及药物/文献等源数据适配。

PART02

- ^$ _) O3 O3 ?1 A0 }

数据存储

2 H/ u2 \# I$ x6 Y& b

数据存储采用光磁一体，数据分级，动态管理方式。

# L0 u& J8 P1 Z4 T _4 J

数据管控平台采用光磁融合分布式系统，将用户海量的温冷数据迁移到光磁融合分布式系统上。

除了光磁一体化存储,还提供本地存储、共享磁盘NFS和其他形式的分布式存储。分布式存储通过多节点分布式并行处理和多分布冗余处理，同时通过数据生命周期管理策略，自动进行磁光冷热分级。此外提供大容量的存储空间和高并发的响应效率，以及蓝光物理介质层面的高安全性。

3 o5 t( d/ z: w0 {

PART03

5 E7 a4 T0 @ Q' N9 S; b) `

数据计算

数据管控平台以大数据计算技术作为支撑，可以无缝兼容HADOOP生态及国产超算架构。结合大数据平台的算力，通过更大的存储和更快的计算能力,使数据分析变得如此之快。

5 y/ S* D$ B1 o. m

同时数据管控平台通过对通用算法和机器学习算法的移植和封装,提升了数据分析挖掘的效率。目前基于国产超算架构，依托数据管控平台的全球高分辨率海洋数值预报业务化系统已处于试运行阶段。

PART04

# [8 F( ]; i$ A% F9 G

数据资产

' V1 o2 i3 f3 t

数据管控平台支持数据的标准化存储，通过对数据进行清洗转换入库，形成面向主题的数据仓库，同时形成资产化数据，并集成资产搜索引擎和语义分析等功能，提升数据检索的效率。

数据管控平台还提供数据血缘、数据地图、数据关系图谱等功能，实现对数据之间的关系深度洞察。

数据资产管理通过智能标签、数据图谱对数据进行管理和展示，以一种更直观的方式为用户展现数据资产，提升数据意识，有助于对数据进行标准化和规范化，提升数据质量，完善数据体系，记录追溯数据，打破数据孤岛，建立安全数据环境。

: l/ f5 w- p* E% h% S " ]. Z6 @+ ~6 m3 f

PART05

& u/ v/ c. l! s& @! K5 I/ F

数据安全

数据管控平台对数据安全也做了多重防护，从数据访问安全、数据流动安全、数据管理安全三个方面建立完备的数据安全策略，包括用户访问数据权限、以及数据管理，数据加密功能。数据管控平台通过对数据流通的各个环节进行保护，提供数据安全服务。

PART

结束语

9 t1 k6 l3 B9 D% H) {

数据管控平台通过大数据和人工智能技术,对海量数据进行汇聚、存储、计算、加工、应用的数据生态系统，以数据据资产化为导向进行数据治理，以数据服务的方式实现数据共享，达到数据标准化、资产化、服务化、价值化，让数据管理变得更加容易。

下期，敬请期待...

! h( I+ X/ [! p2 i) {% [

山东易华录成立于2012年11月，是国务院国资委直接管理的中央企业中国华录集团的子公司。公司围绕“大数据、人工智能、区块链”的技术与应用面向全国开展智慧海洋建设、海洋大数据产业化、海洋数字文化和智能网联等领域的业务。公司致力于推动大数据产业和实体产业的深度融合，打造城市经济社会发展的新业态、产业融合创新发展的新模式，引领数字经济发展的新典范。

( z5 O9 q3 u9 W

www.sdehualu.com

长按关注

& V* \% ~1 v/ g

 留下指尖的温度

. H, u/ L. C/ L4 y+ f5 }