海洋数据分析 -海洋数据下载

陌羡尘 · 发表于海洋技术发展 2023-10-28 19:23:46

一、海洋大数据

据2014年4月国际数据公司（International Data Corporation，IDC）发布的第7份数字宇宙研究报告，数据量将以超每两年翻一番的速度增长，到2020年将增长到44 ZB（Turner，2014）。IDC在2011年的报告中将大数据技术描述为一个技术和体系的新时代，通过快速捕获、发现和分析技术，从大规模、多样化的数据中经济有效地提取数据价值（Gantz et al，2011）。因此，大数据并不仅仅是指海量数据，更是指半结构化、非结构化的、数据量之大以至无法在一定时间内用传统方法进行获取、管理和处理的数据集合。Andrea等（2016）通过整合大数据重要特征，将大数据定义为具有大体量（Volume）、多样性（Variety）、快速流转（Velocity）等特征、需运用特定技术和分析方法将其转化为价值（Value）的一种信息资产，该定义囊括了大数据的“4V”特征。

1. 海洋自然科学类大数据

海洋自然科学类数据主要是指对海洋自然环境进行观测或模拟而得到的数据，包含了海洋的水质和生态环境信息（如叶绿素浓度、悬浮泥沙含量、有色可溶有机物等）、海洋动力环境信息（海水温度、海面风场、海面高度、海浪、海流、海洋重力场等）、以及海洋生物、海洋化学、海底地质、沉积物、水下地形、海冰、海水污染等其他海洋环境信息。海洋自然科学数据的获取手段主要包括实际观测、海洋遥感观测和海洋数值模拟。因此，可将海洋自然科学类大数据分为海洋实测数据、海洋遥感数据、海洋再分析产品数据和海洋模式数据。

海洋实测调查包括船基观测、定点观测和移动观测等。

卫星遥感可针对大范围海域进行高频次动态监测，是及时、连续获取海洋水色、海面温度、海面高度、海面风场、海浪、海流、盐度、海上目标、海岛、海岸带等要素信息的最有效观测手段。航空遥感具有速度快、机动灵活、空间分辨率高的特点，适用于重点区域的高精度监测，如近海海洋调查、海岸带制图、资源勘测、海洋动态监管、海洋突发情况应急响应、海洋资源环境监测等。

常用于海洋模式驱动场的海洋再分析数据包括海洋大气综合数据集ICOADS（International Comprehensive Ocean-Atmosphere Data Set）资料、美国国家环境预报中心/美国国家大气研究中心（NECP/ NCAR）资料、欧洲中期天气预报中心ECMWF（The European Centre for Medium-Range Weather Forecasts）资料，经同化方法计算得到的海洋模式再分析数据包括SODA海洋再分析数据集、OFES（Dataset of Ocean General Circulation Model for the Earth Simulator）资料（李晓婷等，2010）。

目前国内外比较常用的数值模拟产品有POM（Princeton Ocean Model）、FVCOM（An Unstructured Grid，Finite-Volume Coastal Ocean Model）、HAMSOM（Hamburg Shelf Ocean Model）、HYCOM（HYbrid Coordinate Ocean Mode）、ROMS（Regional Ocean Model System）、SODA（Simple O-cean Data Assimilation）等。

2. 海洋社会科学类大数据

海洋社会科学类大数据是相对于海洋自然科学类大数据而言，大致可以分为海洋战略数据、海洋经济数据、海洋文化数据三大类。

海洋战略数据通常包含海洋政策信息、海洋法律信息、海洋战略舆情信息。基于海洋问题的全球属性，这类信息的搜集与管理都应该具备全球视野，尤其是在海洋战略舆情信息方面，更应该注重监测和分析全球重点智库、重点媒体、重点政府涉海部门的相关涉华涉海舆情，以便于对我海洋决策形成全面、综合的信息参考。

海洋经济数据主要指海洋渔业、海盐业、海洋交通运输业、海洋船舶工业、海洋油气业、滨海旅游业、海洋服务业等海洋产业相关信息，包含从产业研究、产业政策、产业规划、产业运行、产业投资、产业金融的全链条数据信息，以及重点产业园区、重点产业技术方面的数据信息。

海洋文化数据主要指海洋历史图文资料、海洋文化教育（海洋意识培育）等方面的数据信息。就数据管理而言，前者相对成熟，后者在大数据时代中的意义逐渐体现，即国家海洋文化和个体海洋意识的培育，对于未来中国海洋强国战略的实施至为重要，在数据统计和数据分析领域也同样面临新的课题。

一、AIS定义

1. 基本定义

船舶自动识别系统（Automatic Identification Systems, AIS）是一种应用于船和岸、船和船之间的海事安全与通信的助航系统,在减少船舶碰撞事故等海事服务中发挥重要作用。随着AIS系统的应用和推广，越来越多研究者采用AIS数据船舶状态和航行轨迹，了解船舶航行环境中潜在的航行风险因素，为开展船舶航行安全特别是船舶会遇领域研究提供基础性条件。2000年12月，国际海事组织航行分委会正式发布关于船舶必须强制安装AIS设备的提案，其明确要求2002年以后建造的船舶和从2008年开始运营的船舶都必须安装AIS系统。自此AIS数据呈现指数性增长，无论是海事部门还是民用的航运数据中心都已积累了海量AIS历史记录。

AIS积累了大量船舶航行和航运业信息，是一种宝贵的航运大数据资源。AIS数据在港口运营管理、船舶运营管理、船队动态监控、海事管理、船舶避碰量化研究等多方面具有重要意义。需要根据现有船舶航行的实际数据，即AIS数据，分析船舶典型多船会遇情景中影响因素，发挥船舶驾驶辅助决策的功能，。

2. 数据来源

本研究所用AIS数据由美国海岸警卫队通过船载AIS设备收集美国沿海和国际海域的船舶AIS数据。由美国海洋能源管理局（The Bureau of Ocean Energy Management，BOEM）和美国国家海洋和大气管理局（The National Oceanic and Atmospheric Administration ，NOAA）一起分析美国海岸警卫队收集的原始AIS数据并从其中提取了位置（经纬度）、时间、船型、速度、船长、船宽、吃水等数据。下载数据的网址为https://marinecadastre.gov/ais/。

BOEM和NOAA还提供了一套基于ArcGIS软件的AIS数据分析工具，这些工具能够方便研究者研究船舶航行模式和海上交通冲突。

一、AIS应用

1. 远洋航行保障

近年来，以卫星遥感和船舶自动识别系统（Automatic Identification System，AIS）为主的数据在指导船舶航行和船舶遇险救援方面发挥了巨大作用。2014年1月中国雪龙号极地考察船（简称“雪龙”号）在南极冰海救援被困的俄罗斯“绍卡利斯基院士”号时，由于气象条件突变导致海冰快速聚集使得其自身被困。在国内业务部门和有关科研单位等多部门的协同努力下，通过综合快速地分析卫星遥感数据、气象海洋数据等，最终指导“雪龙”号成功脱困，成为海洋大数据指导极地航行船只脱困的典型案例。又如，随着海冰减少，越来越多的船只将选择北冰洋航道从东亚去欧洲或北美，而这条黄金水道同时也是危机重重，对于海洋大数据应用提出了越来越高的要求。实时遥感监测数据、基于大数据的海洋和海冰环境模拟等，是北极航道安全航行的坚实保障。未来全球将建立全球无死角的通讯、导航和遥感监测网络，保障全球海洋安全航行。

1. 军事态势感知

（1）AIS基站拆除

CNN商业频道25日报道，据全球航运数据供应商“船舶价值”（Vessels Value）提供的数据显示，在过去三周内，其接收到的中国水域的船只的信号量下降了约90%。报道指出，全球的航运数据公司正是通过在各海岸线上安装AIS陆基基站，来接收船舶发出的航向、航速等关键信息。当然这些信息也可以通过卫星来收集，不过当船只靠近岸边时，太空收集的信息质量不如地面基站收集的好。

报道认为，中国水域船只信号量下降的原因，就是中国海岸线上的一些AIS基站被拆除或关闭了。并由此大肆渲染“中国正与世界其他地区日益隔绝”，抹黑中国的“经济内循环”和“动态清零”的防疫政策。报道还试图将“全球供应链危机”的锅甩给中国，声称所谓中国水域船舶信号数据的缺失将对全球供应链产生重要影响。

报道称，这些涉外海事数据公司、无线电爱好者自行搭建的基站，已有部分被境外间谍情报机关利用，通过AIS数据搜集我国海上钻井平台建设情况，跟踪掌握我国海警舰艇巡航执法动向及行动规律，据此采取干扰措施，阻碍我国维权执法活动，严重危害我国主权安全。

此外，境外间谍情报机关、商业机构、咨询调查机构、智囊研究机构长期对AIS大数据进行挖掘分析，全面掌握我国沿海及内河港口船舶数量、货物运量、出口数据，据此分析我国宏观经济走势及出口贸易态势。这些从数据中提炼而成的经济情报，对我国经济安全造成的危害也不容忽视。

因此，国家安全机关依据《反间谍法》及《数据安全法》相关规定采取行动，扣押大量基站设备，截获外传海事数据1万多GB，及时切断了数据外泄渠道，并要求有关组织、个人进行整改，消除隐患。

（2）南海战略态势感知平台

胡波（北京大学海洋战略研究中心主任,“南海战略态势感知计划”协调人）

“南海战略态势感知计划”的最大特点在于真正做到跨学科的协作和融合。国内外分享船舶跟踪识别系统（AIS）和广播式自动监视系统（ADS-B）数据的网站平台数以百计，但没有专门聚焦具体区域的专业性开源态势平台。

5,446艘越南渔船位南海活动｜2021年11月

2021年7月-9月，美海警“门罗”号行动路线图

南海海空态势系统基本上是从无到有，它需要软件工程师和数据挖掘专家在战略与政策学者的指导下，完成商业数据的挖掘、清洗及可视化呈现。通俗地说，我们需要在数以千万级的AIS和ADS-B原始数据中，发现并列举出与南海战略态势有关的数据，然后在此基础上进行统计和分析。

（3）美国海域态势感知国家计划（national plan to achieve maritime domain awareness，MDA）

海域态势感知指的是对海空活动的近乎实时的掌握。海域态势感知体系包括三个基本的过程，即海域信息的数据搜集、数据分析以及数据共享与发布。由于海域感知信息的深度和复杂性，MDA对海域所感知的数据可以来自于任何渠道，例如国家建设的各种检测设备（如：无人机、卫星、雷达以及其他情报搜集工具，配套的信息分析和处理软件等），全球性的海洋信息系统（地球系统的协同观测及预报体系COPES，全球海洋实时观测网计划ARGO等），伙伴国家地区已组建的信息共享网络，以及相关私企（如船运公司），协会和联盟（国家海事安全咨询委员会NMSAC和其他私营部门咨询委员会）。

2. 航运分析

（1）宏观船舶运动规律

（2）航运经济规律

2020年对比上一年日均货量海里的百分比变化（原油油轮）

通过VV的船舶自动识别系统（AIS）和地理信息系统（GIS）得出的每日更新的货量海里数据显示，全球原油油轮的需求整体下降了5%；其中成品油轮的需求虽然也下降了1%，但在今年 4 月后出现反弹。

（3）微观船舶运动规律

从2016年到2020年，Gard协会船舶险索赔数据可以看出，船壳险索赔中，航行索赔数量增加了15%。这些索赔经Gard承保船舶数目增长调整后，表明同一时期，即每艘船舶的索赔数量的频率有所下降。在过去的五年里，航行索赔的平均频率为7.2%，即每14艘船中就有一艘发生了事故。对于Gard而言，根据事故的不同，这些索赔的成本从零到数百万美元不等，平均每个事故索赔30万美元。不论与索赔有关的费用如何，高价值索赔和低于免赔额索赔之间的潜在风险因素可能非常相似。

下面的热力图显示劳氏日报(Lloyd s List Intelligence)数据库中注册的在全球商船队中所有超过5000 GT船舶的所有碰撞和搁浅案件。明亮的黄色反映案件数量较高的区域，浅蓝色反映案件数量相对较低的区域。

Gard协会防损重点是评估风险因素，其中一些可能没有被普遍讨论或解决。为探讨某些船舶行为是否会增加航行事故的风险，我们使用AIS活动数据来分析协会索赔案件数据，并评估历史上导致航行事故的行为。索赔频率分为同一类型索赔的分项小组，如搁浅或碰撞。在数据分析中还包括静态因素，如船舶的类型、大小和船龄，以控制可能对索赔和行为数据都有影响的因素。

（4）船舶导航

船载AIS/GNSS弹性定位导航成套技术与应用

此前，IMO（国际海事组织）主导的e-航海战略实施计划指出，沿海船舶导航单纯依赖GNSS卫星导航系统存在安全隐患。IMO倡导成员国进行沿海陆基导航系统研究，即沿海船舶将利用天基和陆基双备份的船舶导航系统。

船载的AIS接收机可接收到周围船舶的实时动态信息，并可在电子海图上通过支持软件显示出来，船舶驾驶人员除了接受VTS中心的调度控制外，还能在电子海图上看到周围船舶的船位、船名、航向、航速及其他信息，从而保证了船舶自身的正确航行，避免碰撞。该项技术运用于VTS之后，增强了VTS的功能，使之成为“增强型VTS”

经过3年的艰苦攻关，项目在世界上首次推出了基于AIS的船舶自主导航系统的天基和陆基双备份沿海导航系统。示范结果表明，实时修正的AIS船舶自主导航系统定位精度优于10米，符合IMO沿海船舶导航精度要求。

虚拟AIS航标

目前渔船应用最多的就是虚拟AIS位置标，虚拟AIS位置标主要用在渔网、渔具等水下设备跟踪位置标，采用先进的 AIS 技术传输，包含独特数据的组合数据 ID 和位置。通过装有 AIS 装置的船只可以有效地接收数据, 然后很容易地识别和发现渔网或者水上设备，可以有效的避免船舶的碰撞事故，虚拟AIS是基于电脑技术、全球定位系统（GPS）、船舶自动识别系统（AIS）和电子海图显示系统（ECDIS）等现代高科技而产生和发展起来的一门新兴应用技术。利用岸基AIS的播发功能，将某一固定位置包含在一条特殊信息里，使覆盖范围内安装有AIS设备的船舶能够接收到并将该固定位置自动标绘，显示在电子海图上，即相当于能够在电子海图上看到一个“固定的物体”，这就是虚拟AIS位置标, 他的有效距离为10海里，在海上可以连续工作7-10天。