OB欧宝体育海洋大数据科学|上戸彩|发展现状与展望


随着海洋观测ღღ◈★、模拟手段的快速提升和数据科学的重大突破ღღ◈★,现代海洋科学经历了理论牵引ღღ◈★、技术驱动与数据主导三大范式变革ღღ◈★,海洋大数据已成为人类从认识海洋到经略海洋的必经之路ღღ◈★。文章从海洋大数据的获取ღღ◈★、分析及应用ღღ◈★,上ღღ◈★、中ღღ◈★、下游全链条分析了目前的发展现状ღღ◈★,指出现今将海洋科学领域与数据科学领域紧密结合ღღ◈★,有效应对海洋发展中科学ღღ◈★、技术OB欧宝体育欧宝体育网站网址ღღ◈★。ღღ◈★、工程ღღ◈★、人文等方面的挑战ღღ◈★,是海洋科研领域的核心问题之一ღღ◈★。在此基础上ღღ◈★,提出了未来 5—10 年海洋大数据科学发展的主要方向和关键技术ღღ◈★,对于准确掌握海洋状况ღღ◈★、提升海洋预测服务能力ღღ◈★、维护国家海洋权益具有重要的现实意义和深远的战略意义ღღ◈★。
现代海洋科学的发展古往今来经历了 3 个阶段ღღ◈★:①理论牵引阶段ღღ◈★。该阶段的许多重大理论圆满地解释了海洋中的物理现象ღღ◈★,长足推进了人们对海洋的认识ღღ◈★。虽然该阶段缺少观测资料ღღ◈★,但是发展的理论基本都具有里程碑的意义ღღ◈★。② 观测牵引阶段ღღ◈★。该阶段各类观测手段逐渐发展起来ღღ◈★,主要包括海洋调查船ღღ◈★、浮标ღღ◈★、潜水器ღღ◈★、遥感以及 Argo 监测网等ღღ◈★。③数据牵引阶段ღღ◈★。随着观测技术手段的不断丰富ღღ◈★,也带来了数据量的不断攀升上戸彩ღღ◈★,海洋科学迎来了第三阶段ღღ◈★。从 2008 年开始ღღ◈★,Natureღღ◈★、Scienceღღ◈★、Economist 等杂志及 Computing Community Consortium(计算社区联盟)等组织将“大数据”引入到各个领域[1-6]ღღ◈★。“大数据”被定义为数据量增长速度快ღღ◈★,用常规的数据工具无法在一定时间内进行采集ღღ◈★、处理ღღ◈★、存储和计算的数据集合ღღ◈★,拥有数据量大(volume)上戸彩ღღ◈★、类型繁多(variety)ღღ◈★、价值密度低(value)ღღ◈★、速度快时效高(velocity)和在线式(online)五大特征[7,8]ღღ◈★。由于海洋数据的数据来源广泛ღღ◈★、种类繁多ღღ◈★,数据量已增至 PB 量级ღღ◈★,时间分辨率跨越不同尺度OB欧宝体育ღღ◈★,同时需要及时处理分析用于各类决策支撑ღღ◈★,因此海洋数据已然成为“大数据”的典范ღღ◈★。
但是海洋大数据的独特性质ღღ◈★,使得传统的理论基础ღღ◈★、技术手段已逐渐暴露其弊端ღღ◈★。海洋大数据有两个区别于其他数据的典型特征——时空耦合和地理关联ღღ◈★。(1)时空耦合ღღ◈★。海洋大数据为同时拥有时间与空间属性的数据ღღ◈★,即多维度数据OB欧宝体育ღღ◈★。尤其随着观测技术的进一步发展ღღ◈★,数据维度的采集分辨率与频率都越来越高ღღ◈★。因此ღღ◈★,数据分析过程需要同时从时间轴和空间轴两个维度进行分析ღღ◈★,而在时间轴和空间轴上分析的因素又是多样的ღღ◈★、高维的ღღ◈★,这给大数据的分析带来了更大的挑战[9] ①ღღ◈★。(2)地理关联ღღ◈★。海洋大数据不同于其他大数据的随机性与偶然性ღღ◈★,由于其地理属性有着近邻效应ღღ◈★,相邻区域空间位置关系存在线性或非线性的关联ღღ◈★,从而组成了不同时空尺度的模态特征ღღ◈★。因此ღღ◈★,在海洋大数据科学的发展过程中存在着诸多挑战ღღ◈★。本文将从海洋大数据上ღღ◈★、中ღღ◈★、下游全链条论述海洋大数据科学的发展现状ღღ◈★,并在此基础上提出未来 5—10年海洋大数据科学发展的主要方向和关键技术ღღ◈★。
海洋大数据的获取手段主要得益于海洋观测技术的发展ღღ◈★。目前海洋观测呈现出多元化ღღ◈★、立体化ღღ◈★、实时化的特征ღღ◈★。从早期利用海洋调查船到浮标ღღ◈★、潜水器ღღ◈★、遥感的使用ღღ◈★,再到海洋观测网Argo 等的实现ღღ◈★,无一不展现了人类不断探索海洋的决心与智慧上戸彩ღღ◈★。
(1)海洋调查船ღღ◈★。这是一类专门从事海洋科学调查研究的船只ღღ◈★,是搭载海洋仪器设备直接观测海洋ღღ◈★、采集样品和研究海洋的工具ღღ◈★。海洋调查船按其调查任务可分为综合调查船ღღ◈★、专业调查船以及特种调查船[10]ღღ◈★。从世界上第一艘海洋调查船——“挑战者”号开始ღღ◈★,已有 100 多年的历史ღღ◈★。中国第一艘海洋调查船——“金星”号始于 1956 年ღღ◈★,目前中国已有共近 50 艘海洋调查船ღღ◈★。目前ღღ◈★,全球超过 40 个国家拥有海洋科考船ღღ◈★,总数量超过 500艘ღღ◈★。
(2)海洋浮标ღღ◈★。这是一类用于承载各类探测海洋和大气传感器的海上平台ღღ◈★,是海洋立体监测系统的重要组成部分[10]ღღ◈★。根据浮标在海上所处位置不同ღღ◈★,可分为锚定浮标ღღ◈★、潜标ღღ◈★、漂流浮标等ღღ◈★。海洋锚定浮标最早出现于二战期间ღღ◈★;20 世纪 70 年代后期ღღ◈★,随着计算机技术和卫星通信技术在浮标应用中的出现ღღ◈★,使得浮标技术发展进入了飞跃期ღღ◈★。海洋浮标在中国的开发研制始于 20 世纪 60 年代中期ღღ◈★,90 年代开始正式投入使用ღღ◈★。目前ღღ◈★,中国已经进入了海洋浮标监测的大国俱乐部[11]ღღ◈★。
(3)潜水器ღღ◈★。又称为深潜器ღღ◈★,是一种自带推动力的海洋考察设备——既能在水面行驶ღღ◈★,又能在水下独立开展工作[10]ღღ◈★。1554 年意大利人塔尔奇利亚发明的木质球形潜水器ღღ◈★,对后来潜水器的研制产生了巨大影响ღღ◈★。1717 年英国人哈雷设计了第一个有实用价值的潜水器ღღ◈★,此后直到 20 世纪 60 年代②ღღ◈★,人类对潜水器的研制主要致力于下潜深度的突破上戸彩ღღ◈★。“蛟龙”号是中国自行设计ღღ◈★、自主集成研制的深海载人潜水器OB欧宝ღღ◈★。ღღ◈★,目前以下潜深度 7 062 mღღ◈★,成为世界上下潜能力最深的作业型载人潜水器③ღღ◈★。
(4)海洋遥感ღღ◈★。该方法是利用传感器对海洋进行远距离非接触观测ღღ◈★,以获取海洋景观和海洋要素的图像或数据资料ღღ◈★;其发展历程大致可分为起步期(1939—1969 年)ღღ◈★、试验期(1970—1977 年)ღღ◈★、研究期(1978—1991 年)ღღ◈★、应用期(1992 年至今)[12]ღღ◈★。20 世纪 90 年代ღღ◈★,遥感卫星开始大量发射ღღ◈★;截至 2012 年底ღღ◈★,在轨卫星数量为 115 颗欧宝体育ღღ◈★,涉及超过 30 个空间机构[13,14]ღღ◈★。预测到 2030 年还会再有 156颗卫星发射ღღ◈★,届时总数将达到 271颗ღღ◈★。
(5)海洋观测网络ღღ◈★。美国的 Seaweb 是世界上最早部署和应用的海洋观测网络ღღ◈★;Argo 计划则是由美国海洋科学家于 1998 年倡导发起的一个监测全球海洋的大型网络ღღ◈★,全世界几十个国家参与其中ღღ◈★。截至 2018 年 7 月ღღ◈★,布放在全球海洋中仍处于工作状态的 Argo 剖面浮标已达 3 762 个④OB欧宝体育ღღ◈★。
未来ღღ◈★,Argo 剖面浮标将增加到近 4 000 个ღღ◈★;在维持现有Argo 观测内容的基础上ღღ◈★,新的Argo 浮标观测范围将扩大到海面 2 000 m 以下甚至海底ღღ◈★,同时携带安装生物ღღ◈★、地球ღღ◈★、化学等新型传感器ღღ◈★。在海洋大数据的获取方面ღღ◈★,虽然已实现了基于空基-天基-地基-海基的多元立体实时化发展ღღ◈★,但是亟待突破深海ღღ◈★、极端环境和高分辨率的大数据获取技术及平台的发展脉络ღღ◈★,同时如何基于空间数据的时空耦合与地理关联特性ღღ◈★,面向空间研究对象合理布设ღღ◈★、高效利用观测手段成为数据获取阶段的挑战ღღ◈★。
(1)海洋大数据存储管理ღღ◈★。世界各主要海洋国家均有负责数据处理和管理的海洋数据中心ღღ◈★。美国国家航空航天局(NASA)的地球观测中心建立了地球观测系统数据和信息系统ღღ◈★,存储和管理全部数据ღღ◈★,采用的是分布式开放的系统架构[15]ღღ◈★;欧洲航天局(ESA)也建立了采取基于任务的分布式存储的数据中心[16]ღღ◈★。中国目前海洋卫星遥感数据的存储采用由千兆交换机连接构成的 NAS (网络接入存储)三级存储体系ღღ◈★,主要采用磁盘阵列加光盘存储的方式[17]ღღ◈★。国外的海洋大数据存储采用了逻辑上集中ღღ◈★,物理上分散的分布式服务器集群存储架构ღღ◈★;而国内的海洋大数据还属于地域上的集中式服务器存储——随着数据量的增长ღღ◈★,在线存储资源有限ღღ◈★,难以实现在线存储资源的动态扩展和灵活配置ღღ◈★,离线数据获取耗时ღღ◈★,无法在线直接访问任意数据ღღ◈★。
(2)海洋大数据挖掘分析ღღ◈★。目前已有 MapReduceღღ◈★、Stormღღ◈★、StreamBaseღღ◈★、Pregel等先进的并行计算框架[18-20] ⑤ღღ◈★,且在各领域中得到广泛应用ღღ◈★。海洋大数据在信息挖掘过程中也从传统的经验模态正交法(EOF)发展到了具有时空解耦特性的四维谐波提取法(4D-HEM)[21-24]ღღ◈★。但是由于海洋大数据的时空耦合及地理关联特性ღღ◈★,导致传统的数据挖掘算法无法有效地进行时空解耦与地理分解ღღ◈★,使得挖掘算法成为海洋大数据科学全链条运转环节中亟待改进与调整的重要屏障[25]ღღ◈★。
(3)海洋大数据表达可视化ღღ◈★。利用科学可视化技术展示海洋数据以及更进一步地利用可视化分析技术挖掘时空数据规律ღღ◈★,是建立从感知到认知的关键技术桥梁ღღ◈★。海洋矢量场可视化算法主要有图表法ღღ◈★、几何法[26,27]ღღ◈★、纹理法[28]ღღ◈★、拓扑法[29]等ღღ◈★。标量场可视化算法在大规模体绘制[30-32]ღღ◈★、实时光照[33,34]ღღ◈★、多变量提特征提取[32,35]ღღ◈★、二维时空可视化等方面都取得了重要成果[36-39]ღღ◈★。但是随着海洋数据体量的继续增大ღღ◈★,对可视化表达方式欧宝体育网站ღღ◈★。ღღ◈★、处理效能等方面都提出了非常高的要求ღღ◈★,需要一方面尽可能真实地反映数据的特性OB欧宝体育ღღ◈★,另一方面充分提供系统的承载能力和处理能力ღღ◈★,提高数据的更新和绘制能力ღღ◈★。纵观国内外海洋大数据的分析技术研究ღღ◈★,中国在数据存储管理及挖掘方面仍处于跟跑阶段ღღ◈★,但在可视化分析方面已实现并跑ღღ◈★。
海洋大数据的应用主要为社会经济发展及气候预测等提供决策支撑ღღ◈★。目前ღღ◈★,世界各国都在积极投入“数字海洋”的建设ღღ◈★,并为进一步建设“智慧海洋”平台奠定基础ღღ◈★,如美国和加拿大制定的“海王星”计划ღღ◈★、日本的“ARANA”计划ღღ◈★、非洲沿海 25 国的“非洲近海资源数据和网络信息平台”以及中国的“iOcean”平台等⑥ღღ◈★。
海洋大数据在气候预警报决策支撑方面ღღ◈★,主要是建立在高性能集群基础上的完备数值预报体系[40]ღღ◈★。例如ღღ◈★:美国大气海洋局(NOAA)计划在 2023 年推出 WoF(Warn-onForecast)系统ღღ◈★。该系统可为美国及其临近海域提供精细化天气预报和灾害预警——美国本土计算网格大小精细至 3—10 kmღღ◈★,全球区域内网格精细至 15 kmღღ◈★;该系统的计算需求高达 1 万亿亿次ღღ◈★。
中国系列海洋卫星产品在赤潮/绿潮监测ღღ◈★、海冰监测ღღ◈★、渔业生产和水质调查等方面也得到了全面的业务化应用ღღ◈★。其中ღღ◈★,HY-2 产品应用于中国与欧盟的数值模式预报及多源融合产品中ღღ◈★,而高分辨率海面温度产品在马航失联客机海上搜救保障ღღ◈★、极地大洋航线中提供了重要的支撑保障[17]ღღ◈★。
目前ღღ◈★,海洋相关行业都在积极推动海洋大数据在行业中的应用ღღ◈★,关注海洋科学领域的新发现和新发明ღღ◈★,并推动产业化落地OB欧宝体育ღღ◈★。然而ღღ◈★,行业应用在大数据转型中毕竟是个新形态ღღ◈★、新过程上戸彩ღღ◈★,可以借鉴和参考的经验不多ღღ◈★,海洋大数据应用的行业落地过程还有不少问题需要解决ღღ◈★。随着大数据相关技术的研究不断取得突破ღღ◈★,传统行业如何重新审视自己的发展战略ღღ◈★,积极拓展行业内部(上ღღ◈★、下游)之间ღღ◈★、行业之间的数据更好地融合与利用是海洋大数据应用中的一项挑战ღღ◈★。
围绕国家海洋发展战略ღღ◈★,明确未来 5—10 年海洋大数据科学发展的方向ღღ◈★,确定海洋科学领域应用大数据的关键技术瓶颈ღღ◈★,提出推进海洋数据科学发展的关键步骤和重点支持领域ღღ◈★,实现海洋数据从“数据大”困境到“大数据”时代的战略性转变ღღ◈★。
(1)研究海洋科学与数据科学融合发展的主要方向与理论ღღ◈★。分析海洋大数据的特点ღღ◈★,结合海洋科学各领域的发展现状和趋势ღღ◈★,探索海洋科学与数据科学融合发展的核心问题ღღ◈★,明确未来 5—10 年海洋数据科学的重点发展方向ღღ◈★;以海洋科研需求推动数据科研体系发展ღღ◈★,建立有效推动海洋科研的数据驱动方法ღღ◈★。
(2)探索支撑海洋大数据发展的重点观测和探测计划ღღ◈★。根据海洋科学发展的历史和现状ღღ◈★、结合海洋科学发展趋势与国家海洋战略发展需求ღღ◈★,分析研究支撑未来 5—10 年海洋大数据发展的重点观测和探测区域欧宝娱乐APP在线登录入口ღღ◈★,ღღ◈★,从海ღღ◈★、陆ღღ◈★、空ღღ◈★、天ღღ◈★、时 5 个维度深入探索形成海洋大数据的关键基础和能力ღღ◈★。
(3)研究适应大数据特点的海洋科学和信息科学发展趋势ღღ◈★。针对海洋科学的综合与交叉学科特性ღღ◈★,分析海洋大数据在物理ღღ◈★、化学ღღ◈★、生物ღღ◈★、地质等主要海洋学科发展过程中的作用和影响ღღ◈★,探索海洋大数据与各学科交叉融合过程中的关键技术瓶颈ღღ◈★,以及云存储ღღ◈★、物联网ღღ◈★、人工智能ღღ◈★、泛在计算ღღ◈★、交互可视ღღ◈★、混合现实等前沿信息技术在海洋中的应用前景ღღ◈★,为构建面向现代海洋科学的大数据分析学理论与大数据海洋学知识发现体系提供指导ღღ◈★。
(4)研究海洋大数据的共享机制和协同创新平台建设需求ღღ◈★。根据“海洋强国”“一带一路”“海陆统筹”和“军民融合”等国家战略ღღ◈★,以及经济社会发展对海洋科学各领域的具体需求ღღ◈★,分析海洋大数据的共享机制ღღ◈★,研究建设海洋大数据协同创新平台的关键技术和建设规划ღღ◈★,形成产ღღ◈★、学ღღ◈★、研ღღ◈★、用的有机融合ღღ◈★。
(5)探索应用海洋大数据的新兴产业发展趋势与科技需求ღღ◈★。以大数据感知ღღ◈★、计算OB欧宝体育ღღ◈★、信息产品三大类数据服务为基础ღღ◈★,围绕海洋科学ღღ◈★、海洋健康与生物多样性ღღ◈★、全球气候变化ღღ◈★、海洋水产品食物安全ღღ◈★、海洋污染与人类健康ღღ◈★、海洋灾难与海事安全ღღ◈★、蓝色经济等各个领域的需求ღღ◈★,分析应用海洋大数据的新兴产业发展趋势ღღ◈★,推进海洋科技与蓝色经济的深度融合ღღ◈★。
海洋大数据时代的到来ღღ◈★,机遇与挑战并存ღღ◈★。国际社会已经认识到海洋大数据科学对于人类社会发展的重要性ღღ◈★,世界各国也意识到海洋大数据科学对国家核心竞 争力的提升具有重要标志性意义欧宝体育ღღ◈★,ღღ◈★。海洋大数据科学应从上ღღ◈★、中ღღ◈★、下游逐步攻坚克难ღღ◈★,真正将其发展成为保障“海洋强国”“一带一路”“海陆统筹”和“军民融合”等国家战略实施的重要支撑ღღ◈★,以及维护中国国家与人民利益的重要保障ღღ◈★。