国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

智慧海洋多平臺(tái)數(shù)據(jù)管理規(guī)范研究

2020-09-10 20:53李兆欽劉增宏許建平孫朝輝盧少磊
海洋開(kāi)發(fā)與管理 2020年4期
關(guān)鍵詞:數(shù)據(jù)共享

李兆欽 劉增宏 許建平 孫朝輝 盧少磊

摘要:我國(guó)未來(lái)智慧海洋觀測(cè)系統(tǒng)將集成多種觀測(cè)平臺(tái),獲取全球范圍、長(zhǎng)時(shí)間和準(zhǔn)實(shí)時(shí)的海洋數(shù)據(jù)。為更加科學(xué)而高效地管理數(shù)據(jù),文章結(jié)合我國(guó)智慧海洋發(fā)展趨勢(shì),分析存在的問(wèn)題,借鑒相對(duì)先進(jìn)的數(shù)據(jù)管理規(guī)范,為建設(shè)智慧海洋國(guó)際共享應(yīng)用平臺(tái)提供參考。研究結(jié)果表明:與觀測(cè)平臺(tái)、傳感器和通信技術(shù)的快速發(fā)展相比,我國(guó)海洋數(shù)據(jù)管理的發(fā)展十分緩慢,缺乏數(shù)據(jù)質(zhì)量控制和存儲(chǔ)等規(guī)范,嚴(yán)重制約海洋觀測(cè)數(shù)據(jù)的有效管理和共享應(yīng)用,不利于海洋大數(shù)據(jù)的融合和信息挖掘技術(shù)的發(fā)展;為各類(lèi)觀測(cè)平臺(tái)制定科學(xué)而合理的數(shù)據(jù)管理規(guī)范,對(duì)于智慧海洋建設(shè)至關(guān)重要,亟須盡快組織專(zhuān)業(yè)人員成立工作組,落實(shí)和保障該項(xiàng)工作的有序開(kāi)展,從而提升我國(guó)在海洋大數(shù)據(jù)信息處理方面的能力。

關(guān)鍵詞:智慧海洋;海洋大數(shù)據(jù);數(shù)據(jù)管理規(guī)范;數(shù)據(jù)共享;海洋觀測(cè)

Abstract:In the future,China′s smart ocean observation system will integrate multiple observation platforms,combining with advanced communication and internet technologies,which makes it possible to get large-scale and long-term oceanic information in near real-time from regional to global scale.In order to manage data more scientifically and efficiently,this paper analyzed the existing problems in combination with the development trend of smart ocean in China,and drew lessons from the relatively advanced data management standards,so as to provide important reference for the construction of the international shared application platform of smart ocean.The research results showed that,the progress of ocean data management was relatively slow compared with the rapid development of observation technology and lack of standardized data quality control and storage,which had greatly hindered the effective management and sharing of observational data and was unfavorable for the integration of ocean big data and the development of information mining technology.It was therefore the drafting of scientific and reasonable data management specifications for various types of observing platforms scientific was essential for the construction of the China′s smart ocean system.This had required great attentions from related departments.It is necessary to establish working groups as soon as possible to conduct related works,thus will enhance the ability to process ocean big data.

Key words:Smart ocean,Ocean big data,Data management specification,Data sharing,Ocean observation

0 引言

隨著海洋觀測(cè)技術(shù)和通信技術(shù)的快速發(fā)展,海洋儀器設(shè)備不斷更新?lián)Q代,未來(lái)海洋觀測(cè)將步入智慧海洋的物聯(lián)網(wǎng)時(shí)代,觀測(cè)方式不再局限于船只走航,而是包含各種固定和移動(dòng)平臺(tái)的組網(wǎng)觀測(cè),在空間上呈點(diǎn)、線、面分布,觀測(cè)層次從海表至海底,時(shí)間尺度覆蓋小時(shí)至年甚至年代,結(jié)合互聯(lián)網(wǎng)和計(jì)算機(jī)技術(shù),實(shí)現(xiàn)從海洋信息采集、傳輸和處理到數(shù)據(jù)分析、產(chǎn)品制作和信息服務(wù)的智能化。當(dāng)前海洋多平臺(tái)的組網(wǎng)觀測(cè)已不難實(shí)現(xiàn),真正亟須解決的關(guān)鍵技術(shù)問(wèn)題是統(tǒng)一化和規(guī)范化的數(shù)據(jù)管理以及多平臺(tái)的信息融合和挖掘,其中針對(duì)多觀測(cè)平臺(tái)的數(shù)據(jù)管理規(guī)范是基礎(chǔ)和須首先解決的問(wèn)題[1]。

各種海洋觀測(cè)平臺(tái)都有獨(dú)特的工作模式和數(shù)據(jù)格式,只有制定科學(xué)合理的數(shù)據(jù)管理規(guī)范,才能高效利用這些觀測(cè)數(shù)據(jù),做到有據(jù)可依,進(jìn)而為海洋立體監(jiān)測(cè)和認(rèn)知海洋提供更多的有效信息。多年來(lái)我國(guó)已制定部分與海洋數(shù)據(jù)相關(guān)的標(biāo)準(zhǔn)和規(guī)范,但很多標(biāo)準(zhǔn)不一致,尚未建立統(tǒng)一的海洋數(shù)據(jù)規(guī)范和標(biāo)準(zhǔn)體系,導(dǎo)致目前海洋數(shù)據(jù)的質(zhì)量難以保證、利用率較低以及兼容性和可比性較差[2]。為各種觀測(cè)平臺(tái)制定數(shù)據(jù)管理規(guī)范往往須投入大量人力和物力,對(duì)于相關(guān)人員來(lái)說(shuō),數(shù)據(jù)質(zhì)量控制方法的設(shè)計(jì)須具備專(zhuān)業(yè)知識(shí),數(shù)據(jù)存儲(chǔ)方式和格式以及數(shù)據(jù)處理流程的制定須同時(shí)具備計(jì)算機(jī)知識(shí)和海洋知識(shí)。本研究借鑒較成熟的觀測(cè)平臺(tái)數(shù)據(jù)管理規(guī)范,結(jié)合我國(guó)智慧海洋的發(fā)展趨勢(shì),對(duì)多平臺(tái)數(shù)據(jù)管理規(guī)范進(jìn)行研究,以期為建設(shè)智慧海洋國(guó)際共享應(yīng)用平臺(tái)提供參考。

1 智慧海洋

美國(guó)IBM公司于2008年率先提出“智慧地球”的概念,其核心是把傳感器嵌入各種物理基礎(chǔ)設(shè)施,連接形成物聯(lián)網(wǎng)并與互聯(lián)網(wǎng)進(jìn)行整合,使人類(lèi)能以更加精細(xì)和動(dòng)態(tài)的方式管理生產(chǎn)和生活,實(shí)現(xiàn)全球智慧狀態(tài)[3]。智慧海洋是基于海洋綜合立體感知、互聯(lián)網(wǎng)實(shí)時(shí)信息傳輸、大數(shù)據(jù)、云計(jì)算和知識(shí)挖掘等高新技術(shù),以海洋綜合感知網(wǎng)、海洋信息通信網(wǎng)和海洋大數(shù)據(jù)云平臺(tái)等信息基礎(chǔ)設(shè)施為主體,搭建海洋信息智能化應(yīng)用服務(wù)群,并建立貫穿各環(huán)節(jié)的標(biāo)準(zhǔn)質(zhì)量、運(yùn)維服務(wù)、技術(shù)裝備和信息安全體系[4]。智慧海洋能力建設(shè)包括感知網(wǎng)、通信網(wǎng)、大數(shù)據(jù)平臺(tái)和應(yīng)用群,具備的功能包括智能化信息采集、信息傳輸、信息處理和信息服務(wù)。已建成的美國(guó)大洋觀測(cè)計(jì)劃(IOO)、美國(guó)綜合海洋觀測(cè)系統(tǒng)(IOOS)、加拿大東北太平洋時(shí)間序列水下觀測(cè)網(wǎng)(NEPTUNE)和歐洲EMSO觀測(cè)網(wǎng)等單一或綜合觀測(cè)系統(tǒng)均可視為智慧海洋的初級(jí)產(chǎn)品[5-8]。

海洋強(qiáng)國(guó)建設(shè)離不開(kāi)智慧海洋建設(shè)。智慧海洋建設(shè)事關(guān)重大戰(zhàn)略,事關(guān)國(guó)家利益,事關(guān)長(zhǎng)遠(yuǎn)建設(shè)[9]。未來(lái)智慧海洋觀測(cè)系統(tǒng)將集成基于“空天地?!钡母鞣N觀測(cè)平臺(tái),自動(dòng)獲取海洋內(nèi)部各種物理和生物地球化學(xué)信息,并通過(guò)現(xiàn)代通信網(wǎng)絡(luò)傳輸?shù)酱髷?shù)據(jù)平臺(tái)。大數(shù)據(jù)平臺(tái)是重要的中間環(huán)節(jié),發(fā)揮數(shù)據(jù)接收以及信息解譯、處理和分發(fā)的作用[10]。由于工作方式和攜帶傳感器不同,每種觀測(cè)平臺(tái)具有不同的采樣方式和觀測(cè)數(shù)據(jù),其信息處理流程、數(shù)據(jù)質(zhì)量控制方法和數(shù)據(jù)存儲(chǔ)格式也不同,須制定相應(yīng)的數(shù)據(jù)管理規(guī)范,才能合理和有效地利用這些數(shù)據(jù),以開(kāi)展后續(xù)的大數(shù)據(jù)分析和挖掘。

2 數(shù)據(jù)管理規(guī)范

2.1 信息處理流程

每種觀測(cè)平臺(tái)都有獨(dú)特的工作模式和采樣方式,并可能使用不同的通信手段傳輸觀測(cè)數(shù)據(jù),信息處理流程存在差異,因此須詳細(xì)制定盡可能完善的信息處理流程。在制定信息處理流程的過(guò)程中,應(yīng)有包括平臺(tái)使用、系統(tǒng)設(shè)計(jì)、程序編寫(xiě)、質(zhì)量控制、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)使用等在內(nèi)的相關(guān)人員共同參與,商討流程的總體框架和每個(gè)模塊實(shí)現(xiàn)的功能。其中,總負(fù)責(zé)人負(fù)責(zé)流程總體框架的設(shè)計(jì)和制定,各模塊負(fù)責(zé)人負(fù)責(zé)各模塊的流程設(shè)計(jì)和制定,數(shù)據(jù)用戶提出數(shù)據(jù)使用需求,各模塊之間還須進(jìn)行協(xié)調(diào)。信息處理流程通常包含數(shù)據(jù)(編碼)接收、信息解譯、質(zhì)量控制、格式寫(xiě)入以及數(shù)據(jù)分發(fā)和共享5個(gè)模塊。

中國(guó)Argo實(shí)時(shí)資料中心制定的Argo剖面浮標(biāo)信息處理流程如圖1所示。

該信息處理流程包括3個(gè)部分:①針對(duì)Argos衛(wèi)星、銥衛(wèi)星和北斗衛(wèi)星3種衛(wèi)星通信系統(tǒng)的浮標(biāo)數(shù)據(jù)接收模塊;②具有信息自動(dòng)解碼、實(shí)時(shí)質(zhì)量控制、實(shí)時(shí)壓力校正和統(tǒng)一格式寫(xiě)入功能的信息處理模塊;③負(fù)責(zé)數(shù)據(jù)分發(fā)的模塊。按照該流程,中國(guó)Argo實(shí)時(shí)資料中心基于LINUX操作系統(tǒng)建立可批量接收、處理和分發(fā)各型浮標(biāo)和傳感器觀測(cè)資料的系統(tǒng)并投入業(yè)務(wù)運(yùn)行,這是支撐中國(guó)Argo實(shí)時(shí)資料中心運(yùn)行的核心技術(shù)。該系統(tǒng)內(nèi)的各模塊由大量基于MATLAB和Python語(yǔ)言的代碼以及LINUX SHELL腳本組成,最終通過(guò)LINUX Crontab進(jìn)行任務(wù)調(diào)度,實(shí)現(xiàn)系統(tǒng)程序的定時(shí)自動(dòng)運(yùn)行[11]。

未來(lái)智慧海洋共享應(yīng)用平臺(tái)的信息處理流程更加復(fù)雜,可參考中國(guó)Argo實(shí)時(shí)資料中心的信息處理流程進(jìn)行規(guī)劃。

2.2 數(shù)據(jù)接收

使用不同通信系統(tǒng)傳輸數(shù)據(jù)(編碼),其數(shù)據(jù)接收方式不盡相同:①Argos衛(wèi)星通信的數(shù)據(jù)包通常采用32字節(jié)的十六進(jìn)制編碼,用戶可使用Telnet協(xié)議或Email接收數(shù)據(jù)[12];②目前使用最廣泛的銥衛(wèi)星通信的數(shù)據(jù)包通常采用二進(jìn)制編碼,其中RUDICS方式支持大數(shù)據(jù)包傳輸,SBD方式支持最大300字節(jié)的數(shù)據(jù)包傳輸,數(shù)據(jù)接收方式分別為FTP協(xié)議和Email[13-14];③國(guó)產(chǎn)北斗衛(wèi)星通信支持約100字節(jié)的二進(jìn)制或十六進(jìn)制數(shù)據(jù)包傳輸,用戶須安裝北斗終端接收數(shù)據(jù)[15];④在近岸無(wú)線信號(hào)覆蓋區(qū)域內(nèi),4G/5G無(wú)線通信模塊支持至少20 Mb/s的數(shù)據(jù)傳輸速度,用戶可使用TCP/IP和M2M協(xié)議接收數(shù)據(jù)[16]。

由此可見(jiàn),使用不同通信方式的觀測(cè)平臺(tái)須使用不同的通信協(xié)議并從不同服務(wù)器或數(shù)據(jù)中心接收觀測(cè)數(shù)據(jù)。在制定各種觀測(cè)平臺(tái)的數(shù)據(jù)接收規(guī)范時(shí),應(yīng)綜合考慮衛(wèi)星(無(wú)線)通信的速率和用戶對(duì)數(shù)據(jù)時(shí)效性的要求,明確數(shù)據(jù)的最低接收頻次。同時(shí),針對(duì)編程使用的協(xié)議提出建議,避免數(shù)據(jù)包丟失。

2.3 信息解譯

通過(guò)衛(wèi)星(無(wú)線)傳輸?shù)挠^測(cè)數(shù)據(jù)通常以二進(jìn)制或十六進(jìn)制編碼,因此須嚴(yán)格按照設(shè)備研制廠家提供的用戶手冊(cè)解碼。即使是同一型號(hào)的設(shè)備,因設(shè)備版本和攜帶傳感器的不同,其數(shù)據(jù)編碼格式也有差別,如美國(guó)Teledyne Webb公司生產(chǎn)的APEX型浮標(biāo)從2000年至今有10余種編碼格式。使用Argos衛(wèi)星和銥衛(wèi)星通信傳輸?shù)母?biāo)數(shù)據(jù)編碼格式也完全不同,如不嚴(yán)格按照用戶手冊(cè)的編碼格式說(shuō)明進(jìn)行解碼,將無(wú)法獲得正確的浮標(biāo)觀測(cè)數(shù)據(jù)和技術(shù)信息。因此,制定智慧海洋觀測(cè)平臺(tái)的信息解譯規(guī)范對(duì)于獲取正確的觀測(cè)數(shù)據(jù)十分重要[17]。

信息解譯規(guī)范的制定過(guò)程通常包含解碼器的編寫(xiě)、測(cè)試、試運(yùn)行和業(yè)務(wù)運(yùn)行。解碼器編寫(xiě)規(guī)范應(yīng)規(guī)定使用的語(yǔ)言和操作系統(tǒng)、解譯信息類(lèi)型和程序結(jié)構(gòu)規(guī)范化等內(nèi)容,應(yīng)由具備專(zhuān)業(yè)計(jì)算機(jī)知識(shí)和海洋知識(shí)的人員共同完成;解碼器測(cè)試規(guī)范應(yīng)規(guī)定測(cè)試的過(guò)程、內(nèi)容和結(jié)果分析以及程序改進(jìn)等,同樣應(yīng)由具備專(zhuān)業(yè)計(jì)算機(jī)知識(shí)和海洋知識(shí)的人員共同完成;解碼器試運(yùn)行規(guī)范應(yīng)包含試運(yùn)行的方式和結(jié)果分析以及程序改進(jìn)等,應(yīng)由該模塊負(fù)責(zé)人和解碼器程序編寫(xiě)人員共同完成;解碼器順利通過(guò)試運(yùn)行方可投入業(yè)務(wù)運(yùn)行,投入業(yè)務(wù)運(yùn)行的解碼器應(yīng)正式編入信息解譯手冊(cè),說(shuō)明該解碼器對(duì)應(yīng)觀測(cè)平臺(tái)的種類(lèi)、型號(hào)、版本和攜帶傳感器等,并逐一說(shuō)明程序的輸出變量。

信息解譯的重要環(huán)節(jié)是將傳感器的輸出值或觀測(cè)平臺(tái)通過(guò)衛(wèi)星(無(wú)線)通信的輸出值計(jì)算成真正有效的海洋要素值。很多生物地球化學(xué)傳感器的輸出值并不代表觀測(cè)要素值,須通過(guò)給定的方法和實(shí)驗(yàn)室標(biāo)定系數(shù)進(jìn)行計(jì)算后,才能獲得需要的物理量。例如:使用熒光法測(cè)量海水溶解氧濃度的Aanderaa溶解氧傳感器,其輸出值通常為紅藍(lán)光的2個(gè)相位值,須通過(guò)相應(yīng)的方法(如Stern-Volmer方程)反演得到真正的海水溶解氧濃度[18]。因此,應(yīng)在規(guī)范中明確規(guī)定各種傳感器輸出值的要素計(jì)算方法,并說(shuō)明計(jì)算程序。

信息解譯后,須將用戶需要的觀測(cè)數(shù)據(jù)、設(shè)備技術(shù)信息、時(shí)間和定位等寫(xiě)入文件。這就須針對(duì)每種觀測(cè)平臺(tái)制定相應(yīng)的數(shù)據(jù)存儲(chǔ)格式,主要包括存儲(chǔ)方式(二進(jìn)制或可讀的文本文件)、文件命名規(guī)則、存儲(chǔ)時(shí)間段、存儲(chǔ)格式(包括表頭信息、定位、時(shí)間和觀測(cè)數(shù)據(jù)等)、變量命名規(guī)則、數(shù)值有效數(shù)字、缺省值、采用的單位和數(shù)據(jù)排列方式。此外,應(yīng)規(guī)范每種觀測(cè)平臺(tái)在計(jì)算機(jī)中的目錄組織結(jié)構(gòu),目錄的命名應(yīng)遵循一定的規(guī)則。

2.4 數(shù)據(jù)質(zhì)量控制

數(shù)據(jù)質(zhì)量控制是在信息獲得正確解譯后確保數(shù)據(jù)可靠性的重要步驟,不同觀測(cè)平臺(tái)和傳感器的數(shù)據(jù)質(zhì)量控制方法雖各不相同,但可相互借鑒。質(zhì)量控制分為實(shí)時(shí)和延時(shí)2種模式:實(shí)時(shí)質(zhì)量控制完全由計(jì)算機(jī)自動(dòng)完成,可保證數(shù)據(jù)無(wú)明顯異常值;延時(shí)質(zhì)量控制須由具備專(zhuān)業(yè)知識(shí)背景的人員進(jìn)行人工判斷,通過(guò)賦予質(zhì)量控制標(biāo)記符來(lái)確定數(shù)據(jù)質(zhì)量。無(wú)論是實(shí)時(shí)質(zhì)量控制還是延時(shí)質(zhì)量控制,所有數(shù)據(jù)都應(yīng)保留原始觀測(cè)值,經(jīng)延時(shí)質(zhì)量控制的數(shù)據(jù)還須包含校正值。除觀測(cè)數(shù)據(jù)外,定位和時(shí)間信息也須進(jìn)行質(zhì)量控制,尤其是對(duì)于移動(dòng)觀測(cè)平臺(tái),當(dāng)其無(wú)動(dòng)力時(shí)應(yīng)滿足通過(guò)定位和時(shí)間信息計(jì)算的平臺(tái)速度不超過(guò)海域最大流速,當(dāng)其有動(dòng)力時(shí)還應(yīng)考慮平臺(tái)的前進(jìn)速度。因此,制定數(shù)據(jù)質(zhì)量控制方法是復(fù)雜的工作,應(yīng)由具備專(zhuān)業(yè)海洋知識(shí)和了解平臺(tái)運(yùn)行情況的技術(shù)人員共同完成。

在每種觀測(cè)平臺(tái)制定數(shù)據(jù)質(zhì)量控制方法前,應(yīng)組建工作小組,負(fù)責(zé)該平臺(tái)數(shù)據(jù)質(zhì)量控制方法的制定和更新工作。由數(shù)據(jù)質(zhì)量控制方法總負(fù)責(zé)人進(jìn)行各小組間的協(xié)調(diào),目的是保證將各類(lèi)觀測(cè)平臺(tái)具有共性的內(nèi)容進(jìn)行統(tǒng)一,如確定質(zhì)量控制標(biāo)記符和選取閾值。在制定數(shù)據(jù)質(zhì)量控制方法時(shí)可借鑒國(guó)際較成熟的方法,如水下滑翔機(jī)和Argo具有相似的工作特點(diǎn)和可攜帶的傳感器[19],水下滑翔機(jī)的觀測(cè)數(shù)據(jù)質(zhì)量控制方法即可借鑒國(guó)際Argo計(jì)劃制定的方法。每種觀測(cè)平臺(tái)的數(shù)據(jù)質(zhì)量控制方法應(yīng)獨(dú)立成冊(cè),并由工作小組負(fù)責(zé)更新,對(duì)于目前尚無(wú)完善數(shù)據(jù)質(zhì)量控制方法的傳感器觀測(cè)數(shù)據(jù),應(yīng)隨時(shí)跟蹤國(guó)內(nèi)外最新研究進(jìn)展,并有計(jì)劃地更新。數(shù)據(jù)質(zhì)量控制手冊(cè)中應(yīng)規(guī)定質(zhì)量控制的各項(xiàng)測(cè)試步驟、賦予的質(zhì)控標(biāo)記以及方法的出處和原理等內(nèi)容。當(dāng)數(shù)據(jù)質(zhì)量控制方法確定后,可設(shè)計(jì)相應(yīng)的程序,以實(shí)現(xiàn)觀測(cè)數(shù)據(jù)的質(zhì)量控制,并對(duì)每個(gè)觀測(cè)值賦予質(zhì)量標(biāo)記符號(hào)。每個(gè)測(cè)試步驟的程序均應(yīng)進(jìn)行測(cè)試,從而獲得手冊(cè)規(guī)定的測(cè)試效果。

2.5 數(shù)據(jù)存儲(chǔ)

科研數(shù)據(jù)的共享要求數(shù)據(jù)可被科研人員和公眾發(fā)現(xiàn)、訪問(wèn)、互操作和重復(fù)使用,因此數(shù)據(jù)產(chǎn)出后管理的目的并不僅是數(shù)據(jù)存儲(chǔ),更重要的是數(shù)據(jù)流轉(zhuǎn)和利用,這就要求共享數(shù)據(jù)能以通用或可轉(zhuǎn)換的格式保存和管理,通用而高效的數(shù)據(jù)存儲(chǔ)方式可方便用戶使用數(shù)據(jù),并促進(jìn)數(shù)據(jù)的推廣使用。智慧海洋共享應(yīng)用平臺(tái)的建設(shè)也須制定通用而高效的數(shù)據(jù)存儲(chǔ)規(guī)范,既可節(jié)省人力和物力投入,還能提高平臺(tái)開(kāi)發(fā)應(yīng)用服務(wù)的效率,降低用戶的時(shí)間成本。在海洋與大氣領(lǐng)域,目前國(guó)際較通用的數(shù)據(jù)存儲(chǔ)方式有NetCDF、JSON和XML等,其中:NetCDF格式應(yīng)用最為廣泛,適合存儲(chǔ)網(wǎng)格化和散點(diǎn)數(shù)據(jù);JSON和XML為結(jié)構(gòu)性標(biāo)記語(yǔ)言,易于機(jī)器解析和生成,通常用于存儲(chǔ)元數(shù)據(jù)[20-21]。

各類(lèi)觀測(cè)平臺(tái)的數(shù)據(jù)類(lèi)型通常分為元數(shù)據(jù)、觀測(cè)數(shù)據(jù)、技術(shù)信息和漂移軌跡(移動(dòng)平臺(tái))等。其中,元數(shù)據(jù)文件存儲(chǔ)設(shè)備的序列號(hào)、固件版本、通信和定位系統(tǒng)、傳輸平臺(tái)號(hào)、攜帶的傳感器、布放時(shí)間、布放位置、布放使用的船只、負(fù)責(zé)人以及所屬項(xiàng)目等信息,觀測(cè)數(shù)據(jù)文件存儲(chǔ)平臺(tái)通過(guò)衛(wèi)星(無(wú)線)通信傳回的輸出值、計(jì)算后的要素值、時(shí)間和定位信息以及質(zhì)量控制標(biāo)記符號(hào)等內(nèi)容,技術(shù)信息文件存儲(chǔ)平臺(tái)、傳感器和電池等的技術(shù)參數(shù),漂移軌跡文件存儲(chǔ)移動(dòng)平臺(tái)在海上漂移時(shí)的定位和時(shí)間信息以及在水下漂移時(shí)測(cè)量的各類(lèi)要素值。

在制定數(shù)據(jù)存儲(chǔ)規(guī)范時(shí),須首先制定有關(guān)變量的命名和類(lèi)型、文件的命名和存儲(chǔ)方式、各種平臺(tái)和傳感器的型號(hào)和生產(chǎn)廠家以及測(cè)量要素的命名等規(guī)則,使各觀測(cè)平臺(tái)的變量名統(tǒng)一,如溫度變量名可統(tǒng)一使用TEMP。數(shù)據(jù)文件名應(yīng)體現(xiàn)平臺(tái)的類(lèi)型、型號(hào)、序列號(hào)、投放時(shí)間和循環(huán)序號(hào)等信息,如“glider_seawing1000J003_20190701_001.nc”即代表序號(hào)為1000J003的“海翼”號(hào)水下滑翔機(jī)在2019年7月1日投放后觀測(cè)的第1條剖面。對(duì)于各類(lèi)觀測(cè)要素,須統(tǒng)一確定其數(shù)據(jù)類(lèi)型、詳細(xì)名稱(chēng)、單位、極值范圍、分辨率、保留小數(shù)位數(shù)和缺省值等屬性。

各工作小組可根據(jù)各觀測(cè)平臺(tái)的工作特點(diǎn)和觀測(cè)要素等信息,制定相應(yīng)的數(shù)據(jù)存儲(chǔ)規(guī)范或格式說(shuō)明,確定需存儲(chǔ)的數(shù)據(jù)和信息以及每個(gè)變量的維數(shù)和長(zhǎng)度等。例如:某個(gè)錨碇浮標(biāo)在10 m、50 m、100 m和200 m水深層各安裝1個(gè)溫度傳感器且觀測(cè)頻率一致,那么其溫度變量可定義為T(mén)EMP(N_LEVELS,N_TIME),其中N_LEVELS=4,N_TIME=UNLIMITED,即代表該浮標(biāo)的觀測(cè)層數(shù)為4層,觀測(cè)值數(shù)量(時(shí)間序列)不限定,可隨時(shí)間的推移不斷增加。又如:某個(gè)Argo剖面浮標(biāo)在某個(gè)循環(huán)內(nèi)觀測(cè)的鹽度可定義為PSAL(N_PROF,N_LEVELS),其中N_PROF=1,N_LEVELS=75,即代表該浮標(biāo)觀測(cè)1條鹽度剖面,層數(shù)為75層(有些浮標(biāo)攜帶的CTD傳感器同時(shí)采用散點(diǎn)和連續(xù)采樣模式,在1個(gè)循環(huán)內(nèi)可觀測(cè)1條以上溫、鹽度剖面)。因此,在制定數(shù)據(jù)存儲(chǔ)規(guī)范時(shí)應(yīng)綜合考慮觀測(cè)平臺(tái)的工作模式、攜帶的傳感器和采樣模式等情況,提高文件的兼容性,避免多次修訂規(guī)范。

需要指出的是,對(duì)于參與國(guó)際共享的數(shù)據(jù),如已有數(shù)據(jù)存儲(chǔ)的相應(yīng)國(guó)際規(guī)范(如Argo計(jì)劃),應(yīng)直接采用這些國(guó)際規(guī)范,從而保證數(shù)據(jù)存儲(chǔ)格式與國(guó)際大科學(xué)計(jì)劃無(wú)縫銜接。

2.6 數(shù)據(jù)分發(fā)共享

科研數(shù)據(jù)的開(kāi)放共享具有重要意義:一方面,可基于前人研究成果,有效提高學(xué)術(shù)成果質(zhì)量;另一方面,可避免低效和重復(fù)工作,加快創(chuàng)新,并提高科研過(guò)程的透明度[22]。通過(guò)參與國(guó)際大科學(xué)計(jì)劃與其他國(guó)家共享和交換觀測(cè)數(shù)據(jù),是未來(lái)智慧海洋建設(shè)必不可少的環(huán)節(jié),也是人類(lèi)共同應(yīng)對(duì)全球氣候變化的必然趨勢(shì)。因此,我國(guó)亟須以國(guó)家需求為牽引,深度參與國(guó)際合作,科學(xué)制定智慧海洋數(shù)據(jù)分發(fā)共享的管理辦法和條例,明確可參與國(guó)際共享的數(shù)據(jù)類(lèi)型和數(shù)據(jù)共享的分級(jí)制度等。例如:對(duì)于Argo觀測(cè),在大洋海域獲取的數(shù)據(jù)資料,可無(wú)條件與其他Argo計(jì)劃成員國(guó)共享和交換;在我國(guó)管轄海域獲取的數(shù)據(jù)資料,可實(shí)行有限共享策略和分級(jí)共享制度。對(duì)于數(shù)據(jù)分級(jí)共享制度的制定,相關(guān)部門(mén)應(yīng)牽頭成立專(zhuān)家組,并根據(jù)專(zhuān)家組的意見(jiàn)做出科學(xué)決策。

3 結(jié)語(yǔ)

智慧海洋在“空天地?!庇^測(cè)系統(tǒng)的大趨勢(shì)下應(yīng)運(yùn)而生,其中具有國(guó)際影響力的智慧海洋共享應(yīng)用平臺(tái)是智慧海洋建設(shè)工程的重要組成部分。制定針對(duì)多觀測(cè)平臺(tái)的數(shù)據(jù)管理規(guī)范是重要基礎(chǔ),既能確保觀測(cè)數(shù)據(jù)的高效接收、處理、存儲(chǔ)和推廣應(yīng)用,又能有效保證數(shù)據(jù)質(zhì)量。制定高效的數(shù)據(jù)管理規(guī)范是非常復(fù)雜的工程,須投入大量人力和物力,并須由具備專(zhuān)業(yè)計(jì)算機(jī)知識(shí)和海洋知識(shí)的人員以及從事觀測(cè)平臺(tái)設(shè)計(jì)和使用的人員緊密配合,加強(qiáng)頂層設(shè)計(jì)和明確分工??茖W(xué)而有效的數(shù)據(jù)管理規(guī)范可大大節(jié)約智慧海洋共享應(yīng)用平臺(tái)業(yè)務(wù)運(yùn)行所需的人力和物力資源以及計(jì)算成本,更重要的是可提升我國(guó)在海洋大數(shù)據(jù)信息處理方面的能力。因此,該項(xiàng)基礎(chǔ)性工作亟須引起相關(guān)部門(mén)的高度重視,盡快組織專(zhuān)業(yè)人員成立工作組,落實(shí)和保障該項(xiàng)工作的有序開(kāi)展。

本研究涉及的數(shù)據(jù)類(lèi)型主要包括溫度、鹽度和壓力等物理海洋環(huán)境要素以及溶解氧和葉綠素等部分生物地球化學(xué)環(huán)境要素,但不包括海洋地質(zhì)、地磁和聲學(xué)等海洋物理和海洋地質(zhì)數(shù)據(jù)。

參考文獻(xiàn)

[1] 曹麗娜.海洋大數(shù)據(jù)管理與應(yīng)用技術(shù)研究[D].舟山:浙江海洋大學(xué),2019.

[2] 楊錦坤,董明媚,武雙全.推進(jìn)我國(guó)海洋數(shù)據(jù)深入共享服務(wù)的總體考慮[J].海洋開(kāi)發(fā)與管理,2015,32(3):68-72.

[3] 徐德明.智慧中國(guó)地理空間智能體系研究報(bào)告[M].北京:社會(huì)科學(xué)文獻(xiàn)出版社,2014.

[4] 姜曉軼,潘德?tīng)t.談?wù)勎覈?guó)智慧海洋發(fā)展的建議[J].海洋信息,2018(1):1-6.

[5] COWLES T,DELANEY J,ORCUTT J,et al.The ocean observatories initiative:sustained ocean observing across a range of spatial scales[J].Marine Technology Society Journal,2010,44(6):54-64.

[6] OCEAN US.An integrated and sustained ocean observing system(IOOS)for the United States:design and implementation[Z].2002.

[7] BARNES C R,BEST M M R,ZIELINSKI A.The NEPTUNE Canada regional cabled ocean observatory[J].Sea Technology,2008,49(7):10-14.

[8] FAVALI P,BERANZOLI L.EMSO:European multidisciplinary seafloor observatory[J].Nuclear Instruments and Methods in Physics Research Section A:Accelerators,Spectrometers,Detectors and Associated Equipment,2009,602(1):21-27.

[9] 潘德?tīng)t.大數(shù)據(jù)是智慧海洋建設(shè)的靈魂[EB/OL].(2018-06-20)[2019-09-01].https://www.sohu.com/a/236889688_335896.

[10] 黃冬梅,趙丹楓,魏立斐,等.大數(shù)據(jù)背景下海洋數(shù)據(jù)管理的挑戰(zhàn)與對(duì)策[J].計(jì)算機(jī)科學(xué),2016,43(6):17-23.

[11] 劉增宏,吳曉芬,許建平,等.中國(guó)Argo海洋觀測(cè)十五年[J].地球科學(xué)進(jìn)展,2016,31(5):445-460.

[12] 張少永,林玉池,熊焰.Argos衛(wèi)星發(fā)射平臺(tái)研究與Argos通訊系統(tǒng)應(yīng)用[J].海洋技術(shù),2005(1):25-28.

[13] Iridium Satellite LLC.Iridium short burst data service developers guide,Release 2.0[Z].2007.

[14] Iridium Communications.Iridium 9602 SBD transceiver developer′s guide(2014)[Z].2014.

[15] 張素偉,沈銳.北斗衛(wèi)星系統(tǒng)在HM 2000型剖面浮標(biāo)中的應(yīng)用[A].許建平.西太平洋Argo實(shí)時(shí)海洋調(diào)查研究文集[C].北京:海洋出版社,2017:388-398.

[16] 王胡成,徐暉,程志密,等.5G網(wǎng)絡(luò)技術(shù)研究現(xiàn)狀和發(fā)展趨勢(shì)[J].電信科學(xué),2015,31(9):149-155.

[17] 中國(guó)Argo實(shí)時(shí)資料中心.嚴(yán)重影響Argo資料質(zhì)量的關(guān)鍵技術(shù):剖面浮標(biāo)解碼器[Z].2017.

[18] 涂夢(mèng)迪,殷高方,趙南京,等.基于時(shí)域熒光壽命的水體溶解氧濃度檢測(cè)方法[J].光學(xué)學(xué)報(bào),2018,38(10):39-44.

[19] WONG A,KEELEY R,CARVAL T.Argo quality control manual for CTD and trajectory data Version 3.2.01 February 2019[Z].2019.

[20] LEDOUX H,ARROYO O K,KUMAR K,et al.CityJSON:a compact and easy-to-use encoding of the CityGML data model.Open geospatial data,softw.stand[Z].2009.

[21] SCHMIDT A,KERSTEN M,WINDHOUWER M,et al.Efficient relational storage and retrieval of XML documents[A].International workshop on the world wide web and databases[C].Berlin,Heidelberg:Springer,2000:137-150.

[22] GUEDJ D,RAMJOU C.European commission policy on open-access to scientific publications and research data in Horizon 2020[J].Biomedical Data Journal,2015,1(1):10.11610/bmdj.01102.

猜你喜歡
數(shù)據(jù)共享
淺談天津氣象信息化發(fā)展現(xiàn)狀和發(fā)展趨勢(shì)
科學(xué)大數(shù)據(jù)的發(fā)展態(tài)勢(shì)及建議
數(shù)字化迎新系統(tǒng)宿舍分配模塊的設(shè)計(jì)與實(shí)現(xiàn)
網(wǎng)絡(luò)時(shí)代電子文件和檔案管理的探索
貴州大數(shù)據(jù)產(chǎn)業(yè)發(fā)展戰(zhàn)略理解和實(shí)施建議
面向海上平臺(tái)機(jī)械電氣設(shè)備的數(shù)據(jù)共享平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
基于協(xié)同辦公的會(huì)議管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
高校一表通系統(tǒng)建設(shè)探究
基于SOA架構(gòu)的中學(xué)精細(xì)化管理模式研究
基于元數(shù)據(jù)映射機(jī)制的異構(gòu)數(shù)據(jù)操作