張 弛，龔茂珣

（國(guó)家海洋局東海預(yù)報(bào)中心 上海市 200081）

1 研究背景

1.1 現(xiàn)狀分析

隨著海洋觀（監(jiān)）測(cè)數(shù)據(jù)工作的不斷發(fā)展，海洋數(shù)據(jù)具有分布面廣、要素種類多、傳輸頻率高等特點(diǎn)，如實(shí)時(shí)海洋數(shù)據(jù)以分鐘、小時(shí)級(jí)別傳輸；文件傳輸類別異構(gòu)化，如同時(shí)接收海洋遙感數(shù)據(jù)、海洋觀測(cè)數(shù)據(jù)、海洋調(diào)查數(shù)據(jù)等；數(shù)據(jù)傳輸文件海量化，相當(dāng)數(shù)量級(jí)的海洋觀測(cè)點(diǎn)幾乎同時(shí)向海區(qū)中心發(fā)送資料。

然而現(xiàn)有海洋數(shù)據(jù)存儲(chǔ)體系是將單獨(dú)服務(wù)器作為數(shù)據(jù)存儲(chǔ)設(shè)備，由于該服務(wù)器負(fù)責(zé)接收海洋數(shù)據(jù)的同時(shí)需將數(shù)據(jù)進(jìn)行解析并分發(fā)至各個(gè)不同目標(biāo)地址的存儲(chǔ)服務(wù)器，隨著海洋數(shù)據(jù)以分鐘級(jí)、小時(shí)級(jí)等多個(gè)時(shí)間傳輸頻率源源不斷地傳輸至該服務(wù)器，由于該服務(wù)器頻繁的計(jì)算及分配剩余存儲(chǔ)空間，導(dǎo)致I/O調(diào)度過(guò)于頻繁，最終可能導(dǎo)致數(shù)據(jù)文件積壓、數(shù)據(jù)處理延時(shí)等問(wèn)題，嚴(yán)重影響了海洋數(shù)據(jù)存儲(chǔ)體系的工作效率。針對(duì)此類問(wèn)題，本文圍繞研究海洋數(shù)據(jù)的結(jié)構(gòu)特點(diǎn)以及提高現(xiàn)有傳輸硬件設(shè)備存儲(chǔ)效率2方面進(jìn)行開(kāi)展[1]。

1.2 問(wèn)題提出

當(dāng)部分服務(wù)器進(jìn)行接收數(shù)據(jù)并分配存儲(chǔ)空間等高負(fù)載作業(yè)的同時(shí)，傳輸網(wǎng)內(nèi)仍存在負(fù)載較輕的服務(wù)器，比如發(fā)布webservice、運(yùn)行單一監(jiān)控程序、郵件服務(wù)器等，以上現(xiàn)象說(shuō)明數(shù)據(jù)傳輸網(wǎng)內(nèi)服務(wù)器集群存在負(fù)載極不均衡的情況。該情況極有可能因負(fù)載較重的服務(wù)器死機(jī)從而降低整個(gè)海洋數(shù)據(jù)存儲(chǔ)系統(tǒng)工作效率。如何對(duì)海量的多源異構(gòu)海洋數(shù)據(jù)在合理利用現(xiàn)有硬件資源的基礎(chǔ)上進(jìn)行統(tǒng)一存儲(chǔ)，以提高存儲(chǔ)系統(tǒng)的負(fù)載均衡性和存儲(chǔ)的安全性將成為海洋數(shù)據(jù)存儲(chǔ)業(yè)務(wù)發(fā)展的方向。

2 海洋數(shù)據(jù)同步存儲(chǔ)策略

2.1 云存儲(chǔ)邏輯架構(gòu)

一般情況下，放置存儲(chǔ)設(shè)備的空間有限，也不具備無(wú)限擴(kuò)充存儲(chǔ)設(shè)備的可能。鑒于傳輸體系內(nèi)擁有接近主流配置的服務(wù)器集群和較高的傳輸帶寬，本文將構(gòu)建基于云存儲(chǔ)的架構(gòu)，并根據(jù)海洋數(shù)據(jù)的實(shí)際數(shù)據(jù)結(jié)構(gòu)特點(diǎn)采用了以下4層架構(gòu)的設(shè)計(jì)[2]，如圖1所示：

圖1 云存儲(chǔ)子系統(tǒng)架構(gòu)圖

物理層：由于傳輸體系采用光纖、衛(wèi)星、CDMA等通訊方式進(jìn)行傳輸，所以內(nèi)部的數(shù)據(jù)分發(fā)效率較高。作為硬件虛擬化的基礎(chǔ)，該層的作用是將傳輸網(wǎng)內(nèi)的所有可用服務(wù)器集群虛擬化成為一個(gè)整體的存儲(chǔ)設(shè)備，管理員通過(guò)統(tǒng)一管理平臺(tái)該網(wǎng)內(nèi)的所有存儲(chǔ)設(shè)備進(jìn)行實(shí)時(shí)監(jiān)控，云存儲(chǔ)系統(tǒng)動(dòng)態(tài)地將數(shù)據(jù)存儲(chǔ)至負(fù)載較輕的存儲(chǔ)服務(wù)器上，同時(shí)可進(jìn)行存儲(chǔ)空間分配、狀態(tài)監(jiān)控和維護(hù)升級(jí)等服務(wù)。該層為存儲(chǔ)設(shè)備（如磁盤陣列）的擴(kuò)展提供了兼容接口。

基礎(chǔ)層：提供類似操作系統(tǒng)的可視化管理及配置服務(wù)。該層利用負(fù)載均衡存儲(chǔ)算法及邏輯卷管理等技術(shù)實(shí)現(xiàn)了多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，將海洋數(shù)據(jù)文件存儲(chǔ)至物理層中，并且可以通過(guò)配置各海洋數(shù)據(jù)的字段對(duì)應(yīng)要素，實(shí)現(xiàn)對(duì)多源異構(gòu)數(shù)據(jù)的解析、分發(fā)及備份的自動(dòng)化操作。該層的優(yōu)勢(shì)在于可集成分布式存儲(chǔ)設(shè)備并提高數(shù)據(jù)訪問(wèn)效率[3]。

管理層：該層向訪問(wèn)層以統(tǒng)一數(shù)據(jù)接口的形式提供數(shù)據(jù)服務(wù)。由于海洋數(shù)據(jù)傳輸?shù)牟婚g斷性，面對(duì)日益龐大的海洋數(shù)據(jù)庫(kù)，建立該層的目的是便于今后的數(shù)據(jù)管理。該層將對(duì)外提供分權(quán)限訪問(wèn)數(shù)據(jù)的服務(wù)，無(wú)論硬件存儲(chǔ)層中的服務(wù)器集群體積多么龐大，在該層只作為一個(gè)統(tǒng)一的數(shù)據(jù)接口展示，該設(shè)計(jì)相對(duì)多而繁雜的分散式數(shù)據(jù)庫(kù)具有更加便于管理海洋數(shù)據(jù)的優(yōu)勢(shì)。

應(yīng)用層：該層是當(dāng)業(yè)務(wù)使用者調(diào)用海洋數(shù)據(jù)做數(shù)據(jù)挖掘或展示使用時(shí)，向應(yīng)用接口層提供相應(yīng)的數(shù)據(jù)接口，用戶可根據(jù)被分配的訪問(wèn)及調(diào)用數(shù)據(jù)的權(quán)限獲取所需數(shù)據(jù)，該層對(duì)數(shù)據(jù)做只讀操作，目的是保護(hù)數(shù)據(jù)的不被意外修改或刪除。

2.2 云存儲(chǔ)系統(tǒng)詳細(xì)設(shè)計(jì)

云存儲(chǔ)系統(tǒng)通過(guò)傳輸網(wǎng)內(nèi)的各服務(wù)器的IP地址實(shí)現(xiàn)內(nèi)部實(shí)例間的數(shù)據(jù)交互與傳輸，與廣域網(wǎng)中多用戶通過(guò)實(shí)例協(xié)同工作相比具有更高效率的調(diào)用和處理通信資源的優(yōu)勢(shì)。為了將海洋數(shù)據(jù)利用云存儲(chǔ)技術(shù)實(shí)現(xiàn)負(fù)載均衡分配存儲(chǔ)空間，以及實(shí)時(shí)解析數(shù)據(jù)流中各要素并分發(fā)至各目標(biāo)數(shù)據(jù)庫(kù)的目的，本文設(shè)計(jì)了一個(gè)完整的云存儲(chǔ)子系統(tǒng)的工作流程。

該子系統(tǒng)由4個(gè)主要部分構(gòu)成：1）數(shù)據(jù)流映射接口；2） 虛擬化存儲(chǔ)池；3） 數(shù)據(jù)分析模塊；4）數(shù)據(jù)解析模塊。由于存儲(chǔ)過(guò)程依托運(yùn)行中的虛擬機(jī)服務(wù)器進(jìn)行空間分配存儲(chǔ)，所以需將虛擬機(jī)管理員的全部權(quán)限賦予本存儲(chǔ)系統(tǒng)。

各個(gè)部分的工作機(jī)制以及通信機(jī)制如圖2所示。

2.2.1 數(shù)據(jù)映射接口

該接口是圍繞如何解決海洋數(shù)據(jù)流進(jìn)行數(shù)據(jù)映射，并在映射存儲(chǔ)到對(duì)應(yīng)的目標(biāo)數(shù)據(jù)庫(kù)。該接口的設(shè)計(jì)思想是利用C語(yǔ)言編寫一套軟件接口，目的是規(guī)避各海洋數(shù)據(jù)采集器由于硬件接口不統(tǒng)一而無(wú)法實(shí)時(shí)傳輸?shù)皆拼鎯?chǔ)中的缺陷。

2.2.2 虛擬化存儲(chǔ)池

當(dāng)前端儀器采集到海洋數(shù)據(jù)后，通過(guò)數(shù)據(jù)映射接口將數(shù)據(jù)傳輸至云存儲(chǔ)中，云存儲(chǔ)首先將接收的數(shù)據(jù)存儲(chǔ)在計(jì)算機(jī)緩存中，然后根據(jù)當(dāng)前云存儲(chǔ)系統(tǒng)內(nèi)的各服務(wù)器的存儲(chǔ)狀態(tài)和當(dāng)前的計(jì)算負(fù)載狀態(tài)等評(píng)價(jià)指標(biāo)綜合計(jì)算后分配存儲(chǔ)空間，以實(shí)現(xiàn)彈性存儲(chǔ)的目的，并在存儲(chǔ)層中對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行存儲(chǔ)。

圖2 私有云存儲(chǔ)子系統(tǒng)流程圖

2.2.3 數(shù)據(jù)分析模塊

由于海洋數(shù)據(jù)部分是結(jié)構(gòu)化內(nèi)容的報(bào)文文件，在對(duì)海洋數(shù)據(jù)進(jìn)行存儲(chǔ)后，業(yè)務(wù)使用者可將海洋數(shù)據(jù)的實(shí)際內(nèi)容按照《海洋水文規(guī)范》中各要素對(duì)應(yīng)的意義利用結(jié)構(gòu)化數(shù)據(jù)模型技術(shù)進(jìn)行建模。建模的目的是為下一步的海洋數(shù)據(jù)內(nèi)容解析做準(zhǔn)備，當(dāng)啟動(dòng)該模塊時(shí)，系統(tǒng)將對(duì)數(shù)據(jù)內(nèi)容自頂向下地進(jìn)行分析，并將最終結(jié)果通過(guò)統(tǒng)一的結(jié)構(gòu)化數(shù)據(jù)格式傳遞給解析模塊。

2.2.4 數(shù)據(jù)解析模塊

該層主要對(duì)海洋數(shù)據(jù)進(jìn)行解析操作，系統(tǒng)將已存儲(chǔ)的各數(shù)據(jù)要素模型與將解析后的數(shù)據(jù)內(nèi)容進(jìn)行比較分析，并將對(duì)應(yīng)格式的數(shù)據(jù)要素模型回饋至虛擬化硬件端，該端將根據(jù)具體實(shí)際要素模板提取對(duì)應(yīng)的數(shù)據(jù)屬性值，如果未匹配相應(yīng)模板，系統(tǒng)則默認(rèn)回溯到元數(shù)據(jù)分析模塊繼續(xù)查找。解析后的要素最終將通過(guò)數(shù)據(jù)映射接口同步至各目標(biāo)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)海洋數(shù)據(jù)的同步解析入庫(kù)。

3 云存儲(chǔ)部署策略及實(shí)驗(yàn)

通過(guò)對(duì)國(guó)內(nèi)外云存儲(chǔ)系統(tǒng)及海洋數(shù)據(jù)存儲(chǔ)機(jī)制的研究，本文提出了對(duì)海洋數(shù)據(jù)利用云存儲(chǔ)技術(shù)進(jìn)行存儲(chǔ)的思想，并設(shè)計(jì)了以下實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)論驗(yàn)證了本文針對(duì)海洋數(shù)據(jù)提出的云存儲(chǔ)負(fù)載均衡存儲(chǔ)機(jī)制的可行性。

3.1 云部署策略

部署云存儲(chǔ)的數(shù)據(jù)服務(wù)器參數(shù)如表1所示。

表1 云部署單臺(tái)計(jì)算機(jī)參數(shù)

通過(guò)云存儲(chǔ)子系統(tǒng)部署的每一臺(tái)服務(wù)器均平均配置成3臺(tái)虛擬機(jī)，以模擬海量海洋數(shù)據(jù)集中存儲(chǔ)的需求。部署架構(gòu)如圖3所示。

3.2 云存儲(chǔ)機(jī)制

海洋數(shù)據(jù)采集端通過(guò)數(shù)據(jù)映射接口向云存儲(chǔ)系統(tǒng)發(fā)起1個(gè)寫入數(shù)據(jù)的請(qǐng)求，映射接口會(huì)將反饋采集端與那個(gè)存儲(chǔ)節(jié)點(diǎn)建立傳輸協(xié)議，并進(jìn)行數(shù)據(jù)寫入。文件是以chunks的方式寫入存儲(chǔ)，每個(gè)block由被生成時(shí)系統(tǒng)賦予唯一的chunk－h(huán)andle進(jìn)行標(biāo)識(shí)，為了提高云存儲(chǔ)的數(shù)據(jù)容災(zāi)性，每一個(gè)block將會(huì)被復(fù)制到多個(gè)存儲(chǔ)節(jié)點(diǎn)上。

本文以1個(gè)控制節(jié)點(diǎn)（ControlNode），5個(gè)存儲(chǔ)節(jié)點(diǎn)（StoreNode），并假設(shè)64個(gè)海洋數(shù)據(jù)采集端同時(shí)發(fā)送1條大小為1 MB的海洋數(shù)據(jù)文件為例：

圖3 云存儲(chǔ)部署架構(gòu)圖

3.3 結(jié)果分析

本文設(shè)計(jì)的云存儲(chǔ)的工作機(jī)制旨在減少控制節(jié)點(diǎn)的參與計(jì)算，不會(huì)將單個(gè)文件拆分成多個(gè)部分同時(shí)寫入不同存儲(chǔ)節(jié)點(diǎn)。對(duì)于小于等于1 MB的文件以原文件尺寸存儲(chǔ)成chunk，當(dāng)文件大小大于1 MB時(shí)，客戶端會(huì)控制以大文件的方式分配存儲(chǔ)空間。但考慮到海洋數(shù)據(jù)文件一般單個(gè)大小不會(huì)超過(guò)1 MB，所以該存儲(chǔ)方式對(duì)海洋數(shù)據(jù)存儲(chǔ)尤其適用。

4 結(jié)論

當(dāng)前海洋觀測(cè)預(yù)報(bào)系統(tǒng)中海洋數(shù)據(jù)的存儲(chǔ)機(jī)制已無(wú)法實(shí)現(xiàn)動(dòng)態(tài)均衡存儲(chǔ)的現(xiàn)狀正制約著海洋數(shù)據(jù)存儲(chǔ)領(lǐng)域的發(fā)展，本文基于對(duì)海洋數(shù)據(jù)特點(diǎn)、存儲(chǔ)結(jié)構(gòu)進(jìn)行研究和調(diào)研，設(shè)計(jì)了全新的基于云存儲(chǔ)的海洋數(shù)據(jù)存儲(chǔ)體系架構(gòu)，可在節(jié)約空間和財(cái)力的基礎(chǔ)上動(dòng)態(tài)地將海洋數(shù)據(jù)存儲(chǔ)、解析并分發(fā)至各目標(biāo)數(shù)據(jù)庫(kù)，該系統(tǒng)在資源利用率、響應(yīng)時(shí)間及可擴(kuò)展性方面都將優(yōu)于先前的系統(tǒng)。

實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可以基本滿足對(duì)海洋數(shù)據(jù)流存儲(chǔ)體系的優(yōu)化，本研究的貢獻(xiàn)意義在于利用現(xiàn)有服務(wù)器資源進(jìn)行虛擬化部署以實(shí)現(xiàn)云存儲(chǔ)體系，極大程度地提高數(shù)據(jù)存儲(chǔ)能力以及數(shù)據(jù)處理效率，并為今后的海洋數(shù)據(jù)的存儲(chǔ)系統(tǒng)的設(shè)計(jì)提供理論和實(shí)際的借鑒價(jià)值。

[1]王佳雋.基于云計(jì)算環(huán)境的虛擬化資源管理研究[D].復(fù)旦大學(xué)，2011.

[2]李思揚(yáng).云計(jì)算平臺(tái)中虛擬化運(yùn)行環(huán)境的研究與實(shí)現(xiàn) [D].北京郵電大學(xué)，2012.

[3]施巖.云計(jì)算研究及Hadoop應(yīng)用程序的開(kāi)發(fā)與測(cè)試[D].北京郵電大學(xué)，2011.