鄒杰　王會(huì)品　高磊　夏葳　蔡冬梅

摘要：隨著氣象科技檔案數(shù)據(jù)量的不斷增加，目前基于移動(dòng)硬盤和光盤刻錄的存儲(chǔ)方式會(huì)隨著時(shí)間的更迭、人事變動(dòng)，加劇整合難度，文檔流轉(zhuǎn)效率不高，大量的文檔仍分散的保存在個(gè)人電腦上，不能有效的集中管理與備份，甚至導(dǎo)致數(shù)據(jù)丟失等。根據(jù)現(xiàn)有氣象檔案數(shù)據(jù)量及數(shù)據(jù)類型特點(diǎn)，采用愛(ài)數(shù)Anyshare構(gòu)建非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，對(duì)紛雜的氣象科技檔案數(shù)據(jù)分門別類管理，統(tǒng)一歸檔。通過(guò)利用在線、近線方式實(shí)現(xiàn)不同類型氣象檔案數(shù)據(jù)的歸檔保存，方便管理及快速查找。

關(guān)鍵詞：愛(ài)數(shù)Anyshare；非結(jié)構(gòu)化；檔案管理

中圖分類號(hào)：TP302 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）36-0283-02

1 項(xiàng)目背景

大連市氣象檔案館是以氣象科技檔案為主體的專業(yè)檔案館，是科技事業(yè)單位國(guó)家二級(jí)檔案管理單位，作為大連地區(qū)氣象檔案和資料信息資源中心，承擔(dān)全地區(qū)臺(tái)站氣象觀測(cè)資料的處理、整編、檢索及歷史數(shù)據(jù)庫(kù)管理、承擔(dān)氣象檔案管理工作。大連氣象檔案館同時(shí)也是大連地區(qū)氣候資料服務(wù)提供利用工作的窗口單位，館藏有大連地區(qū)地面、高空、太陽(yáng)輻射、農(nóng)業(yè)氣象資料、氣象災(zāi)害資料以及全國(guó)主要城市的氣候整編資料；各高度層天氣圖、歷史天氣圖及其他輔助天氣圖；熱帶氣旋（臺(tái)風(fēng)）年鑒；寒潮年鑒；海洋資料，海上船舶資料等，為社會(huì)各界提供氣象資料服務(wù)。

隨著氣象檔案館數(shù)據(jù)量的不斷增加，目前數(shù)據(jù)存儲(chǔ)主要通過(guò)移動(dòng)硬盤、光盤刻錄方式對(duì)歷史數(shù)據(jù)進(jìn)行歸檔存儲(chǔ)，基于移動(dòng)硬盤和光盤刻錄會(huì)隨著時(shí)間的更迭、人事變動(dòng)，新的知識(shí)碎片大量產(chǎn)生，而這個(gè)過(guò)程會(huì)加劇數(shù)據(jù)整合難度。同時(shí)還伴隨以下幾個(gè)方面的問(wèn)題：部門內(nèi)部及部門之間文檔流轉(zhuǎn)效率不高；大量的文檔仍分散保存在個(gè)人電腦上，不能有效的集中管理與備份；工作電腦硬盤故障，會(huì)導(dǎo)致數(shù)據(jù)丟失；WORD、WPS軟件中病毒，可能導(dǎo)致文書丟失等。

綜上，根據(jù)現(xiàn)有氣象檔案數(shù)據(jù)量及數(shù)據(jù)類型特點(diǎn)，構(gòu)建非結(jié)構(gòu)化氣象檔案管理系統(tǒng)，對(duì)紛雜的氣象資料內(nèi)容和格式（圖片、word、excel、ppt、pdf、wps、video、txt等）分門別類管理，統(tǒng)一歸檔，是此次系統(tǒng)設(shè)計(jì)的關(guān)鍵。

2 需求分析

氣象科技檔案數(shù)據(jù)類型主要包括：區(qū)域站數(shù)據(jù)、日射數(shù)據(jù)、太陽(yáng)光度計(jì)數(shù)據(jù)、激光雷達(dá)數(shù)據(jù)等諸多應(yīng)用類型數(shù)據(jù)，總歸檔數(shù)據(jù)量不超過(guò)10TB。目前數(shù)據(jù)存儲(chǔ)主要以移動(dòng)硬盤、光盤手工刻錄為主，部分?jǐn)?shù)據(jù)分散存儲(chǔ)在各服務(wù)器的內(nèi)置硬盤與個(gè)人電腦中，不易于統(tǒng)一管理，且存儲(chǔ)資源分散容易造成存儲(chǔ)資源浪費(fèi)。由于數(shù)據(jù)分散存儲(chǔ)，很難滿足業(yè)務(wù)數(shù)據(jù)安全要求。隨著數(shù)據(jù)量不斷增大，可用存儲(chǔ)空間不足，并且擴(kuò)展性差，無(wú)法滿足業(yè)務(wù)發(fā)展需要。

總結(jié)以上需求分析，基于當(dāng)前業(yè)務(wù)系統(tǒng)情況，面向未來(lái)業(yè)務(wù)發(fā)展需要，建設(shè)一套高可用統(tǒng)一存儲(chǔ)服務(wù)平臺(tái)，為業(yè)務(wù)系統(tǒng)提供高性能、彈性擴(kuò)展的安全存儲(chǔ)系統(tǒng)，并可按需提供存儲(chǔ)服務(wù)。通過(guò)利用在線、近線方式實(shí)現(xiàn)不同類型氣象檔案數(shù)據(jù)的歸檔保存，方便管理及快速查找。

3系統(tǒng)總體設(shè)計(jì)

3.1 存儲(chǔ)載體選擇

本系統(tǒng)依據(jù)《電子文件歸檔與管理規(guī)范GB/T 18894-2002》標(biāo)準(zhǔn)中推薦數(shù)據(jù)儲(chǔ)存載體，選擇存儲(chǔ)優(yōu)先順序較高的光盤作為數(shù)據(jù)長(zhǎng)期保存的存儲(chǔ)介質(zhì)，保證數(shù)據(jù)安全性，可保存數(shù)據(jù)50年以上，且低運(yùn)行成本，低管理費(fèi)用，耗電少，極大節(jié)省辦公室面積，配置更新容易，設(shè)備壽命長(zhǎng)。新一代光驅(qū)總是保留之向下的兼容性，全方位擁有數(shù)據(jù)，檢索快，信息提取能力強(qiáng)。由于采用塑質(zhì)材料，所以對(duì)任何電磁干擾都不敏感。由于放在片匣內(nèi)，采用非接觸的訪問(wèn)方式，所以也沒(méi)有光照射和機(jī)械損傷。大規(guī)模智能光盤的管理設(shè)備-光盤庫(kù)產(chǎn)品已經(jīng)成熟，為采用光盤進(jìn)行海量數(shù)據(jù)的存儲(chǔ)提供了可能。

光盤庫(kù)設(shè)備同光盤庫(kù)管理服務(wù)器一同組合成光存儲(chǔ)NAS系統(tǒng)，通過(guò)虛擬化技術(shù)，將光盤庫(kù)設(shè)備映射為光盤庫(kù)管理服務(wù)器某個(gè)單獨(dú)的虛擬文件系統(tǒng)（體現(xiàn)為一個(gè)單獨(dú)的盤符），可以向外提供網(wǎng)絡(luò)路徑，在數(shù)據(jù)源端上通過(guò)網(wǎng)絡(luò)驅(qū)動(dòng)映射的方式，將光盤庫(kù)文件存儲(chǔ)路徑掛載到數(shù)據(jù)源端本地，使用起來(lái)就像操作本地硬盤一樣簡(jiǎn)單。由于光盤庫(kù)設(shè)備是通過(guò)機(jī)械手自動(dòng)移動(dòng)盤匣的方式，來(lái)實(shí)現(xiàn)存儲(chǔ)介質(zhì)的交換，所以對(duì)數(shù)據(jù)請(qǐng)求的響應(yīng)時(shí)間要低于硬盤，一般近線數(shù)據(jù)讀取的響應(yīng)時(shí)間在1～2分鐘左右。通過(guò)光盤庫(kù)管理軟件的緩沖技術(shù)，可以保證近期內(nèi)的數(shù)據(jù)在刻錄到光盤匣后也會(huì)放置于光盤庫(kù)管理服務(wù)器的緩沖空間內(nèi)（即硬盤存儲(chǔ)介質(zhì)上），實(shí)現(xiàn)光磁混合式存儲(chǔ)方式，保證近期被寫入和被頻繁訪問(wèn)的數(shù)據(jù)處于在線狀態(tài)，能夠被快速讀取。緩存空間可以通過(guò)服務(wù)器本身硬盤空間提供，也可以外接磁盤陣列進(jìn)行提供。利用AnyShare歸檔模塊實(shí)現(xiàn)基于光盤庫(kù)的在線自動(dòng)數(shù)據(jù)歸檔，系統(tǒng)整體由數(shù)據(jù)源端、管理員客戶端、光盤庫(kù)管理服務(wù)器、光盤庫(kù)設(shè)備構(gòu)成?？蛻舳伺c光盤庫(kù)管理服務(wù)器間通過(guò)LAN進(jìn)行連接，光盤庫(kù)管理服務(wù)器與光盤庫(kù)設(shè)備間通過(guò)SAS方式進(jìn)行連接；如圖1。

3.2 平臺(tái)框架設(shè)計(jì)

平臺(tái)采用云存儲(chǔ)集群架構(gòu)，多站點(diǎn)統(tǒng)一部署方案，滿足檔案數(shù)據(jù)及下屬各級(jí)部門之間進(jìn)行數(shù)據(jù)傳輸、共享和協(xié)作，各部門數(shù)據(jù)就近存儲(chǔ)可以減輕帶寬壓力，同時(shí)各站點(diǎn)數(shù)據(jù)通過(guò)權(quán)限設(shè)置，有效控制站點(diǎn)數(shù)據(jù)安全，即有權(quán)限訪問(wèn)用戶或者部門僅能訪問(wèn)對(duì)應(yīng)權(quán)限的數(shù)據(jù)。

AnyShare非結(jié)構(gòu)數(shù)據(jù)共享云平臺(tái)主體基于云存儲(chǔ)平臺(tái)，用戶可通過(guò)PC客戶端、移動(dòng)客戶端、WEB頁(yè)面的方式進(jìn)行訪問(wèn)；為終端用戶提供云盤服務(wù)與個(gè)人存儲(chǔ)空間，用戶可自主上傳并共享文檔。同時(shí)開(kāi)放公共文檔訪問(wèn)目錄，實(shí)現(xiàn)組織內(nèi)部知識(shí)庫(kù)的構(gòu)建、發(fā)布與共享，利用光盤庫(kù)實(shí)現(xiàn)數(shù)據(jù)自動(dòng)歸檔并做到長(zhǎng)期保存。方案總體設(shè)計(jì)拓?fù)鋱D如圖2。

將文檔云平臺(tái)部署在專網(wǎng)，實(shí)現(xiàn)各種類型數(shù)據(jù)的統(tǒng)一存儲(chǔ)、管理及歸檔，方便用戶日常存取、訪問(wèn)。終端用戶通過(guò)政務(wù)專網(wǎng)以PC客戶端、移動(dòng)客戶端、web頁(yè)面的方式進(jìn)行訪問(wèn)?？蛻粼L問(wèn)界面如圖3。

另外，AnyShare文檔云用于電子檔案等非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、檢索、共享、歸檔，具有針對(duì)固定內(nèi)容的歸檔和長(zhǎng)期保留特性。通過(guò)安全文檔云平臺(tái)，檔案部門可以創(chuàng)建電子檔案歸檔庫(kù)，并將電子檔案存儲(chǔ)在歸檔庫(kù)中，分散在電腦里的重要資料、手機(jī)或Pad里的會(huì)議記錄等都可以上傳到云端，做好數(shù)據(jù)備份。

系統(tǒng)管理員通過(guò)云管理平臺(tái)可以了解掌握整個(gè)集群的運(yùn)轉(zhuǎn)績(jī)效，包括在線人數(shù)監(jiān)控、文件數(shù)量和操作變化統(tǒng)計(jì)。對(duì)電子檔案的所有操作都會(huì)記錄到審計(jì)日志，做到有據(jù)可查，合規(guī)、安全可控，為檔案提供統(tǒng)一的固化存儲(chǔ)、安全管理和高效使用的平臺(tái)。

4 結(jié)語(yǔ)

采用愛(ài)數(shù)AnyShare-V構(gòu)建私有云盤服務(wù)平臺(tái)，建立大連氣象科技檔案私有云共享平臺(tái)，在信息中心部署并配置平臺(tái)的公網(wǎng)映射，通過(guò)Internet可接入業(yè)務(wù)專網(wǎng)；在組織范圍對(duì)各個(gè)行政辦公人員、管理人員、業(yè)務(wù)人員等個(gè)人電腦上安裝客戶端；對(duì)于外部用戶，可選擇通過(guò)web訪問(wèn)，手機(jī)或者PAD安裝APP等方式進(jìn)行訪問(wèn)。同時(shí)，該平臺(tái)具有統(tǒng)一的對(duì)外異常交互方式，方便開(kāi)發(fā)者對(duì)云平臺(tái)中的異常進(jìn)行捕獲與處理。通過(guò)對(duì)以上API的組合調(diào)用，開(kāi)發(fā)者可以在不同的終端實(shí)現(xiàn)基本的文檔操作，對(duì)數(shù)據(jù)進(jìn)行集中的存儲(chǔ)與有效的管理。

愛(ài)數(shù)AnyShare云存儲(chǔ)平臺(tái)是一個(gè)開(kāi)放的平臺(tái)，為第三方應(yīng)用提供了訪問(wèn)該平臺(tái)資源的一系列接口，可對(duì)接各種業(yè)務(wù)軟件，如OA的管理所有相關(guān)附件的非結(jié)構(gòu)數(shù)據(jù)。第三方應(yīng)用可以通過(guò)系統(tǒng)提供的接口開(kāi)發(fā)基于AnyShare云平臺(tái)的相關(guān)應(yīng)用程序，具有較好的開(kāi)放性和擴(kuò)展性。

參考文獻(xiàn)：

[1] 馮宇.非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)研究與建設(shè)[J].電力信息化，2012，02：69-72.

[2] 程志華，倪時(shí)龍，黃文思，龔賀.企業(yè)級(jí)非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)研究及實(shí)踐[J].電力信息化，2012，03：12-20.

[3] 謝華成，陳向東.面向云存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存取[J].計(jì)算機(jī)應(yīng)用，2012，07：1924-1928+1942.

[4] 胡珊珊.面向云存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)研究與應(yīng)用[D].廣東工業(yè)大學(xué)，2014.

[5] 何穎鵬.非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲(chǔ)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].浙江大學(xué)，2013.

[6] 張孝，周寧南.非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理研究[J].科研信息化技術(shù)與應(yīng)用，2013，01：30-40.

[7] 陳金水，王崟.非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理的實(shí)用化方法[J].計(jì)算機(jī)與現(xiàn)代化，2006，08：25-28+31.