于楊+沈秋宇+趙建楠+吳侃+丁抗抗

摘要：氣象數(shù)字化檔案是重要的氣象資料，隨著數(shù)據(jù)量的不斷增加，傳統(tǒng)的存儲方式面臨嚴(yán)峻挑戰(zhàn)。該文分析了遼寧省氣象檔案數(shù)字化圖片檔案的現(xiàn)狀，提出了一套基于云存儲的氣象數(shù)字化圖像檔案解決方案，對改善現(xiàn)有檔案存儲方式具有重要參考意義。

關(guān)鍵詞：云存儲；氣象檔案；數(shù)字化

中圖分類號： TP302.1 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）27-0007-03

Abstract： Meteorological digital archives are the important meteorological data， along with increasing the amount of data， traditional way of storing faces severe challenges. This paper analyzes the present situation of liaoning province meteorological archives digital picture file， put forward a set of meteorological archives digital images based on cloud storage solutions， to improve the existing file storage way has important reference significance.

Key words： cloud storage；meteorological archives； digitization

1 引言

近年來，自動氣象站、L波段探空系統(tǒng)和新一代風(fēng)云氣象衛(wèi)星等氣象觀測系統(tǒng)快速發(fā)展，氣象信息系統(tǒng)的通信和存儲能力大幅度提升，海量的數(shù)字氣象資料在國家和省級氣象檔案館匯集[1]。在國家氣象局的部署下，氣象檔案數(shù)字化建設(shè)不斷推進(jìn)，產(chǎn)生了大量寶貴的氣象圖像檔案資源。這些數(shù)字化資源種類多、數(shù)據(jù)量大、訪問頻繁，且日漸幾何狀增長[2]。面對這種增長需求，傳統(tǒng)存儲方式通過擴(kuò)展物理存儲來解決，但這種方式成本高切不利于管理。因此迫切需要一種新的存儲方案，在原有資源基礎(chǔ)之上來解決海量數(shù)字化數(shù)據(jù)的存儲問題，以滿足氣象檔案館持續(xù)發(fā)展的存儲需求。

隨著科技發(fā)展，云存儲逐漸成為各界關(guān)注的焦點。在檔案領(lǐng)域中，特別是檔案信息資源的海量儲存和整合方面，具有非常好的應(yīng)用價值和研究前景。本文在分析氣象檔案館資源整合與共享需求的基礎(chǔ)上，結(jié)合最近發(fā)展的云存儲技術(shù)，嘗試提出一種基于云環(huán)境的新的存儲方案。這種把云存儲技術(shù)運用于氣象檔案資源信息共享領(lǐng)域的新型檔案資源整合模式，無疑具有重大的推廣價值和現(xiàn)實意義。

2 氣象檔案業(yè)務(wù)現(xiàn)狀

2.1氣象檔案業(yè)務(wù)

近年來，在中國氣象局的統(tǒng)一規(guī)劃下， 我省開始用數(shù)字化掃描儀對氣象原始記錄資料進(jìn)行信息化處理，目前全省62個站從建站至今的地面觀測原始記錄、標(biāo)準(zhǔn)數(shù)字化記錄和統(tǒng)計整編記錄已以數(shù)據(jù)集的方式存入非實時數(shù)據(jù)庫中， 實時的地面氣象記錄月（年） 報表和高空氣象記錄月報表實現(xiàn)臺站直接信息化、省級集中機(jī)審和存儲一條龍?zhí)幚恚?不斷地增加新的氣象信息源，為建設(shè)氣象數(shù)字檔案館奠定了基本的信息基礎(chǔ)。同時，逐步開展對歷史氣象資料拯救與數(shù)字化工作，迄今已完成了歷史地面氣象觀測記錄報表數(shù)字化，目前正在進(jìn)行高空觀測資料的數(shù)字化，已形成各類歷史地面氣象觀測記錄報表電子圖像文件數(shù)據(jù)集成果，數(shù)據(jù)量近5.0TB。

2.2 檔案存儲面臨的問題

面對海量數(shù)字化資源，傳統(tǒng)數(shù)字資源存儲問題也隨之暴露出來，其中比較突出的問題有以下幾方面：

（1）可擴(kuò)展性差。檔案館數(shù)字資源快速增長，存儲設(shè)備的存儲容量受限，導(dǎo)致資源無法長期保存，現(xiàn)有的檔案館數(shù)字化建設(shè)根本無法滿足需求，如果存儲容量一開始設(shè)計過大，又耗費資源。

（2）資源冗余、信息孤島。各檔案之間獨立保存，資源冗余，檔案信息得不到共享。

（3）成本高。軟件維護(hù)和硬件維修，以及夠買新的設(shè)備，都需要較大成本

（4）安全性差。檔案館目前的系統(tǒng)安全體系薄弱，容易遭受，同時某一設(shè)備故障也會影響整個檔案的存儲系統(tǒng)。

（5）備份性差。數(shù)據(jù)備份需要花費大量人力和時間，同時異地備份和遷移需要更多精力。

3 構(gòu)建云存儲

3.1存儲結(jié)構(gòu)設(shè)計

氣象檔案具有保密性，因此在設(shè)計時充分考慮安全因素，將內(nèi)部云存儲組件部署在省級網(wǎng)絡(luò)防火墻后，保障數(shù)據(jù)安全。初期可以利用現(xiàn)有資源降低成本，如已有服務(wù)器、硬盤等，待框架搭建好后根據(jù)需求進(jìn)行增加，內(nèi)部存儲結(jié)構(gòu)層次如圖2所示。

（1）訪問層。主要面向全省各級檔案使用人員，用戶得到省級的統(tǒng)一授權(quán)后，利用標(biāo)準(zhǔn)API接口來訪問內(nèi)部數(shù)據(jù)。目前主要數(shù)據(jù)是數(shù)字化的圖像，以后可根據(jù)需求擴(kuò)展更多類型數(shù)據(jù)。

（2）應(yīng)用平臺接口層。在本層中部署不同的功能模塊滿足使用需求，包括數(shù)據(jù)庫接入、數(shù)據(jù)資源整合交換、虛擬查詢等。

（3）基礎(chǔ)管理層。基于集群技術(shù)、分布式文件系統(tǒng)和計算機(jī)網(wǎng)絡(luò)技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備的協(xié)同工作，對外提供統(tǒng)一的服務(wù)，是整個云存儲的核心。

（4）物理存儲層。部署在物理存儲和服務(wù)器之間的一個虛擬層，可以結(jié)合現(xiàn)有的虛擬化設(shè)備和服務(wù)來進(jìn)行管理。這種方式的優(yōu)點在于，擺脫物理存儲容量限制，存儲硬件的改變對服務(wù)器層完全透明，存儲設(shè)備可以包括光纖通道、SCSI、NAS等。

3.2存儲訪問方法

內(nèi)部存儲的構(gòu)建包括控制節(jié)點和數(shù)據(jù)節(jié)點，控制節(jié)點控制數(shù)據(jù)節(jié)點的存儲分配，數(shù)據(jù)節(jié)點根據(jù)需求進(jìn)行配置，通過連接的方式進(jìn)行訪問，不同的存儲設(shè)備通過軟件進(jìn)行協(xié)同，對外部提供數(shù)據(jù)存儲管理和業(yè)務(wù)訪問服務(wù)。具體的訪問方式包括：webApis具象狀態(tài)傳輸、基于ISCSI塊協(xié)議傳輸、基于Web協(xié)議傳輸?shù)取？梢耘c現(xiàn)有的虛擬化資源協(xié)作，實現(xiàn)軟硬件統(tǒng)一部署。

3.3存儲可靠性

云存儲的可靠性關(guān)系到整個所有環(huán)節(jié)的效率，內(nèi)部云存儲通常利用數(shù)據(jù)復(fù)制、節(jié)點備份、等機(jī)制來保障可靠性。這里采用信息分布算法（IDA）把文件分成數(shù)據(jù)分片，這種處理有利于數(shù)據(jù)重建。具有數(shù)據(jù)分片能力可以將切片分配到不同位置存儲，提高存儲系統(tǒng)的可靠性，降低系統(tǒng)運行負(fù)荷，減少信息交互。

3.4 存儲擴(kuò)展性

采用FileStorage方式進(jìn)行存儲，這種基于文件級別的存儲優(yōu)點在于同一文件可供多用戶使用，擴(kuò)展性強(qiáng)，成本低。在云存儲需要擴(kuò)容時，只需要安裝云端管理軟件，并網(wǎng)絡(luò)交換機(jī)相連。當(dāng)用戶端存儲負(fù)荷增加時，云存儲端可以將數(shù)據(jù)分配到不同節(jié)點，提供額外的訪問途徑，提高讀取能力。存儲的擴(kuò)容過程通過在線操作，不影響存儲，非常便捷。

4 結(jié)論

（1）作為新的技術(shù)，云存儲概念從提出便成為數(shù)據(jù)存儲領(lǐng)域研究的熱點，改變了傳統(tǒng)存儲模式，而云存儲模式由于其高安全性、可控性等特性為氣象檔案館建立云存儲提供了可行性方案。構(gòu)建基于云環(huán)境的檔案存儲，為氣象數(shù)字化檔案的整合與共享提供了新的解決方案。隨著云計算技術(shù)的快速發(fā)展，將給氣象檔案館數(shù)字化建設(shè)帶來巨大的轉(zhuǎn)變。將云存儲技術(shù)運用于氣象檔案資源信息共享領(lǐng)域的新型檔案資源整合模式，無疑具有重大的推廣價值和現(xiàn)實意義。

（2）云存儲作為一種新的存儲模式，具有低成本、高可靠性等特性，能夠很好地解決檔案館海量數(shù)字資源的存儲和管理，但同時云存儲還存在一些不完善和需要改進(jìn)的地方，我們可以利用它來提升檔案館數(shù)字資源信息服務(wù)，但不能完全依賴它，還要結(jié)合自身檔案體系的特點，實現(xiàn)氣象圖像檔案資源整合與共享的可持續(xù)發(fā)展。

參考文獻(xiàn)：

[1] 李星玉，張靜.氣象檔案工作現(xiàn)代化的幾點思考[J].2011（10）：35-36.

[2] 中國氣象局.氣象事業(yè)發(fā)展“十一五”規(guī)劃（2006-2010年）[R].北京：中國氣象局，2006.

[3] 郭萍.氣象數(shù)字檔案館的設(shè)計思路[J].新技術(shù)應(yīng)用與現(xiàn)代化管理，2005（2）：11-13.

[4] 喬楊.基于內(nèi)部云存儲的圖書館數(shù)據(jù)資源存儲研究[J].晉圖學(xué)刊，2012（1）：11-13.

[5] 高建秀，吳振新，孫碩.云存儲在數(shù)字資源長期保存中的應(yīng)用探討[J].現(xiàn)代圖書情報技術(shù)，2010（6）：1-2.

[6] 陶蕾.“云”下的圖書館網(wǎng)絡(luò)存儲探討[J].圖書館學(xué)研究，2010（7）：66-67.