林鋼華

(中國科學(xué)院國家天文臺太陽活動重點實驗室，北京　100012)

?

我國太陽物理歷史觀測資料存儲方案*

林鋼華

(中國科學(xué)院國家天文臺太陽活動重點實驗室，北京100012)

摘要：天文用戶從數(shù)據(jù)服務(wù)得到最佳效果包括這些因素，如天文數(shù)據(jù)存儲方法與數(shù)據(jù)存儲的便利性、數(shù)據(jù)的安全性，數(shù)據(jù)存儲服務(wù)維護(hù)的便利性，這是每一個大中型數(shù)據(jù)相關(guān)項目對數(shù)據(jù)存儲及共享提出的要求。分析了領(lǐng)域型項目的存儲需求，不同存儲服務(wù)架構(gòu)的差異，提出采用云存儲架構(gòu)并設(shè)計了領(lǐng)域云存儲服務(wù)架構(gòu)，此架構(gòu)不僅能滿足從數(shù)據(jù)處理到統(tǒng)一存儲、統(tǒng)一對外服務(wù)的需求，對用戶數(shù)據(jù)查詢服務(wù)也有最佳體驗。最后涉及了建立災(zāi)備系統(tǒng)，及其規(guī)范等內(nèi)容。

關(guān)鍵詞：云存儲；網(wǎng)絡(luò)；數(shù)據(jù)；服務(wù)

1背景

由于歷史天文觀測技術(shù)的限制，觀測資料記錄在膠片、照相干板、紙質(zhì)等易損介質(zhì)上，隨著時間的推移，這些存儲介質(zhì)本身發(fā)生變化，如膠片上溴化銀脫落，致使圖像失去原有的完整內(nèi)容，無法使用；紙質(zhì)介質(zhì)則會變黃發(fā)霉，使圖像無法分辨，致使資料無法使用。我國太陽物理觀測最早起源于山東青島觀測站，進(jìn)行太陽黑子觀測并手描記錄太陽黑子參數(shù)，此項觀測至今已有90年的歷史，達(dá)7個太陽活動周。國內(nèi)開展聯(lián)合黑子觀測的還有紫金山天文臺的紫金山觀測站、云南天文臺的鳳凰山觀測站。我國歷史太陽觀測資料還有太陽橫向磁場、縱向磁場、Halpha、光譜、射電、日食等，種類達(dá)30種之多。歷史觀測資料的提供部門還包括位于北京國家天文臺的懷柔太陽觀測基地、天文臺總部的太陽活動預(yù)報部門及南京大學(xué)空間科學(xué)院。目前資料前期處理工作共在7個部門、分布在5個地理位置開展。存儲量從幾TB至幾十TB不等，呈現(xiàn)出資料分散、品種多的特點。

上述這些部門是我國太陽活動監(jiān)測與預(yù)報的主要部門。我國太陽物理觀測資料具有地域優(yōu)勢，不僅具有國際先進(jìn)水平的觀測設(shè)備產(chǎn)出了一流的資料，而且這些資料在國際上具有稀缺性、唯一性、互補性，是不可再生的珍貴資源，可為科學(xué)研究提供系統(tǒng)或個案資料，包括彌補資料的欠缺，研究案例的證認(rèn)，并可服務(wù)于太陽活動預(yù)報研究。因此我國太陽物理觀測資料數(shù)字化、標(biāo)準(zhǔn)化工作得到科技部基礎(chǔ)性工作專項資助，從而使這些珍貴資料得到保留，并最終為中國及世界太陽物理研究、太陽活動預(yù)報服務(wù)。

在資料完成數(shù)字化、規(guī)范化、標(biāo)準(zhǔn)化等處理后，系統(tǒng)最終要在中國太陽物理門戶網(wǎng)站按照一定規(guī)則形成可供用戶查詢的資料，且有相應(yīng)的處理軟件可供使用。按計劃前期各類資料經(jīng)過處理后要逐漸上傳至門戶網(wǎng)站的服務(wù)器，后續(xù)，在存儲系統(tǒng)完成后，各部門可直接在這個系統(tǒng)中處理各自的資料，資料處理完成后，由系統(tǒng)自動將其繼續(xù)上傳到門戶網(wǎng)站的服務(wù)器。這些歷史資料可與當(dāng)前其它每日觀測資料融合在一起，形成太陽活動周期上更完整的我國太陽物理觀測資料，供用戶查詢使用。由于資料珍貴，需要考慮資料的備份及災(zāi)備，在系統(tǒng)設(shè)計中體現(xiàn)了數(shù)據(jù)備份與災(zāi)備方案。

數(shù)據(jù)提供方專長自方數(shù)據(jù)處理，簡單數(shù)據(jù)存盤性質(zhì)的保存也容易做到，但一方面對于大多數(shù)數(shù)據(jù)提供部門做好大數(shù)據(jù)量的存儲、維護(hù)及數(shù)據(jù)服務(wù)，在技術(shù)力量、時間上成本較高，另一方面，數(shù)據(jù)使用上需形成多波段、多種類數(shù)據(jù)的門戶網(wǎng)站，對于查詢分析更有價值，對于用戶查找資料更便利。

2存儲方法與規(guī)范

2.1云存儲簡介

云存儲[1-2]是以數(shù)據(jù)存儲和數(shù)據(jù)管理為核心的云計算系統(tǒng)，云存儲是在云計算概念基礎(chǔ)上延展而出的新概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中多種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的系統(tǒng)。它避免了傳統(tǒng)存儲技術(shù)需要知道存儲設(shè)備具體型號、接口和傳輸協(xié)議等具體存儲信息才能實現(xiàn)存儲的繁瑣問題。存儲架構(gòu)由存儲層、基礎(chǔ)管理層、應(yīng)用接口層和訪問層組成。存儲層是云存儲系統(tǒng)中最基礎(chǔ)也是最重要的部分。存儲設(shè)備可以是光纖通道，也可以是其它硬件。在本系統(tǒng)中為多個存儲陣列的組合。一套存儲設(shè)備管理系統(tǒng)對這些存儲設(shè)備進(jìn)行存儲集中管理，即邏輯虛擬化管理、存儲狀態(tài)監(jiān)控及存儲維護(hù)升級等的管理服務(wù)?；A(chǔ)管理層是云存儲實現(xiàn)最困難的部分，也是云存儲最核心的部分?；A(chǔ)管理層具有分布式文件系統(tǒng)、網(wǎng)絡(luò)計算以及集群等技術(shù)，完全能夠?qū)崿F(xiàn)異構(gòu)存儲設(shè)備間的協(xié)同工作，使得整個云存儲系統(tǒng)能夠協(xié)調(diào)工作，為用戶提供優(yōu)質(zhì)、統(tǒng)一的服務(wù)。基礎(chǔ)管理層還具備數(shù)據(jù)內(nèi)容的分發(fā)、數(shù)據(jù)的壓縮、數(shù)據(jù)備份等其他服務(wù)。由于這些服務(wù)是用戶直接感受到的，所以基礎(chǔ)管理層的成功決定著云存儲系統(tǒng)能否成功地服務(wù)于用戶。應(yīng)用接口層作為云存儲和應(yīng)用交流的部分，是最靈活的部分。開發(fā)人員可以根據(jù)不同的用戶需求開發(fā)不同的程序接口，這一層的靈活性完全體現(xiàn)在開發(fā)不同的程序接口是由用戶決定的；同時，該層負(fù)責(zé)網(wǎng)絡(luò)接入、用戶認(rèn)證、權(quán)限管理等功能。訪問層直接面向用戶服務(wù)，用戶根據(jù)不同的需求，可以訪問云存儲系統(tǒng)，獲得不同的服務(wù)，提供多種服務(wù)類型和訪問形式服務(wù)于多種用戶的需求。

2.2采用云存儲的考慮因素

比較之前的存儲，更看重云存儲具有的如下特點：(1)使用的便利性。使用同一套存儲系統(tǒng)為包括服務(wù)器與個人計算機在內(nèi)的各種終端提供存儲服務(wù)。具體而言，存儲系統(tǒng)采用掛載方式，在掛載之后，各個數(shù)據(jù)提供方的服務(wù)器或PC將像使用本地存儲那樣使用云存儲系統(tǒng)的空間；(2)減少數(shù)據(jù)提供方的開發(fā)與維護(hù)成本。各個數(shù)據(jù)提供方不必考慮更多自身存儲方面的構(gòu)建設(shè)計，數(shù)據(jù)提供方將更多精力放在善長的數(shù)據(jù)處理上；(3)維護(hù)的便利性。集中管理(自動收集相關(guān)內(nèi)容、統(tǒng)一內(nèi)容結(jié)構(gòu)、相關(guān)范圍內(nèi)文件搜索、快速發(fā)現(xiàn)知識)；對于數(shù)據(jù)提供方提供存儲與計算資源使用、調(diào)配、自動計算資源，這種服務(wù)在安全控制方式下進(jìn)行(如VLAN、防火墻規(guī)則、負(fù)載均衡等)；協(xié)同工作(自動同步共享文件、網(wǎng)盤文件分享、快速發(fā)布給客戶、嚴(yán)格完善的權(quán)限控制、便捷安全)；(4)數(shù)據(jù)的安全性。文件備份無需操作，自動同步備份系統(tǒng)數(shù)據(jù)，云存儲技術(shù)，保留文件修改歷史版本，隨時恢復(fù)誤修改、誤刪除文件；(5)存儲擴展優(yōu)勢。由于采用元數(shù)據(jù)與數(shù)據(jù)分離技術(shù)，云存儲系統(tǒng)具有幾乎無限擴展的特點。集群存儲方法與傳統(tǒng)存儲方法的不同在于不是一個已經(jīng)被劃分好的相互獨立的數(shù)據(jù)空間，而僅僅是一個目錄，通過聚合各個存儲節(jié)點的存儲空間實現(xiàn)用戶空間的可擴展性，使得每個終端掛載的空間都可以自適應(yīng)地伸縮；(6)共享性。因為各個終端掛載的僅僅是目錄，用戶可以指定將目錄下某一文件共享給某一個或幾個用戶，這樣這些用戶就可以對這一文件進(jìn)行操作，實現(xiàn)了數(shù)據(jù)文件的共享性；(7)文件檢索速度優(yōu)勢。由于采用元數(shù)據(jù)與數(shù)據(jù)分離技術(shù)，可以將其I/O性能進(jìn)行聚合，由此帶來的帶寬提升在大文件讀取上的優(yōu)勢非常明顯。在面對海量文件時，用戶的檢索速度可以比傳統(tǒng)架構(gòu)提高數(shù)倍。從長遠(yuǎn)發(fā)展角度，構(gòu)建云存儲系統(tǒng)無論從數(shù)據(jù)源提供方使用的便利性、系統(tǒng)維護(hù)的便利性、數(shù)據(jù)安全性維護(hù)方面，還是存儲設(shè)備利用、擴展、數(shù)據(jù)應(yīng)用發(fā)展及數(shù)據(jù)檢索速度，都是當(dāng)前的最佳選擇。這樣全方位的發(fā)展趨勢將使未來產(chǎn)生結(jié)構(gòu)更簡單、功能更強大、價格更低廉的云存儲產(chǎn)品。

總之，云存儲系統(tǒng)面向多種類型的網(wǎng)絡(luò)在線存儲服務(wù)，數(shù)據(jù)的安全、可靠、效率，即它的高質(zhì)量存儲服務(wù)，以及數(shù)據(jù)管理能力，可滿足后續(xù)多波段分析對大規(guī)模數(shù)據(jù)存儲計算的需求[3-5]。

2.3云存儲方案設(shè)計

根據(jù)上述具體目標(biāo)，設(shè)計云存儲架構(gòu)，其架構(gòu)圖如圖1。

為實現(xiàn)云存儲架構(gòu)，進(jìn)行如圖1網(wǎng)絡(luò)規(guī)劃，云存儲架構(gòu)分為4種類型網(wǎng)絡(luò)，皆以不同顏色表示。(1)公共網(wǎng)絡(luò)。在虛擬路由外側(cè)，供數(shù)據(jù)提供部門(指定賬戶)使用的共享網(wǎng)絡(luò)，一般接入公共網(wǎng)絡(luò)使用；(2)管理網(wǎng)絡(luò)。管理服務(wù)器與系統(tǒng)虛擬機管理地址之間通訊的網(wǎng)絡(luò)；(3)客戶(數(shù)據(jù)提供部門)網(wǎng)絡(luò)，直接分配給虛擬機使用的虛擬局域網(wǎng)絡(luò)，分為分離和共享；(4)存儲網(wǎng)絡(luò)。管理網(wǎng)絡(luò)、數(shù)據(jù)提供者網(wǎng)絡(luò)、領(lǐng)域門戶網(wǎng)站與存儲之間的通訊，或存儲虛擬機與存儲之間的通訊。

圖1太陽物理歷史觀測資料存儲服務(wù)云架構(gòu)圖

Fig.1Cloud store service chart of solar physics historical observation data

按照功能分為6個網(wǎng)段：管理段、數(shù)據(jù)提供者段及太陽物理門戶段，每一段分別有內(nèi)網(wǎng)與外網(wǎng)段。

考慮(1)有數(shù)據(jù)提供方位于公網(wǎng)端；(2)使用更多網(wǎng)絡(luò)服務(wù)；(3)安全因素，如VLAN；(4)內(nèi)外網(wǎng)交流，將采用高級資源域網(wǎng)絡(luò)部署模式。

云存儲服務(wù)端，將云存儲的服務(wù)端部署在國家天文臺總部，服務(wù)端的維護(hù)與管理可以由國家天文臺懷柔太陽觀測基地信息技術(shù)團隊進(jìn)行。

客戶端：客戶端是指觀測資料產(chǎn)出部門，如國家天文臺懷柔太陽光學(xué)、射電、太陽活動預(yù)報、紫金山天文臺、云南天文臺與南京大學(xué)等相關(guān)的多個部門。其主要工作是根據(jù)自身特長處理原始產(chǎn)出資料。在項目執(zhí)行前期，具有較多專業(yè)知識人員維護(hù)資料網(wǎng)站，資料產(chǎn)出量大的部門，可設(shè)置專門存儲服務(wù)器。若不具備有較多專業(yè)知識人員的部門，根據(jù)數(shù)據(jù)量大小對一般的臺式機增加硬盤數(shù)量，即可滿足資料的數(shù)字化及標(biāo)準(zhǔn)化處理。當(dāng)云存儲系統(tǒng)實施完畢，則所有工作在此系統(tǒng)進(jìn)行。

太陽物理領(lǐng)域業(yè)務(wù)包括：數(shù)據(jù)庫、實時/歷史數(shù)據(jù)分析、資料備份、資料災(zāi)備、網(wǎng)絡(luò)服務(wù)。數(shù)據(jù)提供方業(yè)務(wù)包括：數(shù)據(jù)處理、數(shù)據(jù)備份、數(shù)據(jù)庫等。特別需求包括：各種類型的數(shù)據(jù)庫都在一起，對數(shù)據(jù)庫的要求較高，已存在一個MySQL數(shù)據(jù)庫。對于通過同步盤(參見第3節(jié))上傳的新數(shù)據(jù)，通過自動處理機制及時增加到數(shù)據(jù)庫，使用戶通過網(wǎng)絡(luò)服務(wù)檢索。

保留原有物理設(shè)備3種，其一是數(shù)據(jù)提供方網(wǎng)中即原數(shù)據(jù)提供方之一的懷柔基地團組的數(shù)據(jù)處理服務(wù)器。考慮現(xiàn)階段此服務(wù)器更多只用于懷柔基地的數(shù)據(jù)處理，單機可滿足資料處理需求，未來可繼續(xù)將其用于分布式計算的集群；其二是懷柔基地團組的網(wǎng)絡(luò)服務(wù)器；其三為原有存儲陣列。

擬新建2種設(shè)備，分別用于擴展的計算集群及擴展的存儲集群。未來的數(shù)據(jù)擴展都基于這個存儲集群進(jìn)行。

圖1中的虛擬路由對于每一個客戶賬號及每一種網(wǎng)絡(luò)提供地址轉(zhuǎn)換、域名轉(zhuǎn)換、端口轉(zhuǎn)換、防火墻、虛擬局域網(wǎng)絡(luò)分配(VLAN)、虛擬專用網(wǎng)絡(luò)設(shè)置(VPN)、負(fù)載平衡等功能。虛擬監(jiān)管服務(wù)器通常指如XenServer、KVM，完成虛擬化功能。主存提供分布式計算簇的共享，二級存儲提供單個網(wǎng)段的使用。在云架構(gòu)中主存與二級存儲配合使用以獲得最大的效益與彈性。

圖1中的具體配置命令參考標(biāo)注*www.cloudstack.com/cloudStack implement.pdf，中間件配置參考標(biāo)注②-③②Fernando Harald Barreiro Meginoα，Doug Benjaminβ，openstack．org /projects /storage③docs.openstack.org/developer/swift/。

3備份、災(zāi)備方法與規(guī)范

數(shù)據(jù)的存盤規(guī)范：不同數(shù)據(jù)類型在主目錄下分別建立子目錄，目錄名應(yīng)為資料種類，如手描黑子。資料存放應(yīng)按照種類，然后年月日的形式進(jìn)行；相應(yīng)的處理軟件在主目錄下以軟件為名建立目錄，處理軟件命名應(yīng)體現(xiàn)相應(yīng)的資料類型。

各個數(shù)據(jù)生產(chǎn)部門應(yīng)將全部資料至少備份2份，一份在云端保存，另一份則在本地以存儲介質(zhì)形式妥善保存。同時指定專人負(fù)責(zé)定期進(jìn)行新一代存儲介質(zhì)更換，以免日后無法找到原有存儲介質(zhì)的接口。對于災(zāi)備而言，將在北京懷柔觀測基地建立災(zāi)備服務(wù)器，根據(jù)數(shù)據(jù)更新頻率決定定期傳輸時間周期，定期遠(yuǎn)程啟動災(zāi)備服務(wù)器，將不斷更新的資料傳輸至此服務(wù)器，傳輸完成后關(guān)閉服務(wù)器。同樣需指定專人負(fù)責(zé)定期進(jìn)行新一代存儲介質(zhì)更換。

各個數(shù)據(jù)生產(chǎn)方與云端數(shù)據(jù)的一致性：通過登錄同步盤實現(xiàn)。數(shù)據(jù)源提供方變動會影響另一邊，在云端留下的是最后變動結(jié)果。即在同步盤中的數(shù)據(jù)是需提供備份的最終數(shù)據(jù)?？蛻舳撕头?wù)器端在后臺自動同步．對于用戶(各個數(shù)據(jù)生產(chǎn)部)而言，文件和文件夾的操作跟本地資源管理器的操作完全一致，不受網(wǎng)絡(luò)影響。

各個數(shù)據(jù)提供方根據(jù)數(shù)據(jù)處理特點可分別采用日、周或月的固定備份規(guī)則進(jìn)行，建立備份記錄表格，根據(jù)此表格，為了減少工作量，只對數(shù)據(jù)做增量備份。對備份數(shù)據(jù)將訪問權(quán)限全部設(shè)置為只讀，不能增刪、修改。為了落實責(zé)任到人，備份記錄表格中需設(shè)置執(zhí)行備份的責(zé)任人一項。

4結(jié)束語

本系統(tǒng)采用云存儲架構(gòu)，為數(shù)據(jù)提供、管理、安全及共享提供了最佳方式。為未來太陽物理觀測數(shù)據(jù)集成打下良好的基礎(chǔ)。此云存儲系統(tǒng)可以進(jìn)一步應(yīng)用到我國現(xiàn)代太陽物理觀測資料的存儲及集成服務(wù)。

參考文獻(xiàn)：

[1]張繼平. 云存儲解析[M]. 北京: 人民郵電出版社, 2013: 1-10.

[2]劉鵬. 中國云存儲發(fā)展報告[M]. 北京: 電子工業(yè)出版社, 2013: 1-5.

[3]Liu Bingwei, Chen Yu, Shen Dan, et al. An adaptive process-based cloud infrastructure for space situational awareness applications[C]// Proceedings of SPIE. 2014: 5450-5453.

[4]Taylor R P, Megino F H B, Benjamin D, et al. Exploiting virtualization and cloud computing in ATLAS[J]. Journal of Physics Conference Series, 2012, 396(3): 32011-32022.

[5]Serfon C. Data management tools and operational procedures in ATLAS: example of the German cloud[J]. Journal of Physics Conference Series, 2010, 219(4): 42053-42057.

A Storage Solution for China′s Solar Physics Historical Observation Data

Lin Ganghua

(Key Laboratory of Solar Activity, National Astronomical Observatories, Chinese Academy of Sciences,Beijing 100012, China, Email: lgh@nao.cas.cn)

Abstract:Astronomical data storage method should take the following factors into consideration: the convenience of data storage, best user experience and data security. Besides, convenient maintenance of data storage should also be included. All those above-mentioned factors are requirements for data storage and sharing proposed by almost every large and medium-sized data project. This paper analyzes the storage requirements of project of field type and explores the differences of different storage service architectures. Based on that, this thesis proposes a cloud storage architecture and also provides the design scheme of this field cloud storage service architecture. This architecture can not only meet the demands of data processing, unified storage and unified external service, but also offer the best user experience for data query service. At the end of this paper, it also discusses how to establish a disaster recovery system as well as specifications.

Key words:Cloud storage; Network; Data; Service

基金項目：科技部基礎(chǔ)性工作專項 (2014FY120300, 2012FY120500) 資助.

收稿日期：2015-06-24；

修訂日期：2015-07-21

作者簡介：林鋼華，女，研究員. 研究方向：天文信息技術(shù). Email: lgh@nao.cas.cn

中圖分類號：P182

文獻(xiàn)標(biāo)識碼：A

文章編號:1672-7673(2016)02-0228-05

CN 53-1189/PISSN 1672-7673