楊 坤，李 旋，安磊磊

(1.中國人民解放軍91404部隊，河北 秦皇島 066001；2.中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081)

0 引言

隨著軍事斗爭準(zhǔn)備的拓展和深化，訓(xùn)練及保障任務(wù)日益增多，各任務(wù)保障系統(tǒng)具有跨業(yè)務(wù)平臺、多通信體制、高度共享關(guān)聯(lián)和功能協(xié)同應(yīng)用的特點，需要整體統(tǒng)籌規(guī)劃，才能最大程度地發(fā)揮任務(wù)保障能力；另外，隨著任務(wù)保障系統(tǒng)功能日益完善，任務(wù)演練數(shù)據(jù)隨之成倍增長，對訓(xùn)練數(shù)據(jù)進(jìn)行綜合處理與應(yīng)用的能力需求也不斷提高。

傳統(tǒng)數(shù)據(jù)中心建設(shè)均基于單服務(wù)器部署，利用服務(wù)器本身的計算、存儲和網(wǎng)絡(luò)資源，為演練保障系統(tǒng)提供服務(wù)器獨占式運行服務(wù)。系統(tǒng)可靠性、擴(kuò)展性較差；通常采用大型機(jī)進(jìn)行計算處理，運維成本及人員要求較高。

目前，云數(shù)據(jù)中心及云平臺技術(shù)以得到了技術(shù)人員的廣泛論證、研究與實踐。文獻(xiàn)[1-3]提出了大數(shù)據(jù)時代數(shù)據(jù)中心建設(shè)需要注意的建設(shè)目標(biāo)、建設(shè)方案選擇、數(shù)據(jù)安全、網(wǎng)絡(luò)架構(gòu)及節(jié)能環(huán)保等事項；文獻(xiàn)[4-6]介紹了分布式計算平臺的建設(shè)及分布式服務(wù)架構(gòu)的業(yè)務(wù)應(yīng)用；文獻(xiàn)[7-9]介紹了虛擬化云平臺的建設(shè)及虛擬化服務(wù)架構(gòu)的業(yè)務(wù)應(yīng)用；文獻(xiàn)[10]介紹了災(zāi)備系統(tǒng)的建設(shè)及運維管理；文獻(xiàn)[11]提出了依托云數(shù)據(jù)中心的企業(yè)異地協(xié)同研發(fā)的應(yīng)用案例；文獻(xiàn)[12-14]介紹了云數(shù)據(jù)中心在地鐵、醫(yī)院、航天測控等領(lǐng)域的應(yīng)用；文獻(xiàn)[15]梳理了國內(nèi)外主要IT設(shè)備提供商的數(shù)據(jù)中心技術(shù)架構(gòu)和解決方案。

1 分布式計算平臺

分布式計算平臺通過提供標(biāo)準(zhǔn)的應(yīng)用程序接口(API)以及與平臺無關(guān)的多語言軟件開發(fā)套件，為各任務(wù)保障系統(tǒng)提供統(tǒng)一、高效、海量的數(shù)據(jù)處理服務(wù)接口，形成涵蓋實時業(yè)務(wù)數(shù)據(jù)高效處理、離線歷史數(shù)據(jù)深度挖掘及多場景業(yè)務(wù)數(shù)據(jù)服務(wù)能力，為任務(wù)保障各系統(tǒng)開展以實時數(shù)據(jù)為基礎(chǔ)的高效業(yè)務(wù)反應(yīng)能力、以海量離線數(shù)據(jù)為依托的可靠輔助決策能力提供計算服務(wù)支撐。分布式計算平臺服務(wù)體系架構(gòu)如圖1所示。

圖1 分布式計算平臺服務(wù)體系架構(gòu)Fig.1 Service architecture of distributed computing platform

分布式計算平臺依托高速計算服務(wù)器、分布式對象存儲服務(wù)器、高速56 Gb/s InfiniBand網(wǎng)絡(luò)等基礎(chǔ)硬件，構(gòu)建計算引擎、計算模型及開發(fā)平臺一站式計算服務(wù)體系。以實時計算平臺和離線計算平臺作為樞紐，深度整合數(shù)據(jù)開發(fā)工具、數(shù)據(jù)集成工具、數(shù)據(jù)處理工具，形成面向結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)處理服務(wù)支撐能力。分布式計算服務(wù)包括實時計算服務(wù)和離線集成服務(wù)2部分。

實時計算服務(wù)作為流式大數(shù)據(jù)實時分析平臺，通過搭建流式數(shù)據(jù)實時分析計算服務(wù)，規(guī)避底層流式數(shù)據(jù)處理邏輯的重復(fù)開發(fā)，提供涵蓋數(shù)據(jù)采集、數(shù)據(jù)開發(fā)、數(shù)據(jù)存儲、數(shù)據(jù)運維及監(jiān)控告警等完整的一站式流式數(shù)據(jù)實時處理分析服務(wù)，有效縮短全鏈路數(shù)據(jù)流時延、實時化計算邏輯、平攤計算成本，滿足流式大數(shù)據(jù)實時化分析需求。

實時計算集成服務(wù)以實時計算開發(fā)平臺為樞紐，深度整合數(shù)據(jù)集成工具及數(shù)據(jù)存儲工具，借助實時計算開發(fā)平臺集成多種SQL輔助功能，提供SQL語法檢查、智能提示及語法高亮顯示等功能，降低數(shù)據(jù)開發(fā)門檻，提高開發(fā)便捷性，打通從數(shù)據(jù)生產(chǎn)到數(shù)據(jù)消費全鏈路流式數(shù)據(jù)處理流程，完成數(shù)據(jù)生產(chǎn)到數(shù)據(jù)消費一站式實時計算服務(wù)平臺，為業(yè)務(wù)保障系統(tǒng)提供流式數(shù)據(jù)支撐，提升業(yè)務(wù)保障系統(tǒng)實時數(shù)據(jù)處理能力。

離線計算平臺采用分布式計算框架，通過統(tǒng)一的可視化建模開發(fā)平臺提供基于SQL，MapReduce，Graph，MPI等多種編程模型的建模設(shè)計、開發(fā)測試、優(yōu)化驗證及運行調(diào)度等功能，通過數(shù)據(jù)通道服務(wù)提供對來自各任務(wù)保障系統(tǒng)的異構(gòu)數(shù)據(jù)源的高并發(fā)、高吞吐、持續(xù)穩(wěn)定的數(shù)據(jù)加載上傳服務(wù)。采用基于有向無環(huán)圖的多數(shù)據(jù)處理作業(yè)并行運行調(diào)度模式，實現(xiàn)對各任務(wù)保障系統(tǒng)的海量離線大數(shù)據(jù)的離線高效處理，并通過開放的、統(tǒng)一的編程接口，支持各業(yè)務(wù)系統(tǒng)通過Restful API方式對離線數(shù)據(jù)處理服務(wù)進(jìn)行業(yè)務(wù)調(diào)用。構(gòu)建面向多系統(tǒng)、多用戶協(xié)同分析、海量離線數(shù)據(jù)、多計算模型支持、多數(shù)據(jù)處理作業(yè)運行調(diào)度的離線計算基礎(chǔ)服務(wù)平臺，為各任務(wù)保障系統(tǒng)提供離線數(shù)據(jù)處理服務(wù)支撐。

離線計算平臺作為各任務(wù)保障系統(tǒng)離線計算的統(tǒng)一計算分析支撐平臺，面向結(jié)構(gòu)化和非結(jié)構(gòu)化離線數(shù)據(jù)，整合多種數(shù)據(jù)采集工具，通過提供圖形化計算工具，為各任務(wù)保障系統(tǒng)離線數(shù)據(jù)處理作業(yè)提供數(shù)據(jù)加載、數(shù)據(jù)處理開發(fā)及作業(yè)運行調(diào)度等全流程數(shù)據(jù)處理服務(wù)。對數(shù)據(jù)倉庫整合、數(shù)據(jù)通用處理、數(shù)據(jù)特征分析、數(shù)據(jù)共享服務(wù)、數(shù)據(jù)查詢應(yīng)用、數(shù)據(jù)檢索應(yīng)用及日志數(shù)據(jù)應(yīng)用等業(yè)務(wù)應(yīng)用提供離線數(shù)據(jù)處理基礎(chǔ)平臺支撐。

2 虛擬化云平臺

虛擬化云服務(wù)依托高速計算服務(wù)器、分布式對象存儲及高速萬兆光纖網(wǎng)絡(luò)等基礎(chǔ)硬件，通過計算虛擬化、網(wǎng)絡(luò)虛擬化及交互式控制服務(wù)，提供處理能力可彈性伸縮的、存儲容量可動態(tài)擴(kuò)展的、網(wǎng)絡(luò)可靈活定制的、高可用高安全的虛擬計算環(huán)境。通過虛擬化云服務(wù)為各任務(wù)保障系統(tǒng)提供虛擬主機(jī)，主要包括CPU、內(nèi)存等基礎(chǔ)計算組件以及操作系統(tǒng)、網(wǎng)絡(luò)、存儲等定制化組件，并通過鏡像、快照、塊存儲、部署集及彈性網(wǎng)卡等技術(shù)手段，實現(xiàn)高效存儲、靈活部署、業(yè)務(wù)可靠、快速備份、快速恢復(fù)的虛擬化云服務(wù)，進(jìn)行各虛擬主機(jī)的統(tǒng)一運維管理。虛擬化云服務(wù)體系架構(gòu)如圖2所示。

造成如此強(qiáng)烈的并購需求的主要原因，一是這些公司的儲量替代率已連續(xù)4年下降，可持續(xù)發(fā)展問題日益凸顯；二是近4年的低油價應(yīng)對措施效果明顯，國際大石油公司的資產(chǎn)組合進(jìn)一步優(yōu)化，適應(yīng)低油價能力提升，特別是新技術(shù)的引入降低了運營成本，從而使得國際大石油公司重新具備并購優(yōu)質(zhì)油氣資產(chǎn)的基礎(chǔ)。

圖2 虛擬化云服務(wù)體系架構(gòu)Fig.2 Virtualized cloud service architecture

虛擬化云服務(wù)為各任務(wù)保障系統(tǒng)提供處理能力可彈性伸縮的計算服務(wù)，以簡單高效的方式進(jìn)行虛擬主機(jī)快速創(chuàng)建、磁盤按需擴(kuò)容、網(wǎng)絡(luò)靈活配置及快速備份恢復(fù)的能力，實現(xiàn)虛擬化云服務(wù)的高可用、強(qiáng)安全和彈性伸縮。主要功能包括虛擬主機(jī)實例、塊存儲服務(wù)、鏡像服務(wù)、快照服務(wù)、部署集服務(wù)及彈性網(wǎng)卡服務(wù)。

虛擬主機(jī)實例為虛擬化云服務(wù)對外提供的最小服務(wù)單位，功能等效于一臺物理主機(jī)，包括CPU、內(nèi)存、操作系統(tǒng)、網(wǎng)絡(luò)及磁盤等基礎(chǔ)組件，按需為各任務(wù)保障系統(tǒng)提供相應(yīng)的計算能力。提供對虛擬主機(jī)的管理，包括虛擬主機(jī)實例的查看、編輯、停止、重啟、刪除、配置變更、密碼管理及網(wǎng)絡(luò)配置等功能。

塊存儲服務(wù)為虛擬化云服務(wù)提供數(shù)據(jù)塊級別的隨機(jī)存儲服務(wù)，具備低延時、持久和高可靠的特性，滿足隨機(jī)讀寫及按需擴(kuò)容的使用需求。采用3個副本的分布式存儲機(jī)制，為虛擬化云服務(wù)提供數(shù)據(jù)可靠保證，虛擬主機(jī)數(shù)據(jù)文件寫入磁盤會復(fù)制出3個副本，并將這些副本按一定策略存放在集群的不同存儲節(jié)點上，當(dāng)有數(shù)據(jù)節(jié)點損壞或硬盤故障時，會自動進(jìn)行副本復(fù)制，保證副本數(shù)據(jù)一致，實現(xiàn)虛擬主機(jī)數(shù)據(jù)文件可靠存儲。塊存儲服務(wù)主要功能包括磁盤創(chuàng)建、磁盤查看、磁盤回滾、磁盤屬性修改、磁盤掛載、磁盤分區(qū)及格式化、系統(tǒng)盤擴(kuò)容及磁盤卸載。

鏡像是虛擬主機(jī)實例運行環(huán)境的模板，包括了操作系統(tǒng)信息、預(yù)裝的應(yīng)用程序以及磁盤中的所有數(shù)據(jù)。鏡像服務(wù)提供了通用的公共鏡像和自定義鏡像，公共鏡像支持Windows，Linux和國產(chǎn)操作系統(tǒng)的主流版本。通過鏡像服務(wù)，可以進(jìn)行虛擬主機(jī)的快速創(chuàng)建、一致性部署及備份。鏡像服務(wù)主要功能包括鏡像查看、鏡像復(fù)制、鏡像共享、鏡像導(dǎo)入、鏡像導(dǎo)出、鏡像刪除及鏡像自定義創(chuàng)建等。

快照為某時間點虛擬主機(jī)磁盤的數(shù)據(jù)拷貝，通過有計劃地對磁盤創(chuàng)建快照，可以實現(xiàn)運行于虛擬主機(jī)上的業(yè)務(wù)可持續(xù)運行。快照采用增量拷貝方式，只有2個快照之間數(shù)據(jù)發(fā)生變化時，數(shù)據(jù)才會被拷貝?？煺辗?wù)支持自動快照策略制定，可以根據(jù)業(yè)務(wù)需求，配置自動創(chuàng)建快照的時間、重復(fù)日志及快照保留時間?？煺湛梢宰鳛槠渌疟P基礎(chǔ)數(shù)據(jù)創(chuàng)建新的數(shù)據(jù)盤，還可以在磁盤數(shù)據(jù)發(fā)生錯誤時提供數(shù)據(jù)恢復(fù)能力?？煺辗?wù)的主要功能包括快照創(chuàng)建、快照查看和快照刪除。

部署集服務(wù)為虛擬化云服務(wù)提供物理主機(jī)、機(jī)架及交換機(jī)感知能力，通過定制部署策略，提升業(yè)務(wù)可靠性和系統(tǒng)整體性能。部署集服務(wù)支持物理主機(jī)、機(jī)架及交換機(jī)3種部署粒度，提供盡量聚合、嚴(yán)格聚合、盡量分散及嚴(yán)格分散4種部署策略。為了避免物理主機(jī)、機(jī)架或交換機(jī)發(fā)生故障對業(yè)務(wù)造成的影響，部署集服務(wù)支持將相同應(yīng)用的虛擬主機(jī)盡量部署在不同的物理主機(jī)、機(jī)架及交換機(jī)上。當(dāng)多虛擬主機(jī)有較多網(wǎng)絡(luò)交互時，為了降低網(wǎng)絡(luò)訪問延時、提高網(wǎng)絡(luò)訪問帶寬，部署集服務(wù)支持將相同應(yīng)用虛擬主機(jī)部署在同一交換機(jī)下。部署集服務(wù)主要功能包括部署集創(chuàng)建、部署集查看、部署集編輯及部署集刪除。

彈性網(wǎng)卡是一種可以附加到虛擬主機(jī)的虛擬網(wǎng)卡，通過彈性網(wǎng)卡服務(wù)可以實現(xiàn)多網(wǎng)卡配置、彈性網(wǎng)卡分離復(fù)用、彈性網(wǎng)卡安全準(zhǔn)則配置，實現(xiàn)高可用集群搭建、低成本故障遷移及網(wǎng)絡(luò)精細(xì)化管理。彈性網(wǎng)卡服務(wù)支持為單個虛擬化云服務(wù)配置多個彈性網(wǎng)卡，實現(xiàn)管理數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)網(wǎng)絡(luò)傳輸隔離，并通過為每張彈性網(wǎng)卡配置精準(zhǔn)安全準(zhǔn)則，實現(xiàn)安全訪問控制。彈性網(wǎng)卡支持從一個虛擬主機(jī)分離并附加到另一臺虛擬主機(jī)上，實現(xiàn)業(yè)務(wù)流量快速遷移至備用實例，具備服務(wù)快速恢復(fù)能力。彈性網(wǎng)卡服務(wù)主要功能包括彈性網(wǎng)卡創(chuàng)建、彈性網(wǎng)卡便編輯、彈性網(wǎng)卡刪除、虛擬主機(jī)綁定、虛擬主機(jī)解綁及安全組配置等。

3 數(shù)據(jù)安全

采用軟件與硬件結(jié)合的方式，實現(xiàn)終端與服務(wù)器安全管理、分布式存儲及信息安全管理、分布式應(yīng)用安全管理、網(wǎng)絡(luò)與運行平臺安全管理、運維審計管理、架構(gòu)運行安全管理和備份容災(zāi)等能力。數(shù)據(jù)安全存儲從層次上可分為數(shù)據(jù)集群存儲、數(shù)據(jù)多副本存儲和數(shù)據(jù)安全訪問3部分。數(shù)據(jù)安全服務(wù)體系架構(gòu)如圖3所示。

圖3 數(shù)據(jù)安全服務(wù)體系架構(gòu)Fig.3 Data security service architecture

① 數(shù)據(jù)集群存儲

為存儲資源建立分區(qū)的集群系統(tǒng)，配置統(tǒng)一的數(shù)據(jù)管理服務(wù)器群組，支持所轄分布式存儲服務(wù)器群組的并行存儲、分布式存儲以及備份恢復(fù)處理。數(shù)據(jù)服務(wù)器硬件通過統(tǒng)一網(wǎng)絡(luò)架構(gòu)互聯(lián)，包括業(yè)務(wù)區(qū)和容災(zāi)區(qū)，各個分區(qū)都具有宕機(jī)保護(hù)能力。管理節(jié)點具有高可用能力，采用冗余配置，提供存儲資源管理手段，支持?jǐn)?shù)據(jù)訪問優(yōu)化策略、自動容災(zāi)和備份歸檔，保證數(shù)據(jù)訪問服務(wù)不間斷運行。

② 數(shù)據(jù)多副本存儲

數(shù)據(jù)存儲安全指的是數(shù)據(jù)存入存儲系統(tǒng)情況下，在非自然災(zāi)害或者人為條件下，數(shù)據(jù)不能丟失、不能損壞。采用分布式冗余架構(gòu)，保證存儲系統(tǒng)的本地高可用；采用副本模式，關(guān)鍵數(shù)據(jù)可在場區(qū)內(nèi)部進(jìn)行多副本備份，保證一份數(shù)據(jù)進(jìn)行3個副本存儲，而且不同的副本數(shù)據(jù)不保存在同一節(jié)點或者機(jī)柜，即使一份數(shù)據(jù)損壞或者丟失也不會影響數(shù)據(jù)完整性；采用異地災(zāi)備系統(tǒng)，進(jìn)行跨區(qū)的數(shù)據(jù)同步備份，保證即使本地數(shù)據(jù)中心完全損壞，數(shù)據(jù)依然可以大部分保留下來，繼續(xù)支撐各任務(wù)保障系統(tǒng)的正常運行。

③ 數(shù)據(jù)安全訪問

主要是按角色的、可審計的數(shù)據(jù)權(quán)限設(shè)計，解決訪問人員的權(quán)限邊界問題，非權(quán)限內(nèi)人員不得訪問該數(shù)據(jù)。通過安全運維體系，將平臺的使用人員權(quán)限進(jìn)行明確劃分，硬件維護(hù)人員只能對硬件進(jìn)行開機(jī)、關(guān)機(jī)和更換操作；管理員只能管理人員賬號數(shù)據(jù)，為業(yè)務(wù)人員開立、注銷賬號以及更改賬戶的權(quán)限；系統(tǒng)維護(hù)人員只能管理系統(tǒng)數(shù)據(jù)，管理業(yè)務(wù)系統(tǒng)的啟動、關(guān)停和升級等。不同職責(zé)的人員只能訪問和管理自己權(quán)限內(nèi)的數(shù)據(jù)。系統(tǒng)提供日志審計功能，可以針對訪問人員的行為進(jìn)行審計，避免非法操作，保證對操作的可追溯性。

4 統(tǒng)一運維管控

通過統(tǒng)一運維管控系統(tǒng)為運維管理人員提供資源劃撥、硬件狀態(tài)監(jiān)控和環(huán)境監(jiān)控管理，實現(xiàn)對基礎(chǔ)資源服務(wù)、服務(wù)器設(shè)備及虛擬資源的統(tǒng)一監(jiān)控，對于監(jiān)控對象的資源使用情況、運行狀態(tài)進(jìn)行監(jiān)測。當(dāng)監(jiān)控對象出現(xiàn)故障時，統(tǒng)一運維管控系統(tǒng)可自動檢測出故障原因并以多種告警形式對運維人員進(jìn)行及時故障告警，保證業(yè)務(wù)系統(tǒng)的正常運行。

統(tǒng)一運維管控系統(tǒng)自動生成運維報告，定期進(jìn)行系統(tǒng)運行日志的收集、管理和分析，記錄系統(tǒng)運行狀況，通過階段性監(jiān)控、分析和總結(jié)，定時提供系統(tǒng)整體運行維護(hù)、性能及利用率等方面的系統(tǒng)運維分析報告。

5 結(jié)果對比與分析

進(jìn)行數(shù)據(jù)中心云技術(shù)部署改造后，與原傳統(tǒng)部署方式的系統(tǒng)運維進(jìn)行了對比，如表1所示。

通過云技術(shù)對數(shù)據(jù)中心進(jìn)行改造后，各業(yè)務(wù)系統(tǒng)部署于虛擬化云平臺，數(shù)據(jù)處理軟件部署于分布式計算平臺。通過全局服務(wù)器資源統(tǒng)一分配機(jī)制，提高了硬件資源的利用率、簡化了資源擴(kuò)展流程、節(jié)約了業(yè)務(wù)擴(kuò)展成本；通過虛擬機(jī)高可用機(jī)制，自動屏蔽硬件設(shè)備故障對虛擬機(jī)的影響，降低了硬件故障恢復(fù)時間，提升了系統(tǒng)的可靠性和安全性；通過虛擬化平臺快照、鏡像等方式，提升了系統(tǒng)災(zāi)備能力；通過多服務(wù)器并行處理機(jī)制，提高了數(shù)據(jù)處理能力，降低了大型機(jī)使用需求，節(jié)約了運維成本；通過云技術(shù)統(tǒng)一運維管理機(jī)制，節(jié)約了人力成本。

表1 數(shù)據(jù)中心改造前后對比

Tab.1 Comparison of data center before and after transformation

6 結(jié)束語

基于云技術(shù)的數(shù)據(jù)中心建設(shè)是一種新的信息系統(tǒng)整合模式，取代傳統(tǒng)數(shù)據(jù)中心根據(jù)各業(yè)務(wù)需求不同而部署的型號繁雜、功能各異的業(yè)務(wù)獨占式服務(wù)器架構(gòu)。通過對硬件設(shè)備進(jìn)行資源整合，構(gòu)建具備統(tǒng)一運維管控能力的虛擬化、計算支撐等云平臺，不僅提高了硬件資源利用率、降低了資源擴(kuò)展成本，而且提高了整個數(shù)據(jù)中心的可靠性、災(zāi)備能力，降低了人員運維成本，在全新數(shù)據(jù)中心建設(shè)及老舊數(shù)據(jù)中心利舊改造方面，均能表現(xiàn)出良好的綜合處理能力及可持續(xù)擴(kuò)展能力。