許化棟 山東省郵電規(guī)劃設(shè)計(jì)院有限公司規(guī)劃研究院副院長，高級工程師

分布式云數(shù)據(jù)中心建設(shè)探討

許化棟 山東省郵電規(guī)劃設(shè)計(jì)院有限公司規(guī)劃研究院副院長，高級工程師

根據(jù)傳統(tǒng)的數(shù)據(jù)中心的發(fā)展現(xiàn)狀、面臨的挑戰(zhàn)，結(jié)合數(shù)據(jù)中心發(fā)展趨勢，本文對基于云計(jì)算的數(shù)據(jù)中心建設(shè)進(jìn)行了探討，給出了分布式云數(shù)據(jù)中心建設(shè)和運(yùn)營方案。

數(shù)據(jù)中心；分布式；云計(jì)算；建設(shè)方案；運(yùn)營管理

1 引言

傳統(tǒng)數(shù)據(jù)中心建設(shè)，一般隨著業(yè)務(wù)、地域需求循序漸進(jìn)建設(shè)，每個數(shù)據(jù)中心較為獨(dú)立、僅滿足本地域業(yè)務(wù)應(yīng)用集中部署和數(shù)據(jù)共享。傳統(tǒng)的、煙囪式數(shù)據(jù)中心建設(shè)和發(fā)展存在如下挑戰(zhàn)：

（1）資源利用率低

單個數(shù)據(jù)中心各應(yīng)用間靜態(tài)分配、資源隔離，大部分時間數(shù)據(jù)中心的計(jì)算、存儲和網(wǎng)絡(luò)資源利用率較低。據(jù)統(tǒng)計(jì)，通常數(shù)據(jù)中心服務(wù)器資源利用率常年低于15%，資源一定程度上存在浪費(fèi)。

（2）管理復(fù)雜

由于業(yè)務(wù)需求多樣、且不同業(yè)務(wù)對軟硬件要求和容災(zāi)策略各不相同，造成數(shù)據(jù)中心硬件資源與業(yè)務(wù)系統(tǒng)管理困難。物理資源和應(yīng)用的高耦合度、業(yè)務(wù)部署上線與擴(kuò)容升級周期長，對數(shù)據(jù)中心的簡化管理提出了較大的挑戰(zhàn)。

（3）建設(shè)與運(yùn)營成本高

按應(yīng)用垂直建設(shè)和運(yùn)營各系統(tǒng)，需在不同數(shù)據(jù)中心配置軟硬件、維護(hù)人員，設(shè)備空間和能耗資源等占用率高，建設(shè)與運(yùn)營成本大大提高。

（4）安全與可靠性難以保障

隨著人類社會活動越來越依賴于網(wǎng)絡(luò)，部分基于網(wǎng)絡(luò)的業(yè)務(wù)連續(xù)性成為IT基礎(chǔ)設(shè)施建設(shè)的首要目標(biāo)。傳統(tǒng)的單個數(shù)據(jù)中心業(yè)務(wù)保障成本高，難以實(shí)現(xiàn)多個分布式數(shù)據(jù)中心的業(yè)務(wù)連續(xù)性。

本文基于此背景，結(jié)合傳統(tǒng)的數(shù)據(jù)中心的現(xiàn)狀、挑戰(zhàn)和發(fā)展趨勢，對分布式云數(shù)據(jù)中心建設(shè)進(jìn)行了探討。

2 數(shù)據(jù)中心的發(fā)展趨勢

結(jié)合當(dāng)前業(yè)務(wù)需求和技術(shù)發(fā)展，新一代數(shù)據(jù)中心發(fā)展技術(shù)趨勢如下：

（1）數(shù)據(jù)中心分布式建設(shè)、集中化管理成為方向

由于需求的地域分布特性，IDC基礎(chǔ)設(shè)施呈現(xiàn)分布式建設(shè)；同時，由于集約化運(yùn)維和降低成本、提高資源利用率需求，IDC管理管理向集中化方向發(fā)展。

（2）向基于云計(jì)算的軟件定義數(shù)據(jù)中心發(fā)展

云計(jì)算和SDN技術(shù)的發(fā)展，使數(shù)據(jù)中心服務(wù)器內(nèi)存儲資源、直連存儲陣列、異構(gòu)的各類存儲系統(tǒng)等資源全面池化，計(jì)算、存儲、網(wǎng)絡(luò)和安全等資源可按需分配、快速釋放，大大提高了數(shù)據(jù)中心資源利用率和可靠性。數(shù)據(jù)中心向基于云計(jì)算的軟件定義數(shù)據(jù)中心發(fā)展，以實(shí)現(xiàn)高效管理、運(yùn)維和資源協(xié)同。

（3）安全與可靠性成為未來數(shù)據(jù)中心的基礎(chǔ)能力

數(shù)據(jù)中心安全性并不單指防火墻、IPS/IDS、入侵檢測以及防病毒等安全防范措施，更重要的數(shù)據(jù)中心還應(yīng)構(gòu)建可靠的容災(zāi)方案，或建立異地的災(zāi)難備份中心，通過多種技術(shù)手段保障業(yè)務(wù)的連續(xù)性和數(shù)據(jù)的安全性。

為了應(yīng)對數(shù)據(jù)中心面對的挑戰(zhàn)并順應(yīng)業(yè)務(wù)需求、技術(shù)發(fā)展趨勢，數(shù)據(jù)中心建設(shè)逐步向基于云計(jì)算的數(shù)據(jù)中心發(fā)展演進(jìn)。基于云計(jì)算的數(shù)據(jù)中心（簡稱“云數(shù)據(jù)中心”），以融合架構(gòu)（計(jì)算、存儲、網(wǎng)絡(luò)構(gòu)建融合資源池作為的基礎(chǔ)單元）構(gòu)建SDN業(yè)務(wù)感知網(wǎng)絡(luò)，可實(shí)現(xiàn)云主機(jī)、VPC、云備份、海量存儲等IaaS、PaaS和SaaS業(yè)務(wù)，并可通過自動化管理和虛擬化平臺來支撐IT服務(wù)精細(xì)化運(yùn)營。所謂分布式，一是指數(shù)據(jù)中心在機(jī)房基礎(chǔ)設(shè)施、地理空間、計(jì)算/存儲/網(wǎng)絡(luò)資源的軟硬件部署上是分布而非集中的，多個DC的建設(shè)時間也可以循序漸進(jìn)，各DC彼此保持一定的獨(dú)立性；二是資源的調(diào)度可以跨越多個數(shù)據(jù)中心，運(yùn)維管理可以基于全局，多個數(shù)據(jù)中心間實(shí)現(xiàn)有機(jī)結(jié)合與資源共享，邏輯上可以視為一個全局的大數(shù)據(jù)中心。

分布式云數(shù)據(jù)中心是物理分散、邏輯統(tǒng)一、業(yè)務(wù)驅(qū)動、云管協(xié)同、業(yè)務(wù)感知的數(shù)據(jù)中心，不僅限于解決單個數(shù)據(jù)中心的效率和用戶體驗(yàn)，而是將多個數(shù)據(jù)中心看成一個有機(jī)整體，圍繞跨數(shù)據(jù)中心管理、資源調(diào)度和災(zāi)備設(shè)計(jì)，包括實(shí)現(xiàn)跨數(shù)據(jù)中心云資源遷移的云平臺、多數(shù)據(jù)中心統(tǒng)一資源管理和調(diào)度的運(yùn)營運(yùn)維管理系統(tǒng)、大二層的超寬帶網(wǎng)絡(luò)和軟件定義數(shù)據(jù)中心能力。分布式云數(shù)據(jù)中心以去地域化、軟件定義數(shù)據(jù)中心、自動化為主要特征，核心理念在于：物理分布、邏輯統(tǒng)一，通過多數(shù)據(jù)中心融合來提升企業(yè)IT效率，提供統(tǒng)一的服務(wù)呈現(xiàn)界面、統(tǒng)一的支撐流程。

分布式云數(shù)據(jù)中心其價值是：

●降低TCO（Total Cost of Ownership，總所有成本），提高ROI（Return On Investment，投資回報(bào)率）

分布式云數(shù)據(jù)中心采用虛擬化技術(shù)，消除了軟件對運(yùn)行軟件的硬件的依賴性，通過資源池化提升基礎(chǔ)設(shè)施資源利用率、降低對基礎(chǔ)架構(gòu)的投資，提升數(shù)據(jù)中心的災(zāi)備能力。

●提高業(yè)務(wù)響應(yīng)速度，提高用戶的滿意度

分布式云數(shù)據(jù)中心在虛擬化技術(shù)之上，可按需提供不同的SLA水平的資源服務(wù)能力，大大縮短用戶業(yè)務(wù)上線的時間，根據(jù)用戶配置的靈活的調(diào)度策略，保證IT能夠快速響應(yīng)業(yè)務(wù)變化。

●減少IT管理和維護(hù)資源，提高營運(yùn)能力

分布式云數(shù)據(jù)中心可為用戶提供自助服務(wù)能力，降低對IT運(yùn)營部門的依賴；且通過集中的運(yùn)營與運(yùn)維、主動式的管理，利用簡化和標(biāo)準(zhǔn)化的工作流將業(yè)務(wù)要求與IT流程連接起來，使得多個多數(shù)據(jù)中心的運(yùn)營與運(yùn)維效率大大提升。

3 分布式云數(shù)據(jù)中心目標(biāo)架構(gòu)

分布式云數(shù)據(jù)中心總體邏輯架構(gòu)由基礎(chǔ)設(shè)施層、虛擬化層、服務(wù)層和管理層組成，各層都分別向上層提供接口供上層調(diào)用或?qū)印?/p>

●基礎(chǔ)設(shè)施層提供構(gòu)建數(shù)據(jù)中心所需的資源。

●虛擬化層將分布在不同地域的物理資源轉(zhuǎn)化為統(tǒng)一管理的虛擬資源池。

●服務(wù)層由軟件實(shí)現(xiàn)統(tǒng)一的服務(wù)管理及提供各種云業(yè)務(wù)。

●管理層提供對多個數(shù)據(jù)中心統(tǒng)一的運(yùn)營管理、運(yùn)維管理和容災(zāi)管理能力。

分布式云數(shù)據(jù)中心目標(biāo)架構(gòu)如圖1所示；具體各層功能說明參見表1。

4 分布式云數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)方案

分布式云數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)建議采用“扁平化”兩級架構(gòu)（分別為核心層和接入層），按照功能劃分，包括外聯(lián)區(qū)、核心區(qū)、網(wǎng)絡(luò)服務(wù)區(qū)、接入?yún)^(qū)、存儲區(qū)。其中，外聯(lián)區(qū)主要功能是對接Internet線路和接入網(wǎng)絡(luò)，可使用路由器與MPLS承載網(wǎng)絡(luò)、Internet網(wǎng)絡(luò)、DCN網(wǎng)絡(luò)等進(jìn)行互聯(lián)；核心區(qū)是整個數(shù)據(jù)中心交換核心，由高性能交換機(jī)組成；網(wǎng)絡(luò)服務(wù)區(qū)提供流量統(tǒng)計(jì)、IDS/IPS、防火墻、負(fù)載均衡、VPN等IDC增值服務(wù)；接入?yún)^(qū)主要為數(shù)據(jù)中心服務(wù)器節(jié)點(diǎn)設(shè)備的接入，服務(wù)器可采用刀片服務(wù)器或者機(jī)架服務(wù)器，刀片服務(wù)器則通過交換背板連接到匯聚交換機(jī)上，機(jī)架服務(wù)器則通過接入交換機(jī)連接到匯聚交換機(jī)上；存儲區(qū)主要為SAN網(wǎng)絡(luò)、磁盤陣列等，存儲可采用FCSAN或者IPSAN，F(xiàn)CSAN則通過光纖交換機(jī)連接至服務(wù)器的存儲平面端口，IPSAN則通過IP接入交換機(jī)連接至服務(wù)器的存儲平面端口。分布式云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)見圖2。

分布式云數(shù)據(jù)中心提供虛擬防火墻、虛擬負(fù)載均衡、網(wǎng)絡(luò)交換機(jī)虛擬化能力，可為每個租戶提供一個防火墻、負(fù)載均衡、交換機(jī)功能。所有服務(wù)器共享存儲資源，形成統(tǒng)一服務(wù)器、存儲資源池。資源相互隔離，租戶可以按照自己的規(guī)則配置策略。

（1）虛擬防火墻為每個租戶用戶提供相互隔離的安全服務(wù)，每個租戶擁有一個虛擬防火墻。每個虛擬防火墻具備私有的接口、安全區(qū)域、安全域間、ACL和NAT地址池，并能為虛擬防火墻用戶提供地址綁定、黑名單、NAT、包過濾、統(tǒng)計(jì)、攻擊防范、ASPF等私有的安全服務(wù)。

（2）負(fù)載均衡虛擬化可支持多租戶、虛擬出多個負(fù)載功能器。每租戶可以自定義負(fù)載均衡策略、算法、權(quán)重、關(guān)聯(lián)服務(wù)器等功能，獨(dú)自管理和維護(hù)，查看負(fù)載均衡運(yùn)行狀態(tài)和資源使用情況。

圖1 分布式云數(shù)據(jù)中心目標(biāo)邏輯架構(gòu)

表1 分布式云數(shù)據(jù)中心各層介紹

（3）網(wǎng)絡(luò)交換機(jī)虛擬化主要可通過集群交換機(jī)等方式實(shí)現(xiàn)，使多臺交換機(jī)組成一臺更大的交換機(jī)，以簡化運(yùn)維、提高可靠性、規(guī)避單點(diǎn)故障、提高鏈路利用率。

各云數(shù)據(jù)中心網(wǎng)絡(luò)核心層主要采用VRF（Virtual Routing and Forwarding，虛擬路由和轉(zhuǎn)發(fā)）等技術(shù)實(shí)現(xiàn)3層網(wǎng)絡(luò)隔離，接入層采用VLAN或者VxLAN技術(shù)實(shí)現(xiàn)二層網(wǎng)絡(luò)隔離，可采用TRILL（Transparent Interconnection of Lots of Links，多鏈接透明互聯(lián)）等協(xié)議構(gòu)建大二層網(wǎng)絡(luò)。呈分布式的各數(shù)據(jù)中心之間可通過Internet、MAN（Metropolitan Area Network，城域網(wǎng)）或MPLS（Multi-Protocol Label Switching，多協(xié)議標(biāo)簽交換）等網(wǎng)絡(luò)進(jìn)行互聯(lián)。

5 分布式云數(shù)據(jù)中心運(yùn)營管理方案

5.1 統(tǒng)一管理

傳統(tǒng)數(shù)據(jù)中心的管理主要面向IT基礎(chǔ)架構(gòu)的管理，分布式云數(shù)據(jù)中心管理向自服務(wù)管理、IT服務(wù)自動化、橫向擴(kuò)展的服務(wù)器和存儲及網(wǎng)絡(luò)架構(gòu)管理，以及對不同技術(shù)領(lǐng)域的統(tǒng)一管理方向轉(zhuǎn)變。分布式云數(shù)據(jù)中心統(tǒng)一管理可分為全局管理層、本地管理層。分布式云數(shù)據(jù)中心統(tǒng)一管理架構(gòu)參見圖3。

圖2 分布式云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)圖

全局管理層主要分為云服務(wù)運(yùn)營、服務(wù)運(yùn)維、維護(hù)中心管理3部分。

●云服務(wù)運(yùn)營管理模塊，主要實(shí)現(xiàn)用戶自助化服務(wù)、業(yè)務(wù)對接管理等功能。

●服務(wù)運(yùn)維管理模塊，為云技術(shù)平臺提供服務(wù)保障和管理功能，保障資源的可用性和云服務(wù)交付的質(zhì)量。

●維護(hù)中心模塊，定位于面向數(shù)據(jù)中心運(yùn)維場景的管理，南向接不同的管理系統(tǒng)，并且可以支持跨地域，支持多數(shù)據(jù)中心場景。

本地管理層主要實(shí)現(xiàn)ITOM（IT Operations Management，IT運(yùn)維管理）和資源管理，其中模塊資源池管理模塊面向本地?cái)?shù)據(jù)中心的資源管理，實(shí)現(xiàn)硬件設(shè)備和虛擬化平臺的接入，提供計(jì)算、存儲、網(wǎng)絡(luò)自動化能力，對來自全局資源管理子系統(tǒng)的資源請求基于服務(wù)等級、資源負(fù)載進(jìn)行資源池調(diào)度，還提供本地模板/鏡像管理、資源監(jiān)控、計(jì)量管理等。

5.2 安全保障

分布式云數(shù)據(jù)中心安全可通過物理設(shè)施安全、網(wǎng)絡(luò)安全、主機(jī)安全、應(yīng)用安全、虛擬化安全、數(shù)據(jù)保護(hù)、用戶管理、安全管理等8個層面進(jìn)行對應(yīng)保障，主要實(shí)現(xiàn)方式及功能參見表2。

5.3 容災(zāi)實(shí)現(xiàn)

分布式云數(shù)據(jù)中心，可根據(jù)不同應(yīng)用場景和業(yè)務(wù)需求，支持?jǐn)?shù)據(jù)中心級的IaaS的容災(zāi)。結(jié)合當(dāng)前技術(shù)進(jìn)展和成熟程度，主要可通過部署云平臺VIS雙活容災(zāi)、云平臺存儲陣列復(fù)制容災(zāi)等方案實(shí)現(xiàn)（主機(jī)級容災(zāi)、應(yīng)用級容災(zāi)、分布式多活數(shù)據(jù)中心方案標(biāo)準(zhǔn)、復(fù)雜程度較高）。

VIS雙活容災(zāi)是指通過在云平臺與存儲陣列之間，將同一個VIS集群內(nèi)的多個VIS節(jié)點(diǎn)按照Active-Active模式分布在本地和遠(yuǎn)端，再結(jié)合VIS系統(tǒng)本身的鏡像技術(shù)實(shí)現(xiàn)本地和遠(yuǎn)端VIS節(jié)點(diǎn)同時提供存儲訪問業(yè)務(wù)，實(shí)現(xiàn)容災(zāi)倒換后存儲業(yè)務(wù)的無縫切換；同時，云平臺同一個集群內(nèi)的主機(jī)按照Active-Active模式分布在本地和遠(yuǎn)端，利用虛擬機(jī)的HA功能實(shí)現(xiàn)容災(zāi)自動倒換功能。

圖3 分布式云數(shù)據(jù)中心統(tǒng)一架構(gòu)圖

表2 各層次安全管理主要實(shí)現(xiàn)方式及功能

陣列復(fù)制容災(zāi)方案通過存儲系統(tǒng)本身具有的遠(yuǎn)程復(fù)制功能實(shí)現(xiàn)生產(chǎn)中心和容災(zāi)中心之間數(shù)據(jù)的遠(yuǎn)程復(fù)制；同時，配合UltraVR容災(zāi)管理軟件實(shí)現(xiàn)云平臺管理數(shù)據(jù)在站點(diǎn)間的同步，并提供容災(zāi)管理功能。當(dāng)生產(chǎn)中心發(fā)生災(zāi)難時，通過UltraVR可在容災(zāi)中心實(shí)現(xiàn)華為云平臺的快速恢復(fù)，滿足客戶對生產(chǎn)中心云平臺業(yè)務(wù)連續(xù)性的需求。

云平臺VIS雙活容災(zāi)、云平臺存儲陣列復(fù)制容災(zāi)方案實(shí)現(xiàn)功能類型不同，具體功能特點(diǎn)和適應(yīng)場景及建設(shè)成本對比參見表3，可根據(jù)業(yè)務(wù)需求進(jìn)行部署。

表3 云數(shù)據(jù)中心容災(zāi)方案對比

6 結(jié)束語

根據(jù)傳統(tǒng)的數(shù)據(jù)中心的發(fā)展現(xiàn)狀、面臨的挑戰(zhàn)，結(jié)合數(shù)據(jù)中心發(fā)展趨勢，本文提出分布式云數(shù)據(jù)中心建設(shè)與運(yùn)營方案以虛擬化為基礎(chǔ)，能有效解決傳統(tǒng)數(shù)據(jù)中心遇到的困境，實(shí)現(xiàn)管理及業(yè)務(wù)的集中，對數(shù)據(jù)中心資源可進(jìn)行動態(tài)調(diào)整和分配，重點(diǎn)滿足企業(yè)關(guān)鍵應(yīng)用向云遷移對于資源高性能、高可靠、安全性和高可適應(yīng)性、及時性等方面的要求，提高基礎(chǔ)架構(gòu)的自動化管理水平。

當(dāng)然，分布式云數(shù)據(jù)中心的建設(shè)，還需具體數(shù)據(jù)中心建設(shè)單位業(yè)務(wù)規(guī)模與需求等進(jìn)行統(tǒng)籌分析與考慮。本文對網(wǎng)絡(luò)規(guī)劃設(shè)計(jì)人員及運(yùn)營商網(wǎng)絡(luò)建設(shè)人員具有一定的幫助，對數(shù)據(jù)中心規(guī)劃建設(shè)具有一定的參考意義。

［1］鄭葉來，陳世峻.分布式云數(shù)據(jù)中心的建設(shè)與管理［J］.中國科技信息，2013，21∶58.

［2］陸平.云計(jì)算基礎(chǔ)架構(gòu)及關(guān)鍵應(yīng)用［M］.機(jī)械工業(yè)出版社，2016.

［3］陳國良，明仲.云計(jì)算工程［M］.北京∶人民郵電出版社，2016∶160-189.

［4］陳馳，于晶等.云計(jì)算安全體系［M］.北京∶科學(xué)出版社，2014∶51-55.

Distributed cloud data center construction

XU Huadong

According to the traditional data center development present situation and challenges， Combined with data center development trend，this paper mainly discusses the data center construction based on cloud computing， distributed cloud data center construction and operation schemes are given.

data center；distributed；cloud computing；construction scheme；operations management

2016-07-20）