郭嘉寧李長德石云吳斌

(1天津大學軟件學院,天津300072) (2航天恒星科技有限公司,北京100086) (3天津大學計算機學院,天津300072)

基于地面分布式數(shù)據(jù)中心的天地一體化網(wǎng)絡

郭嘉寧1李長德2石云2吳斌3

(1天津大學軟件學院,天津300072) (2航天恒星科技有限公司,北京100086) (3天津大學計算機學院,天津300072)

天地一體化網(wǎng)絡通常具有覆蓋范圍廣、數(shù)據(jù)傳輸量大等特點?，F(xiàn)有的一體化網(wǎng)絡研究側(cè)重于網(wǎng)絡間傳輸協(xié)議,以及如何有效管理網(wǎng)絡資源等。但考慮到當前衛(wèi)星網(wǎng)絡數(shù)據(jù)處理能力相對較差,而地面網(wǎng)絡發(fā)展已非常成熟,因此將一體化網(wǎng)絡與數(shù)據(jù)中心網(wǎng)絡融合,把數(shù)據(jù)中心網(wǎng)分布式地接入骨干光網(wǎng)絡中,衛(wèi)星作為網(wǎng)絡的傳輸節(jié)點與地面分布式數(shù)據(jù)中心網(wǎng)絡構(gòu)成統(tǒng)一整體;以中國電信骨干網(wǎng)為基礎,針對一體化網(wǎng)絡的內(nèi)部傳輸代價和外部請求代價等多種因素,進行折中,使用整數(shù)線性規(guī)劃得到網(wǎng)絡的最優(yōu)化部署。所提出的網(wǎng)絡架構(gòu)能很好地滿足一體化網(wǎng)絡的要求,提供了一種具有競爭力的信息平臺設計架構(gòu)。

天地一體化網(wǎng)絡;網(wǎng)絡優(yōu)化;光交換;數(shù)據(jù)中心;分布式;組件部署;航天工程

1 引言

自20世紀80年代互聯(lián)網(wǎng)興起以來,信息技術(shù)的應用正逐步深入地對人類社會發(fā)展的方向產(chǎn)生影響,傳統(tǒng)的計算機網(wǎng)絡正在從固定走向移動,從地面和空間的相互分割走向天地一體化。天地一體化網(wǎng)絡是一個大容量、多層次的異構(gòu)網(wǎng)絡[1],可以承載多元信息;空基中航天器的覆蓋范圍極其廣泛,網(wǎng)絡規(guī)模也非常龐大;各種資源形成統(tǒng)一整體,信息共享率高。一系列特點使得天地一體化網(wǎng)絡無論在經(jīng)濟、安全方面還是科學研究領(lǐng)域,都有極其重要的應用價值。

現(xiàn)階段天基與空基系統(tǒng)尚處于探索時期[2],天基與空基網(wǎng)絡受到生存環(huán)境、建設成本等因素制約,網(wǎng)絡處理能力有限,且信道狀態(tài)復雜、可擴展性較差,但網(wǎng)絡中待處理的數(shù)據(jù)量卻急劇增長;地基系統(tǒng)發(fā)展十分迅速,大規(guī)模數(shù)據(jù)中心的應用使得數(shù)據(jù)規(guī)模與處理速度都達到了較高水準,尤其將數(shù)據(jù)中心融入主干光網(wǎng)絡后,利用光纖具有高帶寬、高傳輸速率的特點,作為數(shù)據(jù)中心網(wǎng)絡的底層支撐,大大提高了網(wǎng)絡的運算處理能力[3]。結(jié)合這些特點,將天基網(wǎng)絡與地面數(shù)據(jù)中心網(wǎng)絡融合,進行聯(lián)合優(yōu)化設計,實現(xiàn)優(yōu)勢互補。既天基系統(tǒng)利用地面數(shù)據(jù)中心的超強處理能力,將空中數(shù)據(jù)傳輸至地面數(shù)據(jù)中心處理,地面網(wǎng)絡利用天基系統(tǒng)具有廣闊覆蓋范圍的特點,為特殊環(huán)境,如沙漠、深海、叢林等普通網(wǎng)絡無法覆蓋的區(qū)域,提供服務。

本文在天地一體化網(wǎng)絡的背景下,構(gòu)建出一體化網(wǎng)絡模型:地基系統(tǒng)運用基于光傳輸和光交換的數(shù)據(jù)中心網(wǎng)絡,處理整個網(wǎng)絡中的海量數(shù)據(jù),天基與空基系統(tǒng)作為轉(zhuǎn)發(fā)節(jié)點,以網(wǎng)絡開銷為主要衡量指標?？紤]整個網(wǎng)絡的傳輸時延、鏈路損耗等多重影響因素,進行網(wǎng)絡開銷的最優(yōu)化設計,最終通過整數(shù)線性規(guī)劃(ILP)求解出網(wǎng)絡的最優(yōu)化模型。

2 一體化網(wǎng)絡模型

天地一體化網(wǎng)絡分為空基、天基和地基三個子系統(tǒng),地基子系統(tǒng)主要包括各種用途的虛擬專用網(wǎng)絡(Virtual Private Network,VPN)、覆蓋全球的Internet網(wǎng)絡、大型存儲設備、各式收發(fā)雷達天線以及眾多用戶等;天基與空基系統(tǒng)主要由空間站、衛(wèi)星(包括氣象衛(wèi)星、中繼衛(wèi)星和探測衛(wèi)星)等各種移動通信設備構(gòu)成[4-5]。

圖1 光交換數(shù)據(jù)中心內(nèi)部結(jié)構(gòu)Fig.1 Internal structure in optical switching data center

2.1 地基子系統(tǒng)

由于衛(wèi)星的處理能力受限,故一體化網(wǎng)絡的數(shù)據(jù)處理主要是由地網(wǎng)完成?；诠饨粨Q的分布式數(shù)據(jù)中心網(wǎng)絡的應用[6],進一步加強了地面網(wǎng)絡的數(shù)據(jù)處理能力,圖1為光交換分布式數(shù)據(jù)中心的網(wǎng)絡架構(gòu)。橢圓虛線內(nèi)的組件均可被放置在單獨的節(jié)點上,通過合理的拆分交換器與機架,數(shù)據(jù)中心可滿足不同種類的需求。矩形虛線框內(nèi)表示數(shù)據(jù)中心網(wǎng)絡的邏輯功能,內(nèi)容交換器主要用于向外部請求提供服務接口,核心交換器用于數(shù)據(jù)中心內(nèi)部節(jié)點的數(shù)據(jù)交換。網(wǎng)絡中的每個節(jié)點都有一定量的服務需求,內(nèi)容交換器按照就近原則,向距其最近的節(jié)點提供服務。

分布式數(shù)據(jù)中心通過內(nèi)容交換器的分散放置向地面用戶提供了廣泛的接入端口,減小了外部業(yè)務的傳輸代價,很好地提升了數(shù)據(jù)中心的可擴展性,同時適應航天器星覆蓋范圍的區(qū)域性特性,為地面數(shù)據(jù)中心提供了數(shù)據(jù)傳輸?shù)慕涌?減少了天基、空基系統(tǒng)的數(shù)據(jù)處理量,但是隨之帶來的傳輸開銷的增長是不可避免的。要使兩者達到平衡,需要找到適當?shù)木W(wǎng)絡節(jié)點,將數(shù)據(jù)中心網(wǎng)絡的傳輸開銷與時延降至最低。另外,由于網(wǎng)絡拓撲結(jié)構(gòu)的約束,找到合適的節(jié)點部署機群與其他網(wǎng)絡組件也十分重要。結(jié)合已知的限定條件,數(shù)據(jù)中心的部署約束以及系統(tǒng)開銷最小化問題可以歸結(jié)為:①確定內(nèi)容交換器和光核心交換器的數(shù)量;②交換器與機架應該怎樣組合;③網(wǎng)絡組件應當如何部署才可令網(wǎng)絡的開銷最低;④網(wǎng)絡節(jié)點的服務請求開銷。

地基系統(tǒng)網(wǎng)絡的開銷主要體現(xiàn)在數(shù)據(jù)交換處理、時延和服務請求上(由于硬件資源的開銷為一個固定常量,故暫時不計算在網(wǎng)絡的開銷內(nèi))。假設數(shù)據(jù)中心的擴展代價如圖2所示,該擴展代價對應數(shù)據(jù)中心機房的基礎建設費用(如電力系統(tǒng)、土地租金等)[7]。它是一個階梯函數(shù),每當組件的數(shù)目超出分界點,針對該組件的基礎建設費用就會上升。簡單起見,將頂層交換器、光匯聚交換器和光纖的代價包含在基礎建設費用中,它們均隨著機架數(shù)目的擴大而上升。

將此問題轉(zhuǎn)移數(shù)學公式構(gòu)建模型,可得地面數(shù)據(jù)中心的總開銷。

圖2 擴展代價函數(shù)Fig.2 Extended cost function

式中 V為一體化網(wǎng)絡中的所有地面節(jié)點;Ps為一對核心交換器和內(nèi)容交換器的開銷;P0為當一對核心交換器和內(nèi)容交換器與服務器機架部署在同一節(jié)點時,網(wǎng)絡建設節(jié)省的開銷;Puv為數(shù)據(jù)中心網(wǎng)絡從節(jié)點u到節(jié)點v的傳輸開銷;Δk為圖2縱軸所標識的步進量;θ為數(shù)據(jù)中心網(wǎng)絡內(nèi)部傳輸時延的開銷影響因子,θ＞1,θPuv表示節(jié)點u和v之間傳輸?shù)臅r延代價與傳輸代價之和;Su為二進制變量,如果為1表示有一對核心交換器和內(nèi)容交換器位于節(jié)點u∈V,反之則為0;Yu為二進制變量,如果為1則表示節(jié)點u∈V既有一對核心交換器和內(nèi)容交換器,又包含機架,反之則為0;為二進制變量,如果為1則表示在節(jié)點m∈V的機架數(shù)量超過了Nk(k≤K),反之則為0;為非整數(shù)變量,表示節(jié)點v請求的從節(jié)點u的核心交換器和內(nèi)容交換獲取的服務量;為非負整數(shù)變量,表示節(jié)點m和節(jié)點n通過節(jié)點u的核心交換器交換的總信息量。

式(1)等號右邊第一部分表示所有內(nèi)容交換器與核心交換器產(chǎn)生的開銷;第二部分表示部署在節(jié)點m的所有機架的基礎開銷總和,如果沒有機架布置在m節(jié)點,則=0;第三部分代表所有外部服務請求接入的總開銷;第四部分表示數(shù)據(jù)中心節(jié)點內(nèi)部傳輸?shù)目傞_銷;第五部分表示扣除核心交換器與機架部署在同一節(jié)點時所節(jié)省的建設費用。

地基子系統(tǒng)的時延主要包含數(shù)據(jù)傳輸時延和處理時延[8]。處理時延主要是在數(shù)據(jù)中心節(jié)點處理數(shù)據(jù)的時間,數(shù)據(jù)中心強大的計算能力使得處理時延相對較小;基于光傳輸?shù)臄?shù)據(jù)網(wǎng)絡,數(shù)據(jù)傳遞速率可達上百千米每毫秒,故節(jié)點間的距離對傳輸時延影響權(quán)重不大。因此,地面數(shù)據(jù)中心的網(wǎng)絡時延與天基、空基子系統(tǒng)相比不是主要影響因素,時延因子θ取值較小。

2.2 空基與天基子系統(tǒng)

對于由衛(wèi)星等移動設備構(gòu)成的天基與空基網(wǎng)絡,節(jié)點移動造成網(wǎng)絡拓撲結(jié)構(gòu)頻繁變化及衛(wèi)星節(jié)點能量資源受限等特點決定了在天基網(wǎng)絡中資源十分緊張,若將數(shù)據(jù)中心部署在衛(wèi)星上,代價十分高昂[9]。因此在一體化網(wǎng)絡中,天基與空基網(wǎng)絡主要進行數(shù)據(jù)傳輸,其建設開銷體現(xiàn)在帶寬開銷、時延開銷和傳輸開銷上。

天基和空基網(wǎng)絡結(jié)構(gòu)的動態(tài)變化,使得在不同時間可用的網(wǎng)絡帶寬與服務質(zhì)量也在不斷變化,不同節(jié)點對帶寬的需求也不盡相同。隨著網(wǎng)絡接入用戶數(shù)量的不斷增多以及用戶種類的不斷豐富,帶寬的開銷在網(wǎng)絡建設過程中所占的比重越來越大。又因為衛(wèi)星節(jié)點之間進行無線通信,空間中無線環(huán)境復雜,存在眾多干擾信號,衛(wèi)星之間傳輸距離遠,這些不利因素導致衛(wèi)星網(wǎng)絡對時延開銷十分敏感。但帶寬與時延的開銷均可以疊加在數(shù)據(jù)傳輸?shù)拈_銷上,故設定傳輸因子μ(μ＞θ),統(tǒng)一表示帶寬、時延與傳輸?shù)挠绊憽?/p>

數(shù)據(jù)傳輸是天基與空基網(wǎng)絡的主要工作,衛(wèi)星間的數(shù)據(jù)傳輸開銷與服務請求開銷可近似認為與地面開銷構(gòu)成相同,可簡化為

式中 S為所有衛(wèi)星節(jié)點集合;Zef為衛(wèi)星e向衛(wèi)星f的傳輸開銷;μ為衛(wèi)星網(wǎng)絡的傳輸影響因子, μ＞1;Nef為非負整型變量,表示衛(wèi)星e向衛(wèi)星f的傳輸信息量,e,f∈S。

至此,一體化網(wǎng)絡的數(shù)學模型構(gòu)建完畢。可以看到,兩個公式將地基、天基和空基系統(tǒng)的網(wǎng)絡建設代價數(shù)值化,式(1)與式(2)的總和就是一體化網(wǎng)絡的建設開銷。

3 一體化網(wǎng)絡優(yōu)化與ILP設計

建設實際可用的一體化網(wǎng)絡,需要將網(wǎng)絡建設開銷最小化,即求解目標函數(shù)的最小值:

為到得式(3)的最小值,可以通過構(gòu)建ILP方程對各個變量加以約束條件,利用數(shù)學工具進行求解。本文構(gòu)建的ILP約束條件有:

每個機架都可以放置在單獨的節(jié)點上,如果機架i部署在節(jié)點m,同時機架j部署在節(jié)點n,根據(jù)約束(5)應取值為1;約束(6)、約束(7)和約束(8)定義節(jié)點u是否部署了一對內(nèi)容交換器和核心交換器,如果在節(jié)點u上有任意內(nèi)部數(shù)據(jù)交換或者有外部的需求響應,則內(nèi)容交換器與核心交換器應該部署在這一節(jié)點上;約束(9)表示衛(wèi)星s無法從覆蓋范圍外的節(jié)點獲取服務;約束(10)可以識別在節(jié)點m上的機架數(shù)量;約束(11)說明所有內(nèi)部節(jié)點的通信總量等于所有核心交換器交換的信息量;約束(12)限制核心交換器內(nèi)部和外部的負載總量;約束(13)計算外部需求總和;約束(14)與約束(15)進行聯(lián)合判斷,以檢測是否在節(jié)點u上同時部署了核心交換器、內(nèi)容交換器與機架,同時用于計算公式(1);約束(16)表示衛(wèi)星s獲取的服務量應該與其提供的服務量相等。

4 網(wǎng)絡仿真

本文的地面數(shù)據(jù)傳輸網(wǎng)絡以中國電信骨干網(wǎng)為基礎[10],進行了適當擴展。在原有的8個節(jié)點上再增加兩個節(jié)點用以向中國西部地區(qū)提供服務,包含12條傳輸鏈路、9個機架;空基采用3顆同步衛(wèi)星覆蓋中國地區(qū)所有10個節(jié)點,每顆衛(wèi)星的覆蓋區(qū)域在圖中用虛線圓圈表示,相互之間有重疊區(qū)域。仿真中的一些參數(shù)(定義見前文,均無量綱),如擴展代價函數(shù)、核心交換器容量和交換器交換單價等,通過表1給出。一體化網(wǎng)絡中各個節(jié)點的業(yè)務請求量在表2中給出,這些請求量都是以波長為基本單位。

表1 仿真參數(shù)配置Tab.1 Configuration of simulation parameters

表2 網(wǎng)絡各節(jié)點請求量Tab.2 Requesting quantity of each network node

數(shù)據(jù)中心任意兩個機架之間的交換量通過表3反映。根據(jù)對數(shù)據(jù)中心網(wǎng)絡流量的監(jiān)測分析[11],發(fā)現(xiàn)流量的典型特征是內(nèi)部流量的高度發(fā)散和迅速變化,并且這些變化是不可預測的,但是有一個特征——數(shù)據(jù)中心內(nèi)部服務器之間的數(shù)據(jù)交換量與出入數(shù)據(jù)中心的總流量的比值約4∶1。為滿足這種流量特性,這里使機架之間的交換量總和(196)約等于外部業(yè)務請求總量(48)的4倍。表4給出了節(jié)點間傳輸代價,該代價與兩個節(jié)點之間的距離成正比例關(guān)系。

表3 機架間傳輸量Tab.3 Transmission quantity between frames

表4 各鏈路傳輸代價Tab.4 Transmission cost of each link

使用Cplex數(shù)學工具進行仿真試驗,最終設計出基于地面分布式數(shù)據(jù)中心的天地一體化網(wǎng)絡結(jié)構(gòu),如圖3所示,其中箭頭指向表示衛(wèi)星節(jié)點接入位置?？梢钥闯?網(wǎng)絡中的9個機架最終被劃分成了3組,分別放置在地基系統(tǒng)的3、5、6等3個節(jié)點上;網(wǎng)絡核心交換器被分配在節(jié)點1、3、5、6處;最終計算得到的網(wǎng)絡最小開銷為498 169。衛(wèi)星0通過節(jié)點5接入地面數(shù)據(jù)中心網(wǎng)絡,衛(wèi)星1和衛(wèi)星2均通過節(jié)點1接入。

圖3 ILP求出的天地一體化網(wǎng)絡架構(gòu)Fig.3 Network architecture in ILP solution

表5給出了網(wǎng)絡中各個節(jié)點業(yè)務請求的接入路由,箭頭左端的數(shù)字表示服務請求發(fā)出的節(jié)點,箭頭右端的數(shù)字表示為其提供服務的節(jié)點,箭頭上方的數(shù)字表示業(yè)務的接入量?？梢钥闯?大多數(shù)節(jié)點都是向其距離最近的核心交換器發(fā)出服務請求,但是也有例外發(fā)生。例如節(jié)點4(表5中橢圓虛線框部分),該請求被分為了5+1,這是因為節(jié)點1的交換容量已經(jīng)飽和,因此節(jié)點4只能從較遠處的交換器請求服務。這也體現(xiàn)出通過ILP求解出的網(wǎng)絡架構(gòu)可以實現(xiàn)一定程度的負載均衡。表6表示放置在不同節(jié)點的組件之間的交換路由方案?？梢钥闯鼋M件之間的交換,一般都是由雙方的核心交換器共同承擔。

表5 ILP求出的外部請求接入路由表Tab.5 Service route of external demand in ILP solution

表6 路由交換策略Tab.6 Strategy of routing switch

5 結(jié)束語

天地一體化網(wǎng)絡是人類空間活動的信息基礎設施,然而隨著航空航天事業(yè)的不斷發(fā)展,天地一體化網(wǎng)絡的數(shù)據(jù)傳輸和處理的能力將日益不足。為了提高網(wǎng)絡的系統(tǒng)容量,改善其可擴展性能,本文提出在天地一體化網(wǎng)絡中引入分布式數(shù)據(jù)中心,并借助地面光纖骨干網(wǎng)絡實現(xiàn)大量數(shù)據(jù)傳輸。為了實現(xiàn)全網(wǎng)的優(yōu)化設計,本文構(gòu)建了相應的ILP模型,在實現(xiàn)網(wǎng)絡總建造代價最小的同時,保證全網(wǎng)的服務需求。最后,通過數(shù)值仿真對所提出網(wǎng)絡架構(gòu)和ILP模型進行了試驗驗證。構(gòu)建的一體化網(wǎng)絡模型可以利用地面數(shù)據(jù)中心的超大處理能力,有效地處理一體化網(wǎng)絡中的海量信息,通過收發(fā)雷達與衛(wèi)星等其他無線網(wǎng)絡形成統(tǒng)一的整體,具備高擴展性。

[1] 沈榮駿.我國天地一體化航天互聯(lián)網(wǎng)構(gòu)想[J].中國工程科學,2006,8(10):19-30.

SHEN RONGJUN.Some thoughts of Chinese integrated space-ground network system[J].Engineering Science,2006,8(10):19-30.

[2] 徐正全,毛騰躍,朱容波,等.下一代衛(wèi)星網(wǎng)絡關(guān)鍵技術(shù)研究進展[J].武漢大學學報,2012,37(9): 1009-1013.

XU ZHENGQUAN,MAO TENGYUE,ZHU RONGBO,et al.Researching review on key technology of next generation satellite networks[J].Geomatics and Information Science of Wuhan University,2012,37(9): 1009-1013.

[3] KACHRIS C,TOMKOS I.A survey on optical interconnects for data centers[J].IEEE Commun. Surv.Tutorials,2012,14(4):1021-1036.

[4] 楊春秀.多層衛(wèi)星網(wǎng)絡路由協(xié)議研究與仿真[D].哈爾濱:哈爾濱工程大學,2012.

YANG CHUNXIU.The rearch and simulation of multilayered satellite routing algorithms[D].Harbin: Harbin Engineering University,2012.

[5] 黃飛江,楊俊,盧曉春,等.基于三層衛(wèi)星網(wǎng)絡的星間鏈路性能分析[J].計算機工程與科學,2012,34(4): 1-6.

HUANG FEIJIANG,YANG JUN,LU XIAOCHUN,et al.Performance analysis of the intersatellite links based on 3-layer satellite networks[J].Computer Engineering and Science,2012,34(4):1-6.

[6] PROIETTI R,YE X,YIN Y,et al.40 Gb/s 8x8 Low-latency optical switch for data centers[C]∥Proc.Optical Fiber Communication Conference,Los Angeles,CA,2011:1-3.

[7] XIAO J,WEN H,WU B,et al.Joint design on DCN placement and survivable cloud service provision over all-optical mesh networks[J].IEEE Trans.on Communications,2014,62(1):235-245.

[8] BITAR N,GRINGERI S,XIA T J.Technologies and protocols for data center and cloud networking[J]. IEEE Communication Magazine,2013,51(9):24-31.

[9] 羅陽.寬帶衛(wèi)星通信系統(tǒng)多址接入與帶寬分配策略研究[D].重慶:重慶大學,2014.

LUO YANG.Multiple access and bandwidth allocation strategy in broadband satellite communication system[D]. Chongqing:Chongqing University,2014.

[10] JANK RONG.An introduction of eight Chinese telecom backbone network nodes[EB/OL].[2014-10-18]. http:∥blog.csdn.net/jankrong/article/details/2936905.

[11] BENSON T,AKELLA A,MALTZ D A.Network traffic characteristics of data centers in the wild[C]∥Proc.of the 10th ACM SIGCOMM conference on Internet measurement,New York,2010:267-280.

作者簡介

郭嘉寧 1990年生,2013年畢業(yè)于南開大學濱海學院通信工程專業(yè),現(xiàn)為天津大學軟件工程專業(yè)碩士研究生。研究方向為寬帶無線通信系統(tǒng)、數(shù)據(jù)中心及資源虛擬化。

Satellite-ground Integrated Communication Network Based on Distributed Data Center

GUO Jianing1LI Changde2SHI Yun2WU Bin3
(1 School of Computer Software,Tianjin University,Tianjin 300072)
(2 Space Star Technology Co.,Ltd.,Beijing 100086)
(3 School of Computer Science and Technology,Tianjin University,Tianjin 300072)

The satellite-ground integrated communication network usually has the characteristics of wide coverage and large amount of data transmission.Current studies concentrate on transmission protocols and resource management.Due to the weak computing power of the satellite network,an integrated satellite-ground communication network with a distributed data center merged with the backbone optical network was proposed which can realize logic link and optical transmission for different component sets in the data center.The satellites were taken as special nodes in the integrated network.And multiple factors were taken into account,such as the cost of internal transfer and external request,to optimize the network architecture by using the integer linear programming(ILP)based on Chinese telecom network.Simulation results show that the proposed network architecture and the optimization technique can solve network design and resource optimization problems well in the integrated network.It also provides a competitive platform for large-scale data transmission and processing.

Satellite-ground network;Network optimization;Optical switching;Data center; Distributed;Component placement;Space engineering

10.3780/j.issn.1000-758X.2015.05.011

(編輯:高珍)

2015-02-25。收修改稿日期:2015-03-27