李 丹 ,劉方明 ,郭得科 ,何 源 ,黃小猛
(1.清華大學(xué) 北京 100084;2.華中科技大學(xué) 武漢 430074)
現(xiàn)代社會(huì)信息量的爆炸式增長(zhǎng)、資源復(fù)用技術(shù)的成熟和寬帶網(wǎng)絡(luò)的普及,共同促進(jìn)了云計(jì)算的誕生和發(fā)展。以亞馬遜公司的EC2、谷歌公司的AppEngine和微軟公司的Windows Azure等為代表的云計(jì)算服務(wù)已經(jīng)得到初步商用,使得云計(jì)算逐漸成為人們按需使用軟硬件資源和進(jìn)行大數(shù)據(jù)深度挖掘處理的新型計(jì)算模式。據(jù)統(tǒng)計(jì),2011年全球云計(jì)算服務(wù)規(guī)模約為900億美元。我國(guó)當(dāng)前還處于云計(jì)算發(fā)展初期,但發(fā)展速度迅猛。工業(yè)和信息化部電信研究院2011年4月發(fā)布的《云計(jì)算白皮書(shū)》顯示,雖然我國(guó)云計(jì)算服務(wù)的總體規(guī)模目前僅占全球市場(chǎng)的4%左右,但年增幅達(dá)到40%,未來(lái)潛力巨大。隨著大數(shù)據(jù)時(shí)代的來(lái)臨,作為大數(shù)據(jù)處理的重要技術(shù)手段,云計(jì)算的發(fā)展空間將更加廣闊。
數(shù)據(jù)中心是云計(jì)算的核心基礎(chǔ)設(shè)施。谷歌公司早在2006年年底就在全世界建造了能容納超過(guò)46萬(wàn)臺(tái)服務(wù)器的分布式數(shù)據(jù)中心。Facebook公司于2011年4月對(duì)外展示了其建造在俄勒岡的數(shù)據(jù)中心,其擁有數(shù)以萬(wàn)計(jì)的服務(wù)器,并在節(jié)能減排方面進(jìn)行了示范。當(dāng)前我國(guó)各地方政府積極建造數(shù)據(jù)中心以促成云計(jì)算產(chǎn)業(yè)落地,如呼和浩特云計(jì)算產(chǎn)業(yè)基地、南京軟件開(kāi)發(fā)云平臺(tái)、鎮(zhèn)江“云神”工程、無(wú)錫“云谷”等。中國(guó)電信、中國(guó)移動(dòng)、中國(guó)聯(lián)通等電信運(yùn)營(yíng)商,都在積極利用其IDC打造云計(jì)算戰(zhàn)略。以百度、阿里巴巴、騰訊等為代表的互聯(lián)網(wǎng)企業(yè),也在大力發(fā)展云數(shù)據(jù)中心,以提供更好的云計(jì)算服務(wù)。
數(shù)據(jù)中心網(wǎng)絡(luò)在云計(jì)算基礎(chǔ)設(shè)施中具有關(guān)鍵地位。云數(shù)據(jù)中心網(wǎng)絡(luò)是連接數(shù)據(jù)中心大規(guī)模服務(wù)器的橋梁,也是承載網(wǎng)絡(luò)化計(jì)算和網(wǎng)絡(luò)化存儲(chǔ)的基礎(chǔ)。云計(jì)算的核心價(jià)值在于大數(shù)據(jù)的集中處理和資源的統(tǒng)計(jì)復(fù)用。由于大規(guī)模云計(jì)算任務(wù)往往伴隨著服務(wù)器之間的海量數(shù)據(jù)交互,數(shù)據(jù)中心網(wǎng)絡(luò)性能的高低決定了云計(jì)算的服務(wù)質(zhì)量。同時(shí),由于網(wǎng)絡(luò)資源天然存在的共享特性,如何讓云計(jì)算用戶實(shí)現(xiàn)安全而公平的網(wǎng)絡(luò)訪問(wèn),也是關(guān)系到云計(jì)算用戶體驗(yàn)的重要因素。當(dāng)前的主流云計(jì)算提供商都積極探索面向云數(shù)據(jù)中心網(wǎng)絡(luò)的創(chuàng)新技術(shù)以提高云計(jì)算的服務(wù)質(zhì)量。
隨著云計(jì)算服務(wù)得到初步商用,云數(shù)據(jù)中心網(wǎng)絡(luò)研究已經(jīng)成為學(xué)術(shù)界和工業(yè)界共同關(guān)注的焦點(diǎn)領(lǐng)域,也是國(guó)家戰(zhàn)略性新興產(chǎn)業(yè)和重大基礎(chǔ)設(shè)施建設(shè)的重要發(fā)展方向。云計(jì)算的可持續(xù)發(fā)展需求使得云數(shù)據(jù)中心網(wǎng)絡(luò)面臨著一系列重要科學(xué)理論與技術(shù)挑戰(zhàn)。
(1)如何創(chuàng)建可定制的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)設(shè)施,滿足靈活多樣的云計(jì)算應(yīng)用需求?
云數(shù)據(jù)中心提供不同類型的云計(jì)算服務(wù)。公有云數(shù)據(jù)中心一般提供硬件或軟件資源的租賃服務(wù),私有云數(shù)據(jù)中心運(yùn)行公司或部門(mén)內(nèi)部所特有的網(wǎng)絡(luò)業(yè)務(wù),而混合云數(shù)據(jù)中心運(yùn)行的業(yè)務(wù)類型更加靈活多樣。比如,谷歌公司的云數(shù)據(jù)中心既提供前端面向用戶的搜索服務(wù),又運(yùn)行后端的海量網(wǎng)頁(yè)數(shù)據(jù)分析和挖掘任務(wù)。已有研究表明,由于當(dāng)前的云計(jì)算任務(wù)往往伴隨著服務(wù)器之間密集的數(shù)據(jù)交互,網(wǎng)絡(luò)資源已經(jīng)成為影響云計(jì)算服務(wù)質(zhì)量的瓶頸資源。為了提高云計(jì)算的服務(wù)質(zhì)量,非常有必要針對(duì)不同的應(yīng)用需求對(duì)網(wǎng)絡(luò)功能進(jìn)行靈活配置。而云數(shù)據(jù)中心網(wǎng)絡(luò)流量不可預(yù)測(cè)、網(wǎng)絡(luò)設(shè)備可靠性低等環(huán)境特征,也對(duì)網(wǎng)絡(luò)的可動(dòng)態(tài)配置功能提出了需求。在主要應(yīng)用于廣域網(wǎng)的傳統(tǒng)網(wǎng)絡(luò)架構(gòu)中,數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備基于專用硬件芯片,因而可編程性很差;而控制協(xié)議都與數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備綁定,難以快速配置靈活的網(wǎng)絡(luò)功能。云數(shù)據(jù)中心網(wǎng)絡(luò)的應(yīng)用需求和環(huán)境特征,都為傳統(tǒng)網(wǎng)絡(luò)架構(gòu)提出了嚴(yán)峻的挑戰(zhàn)。
(2)如何優(yōu)化云數(shù)據(jù)中心網(wǎng)絡(luò)的資源利用率,提高云計(jì)算性能和服務(wù)質(zhì)量?
云計(jì)算的核心價(jià)值之一在于資源的統(tǒng)計(jì)復(fù)用。在給定硬件設(shè)施條件下,盡可能通過(guò)軟件技術(shù)來(lái)優(yōu)化云數(shù)據(jù)中心網(wǎng)絡(luò)資源利用率,既是云計(jì)算模式的內(nèi)在技術(shù)需求,也是提高云計(jì)算性能和用戶體驗(yàn)的外在需求。與傳統(tǒng)的廣域網(wǎng)環(huán)境相比,云數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境具有流量不可預(yù)測(cè)、端到端帶寬極高、端到端時(shí)延極低等不同的特點(diǎn)。已有研究表明,傳統(tǒng)的網(wǎng)絡(luò)協(xié)議(如路由協(xié)議OSPF)在鏈路資源密集的云數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境下,不但無(wú)法充分利用鏈路資源,而且收斂速度極慢,難以滿足云計(jì)算任務(wù)的高速數(shù)據(jù)傳輸需求;而在廣域網(wǎng)上得到成功應(yīng)用的數(shù)據(jù)傳輸協(xié)議TCP在云數(shù)據(jù)中心網(wǎng)絡(luò)的高帶寬環(huán)境下的運(yùn)行效率也非常低,TCP incast問(wèn)題甚至?xí)沟镁W(wǎng)絡(luò)帶寬利用率低于10%,被稱為“吞吐率坍塌”現(xiàn)象。
首席科學(xué)家
李丹男,清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系副教授,ACM、IEEE、CCF會(huì)員。2007年從清華大學(xué)獲得博士學(xué)位,主要從事計(jì)算機(jī)網(wǎng)絡(luò)方面的研究工作。在ACM SIGCOMM、IEEE INFOCOM、IEEE ICNP、IEEE/ACM Transactions on Networking、IEEE Journal on Selected Areas in Communications、IEEE Transactions on Computers、IEEE Transactions on Paralleland Distributed Systems等網(wǎng)絡(luò)領(lǐng)域著名會(huì)議和期刊上發(fā)表論文 40余篇。擔(dān)任國(guó)際期刊IEEE Transactions on Computers編委、IEEE LANMAN 2014程序委員會(huì)主席、IEEE LANMAN 2015大會(huì)主席、IEEE ICNP 2013 Poster/Demo程序委員會(huì)主席、IEEE INFOCOM 2010-2014程序委員會(huì)委員、國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(“973”計(jì)劃)青年科學(xué)家專題 “軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)理論和關(guān)鍵技術(shù)”項(xiàng)目首席科學(xué)家。
(3)如何解決云數(shù)據(jù)中心網(wǎng)絡(luò)的多租戶資源競(jìng)爭(zhēng),提供公平而且安全的云計(jì)算服務(wù)?
云計(jì)算環(huán)境下,多租戶共同使用云數(shù)據(jù)中心的硬件資源完成計(jì)算任務(wù),因此租戶之間的資源安全隔離非常重要。虛擬化是當(dāng)前實(shí)現(xiàn)云數(shù)據(jù)中心資源隔離的重要技術(shù)手段。通過(guò)計(jì)算虛擬化(虛擬機(jī))技術(shù),云計(jì)算租戶可以實(shí)現(xiàn)計(jì)算資源的隔離和復(fù)用。通過(guò)存儲(chǔ)虛擬化技術(shù),既可以讓用戶使用海量的存儲(chǔ)空間,又能保障用戶數(shù)據(jù)的備份和安全。隨著計(jì)算虛擬化和存儲(chǔ)虛擬化技術(shù)的成熟,按需使用、按需付費(fèi)的理念正在變成現(xiàn)實(shí),并將成為未來(lái)人們使用云計(jì)算的主要方式。而當(dāng)用戶需要使用多個(gè)虛擬機(jī)時(shí),虛擬機(jī)之間需要進(jìn)行網(wǎng)絡(luò)互聯(lián)和通信,并組成了虛擬云數(shù)據(jù)中心網(wǎng)絡(luò)。網(wǎng)絡(luò)資源的天然共享特性,使得不同租戶之間還將競(jìng)爭(zhēng)網(wǎng)絡(luò)帶寬。由于網(wǎng)絡(luò)虛擬化技術(shù)發(fā)展非常緩慢,在當(dāng)前云計(jì)算服務(wù)商的云計(jì)算平臺(tái)中,租戶之間采用“盡力而為”的方式共享網(wǎng)絡(luò)資源,每個(gè)租戶得到的網(wǎng)絡(luò)帶寬不可預(yù)測(cè),并存在流量泄露問(wèn)題,嚴(yán)重影響了用戶的云計(jì)算服務(wù)體驗(yàn)。
(4)如何降低云數(shù)據(jù)中心網(wǎng)絡(luò)的巨額能耗,建設(shè)綠色數(shù)據(jù)中心?
云數(shù)據(jù)中心規(guī)模的不斷增長(zhǎng)導(dǎo)致了巨大的能耗開(kāi)銷,帶來(lái)了巨額運(yùn)維成本和環(huán)境問(wèn)題,引起了學(xué)術(shù)界和工業(yè)界的高度重視。據(jù)工業(yè)和信息化部領(lǐng)導(dǎo)下的“云計(jì)算發(fā)展與政策論壇”發(fā)布的《數(shù)據(jù)中心能效測(cè)評(píng)指南》報(bào)告,2011年我國(guó)數(shù)據(jù)中心總耗電量達(dá)到700億千瓦時(shí),數(shù)據(jù)中心能耗占全國(guó)能源耗電總量的5%。國(guó)內(nèi)數(shù)據(jù)中心目前的PUE值(數(shù)據(jù)中心消耗的所有能源與IT負(fù)載消耗的能源之比)普遍高于2.0,而歐美發(fā)達(dá)國(guó)家的PUE值大多在1.3左右甚至更低,因此我國(guó)當(dāng)前數(shù)據(jù)中心的能耗浪費(fèi)非常嚴(yán)重。未來(lái)5年我國(guó)云數(shù)據(jù)中心的流量處理需求將增長(zhǎng)7~10倍,數(shù)據(jù)中心的能耗問(wèn)題面臨更加嚴(yán)峻的挑戰(zhàn)。因此,如何對(duì)云數(shù)據(jù)中心網(wǎng)絡(luò)進(jìn)行有效的能耗管理、提高能源利用率、降低巨額能耗,具有重要的經(jīng)濟(jì)效益和社會(huì)影響,成為建設(shè)綠色數(shù)據(jù)中心迫切需要解決的問(wèn)題。
以上4點(diǎn)是當(dāng)前云數(shù)據(jù)中心網(wǎng)絡(luò)所面臨的主要問(wèn)題。針對(duì)這4點(diǎn),本項(xiàng)目提出利用近年來(lái)受到廣泛關(guān)注的軟件定義網(wǎng)絡(luò)(software defined networking,SDN)來(lái)解決這些問(wèn)題。
SDN是近年來(lái)涌現(xiàn)的新興網(wǎng)絡(luò)技術(shù)。SDN的核心思想主要有兩點(diǎn):第一,提高硬件平臺(tái)的可編程性,可以快速實(shí)現(xiàn)新型網(wǎng)絡(luò)功能的配置,滿足靈活多變的應(yīng)用需求;第二,將網(wǎng)絡(luò)控制層面與數(shù)據(jù)轉(zhuǎn)發(fā)層面分離,把軟件控制功能放到網(wǎng)絡(luò)管理器上,從而提高了網(wǎng)絡(luò)的管理控制能力。對(duì)于SDN技術(shù)是否可應(yīng)用于廣域網(wǎng)環(huán)境,目前學(xué)術(shù)界和工業(yè)界還存在不少爭(zhēng)議,但一般認(rèn)為云數(shù)據(jù)中心網(wǎng)絡(luò)是SDN技術(shù)的理想應(yīng)用環(huán)境。創(chuàng)建軟件定義的可定制云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)設(shè)施,是提高網(wǎng)絡(luò)性能、實(shí)現(xiàn)多租戶網(wǎng)絡(luò)共享以及控制網(wǎng)絡(luò)能耗的基本保障。美國(guó)斯坦福大學(xué)提出的OpenFlow協(xié)議是當(dāng)前最具代表性的SDN協(xié)議。然而由于OpenFlow協(xié)議存在數(shù)據(jù)轉(zhuǎn)發(fā)流程過(guò)于復(fù)雜、轉(zhuǎn)發(fā)設(shè)備處理功能非常有限等問(wèn)題,當(dāng)前學(xué)術(shù)界正在積極探索其他可能的SDN架構(gòu)。如何設(shè)計(jì)支持可軟件編程網(wǎng)絡(luò)節(jié)點(diǎn)和可擴(kuò)展控制器的軟件定義網(wǎng)絡(luò)框架,并基于此框架實(shí)現(xiàn)云數(shù)據(jù)中心網(wǎng)絡(luò)的大規(guī)模橫向擴(kuò)展,是本項(xiàng)目需要首先解決的重要挑戰(zhàn)。
項(xiàng)目簡(jiǎn)介
“973”計(jì)劃青年科學(xué)家專題“軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)理論與關(guān)鍵技術(shù)”項(xiàng)目主要研究云數(shù)據(jù)中心環(huán)境下網(wǎng)絡(luò)設(shè)計(jì)的科學(xué)規(guī)律與技術(shù)原理,探索軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu),圍繞“軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)”、“云數(shù)據(jù)中心網(wǎng)絡(luò)資源利用率優(yōu)化”、“云數(shù)據(jù)中心網(wǎng)絡(luò)多租戶資源管理”和“云數(shù)據(jù)中心網(wǎng)絡(luò)能耗協(xié)同控制”4個(gè)關(guān)鍵科學(xué)問(wèn)題,為新一代云計(jì)算和互聯(lián)網(wǎng)基礎(chǔ)設(shè)施建設(shè)提供基礎(chǔ)理論依據(jù)和關(guān)鍵技術(shù)支撐,推動(dòng)網(wǎng)絡(luò)技術(shù)、計(jì)算技術(shù)、數(shù)據(jù)科學(xué)等相關(guān)學(xué)科交叉融合發(fā)展,為我國(guó)戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展提供具有自主知識(shí)產(chǎn)權(quán)的核心技術(shù)。由于融合了云計(jì)算、下一代互聯(lián)網(wǎng)、大數(shù)據(jù)等領(lǐng)域的研究范疇,軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)研究將促進(jìn)我國(guó)新一代云計(jì)算及互聯(lián)網(wǎng)基礎(chǔ)設(shè)施建設(shè)和關(guān)鍵技術(shù)研發(fā),對(duì)我國(guó)在國(guó)際新一輪信息技術(shù)革命浪潮中占據(jù)領(lǐng)先地位有非常重要的影響。
在軟件定義的可定制網(wǎng)絡(luò)框架下,如何設(shè)計(jì)新型路由和傳輸協(xié)議,以提高云數(shù)據(jù)中心網(wǎng)絡(luò)的資源利用率并進(jìn)而提升云計(jì)算的性能,是本項(xiàng)目需要解決的重要問(wèn)題。軟件定義的可定制網(wǎng)絡(luò)架構(gòu),為網(wǎng)絡(luò)資源、計(jì)算資源和存儲(chǔ)資源的聯(lián)合優(yōu)化提供了新的發(fā)展機(jī)會(huì)。分布式網(wǎng)絡(luò)系統(tǒng)的整體性能往往取決于不同子系統(tǒng)的資源耦合程度。由于軟件定義的可定制網(wǎng)絡(luò)架構(gòu)將網(wǎng)絡(luò)控制功能從網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備中分離出來(lái),可以通過(guò)網(wǎng)絡(luò)控制器與計(jì)算系統(tǒng)控制器、存儲(chǔ)系統(tǒng)控制器之間的信息交互,更好地感知應(yīng)用需求和數(shù)據(jù)存儲(chǔ)狀況,并且對(duì)不同類型的資源進(jìn)行協(xié)同控制,進(jìn)一步提升資源利用率和云服務(wù)質(zhì)量。因此,如何通過(guò)軟件定義網(wǎng)絡(luò)技術(shù)對(duì)網(wǎng)絡(luò)、計(jì)算和存儲(chǔ)資源進(jìn)行聯(lián)合優(yōu)化,也是本項(xiàng)目面臨的關(guān)鍵挑戰(zhàn)。
在軟件定義的可定制網(wǎng)絡(luò)中,可以通過(guò)網(wǎng)絡(luò)控制器維護(hù)全局網(wǎng)絡(luò)拓?fù)湫畔?、云租戶的身份和位置信息、租戶的資源占用信息等,為實(shí)現(xiàn)云數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬化管理提供靈活的控制平臺(tái)。但多租戶參與資源競(jìng)爭(zhēng)的網(wǎng)絡(luò)環(huán)境下,如何處理不同租戶可能配置相同的IP地址或MAC地址的問(wèn)題、如何保證每個(gè)租戶的流量不泄露到其他網(wǎng)絡(luò)、如何實(shí)現(xiàn)虛擬數(shù)據(jù)中心網(wǎng)絡(luò)中高效率的虛擬機(jī)遷移、如何保障每個(gè)租戶在共享網(wǎng)絡(luò)中得到公平的帶寬分配,這些都是本項(xiàng)目需要重點(diǎn)解決的問(wèn)題。
由于硬件節(jié)能技術(shù)發(fā)展緩慢且受物理工藝極限的限制,而云數(shù)據(jù)中心網(wǎng)絡(luò)流量呈現(xiàn)較大的隨時(shí)間波動(dòng)的特點(diǎn),因此可以通過(guò)軟件方式對(duì)云數(shù)據(jù)中心網(wǎng)絡(luò)進(jìn)行能耗感知的流量聚合,從而使更多的節(jié)點(diǎn)處于空閑狀態(tài)并休眠,以達(dá)到降低能耗的目的。在軟件定義的可定制網(wǎng)絡(luò)框架下,網(wǎng)絡(luò)控制器可以通過(guò)帶外(out-of-band)方式獲取云數(shù)據(jù)中心網(wǎng)絡(luò)的溫度和能耗信息、網(wǎng)絡(luò)流量信息等,并以軟件控制的方式進(jìn)行流量整形 (traffic shaping)和聚合、網(wǎng)絡(luò)的節(jié)能流量工程、節(jié)點(diǎn)休眠和喚醒狀態(tài)轉(zhuǎn)換等自動(dòng)能耗控制。本項(xiàng)目將重點(diǎn)研究在軟件定義的可定制網(wǎng)絡(luò)中,如何實(shí)時(shí)高效地感知網(wǎng)絡(luò)能耗信息、如何在不影響網(wǎng)絡(luò)性能和可靠性的前提下實(shí)現(xiàn)節(jié)能流量工程以及如何優(yōu)化使用清潔新能源進(jìn)一步降低云數(shù)據(jù)中心的碳排量等重要問(wèn)題。
針對(duì)云數(shù)據(jù)中心網(wǎng)絡(luò)所面臨的重大挑戰(zhàn),本項(xiàng)目確立了4個(gè)研究課題,分別是軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)、云數(shù)據(jù)中心網(wǎng)絡(luò)資源利用率優(yōu)化、云數(shù)據(jù)中心網(wǎng)絡(luò)多租戶資源管理和云數(shù)據(jù)中心網(wǎng)絡(luò)能耗協(xié)同控制。這4個(gè)課題的邏輯關(guān)系如圖1所示。
圖1 邏輯關(guān)系
學(xué)術(shù)團(tuán)隊(duì)
“973”計(jì)劃青年科學(xué)家專題“軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)理論與關(guān)鍵技術(shù)”項(xiàng)目由清華大學(xué)和華中科技大學(xué)共同承擔(dān)。主要參與項(xiàng)目人員有:李丹(清華大學(xué)副教授、項(xiàng)目首席科學(xué)家)、劉方明(華中科技大學(xué)副教授)、郭得科(華中科技大學(xué)副教授)、何源(清華大學(xué)副研究員)和黃小猛(清華大學(xué)副教授)。
下面分別對(duì)這4個(gè)研究課題進(jìn)行介紹。
復(fù)雜多樣的云計(jì)算應(yīng)用,要求云數(shù)據(jù)中心網(wǎng)絡(luò)提供靈活可配置的網(wǎng)絡(luò)功能?,F(xiàn)有的數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備采用專用硬件芯片,可編程性很差;而且控制協(xié)議與數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備綁定,不具有開(kāi)放性和靈活性。這些因素導(dǎo)致傳統(tǒng)的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)只能提供種類有限且提前預(yù)設(shè)的網(wǎng)絡(luò)功能,難以按需定制并快速配置靈活的網(wǎng)絡(luò)功能。為此,本項(xiàng)目研究軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu),使得數(shù)據(jù)中心在部署之后,其網(wǎng)絡(luò)功能和系統(tǒng)規(guī)模仍可按需定制和擴(kuò)展。主要研究?jī)?nèi)容如下。
(1)軟件定義的云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)架構(gòu)模型
研究以可軟件編程網(wǎng)絡(luò)節(jié)點(diǎn)和可擴(kuò)展網(wǎng)絡(luò)控制器為核心的新型軟件定義網(wǎng)絡(luò)基礎(chǔ)架構(gòu),在數(shù)據(jù)層面實(shí)現(xiàn)高速靈活的數(shù)據(jù)流定制處理功能,在控制層面實(shí)現(xiàn)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源的協(xié)同控制,滿足云計(jì)算應(yīng)用的特定網(wǎng)絡(luò)控制需求。
(2)可軟件編程的網(wǎng)絡(luò)節(jié)點(diǎn)體系
研究通用計(jì)算單元輔助的可軟件編程網(wǎng)絡(luò)節(jié)點(diǎn)體系架構(gòu),實(shí)現(xiàn)網(wǎng)絡(luò)節(jié)點(diǎn)功能的自由定制和重配置,并在服務(wù)器端通過(guò)轉(zhuǎn)發(fā)芯片引入數(shù)據(jù)轉(zhuǎn)發(fā)功能。
(3)可擴(kuò)展的軟件定義網(wǎng)絡(luò)控制器
研究在大規(guī)模數(shù)據(jù)中心通過(guò)軟件控制平臺(tái)實(shí)現(xiàn)網(wǎng)絡(luò)功能靈活定制所面臨的擴(kuò)展性難題,通過(guò)分布式網(wǎng)絡(luò)控制器以及網(wǎng)絡(luò)節(jié)點(diǎn)和網(wǎng)絡(luò)控制器的協(xié)同工作,提高網(wǎng)絡(luò)控制器的擴(kuò)展能力。
(4)云數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)錂M向擴(kuò)展方法
基于軟件可編程網(wǎng)絡(luò)節(jié)點(diǎn)及具有數(shù)據(jù)轉(zhuǎn)發(fā)功能的服務(wù)器節(jié)點(diǎn),研究數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)涞臋M向擴(kuò)展方法,實(shí)現(xiàn)服務(wù)器和網(wǎng)絡(luò)節(jié)點(diǎn)的漸進(jìn)高效互聯(lián)。
4.1.1 軟件定義云數(shù)據(jù)中心網(wǎng)絡(luò)的設(shè)計(jì)原理與基礎(chǔ)架構(gòu)
作為云計(jì)算的基礎(chǔ)設(shè)施,數(shù)據(jù)中心往往由獨(dú)立機(jī)構(gòu)統(tǒng)一建設(shè)和運(yùn)營(yíng)。為了提高各類云服務(wù)的性能和收益,云計(jì)算提供商可根據(jù)應(yīng)用需求定制網(wǎng)絡(luò)架構(gòu)和協(xié)議,并對(duì)用戶自定義的網(wǎng)絡(luò)功能進(jìn)行靈活的實(shí)現(xiàn)。作為當(dāng)前最具代表性的軟件定義網(wǎng)絡(luò)協(xié)議,OpenFlow協(xié)議將網(wǎng)絡(luò)控制層面與數(shù)據(jù)轉(zhuǎn)發(fā)層面分離,通過(guò)一個(gè)集中式網(wǎng)絡(luò)控制器完成新數(shù)據(jù)流的轉(zhuǎn)發(fā)控制,而交換機(jī)僅依照網(wǎng)絡(luò)控制器的指令對(duì)數(shù)據(jù)流實(shí)施具體的轉(zhuǎn)發(fā)操作。OpenFlow協(xié)議在一定程度上能夠滿足對(duì)云數(shù)據(jù)中心網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行轉(zhuǎn)發(fā)控制的需求。但OpenFlow協(xié)議僅能在網(wǎng)絡(luò)節(jié)點(diǎn)的硬件層面支持?jǐn)?shù)據(jù)流簡(jiǎn)單處理邏輯的重配置,難以支持很多應(yīng)用在數(shù)據(jù)流傳輸過(guò)程中需要進(jìn)行自定義深度處理(如數(shù)據(jù)流緩存、數(shù)據(jù)流網(wǎng)內(nèi)處理等)的功能。
通過(guò)分析云數(shù)據(jù)中心網(wǎng)絡(luò)的應(yīng)用需求和網(wǎng)絡(luò)環(huán)境特征,本項(xiàng)目擬研究軟件定義云數(shù)據(jù)中心網(wǎng)絡(luò)的設(shè)計(jì)原理,并提出支持可軟件編程網(wǎng)絡(luò)節(jié)點(diǎn)和可擴(kuò)展控制器的軟件定義云數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)架構(gòu),作為新一代云數(shù)據(jù)中心網(wǎng)絡(luò)管理和網(wǎng)絡(luò)創(chuàng)新的平臺(tái)?;舅悸肥窃O(shè)計(jì)可軟件編程的網(wǎng)絡(luò)節(jié)點(diǎn),不僅滿足對(duì)數(shù)據(jù)流轉(zhuǎn)發(fā)控制邏輯的重配置,而且能通過(guò)引入通用計(jì)算單元在數(shù)據(jù)面實(shí)現(xiàn)用戶對(duì)數(shù)據(jù)流的定制分析處理。同時(shí),設(shè)計(jì)可擴(kuò)展性強(qiáng)的軟件定義網(wǎng)絡(luò)控制器,能夠和云數(shù)據(jù)中心計(jì)算系統(tǒng)控制器及存儲(chǔ)系統(tǒng)控制器協(xié)同工作。網(wǎng)絡(luò)控制器不僅需要對(duì)數(shù)據(jù)流從網(wǎng)絡(luò)資源管理和利用的角度進(jìn)行轉(zhuǎn)發(fā)控制(例如路徑優(yōu)化、負(fù)載均衡、安全機(jī)制),還需要具備對(duì)網(wǎng)絡(luò)、計(jì)算和存儲(chǔ)資源進(jìn)行協(xié)同控制的能力,實(shí)現(xiàn)來(lái)自應(yīng)用層的特定網(wǎng)絡(luò)控制需求。最后,針對(duì)云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)點(diǎn)的大規(guī)模擴(kuò)展需求,研究如何基于軟件定義網(wǎng)絡(luò)基礎(chǔ)架構(gòu)實(shí)現(xiàn)云數(shù)據(jù)中心網(wǎng)絡(luò)的大規(guī)模橫向擴(kuò)展。
4.1.2 可軟件編程的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)點(diǎn)
現(xiàn)代云數(shù)據(jù)中心為降低設(shè)備成本,往往采用商用低端服務(wù)器和交換機(jī)。但當(dāng)前的數(shù)據(jù)中心交換機(jī)普遍采用單個(gè)交換集成電路,難以支持可定制的云數(shù)據(jù)中心網(wǎng)絡(luò)需求。首先,其轉(zhuǎn)發(fā)表容量太小導(dǎo)致難以對(duì)數(shù)據(jù)中心海量數(shù)據(jù)流進(jìn)行細(xì)粒度的轉(zhuǎn)發(fā)控制,其稀缺的片上緩存也無(wú)法應(yīng)對(duì)TCP incast等突發(fā)流量。其次,越來(lái)越多的云計(jì)算應(yīng)用迫切要求對(duì)數(shù)據(jù)流在傳輸過(guò)程中進(jìn)行靈活驚喜的處理(如數(shù)據(jù)流緩存、數(shù)據(jù)流網(wǎng)內(nèi)處理等),但現(xiàn)有數(shù)據(jù)中心交換機(jī)僅能在硬件層面支持?jǐn)?shù)據(jù)流簡(jiǎn)單處理邏輯的重配置,無(wú)法響應(yīng)用戶對(duì)數(shù)據(jù)流的自定義處理需求。
本項(xiàng)目研究通用計(jì)算單元輔助的可軟件編程網(wǎng)絡(luò)節(jié)點(diǎn)體系,使得網(wǎng)絡(luò)和計(jì)算資源更加緊密地聯(lián)系起來(lái),并實(shí)現(xiàn)有效的網(wǎng)絡(luò)控制。其基本思想是基于已有的高速的PCI-E交換系統(tǒng),采用計(jì)算能力強(qiáng)大的通用CPU和DRAM內(nèi)存來(lái)輔助傳統(tǒng)的網(wǎng)絡(luò)節(jié)點(diǎn),從而使CPU參與控制面和數(shù)據(jù)面的流量深度處理。該網(wǎng)絡(luò)節(jié)點(diǎn)體系能以軟件方式提供更大的轉(zhuǎn)發(fā)表容量,提供充足的數(shù)據(jù)流緩存空間以應(yīng)對(duì)突發(fā)流量,并可借助CPU及DRAM內(nèi)存對(duì)數(shù)據(jù)流在傳輸過(guò)程中實(shí)現(xiàn)用戶自定義的數(shù)據(jù)處理功能。
此外,考慮到網(wǎng)絡(luò)設(shè)備和計(jì)算設(shè)備呈現(xiàn)出融合發(fā)展的趨勢(shì),本項(xiàng)目還研究如何將商用的交換ASIC部件集成到服務(wù)器的NIC板卡,并通過(guò)PCI-E交換系統(tǒng)實(shí)現(xiàn)交換部件和計(jì)算機(jī)CPU的高速互聯(lián)。這種設(shè)計(jì)為傳統(tǒng)服務(wù)器節(jié)點(diǎn)帶來(lái)了額外的網(wǎng)絡(luò)功能,使其可參與數(shù)據(jù)中心的互聯(lián)和數(shù)據(jù)轉(zhuǎn)發(fā),擴(kuò)展了云數(shù)據(jù)中心網(wǎng)絡(luò)互聯(lián)拓?fù)涞脑O(shè)計(jì)空間。
4.1.3 可擴(kuò)展的軟件定義網(wǎng)絡(luò)控制器
網(wǎng)絡(luò)控制器隨數(shù)據(jù)中心規(guī)模增長(zhǎng)的擴(kuò)展性問(wèn)題,是制約軟件定義云數(shù)據(jù)中心網(wǎng)絡(luò)的主要性能瓶頸之一。由于單個(gè)網(wǎng)絡(luò)控制器有限的處理能力以及稀缺的可用安全控制信道難以對(duì)數(shù)量龐大且不斷增長(zhǎng)的數(shù)據(jù)流實(shí)現(xiàn)按需轉(zhuǎn)發(fā)控制,本項(xiàng)目擬研究以協(xié)作方式管理網(wǎng)絡(luò)的可擴(kuò)展控制器。
首先,由網(wǎng)絡(luò)節(jié)點(diǎn)根據(jù)掌握的局部網(wǎng)絡(luò)狀態(tài)協(xié)助網(wǎng)絡(luò)控制器完成大部分?jǐn)?shù)據(jù)流的轉(zhuǎn)發(fā)控制,而網(wǎng)絡(luò)控制器僅對(duì)云計(jì)算應(yīng)用特別關(guān)注的數(shù)據(jù)流制定轉(zhuǎn)發(fā)控制策略。這種協(xié)作機(jī)制可降低網(wǎng)絡(luò)控制器的負(fù)載,進(jìn)而大幅提升單個(gè)網(wǎng)絡(luò)控制器的可擴(kuò)展能力。依據(jù)云數(shù)據(jù)中心典型應(yīng)用的數(shù)據(jù)流傳輸規(guī)律,網(wǎng)絡(luò)節(jié)點(diǎn)根據(jù)數(shù)據(jù)流的應(yīng)用層語(yǔ)義將其發(fā)給網(wǎng)絡(luò)控制器,并由網(wǎng)絡(luò)控制器結(jié)合應(yīng)用層對(duì)流量傳輸?shù)目刂菩枨螅ɡ缌髁康膮f(xié)同傳輸和聚合等)制定相匹配的轉(zhuǎn)發(fā)控制策略。
其次,采用分而治之的思想研究分布式網(wǎng)絡(luò)控制器的協(xié)作機(jī)制,實(shí)現(xiàn)邏輯上集中而物理上分布的網(wǎng)絡(luò)控制器。結(jié)合云數(shù)據(jù)中心的互聯(lián)拓?fù)浣Y(jié)構(gòu),研究多個(gè)網(wǎng)絡(luò)控制器在大規(guī)模數(shù)據(jù)中心的協(xié)同部署方法,并根據(jù)網(wǎng)絡(luò)流量的動(dòng)態(tài)變化情況,探索網(wǎng)絡(luò)流量在多個(gè)網(wǎng)絡(luò)控制器之間的分配方法,使網(wǎng)絡(luò)控制器均衡地分擔(dān)流量轉(zhuǎn)發(fā)控制任務(wù)。
4.1.4 云數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)涞臋M向擴(kuò)展方法
隨著用戶對(duì)計(jì)算和存儲(chǔ)服務(wù)需求的日益增長(zhǎng),云數(shù)據(jù)中心需要通過(guò)特定結(jié)構(gòu)的網(wǎng)絡(luò)拓?fù)鋪?lái)互聯(lián)更多的網(wǎng)絡(luò)節(jié)點(diǎn)和服務(wù)器,以實(shí)現(xiàn)大規(guī)模橫向擴(kuò)展?;诳绍浖幊叹W(wǎng)絡(luò)節(jié)點(diǎn)和可擴(kuò)展控制器的軟件定義網(wǎng)絡(luò)架構(gòu),為云數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)涞臋M向擴(kuò)展提供了新的設(shè)計(jì)空間。
首先,具有數(shù)據(jù)轉(zhuǎn)發(fā)功能的服務(wù)器節(jié)點(diǎn)可直接參與網(wǎng)絡(luò)互連和路由,增強(qiáng)了以服務(wù)器為核心的云數(shù)據(jù)中心網(wǎng)絡(luò)橫向擴(kuò)展架構(gòu)。這類服務(wù)器都具有多個(gè)網(wǎng)絡(luò)接口,并在擴(kuò)大網(wǎng)絡(luò)規(guī)模時(shí)用于服務(wù)器之間的互聯(lián),以層次迭代方式實(shí)現(xiàn)網(wǎng)絡(luò)拓?fù)涞臋M向擴(kuò)展。但由于在云數(shù)據(jù)中心規(guī)模擴(kuò)展過(guò)程中,不同時(shí)期采購(gòu)的服務(wù)器具有異構(gòu)的硬件資源配置,不同服務(wù)器的軟硬件處理功能大不相同。本項(xiàng)目擬基于軟件定義網(wǎng)絡(luò)架構(gòu),研究如何靈活配置異構(gòu)服務(wù)器的網(wǎng)絡(luò)轉(zhuǎn)發(fā)控制功能,充分利用服務(wù)器的硬件資源,提高網(wǎng)絡(luò)性能。
其次,基于可軟件編程的高密度網(wǎng)絡(luò)節(jié)點(diǎn),可構(gòu)造扁平化互聯(lián)結(jié)構(gòu)來(lái)連接大量的網(wǎng)絡(luò)節(jié)點(diǎn),形成以網(wǎng)絡(luò)節(jié)點(diǎn)為核心的數(shù)據(jù)中心網(wǎng)絡(luò)橫向擴(kuò)展拓?fù)?。需要研究在云?shù)據(jù)中心的規(guī)模和網(wǎng)絡(luò)節(jié)點(diǎn)端口數(shù)給定時(shí),每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的端口分配使用策略,即預(yù)留多少端口用于網(wǎng)絡(luò)節(jié)點(diǎn)之間的級(jí)聯(lián),而其他端口用于服務(wù)器的接入。由于云數(shù)據(jù)中心網(wǎng)絡(luò)中網(wǎng)絡(luò)節(jié)點(diǎn)和鏈路的故障率非常高,可以通過(guò)軟件定義網(wǎng)絡(luò)架構(gòu),實(shí)時(shí)感知網(wǎng)絡(luò)故障,并及時(shí)更新配置網(wǎng)絡(luò)節(jié)點(diǎn)的轉(zhuǎn)發(fā)控制功能,保障云數(shù)據(jù)中心網(wǎng)絡(luò)正常工作及網(wǎng)絡(luò)資源的充分利用。
為了提高云計(jì)算的性能和服務(wù)質(zhì)量,需要在給定硬件資源條件下,通過(guò)軟件技術(shù)優(yōu)化云數(shù)據(jù)中心網(wǎng)絡(luò)的資源利用率。在軟件定義的可定制網(wǎng)絡(luò)架構(gòu)下,本項(xiàng)目研究云數(shù)據(jù)中心網(wǎng)絡(luò)的創(chuàng)新路由協(xié)議和傳輸協(xié)議,提高密集鏈路資源和高速帶寬資源的使用效率;通過(guò)對(duì)網(wǎng)絡(luò)、計(jì)算和存儲(chǔ)資源的聯(lián)合優(yōu)化,進(jìn)一步提升云計(jì)算性能。主要研究?jī)?nèi)容如下。
(1)云數(shù)據(jù)中心網(wǎng)絡(luò)多路徑路由協(xié)議
研究適用于鏈路資源高度冗余的云數(shù)據(jù)中心網(wǎng)絡(luò)的多路徑路由協(xié)議,由軟件控制器計(jì)算優(yōu)化的路由路徑,充分利用云數(shù)據(jù)中心網(wǎng)絡(luò)的密集鏈路資源,提高云數(shù)據(jù)中心網(wǎng)絡(luò)鏈路的利用率。
(2)基于編碼的云數(shù)據(jù)中心網(wǎng)絡(luò)傳輸協(xié)議
研究基于編碼的網(wǎng)絡(luò)傳輸協(xié)議,避免TCP incast等問(wèn)題導(dǎo)致的“吞吐率坍塌”現(xiàn)象,通過(guò)新型編碼方式確保數(shù)據(jù)傳輸?shù)目煽啃圆⑻岣邘捹Y源利用率。
(3)網(wǎng)絡(luò)資源與計(jì)算資源的聯(lián)合優(yōu)化
針對(duì)廣泛使用的分布式計(jì)算框架,研究大規(guī)模數(shù)據(jù)流的高效聚合方法,大幅降低分布式計(jì)算任務(wù)中間結(jié)果的傳輸量,提升網(wǎng)絡(luò)吞吐率和云計(jì)算任務(wù)的處理效率。
(4)網(wǎng)絡(luò)資源與存儲(chǔ)資源的聯(lián)合優(yōu)化
研究基于云數(shù)據(jù)中心服務(wù)器泛在緩存的新型存儲(chǔ)系統(tǒng),以軟件定義網(wǎng)絡(luò)架構(gòu)下的新型內(nèi)容路由方式,動(dòng)態(tài)靈活地實(shí)現(xiàn)數(shù)據(jù)共享,減少數(shù)據(jù)訪問(wèn)的平均網(wǎng)絡(luò)路徑長(zhǎng)度并避免數(shù)據(jù)熱點(diǎn),從而提高網(wǎng)絡(luò)吞吐率。
4.2.1 云數(shù)據(jù)中心網(wǎng)絡(luò)多路徑路由協(xié)議
云數(shù)據(jù)中心網(wǎng)絡(luò)的鏈路資源密集,任意兩個(gè)服務(wù)器或網(wǎng)絡(luò)節(jié)點(diǎn)之間可能存在幾十條甚至上百條不同的等價(jià)路徑,因此傳統(tǒng)的鏈路狀態(tài)路由協(xié)議(如OSPF)在云數(shù)據(jù)中心網(wǎng)絡(luò)中對(duì)鏈路資源的利用率極低。此外,由于云數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)模大、鏈路時(shí)延低,傳統(tǒng)路由協(xié)議的收斂速度也無(wú)法滿足云數(shù)據(jù)中心網(wǎng)絡(luò)高速數(shù)據(jù)業(yè)務(wù)的需求。
本項(xiàng)目擬在軟件定義網(wǎng)絡(luò)架構(gòu)下,研究云數(shù)據(jù)中心網(wǎng)絡(luò)多路徑路由協(xié)議。其基本思想是充分利用云數(shù)據(jù)中心網(wǎng)絡(luò)中鏈路密集、路徑冗余度高的特征,采用多條路徑同時(shí)傳輸一個(gè)數(shù)據(jù)流。以顯式路徑標(biāo)識(shí)的方式配置路由表并進(jìn)行路由轉(zhuǎn)發(fā)。網(wǎng)絡(luò)控制器實(shí)時(shí)感知網(wǎng)絡(luò)拓?fù)湫畔?,根?jù)所有鏈路可能的組合計(jì)算路由路徑,為每一條路徑顯式分配標(biāo)識(shí),并存儲(chǔ)在相應(yīng)的網(wǎng)絡(luò)節(jié)點(diǎn)轉(zhuǎn)發(fā)表中。最大的挑戰(zhàn)在于云數(shù)據(jù)中心網(wǎng)絡(luò)鏈路資源密度高導(dǎo)致可能的路徑數(shù)量非常龐大,因此對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)的存儲(chǔ)能力提出了很高的挑戰(zhàn)。但由于大量路徑具有冗余性,可以對(duì)基于顯式路徑標(biāo)識(shí)的路由條目進(jìn)行有效壓縮,還可以進(jìn)一步利用布隆濾波器(bloom filter)等技術(shù)增強(qiáng)壓縮效果。
在基于顯式路徑標(biāo)識(shí)的云數(shù)據(jù)中心網(wǎng)絡(luò)路由協(xié)議下,服務(wù)器發(fā)出的分組直接攜帶路徑標(biāo)識(shí)信息,網(wǎng)絡(luò)節(jié)點(diǎn)根據(jù)路徑標(biāo)識(shí)進(jìn)行路由轉(zhuǎn)發(fā),而無(wú)需檢查分組的目的地址,因此可以方便地進(jìn)行多路徑路由。在可軟件編程的網(wǎng)絡(luò)節(jié)點(diǎn)上,可以對(duì)分組轉(zhuǎn)發(fā)字段及其轉(zhuǎn)發(fā)規(guī)則進(jìn)行靈活的配置,因此很容易部署基于顯式路徑標(biāo)識(shí)的路由協(xié)議。采用基于顯式路徑標(biāo)識(shí)的多路徑路由方式,還有利于對(duì)網(wǎng)絡(luò)故障進(jìn)行診斷和恢復(fù),提高網(wǎng)絡(luò)的可管理性和可控性。
4.2.2 基于編碼的云數(shù)據(jù)中心網(wǎng)絡(luò)傳輸協(xié)議
由于云數(shù)據(jù)中心網(wǎng)絡(luò)的端到端帶寬非常高 (1 Gbit/s甚至10 Gbit/s以上)、而端到端時(shí)延非常低(微秒級(jí)別),已有研究表明,傳統(tǒng)的數(shù)據(jù)傳輸協(xié)議TCP在云數(shù)據(jù)中心網(wǎng)絡(luò)中的TCP incast問(wèn)題會(huì)產(chǎn)生“吞吐率坍塌”現(xiàn)象,導(dǎo)致帶寬資源利用率降到10%以下。因此需要設(shè)計(jì)適用于云數(shù)據(jù)中心網(wǎng)絡(luò)的新型端到端傳輸協(xié)議,以提高云數(shù)據(jù)中心網(wǎng)絡(luò)帶寬資源利用率。
本項(xiàng)目擬研究基于編碼的云數(shù)據(jù)中心網(wǎng)絡(luò)傳輸協(xié)議。通過(guò)適度的數(shù)據(jù)冗余保證數(shù)據(jù)可靠傳輸,而不需要對(duì)丟失的分組進(jìn)行重傳,因此可以有效避免“吞吐率坍塌”問(wèn)題。已有的某些可刪除碼 (erasure code)技術(shù)如Reed-Solomon編碼,可以從任意恰好等于源數(shù)據(jù)大小的編碼數(shù)據(jù)中恢復(fù)出原始數(shù)據(jù),而不引入額外帶寬,因此其帶來(lái)的數(shù)據(jù)冗余度非常低,但其挑戰(zhàn)在于較高的編解碼負(fù)擔(dān)。而數(shù)字噴泉編碼(digital fountain code)雖然會(huì)引入一些額外帶寬,但其編解碼的代價(jià)較小,而且編解碼操作比較簡(jiǎn)單,只需要異或操作即可實(shí)現(xiàn),通常可在線性時(shí)間內(nèi)完成。針對(duì)軟件定義的網(wǎng)絡(luò)架構(gòu),本項(xiàng)目擬選擇數(shù)字噴泉編碼作為云數(shù)據(jù)中心中心網(wǎng)絡(luò)傳輸協(xié)議的編碼技術(shù),適度引入數(shù)據(jù)冗余來(lái)實(shí)現(xiàn)高效率的端到端數(shù)據(jù)傳輸。
端到端傳輸協(xié)議必須考慮數(shù)據(jù)流之間的公平性。本項(xiàng)目擬借鑒TCP-friendly的技術(shù)思想來(lái)保障傳輸協(xié)議的公平性。目前已有的TCP-friendly方案中,按照其實(shí)現(xiàn)擁塞控制手段的不同,可以大致分為“基于窗口”和“基于速率”兩大類。前者借鑒TCP的思想,同樣使用一個(gè)擁塞窗口實(shí)現(xiàn)公平性。后者通過(guò)某種反饋機(jī)制獲取網(wǎng)絡(luò)的擁塞信息,并根據(jù)網(wǎng)絡(luò)的擁塞狀況實(shí)時(shí)地調(diào)整發(fā)送速率。某些方案通過(guò)模擬TCP窗口調(diào)整發(fā)送速率,而另一些方案則通過(guò)某種特定的模型調(diào)整發(fā)送速率。不管是基于窗口的擁塞控制機(jī)制,還是模擬TCP基于速率的擁塞控制機(jī)制,其實(shí)質(zhì)與TCP一樣,都會(huì)造成典型的“鋸齒形”流量,不能有效利用云數(shù)據(jù)中心高速網(wǎng)絡(luò)帶寬。而基于模型的擁塞控制機(jī)制卻能得到較為平滑的速率變化,因此更適合云數(shù)據(jù)中心網(wǎng)絡(luò)中連續(xù)的大數(shù)據(jù)傳輸。因此,本項(xiàng)目將重點(diǎn)研究基于模型的端到端擁塞控制機(jī)制。
4.2.3 網(wǎng)絡(luò)與計(jì)算資源的聯(lián)合優(yōu)化
云數(shù)據(jù)中心根據(jù)其支持的云計(jì)算應(yīng)用需求,配置有多種計(jì)算框架以處理龐大的數(shù)據(jù),如 MapReduce、Dryad、Pregel等。這些計(jì)算框架普遍采用流式計(jì)算模型,導(dǎo)致相鄰處理階段傳輸大量的中間計(jì)算結(jié)果,不僅消耗大量的網(wǎng)絡(luò)資源而且嚴(yán)重制約計(jì)算任務(wù)的總體完成時(shí)間。多對(duì)一(incast)通信和多對(duì)多(shuffle)通信是這些計(jì)算框架下最重要的流量傳輸模式,占據(jù)了云數(shù)據(jù)中心80%左右的流量。
incast通信的多數(shù)據(jù)流之間的相關(guān)性及其在共同接收方的聚合性,可為incast通信提供流量?jī)?yōu)化空間。聚合操作能大幅降低數(shù)據(jù)傳輸量,進(jìn)而降低對(duì)稀缺帶寬資源的消耗。針對(duì)云數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),本項(xiàng)目擬研究任意服務(wù)器之間的多徑路由方法,并據(jù)此通過(guò)網(wǎng)絡(luò)控制器實(shí)現(xiàn)基于協(xié)同傳輸?shù)牧髁烤酆?。通過(guò)流量協(xié)同聚合,參與每個(gè)incast通信的看似獨(dú)立無(wú)關(guān)的單播數(shù)據(jù)流在其傳輸過(guò)程中都盡可能早地執(zhí)行流間聚合操作,而不用等到接收方對(duì)全體數(shù)據(jù)流統(tǒng)一進(jìn)行數(shù)據(jù)聚合操作。軟件定義網(wǎng)絡(luò)控制器可基于云數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和任意的incast通信流量,構(gòu)造傳輸代價(jià)最小的incast通信樹(shù),并據(jù)此控制incast通信樹(shù)中承擔(dān)流量聚合的可軟件編程網(wǎng)絡(luò)節(jié)點(diǎn)為該incast通信實(shí)施流量聚合操作,實(shí)現(xiàn)網(wǎng)絡(luò)和計(jì)算資源的聯(lián)合優(yōu)化。
4.2.4 網(wǎng)絡(luò)與存儲(chǔ)資源的聯(lián)合優(yōu)化
云數(shù)據(jù)中心依賴分布式存儲(chǔ)系統(tǒng)如GFS/HDFS來(lái)管理大規(guī)模服務(wù)器的數(shù)據(jù)存儲(chǔ)。通常云數(shù)據(jù)中心包含數(shù)以萬(wàn)計(jì)甚至十萬(wàn)計(jì)的服務(wù)器,而在典型的分布式存儲(chǔ)系統(tǒng)中,一個(gè)文件只有3個(gè)副本。大部分情況下,客戶端請(qǐng)求的文件副本都存儲(chǔ)在較遠(yuǎn)的服務(wù)器上。在橫向擴(kuò)展的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)下,數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)涠季邆涿黠@的層次化特點(diǎn)。因此可以利用服務(wù)器的空閑磁盤(pán)空間,對(duì)讀取的數(shù)據(jù)進(jìn)行緩存,大大增加每個(gè)文件的副本數(shù)量。這種泛在緩存的存儲(chǔ)系統(tǒng)優(yōu)化方法,不但可以大大減小每個(gè)數(shù)據(jù)流的平均網(wǎng)絡(luò)路徑長(zhǎng)度,還可以減少數(shù)據(jù)熱點(diǎn),從而增大數(shù)據(jù)中心的網(wǎng)絡(luò)吞吐率,并提高分布式存儲(chǔ)系統(tǒng)的性能。在軟件定義網(wǎng)絡(luò)框架下,網(wǎng)絡(luò)控制器和存儲(chǔ)控制器可以進(jìn)行有效的交互,從而實(shí)現(xiàn)高效的聯(lián)合優(yōu)化,在不增加鏈路和帶寬資源的前提下,通過(guò)軟件實(shí)現(xiàn)網(wǎng)絡(luò)容量提升。
為了實(shí)現(xiàn)基于泛在緩存的分布式存儲(chǔ)系統(tǒng)優(yōu)化,需要解決兩個(gè)問(wèn)題:一是在服務(wù)器端提供緩存服務(wù),二是在網(wǎng)絡(luò)節(jié)點(diǎn)上實(shí)現(xiàn)基于內(nèi)容的路由轉(zhuǎn)發(fā)協(xié)議。本項(xiàng)目的初步思路如下。
在每個(gè)服務(wù)器上運(yùn)行一個(gè)守護(hù)進(jìn)程提供緩存服務(wù)。緩存服務(wù)作為中間層運(yùn)行在應(yīng)用程序和分布式存儲(chǔ)系統(tǒng)之間,并且對(duì)它們透明。每個(gè)緩存服務(wù)進(jìn)程既負(fù)責(zé)為本地應(yīng)用尋找距離最近的文件副本,也負(fù)責(zé)響應(yīng)來(lái)自于其他服務(wù)器的數(shù)據(jù)請(qǐng)求。當(dāng)應(yīng)用程序向存儲(chǔ)系統(tǒng)發(fā)送數(shù)據(jù)請(qǐng)求后,本地緩存服務(wù)會(huì)中斷此請(qǐng)求,并嘗試從最近的緩存服務(wù)器獲取所需要的數(shù)據(jù);如果無(wú)法找到這樣的緩存服務(wù)器,再?gòu)脑挤?wù)器獲取數(shù)據(jù)并返還給應(yīng)用程序,同時(shí)在本地進(jìn)行緩存。
可軟件編程的網(wǎng)絡(luò)節(jié)點(diǎn)利用橫向擴(kuò)展云數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)涞膶哟位Y(jié)構(gòu)特點(diǎn),在不確定目的緩存服務(wù)器具體位置的情況下,通過(guò)自定義的內(nèi)容控制協(xié)議把數(shù)據(jù)請(qǐng)求轉(zhuǎn)發(fā)到最近的緩存服務(wù)器,并更新網(wǎng)絡(luò)節(jié)點(diǎn)的內(nèi)容轉(zhuǎn)發(fā)表。考慮到網(wǎng)絡(luò)節(jié)點(diǎn)的高速轉(zhuǎn)發(fā)表容量有限,不可能容納數(shù)據(jù)中心所有數(shù)據(jù)的內(nèi)容轉(zhuǎn)發(fā)表項(xiàng),因此還可以結(jié)合基于位置的轉(zhuǎn)發(fā)機(jī)制。當(dāng)數(shù)據(jù)請(qǐng)求的內(nèi)容不在內(nèi)容轉(zhuǎn)發(fā)表中時(shí),網(wǎng)絡(luò)節(jié)點(diǎn)根據(jù)請(qǐng)求數(shù)據(jù)的原始服務(wù)器地址進(jìn)行路由轉(zhuǎn)發(fā)。
為了提供安全的云計(jì)算服務(wù),必須對(duì)不同租戶的網(wǎng)絡(luò)資源進(jìn)行有效隔離,避免流量泄露?;谲浖x的可定制網(wǎng)絡(luò),本項(xiàng)目研究“大二層”網(wǎng)絡(luò)的資源虛擬化隔離方案和虛擬機(jī)的智能遷移;進(jìn)一步研究多租戶網(wǎng)絡(luò)資源的公平共享和合理計(jì)價(jià),保障租戶的虛擬網(wǎng)絡(luò)性能。主要研究?jī)?nèi)容如下。
(1)軟件定義的虛擬云數(shù)據(jù)中心網(wǎng)絡(luò)隔離
研究在新型軟件定義網(wǎng)絡(luò)框架下,基于分組插入/刪除/改寫(xiě)等操作來(lái)解決不同的云租戶可能使用空間重疊的二層地址的問(wèn)題,避免不同虛擬網(wǎng)絡(luò)之間的流量泄露,并減少對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)點(diǎn)的轉(zhuǎn)發(fā)表容量需求。
(2)優(yōu)化網(wǎng)絡(luò)整體開(kāi)銷的虛擬機(jī)智能遷移策略
研究通過(guò)軟件控制器動(dòng)態(tài)感知的數(shù)據(jù)中心網(wǎng)絡(luò)流量狀況,結(jié)合云數(shù)據(jù)中心虛擬網(wǎng)絡(luò)計(jì)算資源和帶寬資源的總體開(kāi)銷,實(shí)現(xiàn)優(yōu)化網(wǎng)絡(luò)開(kāi)銷的虛擬機(jī)實(shí)時(shí)遷移。
(3)異構(gòu)資源請(qǐng)求的多租戶網(wǎng)絡(luò)資源分配
研究實(shí)際云計(jì)算應(yīng)用中用戶不同的虛擬機(jī)角色導(dǎo)致的異構(gòu)資源請(qǐng)求的分配問(wèn)題,通過(guò)網(wǎng)絡(luò)控制器實(shí)現(xiàn)通用網(wǎng)絡(luò)拓?fù)渲械膶?shí)時(shí)高效虛擬網(wǎng)絡(luò)資源分配。
(4)與資源分配解耦的虛擬網(wǎng)絡(luò)計(jì)價(jià)機(jī)制
(5)與資源分配方法無(wú)關(guān)的虛擬網(wǎng)絡(luò)公平計(jì)價(jià)機(jī)制
研究該機(jī)制,不但最小化租戶付出的費(fèi)用,而且通過(guò)計(jì)價(jià)機(jī)制的激勵(lì)策略提高云數(shù)據(jù)中心資源利用率,進(jìn)而提升數(shù)據(jù)中心運(yùn)營(yíng)商的總體收益。
4.3.1 軟件定義的云數(shù)據(jù)中心虛擬網(wǎng)絡(luò)隔離
云數(shù)據(jù)中心虛擬網(wǎng)絡(luò)隔離是實(shí)現(xiàn)云數(shù)據(jù)中心安全的重要手段。本項(xiàng)目擬研究軟件定義的虛擬網(wǎng)絡(luò)隔離技術(shù),主要解決虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的二層地址空間重疊、廣播報(bào)文的泄露以及網(wǎng)絡(luò)節(jié)點(diǎn)轉(zhuǎn)發(fā)表容量限制等問(wèn)題。
本項(xiàng)目擬采用以下方案來(lái)實(shí)現(xiàn)云數(shù)據(jù)中心虛擬網(wǎng)絡(luò)隔離。
(1)源虛擬機(jī)所發(fā)出的分組中,把以太網(wǎng)頭部的VLAN字段復(fù)用為租戶ID,以解決相同物理主機(jī)上的不同用戶可能具有相同MAC地址的問(wèn)題。由于VLAN具有12 bit,而同一物理服務(wù)器上所能容納的虛擬機(jī)數(shù)量遠(yuǎn)小于4 096,因此VLAN字段足以對(duì)相同服務(wù)器上的不同租戶進(jìn)行區(qū)分。出于安全考慮,一般不允許不同租戶之間進(jìn)行互相通信,因此源虛擬機(jī)和目的虛擬機(jī)總是使用相同的租戶ID。
(2)通過(guò)入口網(wǎng)絡(luò)節(jié)點(diǎn)的MAC-in-MAC封裝,把用戶虛擬機(jī)的原始MAC地址封裝在分組頭內(nèi)部,不用于二層網(wǎng)絡(luò)轉(zhuǎn)發(fā)。只用大二層網(wǎng)絡(luò)中的物理網(wǎng)絡(luò)節(jié)點(diǎn)的MAC地址進(jìn)行分組轉(zhuǎn)發(fā)。據(jù)此,不但可以解決全網(wǎng)范圍內(nèi)不同用戶的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)可能具有相同MAC地址的問(wèn)題,還大大減少了對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)轉(zhuǎn)發(fā)表項(xiàng)容量的要求。
(3)把外層以太網(wǎng)頭部的VLAN字段復(fù)用為出口網(wǎng)絡(luò)節(jié)點(diǎn)的連接目的服務(wù)器的接口號(hào),使得出口網(wǎng)絡(luò)節(jié)點(diǎn)在接收分組之后,可以正確地轉(zhuǎn)發(fā)給連接的目的物理主機(jī)。
軟件定義網(wǎng)絡(luò)控制器主要提供兩個(gè)功能。第一,根據(jù)內(nèi)層以太網(wǎng)頭部的信息,映射得到外層以太網(wǎng)頭部的信息。網(wǎng)絡(luò)控制器維護(hù)全網(wǎng)拓?fù)湟约懊總€(gè)租戶的虛擬機(jī)MAC地址和位置。因此很容易根據(jù)內(nèi)層以太網(wǎng)頭部提供的租戶ID和目的MAC地址信息,得到內(nèi)層以太網(wǎng)頭部需要的出口網(wǎng)絡(luò)節(jié)點(diǎn)及其轉(zhuǎn)發(fā)接口的信息。第二,根據(jù)外層以太網(wǎng)頭部的源MAC地址和目的MAC地址信息,靈活配置分組的轉(zhuǎn)發(fā)路徑,實(shí)現(xiàn)負(fù)載均衡,提高網(wǎng)絡(luò)資源利用率,并可以根據(jù)數(shù)據(jù)中心的安全策略需求,配置分組所需要經(jīng)過(guò)的防火墻、IPS、IDS等安全設(shè)備。
擬設(shè)計(jì)的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)隔離方案不需要修改服務(wù)器的網(wǎng)絡(luò)協(xié)議棧,而只需要對(duì)虛擬機(jī)進(jìn)行適當(dāng)修改。利用可軟件編程網(wǎng)絡(luò)節(jié)點(diǎn)具有靈活定義分組頭部格式,并根據(jù)分組頭部的不同字段進(jìn)行靈活轉(zhuǎn)發(fā)的技術(shù)特點(diǎn),實(shí)現(xiàn)虛擬網(wǎng)絡(luò)隔離并把分組成功傳送到目的服務(wù)器。對(duì)于廣播和多播報(bào)文,可以同樣實(shí)現(xiàn)虛擬網(wǎng)絡(luò)隔離,因?yàn)槟康姆?wù)器會(huì)根據(jù)租戶ID信息把廣播或多播報(bào)文遞交給相應(yīng)虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的所有虛擬機(jī),而不會(huì)泄露給其他租戶的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)。
4.3.2 優(yōu)化網(wǎng)絡(luò)整體開(kāi)銷的虛擬機(jī)智能遷移策略
在云數(shù)據(jù)中心的大二層網(wǎng)絡(luò)中,虛擬機(jī)可以根據(jù)應(yīng)用需求在用戶的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)部進(jìn)行安全的遷移。當(dāng)前云數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬機(jī)遷移方案主要只考慮物理服務(wù)器上的虛擬機(jī)槽位使用情況。為了提高用戶的計(jì)算性能并減少數(shù)據(jù)中心運(yùn)營(yíng)商的網(wǎng)絡(luò)開(kāi)銷,設(shè)計(jì)更加靈活智能的虛擬機(jī)遷移策略非常必要。
虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的開(kāi)銷包含計(jì)算資源開(kāi)銷和帶寬開(kāi)銷兩部分。為了設(shè)計(jì)優(yōu)化虛擬數(shù)據(jù)中心網(wǎng)絡(luò)開(kāi)銷的虛擬機(jī)遷移方案,需要網(wǎng)絡(luò)控制器能夠感知虛擬機(jī)之間的通信流量或帶寬需求。虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的整體開(kāi)銷優(yōu)化不簡(jiǎn)單等同于帶寬資源的優(yōu)化,也與數(shù)據(jù)流的路由選擇有關(guān)系。特別對(duì)于彈性流,即帶寬是瓶頸資源而非計(jì)算速度的數(shù)據(jù)流來(lái)說(shuō),不同的路由選擇將會(huì)影響數(shù)據(jù)流的網(wǎng)絡(luò)吞吐率,從而進(jìn)一步影響虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬機(jī)占用時(shí)間,即計(jì)算資源的開(kāi)銷。本項(xiàng)目擬首先分析虛擬網(wǎng)絡(luò)流量矩陣,建立模型并最小化虛擬網(wǎng)絡(luò)的傳輸流量;然后根據(jù)軟件定義網(wǎng)絡(luò)控制器維護(hù)的數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)鋪?lái)調(diào)整虛擬數(shù)據(jù)中心網(wǎng)絡(luò)的路由選擇,并優(yōu)化網(wǎng)絡(luò)整體開(kāi)銷。
虛擬數(shù)據(jù)中心往往運(yùn)行數(shù)據(jù)密集型計(jì)算任務(wù)。為了結(jié)合計(jì)算應(yīng)用的特點(diǎn)進(jìn)行網(wǎng)絡(luò)開(kāi)銷優(yōu)化,可通過(guò)網(wǎng)絡(luò)控制器與計(jì)算控制器之間的信息交互,實(shí)現(xiàn)優(yōu)化全局網(wǎng)絡(luò)開(kāi)銷虛擬機(jī)的靈活智能遷移。該方案不需要改動(dòng)已有的網(wǎng)絡(luò)控制器與計(jì)算控制器,而只需要增加額外的管理模塊,通過(guò)在協(xié)議棧中斷已有控制器的接口即可完成所需功能,因此有利于在云數(shù)據(jù)中心網(wǎng)絡(luò)中進(jìn)行實(shí)際部署。網(wǎng)絡(luò)控制器可以根據(jù)服務(wù)器的負(fù)載狀況作出路由調(diào)整,計(jì)算控制器也可以根據(jù)網(wǎng)絡(luò)狀況變化來(lái)調(diào)整虛擬機(jī)的遷移方案。
4.3.3 異構(gòu)資源請(qǐng)求的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)資源分配
當(dāng)租戶提交任務(wù)請(qǐng)求之后,云數(shù)據(jù)中心運(yùn)營(yíng)商需要為其分配虛擬數(shù)據(jù)中心網(wǎng)絡(luò)資源。當(dāng)前的云數(shù)據(jù)中心網(wǎng)絡(luò)資源分配方式只考慮虛擬機(jī)數(shù)量和位置,而對(duì)網(wǎng)絡(luò)帶寬完全采用“盡力而為”的方式進(jìn)行共享,因此造成租戶的網(wǎng)絡(luò)性能難以預(yù)期,嚴(yán)重影響云計(jì)算的服務(wù)質(zhì)量。
本項(xiàng)目擬研究滿足網(wǎng)絡(luò)帶寬保障的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)資源分配方法,尤其針對(duì)異構(gòu)資源請(qǐng)求的情況。在實(shí)際的云計(jì)算任務(wù)中,由于租戶的虛擬機(jī)往往運(yùn)行不同功能的應(yīng)用程序,其資源需求具有異構(gòu)特征。租戶提出請(qǐng)求后,運(yùn)營(yíng)商根據(jù)數(shù)據(jù)中心網(wǎng)絡(luò)的剩余資源分布情況來(lái)判斷請(qǐng)求是否可以得到滿足。如果可以得到滿足,該請(qǐng)求將被接受,并分配對(duì)應(yīng)的虛擬機(jī)和網(wǎng)絡(luò)帶寬資源;若不可以得到滿足,運(yùn)營(yíng)商將拒絕租戶的請(qǐng)求。對(duì)于異構(gòu)資源請(qǐng)求,虛擬機(jī)之間并不對(duì)等。因此不僅要關(guān)心為某個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)分配的虛擬機(jī)數(shù)量,還需要具體指定分配哪些虛擬機(jī)。如果租戶的請(qǐng)求可以被滿足,還需要按照分配方式在鏈路上預(yù)留帶寬。
本項(xiàng)目擬考慮通過(guò)“任務(wù)時(shí)移”與“帶寬壓縮”的方法進(jìn)行高效的云數(shù)據(jù)中心網(wǎng)絡(luò)資源分配。任務(wù)時(shí)移是指延遲任務(wù)的啟動(dòng)時(shí)刻,其主要目的在于緩和任務(wù)需求的高峰。考慮到當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)負(fù)載呈現(xiàn)出晝夜變化規(guī)律,通過(guò)任務(wù)時(shí)移可以把白天到達(dá)的高負(fù)載計(jì)算任務(wù)轉(zhuǎn)移到夜晚運(yùn)行。而帶寬壓縮的目的則是平衡虛擬機(jī)資源與網(wǎng)絡(luò)資源。帶寬壓縮不僅可以更好地利用數(shù)據(jù)中心網(wǎng)絡(luò)鏈路的碎片帶寬,同時(shí)也能使虛擬機(jī)的分配更加集中化,從而進(jìn)一步節(jié)省帶寬資源。
4.3.4 與資源分配解耦的虛擬網(wǎng)絡(luò)計(jì)價(jià)機(jī)制
云數(shù)據(jù)中心運(yùn)營(yíng)商根據(jù)租戶使用的資源向其收取費(fèi)用。當(dāng)前云數(shù)據(jù)中心主要根據(jù)租戶實(shí)際使用虛擬機(jī)資源的數(shù)量和時(shí)間來(lái)進(jìn)行計(jì)價(jià),不但不考慮網(wǎng)絡(luò)資源,而且租戶付出的開(kāi)銷取決于云數(shù)據(jù)中心運(yùn)營(yíng)商的資源分配算法,這并不合理。
本項(xiàng)目擬研究與資源分配解耦的虛擬網(wǎng)絡(luò)計(jì)價(jià)機(jī)制。租戶提交云計(jì)算應(yīng)用請(qǐng)求之后,運(yùn)營(yíng)商即根據(jù)用戶所提交任務(wù)請(qǐng)求的虛擬網(wǎng)絡(luò)資源進(jìn)行計(jì)價(jià)。因此,計(jì)價(jià)只取決于租戶提交的任務(wù)的特點(diǎn),而與其在云數(shù)據(jù)中心網(wǎng)絡(luò)中的實(shí)際資源分配方法無(wú)關(guān)。通過(guò)這種計(jì)價(jià)方式,把收費(fèi)機(jī)制與數(shù)據(jù)中心運(yùn)營(yíng)商的資源分配算法進(jìn)行解耦。云數(shù)據(jù)中心運(yùn)營(yíng)商可以著力于改進(jìn)資源分配算法并提高數(shù)據(jù)中心的資源利用率,從而接受更多的租戶請(qǐng)求;而租戶則在滿足服務(wù)需求的前提下,盡可能地提交能夠最小化開(kāi)銷的虛擬資源請(qǐng)求。
考慮到云數(shù)據(jù)中心存在多種不同類型的資源,為了鼓勵(lì)租戶提交有助于提高數(shù)據(jù)中心資源利用率的任務(wù)請(qǐng)求,運(yùn)營(yíng)商還可以對(duì)有利于云數(shù)據(jù)中心資源分配的租戶請(qǐng)求提供計(jì)價(jià)折扣激勵(lì)。根據(jù)不同的資源類型組合,運(yùn)營(yíng)商期待租戶提交的任務(wù)描述形式也會(huì)不同。比如,運(yùn)營(yíng)商總是希望租戶所提交任務(wù)中的虛擬機(jī)資源與帶寬資源的比例正好與云數(shù)據(jù)中心網(wǎng)絡(luò)的虛擬機(jī)資源與帶寬資源的比例相匹配,因此可以最大化云數(shù)據(jù)中心資源的利用率。
為了大幅降低云數(shù)據(jù)中心網(wǎng)絡(luò)能耗并建設(shè)綠色數(shù)據(jù)中心,需要從多維度進(jìn)行數(shù)據(jù)中心網(wǎng)絡(luò)能耗的協(xié)同控制。本項(xiàng)目在軟件定義網(wǎng)絡(luò)框架的基礎(chǔ)上,研究網(wǎng)絡(luò)能耗的實(shí)時(shí)感知方法,通過(guò)網(wǎng)絡(luò)控制器進(jìn)行面向節(jié)能目標(biāo)的流量工程控制,實(shí)現(xiàn)云數(shù)據(jù)中心的多能源優(yōu)化。主要研究?jī)?nèi)容如下。
(1)基于傳感網(wǎng)的云數(shù)據(jù)中心網(wǎng)絡(luò)能耗感知
研究基于無(wú)線傳感網(wǎng)的云數(shù)據(jù)中心網(wǎng)絡(luò)能耗實(shí)時(shí)感知方法,并據(jù)此測(cè)算數(shù)據(jù)中心節(jié)點(diǎn)、局部網(wǎng)絡(luò)和全網(wǎng)的能耗狀態(tài),為網(wǎng)絡(luò)控制器建立節(jié)能策略提供能耗信息依據(jù)。
(2)軟件控制的節(jié)能流量工程
研究在保障網(wǎng)絡(luò)可靠性和實(shí)時(shí)流量調(diào)度前提下,以軟件控制的方式實(shí)現(xiàn)節(jié)能流量工程,使盡可能多的網(wǎng)絡(luò)節(jié)點(diǎn)和鏈路進(jìn)入低功耗狀態(tài)。
(3)應(yīng)用感知的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能方法
協(xié)調(diào)單純以降低網(wǎng)絡(luò)傳輸開(kāi)銷等為目標(biāo)的應(yīng)用層流量控制和單純以節(jié)能為目標(biāo)的流量共層方案之間的潛在沖突,在實(shí)現(xiàn)應(yīng)用層的流量傳輸控制策略的基礎(chǔ)上,最大化網(wǎng)絡(luò)層面的節(jié)能效果。
(4)面向清潔能源的云數(shù)據(jù)中心多能源優(yōu)化方法
研究利用包括清潔能源在內(nèi)的多種供能資源的互補(bǔ)優(yōu)化方法,為具有動(dòng)態(tài)能源需求的數(shù)據(jù)中心提供可靠能源,同時(shí)最小化云數(shù)據(jù)中心運(yùn)營(yíng)商的長(zhǎng)期運(yùn)維成本。
4.4.1 基于傳感網(wǎng)的云數(shù)據(jù)中心網(wǎng)絡(luò)能耗感知
對(duì)云數(shù)據(jù)中心的服務(wù)器和網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行能耗實(shí)時(shí)感知和反饋,既可以有效探測(cè)云數(shù)據(jù)中心的高能耗設(shè)備從而進(jìn)行故障排除,還可以將數(shù)據(jù)中心的溫度(比如調(diào)節(jié)數(shù)據(jù)中心的空調(diào))和能耗控制在最合適的范圍,保證云數(shù)據(jù)中心在不影響服務(wù)性能的前提下運(yùn)行在功耗最低的狀態(tài)。云數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備的能耗感知信息可以以“帶外”方式接入云數(shù)據(jù)中心的網(wǎng)絡(luò)控制器,為通過(guò)軟件定義方式控制云數(shù)據(jù)中心網(wǎng)絡(luò)能耗提供了重要決策信息。
本項(xiàng)目擬研究基于無(wú)線傳感網(wǎng)的云數(shù)據(jù)中心網(wǎng)絡(luò)實(shí)時(shí)能耗感知方法,感知隨計(jì)算任務(wù)動(dòng)態(tài)變化而不斷遷移的溫度熱點(diǎn)和高能耗點(diǎn)。首先將傳感網(wǎng)部署的優(yōu)化算法與隨熱點(diǎn)遷移的自演化機(jī)制相結(jié)合,提出自演化的傳感網(wǎng)節(jié)點(diǎn)部署算法,對(duì)云數(shù)據(jù)中心網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)能耗感知。然后,針對(duì)能耗感知數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性和可靠性要求,研究如何解決并發(fā)傳輸導(dǎo)致的信道沖突問(wèn)題以及如何應(yīng)對(duì)無(wú)線鏈路質(zhì)量的動(dòng)態(tài)性問(wèn)題。
將無(wú)線傳感網(wǎng)感知的實(shí)時(shí)能耗信息進(jìn)行收集之后,網(wǎng)絡(luò)控制器對(duì)能耗進(jìn)行分析以提供實(shí)時(shí)反饋控制,保障云數(shù)據(jù)中心網(wǎng)絡(luò)在低功耗狀態(tài)下有效運(yùn)行。本項(xiàng)目擬重點(diǎn)研究通過(guò)異常事件實(shí)時(shí)檢測(cè)方法進(jìn)行過(guò)熱預(yù)警,保證各服務(wù)器不會(huì)因?yàn)檫^(guò)載導(dǎo)致數(shù)據(jù)和硬件損失;研究能耗精確估算方法,在收集感知數(shù)據(jù)的基礎(chǔ)上相對(duì)精確地測(cè)量和估計(jì)云數(shù)據(jù)中心網(wǎng)絡(luò)全局或局部的能耗,為建立精確的節(jié)能策略提供信息支撐。
4.4.2 軟件控制的節(jié)能流量工程
在軟件定義的可定制網(wǎng)絡(luò)框架下,網(wǎng)絡(luò)控制器在收集到的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)點(diǎn)的溫度、能耗、網(wǎng)絡(luò)流量等信息基礎(chǔ)上,以軟件控制的方式實(shí)現(xiàn)節(jié)能流量工程,使盡可能多的空閑網(wǎng)絡(luò)節(jié)點(diǎn)和鏈路進(jìn)入低功耗狀態(tài)。
本項(xiàng)目擬采用如下技術(shù)路線以實(shí)現(xiàn)軟件控制的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能流量工程。
(1)網(wǎng)絡(luò)控制器在數(shù)據(jù)中心網(wǎng)絡(luò)全局拓?fù)渲谐橄蟪鲆粋€(gè)覆蓋全部入口網(wǎng)絡(luò)節(jié)點(diǎn)和部分中轉(zhuǎn)網(wǎng)絡(luò)節(jié)點(diǎn)的節(jié)能拓?fù)?。?jié)能拓?fù)渖纤泄?jié)點(diǎn)和鏈路始終處于工作狀態(tài),因此可以保證云數(shù)據(jù)中心所有服務(wù)器能夠通過(guò)節(jié)能拓?fù)鋵?shí)現(xiàn)互聯(lián)。網(wǎng)絡(luò)控制器以自定義控制的方式,將流量聚集到節(jié)能拓?fù)渖?,使盡可能多的節(jié)能拓?fù)湟酝獾木W(wǎng)絡(luò)節(jié)點(diǎn)和鏈路可以進(jìn)入低功耗狀態(tài)。
(2)網(wǎng)絡(luò)控制器為云數(shù)據(jù)中心網(wǎng)絡(luò)每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)分別計(jì)算對(duì)應(yīng)全局拓?fù)涞牡竭_(dá)目的主機(jī)的最短路徑、對(duì)應(yīng)節(jié)能拓?fù)涞牡竭_(dá)出口網(wǎng)絡(luò)節(jié)點(diǎn)的節(jié)能路徑。
(3)云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能拓?fù)渖系拿總€(gè)網(wǎng)絡(luò)節(jié)點(diǎn)定期搜集節(jié)能拓?fù)滏溌返呢?fù)載狀況并通過(guò)網(wǎng)絡(luò)通告網(wǎng)絡(luò)控制器,網(wǎng)絡(luò)控制器為每個(gè)入口網(wǎng)絡(luò)節(jié)點(diǎn)的新數(shù)據(jù)流從備選路徑中進(jìn)行最小化網(wǎng)絡(luò)能耗的路徑選擇。
在此研究方案下,關(guān)鍵挑戰(zhàn)在于流量調(diào)度算法的設(shè)計(jì)。網(wǎng)絡(luò)控制器如何為入口網(wǎng)絡(luò)節(jié)點(diǎn)處的每條流選擇路徑(從備選路徑中進(jìn)行選擇),將直接影響節(jié)能流量工程的整體節(jié)能效果。若網(wǎng)絡(luò)中數(shù)據(jù)流的數(shù)目為N,則所有可能的流調(diào)度方案總共有2N種。即使在已知全局流量矩陣的情況下,求解最優(yōu)調(diào)度方案的時(shí)間復(fù)雜度也隨網(wǎng)絡(luò)規(guī)模呈指數(shù)增長(zhǎng)。實(shí)際上云數(shù)據(jù)中心網(wǎng)絡(luò)的數(shù)據(jù)流數(shù)目多而且變化迅速,如何快速獲取精確的網(wǎng)絡(luò)流量矩陣同樣是一個(gè)較大的挑戰(zhàn)。為此,本項(xiàng)目擬進(jìn)一步研究網(wǎng)絡(luò)控制器和入口網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)同的節(jié)能流量工程機(jī)制,通過(guò)分布式機(jī)制在入口網(wǎng)絡(luò)節(jié)點(diǎn)處實(shí)現(xiàn)空閑鏈路帶寬分配和路徑切換機(jī)制。
4.4.3 應(yīng)用感知的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能方法
軟件控制的節(jié)能流量工程機(jī)制雖然能夠降低云數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)部流量傳輸導(dǎo)致的網(wǎng)絡(luò)層面的能耗開(kāi)銷,但是由于網(wǎng)絡(luò)控制器不能獲知數(shù)據(jù)流的應(yīng)用層控制語(yǔ)義,導(dǎo)致為數(shù)據(jù)流制定的節(jié)能轉(zhuǎn)發(fā)控制策略往往無(wú)法兼顧應(yīng)用層的其他特殊考慮。為此,本項(xiàng)目擬進(jìn)一步研究應(yīng)用感知的云數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能機(jī)制,以實(shí)現(xiàn)在應(yīng)用層流量傳輸控制的基礎(chǔ)上降低數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備層面的能耗。
為了實(shí)現(xiàn)計(jì)算和網(wǎng)絡(luò)性能優(yōu)化,往往要求對(duì)云數(shù)據(jù)中心網(wǎng)絡(luò)某些應(yīng)用的數(shù)據(jù)流進(jìn)行特定的路由選擇和聚合處理,特別是多對(duì)一的incast通信和多對(duì)多的shuffle通信。網(wǎng)絡(luò)控制器通過(guò)與計(jì)算控制器的交互,獲取應(yīng)用層的流量路由選擇策略。在滿足應(yīng)用層計(jì)算性能和特殊流量聚合要求的前提下,網(wǎng)絡(luò)控制器再?gòu)木W(wǎng)絡(luò)節(jié)能層面設(shè)計(jì)最小化網(wǎng)絡(luò)能耗的流量轉(zhuǎn)發(fā)控制策略,并配置到網(wǎng)絡(luò)節(jié)點(diǎn)。該機(jī)制的主要研究挑戰(zhàn)在于如何實(shí)現(xiàn)既滿足應(yīng)用層語(yǔ)義的流量性能又滿足網(wǎng)絡(luò)層節(jié)能需求的多目標(biāo)優(yōu)化。
4.4.4 面向清潔能源的云數(shù)據(jù)中心多能源優(yōu)化方法
為了降低能耗并建設(shè)綠色云數(shù)據(jù)中心,運(yùn)營(yíng)商通常會(huì)為云數(shù)據(jù)中心供能系統(tǒng)配備多種類型的能源,包括價(jià)格隨時(shí)間波動(dòng)的電網(wǎng)、有限容量的不間斷儲(chǔ)能電源、具有間歇性且由不穩(wěn)定電力供應(yīng)的清潔新能源等。多能源供應(yīng)系統(tǒng)的主要挑戰(zhàn)在于如何以一種優(yōu)化互補(bǔ)的方式利用多種供能資源,為具有動(dòng)態(tài)需求的云數(shù)據(jù)中心用戶提供可靠能源,同時(shí)最小化云數(shù)據(jù)中心運(yùn)營(yíng)商的長(zhǎng)期運(yùn)維開(kāi)銷。
云數(shù)據(jù)中心的負(fù)載變化可能不符合任何穩(wěn)態(tài)分布,導(dǎo)致云數(shù)據(jù)中心的能源需求動(dòng)態(tài)隨機(jī)變化。此外,新能源供電量的不可預(yù)測(cè)性增加了能源總體供應(yīng)的不穩(wěn)定性。這使得傳統(tǒng)的優(yōu)化模型和算法,如動(dòng)態(tài)規(guī)劃或者馬爾可夫決策過(guò)程,需要大量的關(guān)于能耗需求和能量供應(yīng)的信息或者分布概率,而且其復(fù)雜度會(huì)隨著系統(tǒng)變量的維數(shù)增加而呈指數(shù)級(jí)增長(zhǎng)。因此,為了設(shè)計(jì)不需要預(yù)測(cè)系統(tǒng)信息的在線控制方案,本項(xiàng)目擬運(yùn)用兩階段李雅普諾夫優(yōu)化技術(shù)最優(yōu)化框架,設(shè)計(jì)一種實(shí)用的并可證明有效的在線云數(shù)據(jù)中心供能系統(tǒng)控制方案。該方案不需要預(yù)先獲得系統(tǒng)負(fù)載、電價(jià)和新能源可用電量等數(shù)據(jù)信息,以一種多源供能互補(bǔ)協(xié)作的方式應(yīng)對(duì)隨機(jī)變化的能耗需求、不穩(wěn)定的新能源供應(yīng)和波動(dòng)的電價(jià)。
軟件定義網(wǎng)絡(luò)由于自身方便編程配置、易于管理控制等特點(diǎn),應(yīng)用于云數(shù)據(jù)中心可以解決現(xiàn)有云數(shù)據(jù)中心網(wǎng)絡(luò)中存在的體系結(jié)構(gòu)僵化、網(wǎng)絡(luò)資源利用率低、多用戶網(wǎng)絡(luò)資源分配不均、網(wǎng)絡(luò)中心能耗過(guò)高等問(wèn)題,是未來(lái)云數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展的主要方向。由于融合了云計(jì)算、下一代互聯(lián)網(wǎng)、大數(shù)據(jù)等領(lǐng)域的研究范疇,云數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)發(fā)展符合我國(guó)科技發(fā)展的重大戰(zhàn)略需求,并將成為我國(guó)戰(zhàn)略性新興產(chǎn)業(yè)的重要發(fā)展方向之一。