蔡岳平，張文鵬，羅 森

(重慶大學(xué) 通信工程學(xué)院，重慶 400044) (*通信作者電子郵箱caiyueping@cqu.edu.cn)

基于最小接入保證帶寬的數(shù)據(jù)中心網(wǎng)絡(luò)帶寬分配機(jī)制

蔡岳平*，張文鵬，羅 森

(重慶大學(xué) 通信工程學(xué)院，重慶 400044) (*通信作者電子郵箱caiyueping@cqu.edu.cn)

針對(duì)云計(jì)算數(shù)據(jù)中心(DC)網(wǎng)絡(luò)中多租戶(hù)間易相互干擾導(dǎo)致應(yīng)用性能不可預(yù)測(cè)，預(yù)留帶寬資源難以保證高網(wǎng)絡(luò)利用率，從而導(dǎo)致云網(wǎng)絡(luò)供應(yīng)商收益損失等問(wèn)題，提出了基于最小接入保證帶寬的數(shù)據(jù)中心網(wǎng)絡(luò)帶寬分配(MAGBA)機(jī)制。MAGBA機(jī)制在發(fā)送端通過(guò)加權(quán)公平隊(duì)列調(diào)度租戶(hù)虛擬機(jī)(VM)流量，在接收端基于檢測(cè)到的接收速率調(diào)節(jié)TCP流接收窗口，從而為租戶(hù)VM提供最小接入保證帶寬，同時(shí)充分利用閑置帶寬資源。通過(guò)NS2平臺(tái)仿真，MAGBA機(jī)制相比靜態(tài)資源預(yù)留方式能夠靈活分配帶寬資源，網(wǎng)絡(luò)吞吐量提升25%。當(dāng)某些租戶(hù)產(chǎn)生大量TCP流時(shí)，MAGBA機(jī)制中其他租戶(hù)分得的帶寬高于現(xiàn)有基于TCP流的帶寬分配機(jī)制。仿真結(jié)果表明，MAGBA機(jī)制能夠?yàn)樽鈶?hù)VM提供最小接入帶寬保證，避免租戶(hù)應(yīng)用受到其他租戶(hù)通信模式的干擾。

云計(jì)算；數(shù)據(jù)中心網(wǎng)絡(luò);多租戶(hù);資源共享;帶寬分配;性能隔離

0 引言

云計(jì)算[1]以虛擬化的方式實(shí)現(xiàn)了對(duì)資源的統(tǒng)計(jì)復(fù)用，云用戶(hù)可以通過(guò)網(wǎng)絡(luò)隨時(shí)隨地按需訪問(wèn)可配置資源池中的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、軟件等資源。數(shù)據(jù)中心(Data Center, DC)主要由大量服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備(交換機(jī)、路由器和電纜)以及配電系統(tǒng)和冷卻系統(tǒng)組成。而作為通信基礎(chǔ)設(shè)施的數(shù)據(jù)中心網(wǎng)絡(luò)(Data Center Network, DCN)是數(shù)據(jù)中心內(nèi)互連大規(guī)模服務(wù)器實(shí)現(xiàn)大型分布式計(jì)算的網(wǎng)絡(luò)，用于數(shù)據(jù)中心內(nèi)服務(wù)器間大量數(shù)據(jù)的傳輸和交換。作為云計(jì)算的基礎(chǔ)設(shè)施和解決云計(jì)算海量數(shù)據(jù)傳輸與交換的關(guān)鍵網(wǎng)絡(luò)，數(shù)據(jù)中心網(wǎng)絡(luò)已成為各界關(guān)注和研究的熱點(diǎn)[2]。

數(shù)據(jù)中心作為云計(jì)算的重要基礎(chǔ)設(shè)施，租戶(hù)在共享的環(huán)境中部署各自的云應(yīng)用。不同于CPU(Central Processing Unit)、內(nèi)存等資源固定存在每一臺(tái)服務(wù)器之中，分布式的網(wǎng)絡(luò)資源被使用同一路徑或者鏈路的租戶(hù)所共享，在缺乏合理帶寬分配機(jī)制的情況下，網(wǎng)絡(luò)性能變化和租戶(hù)間干擾將會(huì)頻繁發(fā)生，導(dǎo)致租戶(hù)應(yīng)用性能不可預(yù)測(cè)，最終影響云租戶(hù)和云網(wǎng)絡(luò)供應(yīng)商的收益。對(duì)于網(wǎng)絡(luò)的參與者，為了實(shí)現(xiàn)規(guī)模經(jīng)濟(jì)降低成本，云網(wǎng)絡(luò)供應(yīng)商希望最大化地增加網(wǎng)絡(luò)中租戶(hù)的數(shù)量，提高網(wǎng)絡(luò)利用率[3]；而另一方面，云租戶(hù)希望自己的云應(yīng)用可以獲得保證帶寬，從而實(shí)現(xiàn)對(duì)業(yè)務(wù)性能的可預(yù)測(cè)性，因此云網(wǎng)絡(luò)供應(yīng)商需要負(fù)責(zé)在云環(huán)境中部署性能隔離機(jī)制為租戶(hù)提供保證帶寬，但是這反過(guò)來(lái)又可能限制網(wǎng)絡(luò)利用率。在設(shè)計(jì)數(shù)據(jù)中心網(wǎng)絡(luò)帶寬分配機(jī)制時(shí)往往需要在實(shí)現(xiàn)高網(wǎng)絡(luò)利用率和提供保證帶寬之間進(jìn)行權(quán)衡。

當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)依然在很大程度上依賴(lài)于傳統(tǒng)的TCP/IP協(xié)議棧，這導(dǎo)致了網(wǎng)絡(luò)缺乏靈活性來(lái)支持云環(huán)境中的各種云應(yīng)用[4]。TCP(Transmission Control Protocol)雖然易于廣泛地分布式部署并且有較高的網(wǎng)絡(luò)利用率，但是TCP基于流級(jí)別的公平性無(wú)法為租戶(hù)提供嚴(yán)格的性能隔離。惡意租戶(hù)或者設(shè)計(jì)不佳的應(yīng)用程序通過(guò)打開(kāi)大量TCP流的方式來(lái)獲取更大的網(wǎng)絡(luò)帶寬。

本文提出了基于最小接入保證帶寬的數(shù)據(jù)中心網(wǎng)絡(luò)帶寬分配(Minimum Access Guaranteed Bandwidth Allocation, MAGBA)機(jī)制。MAGBA機(jī)制在接入鏈路實(shí)施帶寬分配管理，在發(fā)送端服務(wù)器中利用加權(quán)公平隊(duì)列(Weighted Fair Queuing, WFQ)對(duì)所有虛擬機(jī)(Virtual Machine, VM)的流量進(jìn)行調(diào)度，在接收端服務(wù)器中檢測(cè)接收速率，調(diào)節(jié)TCP流接收窗口，反饋限制UDP流傳輸，從而為租戶(hù)VM提供最小接入保證帶寬，同時(shí)充分利用閑置帶寬資源。

1 研究現(xiàn)狀

針對(duì)多租戶(hù)數(shù)據(jù)中心網(wǎng)絡(luò)帶寬分配問(wèn)題，研究人員提出的解決方案可以分為兩個(gè)類(lèi)型：一種是基于預(yù)留分配方式(reservation allocation based)，典型代表方案為SecondNet[5]和Oktopus[6];另一種是基于競(jìng)爭(zhēng)共享方式(competition sharing based)，典型代表方案為Seawall[7]和Netshare[8]。

1.1 預(yù)留分配方式

基于預(yù)留分配的方式為租戶(hù)抽象了帶寬請(qǐng)求模型，根據(jù)租戶(hù)請(qǐng)求，將租戶(hù)虛擬機(jī)部署于合適的網(wǎng)絡(luò)區(qū)域并且在hypervisor中實(shí)施速率限制，避免了租戶(hù)應(yīng)用受所共享網(wǎng)絡(luò)中其他租戶(hù)應(yīng)用流量模式、帶寬需求等因素的影響，從而提供了較好的網(wǎng)絡(luò)性能隔離。

SecondNet[5]該架構(gòu)提出以虛擬數(shù)據(jù)中心(Virtual Data Center, VDC)作為網(wǎng)絡(luò)資源分配的基本單位。SecondNet是管道模型(pipe model)的典型代表，為租戶(hù)所有虛擬機(jī)對(duì)之間的通信提供端到端的帶寬保證。該架構(gòu)對(duì)不同服務(wù)質(zhì)量要求的應(yīng)用進(jìn)行了三種服務(wù)類(lèi)型的劃分，分別為虛擬機(jī)對(duì)之間具有嚴(yán)格帶寬保證的type- 0模式、best-effort模式以及介于兩者之間具有最后一跳保證(ingress/egress guarantee)的type- 1模式。

Oktopus[6]該架構(gòu)主要關(guān)注應(yīng)用性能可預(yù)測(cè)性，提出了以虛擬網(wǎng)絡(luò)(virtual network)的方式來(lái)解決多租戶(hù)數(shù)據(jù)中心網(wǎng)絡(luò)中租戶(hù)應(yīng)用的帶寬需求和網(wǎng)絡(luò)供應(yīng)商供給之間不匹配的問(wèn)題。Oktopus基于hose model[9]提出了兩個(gè)抽象模型，虛擬集群(Virtual Cluster, VC)和虛擬超額訂購(gòu)集群(Virtual Oversubscribe Cluster, VOC)，分別適合于具有數(shù)據(jù)密集型應(yīng)用(例如MapReduce[10])和非數(shù)據(jù)密集型應(yīng)用的租戶(hù)。

但是基于預(yù)留分配機(jī)制也有著明顯的缺點(diǎn)：一旦租戶(hù)對(duì)帶寬的需求低于所分配的帶寬，就會(huì)造成網(wǎng)絡(luò)帶寬資源的浪費(fèi)從而降低網(wǎng)絡(luò)利用率；其次，租戶(hù)往往很難明確定義所部署的應(yīng)用對(duì)于網(wǎng)絡(luò)帶寬資源的準(zhǔn)確需求情況，這使得租戶(hù)所需帶寬難以與所分配的帶寬理想匹配。上訴原因?qū)е铝遂o態(tài)預(yù)留分配的方式缺乏靈活性。

1.2 競(jìng)爭(zhēng)共享方式

基于競(jìng)爭(zhēng)共享的方式將流級(jí)別(flow-level)的競(jìng)爭(zhēng)擴(kuò)展到虛擬機(jī)級(jí)別(VM-level)或者租戶(hù)級(jí)別(tenant-level)。參與網(wǎng)絡(luò)帶寬分配的實(shí)體之間基于所分配的權(quán)重進(jìn)行競(jìng)爭(zhēng)。該方式能夠充分利用網(wǎng)絡(luò)帶寬資源，在保持較高網(wǎng)絡(luò)利用率的同時(shí)，能夠靈活地確保需求更大或者優(yōu)先級(jí)更高的應(yīng)用可以分配到更多的網(wǎng)絡(luò)帶寬資源。

Seawall[7]該機(jī)制的核心思想是在多租戶(hù)數(shù)據(jù)中心網(wǎng)絡(luò)中，將網(wǎng)絡(luò)帶寬資源分配從傳統(tǒng)基于TCP流級(jí)別的最大最小公平共享方式變更實(shí)現(xiàn)為在租戶(hù)VM之間的加權(quán)最大最小公平共享。Seawall通過(guò)擁塞控制隧道(congestion controlled tunnel)實(shí)現(xiàn)該服務(wù)器下所有VM對(duì)網(wǎng)絡(luò)帶寬資源的加權(quán)公平共享，從而避免了惡意租戶(hù)通過(guò)多打開(kāi)TCP流或者使用UDP流來(lái)?yè)屨几嗑W(wǎng)絡(luò)帶寬干擾其他租戶(hù)應(yīng)用性能的情形。此外Seawall使用了一個(gè)控制回環(huán)(control loop)來(lái)匯集來(lái)自多個(gè)目的端的反饋信息，來(lái)避免租戶(hù)VM通過(guò)一對(duì)多通信模式與多個(gè)VM通信的方式從而獲得更多帶寬的情形。

Netshare[8]該機(jī)制實(shí)現(xiàn)了租戶(hù)應(yīng)用對(duì)網(wǎng)絡(luò)帶寬資源的分級(jí)加權(quán)公平共享(hierarchical weighted max-min fair sharing)。網(wǎng)絡(luò)管理者為每一租戶(hù)分配權(quán)重值，用于競(jìng)爭(zhēng)共享瓶頸鏈路帶寬資源。而租戶(hù)基于權(quán)重值所分配的帶寬資源，再一次在該租戶(hù)多個(gè)TCP流之間公平共享。

但是基于競(jìng)爭(zhēng)共享方式的缺點(diǎn)主要是無(wú)法為租戶(hù)提供嚴(yán)格的帶寬保證，租戶(hù)應(yīng)用仍然可能因受到網(wǎng)絡(luò)中其他租戶(hù)數(shù)量和權(quán)重的影響，從而使得性能難以預(yù)測(cè)。此外，GateKeeper[11]和ElasticSwitch[12]等機(jī)制為租戶(hù)VM提供了最小保證帶寬，并且允許租戶(hù)使用額外空閑帶寬資源，從而提供了更加靈活的網(wǎng)絡(luò)帶寬分配策略。

2 MAGBA機(jī)制

本章對(duì)MAGBA的工作機(jī)制進(jìn)行詳細(xì)介紹。MAGBA的核心思想是在接入鏈路實(shí)施帶寬分配管理，通過(guò)發(fā)送端的加權(quán)公平隊(duì)列調(diào)度和接收端的速率檢測(cè)與調(diào)節(jié)機(jī)制，為租戶(hù)VM提供最小接入保證帶寬，同時(shí)充分利用閑置帶寬資源。

2.1 最小接入保證帶寬模型

首先，近年來(lái)研究人員提出的新型數(shù)據(jù)中心網(wǎng)絡(luò)體系結(jié)構(gòu)，如Fat-Tree[13]、VL2[14]等均構(gòu)建了高等分帶寬(high bisection bandwidth)網(wǎng)絡(luò)拓?fù)洌黄浯?，在廣泛使用的等價(jià)多路徑轉(zhuǎn)發(fā)(Equal-Cost Multipath Routing, ECMP)算法[15]基礎(chǔ)上，Hedera[16]、MicroTE[17]、MPTCP[18]等機(jī)制能夠更加充分利用網(wǎng)絡(luò)多路徑，均衡分布網(wǎng)絡(luò)流量；最后，數(shù)據(jù)中心網(wǎng)絡(luò)邊緣相對(duì)于核心層更容易發(fā)生持續(xù)性擁塞。

MAGBA機(jī)制在網(wǎng)絡(luò)邊緣的接入鏈路進(jìn)行帶寬分配。對(duì)于租戶(hù)而言，在邏輯上，其VM均以具有最小保證帶寬的方式通過(guò)接入鏈路連接至一臺(tái)無(wú)阻塞交換機(jī)上，如圖1所示。根據(jù)租戶(hù)服務(wù)等級(jí)要求(Service-Level Agreement, SLA)實(shí)現(xiàn)租戶(hù)VM到物理服務(wù)器映射過(guò)程不屬于本文的討論范圍，本文假設(shè)接入鏈路帶寬能夠滿足對(duì)應(yīng)服務(wù)器下所有租戶(hù)VM的最小保證帶寬之和。

圖1 最小接入保證帶寬模型

2.2 核心功能

MAGBA機(jī)制在發(fā)送端服務(wù)器中利用加權(quán)公平隊(duì)列WFQ對(duì)所有VM的流量進(jìn)行調(diào)度，在接收端服務(wù)器中檢測(cè)接收速率，調(diào)節(jié)TCP流接收窗口，反饋限制UDP流傳輸。MAGBA機(jī)制核心功能模塊，如圖2所示。

圖2 MAGBA機(jī)制核心功能模塊

發(fā)送端模塊 由于租戶(hù)VM產(chǎn)生的流量可能直接在發(fā)送端對(duì)應(yīng)的接入鏈路對(duì)網(wǎng)絡(luò)帶寬資源進(jìn)行競(jìng)爭(zhēng)，造成租戶(hù)VM所分配的網(wǎng)絡(luò)帶寬受到其他租戶(hù)VM通信過(guò)程中，協(xié)議選擇、帶寬需求、通信模式等因素的影響，因此MAGBA機(jī)制在發(fā)送端使用加權(quán)公平隊(duì)列(Weighted Fair Queuing, WFQ)對(duì)租戶(hù)VM流量進(jìn)行調(diào)度，其中VM權(quán)重值對(duì)應(yīng)最小接入保證帶寬。此外，在發(fā)送端的流量過(guò)濾模塊(Filter)功能是負(fù)責(zé)限制非響應(yīng)UDP流量的傳輸。租戶(hù)VM產(chǎn)生的流量在進(jìn)入調(diào)度隊(duì)列前首先進(jìn)入對(duì)應(yīng)的流量過(guò)濾模塊，當(dāng)流量過(guò)濾模塊收到某一接收端的速率限制反饋信息后將丟棄發(fā)往該接收端的UDP數(shù)據(jù)包，直到收到該接收端的限制解除信息。

接收端模塊 數(shù)據(jù)中心網(wǎng)絡(luò)廣泛部署的具有多對(duì)一通信模式應(yīng)用以及利用發(fā)送端閑置鏈路帶寬資源進(jìn)行數(shù)據(jù)傳輸?shù)膽?yīng)用均可能造成在接收端發(fā)生競(jìng)爭(zhēng)，導(dǎo)致部分租戶(hù)VM無(wú)法實(shí)現(xiàn)最小接入保證帶寬。MAGBA機(jī)制首先在接收端部署速率檢測(cè)模塊(Rate Meter Module)，在周期時(shí)間T內(nèi)統(tǒng)計(jì)流入接收端總的數(shù)據(jù)量，計(jì)算出接收速率RT。其次，MAGBA在接收端設(shè)置閾值RK，作為接收端是否進(jìn)行速率限制的標(biāo)志。當(dāng)接收速率RT小于閾值RK時(shí)表明接收端鏈路帶寬資源未被充分利用，此時(shí)無(wú)需對(duì)租戶(hù)VM進(jìn)行速率限制，從而保證需求較大的租戶(hù)VM可以充分利用閑置帶寬資源；而當(dāng)接收速率RT大于閾值RK時(shí)表明接收端將可能出現(xiàn)對(duì)帶寬的競(jìng)爭(zhēng)現(xiàn)象，需要對(duì)部分租戶(hù)VM進(jìn)行速率限制，從而實(shí)現(xiàn)最小接入保證帶寬。閾值RK的設(shè)置需要權(quán)衡實(shí)現(xiàn)高網(wǎng)絡(luò)利用率和最小接入保證帶寬快速收斂，閾值RK設(shè)置的值越大，網(wǎng)絡(luò)利用率越高，但是控制VM發(fā)送速率使其收斂于最小接入保證帶寬的速度越慢。為了進(jìn)行速率限制，速率檢測(cè)模塊還需要在周期時(shí)間T內(nèi)計(jì)算出每一臺(tái)VM對(duì)應(yīng)的接收速率Rm以及TCP流總的接收速率Rm_tcp。當(dāng)總的接收速率RT大于閾值RK時(shí)，MAGBA機(jī)制選擇接收速率Rm大于其對(duì)應(yīng)最小接入保證帶寬Bmin的VM進(jìn)行速率限制，速率檢測(cè)模塊通知速率調(diào)節(jié)模塊(Rate Adjust)，速率調(diào)節(jié)模塊向該VM所有通信對(duì)端的流量過(guò)濾模塊發(fā)送反饋信息，限制UDP流傳輸，直到總的接收速率RT小于閾值RK后發(fā)送限制解除信息。對(duì)于該VM當(dāng)前TCP流，速率調(diào)節(jié)模塊修改確認(rèn)(ACKnowledgement, ACK)包中的接收窗口值，公式為：

(1)

算法1 接收端速率調(diào)節(jié)算法。

輸入：Bmin={B1,B2,…,Bm}，表示VM最小接入保證帶寬集合；V={V1,V2,…,Vm}，表示接收端VM集合；RK為閾值接收速率；T為速率檢測(cè)周期。 輸出：F={F1,F2,…,Fm}，表示接收端VM所屬TCP流窗口調(diào)節(jié)系數(shù)。

1)

RT←GetRECVRate(T)； //獲取接收端周期T內(nèi)總的接收速率

2)

FOR(i=1;i<=VM_NUM;i++)

3)

VM_Total_rate[i]←GetTotalRate(i,T);

4)

VM_TCP_rate[i]←GetTCPRate(i,T);

5)

END FOR

//獲取接收端每一臺(tái)VM總的接收速率和

//其中TCP流的接收速率

6)

IF (RT

7)

FOR(i=1;i<=VM_NUM;i++)

8)

Fi=1；

9)

END FOR

//當(dāng)總的接收速率小于閾值時(shí)，不進(jìn)行速率調(diào)節(jié)保證

//高網(wǎng)絡(luò)利用率

10)

ELSE

11)

FOR (i=1;i<=VM_NUM;i++)

12)

IF (VM_Total_rate[i]>Bi)THEN

13)

SendUDPPauseFeedback(i)；

14)

Fi=Min(1,Bi/VM_TCP_rate[i])；

15)

ELSE

16)

Fi=1；

17)

END IF

18)

END FOR

//當(dāng)總的接收速率大于閾值時(shí)，選擇接收速率

//大于其對(duì)應(yīng)最小接入保證帶寬的VM進(jìn)行速率調(diào)節(jié)

19)

END IF

20)

RETURNF；

分析此算法可知其時(shí)間復(fù)雜度和空間復(fù)雜度均為線性階，并且算法以分布式機(jī)制實(shí)現(xiàn)于每一臺(tái)服務(wù)器中，因此有利于網(wǎng)絡(luò)的可擴(kuò)展性，避免了通過(guò)網(wǎng)絡(luò)維護(hù)大量流狀態(tài)信息從而導(dǎo)致對(duì)網(wǎng)絡(luò)規(guī)模擴(kuò)展的限制。

當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)大量采用TCP協(xié)議進(jìn)行數(shù)據(jù)傳輸，數(shù)據(jù)網(wǎng)絡(luò)中99.91%的流量是TCP流量[19]，因此當(dāng)帶寬資源不足時(shí)，MAGBA機(jī)制主要基于最小接入保證帶寬值Bmin調(diào)節(jié)TCP流接收窗口，并在短時(shí)間內(nèi)限制數(shù)量較少的非響應(yīng)式UDP流傳輸，實(shí)現(xiàn)接收端的帶寬分配管理。直接在接收端修改TCP接收窗口可以避免在發(fā)送端動(dòng)態(tài)創(chuàng)建多個(gè)速率限制器，有利于控制服務(wù)器資源開(kāi)銷(xiāo)。

3 仿真結(jié)果與分析

仿真實(shí)驗(yàn)使用NS2(Network Simulation version 2)仿真軟件進(jìn)行，NS2是一個(gè)面向?qū)ο蟮?、離散事件驅(qū)動(dòng)的網(wǎng)絡(luò)仿真工具。仿真實(shí)驗(yàn)主要展示相對(duì)于在無(wú)控制機(jī)制下直接使用TCP流進(jìn)行數(shù)據(jù)傳輸?shù)那闆r，MAGBA機(jī)制在實(shí)現(xiàn)租戶(hù)間性能隔離的優(yōu)勢(shì)。

在仿真實(shí)驗(yàn)過(guò)程中，設(shè)置所有的鏈路帶寬為1 Gb/s，時(shí)延為50 μs，對(duì)應(yīng)數(shù)據(jù)中心高帶寬、低時(shí)延的網(wǎng)絡(luò)環(huán)境。仿真過(guò)程中直接將終端服務(wù)器節(jié)點(diǎn)連入同一交換機(jī)形成網(wǎng)絡(luò)拓?fù)?，直觀地展示對(duì)接入鏈路帶寬分配工作的分析。主要的仿真實(shí)驗(yàn)參數(shù)如表1所示。

表1 主要仿真參數(shù)

3.1 發(fā)送端鏈路最小接入保證帶寬

仿真實(shí)驗(yàn)設(shè)置分別屬于租戶(hù)A和租戶(hù)B的一臺(tái)虛擬機(jī)共享同一發(fā)送端鏈路，而其對(duì)應(yīng)接收端VM屬于不同接收端鏈路，來(lái)仿真多租戶(hù)共享發(fā)送端鏈路的情景。速率檢測(cè)周期T設(shè)置為1 ms，閾值RK設(shè)置為900 Mb/s，租戶(hù)VM最小接入保證帶寬Bmin均設(shè)置為450 Mb/s。租戶(hù)VM搭載FTP應(yīng)用傳輸TCP流，其中租戶(hù)A使用一個(gè)TCP流進(jìn)行數(shù)據(jù)傳輸，租戶(hù)B使用多個(gè)TCP進(jìn)行數(shù)據(jù)傳輸。仿真結(jié)果如圖3所示。

圖3 多租戶(hù)共享發(fā)送端鏈路性能隔離

仿真結(jié)果表明，當(dāng)發(fā)送端鏈路出現(xiàn)帶寬競(jìng)爭(zhēng)時(shí)，在無(wú)性能隔離機(jī)制下直接使用TCP流進(jìn)行傳輸?shù)倪^(guò)程中，租戶(hù)A所分配的帶寬資源隨著租戶(hù)B使用的TCP流數(shù)量上升而減少。主要的原因在于TCP基于流級(jí)別的公平性無(wú)法為租戶(hù)提供嚴(yán)格的性能隔離，當(dāng)惡意租戶(hù)或者設(shè)計(jì)不佳的應(yīng)用程序打開(kāi)大量TCP流進(jìn)行數(shù)據(jù)傳輸時(shí)將獲得更多的網(wǎng)絡(luò)帶寬資源。MAGBA機(jī)制在發(fā)送端通過(guò)加權(quán)公平隊(duì)列進(jìn)行調(diào)度，保證了租戶(hù)VM實(shí)現(xiàn)最小接入保證帶寬，當(dāng)某一租戶(hù)VM使用大流TCP進(jìn)行傳輸時(shí)，TCP流之間的競(jìng)爭(zhēng)現(xiàn)象只發(fā)生在該VM對(duì)應(yīng)帶寬份額內(nèi)，不會(huì)影響其他正常租戶(hù)的數(shù)據(jù)傳輸。

3.2 接收端鏈路最小接入保證帶寬

該仿真實(shí)驗(yàn)設(shè)置分別屬于租戶(hù)A和租戶(hù)B的一臺(tái)虛擬機(jī)共享同一接收端鏈路，而其對(duì)應(yīng)發(fā)送端的多個(gè)VM屬于不同發(fā)送端鏈路，來(lái)仿真多租戶(hù)共享接收端鏈路的情景。主要仿真參數(shù)設(shè)置保持不變，速率檢測(cè)周期T設(shè)置為1 ms，閾值RK設(shè)置為900 Mb/s，其中租戶(hù)A的VM最小接入保證帶寬Bmin設(shè)置為600 Mb/s，租戶(hù)B的VM最小接入保證帶寬Bmin設(shè)置為300 Mb/s。租戶(hù)VM搭載FTP應(yīng)用傳輸TCP流，其中租戶(hù)A虛擬機(jī)之間進(jìn)行點(diǎn)對(duì)點(diǎn)通信，租戶(hù)B虛擬機(jī)之間進(jìn)行多對(duì)一通信，并且多對(duì)一通信模式的發(fā)送端VM僅產(chǎn)生一個(gè)TCP流。仿真結(jié)果如圖4所示。

圖4 多租戶(hù)共享接收端鏈路性能隔離

仿真結(jié)果表明，當(dāng)接收端鏈路出現(xiàn)帶寬競(jìng)爭(zhēng)時(shí)，在無(wú)性能隔離機(jī)制下直接使用TCP流進(jìn)行傳輸?shù)倪^(guò)程中，租戶(hù)A所分配的帶寬資源隨著具有多對(duì)一通信模式租戶(hù)B使用的TCP流數(shù)量上升而減少。數(shù)據(jù)中心網(wǎng)絡(luò)廣泛部署的多對(duì)一通信模式應(yīng)用可能在接收端造成帶寬資源分配不公平。MAGBA機(jī)制通檢測(cè)接收端總的接收速率和每一臺(tái)VM的接收速率判定是否需要進(jìn)行速率調(diào)節(jié)：當(dāng)帶寬資源不足時(shí)，通過(guò)控制TCP流接收窗口和限制UDP流的傳輸?shù)姆绞綄?shí)現(xiàn)租戶(hù)VM最小接入保證帶寬，避免租戶(hù)間應(yīng)用性能干擾；當(dāng)帶寬資源充足時(shí)，租戶(hù)VM可以獲得額外帶寬，提高吞吐量，實(shí)現(xiàn)高網(wǎng)絡(luò)利用率。

3.3 空閑鏈路帶寬資源共享

前兩部分對(duì)MAGBA機(jī)制為租戶(hù)間提供的隔離機(jī)制進(jìn)行了仿真實(shí)驗(yàn)，因此假設(shè)了所有租戶(hù)VM間一直存在大量待傳輸?shù)臄?shù)據(jù)，即對(duì)應(yīng)無(wú)限制的帶寬需求。本部分仿真實(shí)驗(yàn)關(guān)注鏈路帶寬資源的共享，即當(dāng)某一租戶(hù)VM通信過(guò)程中，發(fā)送速率持續(xù)小于其最小接入保證帶寬時(shí)，共享鏈路的其他租戶(hù)VM可以使用空閑帶寬資源。實(shí)驗(yàn)過(guò)程中，速率檢測(cè)周期T設(shè)置為1 ms，閾值RK設(shè)置為900 Mb/s，租戶(hù)VM最小接入保證帶寬Bmin均設(shè)置為450 Mb/s。租戶(hù)A與租戶(hù)B均使用一對(duì)VM搭載FTP應(yīng)用使用一個(gè)TCP流進(jìn)行數(shù)據(jù)傳輸，其中租戶(hù)A與租戶(hù)B虛擬機(jī)共享發(fā)送端鏈路，接收端VM分別屬于不同鏈路，租戶(hù)B以固定速率發(fā)送數(shù)據(jù)。仿真結(jié)果如圖5所示。

仿真結(jié)果表明，當(dāng)租戶(hù)B所屬VM持續(xù)以小于其最小接入保證帶寬的速率傳輸數(shù)據(jù)時(shí)，對(duì)于靜態(tài)預(yù)留帶寬資源的分配方式，具有更大帶寬資源需求的租戶(hù)A所屬VM無(wú)法利用空閑的帶寬，導(dǎo)致了資源浪費(fèi)，而MAGBA機(jī)制使得共享同一鏈路租戶(hù)VM能夠利用空閑鏈路帶寬資源，提高吞吐量。

4 結(jié)語(yǔ)

數(shù)據(jù)中心作為云計(jì)算的重要基礎(chǔ)設(shè)施，租戶(hù)在共享的環(huán)境中部署各自的云應(yīng)用。多租戶(hù)間易相互干擾導(dǎo)致應(yīng)用性能不可預(yù)測(cè)，而預(yù)留帶寬資源難以保證高網(wǎng)絡(luò)利用率導(dǎo)致云網(wǎng)絡(luò)供應(yīng)商收益損失，本文提出了基于最小接入保證帶寬的數(shù)據(jù)中心網(wǎng)絡(luò)帶寬分配(MAGBA)機(jī)制。MAGBA機(jī)制在接入鏈路實(shí)施帶寬分配管理，在發(fā)送端服務(wù)器中利用加權(quán)公平隊(duì)列(WFQ)進(jìn)行流量調(diào)度，在接收端服務(wù)器中檢測(cè)接收速率，調(diào)節(jié)TCP流接收窗口，從而為租戶(hù)VM提供最小接入保證帶寬，同時(shí)充分利用閑置帶寬資源。仿真實(shí)驗(yàn)結(jié)果表明，MAGBA機(jī)制能夠分別在發(fā)送端和接收端為租戶(hù)VM提供最小接入保證帶寬，避免租戶(hù)應(yīng)用受到其他租戶(hù)的干擾。

圖5 空閑鏈路帶寬資源共享

深入探討在更大規(guī)模網(wǎng)絡(luò)以及更加復(fù)雜的流量模型下，MAGBA機(jī)制在租戶(hù)VM間帶寬分配的情況和應(yīng)用性能的影響將是下一階段的主要工作。

References)

[1] ARMBRUST M, FOX A, GRIFFITH R, et al. Above the clouds: a Berkeley view of cloud computing [R]. Berkeley: University of California at Berkeley, 2009:50-58.

[2] 李丹，陳貴海，任豐原,等.數(shù)據(jù)中心網(wǎng)絡(luò)的研究進(jìn)展與趨勢(shì)[J].計(jì)算機(jī)學(xué)報(bào)，2014,37(2):259-274.(LI D, CHEN G H, REN F Y, et al. Data center network research progress and trends [J]. Chinese Journal of Computers, 2014, 37(2): 259-274.)

[3] 王聰,王翠榮,苑迎.基于收益優(yōu)化的虛擬數(shù)據(jù)中心網(wǎng)絡(luò)資源分配模型[J].東北大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,32(11):1546-1549.(WANG C, WANG C R, YUAN Y. Resource allocation model to achieve optimize profit in virtual data center [J]. Journal of Northeastern University (Natural Science), 2011, 32(11): 1546-1549.)

[4] BARI M F, BOUTABA R, ESTEVES R, et al. Data center network virtualization: a survey [J]. IEEE Communications Surveys & Tutorials, 2013, 15(2): 909-928.

[5] GUO C, LU G, WANG H J, et al. SecondNet: a data center network virtualization architecture with bandwidth guarantees [C]// Co-NEXT’10: Proceedings of the 6th International Conference on Emerging Networking Experiments and Technologies. New York: ACM, 2010: Article No. 15.

[6] BALLANI H, COSTA P, KARAGIANNIS T, et al. Towards predictable datacenter networks [C]// ACM SIGCOMM Computer Communication Review, 2011, 41(4): 242-253.

[7] SHIEH A, KANDULAZ S, GREENBERG A, et al. Sharing the data center network [C]// NSDI’11: Proceedings of the 8th USENIX Conference on Networked Systems Design and Implementation. Berkeley, CA: USENIX Association, 2011: 309-322.

[8] VARGHESE G. NetShare: virtualizing data center networks across services, CS 2010- 0957 [R]. San Diego: University of California, 2010.

[9] DUFFIELD N G, GOYAL P, GREENBERG A, et al. A flexible model for resource management in virtual private networks [C]// SIGCOMM’99: Proceedings of the 1999 Conference on Applications, Technologies, Architectures, and Protocols for Computer Communication. New York: ACM, 1999: 95-108.

[10] DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters [J]. Communication of ACM, 2008, 51(1): 107-113.

[11] RODRIGUES H, SANTOS J R, TURNER Y, et al. Gatekeeper: supporting bandwidth guarantees for multi-tenant datacenter networks [C]// WIOV’11: Proceedings of the 3rd Conference on I/O Virtualization. Berkeley, CA: USENIX Association, 2011: 6.

[12] POPA L, YALAGANDULA P, BANERJEE S, et al. ElasticS-witch: practical work-conserving bandwidth guarantees for cloud computing [C]// SIGCOMM 2013: Proceedings of the ACM SIGCOMM 2013 Conference on Applications, Technologies, Architectures, and Protocols for Computer Communication. New York: ACM, 2013: 351-362.

[13] AL-FARES M, LOUKISSAS A, VAHDAT A. A scalable commodity data center network architecture [C]// Proceedings of the ACM SIGCOMM 2008 Conference on Data Communication. New York: ACM, 2008: 63-74.

[14] GREENBEI A, HAMILTON J R, JAIN N. VL2: a scalable and flexible data center network [J]. ACM SIGCOMM Computer Communication Review, 2009, 39(4): 51-62.

[15] HOPPS C. Analysis of an equal-cost multi-path algorithm: RFC2992 [S]. [S.l.]: IETF, 2000.

[16] AL-FARES M, RADHAKRISHNAN S, RAGHAVAN B, et al. Hedera: dynamic flow scheduling for data center networks [C]// Proceedings of the 2010 USENIX Conference on Networked Systems Design and Implementation. Berkeley, CA: USENIX Association, 2010: 281-296.

[17] BENSON T, ANAND A, AKELLA A, et al. MicroTE: fine grained traffic engineering for data center [C]// CoNEXT’11: Proceedings of the Seventh Conference on Emerging Networking Experiments and Technologies. New York: ACM, 2011: 8.

[18] RAICIU C, BARRE S, PLUNTKE C, et al. Improving datacenter performance and robustness with multipath TCP [J]. ACM SIGCOMM Computer Communication Review, 2011, 41(4): 266-277.

[19] ALIZADEH M, GRENNBERG A, MALTZ D, et al. Data center TCP (DCTCP) [J]. ACM SIGCOMM Computer Communication Review, 2010, 40(4): 63-74.

This work is partially supported by the National Natural Science Foundation of China (61301119).

CAIYueping, born in 1980, Ph. D., associate professor. His research interests include cloud computing, data center network, optical network, content centric network, software defined network.

ZHANGWenpeng, born in 1992, M. S. candidate. His research interests include cloud computing, data center network.

LUOSen, born in 1993, M. S. candidate. His research interests include cloud computing, data center network.

Minimumaccessguaranteedbandwidthallocationmechanismindatacenternetwork

CAI Yueping*, ZHANG Wenpeng, LUO Sen

(CollegeofCommunicationEngineering,ChongqingUniversity,Chongqing400044,China)

In Data Center Network (DCN), multiple tenants may interfere with each other, which leads to unpredictable application performance. Reserving bandwidth resources can hardly guarantee high network utilization, which may result in revenue loss of cloud providers. To address above problems, a Minimum Access Guaranteed Bandwidth Allocation (MAGBA) mechanism for data center networks was proposed. To provide the minimum bandwidth guarantee and make full use of idle bandwidth for tenants, the MAGBA scheduled traffic of Virtual Machine (VM) through Weighted Fairness Queuing at the sending side, and it adjusted TCP flow’s receiving window at the receiving side. Through simulations on NS2 (Network Simulation version 2) platform, compared with the static resource reservation method, MAGBA mechanism was more flexible in bandwidth allocation and it could improve the network throughput by 25%. When some tenants sent a lot of TCP flows, the other tenants in the MAGBA obtained higher bandwidth than that in the existing bandwidth allocation mechanism based on TCP flows. The simulation results show that the MAGBA mechanism can provide minimum access guaranteed bandwidth for VMs and it can avoid interferences from other tenants.

cloud computing; Data Center Network (DCN); multi-tenant; resource sharing; bandwidth allocation; performance isolation

TP393.071

:A

2017- 02- 20;

:2017- 04- 10。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61301119)。

蔡岳平(1980—)，男，江蘇丹陽(yáng)人，副教授，博士，CCF會(huì)員，主要研究方向：云計(jì)算、數(shù)據(jù)中心網(wǎng)絡(luò)、光網(wǎng)絡(luò)、內(nèi)容中心網(wǎng)絡(luò)、軟件定義網(wǎng)絡(luò)； 張文鵬(1992—)，男，四川綿陽(yáng)人，碩士研究生，主要研究方向：云計(jì)算、數(shù)據(jù)中心網(wǎng)絡(luò)； 羅森(1993—)，男，湖北武漢人，碩士研究生，主要研究方向：云計(jì)算、數(shù)據(jù)中心網(wǎng)絡(luò)。

1001- 9081(2017)07- 1825- 05

10.11772/j.issn.1001- 9081.2017.07.1825