摘要： 針對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的流調(diào)度優(yōu)化問(wèn)題，選用經(jīng)典的Fat-Tree拓?fù)浣Y(jié)構(gòu)，利用軟件定義網(wǎng)絡(luò)集中控制的優(yōu)勢(shì)，提出一種基于帶寬匹配的節(jié)能路由算法（energy efficient routing algorithm， EERA）。EERA首先對(duì)需要傳輸?shù)臄?shù)據(jù)流按照其截止時(shí)間進(jìn)行排序，然后對(duì)拓?fù)渲械逆溌窓?quán)值按照每個(gè)排序后的數(shù)據(jù)流需要傳輸?shù)臄?shù)據(jù)量進(jìn)行更新，刪除可用帶寬不滿足傳輸數(shù)據(jù)量的鏈路，得到新的拓?fù)鋱D。在重新定義的拓?fù)鋱D中，EERA計(jì)算源節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)之間所有可用鏈路，從這些可用鏈路中選取與流傳輸數(shù)據(jù)量所需帶寬最匹配的鏈路進(jìn)行路由。仿真實(shí)驗(yàn)表明，在不增加額外存儲(chǔ)開(kāi)銷(xiāo)的前提下，EERA為即將到來(lái)的數(shù)據(jù)流預(yù)留了足夠的帶寬，減少了網(wǎng)絡(luò)鏈路擁塞，在節(jié)省網(wǎng)絡(luò)能耗的同時(shí)實(shí)現(xiàn)了網(wǎng)絡(luò)負(fù)載均衡。

關(guān)鍵詞： 數(shù)據(jù)中心網(wǎng)絡(luò); 軟件定義網(wǎng)絡(luò); 流量調(diào)度; 負(fù)載均衡; 節(jié)能路由

中圖分類(lèi)號(hào)： TN 92

文獻(xiàn)標(biāo)志碼： A

DOI：10.12305/j.issn.1001-506X.2024.11.32

Traffic energy efficient scheduling scheme based on bandwidth matching in software defined data center networks

ZHANG Zhaohui^*， ZHOU Jiaqi

（School of Mathematics and Statistics， Xidian University， Xi’an 710126， China）

Abstract： To solve the traffic scheduling optimization problem in the data center networks， an energy efficient routing algorithm （EERA） is proposed based on bandwidth matching in the software defined data center networks， and takes the advantage of the software defined network centralized control using classic Fat-Tree topology. EERA sorts the traffic according to their deadlines and traffic sizes and updates the link weights in the topology for each sorted traffic according to the amount of data. Then EERA deletes the links whose available bandwidth does not meet the amount of transmitting data and gets a new topology. In the redefined topology， EERA calculates all the available links between the source node and the target node， then selectes the optimal links from these available links that match the bandwidth required by traffic transmitting. Simulation results show that EERA reserves enough bandwidth for incoming traffic with no additional storage overhead， and reduces the network congestion. At the same time， EERA saves the network energy consumption and achieves the network load balancing.

Keywords： data center network; software defined network; traffic scheduling; load balancing; energy efficient routing

0 引 言

數(shù)據(jù)中心（data centers， DCs）是當(dāng)今云計(jì)算的重要組成部分，其拓?fù)錁?gòu)造主要由大量節(jié)點(diǎn)、服務(wù)器和交換機(jī)組成，通過(guò)設(shè)備之間的相互連接而進(jìn)行數(shù)據(jù)通信，主要用于分布式計(jì)算、存儲(chǔ)或?yàn)橛脩籼峁┰品?wù)。隨著5G技術(shù)的發(fā)展，用戶對(duì)分布式控制系統(tǒng)的需求逐步增加，過(guò)去十年，DC網(wǎng)絡(luò)（DC networks， DCNs）在規(guī)模和鏈路速率方面都在快速增長(zhǎng)，與此同時(shí)，大量的計(jì)算、存儲(chǔ)和通信資源正在轉(zhuǎn)移到DCs，越來(lái)越多的分布式應(yīng)用程序（如web搜索、社交網(wǎng)絡(luò)和在線購(gòu)物）也部署在大型DCs，這些應(yīng)用程序在DCNs中產(chǎn)生了海量的數(shù)據(jù)流量，其性能直接影響到用戶體驗(yàn)和DCs提供商的收入。如今，DCNs承載著百度、抖音、推特、Ins、亞馬遜、微軟和谷歌等云服務(wù)供應(yīng)商的大部分網(wǎng)絡(luò)流量，現(xiàn)代DCNs通常組織在多路由根樹(shù)拓?fù)渲?，比如Fat-Tree與兩層虛擬鏈接（virtual link-2， VL2），在不同服務(wù)器之間提供多條等成本路徑，故而多徑數(shù)據(jù)傳輸直接影響到DCNs應(yīng)用程序的性能，針對(duì)DCNs的相關(guān)優(yōu)化技術(shù)研究至關(guān)重要。

據(jù)估計(jì)，到2025年，全球DCs能耗將占全球能源消耗的33%^［1］，對(duì)于DCs而言，不斷增長(zhǎng)的能源消耗一直限制著云服務(wù)的快速發(fā)展，并引發(fā)了經(jīng)濟(jì)和環(huán)境危機(jī)。DCs的能耗主要來(lái)自3個(gè)方面：DCNs、服務(wù)器和制冷系統(tǒng)，其中DCNs能耗約占DC總能耗的20%，這使得降低DCNs能源消耗已成為DCs需要解決的問(wèn)題之一。

在現(xiàn)有的DCNs節(jié)能路由協(xié)議中，流量調(diào)度技術(shù)已被廣泛采用^［2］。在節(jié)能的前提下，合理的流量調(diào)度技術(shù)可以增加網(wǎng)絡(luò)吞吐量和降低延遲，從而改進(jìn)網(wǎng)絡(luò)性能。獨(dú)占式路由可以充分利用鏈路，允許流獨(dú)占路徑，并且流可以在全帶寬鏈路下進(jìn)行傳輸。然而，目前的流調(diào)度方法經(jīng)常采取的方式是直接按照流大小優(yōu)先級(jí)或流到達(dá)時(shí)間順序進(jìn)行調(diào)度，這樣雖然在一定的程度上實(shí)現(xiàn)了數(shù)據(jù)傳輸?shù)母咄掏屡c低時(shí)延，但可能會(huì)導(dǎo)致一些具有高優(yōu)先級(jí)的大流占據(jù)較多的網(wǎng)絡(luò)資源和多路復(fù)用現(xiàn)象，延遲其他流的傳輸，導(dǎo)致網(wǎng)絡(luò)擁塞加劇，從而加重交換機(jī)和路由器等網(wǎng)絡(luò)設(shè)備的處理負(fù)擔(dān)，繼而造成額外的能耗開(kāi)銷(xiāo)，不利于DCNs的運(yùn)行。

軟件定義網(wǎng)絡(luò)（software defined network， SDN）^［3］是一種革命性的網(wǎng)絡(luò)架構(gòu)，其引入了集中式控制器，提高了網(wǎng)絡(luò)的可編程性。該架構(gòu)通常由SDN控制器和支持SDN的交換機(jī)所組成，SDN控制器是一種集中式網(wǎng)絡(luò)管理軟件，其作用是控制所有支持SDN的交換機(jī)轉(zhuǎn)發(fā)網(wǎng)絡(luò)流。除此之外，SDN控制器還提供面向北向應(yīng)用的應(yīng)用程序接口（application programming interface， API），API使網(wǎng)絡(luò)的架構(gòu)管理更加靈活，讓企業(yè)和網(wǎng)絡(luò)運(yùn)營(yíng)商通過(guò)DCNs的可編程性實(shí)現(xiàn)了自動(dòng)化網(wǎng)絡(luò)控制。

本文首先對(duì)流量約束下的DCNs能耗優(yōu)化問(wèn)題進(jìn)行了數(shù)學(xué)建模，進(jìn)一步，為了近似地求解該模型，基于SDN對(duì)網(wǎng)絡(luò)流集中管理控制及調(diào)度的技術(shù)特點(diǎn)，提出了一種基于帶寬匹配的軟件定義DCN節(jié)能路由算法（energy efficient routing algorithm， EERA）。EERA首先對(duì)接入網(wǎng)絡(luò)的數(shù)據(jù)流按照截止時(shí)間優(yōu)先級(jí)進(jìn)行排序，然后將數(shù)據(jù)流分配到與其所流大小最佳匹配的鏈路上，實(shí)現(xiàn)鏈路能耗的最大利用率，從而節(jié)省了網(wǎng)絡(luò)的能耗。

本文其余部分安排如下：在第1節(jié)，對(duì)DCNs流量控制的國(guó)內(nèi)外研究現(xiàn)狀與相關(guān)工作進(jìn)行了介紹。在第2節(jié)中，給出了網(wǎng)絡(luò)系統(tǒng)模型。在第3節(jié)，介紹了建立的節(jié)能單目標(biāo)優(yōu)化模型以及對(duì)應(yīng)的近似優(yōu)化算法EERA具體實(shí)現(xiàn)步驟。在第4節(jié)，通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了所提算法在能耗、吞吐量和流的接受率3項(xiàng)指標(biāo)的性能。最后，對(duì)本文的工作進(jìn)行了總結(jié)與展望。

1 DCNs國(guó)內(nèi)外研究現(xiàn)狀與相關(guān)工作

針對(duì)DCNs的流量控制問(wèn)題，國(guó)內(nèi)外科研工作者探索研究較多的包含兩個(gè)方面：流量工程和擁塞控制^［4］。DCNs流量工程是針對(duì)不同業(yè)務(wù)的數(shù)據(jù)流量特征設(shè)計(jì)相應(yīng)的傳輸策略，旨在實(shí)現(xiàn)負(fù)載平衡與流量?jī)?yōu)先級(jí)的優(yōu)化目標(biāo)。DCNs擁塞控制的優(yōu)化目標(biāo)是降低通信鏈路擁塞發(fā)生的可能性，或者在部分鏈路發(fā)生擁塞時(shí)采取相應(yīng)措施，比如降低數(shù)據(jù)傳輸速率或提前分配帶寬，以此來(lái)減輕擁塞程度，以確保數(shù)據(jù)傳輸?shù)牡蜁r(shí)延要求得到滿足，緩解傳輸控制協(xié)議（transmission control protocol， TCP）多對(duì)一傳輸現(xiàn)象?；诖耍竟?jié)主要從DCNs流量工程和擁塞控制兩個(gè)方面綜述當(dāng)前DCNs流量控制的國(guó)內(nèi)外研究現(xiàn)狀。

1.1 DCNs流量工程

Alasmor等^［5］提出了一種用于DCNs通用的傳輸協(xié)議，即系統(tǒng)級(jí)率少編碼數(shù)據(jù)傳輸協(xié)議（systematic rateless coding-based data transport protocol， SCDP），這是第一個(gè)利用DCNs中網(wǎng)絡(luò)層組播傳輸并均衡多對(duì)一通信中數(shù)據(jù)發(fā)送方負(fù)載的協(xié)議，從應(yīng)用層長(zhǎng)單播流和短單播流的吞吐量和流完成時(shí)間來(lái)看，SCDP都表現(xiàn)出了非常優(yōu)越的性能。Luo等^［6］針對(duì)DCNs組播設(shè)計(jì)了一種基于優(yōu)先級(jí)的自適應(yīng)組播（priority-based adaptive multicast， PAM）協(xié)議，PAM協(xié)議通過(guò)使用一種分布式的機(jī)制完成了一系列流量調(diào)度規(guī)則，減少了DCNs內(nèi)文件分發(fā)的平均組播完成時(shí)間和錯(cuò)過(guò)傳輸截止時(shí)間的次數(shù)。Wang等^［7］提出一種新的DCNs流傳輸路由框架，并基于該框架提出了一種兩階段的EERA，該算法可以根據(jù)交換機(jī)功耗和路由之間的關(guān)系，減少活動(dòng)交換機(jī)的數(shù)量并平衡網(wǎng)絡(luò)流量，從而減少能耗。Li等^［8］設(shè)計(jì)了一種用于節(jié)省DCNs受限流的網(wǎng)絡(luò)能耗流調(diào)度算法，該算法同時(shí)考慮交換機(jī)使用數(shù)量與交換機(jī)有效運(yùn)行持續(xù)時(shí)間，以達(dá)到網(wǎng)絡(luò)減少能耗的目的。

針對(duì)DCNs中具有流傳輸截止時(shí)間限制的網(wǎng)絡(luò)流優(yōu)化問(wèn)題，文獻(xiàn)［2］提出一種基于SDN的帶寬感知EERA（bandwidth-aware EERA with SDN， BEERS），該算法通過(guò)將流調(diào)度到每個(gè)鏈路的隊(duì)列中，從而最小化DCNs流量造成的能耗。進(jìn)一步，文獻(xiàn)［9］提出了一種流截止時(shí)間感知的流動(dòng)態(tài)調(diào)度節(jié)能策略（deadline-aware and energy-efficient dynamic flow scheduling， DEDFS），該策略按照不同的傳輸以及網(wǎng)絡(luò)節(jié)能目的對(duì)數(shù)據(jù)流進(jìn)行分類(lèi)，有效實(shí)現(xiàn)了DCNs節(jié)能與傳輸效率間的平衡，但是犧牲了部分服務(wù)質(zhì)量（quality of service， QoS）。為了解決這一問(wèn)題，Cui等^［10］充分考慮用戶的需求差異設(shè)計(jì)了一種新型的拓?fù)渥赃m應(yīng)DCNs范式用以解決虛擬機(jī)（virtual machine， VM）遷移問(wèn)題，并提出了漸進(jìn)分解舍入（progressive-decom position-rounding， PDR）和在線決策者（online decision-maker， ODM）兩種算法，PDR與ODM算法分別用以定期流調(diào)度和實(shí)時(shí)流調(diào)度，在保證節(jié)能的同時(shí)滿足了不同用戶的傳輸要求。

負(fù)載均衡是DCNs的重要挑戰(zhàn)。Chkirbene等^［11］利用網(wǎng)絡(luò)流的數(shù)據(jù)相關(guān)性解決了DCNs負(fù)載與能耗不成比例的問(wèn)題。針對(duì)現(xiàn)有流調(diào)度方案功效低下和QoS波動(dòng)的問(wèn)題，Guo等^［12］設(shè)計(jì)了一種動(dòng)態(tài)流調(diào)度方案Aggreflow，Aggreflow以較低的開(kāi)銷(xiāo)提高了DCN的功率效率，實(shí)現(xiàn)了負(fù)載均衡，但同時(shí)也造成了更高的延遲，針對(duì)這一問(wèn)題，文獻(xiàn)［13］提出了一種排隊(duì)延遲感知的流負(fù)載平衡機(jī)制 （queueing delay aware packet spraying， QDAPS），QDAPS在保障網(wǎng)絡(luò)QoS的前提下顯著地降低流完成時(shí)間。而Cheng等^［14］通過(guò)考慮異構(gòu)網(wǎng)絡(luò)帶寬，給出了一種有效的網(wǎng)絡(luò)感知多路徑（network-aware multi-pathing， NAMP）方案，NAMP在不影響正在傳輸中的流的情況下，通過(guò)在線事件觸發(fā)的方式對(duì)DCNs新加入的流組進(jìn)行集中調(diào)度。為了有效地平衡多路徑間的流量，文獻(xiàn)［15］提出了一種分布式動(dòng)態(tài)多路由（dynamic distributed multi-path， DDMP）負(fù)載均衡算法，該算法利用動(dòng)態(tài)哈希計(jì)算DCNs中的流量分布，并根據(jù)緩沖區(qū)占用率的反比動(dòng)態(tài)調(diào)整流量分布，從而有效地防止了鏈路的擁塞。Wu等^［16］使用了一種稱(chēng)為Blender的流量感知容器放置策略，實(shí)現(xiàn)了 DCNs流量成本的縮減和負(fù)載平衡。文獻(xiàn)［17］通過(guò)使用加入第一空閑隊(duì)列（join-the-first-idle-queue， JFIQ）和一種分散的自動(dòng)縮放策略，構(gòu)建了一個(gè)統(tǒng)一的負(fù)載平衡和自動(dòng)縮放框架，該框架在減少DCNs操作開(kāi)銷(xiāo)的同時(shí)降低了流傳輸響應(yīng)時(shí)間。崔子熙等^［18］設(shè)計(jì)了一種基于流分類(lèi)的DCNs負(fù)載均衡（utilization-aware load balancing based on flow classification， ULFC）機(jī)制，ULFC機(jī)制在實(shí)現(xiàn)擁塞感知的基礎(chǔ)上對(duì)流量特征進(jìn)行分析，使用不同的流調(diào)度策略為大、小流分配路徑，實(shí)現(xiàn)網(wǎng)絡(luò)流量特征與路徑分配之間的最佳匹配。

一些貪婪啟發(fā)式算法也在DCNs流量工程中被廣泛應(yīng)用。為了兼顧優(yōu)化物理機(jī)資源浪費(fèi)和網(wǎng)絡(luò)總流量?jī)蓚€(gè)方面，趙君等^［19］將虛擬機(jī)放置問(wèn)題建模為多目標(biāo)優(yōu)化問(wèn)題，使用基于多目標(biāo)蟻群優(yōu)化的虛擬機(jī)放置算法快速地完成了虛擬機(jī)的放置。為了減少DC的能量消耗，F(xiàn)eng等^［20］設(shè)計(jì)了一種基于模擬退火算法（simulated annealing based algorithm， SABA）的VMs遷移優(yōu)化策略，SABA相較于模擬退火（simulated annealing， SA）算法，使用了更少的迭代次數(shù)獲得最優(yōu)解的近似解，通過(guò)減少VMs遷移布置任務(wù)所需激活服務(wù)器的數(shù)量從而降低了DCNs能耗。Ayoub等^［21］在DCNs中引入了VMs遷移問(wèn)題，可以在不中斷服務(wù)的情況下跨DC遷移VMs，針對(duì)在線最小資源使用和在線最小帶寬建立了一個(gè)多目標(biāo)整數(shù)線性規(guī)劃（integer linear programming， ILP）模型，為了求解該ILP模型，Omaran提出了兩種啟發(fā)式算法以及一種離線VMs遷移方法，并同時(shí)開(kāi)發(fā)了一個(gè)“警報(bào)感知VMs疏散”策略，該策略可以根據(jù)流到達(dá)VMs的截止時(shí)間、數(shù)量、特征以及鏈路容量選擇最優(yōu)的在線VMs遷移方式。針對(duì)DCNs虛擬網(wǎng)絡(luò)功能（virtual network functions， VNFs）遷移和服務(wù)功能鏈（service function chains， SFCs）重構(gòu)問(wèn)題，Li等^［22］使用了一種改進(jìn)的遺傳進(jìn)化（improved hybrid genetic evolution， IHGE）算法解決了該問(wèn)題。此外，為了減少I(mǎi)HGE路由器的計(jì)算開(kāi)銷(xiāo)，Li進(jìn)一步設(shè)計(jì)了一種多級(jí)啟發(fā)式算法（multi-stage heuristic algorithm based on optimal order， MSH-OR）。仿真結(jié)果表明，IHGE算法和MSH-OR算法能夠在減少服務(wù)延遲的同時(shí)保證網(wǎng)絡(luò)負(fù)載均衡。Zu等^［23］從DCNs管理的角度出發(fā)，研究了支持網(wǎng)絡(luò)功能虛擬化（network function virtualization， NFV）環(huán)境下SFCs調(diào)度的虛擬帶寬分配和速率控制問(wèn)題，提出了一種SFCs鏈?zhǔn)絾l(fā)式算法來(lái)向服務(wù)器節(jié)點(diǎn)分配VNFs的請(qǐng)求，最后使用了一種基于粒子群的貪婪啟發(fā)式算法優(yōu)化了速率和帶寬的分配。

1.2 DCNs擁塞控制

首次為DCNs設(shè)計(jì)的專(zhuān)用擁塞控制協(xié)議是Alizadeh等在2010年所提出的DC傳輸控制協(xié)議（DC transmission control protocol， DCTCP）^［24］，DCTCP的關(guān)鍵在于發(fā)送端能夠根據(jù)實(shí)際網(wǎng)絡(luò)的狀態(tài)發(fā)出接收端接收的正確數(shù)據(jù)包，由于交換機(jī)不需要大量緩存冗余數(shù)據(jù)，也就是說(shuō)即使發(fā)生流錯(cuò)誤傳輸時(shí)也不會(huì)導(dǎo)致超時(shí)重傳的現(xiàn)象，這就降低了傳輸時(shí)延。文獻(xiàn)［25］對(duì)DCTCP進(jìn)行了改進(jìn)，提出一種高帶寬超低時(shí)延協(xié)議（high-bandwidth ultra-low latency， HULL），該協(xié)議構(gòu)建了一種可以預(yù)知擁塞鏈路并給小流預(yù)留帶寬的數(shù)據(jù)傳輸機(jī)制，在提高了帶寬使用效率的同時(shí)降低了時(shí)延。

在超大規(guī)模DCNs中出現(xiàn)突發(fā)流量的情況下，傳統(tǒng)終端交換機(jī)在使用DCTCP擁塞控制機(jī)制時(shí)，數(shù)據(jù)隊(duì)列容易發(fā)生丟包的現(xiàn)象。為了解決該問(wèn)題，Cheng等^［26］提出拋棄負(fù)載（cut payload， CP）的方法，這是一種在交換機(jī)上輔助擁塞控制的機(jī)制，具體方法是，當(dāng)檢測(cè)到即將發(fā)生擁塞時(shí)，CP立刻截取數(shù)據(jù)包的包頭，并沿用原有的TCP時(shí)鐘，使TCP狀態(tài)得以維持，并對(duì)鏈路進(jìn)行相應(yīng)的調(diào)整以緩解擁塞程度。Perry等^［27］通過(guò)將理論最優(yōu)的算法用于實(shí)際DCNs系統(tǒng)，提出了一種集中式的鏈路擁塞控制機(jī)制Fastpass，該機(jī)制摒棄了傳統(tǒng)的分布式解決時(shí)延問(wèn)題的方式，采用集中控制的方法，通過(guò)在DCNs中設(shè)置一個(gè)仲裁器，根據(jù)發(fā)送端在傳輸數(shù)據(jù)時(shí)與仲裁器交互的信息來(lái)確定傳送速率和分配的路徑。這種做法不僅降低了隊(duì)列排隊(duì)延遲，還提高了帶寬鏈路的利用率和網(wǎng)絡(luò)中流之間的資源共享率。

Cho等^［28］設(shè)計(jì)一種端到端的基于Credit的擁塞控制協(xié)議ExpressPass。用戶在發(fā)送數(shù)據(jù)包之前，ExpressPass通過(guò)發(fā)送Credit包對(duì)擁塞進(jìn)行探測(cè)，確保數(shù)據(jù)傳輸?shù)牡脱舆t，有效應(yīng)對(duì)部分鏈路的突發(fā)流量。與傳統(tǒng)TCP不同，ExpressPass在需要發(fā)送數(shù)據(jù)時(shí)，會(huì)首先向接收端請(qǐng)求Credit，發(fā)送端只有在收到接收端返回的一個(gè)Credit時(shí)，才會(huì)發(fā)送一個(gè)數(shù)據(jù)包。然而，如何更精確地控制Credit和流鏈路帶寬分配仍需進(jìn)一步研究和探索。為了解決DCNs數(shù)據(jù)流傳輸中服務(wù)器數(shù)據(jù)處理的延遲問(wèn)題，Li等^［29］提出一種遠(yuǎn)程直接數(shù)據(jù)存取的協(xié)議HPCC，利用網(wǎng)絡(luò)遙測(cè)技術(shù)（in network telemetry， INT）來(lái)獲取精確的鏈路負(fù)載信息，從而實(shí)現(xiàn)了準(zhǔn)確地控制鏈路流量。HPCC通過(guò)解決在鏈路擁塞期間處理延遲的INT信息等問(wèn)題，提高了帶寬利用率的同時(shí)使得算法快速收斂，緩解鏈路擁塞的同時(shí)保證了數(shù)據(jù)傳輸?shù)牡脱舆t。

針對(duì)鏈路容量的急劇增長(zhǎng)產(chǎn)生的擁塞問(wèn)題，Zhang等^［30］設(shè)計(jì)一種適合DCNs高速數(shù)據(jù)流的傳輸協(xié)議（fast and friendly converging， FFC），F(xiàn)FC通過(guò)從內(nèi)網(wǎng)數(shù)據(jù)接收交換機(jī)端口檢索二維擁塞指示，實(shí)現(xiàn)細(xì)粒度擁塞測(cè)量，從而使流快速收斂到合適的發(fā)送速率性，同時(shí)只在終端主機(jī)上引入很少的部署開(kāi)銷(xiāo)。針對(duì)擁塞導(dǎo)致的流傳輸排隊(duì)以及丟包導(dǎo)致的超時(shí)重傳問(wèn)題，Abdelmoniem等^［31］提出一種DCNs流實(shí)時(shí)重傳的數(shù)據(jù)包丟失恢復(fù)機(jī)制（timely-retransmitted ACKs， T-RACKs），該機(jī)制對(duì)丟失的數(shù)據(jù)包可以及時(shí)地有效重傳，即使在數(shù)據(jù)包嚴(yán)重丟失的情況下，也可以克服長(zhǎng)期重傳超時(shí)（retransmission timeout， RTO）的缺點(diǎn)。

為了緩解DCNs TCP Incast現(xiàn)象，文獻(xiàn)［32］提出一種自適應(yīng)調(diào)步的通用方案AP（adaptive pacing， AP）可根據(jù)并發(fā)流的數(shù)量動(dòng)態(tài)調(diào)整不同流傳輸?shù)臅r(shí)間間隔，有效地防止了微突發(fā)情形下中的丟包。陸一飛等^［33］提出一種基于SDNs的TCP擁塞控制機(jī)制（TCP congestion control based on SDN， TCCS）， 具體做法是當(dāng)鏈路出現(xiàn)擁塞時(shí)，通過(guò)臨時(shí)降低大象流的發(fā)送速率來(lái)預(yù)留帶寬，以滿足老鼠流的數(shù)據(jù)傳輸效率，有效緩解了TCP Incast現(xiàn)象。為了進(jìn)一步解決DC鏈路擁塞問(wèn)題，文獻(xiàn)［34］依據(jù)流量分布與不同流的特征，設(shè)計(jì)了一種基于光互聯(lián)架構(gòu)的流量識(shí)別和調(diào)度方案（host-controller flow detection， HCFD），HCFD通過(guò)在主機(jī)端標(biāo)記大象流特征，然后利用SDN控制器識(shí)別出鏈路中標(biāo)記的大象流之后對(duì)其進(jìn)行分類(lèi)，最后根據(jù)DCNs全局鏈路流量分布情況下發(fā)流轉(zhuǎn)發(fā)策略。此外，機(jī)器學(xué)習(xí)算法在解決上述兩方面的問(wèn)題時(shí)也表現(xiàn)出了非常良好的性能，近年來(lái)已經(jīng)成為研究DCs先進(jìn)的技術(shù)手段，國(guó)內(nèi)外眾多科研工作者使用機(jī)器學(xué)習(xí)模擬探索了大規(guī)模DCNs流量工作與擁塞控制問(wèn)題并取得了較多的研究成果^［35-40］。

2 DCNs系統(tǒng)模型

2.1 網(wǎng)絡(luò)模型

目前DCNs大多采用具有多路徑特性的拓?fù)浣Y(jié)構(gòu)，如Fat-Tree、VL2等拓?fù)浣Y(jié)構(gòu)。在各種分層網(wǎng)絡(luò)架構(gòu)中，近年來(lái)Fat-Tree拓?fù)湟驗(yàn)槠浜?jiǎn)單且易操作的特性在很多DCNs中得到了廣泛應(yīng)用?；贔at-Tree拓?fù)涞膬?yōu)異性能，本文采用Fat-Tree拓?fù)渥鳛镈CNs流量工程研究的網(wǎng)絡(luò)模型。Fat-Tree拓?fù)浒?層：核心層、匯聚層、邊緣層。其中，匯聚層的聚合交換機(jī)與邊緣層的邊緣交換組成多個(gè)Pod，每個(gè)Pod中的聚合交換機(jī)分別與同Pod中的所有邊緣交換機(jī)相連。每個(gè)Pod有k/2個(gè)聚合交換機(jī)與k/2個(gè)邊緣交換機(jī)，同時(shí)，每個(gè)邊緣交換機(jī)與k/2個(gè)主機(jī)相連。本文拓?fù)渲杏胟表示Pod的數(shù)量，則Fat-Tree拓?fù)渲杏衚²/4個(gè)核心交換機(jī)，k²/2個(gè)聚合交換機(jī)，k²/2個(gè)邊緣交換機(jī)與k³/4個(gè)主機(jī)。

本文選取k=4時(shí)的Fat-Tree作為DCNs的基本拓?fù)?，如圖1所示。

2.2 能耗模型

在本文的DCNs能耗模型中，網(wǎng)絡(luò)能耗只考慮網(wǎng)絡(luò)中流傳輸時(shí)所有交換機(jī)的能耗^［41］。假設(shè)每個(gè)交換機(jī)有開(kāi)啟或休眠兩種狀態(tài)，當(dāng)與交換機(jī)相連的所有鏈路均未被占用時(shí)，交換機(jī)處于休眠狀態(tài)，其固定能耗為E_sleep，否則交換機(jī)處于開(kāi)啟狀態(tài)，能耗為E_active，且E_sleeplt;E_active。交換機(jī)開(kāi)啟時(shí)其能耗與其開(kāi)啟的端口數(shù)和端口利用率呈線性相關(guān)^［42］，其中與服務(wù)器相連的端口能耗記為EPort_host，交換機(jī)之間相連的端口能耗記為EPort_switch。交換機(jī)與服務(wù)器相連的端口需要時(shí)刻監(jiān)測(cè)網(wǎng)絡(luò)信息，因此此類(lèi)端口保持開(kāi)啟狀態(tài)，不會(huì)休眠。

交換機(jī)之間的端口會(huì)根據(jù)網(wǎng)絡(luò)狀態(tài)的變化而開(kāi)啟或休眠，休眠狀態(tài)的交換機(jī)能耗E_sleep和開(kāi)啟狀態(tài)下交換機(jī)能耗E_active分別如下所示：

E_sleep=e₁（1）

式中：e₁表示休眠交換機(jī)的固定能耗，e₁gt;0;e₂表示開(kāi)啟狀態(tài)下交換機(jī)的固定能耗，e₂gt;0;n₁為交換機(jī)與服務(wù)器相連的端口數(shù)量；n₂為交換機(jī)之間相連的端口數(shù)量。

EPort_host和EPort_switch分別如下所示：

EPort_host=e₃（3）

EPort_switch=e₄+r·（e₃－e₄）（4）

式中：e₄為端口在休眠狀態(tài)下所產(chǎn)生的固定能耗，e₄gt;0;e₃為端口在開(kāi)啟狀態(tài)下的最大能耗，0lt;e₄lt;e₃;r為端口利用率，0lt;rlt;1。第i個(gè)端口的端口利用率r_i計(jì)算公式為該端口所連鏈路的已用帶寬b_i與鏈路容量C上限的比值：

r_i=b_i/C（5）

綜上，由式（1）～式（5）得本文的網(wǎng)絡(luò)能耗為

E_Network=E_sleep+E_active（6）

3 DCNs能耗優(yōu)化模型及其近似求解策略EERA

3.1 DCNs能耗優(yōu)化模型

為了實(shí)現(xiàn)控制器對(duì)DCNs中數(shù)據(jù)流的高效管理以及調(diào)度，需要在控制器中保存數(shù)據(jù)流的一些詳細(xì)信息，用五元組f_i=（p_i，q_i，b_i，s_i，τ_i）來(lái)代表一個(gè)數(shù)據(jù)流。其中，p_i，q_i，b_i，s_i，τ_i分別表示第i個(gè)數(shù)據(jù)流的源節(jié)點(diǎn)、目的節(jié)點(diǎn)、數(shù)據(jù)量、到達(dá)時(shí)間、截止時(shí)間。

本文的主要優(yōu)化目標(biāo)是優(yōu)化DCNs的能耗，故而建立如下的單目標(biāo)非線性?xún)?yōu)化模型：

C₁為流量約束，δ⁺（v）表示以節(jié)點(diǎn)v為起點(diǎn)的所有有向邊的集合，δ^－（v）表示以節(jié)點(diǎn)v為終點(diǎn)的所有有向邊的集合，x_i，e（t）表示第i個(gè)數(shù)據(jù)流請(qǐng)求在連接e上的第t個(gè)時(shí)刻的傳輸數(shù)據(jù)量，N⁺表示正整數(shù)集合。該約束的含義是，在傳輸時(shí)間段內(nèi)的任意一個(gè)數(shù)據(jù)流在所有它的源目的節(jié)點(diǎn)之外的節(jié)點(diǎn)上的所有時(shí)刻上必須滿足流量守恒，即從該節(jié)點(diǎn)流出的屬于該數(shù)據(jù)流的流量之和必須等于流入該節(jié)點(diǎn)的屬于該數(shù)據(jù)流的流量之和。

C₂為另一個(gè)流量約束，δ⁺（p_i）表示以節(jié)點(diǎn)p_i為起點(diǎn)的所有有向邊的集合，δ^－（p_i）表示以節(jié)點(diǎn)p_i為終點(diǎn)的所有有向邊的集合。其中約束保證了任意一個(gè)數(shù)據(jù)流的源節(jié)點(diǎn)流出的屬于該數(shù)據(jù)流的流量之和減去流入源節(jié)點(diǎn)的屬于該數(shù)據(jù)流的流量之和在所有時(shí)刻上求和等于該數(shù)據(jù)流的總數(shù)據(jù)傳輸量，進(jìn)而保證所有數(shù)據(jù)流可以在規(guī)定時(shí)間內(nèi)傳輸完成。

C₃為容量約束，表示任意一條鏈路在任意傳輸時(shí)刻傳輸?shù)牧髁恐筒粦?yīng)超過(guò)鏈路的容量上限。

3.2 EERA以及實(shí)施步驟

在理想的節(jié)能路由方案中，構(gòu)建流路由拓?fù)鋺?yīng)以最少使用交換機(jī)和鏈路的方式為目標(biāo)。例如，Bagaa等^［43］基于傳統(tǒng)網(wǎng)絡(luò)架構(gòu)，考慮用戶的移動(dòng)環(huán)境以及 QoS需求提出一種啟發(fā)式路徑重計(jì)算（heuristic paths re-computation， HPR）算法。HPR算法在滿足算法執(zhí)行合理計(jì)算時(shí)間的前提下，有效地降低了網(wǎng)絡(luò)運(yùn)營(yíng)支出成本（operating expenditure， OPEX），減少了交換機(jī)的使用數(shù)量，使得SDN支持的網(wǎng)絡(luò)運(yùn)營(yíng)商在考慮設(shè)備移動(dòng)性的情況下依然可以合理分配網(wǎng)絡(luò)資源，從而減少甚至消除過(guò)度的資源供應(yīng)。Muhammad等^［44］提出一種能耗感知容錯(cuò)（energy-aware fault-tolerant， EAFT）算法，該算法在調(diào)度資源時(shí)實(shí)現(xiàn)了DCNs能耗和容錯(cuò)之間的權(quán)衡。然而，類(lèi)似的流量調(diào)度方案并沒(méi)有考慮到網(wǎng)絡(luò)整體流量負(fù)載均衡，影響到網(wǎng)絡(luò)的性能，無(wú)法直接用于DCNs。

本文考慮DCNs網(wǎng)絡(luò)整體流量負(fù)載均衡，在第3.1節(jié)中建立了DCNs流量約束的能耗優(yōu)化模型，為了求解該單目標(biāo)優(yōu)化模型，本文介紹了一種DCNs基于帶寬匹配的啟發(fā)式算法EERA進(jìn)行近似求解。EERA主要思想是：首先對(duì)數(shù)據(jù)流按照截止時(shí)間優(yōu)先級(jí)進(jìn)行排序，然后將每個(gè)數(shù)據(jù)流分配到與其所傳輸數(shù)據(jù)量最佳匹配的路徑上，實(shí)現(xiàn)鏈路的最大利用率，從而節(jié)省了網(wǎng)絡(luò)的能耗。EERA的數(shù)據(jù)流路由尋找流程如下所述：

步驟 1 將DCNs拓?fù)浣Y(jié)構(gòu)抽象為無(wú)向圖G=（V，E，W），其中節(jié)點(diǎn)V代表DCNs中的交換機(jī)和服務(wù)器集合，E是無(wú)向圖的邊集，表示所有鏈路的集合，W表示無(wú)向圖G中鏈路的帶寬集合，其中對(duì)于邊（u，v）和邊（v，u），w_u，v=w_v，u。DCNs開(kāi)始運(yùn)行SDN控制器，獲得傳輸時(shí)隙內(nèi)數(shù)據(jù)流集合F中每個(gè)數(shù)據(jù)流f_i的源節(jié)點(diǎn)、目的節(jié)點(diǎn)、數(shù)據(jù)量、到達(dá)時(shí)間以及截止時(shí)間。

步驟 2 對(duì)F中的每個(gè)數(shù)據(jù)流按照截止時(shí)間τ_i的先后進(jìn)行排序，排序過(guò)后的數(shù)據(jù)流集合記為F′。

步驟 3 對(duì)于F′中的每個(gè)數(shù)據(jù)流，當(dāng)接入服務(wù)器申請(qǐng)帶寬時(shí)，按照其數(shù)據(jù)量所需帶寬對(duì)拓?fù)鋱D進(jìn)行更新，刪除不滿足數(shù)據(jù)量傳輸需求的鏈路，得到新的拓?fù)銰′=（V′，E′，W′）。

步驟 4 在拓?fù)銰′中，尋找當(dāng)前數(shù)據(jù)流源節(jié)點(diǎn)到目的節(jié)點(diǎn)之間的可行數(shù)據(jù)傳輸鏈路，如果沒(méi)有滿足條件的可行鏈路則放棄該流的鏈路以及帶寬分配，返回上一步直接對(duì)F′中下一個(gè)數(shù)據(jù)流進(jìn)行路由;否則，從所有可行鏈路中，選擇與數(shù)據(jù)量所需帶寬數(shù)值最接近的一條鏈路作為該流的路由方案并對(duì)其進(jìn)行帶寬分配。

步驟 5 如果F′中還有數(shù)據(jù)流，返回步驟3;否則，算法終止，根據(jù)算法結(jié)果生成流量調(diào)度方案，對(duì)DCNs中每條流進(jìn)行鏈路、帶寬分配并且進(jìn)行流量調(diào)度。

算法1如下所示。

4 仿真分析

4.1 實(shí)驗(yàn)設(shè)置

本文的仿真實(shí)驗(yàn)硬件環(huán)境為Win10 64位系統(tǒng)、CPU處理器 Intel Core i5-4300U 2.50 GHz，內(nèi)存4.00 GB，仿真軟件為Visual studio 2022。

4.1.1 仿真參數(shù)設(shè)置

DCNs拓?fù)鋱D如圖1所示，仿真拓?fù)渲邪?0個(gè)4端口的交換機(jī)、16個(gè)服務(wù)器和48條鏈路，數(shù)據(jù)流的開(kāi)始時(shí)間和截止時(shí)間在［0，16］s內(nèi)服從隨機(jī)分布，流的大小在［5，50］MB區(qū)間服從隨機(jī)分布，表1給出了實(shí)驗(yàn)的主要參數(shù)。

表1 主要參數(shù)

Table 1 Main parameters參數(shù)含義數(shù)值e₁交換機(jī)休眠狀態(tài)固定能耗/J240 e₂交換機(jī)開(kāi)啟狀態(tài)固定能耗/J310 e₃交換機(jī)端口滿載狀態(tài)能耗/J4 e₄交換機(jī)端口空載狀態(tài)能耗/J2 CDCNs鏈路容量/Mbps1004.1.2 實(shí)驗(yàn)對(duì)比算法

為了驗(yàn)證本文所提EERA算法的有效性，本文除了與近幾年性能優(yōu)異的HPR^［43］、EAFT^［44］算法進(jìn)行對(duì)比外，還選擇了以下兩種經(jīng)典的流調(diào)度方法進(jìn)行性能比較：

最短路徑優(yōu)先（shortest path first， SPF）^［45］：SPF算法是開(kāi)放式最短路徑優(yōu)先（open shortest path first， OSPF）路由協(xié)議的基礎(chǔ)，該算法將每一個(gè)路由器作為根來(lái)計(jì)算其到每一個(gè)目的路由器的距離，每一個(gè)路由器根據(jù)一個(gè)統(tǒng)一的數(shù)據(jù)集計(jì)算出路由域的拓?fù)浣Y(jié)構(gòu)圖，是一種經(jīng)典且有效的路由協(xié)議。

等價(jià)多路徑路由（equal-cost multi-path routing， ECMP）算法^［46］：ECMP算法的主要策略是從所有等長(zhǎng)的最短路徑中隨機(jī)分配一條路徑作為路由路徑，該算法復(fù)雜度低、易操作，是目前DCs解決負(fù)載均衡所采用的主要方法。

4.2 仿真性能指標(biāo)

DCNs性能指標(biāo)主要包括網(wǎng)絡(luò)的總能耗、吞吐量以及流的接受率。其中，網(wǎng)絡(luò)能耗的計(jì)算方式在第2.2節(jié)已經(jīng)給出;吞吐量的計(jì)算公式為b_i×h，b_i表示接入用戶申請(qǐng)的寬帶，h表示該數(shù)據(jù)流傳輸路徑的跳數(shù)。數(shù)據(jù)流接受率的計(jì)算公式為f_N1/f_n，f_N1表示一個(gè)傳送周期內(nèi)流傳送成功的數(shù)據(jù)流數(shù)量，f_n表示該周期內(nèi)的數(shù)據(jù)流總數(shù)。在實(shí)驗(yàn)中，本文通過(guò)假設(shè)接入數(shù)據(jù)流的數(shù)量分別為100條、200條、300條、400條、500條，來(lái)模擬不同負(fù)載的流量。

4.2.1 網(wǎng)絡(luò)能耗

圖2給出了幾種算法的網(wǎng)絡(luò)能耗比較圖，圖中直方圖按照交換機(jī)能耗的類(lèi)型進(jìn)行了分塊，自下向上依次是：激活交換機(jī)能耗、休眠交換機(jī)能耗和端口能耗。圖2（a）～圖2（e）分別給出了傳輸?shù)臄?shù)據(jù)流數(shù)目為100、200、300、400以及500條時(shí)的網(wǎng)絡(luò)能耗，從圖中可以看出EERA的能耗均少于其余4種算法。這是因?yàn)镋ERA首先按照流截止時(shí)間對(duì)數(shù)據(jù)流進(jìn)行了排序，這樣做可以讓先截止的流盡可能早地調(diào)度完成騰出富余鏈路。對(duì)于在HPR、SPF、ECMP算法中，到達(dá)時(shí)間早、持續(xù)時(shí)間長(zhǎng)且攜帶數(shù)據(jù)量大的數(shù)據(jù)流，會(huì)占用太多的網(wǎng)絡(luò)資源，導(dǎo)致交換機(jī)過(guò)早地處于激活狀態(tài)從而導(dǎo)致DCNs能耗的增加，而EAFT算法雖然當(dāng)鏈路發(fā)生故障時(shí)會(huì)重新路由，但其路由方法仍是基于ECMP的，因此當(dāng)數(shù)據(jù)流數(shù)目增加時(shí)，能耗優(yōu)化效果有所衰減。

圖3分別給出了DCNs在不同數(shù)據(jù)流數(shù)量下激活交換機(jī)、休眠交換機(jī)以及交換機(jī)端口能耗比較圖。

由圖3可以看出，EERA在激活交換機(jī)能耗和端口能耗上明顯少于其余4種算法，而在休眠交換機(jī)能耗上明顯多于其余3種算法。其中，從圖3（a）和圖3（b）中可以看出，在數(shù)據(jù)流規(guī)模較小時(shí)（f_N1=100），EERA的交換機(jī)能耗與其他算法的差距非常明顯，這是因?yàn)镋ERA通過(guò)對(duì)數(shù)據(jù)流截止時(shí)間排序進(jìn)而對(duì)數(shù)據(jù)流集中調(diào)度，并且通過(guò)帶寬匹配策略充分利用了已激活節(jié)點(diǎn)和已激活鏈路，而不會(huì)過(guò)早激活剩余休眠節(jié)點(diǎn)。雖然HPR算法以復(fù)用已激活交換機(jī)節(jié)點(diǎn)為核心優(yōu)化思想，但是無(wú)法以合理的方式對(duì)持續(xù)時(shí)間長(zhǎng)并攜帶著大量數(shù)據(jù)的流進(jìn)行調(diào)度，導(dǎo)致這類(lèi)數(shù)據(jù)流占用過(guò)多網(wǎng)絡(luò)資源，造成能耗增加。

表2給出了5種算法網(wǎng)絡(luò)能耗的具體類(lèi)型比例分布。從表2可以看出隨著數(shù)據(jù)流數(shù)量的增加，除了HPR算法在數(shù)據(jù)流為400條相較于數(shù)據(jù)流為300條時(shí)增加，其他算法的端口能耗占比都在緩慢增加，這是因?yàn)楫?dāng)數(shù)據(jù)流規(guī)模變大時(shí)，DCNs中的鏈路容量瞬間達(dá)到上限，交換機(jī)也被全部激活。HPR、SPF、ECMP 3種算法端口能耗均僅增加不到1%，這是因?yàn)殡S著網(wǎng)絡(luò)流的增加，過(guò)重的負(fù)載導(dǎo)致網(wǎng)絡(luò)波動(dòng)的加劇，從而網(wǎng)絡(luò)負(fù)載會(huì)變得不均衡，造成了鏈路擁塞，尤其當(dāng)數(shù)據(jù)流數(shù)目大于300時(shí)，端口能耗增加量有限。當(dāng)數(shù)據(jù)流數(shù)目從400增加到500時(shí)，HPR算法相對(duì)SPF算法的端口能耗占比增值更明顯一些，這是因?yàn)镠PR算法根據(jù)網(wǎng)絡(luò)中的節(jié)點(diǎn)狀態(tài)對(duì)鏈路權(quán)值進(jìn)行重新定義，從而更新路由。EERA和EAFT算法端口占比能耗增加了超過(guò)一倍，這是因?yàn)閿?shù)據(jù)流規(guī)模較小時(shí)，EERA的網(wǎng)絡(luò)能耗大部分是休眠節(jié)點(diǎn)的固定能耗，但隨著數(shù)據(jù)流增多，其優(yōu)越的負(fù)載均衡性能令網(wǎng)絡(luò)的擁塞情況得到改善，EAFT算法則是得益于其重路由策略。

4.2.2 網(wǎng)絡(luò)吞吐量

網(wǎng)絡(luò)吞吐量在很大程度上取決于DCNs流量管理策略。為了評(píng)估EERA負(fù)載平衡路由的效率，本文測(cè)試了不同數(shù)據(jù)流數(shù)量下的網(wǎng)絡(luò)吞吐量，仿真結(jié)果如圖4所示。由圖4可以看出，在不同數(shù)量的數(shù)據(jù)流下，EERA相較其他4種算法實(shí)現(xiàn)了更高的吞吐量。這是因?yàn)殡S著數(shù)據(jù)流數(shù)目的增加，ECMP根據(jù)哈希值將流隨機(jī)分配到一條路由，而不考慮鏈路的利用率，這種高度不均勻的流量分布在某些鏈路上造成擁塞，而使其他鏈路空閑，因此，隨著流量的增加，容易造成鏈路的擁塞從而導(dǎo)致數(shù)據(jù)包的丟失，吞吐量受到限制。

在HPR算法中，傳輸節(jié)點(diǎn)的選擇傾向于那些已經(jīng)處于激活狀態(tài)的交換機(jī)，數(shù)據(jù)傳輸路徑會(huì)一直被占用到鏈路帶寬不滿足數(shù)據(jù)流的帶寬要求時(shí)才停止，這造成了休眠狀態(tài)節(jié)點(diǎn)資源的浪費(fèi)，降低了資源分配效率，這種貪婪的方法可能會(huì)導(dǎo)致即將到來(lái)的數(shù)據(jù)流沒(méi)有滿足其帶寬需求的路徑。SPF算法也是由于其貪婪地選擇最短的跳數(shù)作為傳輸路徑而忽略了整體的負(fù)載均衡，造成了網(wǎng)絡(luò)擁塞。在數(shù)據(jù)流數(shù)量為500時(shí)，EERA優(yōu)化效果更加明顯，這是由于此時(shí)網(wǎng)絡(luò)負(fù)載達(dá)到了上限，基于ECMP重路由的EAFT算法此時(shí)也會(huì)遇到擁塞問(wèn)題，而EERA通過(guò)選擇一個(gè)與數(shù)據(jù)流所需帶寬最匹配的路徑，從而在調(diào)度過(guò)程中給后續(xù)流預(yù)留了更多的可用帶寬，而如果選擇一個(gè)與流所需帶寬相差較大的路徑，那么在后續(xù)流的調(diào)度過(guò)程中，就可能會(huì)出現(xiàn)可用帶寬不足的情況，導(dǎo)致數(shù)據(jù)流傳輸延遲或丟包。

4.2.3 數(shù)據(jù)流接受率

圖5給出了DCNs數(shù)據(jù)流的接受率，本文對(duì)5組數(shù)據(jù)流（100條、200條、300條、400條、500條）分別進(jìn)行了數(shù)據(jù)流接受率的仿真。從圖5中可以看出，EERA的數(shù)據(jù)流接受率在不同數(shù)據(jù)流規(guī)模下都是最高的。這是因?yàn)镋CMP算法是在所有等價(jià)路徑中隨機(jī)路由，容易造成鏈路擁塞，導(dǎo)致大量數(shù)據(jù)流傳輸失敗。而HPR與SPF算法貪婪地選擇節(jié)點(diǎn)最少的路徑從而給鏈路負(fù)載帶來(lái)了極大負(fù)擔(dān)，隨著數(shù)據(jù)流數(shù)量的增加，因?yàn)椴糠宙溌坟?fù)載的增加令鏈路容量很快接近其最大值甚至超過(guò)容量，容易造成部分?jǐn)?shù)據(jù)的丟失，從而降低數(shù)據(jù)流的接受率。

EERA算法通過(guò)預(yù)留帶寬的方式有效地降低了擁塞發(fā)生的概率，EAFT算法雖然也表現(xiàn)出很良好的效果，但是當(dāng)數(shù)據(jù)流規(guī)模增加到500條時(shí)明顯劣于EERA算法，這是因?yàn)楫?dāng)數(shù)據(jù)流數(shù)目達(dá)到網(wǎng)絡(luò)負(fù)載上限時(shí)，EAFT算法基于ECMP的重路由策略會(huì)使鏈路擁塞，其他3種算法在數(shù)據(jù)流規(guī)模為500條時(shí)的接受率降到不足30%，而EERA算法依然維持在接近60%左右的接受水平，這就表明了本文所提算法EERA在數(shù)據(jù)流接受率方面的優(yōu)異性能。

5 結(jié)束語(yǔ)

隨著DCs數(shù)量和規(guī)模的不斷增加，數(shù)據(jù)流的數(shù)量以及大小也在呈指數(shù)級(jí)增加，DCs運(yùn)營(yíng)面臨著更加嚴(yán)峻的節(jié)能和負(fù)載均衡問(wèn)題。本文對(duì)基于SDN的DCNs流量調(diào)度問(wèn)題進(jìn)行了研究，主要利用SDN對(duì)DCNs集中控制的特點(diǎn)和優(yōu)勢(shì)，提出一種基于帶寬匹配的軟件定義DCNs EERA。該算法通過(guò)SDN控制器對(duì)DCNs中具有截止時(shí)間限制的流依照其傳輸數(shù)據(jù)量進(jìn)行集中調(diào)度從而優(yōu)化其能耗效率與負(fù)載均衡效率，最后仿真結(jié)果驗(yàn)證了EERA的系統(tǒng)性能，實(shí)現(xiàn)了在不增加額外存儲(chǔ)OPEX的前提下，節(jié)省網(wǎng)絡(luò)能耗的同時(shí)實(shí)現(xiàn)了網(wǎng)絡(luò)負(fù)載均衡。在將來(lái)的工作中將考慮引入一些VNF技術(shù)，結(jié)合VMs節(jié)能方法可以最大限度減少物理服務(wù)器數(shù)量和遷移時(shí)間，借助SDN實(shí)現(xiàn)DCNs管控自動(dòng)化并保證QoS，通過(guò)DCNs節(jié)能技術(shù)有效地協(xié)同降低DCs系統(tǒng)和網(wǎng)絡(luò)設(shè)備的能耗。

參考文獻(xiàn)

［1］JIANG C W， TSENG C L， WANG Y Z， et al. Optimal pricing strategy for data center considering demand response and renewable energy source accommodation［J］. Journal of Modern Power Systems and Clean Energy， 2023， 11（1）： 345-354.

［2］XU G， DAI B， HUANG B X， et al. Bandwidth-aware energy efficient flow scheduling with SDN in data center networks［J］. Future Generation Computer Systems， 2017， 68： 163-174.

［3］左青云， 陳鳴， 王秀磊， 等. 一種基于SDN的在線流量異常檢測(cè)方法［J］. 西安電子科技大學(xué)學(xué)報(bào)， 2015， 42（1）： 155-160.

ZUO Q Y， CHEN M， WANG X L， et al. Online traffic anomaly detection method for SDN［J］. Journal of Xidian University， 2015， 42（1）： 155-160.

［4］杜鑫樂(lè)， 徐恪， 李彤， 等. 數(shù)據(jù)中心網(wǎng)絡(luò)的流量控制： 研究現(xiàn)狀與趨勢(shì)［J］. 計(jì)算機(jī)學(xué)報(bào)， 2021， 44（7）： 1287-1309.

DU X L， XU K， LI T， et al. Traffic control for data center network： state of the art and future research［J］. Chinese Journal of Computers， 2021， 44（7）： 1287-1309.

［5］ALASMAR M， PARISIS G， CROWCROFT J. SCDP： systematic rateless coding for efficient data transport in data centers［J］. IEEE/ACM Trans.on Networking， 2021， 29（6）： 2723-2736.

［6］LUO S X， YU H F， LI K， et al. Efficient file dissemination in data center networks with priority-based adaptive multicast［J］. IEEE Journal on Selected Areas in Communications， 2020， 38（6）： 1161-1175.

［7］WANG L， ZHANG F， AROCA J A， et al. GreenDCN： a general framework for achieving energy efficiency in data center networks［J］. IEEE Journal on Selected Areas in Communications， 2013， 32（1）： 4-15.

［8］LI D， YU Y R， HE W， et al. Willow： saving data center network energy for network-limited flows［J］. IEEE Trans.on Pa-rallel and Distributed Systems， 2014， 26（9）： 2610-2620.

［9］YAO Z， WANG Y， BA J H， et al. Deadline-aware and energy-efficient dynamic flow scheduling in data center network［C］∥Proc.of the 13th International Conference on Network and Ser-vice Management， 2017.

［10］CUI Y， XIAO S H， WANG X， et al. Performance-aware energy optimization on mobile devices in cellular network［J］. IEEE Trans.on Mobile Computing， 2016， 16（4）： 1073-1089.

［11］CHKIRBENE Z， GOUISSEM A， HADJIDJ R， et al. Efficient techniques for energy saving in data center networks［J］. Computer Communications， 2018， 129： 111-124.

［12］GUO Z H， XU Y， LIU Y F， et al. AggreFlow： achieving power efficiency， load balancing， and quality of service in data center networks［J］. IEEE/ACM Trans.on Networking， 2020， 29（1）： 17-33.

［13］HUANG J W， LYU W J， LI W H， et al. Mitigating packet reordering for random packet spraying in data center networks［J］. IEEE/ACM Trans.on Networking， 2021， 29（3）： 1183-1196.

［14］CHENG Y Y， JIA X H. NAMP： network-aware multipathing in software-defined data center networks［J］. IEEE/ACM Trans.on Networking， 2020， 28（2）： 846-859.

［15］WANG F， YAO H P， ZHANG Q， et al. Dynamic distributed multi-path aided load balancing for optical data center networks［J］. IEEE Trans.on Network and Service Management， 2021， 19（2）： 991-1005.

［16］WU Z R， DENG Y H， FENG H， et al. Blender： a container placement strategy by leveraging Zipf-like distribution within containerized data centers［J］. IEEE Trans.on Network and Service Management， 2021， 19（2）： 1382-1398.

［17］DESMOUCEAUX Y， ENGUEHARD M， CLAUSEN T H. Joint monitorless load-balancing and autoscaling for zero-wait-time in data centers［J］. IEEE Trans.on Network and Service Management， 2020， 18（1）： 672-686.

［18］崔子熙， 胡宇翔， 蘭巨龍， 等. 基于流分類(lèi)的數(shù)據(jù)中心網(wǎng)絡(luò)負(fù)載均衡機(jī)制［J］. 電子學(xué)報(bào)， 2021， 49（3）： 559.

CUI Z X， HU Y X， LAN J L， et al. Load balancing based on flow classification for datacenter network［J］. Acta Electonica Sinica， 2021， 49（3）： 559.

［19］趙君， 馬中， 劉馳， 等. 一種多目標(biāo)蟻群優(yōu)化的虛擬機(jī)放置算法［J］. 西安電子科技大學(xué)學(xué)報(bào)， 2015， 42（3）： 173-178.

ZHAO J， MA Z， LIU C， et al. Multi-objective ant colony optimization algorithm for virtual machine placement［J］. Journal of Xidian University， 2015， 42（3）： 173-178.

［20］FENG H， DENG Y H， ZHOU Y， et al. Towards heat-recirculation-aware virtual machine placement in data centers［J］. IEEE Trans.on Network and Service Management， 2021， 19（1）： 256-270.

［21］AYOUB O， DE SOUSA A， MENDIETA S， et al. Online virtual machine evacuation for disaster resilience in inter-data center networks［J］. IEEE Trans.on Network and Service Ma-nagement， 2021， 18（2）： 1990-2001.

［22］LI B Y， CHENG B， LIU X， et al. Joint resource optimization and delay-aware virtual network function migration in data center networks［J］. IEEE Trans.on Network and Service Management， 2021， 18（3）： 2960-2974.

［23］ZU J C， HU G Y， PENG D Y， et al. Fair scheduling and rate control for service function chain in NFV enabled data center［J］. IEEE Trans.on Network and Service Management， 2021， 18（3）： 2975-2986.

［24］ALIZADEH M， GREENBERG A， MALT D A， et al. Data center TCP （DCTCP）［C］∥Proc.of the ACM SIGCOMM 2010 Conference， 2010： 63-74.

［25］ALIZADEH M， KABBANI A， EDSALL T， et al. Less is more： trading a little bandwidth for ultra-low latency in the data center［C］∥Proc.of the 9th USENIX Symposium on Networked Systems Design and Implementation， 2012： 253-266.

［26］CHENG P， REN F， SHU R， et al. Catch the whole lot in an action： rapid precise packet loss notification in data center［C］∥Proc.of the 11th USENIX Symposium on Networked Systems Design and Implementation， 2014： 17-28.

［27］PERRY J， OUSTERHOUT A， BALAKRISHNAN H， et al. Fastpass： a centralized \"zero-queue\" datacenter network［C］∥Proc.of the ACM Conference on SIGCOMM， 2014： 307-318.

［28］CHO I， JANG K， HAN D. Credit-scheduled delay-dounded congestion control for datacenters［C］∥Proc.of the Conference of the ACM Special Interest Group on Data Communication， 2017： 239-252.

［29］LI Y， MIAO R， LIU H H， et al. HPCC： high precision congestion control［C］∥Proc.of the ACM Special Interest Group on Data Communication， 2019： 44-58.

［30］ZHANG T， HUANG J W， CHEN K， et al. Rethinking fast and friendly transport in data center networks［J］. IEEE/ACM Trans.on Networking， 2020， 28（5）： 2364-2377.

［31］ABDELMONIEM A M， BENSAOU B. T-RACKs： a faster recovery mechanism for TCP in data center networks［J］. IEEE/ACM Trans.on Networking， 2021， 29（3）： 1074-1087.

［32］ZOU S J， HUANG J W， WANG J X， et al. Flow-aware adaptive pacing to mitigate TCP incast in data center networks［J］. IEEE/ACM Trans.on Networking， 2020， 29（1）： 134-147.

［33］陸一飛， 朱書(shū)宏. 數(shù)據(jù)中心網(wǎng)絡(luò)下基于SDN的TCP擁塞控制機(jī)制研究與實(shí)現(xiàn)［J］. 計(jì)算機(jī)學(xué)報(bào)， 2017， 40（9）： 2167-2180.

LU Y F， ZHU S H. Research and implementation of TCP congestion control mechanism based on SDN in data center network［J］. Chinese Journal of Computers， 2017， 40（9）： 2167-2180.

［34］郭秉禮， 趙寧， 朱志文， 等. 數(shù)據(jù)中心中面向光互聯(lián)的流量識(shí)別與調(diào)度研究［J］. 通信學(xué)報(bào)， 2018， 39（9）： 122-128.

GUO B L， ZHAO N， ZHU Z W， et al. Research on traffic identification and scheduling based on optical interconnection architecture in data center［J］. Journal on Communications， 2018， 39（9）： 122-128.

［35］LIU G Y， GUO S T， XIAO B， et al. SDN-based traffic matrix estimation in data center networks through large size flow identification［J］. IEEE Trans.on Cloud Computing， 2019， 10（1）： 675-690.

［36］YU A， YANG H， NGUYEN K K， et al. Burst traffic scheduling for hybrid E/O switching DCN： an error feedback spiking neural network approach［J］. IEEE Trans.on Network and Service Management， 2020， 18（1）： 882-893.

［37］LIU W X， LU J J， CAI J， et al. DRL-PLink： deep reinforcement learning with private link approach for mix-flow scheduling in software-defined data-center networks［J］. IEEE Trans.on Network and Service Management， 2021， 19（2）： 1049-1064.

［38］ZHOU X， WANG R H， WEN Y G， et al. Joint IT-facility optimization for green data centers via deep reinforcement learning［J］. IEEE Network， 2021， 35（6）： 255-262.

［39］JIANG Y A， KODIALAM M， LAKSHMAN T V， et al. Resource allocation in data centers using fast reinforcement learning algorithms［J］. IEEE Trans.on Network and Service Ma-nagement， 2021， 18（4）： 4576-4588.

［40］WANG Y， LI Y T， WANG T， et al. Towards an energy-efficient data center network based on deep reinforcement learning［J］. Computer Networks， 2022， 210： 108939.

［41］魯垚光， 王興偉， 李福亮， 等. 軟件定義網(wǎng)絡(luò)中的動(dòng)態(tài)負(fù)載均衡與節(jié)能機(jī)制［J］. 計(jì)算機(jī)學(xué)報(bào)， 2020， 43（10）： 1969-1982.

LU Y G， WANG X W， LI F L， et al. Dynamic load balancing and energy saving mechanism in software defined network［J］. Chinese Journal of Computers， 2020， 43（10）： 1969-1982.

［42］BIANZINO A P， CHAUDET C， ROSSI D， et al. A survey of green networking research［J］. IEEE Communications Surveys amp; Tutorials， 2010， 14（1）： 3-20.

［43］BAGAA M， DUTRA D L C， TALEB T， et al. On SDN-driven network optimization and QoS aware routing using multiple paths［J］. IEEE Trans.on Wireless Communications， 2020， 19（7）： 4700-4714.

［44］SHAUKAT M， ALASMARY W， ALANAZI E， et al. Balanced energy-aware and fault-tolerant data center scheduling［J］. Sensors， 2022， 22（4）： 1482.

［45］HE Q， WANG Y， WANG X W， et al. Routing optimization with deep reinforcement learning in knowledge defined networking［J］. IEEE Trans.on Mobile Computing， 2023， 23（2）： 1444-1455.

［46］LI Y， JIAN S J， HSIEH S Y， et al. A weighted optimal sche-duling scheme for congestion control in cloud data center networks［J］. IEEE Trans.on Services Computing， 2023， 16（4）： 2402-2410.

作者簡(jiǎn)介

張朝輝（1987—），男，講師，博士，主要研究方向?yàn)榫W(wǎng)絡(luò)拓?fù)鋬?yōu)化、資源分配優(yōu)化。

周嘉琦（2000—），男，碩士研究生，主要研究方向?yàn)槎嘀悄荏w協(xié)作優(yōu)化。