孫莉莉 王興偉 張闖闖 李婕

1 引言

美國斯坦福大學提出的SDN面向于校園網(wǎng)，目前在互聯(lián)網(wǎng)和網(wǎng)絡(luò)核心層面被廣泛研究[1]。其特點是分離控制平面和底層交換機的功能，可在控制平面形成網(wǎng)絡(luò)的全局視圖[2]，并支持通過南向接口對網(wǎng)絡(luò)資源進行分配，通過北向接口對控制平面進行編程以實現(xiàn)可編程網(wǎng)絡(luò)[3]?？梢姡琒DN的核心部分為控制器，直接決定了網(wǎng)絡(luò)的性能和SDN架構(gòu)實現(xiàn)的效果[4]。

SDN（Software Defined Network）集中式控制器存在單點失效問題，其安全性和擴展性都面臨挑戰(zhàn)。分布式控制器有效地解決了集中式控制器單點瓶頸及可擴展性問題[5]，但分布式控制器之間需要不斷通信以維護全局視圖。隨著網(wǎng)絡(luò)擴大，本地網(wǎng)絡(luò)視圖策略或者把全局網(wǎng)絡(luò)視圖策略實現(xiàn)的分布式控制平面的通信開銷導致的能耗均在不斷增大。為了滿足最大峰值時的網(wǎng)絡(luò)流量，需要部署大量的SDN控制器以保證網(wǎng)絡(luò)性能。在非峰值期，大量控制器處于空閑狀態(tài)?？刂破鏖_啟后，無論處于空閑狀態(tài)還是負載狀態(tài)，均消耗同樣的能源[6]。目前，SDN可有效地管理數(shù)據(jù)中心網(wǎng)絡(luò)，但在大規(guī)模多控制器數(shù)據(jù)中心網(wǎng)絡(luò)中，降低能耗方面并未充分發(fā)揮其功能[7]。因此，SDN控制器能耗問題有待研究。

NFV（Network Function Virtualization）通過虛擬化使得虛擬網(wǎng)絡(luò)功能按需接入資源共享池[8]。相對于傳統(tǒng)網(wǎng)絡(luò)基礎(chǔ)設(shè)置，NFV架構(gòu)可節(jié)省50%的能源[9]。

目前，國內(nèi)外學者在合理部署分布式控制器以最小化開銷[10]、SDN靈活休眠模型[11]、基于能量感知對控制器進行布局以提高SDN節(jié)能可能性[12]、NFV在大規(guī)模網(wǎng)絡(luò)中減少能源[13]、5G網(wǎng)絡(luò)中NFV能量效率[14]等方面的研究已經(jīng)取得了一定的成果。目前，已有研究多專注于SDN分布式控制器的部署問題，對于休眠算法只考慮當前控制器負載，未考慮長期效能。NFV架構(gòu)可以減輕能耗，為SDN控制器節(jié)能帶來了新的可能性。在SDN中通過NFV思想引入虛擬層，不僅可以解決網(wǎng)絡(luò)流量過大時控制器處理能力不足的問題，還可以有效地降低SDN控制器能耗。

本文架構(gòu)主要針對教育網(wǎng)，采用分級管理進行邏輯集中控制，對物理設(shè)備進行集群管理。根據(jù)網(wǎng)絡(luò)狀態(tài)需求動態(tài)虛擬化控制器，虛擬化的控制器只需要滿足網(wǎng)絡(luò)當前所需功能不必實現(xiàn)物理控制器所有功能。本文主要工作：1）建立控制器數(shù)學模型并設(shè)置節(jié)能優(yōu)化目標;2）提出虛擬控制器數(shù)量自適應(yīng)調(diào)整算法，根據(jù)網(wǎng)絡(luò)流量變化動態(tài)虛擬控制器;3）提出控制器負載自適應(yīng)調(diào)整算法，調(diào)整虛擬控制器負載;4）結(jié)合物理控制器頻率縮放策略以減少能耗;5）當網(wǎng)絡(luò)負載過小時，提出基于節(jié)能和時延優(yōu)化的控制器休眠算法，在網(wǎng)絡(luò)流量過小時可休眠部分控制器以節(jié)約能耗。

2 相關(guān)工作

在SDN節(jié)能方面，文獻[10]提出MIP線性方法及基于貪婪算法的啟發(fā)式算法來找到近似最優(yōu)的控制器布局，解決分布式控制平面中的通信開銷問題。文獻[11]提出了基于排隊理論和遺傳算法的SDN靈活休眠模型。該模型在流量較少時，利用包含平均時延、分組丟失率和隊列長度等信息的成本函數(shù)，計算預(yù)期總成本。通過遺傳算法找到?jīng)Q策的最優(yōu)值以休眠部分空閑的控制器。文獻[12]研究如何合理放置分布式控制器，以最大限度地提高SDN節(jié)能的可能性，提出二進制整數(shù)程序（BIP）模型，在路徑延遲和控制器負載約束下，控制網(wǎng)絡(luò)能量消耗最小化。文獻[7]提出了E3MC能量感知模型，在流量較小時關(guān)閉部分冗余設(shè)備，將相關(guān)流量整合到其他設(shè)備。在數(shù)據(jù)平面，主要考慮流量匯聚和流量分割;在控制平面，主要考慮多控制器的SDN大規(guī)模網(wǎng)絡(luò)的節(jié)能。文獻[15]提出了基于Hybrid Flow架構(gòu)關(guān)閉集群控制器來提高效能的方法，并介紹了M-N休眠策略。但是，對SDN控制平面能耗研究中，多關(guān)注于SDN分布式控制器部署，且已有的休眠算法中只考慮當前控制器的負載，未考慮長期效能和休眠后消息處理的優(yōu)先級問題。

在NFV節(jié)能方面，文獻[13]介紹了NFV在大規(guī)模網(wǎng)絡(luò)中以虛擬功能替代傳統(tǒng)網(wǎng)絡(luò)中間件的模式，該模式可減少大量能源的消耗。文獻[14]研究了5G網(wǎng)絡(luò)中引入NFV可能帶來的能耗效益。貝爾實驗室提出GWATT來解決NFV中的能耗問題，文獻[16]利用GWATT，證明了在虛擬化情況下，網(wǎng)絡(luò)流量增加甚至更能節(jié)約能耗?？梢钥闯?，NFV架構(gòu)可切實有效地降低網(wǎng)絡(luò)能耗，為進一步解決SDN控制器節(jié)能問題提供了可能性。

3 系統(tǒng)架構(gòu)

系統(tǒng)架構(gòu)主要包含六個模塊：模塊1為控制器負載檢測，用于實時監(jiān)測網(wǎng)絡(luò)負載情況;模塊2為控制器CPU頻率縮放策略，在網(wǎng)絡(luò)負載較小時對物理控制器進行降頻;模塊3為虛擬控制器數(shù)量自適應(yīng)調(diào)整算法，根據(jù)網(wǎng)絡(luò)狀態(tài)自動調(diào)整虛擬控制器數(shù)量;模塊4為控制器負載自適應(yīng)調(diào)整算法，實時監(jiān)測控制器的負載情況以對各個控制器的負載情況進行調(diào)整;模塊5為基于節(jié)能和時延優(yōu)化的控制器休眠算法，對空閑的控制器進行休眠;模塊6為控制器和交換機消息映射模塊。根據(jù)模塊3、模塊4和模塊5的輸出結(jié)果調(diào)整控制器與交換機之間的映射關(guān)系，系統(tǒng)架構(gòu)如圖1所示。

控制器負載檢測模塊實時檢測網(wǎng)絡(luò)中控制器負載，根據(jù)負載情況觸發(fā)不同模塊。虛擬控制器數(shù)量自適應(yīng)模塊在物理控制器流量負載過大、處理時延增加時被觸發(fā)。根據(jù)網(wǎng)絡(luò)當前狀態(tài)虛擬部分控制器以協(xié)助物理控制器完成相應(yīng)功能，降低物理控制器負載，同時避免物理控制器冗余而造成資源浪費。為了保障虛擬控制器的處理能力，同時設(shè)計控制器負載自適應(yīng)調(diào)整模塊，實時監(jiān)控物理控制器和虛擬控制器的負載情況，以進行負載調(diào)整。當物理控制器負載較小時，為保證平均時延同時減少能耗，啟動控制器頻率縮放策略縮放物理控制器CPU的頻率以降低能耗。當物理控制器負載過小時，在確保相應(yīng)的物理控制器被休眠后，全網(wǎng)仍能正常工作的情況下，啟動基于節(jié)能和時延優(yōu)化的控制器休眠模塊，將相應(yīng)的物理控制器進行休眠，并將傳輸給被休眠的物理控制器的相應(yīng)包，轉(zhuǎn)發(fā)給其他物理控制器進行處理。

4 控制器節(jié)能問題數(shù)學模型

4.1 物理控制器模型

本文利用一個三元組來表示物理控制器：

其中，控制器標識為。表示物理控制器狀態(tài)，代表物理控制器被休眠，代表物理控制器開啟。表示控制器CPU頻率。

控制器能耗主要與CPU的負載相關(guān)[11]，修改控制器能耗公式。休眠狀態(tài)能耗和開啟狀態(tài)下能耗計算公式分別如（1）和（2）所示。

其中，休眠能耗為固定常數(shù)。開啟狀態(tài)能耗為。 表示域控制器在CPU狀態(tài)為且負載的情況下產(chǎn)生的能耗，其中中的表示CPU支持的頻率狀態(tài)集合。是控制器在CPU頻率為狀態(tài)且空閑狀態(tài)下的能耗。是控制器在CPU頻率為狀態(tài)下滿載的能耗。是控制器在狀態(tài)下CPU的利用率。是一個實驗測量的值。

4.2 虛擬控制器模型

本文利用NFV概念在SDN控制平面引入虛擬控制器以減少物理控制器能耗，可根據(jù)需求開啟或關(guān)閉虛擬控制器。利用二元組表示虛擬控制器：

其中，虛擬控制器標識為。表示虛擬控制器的狀態(tài)，當時，虛擬控制器處于關(guān)閉狀態(tài)，當時，節(jié)點處于休眠狀態(tài)，否則虛擬控制器處于開啟狀態(tài)。

虛擬控制器處于關(guān)閉狀態(tài)時能耗為0，虛擬控制器能耗計算公式如（4）和（5）所示。

其中，虛擬控制器休眠時能耗為固定常數(shù)。為虛擬控制器開啟狀態(tài)時的能耗，。 為虛擬控制器負載為u時產(chǎn)生的能耗 。是虛擬控制器滿載下的能耗。u是虛擬控制器CPU的利用率。是一個實驗測量的值。

4.3 優(yōu)化目標

能耗最小化為本模型的優(yōu)化目標，控制器能耗計算公式如（7）所示。

其中，物理控制器數(shù)量為。第i個物理控制器具有的虛擬控制器數(shù)量為。第i個物理控制器的能耗和第i個物理控制器的第j個虛擬控制器的能耗分別為和。公式（1）和（2）可計算物理控制器i處于休眠狀態(tài)和開啟狀態(tài)下的能耗。（4）和（5）可用來計算虛擬控制器不同狀態(tài)下能耗。

其中，表示交換機i的流量是否由控制器j處理，交換機i的時延小于交換機j的時延表示為?？刂破鱥和控制器j的時延為?？刂破鱦和控制器k的時延為。約束（9）表示時延較小的交換機請求由域內(nèi)虛擬控制器優(yōu)先處理，約束（10）表示交換機到其他域的物理控制器的時延不超過D，約束（11）表示控制器處理一個交換機當前所有流量。

5 控制器節(jié)能算法

為避免保障網(wǎng)絡(luò)流量峰值而過量部署物理控制器造成大量能源浪費，設(shè)置虛擬控制器數(shù)量自適應(yīng)調(diào)整算法，根據(jù)網(wǎng)絡(luò)狀態(tài)自動調(diào)整虛擬控制器數(shù)量。同時，因虛擬控制器處理能力有限，為了保障虛擬控制器的處理能力，設(shè)計控制器負載自適應(yīng)調(diào)整算法，實時監(jiān)測控制器的負載情況以進行調(diào)整;當網(wǎng)絡(luò)流量過小，為進一步降低能耗，提出基于節(jié)能和時延優(yōu)化的控制器休眠算法，對空閑的控制器進行休眠。

5.1 虛擬控制器數(shù)量自適應(yīng)動態(tài)調(diào)整算法

當物理控制器負載過重導致處理延時增大時，可以開啟通過NFV引入的虛擬控制器，協(xié)助物理控制器完成包處理。虛擬控制器數(shù)量計算公式如（12）及（13）所示。

其中，需要增加的虛擬控制器數(shù)量表示為。當前控制器集群需要提供的負載表示為。當前控制器集群能夠處理的最高負載表示為。虛擬控制器能夠處理的最高負載表示為。-1代表每次最多減少一個虛擬控制器，表示向上取整。需要調(diào)整的虛擬控制器數(shù)量表示為。當前虛擬控制器數(shù)量表示為。應(yīng)分配的虛擬控制器數(shù)量為，其值大于0。

首先，根據(jù)公式（12）計算出需要調(diào)整的虛擬控制器的數(shù)量。當需要增加虛擬控制器數(shù)量且需要增加的虛擬機數(shù)量小于已休眠的虛擬機數(shù)量，則喚醒相應(yīng)數(shù)量的休眠虛擬機。當需要的虛擬控制器數(shù)量大于休眠的虛擬控制器數(shù)量，就將所有的休眠虛擬控制器切換為工作狀態(tài)，并打開相應(yīng)數(shù)量的處于關(guān)閉狀態(tài)的虛擬控制器，若需要減少虛擬控制器，為保證流量波動對系統(tǒng)性能的影響，每次只休眠一臺虛擬控制器。并且在整個過程中控制休眠的虛擬控制器數(shù)量不會一直增加，保證休眠的虛擬機數(shù)量小于工作態(tài)的虛擬機數(shù)量。

5.2 控制器負載自適應(yīng)調(diào)整算法

在數(shù)據(jù)包處理分配時需要平衡各交換機的時延，規(guī)定物理控制器傳輸時延大于虛擬控制器傳輸時延，即時延較高的數(shù)據(jù)包由物理控制器處理。來自同一個交換機的消息由同一個虛擬控制器或物理控制器處理以更好地管理流量。在流量動態(tài)變化中，基于上述機制可能導致流量負載不均，為保證處理時延及負載均衡，設(shè)計控制器負載自適應(yīng)調(diào)整算法。

虛擬控制器和物理控制器的負載情況被實時監(jiān)控，以用于決定是否進行負載調(diào)整，算法2的觸發(fā)策略：

（1） 算法1執(zhí)行后，若輸出的虛擬控制器的數(shù)量被調(diào)整，則控制器的負載需要被調(diào)整;

（2） 物理控制器的最高負載為，當物理控制器的負載超過閾值，則物理控制器的負載需要被調(diào)整;

（3） 虛擬控制器的最高負載為，當虛擬控制器的負載超過閾值，則虛擬控制器的負載需要被調(diào)整。

其中，交換機數(shù)量為。域內(nèi)物理控制器和虛擬控制器的總數(shù)量為。列1，列2至n分別代表交換機和物理控制器及交換機與虛擬控制器之間的映射。消息由j處理表示為，不存在映射表示為。

根據(jù)算法1的輸出，若虛擬控制器的數(shù)量增加或不變時，先判斷物理控制器是否過載，若過載則計算需要轉(zhuǎn)移的負載以調(diào)整物理控制器負載。然后計算虛擬控制器的平均負載，判斷虛擬控制器是否過載，若過載則調(diào)整虛擬控制器和交換機之間的映射。若根據(jù)算法1的輸出，需要減少虛擬控制器的數(shù)量，先判斷虛擬控制器是否過載，若未過載則更新虛擬控制器和交換機之間的映射，否則更新虛擬控制器和交換機以及物理控制器和交換機之間的映射。

根據(jù)上述機制，提出了控制器負載自適應(yīng)調(diào)整算法，其偽代碼如算法2描述。

5.3 物理控制器休眠算法

由交換機到睡眠控制器的延遲以及睡眠控制器到被選擇控制器的延遲構(gòu)成，表示傳送到睡眠控制器信息的延遲。由控制器進入睡眠狀態(tài)節(jié)約的能源以及負載轉(zhuǎn)移給其他控制器增加的能耗構(gòu)成，表示睡眠控制器節(jié)約的能源。

[5] H. G. Ahmed and R. Ramalakshmi. Performance Analysis of Centralized and Distributed SDN Controllers for Load Balancing Application[C].Proceedings of the International Conference on Trends in Electronics and Informatics ，? Tirunelveli，? 2018：758-764.

[6] D. B. Rawat and C. Bajracharya. Software Defined networking for reducing energy consumption and carbon emission[C]. Proceedings of the SoutheastCon. Norfolk， VA， 2016： 1-2.

[7] Xie K， Huang X， Hao S， et al. E3MC： Improving energy efficiency via elastic multi-controller SDN in data center networks[J]. IEEE Access， 2017， 4： 6780-6791.

[8] R. Mijumbi， J. Serrat， J. Gorricho， N. Bouten， F. De Turck and R. Boutaba. Network Function Virtualization： State-of-the-Art and Research Challenges[J]. IEEE Communications Surveys & Tutorials， 2016，18（1）： 236-262.

[9] Network Functions Virtualisation （NFV）; Infrastructure Overview， https：//www.etsi.org/deliver/etsi_gs/NFV-INF/001_099/001/01.01.01_60/gs_NFV-INF001v010101p.pdf? 2015.1.

[10] M. Obadia， M. Bouet， J. Rougier and L. Iannone. A greedy approach for minimizing SDN control overhead[C]. Proceedings of the 2015 1st IEEE Conference on Network Softwarization （NetSoft）. London， 2015： 1-5.

[11] Yonghong F U， Jun B I， Jianping W U， et al. A dormant multi-controller model for software defined networking[J]. China Communications， 2014， 11（3）： 45-55.

[12] Hu Y ， Luo T ， Beaulieu N C ， et al. The energy-aware controller placement problem in software defined networks[J]. IEEE Communications Letters， 2017， 21（4）： 741-744.

[13] Z. Xu， F. Liu， Tao Wang and H. Xu. Demystifying the energy efficiency of Network Function Virtualization[C]. Proceedings of the 2016 IEEE/ACM 24th International Symposium on Quality of Service. Beijing， China， 2016： 1-10.

[14] A. Al-Quzweeni， A. Lawey， T. El-Gorashi and J. M. H. Elmirghani. A framework for energy efficient NFV in 5G networks[C]. Proceedings of the 2016 18th International Conference on Transparent Optical Networks （ICTON）. Trento， Italy， 2016： 1-4.

[15] Qiu C， Zhao C， Xu F， et al. Sleeping mode of multi-controller in green software-defined networking[J]. Eurasip Journal on Wireless Communications & Networking， 2016， 2016（1）： 282.

[16] Mijumbi R. On the Energy efficiency prospects of network function virtualization[J]. Computer Science， 2015： 1-6.

[17] Yang L， Dick R P， Memik G， et al. HAPPE： Human and application-driven frequency scaling for processor power efficiency[J]. IEEE Transactions on Mobile Computing， 2013， 12（8）： 1546-155.