吳 玄， 姬偉峰， 翁 江， 李映岐， 申秀雨， 孫 巖

(1.空軍工程大學信息與導航學院，西安,710077;2.95007部隊，廣州,510080)

5G旨在使用相同的網絡基礎設施為每個垂直行業(yè)提供定制業(yè)務需求，實現“萬物互聯”的愿景[1]。為滿足不同垂直行業(yè)的業(yè)務需求，提出了網絡切片(network slicing ,NS)的概念，網絡切片由多個異構虛擬網絡構成，能夠同時為多用戶提供端到端定制化的虛擬網絡服務。但網絡切片在部署時，存在一系列安全問題，例如惡意節(jié)點對共享資源的網絡切片發(fā)動側信道攻擊、存在漏洞的終端設備容易遭受底層網絡攻擊、網絡切片服務在分布式拒絕服務攻擊中變成中間跳板。同時，每個網絡切片實例(network slice instance , NSI)都有資源配額，惡意用戶可能會試圖濫用資源配額，從而中斷該切片的服務[2]。因此，網絡切片安全部署策略研究對5G網絡應用具有重要現實意義。

網絡切片安全部署本質上是對NSI中的虛擬網絡功能(virtual network f unction, VNF)進行部署與編排[3]。文獻[4]提出了5G網絡切片安全信任部署策略，采用網絡切片安全部署的啟發(fā)式算法有效解決了網絡切片信任中的隨機性、模糊性以及不確定性問題；文獻[5]提出了基于信息熵的安全感知虛擬網絡映射算法，利用信息熵TOPSIS(technique for order preference by similarity to an ideal solution)對物理節(jié)點的重要性進行排序，以部署成本作為最小優(yōu)化目標，在長期平均收益、長期收益成本比與運行時長方面取得了較好的效果；文獻[6]提出了一種基于全局資源能力(global resource capacity)的虛擬網絡映射算法，該算法通過考慮節(jié)點的資源屬性和全局拓撲屬性對節(jié)點部署進行優(yōu)化，并采用蒙特卡洛算法求解映射結果獲得了更高的請求接受率與部署收益；文獻[7]提出了一種基于強化學習的虛擬網絡映射算法(virtual network Embedding-Reinforcement learning, VNE-RL)，該算法未考慮部署過程中節(jié)點與鏈路的安全因素，根據節(jié)點的重要性程度進行排序與映射，在長期收益成本比與算法效率上得到了較好的提升，但其對全局資源感知程度不高;文獻[8]提出了一種基于強化學習的安全虛擬網絡映射算法(security virtual network embedding-Reinforcement learning, SVNE-RL)，該算法考慮了節(jié)點的安全因素，利用強化學習求解節(jié)點映射過程，在長期平均收益、長期收益消耗率與請求接受率方面提升較大，但該算法未考慮鏈路安全約束條件，且對節(jié)點的安全性考慮不夠充分。

目前網絡切片部署的安全需求主要考慮節(jié)點的安全因素與資源的重要性程度，未考慮到鏈路對網絡切片部署過程中的影響。并且部署方法主要采用啟發(fā)式算法與強化學習方法，但傳統(tǒng)的啟發(fā)式算法易陷入局部最優(yōu)解[9]，無法感知底層物理資源變化情況，導致資源利用率低，而強化學習算法，存在評價策略時效率較低且方差較大等問題。

針對網絡切片部署的安全需求與部署方法存在的問題，本文提出了一種基于強化學習的安全感知網絡切片部署策略(security aware network slicing-reinforcement learning , SANS-RL)。在部署過程中利用安全等級與安全需求有效量化分析VNF和鏈路的安全性，采用帶有基線算法的強化學習方法，對物理節(jié)點的安全性進行排序，實現對安全等級較高VNF的優(yōu)先部署與重點保護。實驗仿真表明本文所提出的SANS-RL策略比GRC、VNE-RL與SVNE-RL映射效率更高，同時保證了網絡切片部署過程中的性能與安全需求。

1. 網絡切片部署模型

1.1 安全部署需求描述

NSI是一個專用的虛擬網絡，VNF按照一定約束順序組成服務功能鏈(service function chain , SFC)，不同SFC組合構成NSI，物理網絡為NSI提供服務資源。NSI到物理網絡的映射過程稱為網絡切片實例部署，即將VNF映射到物理節(jié)點上，將虛擬鏈路映射到一組物理鏈路上[10]，圖1為網絡切片部署示意圖。

圖1 網絡切片部署示意圖

為了量化與描述網絡切片的安全需求，引入安全等級這一概念。安全等級表示抽象的保護標準，由5G網絡運營商分配，安全等級越高，其提供的安全機制越多。例如，支持數據加密和數字簽名的物理節(jié)點將被分配更高的安全等級。因此，某些特殊的需求會被分配到同等或更高安全級別的資源上。

基于以上假設，本文得出以下4個抽象的安全約束。

1)物理節(jié)點的安全等級不能低于部署在其上的VNF安全需求。

2)VNF的安全等級不能低于其映射到物理節(jié)點的安全需求。

3)在已部署VNF的物理節(jié)點上部署新的VNF時，新VNF的安全需求不得低于已部署VNF的安全需求。

4)具有一定安全需求的虛擬鏈路應映射到具有足夠安全級別的物理鏈路上。

圖1中網絡切片請求中A的屬性值代表其所需CPU資源為20、自身的安全等級為5、需要物理節(jié)點對應的安全級別不低于2，A和B之間虛擬鏈路屬性值代表其所需帶寬資源為3，需要對應的物理鏈路安全級別不低于2，物理節(jié)點E的屬性值代表其能夠提供的CPU資源為75、自身的安全等級為3、需要部署在其上的VNF安全級別不低于2。VNF只能映射到滿足其資源需求與安全需求的物理服務器上，虛擬鏈路只能映射到滿足其帶寬需求與安全需求的物理鏈路上。

1.2 安全部署模型描述

本文使用有權無向圖GP=(NP,LP,NS,LS)來表示5G物理網絡拓撲。物理網絡中物理節(jié)點(物理服務器、交換機、路由器等設備集合)用NP表示，而LP表示節(jié)點之間的所有物理鏈路集合，NS與LS表示物理節(jié)點與物理鏈路的屬性值。其中NS={cpu(ns),dem(ns),lev(ns)}，LS={bw(lp),lev(lp)}，dem表示物理節(jié)點的安全需求，lev表示物理節(jié)點與物理鏈路的安全等級，cpu表示物理節(jié)點可用的CPU資源，bw表示物理鏈路的可用的帶寬資源。

1.3 網絡切片部署過程描述

網絡切片安全部署到基礎設施網絡中可以認為是典型的安全虛擬網絡映射問題(secure virtual network embedding , SVNE)[11]。類似于SVNE問題，本文將網絡切片部署過程分為2個階段：VNF映射與虛擬鏈路映射。

(1)

物理節(jié)點所分配的CPU資源不能超過其自身擁有的CPU的資源，其中cpu(xi)表示第i個VNF所需的CPU資源，cpu(xk)表示物理節(jié)點k剩余的CPU資源，如式(2)所示：

(2)

(3)

上文中的安全約束條件如式(4～7)所示：

(4)

(5)

(6)

dem(lv)≤lev(lp)

(7)

1.4 評價指標

本文以VNF部署的長期安全收益成本比、請求接受率、長期網絡資源利用率與長期帶寬利用率等4個方面對算法進行評價[12]。

1.4.1.長期安全收益成本比

對于VNF的部署收益，用節(jié)點與鏈路的安全收益情況表示，如式(8)所示：

(8)

式中：dem(ns)cpu(nv)代表VNF的安全收益，VNF映射在安全需求越高的物理節(jié)點上，其部署安全收益越大；lev(ls)bw(lv)代表鏈路的安全收益，虛擬鏈路映射在安全等級越高的物理鏈路上，其部署安全收益越大；Tb表示VNF請求持續(xù)時長。

VNF部署成本如式(9)所示[13]：

(9)

式中:lev(nv)cpu(nv)代表VNF映射的部署成本，VNF映射所需cpu資源越多，安全等級越大，其部署成本越高。dem(lv)hop(p)bw(lv)表示虛擬網絡鏈路能源消耗，其中Ps(lv)表示虛擬鏈路lv分配的路徑集合，hop(p)表示路徑p在物理網絡上經過的跳數，虛擬鏈路映射所需帶寬資源越多、鏈路跳數越大、虛擬鏈路的安全需求越高，其部署成本越大。

長期安全收益成本比可以表示為：

(10)

1.4.2 請求接受率

VNF請求接受率可以表示為：

(11)

式中:T表示在VNF請求持續(xù)時間Tb內VNF請求的總個數，而Ts表示在VNF請求持續(xù)時間Tb內VNF請求成功映射的個數。

1.4.3 長期網絡資源利用率

長期網絡資源利用率可以表示為：

(12)

式中：C表示物理網絡總CPU資源；Cs表示在VNF請求持續(xù)時間內已消耗的CPU資源總量。

1.4.4 長期帶寬資源利用率

長期帶寬資源利用率可以表示為：

(13)

式中：B表示物理網絡總帶寬資源；Bs表示在VNF請求持續(xù)時間內已消耗的帶寬資源總量。

2 基于強化學習的網絡切片部署策略

在VNF映射到物理節(jié)點過程中，物理節(jié)點存在的安全風險將會影響整個網絡切片的部署。因此，通過建立物理節(jié)點的安全特征矩陣，確保網絡切片的安全部署。

2.1 節(jié)點安全特征矩陣

提取物理節(jié)點的安全特征屬性，包括節(jié)點計算資源、節(jié)點的度、度中心性、節(jié)點中心度與節(jié)點的安全因子。

1)節(jié)點計算資源(node computing resources)。節(jié)點計算能力是表征節(jié)點效率重要屬性之一，節(jié)點計算能力越強，其承受的VNF越多，被映射的概率就越大，物理節(jié)點nk計算資源如式(14)所示：

NCR(nk)=cpu(nk)

(14)

2)節(jié)點的度(the degree of node)，節(jié)點的度表示連接到物理節(jié)點的鏈路數量，節(jié)點的度越大，其連接的節(jié)點就越多，更易于找到與其他節(jié)點之間較短的鏈路，物理節(jié)點nk的度如式(15)所示：

(15)

式中：Bij表示節(jié)點nk與其相鄰節(jié)點的連接關系，如果互相連接則為1，否則為0。

3)度中心性(degree of centricity)[14]，物理節(jié)點上所鏈接鏈路的帶寬之和，總帶寬越大，映射到物理節(jié)點的VNF鏈路選項越多，映射效果越好。物理節(jié)點nk度中心性如式(16)所示:

(16)

4)節(jié)點中心度[15](the centrality of node)能夠全局網絡結構反映物理節(jié)點的重要程度，物理節(jié)點nk中心度如式(17)所示：

(17)

式中：Okj表示物理節(jié)點nk與nj之間的跳數；NP表示為滿足約束條件的所有物理節(jié)點，節(jié)點中心度越大，物理節(jié)點越接近網絡中心，物理節(jié)點越重要。

5)節(jié)點的安全評估因子。節(jié)點的安全評估因子是衡量節(jié)點整體安全性的重要指標，由節(jié)點計算資源、節(jié)點的度、度中心性、節(jié)點中心度與節(jié)點的安全需求共同組成，節(jié)點的安全評估因子越高，其安全性越好，應考慮對對其優(yōu)先部署，并防止安全性較低的網絡切片共享節(jié)點而導致的同駐攻擊，物理節(jié)點nk安全評估因子如式(18)所示：

SAF(nk)=(NCR(nk)+DN(nk)+)

DC(nk)+CN(nk))*dem(nk)/4

(18)

(19)

物理節(jié)點的安全特征矩陣SE(safety eigenmatrix ,SE)如式(20)所示：

SE=(sav1,sav2,…,savn)T

(20)

2.2 基于策略的網絡切片部署建模

網絡切片的部署問題是一個NP難問題，相比于傳統(tǒng)啟發(fā)式算法與精確式算法求解VNF映射過程，機器學習算法可以根據現有數據智能調整網絡參數，并做出預測。而強化學習(reinforcement learning , RL)作為一種機器學習算法，具有自適應的特點，通過與Agent與環(huán)境的相互作用，執(zhí)行特定的動作，更新狀態(tài)獲取獎勵，RL能夠充分感知VNF映射過程中的安全狀態(tài)信息，在網絡切片部署過程中取得更好的資源利用率。

本文將網絡切片請求中的VNF映射過程建模為帶有狀態(tài)空間的MDPM(S,A,P,R)過程[16]，具體表示為：利用物理節(jié)點的安全特征矩陣作為環(huán)境，Agent定義為一個能夠輸出物理節(jié)點映射概率的策略網絡，Agent根據物理節(jié)點的安全特征矩陣輸出物理節(jié)點映射概率，然后選擇概率最大的物理節(jié)點作為動作，進行VNF映射，當VNF映射完成后，使用Dijkstra算法進行鏈路映射，以長期收入消費比作為獎勵函數，根據學習策略情況給予Agent獎勵，同時更新狀態(tài)信息，VNF映射模型如圖2所示。

圖2 VNF映射模型

將環(huán)境、Agent、狀態(tài)、動作、獎勵具體說明如下：

1)環(huán)境(environment)：

使用物理節(jié)點的安全特征矩陣作為部署過程中的環(huán)境。

2)Agent結構：

本文采用基于策略的RL方法解決連續(xù)動作的MDP問題，引入了一種策略網絡來解決RL問題。策略網絡本質上是一個神經網絡，以某一環(huán)境狀態(tài)作為輸入，通過正向傳播輸出該環(huán)境狀態(tài)下所有候選動作的概率分布[17]。使用MLP作為Agent的策略網絡并進行參數化，策略網絡由輸入層、隱藏層、輸出層與節(jié)點選擇層組成， Agent結構如圖3所示。

圖3 Agent結構

輸入層將物理節(jié)點的安全特征矩陣作為輸入，由隱藏層輸出每個物理節(jié)點的向量，用于映射某個虛擬節(jié)點，對于節(jié)點k，向量計算公式為：

hk=tanh(wn·savk+bn)

(21)

式中：wn為隱藏層的權重；bn為偏置；tanh為激活函數。

然后將該向量轉移到Softmax層，利用Softmax Function生成節(jié)點概率分布，概率計算如式(22)所示：

(22)

此時，概率分布對應一個VNF映射到所有物理節(jié)點的可能性大小，即VNF映射到概率越大的物理節(jié)點上其映射效果越好[18]。

節(jié)點選擇層需要在所有候選節(jié)點中選擇一組滿足約束條件的物理節(jié)點進行VNF的映射，將不滿足約束條件的節(jié)點進行刪除。

3)動作(Actions)：

根據Agent輸出節(jié)點的概率分布，選擇概率最高的物理節(jié)點作為需要被映射的節(jié)點。當VNF映射完成后，在選擇的物理節(jié)點和它的鄰居節(jié)點之間運行Dijkstra算法，進行虛擬鏈路映射。

4)狀態(tài)(States)：

在進行動作選擇后，環(huán)境需要對基礎網絡設施中的物理節(jié)點進行資源更新，根據當前物理節(jié)點的資源計算節(jié)點安全特征矩陣，使得Agent得到新的狀態(tài)表示。

5)獎勵(Rewards):

在RL模型中，Agent僅根據獎勵來估計模型是否正確。較大的獎勵表明代理當前的行動是有效的，應該繼續(xù)下去;一個小的獎勵表明當前的行為是不適當的，應該調整，因此如何設置合理的獎勵十分關鍵[19]。本文以網絡資源利用情況作為獎勵信號，當鏈路映射成功時，Agent會收到獎勵信號；當鏈路映射失敗時，獎勵值為0，以避免Agent下次選擇該策略，獎勵計算如式(23)所示:

(23)

式中：Cs(nv)代表VNF消耗的CPU資源；C(np)代表VNF映射到物理節(jié)點np的CPU總資源。如果部署策略網絡資源利用高，則認為該部署策略較好，如果未部署成功，則設置獎勵值為0，以避免下次選擇該策略。

3 仿真實驗

3.1 實驗環(huán)境

本文使用GT-ITM工具生成物理網絡拓撲及網絡切片實例請求，實驗平臺采用Pycharm，采用python語言編寫程序，利用TensorFlow構建策略網絡，測試結果在Origin中繪圖表示，網絡參數設置表1。

表1 網絡參數設置

3.2 SANS-RL模型性能評估

將本文提出的SANS-RL模型與文獻[6]提出的GRC算法、文獻[7]提出VNE-RL算法與文獻[8]提出的SVNE-RL進行對比。

本文從請求接受率、長期安全收益成本比、長期網絡資源利用率、長期帶寬資源利用率與程序運行時間5個方面進行對比分析。

3.2.1 請求接受率與長期安全收益成本比

各算法VNF的請求接受率變化情況見圖4。

圖4 請求接受率

從請求接受率可以看出，SANS-RL高于SVNE-RL高于GRC高于VNE-RL。由于在初始時間時，由于物理資源豐富，可以滿足更多的虛擬網絡需求，所以各算法請求接受率都較高。隨著物理網絡資源的不斷消耗，后期指標開始逐漸下降，而SANS-RL算法在測試階段確定了Agent的最優(yōu)化參數，使其能夠更好地學習物理網絡節(jié)點鏈路之間的關系，這更符合VNF的實際情況，所以其請求接受率最高。

而VNE-RL請求接受率最低，由于其考慮節(jié)點的拓撲屬性較少，對于物理網絡情形感知較差，VNE-RL模型不能充分發(fā)揮其優(yōu)勢，難以獲得最合適的嵌入策略，故其請求接受率最低；而GRC使用啟發(fā)式算法，綜合考慮了全局資源拓撲屬性，其算法效率與物理網絡資源狀態(tài)變化無關，故其請求接受率高于VNE-RL，而SVNE-RL對物理網絡資源考慮較為全面，但其算法運行方差較大，導致算法效率低于SANS-RL，故其請求接受率低于SANS-RL。

長期安全收益成本比如圖5所示，從圖中可以看出，SANS-RL長期安全收益成本與SVNE-RL、GRC算法較為接近，都高于VNE-RL算法。因為長期收益消費比主要取決于算法效率與物理節(jié)點數量無關，由于SANS-RL算法的Agent是在具有較多物理節(jié)點特征的環(huán)境中訓練，其對物理網絡感知程度最高，故其映射效率最高效果最好，而VNE-RL對物理網絡感知程度較低，其在映射過程中需要反復尋找最優(yōu)映射結果，從而導致算法效率降低，效果較差。

圖5 長期安全收益成本比

3.2.2 長期網絡資源利用率與帶寬利用率

長期網絡資源利用率與長期帶寬利用率見圖6、圖7。

圖6 長期網絡資源利用率

圖7 長期帶寬利用率

由圖6與圖7可得，在所有算法中，SANS-RL網絡資源利用率與帶框利用率最高，由于SANS-RL接收到的VNF請求最多，其請求接受率最高，則SANS-RL模型對帶寬與網絡資源的利用情況最好。而SVNF-RL、GRC與VNF-RL算法網絡資源利用率與帶寬利用率依次下降，與請求接受率實驗結果相符，證明了SANS-RL算法效率的優(yōu)越性與資源利用的高效性。

3.2.3 程序運行時間

圖8顯示了在相同的實驗環(huán)境條件下，各算法的運行時長。

圖8 各算法運行時長比較

由于各算法的程序運行時長受操作系統(tǒng)與實驗環(huán)境的影響，不同算法的程序運行時長僅在實時操作系統(tǒng)環(huán)境中有效。其中VNF-RL算法運行時間最長，因其對物理網絡資源感知較差，其需要不斷學習映射的最佳策略，導致算法運行時間較長且效率較低。而GRC算法綜合考慮了物理節(jié)點資源與全局拓撲情況，算法較為復雜，但使用蒙特卡洛樹搜索提高了算法性能減少了運行時間，使得其運行時間比VNF-RL較好。而SVNE-RL與SANS-RL運行時長相近，由于SANS-RL模型梯度求解過程使用帶有基線的REINFORCE算法，減少了強化學習過程中方差使其學習效率更快，效率更高故其運行時間優(yōu)于SANS-RL。

4 結語

針對傳統(tǒng)啟發(fā)式算法解決網絡切片部署問題易陷入到局部最優(yōu)解，且部署過程中對網絡切片節(jié)點與鏈路的感知程度不高的問題，本文提出了一種基于安全感知的網絡切片部署策略，并通過仿真實驗驗證了部署模型的可行性與算法的高效性。在VNF映射部署階段，首先利用安全等級量化了VNF的安全需求，然后提取物理節(jié)點的關鍵安全指標構建安全特征矩陣，利用策略網絡輸出安全特征矩陣的映射概率大小，實現VNF的安全部署。在虛擬鏈路部署階段，采用最短路徑方法進行虛擬鏈路映射。最終證明SANS-RL在滿足安全約束的同時能夠有效感知部署過程中的資源變化情況，獲得較高的安全收益與部署收益。在后續(xù)研究中，將針對多層網絡切片的安全部署進行研究，考慮復雜網絡情況下的網絡切片安全部署情形。