甘浩宇 陳立豐 郭娘容 李佳灝

摘要：隨著5G通信技術(shù)的發(fā)展，各式各樣的網(wǎng)絡(luò)業(yè)務(wù)層出不窮。與此同時(shí)，新型網(wǎng)絡(luò)業(yè)務(wù)使得傳統(tǒng)通信承載網(wǎng)的基礎(chǔ)設(shè)施面臨著新的挑戰(zhàn)。一方面，有一部分新型網(wǎng)絡(luò)業(yè)務(wù)需要在5G網(wǎng)絡(luò)的超低時(shí)延超高可靠性條件下（Ultra-reliable and Low Latency Communications， URLLC）場景下進(jìn)行服務(wù)，此業(yè)務(wù)需要5G網(wǎng)絡(luò)提供超低時(shí)延以及超高可靠性的通信保障。另一方面，此類型業(yè)務(wù)流量在傳統(tǒng)承載網(wǎng)架構(gòu)下容易形成局部鏈路擁塞從而影響交付質(zhì)量。為解決這些問題，提出了一種基于SDN軟件定義網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)URLLC場景承載網(wǎng)切片流量管理方法。此方法利用SDN轉(zhuǎn)發(fā)與控制分離特性并借助深度強(qiáng)化學(xué)習(xí)來進(jìn)行決策，從而達(dá)到最小化網(wǎng)絡(luò)負(fù)載的效果。通過仿真實(shí)驗(yàn)，提出的流量調(diào)度方法優(yōu)于傳統(tǒng)的基本管理方法。

關(guān)鍵詞：5G;網(wǎng)絡(luò)切片;SDN;深度強(qiáng)化學(xué)習(xí);負(fù)載均衡

中圖分類號：TN914 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號：1009-3044（2022）13-0009-05

1 概述

近年來隨著通信技術(shù)的不斷發(fā)展，各式各樣的新型網(wǎng)絡(luò)通信業(yè)務(wù)應(yīng)運(yùn)而生，呈現(xiàn)出多場景、差異化特點(diǎn)[1]，這對目前網(wǎng)絡(luò)基礎(chǔ)設(shè)施中有限的網(wǎng)絡(luò)資源提出更大的挑戰(zhàn)。

一方面，有相當(dāng)一部分的網(wǎng)絡(luò)業(yè)務(wù)需要超低時(shí)延、超高可靠性的通信保障，另一方面，不同的網(wǎng)絡(luò)業(yè)務(wù)有不同的通信需求，例如：對于無人機(jī)巡檢，需要實(shí)時(shí)傳輸檢測視頻數(shù)據(jù)，傳輸數(shù)據(jù)量大，對帶寬要求較高;對于毫秒級精準(zhǔn)負(fù)荷控制，則對時(shí)延要求較高[2]，必須滿足不同業(yè)務(wù)的實(shí)際需求，才能保證業(yè)務(wù)服務(wù)質(zhì)量。

5G通信技術(shù)的飛速發(fā)展為解決上述挑戰(zhàn)提供了一種新的思路與方法。5G是新一代蜂窩移動(dòng)通信技術(shù)，是面向2020年以后移動(dòng)通信需求而發(fā)展的新一代移動(dòng)通信系統(tǒng)[3]。在文獻(xiàn)[4]中，作者設(shè)計(jì)了一個(gè)支持URLLC場景的無線系統(tǒng)模型，滿足URLLC場景下超低時(shí)延、超高可靠性的通信需求;文獻(xiàn)[5]則針對5G網(wǎng)絡(luò)中三種異構(gòu)通信服務(wù)，提出一種溝通理論模型，保證服務(wù)質(zhì)量。因此，研究和探討針對5G網(wǎng)絡(luò)切片的資源管理方法是有必要的。

針對URLLC場景下的業(yè)務(wù)需求，傳統(tǒng)承載網(wǎng)的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)暴露出較多缺陷[6]。比如，傳統(tǒng)通信網(wǎng)絡(luò)中的流量管理往往基于最短路徑轉(zhuǎn)發(fā)原則，無法適應(yīng)WAN網(wǎng)絡(luò)流量的動(dòng)態(tài)變化，經(jīng)常使得網(wǎng)絡(luò)設(shè)施中某處通信鏈路負(fù)載過大，而資源豐富的鏈路或者節(jié)點(diǎn)則被空置的狀況。

目前傳統(tǒng)的網(wǎng)絡(luò)流量調(diào)控往往是基于單獨(dú)節(jié)點(diǎn)的網(wǎng)絡(luò)設(shè)備進(jìn)行管理，無法從基于全局從整體性上對整個(gè)網(wǎng)絡(luò)拓?fù)溥M(jìn)行監(jiān)控與調(diào)節(jié)從而實(shí)現(xiàn)全局最優(yōu)。

SDN（軟件定義網(wǎng)絡(luò)）技術(shù)作為5G通信的基礎(chǔ)技術(shù)，可以在網(wǎng)絡(luò)流量管控過程中發(fā)揮巨大作用。相較于傳統(tǒng)流量調(diào)度技術(shù)，SDN技術(shù)實(shí)現(xiàn)了節(jié)點(diǎn)控制與流量轉(zhuǎn)發(fā)解耦的能力，以此達(dá)到了針對整個(gè)拓?fù)渚W(wǎng)絡(luò)的全局統(tǒng)一控制，使得網(wǎng)絡(luò)監(jiān)控應(yīng)用能夠?qū)崿F(xiàn)流量的動(dòng)態(tài)調(diào)度[7]。例如，當(dāng)網(wǎng)絡(luò)流量發(fā)生異常波動(dòng)而導(dǎo)致?lián)砣?，傳統(tǒng)網(wǎng)絡(luò)管理技術(shù)需要針對所有網(wǎng)絡(luò)設(shè)備進(jìn)行排查與調(diào)整，而 SDN 架構(gòu)由于控制功能和底層物理設(shè)備相分離，控制功能由控制器集中管理，只需要簡單地修改應(yīng)用指令就可以實(shí)現(xiàn)對網(wǎng)絡(luò)的管控，相對于傳統(tǒng)網(wǎng)絡(luò)管理的煩瑣工作， SDN 架構(gòu)使工作效率大大提高，網(wǎng)絡(luò)更加穩(wěn)定[8]。

目前傳統(tǒng)蜂窩網(wǎng)絡(luò)中流量調(diào)控與負(fù)載均衡算法已被大量研究，如小區(qū)呼吸技術(shù)[9] 已被廣泛應(yīng)用于第二代和第三代移動(dòng)通信網(wǎng)絡(luò)中。由 X. Lin 和 S. Wang 提出的 Cloud RAN 中的高效 RRH 切換機(jī)制在考慮系統(tǒng)能效條件下實(shí)現(xiàn)了流量負(fù)載優(yōu)化[10]。C. Ran 和 S. Wang 等人[11] 從另一個(gè)角度提出了 Cloud RAN 中的最佳負(fù)載均衡算法。通過周期性地監(jiān)控衡量均衡度的公平指數(shù)，當(dāng)其低于特定閾值時(shí)，則重新設(shè)計(jì)每個(gè)小區(qū)覆蓋的區(qū)域以實(shí)現(xiàn)系統(tǒng)的負(fù)載均衡。

綜合考慮面向5G網(wǎng)絡(luò)通信資源的管理和流量調(diào)度管理，在實(shí)際資源管理過程中，傳統(tǒng)的算法往往是基于啟發(fā)式算法進(jìn)行流量調(diào)控，在計(jì)算的過程中一般會(huì)增加控制器的計(jì)算負(fù)擔(dān)，并且隨著用戶數(shù)量的增加，需要在巨大的決策空間中選擇最優(yōu)決策，耗時(shí)較長，而人工智能領(lǐng)域一個(gè)新的研究熱點(diǎn)——深度強(qiáng)化學(xué)習(xí)，將深度學(xué)習(xí)的感知能力與強(qiáng)化學(xué)習(xí)的決策能力相結(jié)合，能讓模型在不斷的學(xué)習(xí)過程中自主選擇最優(yōu)策略，降低決策時(shí)間[12]。

基于上述的考慮，本文針對URLLC場景下網(wǎng)絡(luò)切片，提出了一種基于深度強(qiáng)化學(xué)習(xí)的承載網(wǎng)網(wǎng)絡(luò)流量調(diào)度管理方法?？梢詣?dòng)態(tài)地依據(jù)整體網(wǎng)絡(luò)拓?fù)溥\(yùn)行狀況，彈性地為不同的通信業(yè)務(wù)流量分配鏈路資源，針對不同業(yè)務(wù)，在保證其時(shí)延和可靠性要求的同時(shí)，滿足不同業(yè)務(wù)的個(gè)性化需求，同時(shí)優(yōu)化整體網(wǎng)絡(luò)拓?fù)涞呢?fù)載程度。

2 系統(tǒng)模型

如圖1所示，針對URLLC場景下多種業(yè)務(wù)需求可將承載網(wǎng)通信管道切分為軟件管道，在SDN上的實(shí)現(xiàn)主要是依據(jù)需求將物理鏈路資源映射為不同的虛擬子網(wǎng)切片，為不同的網(wǎng)絡(luò)業(yè)務(wù)分配切片資源，在保證其時(shí)延和可靠性要求的同時(shí)，滿足不同用戶的個(gè)性化需求。如在物聯(lián)網(wǎng)領(lǐng)域，URLLC場景下業(yè)務(wù)大致可分為移動(dòng)應(yīng)用類、信息采集類和生產(chǎn)控制類三種[13]。

本文針對5G承載網(wǎng)切片網(wǎng)絡(luò)中的流量調(diào)度問題以優(yōu)化網(wǎng)絡(luò)負(fù)載均衡狀況為切入點(diǎn)，在通過網(wǎng)絡(luò)虛擬化工作將網(wǎng)絡(luò)拓?fù)溆成錇槿舾蓚€(gè)虛擬子網(wǎng)后，通過強(qiáng)化學(xué)習(xí)智能體對不同業(yè)務(wù)在各個(gè)虛擬子網(wǎng)中的流量導(dǎo)向進(jìn)行調(diào)控，從而達(dá)到整體網(wǎng)絡(luò)負(fù)載較為均衡的狀況。

2.1 整體架構(gòu)

本文提出的切片網(wǎng)絡(luò)流量優(yōu)化技術(shù)架構(gòu)主要如圖2所示，各層級介紹如下：

基礎(chǔ)物理架構(gòu)層是由一系列SDN可控交換機(jī)組成的物理拓?fù)鋄14]，該層接受SDN控制器的流量監(jiān)控、重定向以及鏈路映射指令。

子網(wǎng)切片層是利用SDN的網(wǎng)絡(luò)虛擬化工具，將不同鏈路映射為對應(yīng)的虛擬子網(wǎng)，并通過流量重定向?qū)⒘髁孔呦蛑囟ㄏ蛑劣刹煌溌芬约肮?jié)點(diǎn)組成的虛擬子網(wǎng)，以此實(shí)現(xiàn)不同業(yè)務(wù)之間的端到端切片。

而由OpenDaylight及其VTN組件組成的控制層則負(fù)責(zé)監(jiān)控整體網(wǎng)絡(luò)流量，連接應(yīng)用層與網(wǎng)絡(luò)拓?fù)?，統(tǒng)籌全局網(wǎng)絡(luò)，并使用北向接口接受應(yīng)用層的控制策略，同時(shí)借助南向接口向切片層傳遞控制信息。

頂層為運(yùn)行網(wǎng)絡(luò)流量負(fù)載均衡優(yōu)化算法的強(qiáng)化學(xué)習(xí)智能體，其收集整個(gè)網(wǎng)絡(luò)的拓?fù)滟Y源信息以及數(shù)據(jù)流量狀況從而生成控制策略，然后將控制策略下發(fā)至控制層。

2.2 負(fù)載均衡模型

負(fù)載均衡中流量調(diào)度問題可以被建模成一個(gè)多商品流問題，多商品流問題（Multi-Commodity Flow Problem）是多種商品（或貨物）在網(wǎng)絡(luò)中從不同的源節(jié)點(diǎn)流到不同宿節(jié)點(diǎn)的網(wǎng)絡(luò)流問題。多商品流問題的目標(biāo)是以最小的成本實(shí)現(xiàn)商品在網(wǎng)絡(luò)中的流通，且不能超過每條邊的承載能力。

本文中的拓?fù)淠Ｐ涂煞夯鳛闊o向圖G=（V ， E）其中V是圖G所有節(jié)點(diǎn)即物理交換機(jī)的集合，E是圖G中所有邊的集合即整個(gè)網(wǎng)絡(luò)拓?fù)渲械奈锢礞溌?。本文涉及網(wǎng)絡(luò)切片多業(yè)務(wù)場景，故記[I]為所有業(yè)務(wù)組成的集合。對于業(yè)務(wù)[i∈I]，一個(gè)相鄰節(jié)點(diǎn)對之間的單條鏈路可表示為[wi]，則[wi∈E]，不同鏈路中資源與能力存在一定差異，每條鏈路中的總帶寬資源記為[cw]。

對于V集合中任意一組節(jié)點(diǎn)對記為v，所有節(jié)點(diǎn)對的集合為K，記v之間的一條鏈路記為業(yè)務(wù)i的業(yè)務(wù)切片[si]，則K集所有節(jié)點(diǎn)對之間網(wǎng)絡(luò)切片記為S，節(jié)點(diǎn)對v之間針對業(yè)務(wù)i的所有流量路徑集合記為[Pvi]。將整體拓?fù)渲兴泄?jié)點(diǎn)對之間的流量請求矩陣記為M，則v之間的業(yè)務(wù)i流量請求可記為[mvi]。在多業(yè)務(wù)運(yùn)行過程中，不同業(yè)務(wù)會(huì)在同一切片中產(chǎn)生競態(tài)情況，也就是同一切片中可能會(huì)經(jīng)過多種業(yè)務(wù)流量，所以這里需要定義變量[xsi∈[0，1]]表示業(yè)務(wù)i在切片s中的與其他的業(yè)務(wù)資源占比，當(dāng)業(yè)務(wù)i優(yōu)先級高于其他業(yè)務(wù)或者無其他業(yè)務(wù)存在時(shí)，[xsi=1]，如果當(dāng)前網(wǎng)絡(luò)切片不存在業(yè)務(wù)[i]或者優(yōu)先級完全低于其他業(yè)務(wù)時(shí)[xsi=0]，當(dāng)業(yè)務(wù)[i]需要與其他業(yè)務(wù)部分共享切片資源時(shí)變量[xsi∈（0，1）]。

本文的關(guān)鍵在于如何找到多商品流問題的資源分配問題，其目標(biāo)主要是依據(jù)業(yè)務(wù)優(yōu)先級以及資源分配需求，保證主要業(yè)務(wù)在多業(yè)務(wù)運(yùn)行環(huán)境下的網(wǎng)絡(luò)拓?fù)渲羞\(yùn)行性能。

首先針對切片資源占有進(jìn)行建模，定義業(yè)務(wù)[i]的整體切片資源占有率[Ui]，用以表示當(dāng)前業(yè)務(wù)流量大小和當(dāng)前所在物理鏈路帶寬的比值，從而可以反映出鏈路的資源使用情況。

[Uiw=pi∈Pw∈pis，d∈Kxwimvicw] ? ? ? ? ? ? ? ? ? ? （1）

計(jì)算出鏈路的資源使用后，可通過所有鏈路中的不同業(yè)務(wù)上的鏈路利用率的最大值與最小值的差值的平均值來反映鏈路上負(fù)載均衡狀況，值越小，說明資源分配較為均衡，負(fù)載處于較為均衡狀態(tài)。

[δ=i∈ImaxUiw-minUiwI] ? ? ? ? ? ? ? ? ? ? ? ? （2）

同時(shí)由于網(wǎng)絡(luò)流量存在瞬時(shí)激增或速降的狀況，當(dāng)前時(shí)刻的負(fù)載均衡值并不能良好地反映網(wǎng)絡(luò)狀況，以至于干擾后續(xù)拓?fù)滏溌窙Q策，本文采用梯度更新的方式對負(fù)載均衡值進(jìn)行更新。

[δ=δt+?δt-δt-1] ? ? ? ? ? ? ? ? ? ? （3）

對于流量傳輸過程中的時(shí)延信息，一般認(rèn)為鏈路上的時(shí)延與流量擁堵程度成正比，因此對于整體網(wǎng)絡(luò)拓?fù)涞臅r(shí)延，其定義如下：

[Ti=αEwi∈Emvicw] ? ? ? ? ? ? ? ? ? ? ?（4）

3 目標(biāo)函數(shù)及解決方法

3.1 問題描述

在本文中，我們希望系統(tǒng)可以在滿足業(yè)務(wù)時(shí)延要求和高可靠性的條件下，盡量采用負(fù)載均衡度高的切片鏈路分配與虛擬子網(wǎng)映射方案來進(jìn)行任務(wù)的傳輸。因此我們定義整個(gè)系統(tǒng)所要優(yōu)化的目標(biāo)函數(shù)如下所示：

[min δ] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （5）

[p∈Pvixwi=1][] ? ? ? ? ? ? ? ? ? ?（6）

[xwi∈0，1] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （7）

式（5）為目標(biāo)函數(shù)，其目的是最小化網(wǎng)絡(luò)負(fù)載均衡度;式（6）表示當(dāng)前時(shí)刻業(yè)務(wù)i所有的流量請求都會(huì)被分配到對應(yīng)的虛擬子網(wǎng)切片上。式（7）保證分配到各自虛擬子網(wǎng)切片以及多重映射的鏈路的業(yè)務(wù)占比不得為負(fù)值或者超過鏈路資源。

3.2 解決方法

針對以上場景，本文提出一種基于DQN（Deep Deterministic Policy Gradient）流量管理方法，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。其基本原理是DQN智能體與環(huán)境不斷交互，獲得當(dāng)前環(huán)境狀態(tài)，然后隨機(jī)抽樣選擇一個(gè)動(dòng)作執(zhí)行，執(zhí)行完該動(dòng)作后，環(huán)境會(huì)從當(dāng)前狀態(tài)以某個(gè)概率轉(zhuǎn)移到另一個(gè)狀態(tài)，同時(shí)智能體會(huì)接收到環(huán)境反饋的一個(gè)獎(jiǎng)勵(lì)或懲罰。在此過程中不斷收斂Q函數(shù)，并增大從環(huán)境中獲取的獎(jiǎng)勵(lì)。

DQN智能體每完成一次虛擬子網(wǎng)切片間的流量調(diào)度，進(jìn)而得到該網(wǎng)絡(luò)拓?fù)涞恼w負(fù)載均衡程度，從而給智能體反饋一個(gè)獎(jiǎng)勵(lì)或者懲罰。智能體將當(dāng)前環(huán)境狀態(tài)、資源分配動(dòng)作、反饋獎(jiǎng)勵(lì)和環(huán)境下一個(gè)狀態(tài)組成一個(gè)四元組，作為一個(gè)樣本存儲(chǔ)到記憶池。通過記憶回放機(jī)制，智能體會(huì)根據(jù)訓(xùn)練周期配置從記憶池隨機(jī)選取mini-batch樣本數(shù)據(jù)對智能體進(jìn)行強(qiáng)化訓(xùn)練，從而不斷更新神經(jīng)網(wǎng)絡(luò)的系數(shù)來降低損失[15]。

將上述過程可轉(zhuǎn)成強(qiáng)化學(xué)習(xí)語言，即狀態(tài)空間State、動(dòng)作空間Action和獎(jiǎng)勵(lì)回報(bào)函數(shù)Reward這3個(gè)基本要素[16]，針對本文場景，定義如下：

1）狀態(tài)空間，表示當(dāng)前一次網(wǎng)絡(luò)測量中所有流量請求和所有鏈路的時(shí)延，鏈路利用率以及鏈路策略信息，具體與前文中三個(gè)變量相對應(yīng)：整體拓?fù)鋾r(shí)延[Ti]，資源利用率[Uiw]以及鏈路分配比重[xiw]。

2）動(dòng)作空間，表示DQN智能體根據(jù)環(huán)境狀態(tài)所做出的策略合集，在本文場景中對應(yīng)著業(yè)務(wù)流量在不同虛擬子網(wǎng)路徑中的分流比重。DQN智能體每獲取一個(gè)狀態(tài)，便會(huì)根據(jù)Q值從動(dòng)作空間選擇相應(yīng)動(dòng)作執(zhí)行。對于DQN網(wǎng)絡(luò)中的策略函數(shù)[π]，其動(dòng)作空間函數(shù)與策略函數(shù)關(guān)系如式（8）所示。

[at=πst] ? ? ? ? ? ? ? ? ? ? ? ? ? ? （8）

3）獎(jiǎng)勵(lì)回報(bào)函數(shù)。表示環(huán)境交互所反饋的獎(jiǎng)勵(lì)回報(bào)。在每次迭代中，智能體都會(huì)根據(jù)當(dāng)前的環(huán)境狀態(tài)選取并執(zhí)行一個(gè)動(dòng)作，然后環(huán)境轉(zhuǎn)移至下一個(gè)狀態(tài)并反饋給智能體一個(gè)回報(bào)獎(jiǎng)勵(lì)。本模型中，負(fù)載均衡優(yōu)化模型的優(yōu)化目標(biāo)是最小化負(fù)載均衡度[δ]，本文將獎(jiǎng)勵(lì)定義為負(fù)載均衡度的倒數(shù)，以此來最大化獎(jiǎng)勵(lì)。定義如式（9）所示，[rt]和[δt]分別表示t時(shí)刻獎(jiǎng)勵(lì)與負(fù)載均衡度，[β]為獎(jiǎng)勵(lì)系數(shù)。

[rt=βδt] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（9）

3.3 算法流程

1. 隨機(jī)初始化動(dòng)作值函數(shù)Q即網(wǎng)絡(luò)Q

2. 初始化replay memory D

3. 初始化經(jīng)驗(yàn)池

4. for each episode：

5. ? 初始化網(wǎng)絡(luò)輸入[s1=x1]，計(jì)算出網(wǎng)絡(luò)輸出

6. ? for t = 0 to T：

7. ? ? ?根據(jù)概率密度函數(shù)隨機(jī)采樣動(dòng)作[at]

8. ? ? ?否則選擇[at=maxαQ*?st，a，θ]

9. ? ? ?執(zhí)行動(dòng)作[at]，得到獎(jiǎng)勵(lì)[rt]和下一個(gè)網(wǎng)絡(luò)的輸入[xt+1]

10. ? ? [st+1=st，?t+1=?（st+1）]

11. ? ? 將[（?t，at，rt，?t+1）]作為此刻的狀態(tài)存入到D

12. ? 隨機(jī)從D中取出mini batch個(gè)狀態(tài)[（?j，aj，rj，?j+1）]

13. ? ? ?[yj=rj ? ? ? ? ? ? ? ? ? ? ? ? ? for terminal ?j+1rj+γmaxa'Q（?j+1，a';θ） otherwise]

14. 執(zhí)行梯度下降

15. ? end for

16. end for

4 實(shí)驗(yàn)仿真

4.1 環(huán)境配置

本文實(shí)驗(yàn)利用Mininet網(wǎng)絡(luò)仿真平臺(tái)來搭建網(wǎng)絡(luò)拓?fù)洌褂肙penDaylight控制器作為調(diào)控整個(gè)網(wǎng)絡(luò)流量的控制器，并使用OpenDaylight的VTN組件進(jìn)行流量調(diào)度。強(qiáng)化學(xué)習(xí)算法基于TensorFlow框架實(shí)現(xiàn)。網(wǎng)絡(luò)拓?fù)浼軜?gòu)基于traffic-matrices-anonymized提供的其中四個(gè)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)實(shí)現(xiàn)，每個(gè)拓?fù)淠Ｐ推渲邪?3個(gè)交換機(jī)拓?fù)涔?jié)點(diǎn)和48條物理鏈路，每條鏈路的帶寬資源承載能力都存在一定差異。

4.2 仿真數(shù)據(jù)

針對URLLC場景下的多種業(yè)務(wù)的流量特點(diǎn)，仿真數(shù)據(jù)源應(yīng)滿足以下特點(diǎn)：

網(wǎng)絡(luò)中應(yīng)經(jīng)常有碰撞、擁塞等情況的發(fā)生。

不同的端系統(tǒng)可能在短時(shí)間內(nèi)同時(shí)發(fā)送多個(gè)數(shù)據(jù)流，且大小、持續(xù)時(shí)間各不相同。

承載網(wǎng)承擔(dān)著不同的應(yīng)用，各應(yīng)用產(chǎn)生的數(shù)據(jù)流的優(yōu)先級不同。

基于以上考慮，仿真所用的部分?jǐn)?shù)據(jù)源如表1所示，BurstTime為數(shù)據(jù)流的持續(xù)時(shí)間（ms），PktSize 是其大?。↘B），Priority 為數(shù)據(jù)流本身的優(yōu)先級。

4.3 仿真結(jié)果

4.3.1算法收斂

圖4描述了算法收斂性描述了基于DQN的網(wǎng)絡(luò)流量調(diào)控管理算法的收斂性，隨著訓(xùn)練次數(shù)增加，損失函數(shù)值逐漸趨近于局部最優(yōu)值，算法收斂。

4.3.2 方案對比

除了本文提出的流量調(diào)控方案，還設(shè)置了三個(gè)對比方案。

1）最短路徑優(yōu)先，根據(jù)該策略，在傳輸數(shù)據(jù)過程中會(huì)優(yōu)先選擇長度最短的路徑作為數(shù)據(jù)通路，但該方案沒有考慮到負(fù)載堆積狀況，容易陷入局部鏈路擁塞。

2）固定權(quán)重分配，該方案會(huì)針對路徑設(shè)置固定權(quán)重，并依據(jù)不同鏈路之間的權(quán)重占比來決定該由哪條鏈路進(jìn)行數(shù)據(jù)傳輸。

3）k路最短路徑，該策略會(huì)在兩點(diǎn)之間分配路徑最短的前K條鏈路路徑作為工作的虛擬子網(wǎng)切片，以此來承載流量傳輸業(yè)務(wù)。

圖5（a）、（b）可以看出在不同拓?fù)淠Ｐ椭?，在網(wǎng)絡(luò)時(shí)延以及穩(wěn)定性方面采用本文DQN控制策略明顯優(yōu)于傳統(tǒng)負(fù)載均衡策略，并且隨著流量請求速率不斷增大，采用DQN策略的流量調(diào)度方案有著更好的性能。

5 結(jié)束語

在5G時(shí)代的通信承載網(wǎng)系統(tǒng)中，一方面要面臨大量用戶接入網(wǎng)絡(luò)流量同時(shí)涌入而導(dǎo)致?lián)砣娘L(fēng)險(xiǎn)，另一方面，不同的業(yè)務(wù)有不同的通信需求，需要為不同的互聯(lián)網(wǎng)業(yè)務(wù)提供個(gè)性化的通信服務(wù)，面對這樣的挑戰(zhàn)，設(shè)計(jì)一種基于切片網(wǎng)絡(luò)的彈性流量調(diào)控方法至關(guān)重要。本文提出了一種面向5G承載網(wǎng)切片網(wǎng)絡(luò)的多業(yè)務(wù)流量優(yōu)化方案。該方案基于深度強(qiáng)化學(xué)習(xí)，能夠依據(jù)劃分的虛擬子網(wǎng)切片，制定鏈路策略，對擁塞鏈路進(jìn)行疏導(dǎo)。與傳統(tǒng)算法相比，本文提出的方案確保了流量傳輸時(shí)延和數(shù)據(jù)丟包率，提高了整體網(wǎng)絡(luò)的負(fù)載均衡度，提高了網(wǎng)絡(luò)的可靠性。

參考文獻(xiàn)：

[1] ?5G White Paper V1.0[R]. Germany： NGMN， 2015.

[2] Liu C F，Bennis M，Poor H V.Latency and reliability-aware task offloading and resource allocation for mobile edge computing[J].2017 IEEE Globecom Workshops （GC Wkshps），2017：1-7.

[3] Popovski P，Trillingsgaard K F，Simeone O，et al.5G wireless network slicing for eMBB，URLLC，and mMTC：a communication-theoretic view[J].IEEE Access，2018，6：55765-55779.

[4] Anand A，de Veciana G.Resource allocation and HARQ optimization for URLLC traffic in 5G wireless networks[J].IEEE Journal on Selected Areas in Communications，2018，36（11）：2411-2421.

[5] 施巍松，孫輝，曹杰，等.邊緣計(jì)算：萬物互聯(lián)時(shí)代新型計(jì)算模型[J].計(jì)算機(jī)研究與發(fā)展，2017，54（5）：907-924.

[6] 丁澤柳，郭得科，申建偉，等.面向云計(jì)算的數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)溲芯縖J].國防科技大學(xué)學(xué)報(bào)，2011，33（6）：1-6.

[7] 張朝昆，崔勇，唐翯祎，等.軟件定義網(wǎng)絡(luò)（SDN）研究進(jìn)展[J].軟件學(xué)報(bào)，2015，26（1）：62-81.

[8] 樊自甫，李書，張丹.基于流量調(diào)度的SDN數(shù)據(jù)中心網(wǎng)絡(luò)擁塞控制算法[J].計(jì)算機(jī)科學(xué)，2017，44（S1）：266-269，273.

[9] Niu Z S，Wu Y Q，Gong J，et al.Cell zooming for cost-efficient green cellular networks[C]//IEEE Communications Magazine.IEEE，2010：74-79.

[10] Lin X J，Wang S W.Efficient remote radio head switching scheme in cloud radio access network：a load balancing perspective[C]//IEEE INFOCOM 2017 - IEEE Conference on Computer Communications.May 1-4，2017，Atlanta，GA，USA.IEEE，2017：1-9.

[11] Ran C，Wang S W，Wang C G.Optimal load balancing in cloud radio access networks[C]//2015 IEEE Wireless Communications and Networking Conference.March 9-12，2015，New Orleans，LA，USA.IEEE，2015：1006-1011.

[12] 劉全，翟建偉，章宗長，等.深度強(qiáng)化學(xué)習(xí)綜述[J].計(jì)算機(jī)學(xué)報(bào)，2018，41（1）：1-27.

[13] Gungor V C，Sahin D，Kocak T，et al.A survey on smart grid potential applications and communication requirements[J].IEEE Transactions on Industrial Informatics，2013，9（1）：28-42.

[14] Lei K，Liang Y Z，Li W.Congestion control in SDN-based networks via multi-task deep reinforcement learning[J].IEEE Network，2020，34（4）：28-34.

[15] Wu Z Q，Wei J，Zhang F，et al.MDLB：a metadata dynamic load balancing mechanism based on reinforcement learning[J].Frontiers of Information Technology & Electronic Engineering，2020，21（7）：1034-1046.

[16] MS Ali，Coucheney P，Coupechoux M.Reinforcement Learning Algorithm for Load Balancing in Self Organizing Networks[EB/OL].[2021-08-10].https：//onlinelibrary.wiley.com/doi/10.1002/9781119471509.w5GRef137.

【通聯(lián)編輯：梁書】