王超，任蒙，王尚廣

（北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)全國(guó)重點(diǎn)實(shí)驗(yàn)室，北京 100876）

0 引言

在萬(wàn)物互聯(lián)時(shí)代，5G 有效支持了大量新型應(yīng)用接入和大規(guī)模機(jī)器類(lèi)型通信，提供了毫秒級(jí)端到端通信時(shí)延、百萬(wàn)級(jí)連接密度和每秒數(shù)十吉比特的峰值速率，用戶(hù)服務(wù)體驗(yàn)明顯提升[1]。隨著工業(yè)4.0的到來(lái)，元宇宙、虛擬現(xiàn)實(shí)、移動(dòng)游戲等新型移動(dòng)網(wǎng)絡(luò)業(yè)務(wù)不斷涌現(xiàn)，移動(dòng)通信數(shù)據(jù)流量急劇增長(zhǎng)，據(jù)國(guó)際電信聯(lián)盟報(bào)告，全球移動(dòng)數(shù)據(jù)流量將在2030 年達(dá)到每人每月5 016 EB[2]。5G 核心網(wǎng)用戶(hù)面負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)流量的處理和轉(zhuǎn)發(fā)，如此龐大的流量負(fù)載會(huì)給5G 網(wǎng)絡(luò)運(yùn)營(yíng)及管理帶來(lái)巨大壓力。如果5G 用戶(hù)面不能及時(shí)路由數(shù)據(jù)流量，引起的高時(shí)延將會(huì)給無(wú)人駕駛、智慧醫(yī)療等業(yè)務(wù)帶來(lái)災(zāi)難性后果。因此，對(duì)5G 核心網(wǎng)用戶(hù)面的流量調(diào)度機(jī)制進(jìn)行改進(jìn)與優(yōu)化，提升網(wǎng)絡(luò)服務(wù)質(zhì)量，將對(duì)用戶(hù)、服務(wù)提供商和基礎(chǔ)設(shè)施提供商具有重要意義。

為避免差異化新興業(yè)務(wù)需求與海量數(shù)據(jù)流量給5G 網(wǎng)絡(luò)造成網(wǎng)絡(luò)擁塞和負(fù)載失衡等問(wèn)題，對(duì)業(yè)務(wù)流量進(jìn)行合理規(guī)劃與調(diào)度是最直接的解決方案。等價(jià)多路徑（ECMP,equal-cost multi-path）算法[3]是廣泛應(yīng)用于數(shù)據(jù)中心網(wǎng)絡(luò)（DCN,data center networking）的流量調(diào)度算法，通過(guò)將不同流散列分配到多個(gè)等價(jià)路徑上，實(shí)現(xiàn)負(fù)載均衡。但是ECMP 算法通過(guò)計(jì)算哈希值靜態(tài)分配數(shù)據(jù)流路徑，容易將多數(shù)流分配到同一路徑，造成擁塞。Ma 等[4]提出一種面向DCN的基于蟻群算法的流量負(fù)載均衡調(diào)度算法，該算法提升了鏈路利用率和網(wǎng)絡(luò)吞吐量。Silva 等[5]提出一種用于軟件定義網(wǎng)絡(luò)（SDN,software defined network）數(shù)據(jù)平面的動(dòng)態(tài)負(fù)載均衡算法，通過(guò)動(dòng)態(tài)調(diào)整流量路由路徑，明顯降低時(shí)延和丟包率。對(duì)于5G 核心網(wǎng)的流量調(diào)度，Tan 等[6]提出一種面向用戶(hù)面的智能路由選擇機(jī)制，依據(jù)用戶(hù)面流量負(fù)載選擇開(kāi)銷(xiāo)最小的路由路徑。此外，Nguyen 等[7]提出一種面向基于矢量包處理的5G 核心網(wǎng)用戶(hù)面設(shè)備的動(dòng)態(tài)負(fù)載均衡算法，考慮了矢量包處理向量速率和會(huì)話數(shù)量并將它們作為性能指標(biāo)。但是該算法是基于矢量包處理平臺(tái)實(shí)現(xiàn)的，缺乏普適性。

雖然上述流量調(diào)度算法不同程度地實(shí)現(xiàn)了時(shí)延、吞吐量、鏈路利用率等性能優(yōu)化，但是在面向5G 核心網(wǎng)的流量調(diào)度算法中，只依靠某一時(shí)刻獲取的用戶(hù)面狀態(tài)來(lái)制定流量調(diào)度決策，不能跟隨時(shí)變的用戶(hù)面狀態(tài)信息來(lái)調(diào)整路由決策，缺乏連續(xù)性和實(shí)時(shí)性。為了準(zhǔn)確且實(shí)時(shí)獲取5G 核心網(wǎng)用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息，使其作為路由決策依據(jù)，需要引入網(wǎng)絡(luò)測(cè)量技術(shù)[8]。

根據(jù)測(cè)量方式不同，網(wǎng)絡(luò)測(cè)量可以分為主動(dòng)測(cè)量、被動(dòng)測(cè)量和混合測(cè)量[9]。主動(dòng)測(cè)量將探測(cè)包注入網(wǎng)絡(luò)，通過(guò)觀察分析探測(cè)包狀態(tài)，進(jìn)而推測(cè)網(wǎng)絡(luò)性能，如Ping、Traceroute 等，但是這種測(cè)量方式僅能測(cè)量網(wǎng)絡(luò)時(shí)延，局限性較大，而且，主動(dòng)測(cè)量不能保證探測(cè)包與業(yè)務(wù)數(shù)據(jù)流流經(jīng)同一條路徑，引入了額外帶寬開(kāi)銷(xiāo)，因此測(cè)量結(jié)果往往不準(zhǔn)確。被動(dòng)測(cè)量在網(wǎng)絡(luò)交換設(shè)備上利用流量鏡像或端口轉(zhuǎn)發(fā)來(lái)記錄并分析數(shù)據(jù)流量，如NetFlow、sFlow、SNMP 等，但是該測(cè)量技術(shù)受到交換設(shè)備性能限制，測(cè)量精度較粗，而且僅能測(cè)量本地設(shè)備狀態(tài)，缺乏對(duì)業(yè)務(wù)流量的端到端感知?；旌蠝y(cè)量則是嘗試結(jié)合上述2 種測(cè)量方式優(yōu)點(diǎn)的一種網(wǎng)絡(luò)測(cè)量技術(shù)，帶內(nèi)網(wǎng)絡(luò)遙測(cè)（INT,in-band network telemetry）是其典型代表。INT 將報(bào)文轉(zhuǎn)發(fā)與網(wǎng)絡(luò)測(cè)量結(jié)合，通過(guò)在交換機(jī)、智能網(wǎng)卡等轉(zhuǎn)發(fā)設(shè)備上收集設(shè)備狀態(tài)元信息并將其插入報(bào)文，從而實(shí)現(xiàn)隨路測(cè)量。INT 因?qū)崟r(shí)性強(qiáng)、測(cè)量精度高、測(cè)量數(shù)據(jù)類(lèi)型豐富等優(yōu)點(diǎn)引起了業(yè)界的廣泛關(guān)注。

在基于INT 的網(wǎng)絡(luò)流量調(diào)度方面，Yao 等[10]提出一種SDN 中的自學(xué)習(xí)策略控制架構(gòu)，為動(dòng)態(tài)生成控制策略，使用INT 收集網(wǎng)絡(luò)遙測(cè)信息，依據(jù)遙測(cè)信息運(yùn)行深度強(qiáng)化學(xué)習(xí)算法，實(shí)現(xiàn)了網(wǎng)絡(luò)的閉環(huán)控制。針對(duì)IEEE 802.11 網(wǎng)絡(luò)無(wú)法細(xì)粒度編程和管理多個(gè)網(wǎng)絡(luò)的問(wèn)題，Isolani 等[11]提出一種基于INT 的SDN 框架來(lái)收集細(xì)粒度網(wǎng)絡(luò)統(tǒng)計(jì)信息，之后基于INT測(cè)量的流量統(tǒng)計(jì)數(shù)據(jù)為應(yīng)用需求進(jìn)行網(wǎng)絡(luò)切片，以提高服務(wù)質(zhì)量（QoS,quality of service）交付。Katta 等[12]提出一種基于虛擬機(jī)監(jiān)視器的可擴(kuò)展負(fù)載均衡器機(jī)制，該機(jī)制采用路由追蹤機(jī)制，利用INT獲取的鏈路擁塞情況或鏈路利用率來(lái)發(fā)現(xiàn)可用路徑，通過(guò)操縱報(bào)頭字段，將流量引導(dǎo)到可用路徑上，避免網(wǎng)絡(luò)擁塞。

上述INT 原型系統(tǒng)或方案實(shí)現(xiàn)主要基于SDN，以用戶(hù)數(shù)據(jù)報(bào)協(xié)議（UDP,user datagram protocol）報(bào)文作為INT 載體。INT 技術(shù)作為一種新型網(wǎng)絡(luò)測(cè)量技術(shù)，為網(wǎng)絡(luò)擁塞控制、負(fù)載均衡等網(wǎng)絡(luò)管理任務(wù)提供了細(xì)粒度和高精度的實(shí)時(shí)網(wǎng)絡(luò)狀態(tài)信息。但是，INT 最初是針對(duì)有線網(wǎng)絡(luò)設(shè)計(jì)的，將INT 應(yīng)用于5G 核心網(wǎng)測(cè)量還是一個(gè)全新的嘗試，面臨諸多挑戰(zhàn)。首先，INT 遙測(cè)報(bào)文攜帶遙測(cè)指令和遙測(cè)數(shù)據(jù)等固有信息，導(dǎo)致網(wǎng)絡(luò)帶寬開(kāi)銷(xiāo)較大；然后，5G核心網(wǎng)數(shù)據(jù)傳輸速率和復(fù)雜性較高，對(duì)網(wǎng)絡(luò)性能進(jìn)行準(zhǔn)確測(cè)量難度較大，需要保障INT 技術(shù)測(cè)量結(jié)果的準(zhǔn)確性；此外，將INT 引入5G 核心網(wǎng)還可能影響不同服務(wù)的QoS。因此，本文擬研究基于INT 的5G 核心網(wǎng)用戶(hù)面流量調(diào)度系統(tǒng)，以探究基于實(shí)時(shí)網(wǎng)絡(luò)狀態(tài)的流量調(diào)度增益。

5G 核心網(wǎng)采用基于服務(wù)的架構(gòu)（SBA,service-based architecture），將控制面與用戶(hù)面分離，用戶(hù)面分布下沉到網(wǎng)絡(luò)邊緣，實(shí)現(xiàn)了用戶(hù)面功能（UPF,user plane function）靈活部署，為用戶(hù)就近接入和規(guī)劃用戶(hù)面路徑提供了可能。為保證用戶(hù)面流量通信的可靠性，可以在用戶(hù)設(shè)備（UE,user equipment）和數(shù)據(jù)網(wǎng)絡(luò)（DN,data network）之間建立多條協(xié)議數(shù)據(jù)單元（PDU,protocol data unit）會(huì)話連接，以冗余鏈路方式保障通信可靠性。但隨著PDU 會(huì)話數(shù)量增加，用戶(hù)面流量負(fù)載增大，可能造成網(wǎng)絡(luò)擁塞，而且第三代合作伙伴計(jì)劃（3GPP,3rd generation partnership project）5G 核心網(wǎng)標(biāo)準(zhǔn)并沒(méi)有為PDU 會(huì)話制定負(fù)載均衡策略或標(biāo)準(zhǔn)。因此，為了提升5G 核心網(wǎng)服務(wù)質(zhì)量，保證用戶(hù)面轉(zhuǎn)發(fā)效率，本文擬設(shè)計(jì)并實(shí)現(xiàn)一個(gè)5G 核心網(wǎng)用戶(hù)面流量調(diào)度系統(tǒng)。利用INT 技術(shù)實(shí)時(shí)高精度感知用戶(hù)面狀態(tài)信息，并基于該感知信息提出一種改進(jìn)的路由算法，最終實(shí)現(xiàn)PDU 會(huì)話高效轉(zhuǎn)發(fā)。

具體而言，本文主要研究?jī)?nèi)容如下。

1) 提出基于INT 的5G 核心網(wǎng)用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息感知方案。創(chuàng)新性地將INT 技術(shù)引入5G 核心網(wǎng)網(wǎng)絡(luò)測(cè)量中，通過(guò)將網(wǎng)絡(luò)遙測(cè)信息插入GTP-U（GPRS tunnelling protocol user plane）報(bào)文中，實(shí)現(xiàn)用戶(hù)面狀態(tài)隨路測(cè)量。同時(shí)，基于INT 技術(shù)規(guī)范設(shè)計(jì)了遙測(cè)報(bào)文格式，保障遙測(cè)信息的添加不影響正常數(shù)據(jù)流量傳輸。

2) 提出基于改進(jìn)蟻群算法的流量調(diào)度算法。優(yōu)化傳統(tǒng)蟻群算法的信息素初始化方式，提出基于最大最小蟻群系統(tǒng)和精英螞蟻策略的信息素更新方式?；诟兄木W(wǎng)絡(luò)信息計(jì)算啟發(fā)式函數(shù)和信息素函數(shù)，實(shí)現(xiàn)用戶(hù)面路由路徑規(guī)劃。

3) 設(shè)計(jì)實(shí)現(xiàn)兼容網(wǎng)絡(luò)狀態(tài)信息感知和路由決策的5G 核心網(wǎng)用戶(hù)面流量調(diào)度系統(tǒng)。利用高精度、細(xì)粒度的實(shí)時(shí)感知信息輔助規(guī)劃用戶(hù)面PDU 會(huì)話路由路徑。該系統(tǒng)與Free5GC的聯(lián)合部署測(cè)試表明，其不僅能有效感知5G 核心網(wǎng)用戶(hù)面相關(guān)網(wǎng)絡(luò)狀態(tài)信息，而且流量調(diào)度算法較傳統(tǒng)算法實(shí)現(xiàn)了更低的端到端時(shí)延和丟包率，并確保負(fù)載均衡。

1 系統(tǒng)組成

1.1 系統(tǒng)定位

應(yīng)用功能（AF,application function）為5G 核心網(wǎng)提供額外數(shù)據(jù)，影響5G 核心網(wǎng)的策略控制，以及邊緣計(jì)算應(yīng)用等高級(jí)服務(wù)[13]。根據(jù)AF 是否與5G 核心網(wǎng)網(wǎng)元處于同一可信域中（由運(yùn)營(yíng)商決定），AF 與5G 核心網(wǎng)的交互有2 種模式，如圖1 所示。

當(dāng)AF 不可信時(shí)（AF 是由第三方服務(wù)提供商提供的服務(wù)），其必須通過(guò)網(wǎng)絡(luò)開(kāi)放功能（NEF,network exposure function）提供的接口將相關(guān)信息傳輸給其他網(wǎng)元，例如接入和移動(dòng)性管理功能（AMF）、會(huì)話管理功能（SMF）、策略控制功能（PCF）以及統(tǒng)一數(shù)據(jù)管理功能（UDM）。當(dāng)AF 可信時(shí)（AF 是網(wǎng)絡(luò)運(yùn)營(yíng)商內(nèi)部開(kāi)發(fā)的功能），其可以通過(guò)服務(wù)化接口直接與其他網(wǎng)絡(luò)通信。所提流量調(diào)度系統(tǒng)將作為5G 核心網(wǎng)控制面中的一個(gè)AF，其主要功能是對(duì)UE 發(fā)起的PDU 會(huì)話進(jìn)行流量調(diào)度，同時(shí)考慮到當(dāng)前開(kāi)源5G 核心網(wǎng)（Free5GC、Free5GS等）均未實(shí)現(xiàn)NEF 相關(guān)功能，所以本文將所提系統(tǒng)作為一個(gè)可信AF，并將其部署于5G核心網(wǎng)控制面。

1.2 流量調(diào)度系統(tǒng)架構(gòu)

5G 核心網(wǎng)通過(guò)建立PDU 會(huì)話提供UE 與DN間的數(shù)據(jù)連接，針對(duì)PDU 會(huì)話規(guī)模急劇膨脹導(dǎo)致會(huì)話策略相互影響、網(wǎng)絡(luò)擁塞，以及缺乏負(fù)載均衡策略等問(wèn)題，本文依據(jù)“觀察、判斷、決策、執(zhí)行”的網(wǎng)絡(luò)控制環(huán)路思想[14]，設(shè)計(jì)面向5G 核心網(wǎng)用戶(hù)面的流量調(diào)度系統(tǒng)，主要包含用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息感知與路由決策2 個(gè)子系統(tǒng)，如圖2 所示。

圖2 面向5G 核心網(wǎng)用戶(hù)面的流量調(diào)度系統(tǒng)總體架構(gòu)

網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)和路由決策子系統(tǒng)之間通過(guò)RESTful 應(yīng)用程序接口（API,application programming interface）交互，兩者模塊化的設(shè)計(jì)降低了系統(tǒng)耦合性，并增強(qiáng)了系統(tǒng)的可擴(kuò)展性。所提系統(tǒng)內(nèi)部模塊根據(jù)部署位置的不同分為控制面模塊和用戶(hù)面模塊。流量調(diào)度系統(tǒng)部署于5G 核心網(wǎng)控制面，直接與SMF 通信，為其提供流量調(diào)度功能。流量調(diào)度系統(tǒng)用戶(hù)面模塊部署于UPF 上，以實(shí)現(xiàn)對(duì)5G 核心網(wǎng)用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息的實(shí)時(shí)感知。其中，網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)是路由決策子系統(tǒng)運(yùn)行的基礎(chǔ)，它通過(guò)INT 感知并收集用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息，如UPF 間傳輸時(shí)延、UPF 內(nèi)處理時(shí)延、UPF 端口帶寬等。網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)內(nèi)部采用gRPC[15]實(shí)現(xiàn)位于控制面的模塊與位于用戶(hù)面模塊之間遙測(cè)信息的傳輸。路由決策子系統(tǒng)負(fù)責(zé)執(zhí)行流量調(diào)度算法，確定當(dāng)前PDU 會(huì)話最佳路由路徑，通過(guò)SMF更新相應(yīng)UPF的包檢測(cè)規(guī)則（PDR,packet detection rule）、操作轉(zhuǎn)發(fā)規(guī)則（FAR,forwarding action rule），最終將決策下發(fā)給UPF。具體來(lái)說(shuō)，控制面模塊包含整個(gè)路由決策子系統(tǒng)以及網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)部分功能；用戶(hù)面模塊包含INT 信息發(fā)送模塊和INT 信息更新模塊。各模塊具體功能如表1 所示。

表1 模塊功能

網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)和路由決策子系統(tǒng)分別解決核心網(wǎng)用戶(hù)面的狀態(tài)測(cè)量和路由調(diào)度問(wèn)題，2 個(gè)子系統(tǒng)的功能相互補(bǔ)充、配合，最終實(shí)現(xiàn)高精度、細(xì)粒度的5G 核心網(wǎng)用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息感知，并依據(jù)狀態(tài)信息對(duì)新建立的PDU 會(huì)話進(jìn)行路由決策，最終提高核心網(wǎng)服務(wù)質(zhì)量。

1.3 流量調(diào)度系統(tǒng)流程

面向5G 核心網(wǎng)用戶(hù)面的流量調(diào)度系統(tǒng)運(yùn)行流程如圖3 所示。網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)在系統(tǒng)啟動(dòng)時(shí)便持續(xù)實(shí)時(shí)感知用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息。

圖3 面向5G 核心網(wǎng)用戶(hù)面的流量調(diào)度系統(tǒng)運(yùn)行流程

UE 向5G 核心網(wǎng)控制面發(fā)起PDU 會(huì)話建立請(qǐng)求?？刂泼娼馕鯬DU 會(huì)話建立請(qǐng)求后確定PDU 會(huì)話相關(guān)參數(shù)，如DN 名稱(chēng)、UE 位置信息等，并向路由決策子系統(tǒng)請(qǐng)求PDU 會(huì)話路由路徑。路由決策子系統(tǒng)解析到達(dá)的請(qǐng)求，確定PDU 會(huì)話的源節(jié)點(diǎn)和目的節(jié)點(diǎn)，之后向網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)請(qǐng)求當(dāng)前的用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息。路由決策子系統(tǒng)基于狀態(tài)信息執(zhí)行流量調(diào)度算法，并將PDU 會(huì)話路由決策返回給控制面?？刂泼娼馕鲈撀酚蓻Q策，生成相應(yīng)的PDR、FAR，并使用包轉(zhuǎn)發(fā)控制協(xié)議（PFCP,packet forwarding control protocol）向UPF 發(fā)送調(diào)度指令。用戶(hù)面將調(diào)度結(jié)果反饋給控制面，最終由控制面將PDU 會(huì)話建立結(jié)果返回給UE。

1.4 存儲(chǔ)機(jī)制設(shè)計(jì)

INT 元數(shù)據(jù)經(jīng)解析后的網(wǎng)絡(luò)狀態(tài)信息，標(biāo)識(shí)每個(gè)INT原始報(bào)文的唯一標(biāo)識(shí)符等相關(guān)數(shù)據(jù)均需保存在數(shù)據(jù)庫(kù)中。INT 原始報(bào)文是由作為INT 接收節(jié)點(diǎn)的UPF 傳輸給INT 收集系統(tǒng)的INT 信息，包括INT報(bào)文頭部和所歷經(jīng)的各個(gè)UPF 插入的INT 元數(shù)據(jù)，其大小受到當(dāng)前流量帶寬、測(cè)量頻率、測(cè)量參數(shù)等因素影響。本文系統(tǒng)采用MySQL 數(shù)據(jù)庫(kù)實(shí)現(xiàn)可靠的數(shù)據(jù)存儲(chǔ)和高效的數(shù)據(jù)寫(xiě)入。此外，當(dāng)用戶(hù)查詢(xún)當(dāng)前網(wǎng)絡(luò)狀態(tài)信息時(shí)，流量調(diào)度系統(tǒng)需快速響應(yīng)以保證數(shù)據(jù)的實(shí)時(shí)性，因此，本文系統(tǒng)引入輕量級(jí)內(nèi)存數(shù)據(jù)庫(kù) Redis 作為系統(tǒng)熱點(diǎn)數(shù)據(jù)緩存，使用Key-Value 的方式存儲(chǔ)用戶(hù)最近查詢(xún)的熱點(diǎn)數(shù)據(jù)，實(shí)現(xiàn)對(duì)用戶(hù)請(qǐng)求的快速響應(yīng)。為防范因SQL 注入攻擊導(dǎo)致網(wǎng)絡(luò)狀態(tài)信息數(shù)據(jù)庫(kù)泄露的風(fēng)險(xiǎn)，利用權(quán)限設(shè)置防止高風(fēng)險(xiǎn)語(yǔ)句執(zhí)行，同時(shí)嚴(yán)格檢查輸入變量的類(lèi)型和格式，防止SQL 注入。針對(duì)外部用戶(hù)惡意訪問(wèn)接口導(dǎo)致的系統(tǒng)能力下降的問(wèn)題，可采用Token 授權(quán)認(rèn)證或者黑白名單等方式實(shí)現(xiàn)鑒權(quán)。

2 基于帶內(nèi)網(wǎng)絡(luò)遙測(cè)的狀態(tài)信息感知

2.1 網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)

網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)作為路由決策子系統(tǒng)的數(shù)據(jù)提供方，通過(guò)INT 技術(shù)實(shí)現(xiàn)對(duì)5G 核心網(wǎng)用戶(hù)面狀態(tài)信息的感知，并直接與UPF 進(jìn)行交互。由于該子系統(tǒng)需要與 Free5GC 聯(lián)合部署，而Free5GC 中UPF 的GTP-U 報(bào)文處理模式是作為L(zhǎng)inux內(nèi)核模塊開(kāi)發(fā)使用的，因此為使UPF支持INT功能，位于用戶(hù)面的INT 信息更新模塊作為L(zhǎng)inux內(nèi)核模塊進(jìn)行開(kāi)發(fā)，INT 信息發(fā)送模塊位于Linux用戶(hù)空間，采用Linux 系統(tǒng)中通用的Netlink 功能[16]實(shí)現(xiàn)2 個(gè)模塊之間的通信。

基于INT 的網(wǎng)絡(luò)狀態(tài)信息感知流程如圖4 所示。其中，INT 源節(jié)點(diǎn)是指創(chuàng)建INT 報(bào)頭（INT Header）并將其插入報(bào)文的UPF，INT 中間節(jié)點(diǎn)是指根據(jù)INT報(bào)頭中包含的指令收集用戶(hù)面遙測(cè)信息（元數(shù)據(jù)）的UPF，INT 接收節(jié)點(diǎn)是指提取INT 報(bào)頭并收集遙測(cè)信息的錨點(diǎn)UPF（PSA-UPF,PDU session anchor-UPF），INT 頭部是INT 遙測(cè)信息的報(bào)頭，INT 元數(shù)據(jù)（INT Metadata）是需要收集的網(wǎng)絡(luò)狀態(tài)信息。

圖4 基于INT 的網(wǎng)絡(luò)狀態(tài)信息感知流程

2.2 INT 報(bào)文結(jié)構(gòu)

5G 核心網(wǎng)用戶(hù)面中承載用戶(hù)報(bào)文的主要協(xié)議為GTP-U，該協(xié)議為支持未來(lái)的應(yīng)用程序，實(shí)現(xiàn)了一些可用于傳輸任意類(lèi)型數(shù)據(jù)的GTP-U 擴(kuò)展頭部，例如在3GPP 5G 核心網(wǎng)標(biāo)準(zhǔn)中已定義了幾個(gè)擴(kuò)展值：PDU 會(huì)話容器、服務(wù)等級(jí)指示器等。完整GTP-U報(bào)文格式請(qǐng)參考文獻(xiàn)[17]。

本文將所有INT 信息，包括INT 報(bào)文、INT 指令、INT 元數(shù)據(jù)，均放入GTP-U 擴(kuò)展頭部，并將其作為一個(gè)新的GTP-U 擴(kuò)展報(bào)文類(lèi)型。若GTP-U 經(jīng)過(guò)的部分路由器、交換機(jī)、UPF 不支持INT，該部分網(wǎng)絡(luò)設(shè)備或UPF 能夠自動(dòng)忽略GTP-U 擴(kuò)展報(bào)頭中的INT 信息并自動(dòng)轉(zhuǎn)發(fā)報(bào)文，保證數(shù)據(jù)流量的正常轉(zhuǎn)發(fā)以及網(wǎng)絡(luò)性能的準(zhǔn)確測(cè)量。本文參考P4.org 應(yīng)用工作組提出的INT 規(guī)范[18]，結(jié)合5G 核心網(wǎng)用戶(hù)面狀態(tài)信息感知需求，設(shè)計(jì)圖5 所示的INT 報(bào)文格式。

圖5 INT 報(bào)文格式

協(xié)議版本號(hào)（4 bit）固定為2；D（1 bit）代表丟棄標(biāo)志位，該值為1 時(shí)，INT 接收節(jié)點(diǎn)在讀取報(bào)文INT 元數(shù)據(jù)后不轉(zhuǎn)發(fā)該報(bào)文并丟棄；E（1 bit）代表超過(guò)最大跳數(shù)標(biāo)志位，當(dāng)INT 節(jié)點(diǎn)不能添加元數(shù)據(jù)且剩余跳數(shù)為0 時(shí)，該值為1；M（1 bit）代表超過(guò)最大傳輸單元（MTU,maximum transmission unit）限制標(biāo)志位；Reserved（12 bit）代表保留位，在INT 源節(jié)點(diǎn)該值為1，在其余INT 節(jié)點(diǎn)該字段被忽略；Hop ML（5 bit）代表INT 元數(shù)據(jù)長(zhǎng)度；Remaining Hop Count（8 bit）代表允許添加INT 元數(shù)據(jù)的剩余跳數(shù)；Instruction Bitmap（16 bit）是INT指令位圖，每個(gè)比特位表示一種網(wǎng)絡(luò)遙測(cè)數(shù)據(jù)類(lèi)型；Domain Specific ID（16 bit）代表INT 域ID，規(guī)定當(dāng)前INT 指令適用的范圍，INT 域ID 為0 時(shí)，表示所有INT節(jié)點(diǎn)均能根據(jù)INT指令插入對(duì)應(yīng)INT元數(shù)據(jù)。

INT 報(bào)頭共8 B，之后INT 報(bào)文內(nèi)容為INT 元數(shù)據(jù)協(xié)議棧。INT 元數(shù)據(jù)的插入順序受到INT 指令位圖的嚴(yán)格限制，以方便INT 收集系統(tǒng)根據(jù)數(shù)據(jù)類(lèi)型解析對(duì)應(yīng)的INT 元數(shù)據(jù)。該INT 數(shù)據(jù)插入方式實(shí)現(xiàn)了較強(qiáng)的兼容性，當(dāng)UPF 不支持INT 時(shí)，網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備可以自動(dòng)忽略GTP-U 擴(kuò)展頭部中包含的不能識(shí)別的INT 信息，繼續(xù)進(jìn)行GTP-U 報(bào)文轉(zhuǎn)發(fā)，逐步替換原有不支持INT 的UPF 設(shè)備，最終實(shí)現(xiàn)基于INT 技術(shù)的5G 核心網(wǎng)用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息感知。

2.3 INT 報(bào)文處理

INT 報(bào)文在INT 源節(jié)點(diǎn)、INT 中間節(jié)點(diǎn)和INT接收節(jié)點(diǎn)中的處理方式如下。

1) INT 源節(jié)點(diǎn)

INT 源節(jié)點(diǎn)根據(jù)預(yù)先設(shè)定的INT 指令和測(cè)量頻率對(duì)接收到的GTP-U 報(bào)文進(jìn)行封裝，包括INT 報(bào)頭和INT 元數(shù)據(jù)，生成并轉(zhuǎn)發(fā)帶有INT 信息的GTP-U報(bào)文。作為INT 源節(jié)點(diǎn)的UPF 收到GTP-U 報(bào)文后，首先判斷GTP-U報(bào)文是否滿足預(yù)先設(shè)定的測(cè)量頻率（設(shè)定測(cè)量頻率為2f，其中f為8bit的無(wú)符號(hào)十進(jìn)制整數(shù)），若不滿足則視為普通GTP-U 報(bào)文進(jìn)行轉(zhuǎn)發(fā)；若滿足則進(jìn)入添加INT 信息的流程。INT 源節(jié)點(diǎn)確認(rèn)需向GTP-U 報(bào)文添加INT 信息后，首先檢查該GTP-U 報(bào)文是否有足夠空間容納INT 信息，若空間充足，則向GTP-U 擴(kuò)展頭部中添加INT 報(bào)頭，并將INT 源節(jié)點(diǎn)元數(shù)據(jù)插入INT 元數(shù)據(jù)棧中；若沒(méi)有足夠空間容納INT 信息或報(bào)文長(zhǎng)度超過(guò)MTU，則單獨(dú)構(gòu)造GTP-U 格式的遙測(cè)報(bào)文，同時(shí)向該報(bào)文添加INT 信息。之后將丟棄指示位D 置1，表示該報(bào)文為包含INT 信息的遙測(cè)報(bào)文，需在INT 接收節(jié)點(diǎn)丟棄。最后，更新GTP-U 報(bào)文上層協(xié)議校驗(yàn)和（如IP 報(bào)頭校驗(yàn)和），通過(guò)UPF 的PDR、FAR 轉(zhuǎn)發(fā)至下一跳UPF。

2) INT 中間節(jié)點(diǎn)

INT 中間節(jié)點(diǎn)負(fù)責(zé)采集本地UPF 的INT 元數(shù)據(jù)，并將其插入具有INT 報(bào)頭的GTP-U 報(bào)文的INT 元數(shù)據(jù)棧中。作為INT 中間節(jié)點(diǎn)的UPF 首先對(duì)收到GTP-U 報(bào)文進(jìn)行解析，若該報(bào)文不是包含INT 信息的遙測(cè)報(bào)文，則根據(jù)PDR、FAR 進(jìn)行轉(zhuǎn)發(fā)；若該報(bào)文是帶INT 信息的遙測(cè)報(bào)文，則根據(jù)INT 指令判斷GTP-U 報(bào)文是否有足夠空間或當(dāng)前長(zhǎng)度是否超過(guò)MTU。如果空間不足或長(zhǎng)度超過(guò)MTU，則同樣單獨(dú)構(gòu)建GTP-U 格式的遙測(cè)報(bào)文，并將原GTP-U 報(bào)文中的INT 報(bào)頭和所有INT 元數(shù)據(jù)轉(zhuǎn)移到新構(gòu)建的GTP-U 報(bào)文中，同時(shí)將丟棄指示位D 置1；如果空間充足且長(zhǎng)度不超過(guò)MTU，則將本地UPF 的INT 元數(shù)據(jù)插入INT 元數(shù)據(jù)棧中。最后，更新GTP-U 報(bào)文上層協(xié)議校驗(yàn)和（如IP 報(bào)頭校驗(yàn)和），按照UPF 的PDR、FAR 進(jìn)行轉(zhuǎn)發(fā)。

3) INT 接收節(jié)點(diǎn)

INT 接收節(jié)點(diǎn)除向GTP-U 報(bào)文添加INT 信息外，主要負(fù)責(zé)提取GTP-U 報(bào)文中的INT 報(bào)頭和INT 元數(shù)據(jù)，并通過(guò)gRPC 將INT 信息發(fā)送給INT 收集系統(tǒng)。作為INT 接收節(jié)點(diǎn)的UPF 收到GTP-U 報(bào)文后進(jìn)行解析，若該報(bào)文非遙測(cè)報(bào)文，則按照PDR、FAR 進(jìn)行轉(zhuǎn)發(fā)；若該報(bào)文為遙測(cè)報(bào)文，可按照INT 信息添加流程向該GTP-U 報(bào)文添加INT 信息，之后提取所有INT信息，將其通過(guò)gRPC 發(fā)送給INT 收集系統(tǒng)。若該GTP-U 報(bào)文非INT 探測(cè)包，即丟棄標(biāo)志位D 不為1，則刪除包含的所有INT 信息，同時(shí)更新GTP-U 上層協(xié)議校驗(yàn)和，根據(jù)PDR、FAR 進(jìn)行轉(zhuǎn)發(fā)；否則丟棄該INT 探測(cè)包。

2.4 基于Netlink 的數(shù)據(jù)傳輸方案設(shè)計(jì)

在網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)實(shí)現(xiàn)層面，5G UPF的GTP-U 報(bào)文解析與轉(zhuǎn)發(fā)功能是以Linux 內(nèi)核模塊的方式實(shí)現(xiàn)的，對(duì)應(yīng)程序運(yùn)行在Linux 內(nèi)核空間。UPF 轉(zhuǎn)發(fā)用戶(hù)面GTP-U 報(bào)文時(shí)，所有GTP-U 報(bào)文均在Linux 內(nèi)核空間中實(shí)現(xiàn)解析與轉(zhuǎn)發(fā)。因此，網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)向GTP-U 報(bào)文中添加INT 報(bào)頭和INT 元數(shù)據(jù)的功能也必須在Linux 內(nèi)核空間實(shí)現(xiàn)，但gRPC 框架只有處于Linux 用戶(hù)空間時(shí)才能使用。所以，本文系統(tǒng)基于Netlink 通信框架將位于Linux內(nèi)核空間的INT 信息更新模塊采集到的INT信息傳輸給位于Linux 用戶(hù)空間的INT 信息發(fā)送模塊。

網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)實(shí)現(xiàn)的適用于INT的Netlink 子協(xié)議號(hào)為31。該數(shù)據(jù)傳輸方案中，從Linux用戶(hù)空間向Linux 內(nèi)核空間發(fā)送的消息為控制信令，主要功能是設(shè)置UPF 所對(duì)應(yīng)的INT 角色，設(shè)置測(cè)量頻率和需要感知的網(wǎng)絡(luò)狀態(tài)信息類(lèi)型，從Linux 內(nèi)核空間向Linux 用戶(hù)空間發(fā)送的消息為UPF 作為INT 接收節(jié)點(diǎn)提取到的所有INT 信息。

位于用戶(hù)空間的INT 信息發(fā)送模塊和位于內(nèi)核空間的INT 信息更新模塊之間的消息交互過(guò)程如圖6 所示。

圖6 消息交互過(guò)程

在該數(shù)據(jù)傳輸方案中，首先加載INT 信息更新模塊，使其創(chuàng)建內(nèi)核空間的Netlink 套接字，INT信息更新模塊在內(nèi)核空間采用netlink_unicast()函數(shù)對(duì)指定進(jìn)程標(biāo)識(shí)符（PID,process identifier）的用戶(hù)空間進(jìn)程進(jìn)行通信，所以需要INT 信息發(fā)送模塊率先使用send()函數(shù)發(fā)送初始消息到內(nèi)核空間，使INT信息更新模塊能夠獲取PID。

3 基于改進(jìn)蟻群算法的路由決策

3.1 路由決策子系統(tǒng)

路由決策子系統(tǒng)是5G 核心網(wǎng)用戶(hù)面流量調(diào)度系統(tǒng)的控制中樞，其與網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)交互獲取5G 核心網(wǎng)用戶(hù)面狀態(tài)信息，如UPF 端口帶寬、UPF 間鏈路時(shí)延、UPF 內(nèi)處理時(shí)延等，通過(guò)運(yùn)行流量調(diào)度算法，生成PDU 會(huì)話路由決策，保障不同用戶(hù)服務(wù)的QoS。同時(shí)路由決策子系統(tǒng)直接與5G 核心網(wǎng)控制面的SMF 交互，獲取流量調(diào)度請(qǐng)求并將流量調(diào)度決策下發(fā)。路由決策子系統(tǒng)邏輯架構(gòu)如圖7 所示。

圖7 路由決策子系統(tǒng)邏輯架構(gòu)

3.2 路由決策子系統(tǒng)算法設(shè)計(jì)

路由決策子系統(tǒng)的目的是通過(guò)運(yùn)行流量調(diào)度和路由算法，在5G 核心網(wǎng)用戶(hù)面現(xiàn)有時(shí)延和帶寬等條件約束下，為新建的PDU 會(huì)話規(guī)劃一條合理路由路徑，避免網(wǎng)絡(luò)擁塞的同時(shí)提高用戶(hù)面通信鏈路利用率與PDU 會(huì)話吞吐量，降低PDU 會(huì)話時(shí)延。本文借鑒蟻群算法在尋找最優(yōu)路徑方面的分布式計(jì)算、魯棒性強(qiáng)、不需要全局信息等特點(diǎn)[19-20]，將5G 核心網(wǎng)用戶(hù)面當(dāng)前網(wǎng)絡(luò)狀態(tài)信息（鏈路時(shí)延、UPF 吞吐量等）加入螞蟻尋路過(guò)程中。在已有的基于蟻群算法的網(wǎng)絡(luò)路由相關(guān)工作中，網(wǎng)絡(luò)狀態(tài)信息是固定配置的，蟻群算法不能實(shí)時(shí)動(dòng)態(tài)感知變化的網(wǎng)絡(luò)環(huán)境。本文提出一種基于改進(jìn)蟻群算法的流量調(diào)度（IAC-TS,traffic scheduling based on improved ant colony）算法，利用INT 狀態(tài)信息感知系統(tǒng)為蟻群算法提供動(dòng)態(tài)網(wǎng)絡(luò)信息，在一次迭代中每一只螞蟻單獨(dú)對(duì)從基站到DN 的路徑進(jìn)行搜索，形成備選路徑集合。之后，更新螞蟻經(jīng)過(guò)路徑的信息素并開(kāi)始下一次迭代。隨著迭代次數(shù)增加，螞蟻會(huì)集中到信息素濃度較高的幾條路徑上，直至到達(dá)指定迭代次數(shù)，獲取最優(yōu)路由路徑集合。實(shí)現(xiàn)過(guò)程如下。

1) 信息素初始化

使用常數(shù)對(duì)信息素初始化的方式容易導(dǎo)致收斂速度過(guò)慢，為避免該問(wèn)題，將網(wǎng)絡(luò)鏈路的信息素初始值設(shè)為

其中，τij(0)表示初始鏈路(i,j)上的信息素含量，在5G 核心網(wǎng)用戶(hù)面流量調(diào)度背景下，該值表示鏈路的可用帶寬；表示鏈路(i,j)的最大可用帶寬；Txij表示鏈路(i,j)在時(shí)間T內(nèi)發(fā)送的字節(jié)數(shù)。

2) 螞蟻轉(zhuǎn)移

螞蟻的初始位置均位于作為源節(jié)點(diǎn)的UPF 上。規(guī)定螞蟻路徑不能形成環(huán)路，因此每只螞蟻都會(huì)維護(hù)一個(gè)禁忌表，該表存放螞蟻經(jīng)過(guò)UPF 節(jié)點(diǎn)ID。螞蟻依據(jù)鏈路信息素濃度計(jì)算轉(zhuǎn)移到下一個(gè)節(jié)點(diǎn)的概率，計(jì)算方式為

其中。i和j分別表示螞蟻的當(dāng)前節(jié)點(diǎn)和下一跳節(jié)點(diǎn)，τij(t)表示時(shí)刻t鏈路(i,j)上的信息素濃度，ηij(t)表示時(shí)刻t鏈路(i,j)上的啟發(fā)信息，α和β分別表示信息素濃度和啟發(fā)信息的權(quán)重因子，表示位于節(jié)點(diǎn)i的螞蟻k所有未經(jīng)過(guò)節(jié)點(diǎn)的集合。

ηij(t)計(jì)算式為

若螞蟻所有相鄰節(jié)點(diǎn)均在禁忌表中，則該螞蟻的此次路徑搜索失敗。否則，螞蟻通過(guò)輪盤(pán)賭方式選擇下一跳節(jié)點(diǎn)，同時(shí)檢查禁忌表中是否包含源節(jié)點(diǎn)和目的節(jié)點(diǎn)，若包含則搜索成功。否則，螞蟻重新計(jì)算轉(zhuǎn)移概率并選擇下一跳節(jié)點(diǎn)。

3) 信息素更新

所有螞蟻執(zhí)行完一次路徑搜索，即完成一次迭代后，將所得有效路徑通過(guò)Top-k算法選擇最優(yōu)的k條路徑添加到候選路徑集中，之后，根據(jù)式(5)更新當(dāng)前鏈路信息素濃度

其中，τij(t+Δt)是經(jīng)過(guò)時(shí)間Δt后鏈路(i,j)的信息素濃度，ρ（0 〈ρ〈1）是信息素?fù)]發(fā)因子。為提升蟻群算法前期的搜索能力和后期的收斂速度，ρ的取值方式為

其中，I表示算法的當(dāng)前迭代次數(shù)，Imax表示最大迭代次數(shù)。

之后再次更新候選路徑集中k條鏈路的信息素濃度以增加優(yōu)質(zhì)鏈路的信息素濃度，保證鏈路質(zhì)量，即

其中，Δτij表示鏈路(i,j)新增的信息素濃度；Δ(t)表示第n只螞蟻在鏈路(i,j)上釋放的信息素濃度；m表示蟻群大小；Ln表示第n只螞蟻?zhàn)哌^(guò)的路徑總長(zhǎng)度，以路徑總時(shí)延表示；Q表示信息素總濃度，為一常量；eij表示以i,j為端點(diǎn)的UPF 鏈路；P表示候選路徑集；μ表示候選路徑的信息素增量因子。

為防止鏈路信息素濃度出現(xiàn)極端情況導(dǎo)致螞蟻搜索路徑不準(zhǔn)確，基于最大最小蟻群思想對(duì)信息素增量 Δτij進(jìn)行限制，即

其中，τmax、τmin分別表示鏈路(i,j)的最大、最小信息素濃度。為模擬現(xiàn)實(shí)網(wǎng)絡(luò)狀態(tài)，本文仿真實(shí)驗(yàn)將可用帶寬限制在[5,12]Mbit/s。

3.3 基于改進(jìn)蟻群算法的流量調(diào)度方法

算法執(zhí)行到最大迭代次數(shù)Imax后，在候選路徑集中隨機(jī)選擇一條鏈路作為PDU 會(huì)話的最終路由路徑，算法的具體實(shí)現(xiàn)過(guò)程如算法1 所示。

算法1IAC-TS 算法

28)end Func

算法1 中1)～17)行用于計(jì)算獲取最優(yōu)路徑，每只螞蟻在成功搜索到從源節(jié)點(diǎn)到目的節(jié)點(diǎn)的一條鏈路后，對(duì)所有鏈路信息素濃度進(jìn)行更新，采用Top-k算法選出k條候選路徑。18)～28)行表示單只螞蟻搜索最優(yōu)路徑的過(guò)程，采用輪盤(pán)賭算法選擇下一跳節(jié)點(diǎn)，并用式(2)計(jì)算下一跳節(jié)點(diǎn)的選擇概率。

4 系統(tǒng)驗(yàn)證

4.1 實(shí)驗(yàn)環(huán)境

本文所提系統(tǒng)旨在實(shí)現(xiàn)5G 核心網(wǎng)用戶(hù)面流量?jī)?yōu)化調(diào)度，具體地，通過(guò)INT 技術(shù)對(duì)用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息感知，并基于路由決策子系統(tǒng)的路由算法實(shí)現(xiàn)PDU會(huì)話路由路徑規(guī)劃。將所提5G 核心網(wǎng)用戶(hù)面流量調(diào)度系統(tǒng)與Free5GC 進(jìn)行聯(lián)合部署，測(cè)試環(huán)境如表2 所示。

表2 測(cè)試環(huán)境

4.2 網(wǎng)絡(luò)狀態(tài)信息感知功能驗(yàn)證

網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)負(fù)責(zé)監(jiān)控5G 核心網(wǎng)用戶(hù)面網(wǎng)絡(luò)狀態(tài)，通過(guò)INT 技術(shù)實(shí)時(shí)獲取網(wǎng)絡(luò)狀態(tài)信息，包括用戶(hù)面鏈路時(shí)延、UPF 內(nèi)GTP-U 報(bào)文處理時(shí)延、UPF 端口吞吐量等。網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)功能測(cè)試拓?fù)淙鐖D8 所示。

圖8 網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)功能測(cè)試拓?fù)?/p>

該網(wǎng)絡(luò)拓?fù)浒ㄒ粋€(gè)5G 基站（gNB）、3 個(gè)具有INT 功能的UPF、一個(gè)基于Docker 部署的DN，以及5G 核心網(wǎng)控制面（包含完整的核心網(wǎng)功能、路由決策子系統(tǒng)功能、部分網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)功能）。在UE 中運(yùn)行Iperf 以模擬PDU會(huì)話建立請(qǐng)求，UPF1-UPF3 分別作為INT 源節(jié)點(diǎn)、INT 中間節(jié)點(diǎn)、INT 接收節(jié)點(diǎn)，最終將報(bào)文發(fā)送至DN。

4.2.1 INT 功能測(cè)試

利用UERANSIM建立一條從UE到DN的PDU會(huì)話路徑，在UE 上發(fā)送測(cè)試報(bào)文并使用Wireshark抓包，以驗(yàn)證GTP-U 報(bào)文中是否攜帶INT 信息，測(cè)試結(jié)果如圖9 所示。

圖9 測(cè)試結(jié)果

測(cè)試結(jié)果顯示，UPF1 向該報(bào)文的GTP-U 擴(kuò)展頭部中插入了INT 報(bào)頭和INT 元數(shù)據(jù)，UPF2 作為中間節(jié)點(diǎn)僅插入了INT 元數(shù)據(jù)，UPF3 將本地設(shè)備收集的INT 元數(shù)據(jù)和GTP-U 報(bào)文中的所有INT 信息一同發(fā)給位于5G 控制面的INT 收集系統(tǒng)。該測(cè)試結(jié)果說(shuō)明INT 功能可以正常使用。

4.2.2 不同遙測(cè)參數(shù)對(duì)吞吐量的影響

本節(jié)實(shí)驗(yàn)測(cè)試不同遙測(cè)參數(shù)對(duì)PDU 會(huì)話吞吐量產(chǎn)生的影響。實(shí)驗(yàn)選用3 種典型的INT 參數(shù)的不同組合進(jìn)行測(cè)試：RX+TX 表示測(cè)量報(bào)文經(jīng)過(guò)UPF 端口的接收/ 發(fā)送的字節(jié)數(shù)，Egress TS+Ingress TS（Timestamp）表示測(cè)量報(bào)文經(jīng)過(guò)UPF 出口/入口的時(shí)間戳，None 表示未啟用INT功能。不同遙測(cè)參數(shù)組合對(duì)吞吐量的影響如圖10所示，其中遙測(cè)間隔是指向每n個(gè)報(bào)文中插入一項(xiàng)INT 元數(shù)據(jù)。

未啟用INT 功能時(shí)，PDU 會(huì)話帶寬是一個(gè)定值。隨著遙測(cè)間隔減小，即測(cè)量頻率升高，不同遙測(cè)參數(shù)組合的PDU 會(huì)話帶寬都會(huì)明顯降低，而且更多遙測(cè)參數(shù)的組合會(huì)在測(cè)量頻率升高時(shí)使PDU 會(huì)話帶寬快速下降，原因是過(guò)高的測(cè)量頻率會(huì)導(dǎo)致在報(bào)文中插入了大量的INT 信息，UPF 內(nèi)部處理時(shí)延明顯增加，UPF 端口擁塞，從而導(dǎo)致吞吐量下降。因此，過(guò)多的遙測(cè)參數(shù)會(huì)對(duì)PDU 會(huì)話性能產(chǎn)生不利影響。

4.2.3 不同遙測(cè)參數(shù)對(duì)時(shí)延的影響

通過(guò)分析用戶(hù)面GTP-U 報(bào)文中的INT 元數(shù)據(jù)，獲取UPF1 到UPF3 的單向傳輸時(shí)延。不同遙測(cè)參數(shù)組合對(duì)傳輸時(shí)延的影響如圖11 所示。

圖11 不同遙測(cè)參數(shù)組合對(duì)傳輸時(shí)延的影響

從圖11 可以看出，在不同的遙測(cè)參數(shù)組合下，測(cè)量頻率會(huì)影響PDU 會(huì)話時(shí)延。遙測(cè)間隔越小，即測(cè)量頻率越高，傳輸時(shí)延越大，這也與GTP-U 中的INT 信息處理有關(guān)。因此在實(shí)際部署INT 功能時(shí)，需要對(duì)測(cè)量精度與對(duì)PDU 會(huì)話質(zhì)量產(chǎn)生的影響進(jìn)行權(quán)衡。

4.2.4 不同遙測(cè)參數(shù)對(duì)UPF CPU 利用率的影響

本節(jié)實(shí)驗(yàn)測(cè)試不同遙測(cè)參數(shù)在不同遙測(cè)間隔下對(duì)UPF3，即INT 接收節(jié)點(diǎn)的CPU 利用率的影響，在UPF3 上監(jiān)控該設(shè)備的CPU 利用率，實(shí)驗(yàn)結(jié)果如圖12 所示。

圖12 不同遙測(cè)參數(shù)在不同遙測(cè)間隔下對(duì)接收節(jié)點(diǎn)CPU 利用率的影響

隨著遙測(cè)間隔減小，即測(cè)量頻率提升，不同遙測(cè)參數(shù)組合的UPF3 的CPU 利用率都快速提升。一方面，INT 接收節(jié)點(diǎn)設(shè)備本身在收集INT信息和提取INT 信息時(shí)會(huì)占用一定CPU；另一方面，系統(tǒng)采用的Netlink 和gRPC 技術(shù)頻繁向INT收集系統(tǒng)發(fā)送INT 信息也會(huì)占用CPU。因此，需要選擇合理的測(cè)量頻率，將INT 引入對(duì)CPU 的額外占用的影響降到最小。

4.2.5 鏈路負(fù)載變化對(duì)UPF 處理時(shí)延的影響

本節(jié)實(shí)驗(yàn)通過(guò)改變PDU 路徑上各個(gè)UPF 的背景流量大小，測(cè)量UPF 單跳處理時(shí)延來(lái)測(cè)試INT的效果。將鏈路帶寬設(shè)置為30 Mbit/s，背景流量設(shè)置為40 Mbit/s，目的是模擬鏈路中存在擁塞的情況。在UE 上通過(guò)Iperf 向DN 發(fā)送UDP 報(bào)文，測(cè)量不同遙測(cè)間隔對(duì)UPF3 單跳時(shí)延的影響，實(shí)驗(yàn)結(jié)果如圖13 和圖14 所示。

圖13 UPF 單跳時(shí)延（遙測(cè)間隔為一個(gè)報(bào)文）

圖14 UPF 單跳時(shí)延（遙測(cè)間隔為8 個(gè)報(bào)文）

在遙測(cè)間隔減小，即遙測(cè)頻率提升的情況下，所探測(cè)的GTP-U 報(bào)文數(shù)量增加，因此UPF 的處理開(kāi)銷(xiāo)增大，使GTP-U 報(bào)文轉(zhuǎn)發(fā)時(shí)延增加。另外，由于設(shè)置的背景流量大于鏈路帶寬，因此會(huì)有部分GTP-U 報(bào)文的處理時(shí)延偏高。

4.3 流量調(diào)度功能驗(yàn)證

本節(jié)對(duì)由網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)和路由決策子系統(tǒng)組成的整個(gè)流量調(diào)度系統(tǒng)進(jìn)行測(cè)試。首先路由決策子系統(tǒng)接收SMF 發(fā)送的PDU 會(huì)話路由請(qǐng)求；然后從網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)感知用戶(hù)面網(wǎng)絡(luò)狀態(tài)信息，計(jì)算PDU 會(huì)話路由路徑；最后將路由決策返回給SMF，由SMF 下發(fā)路由決策。流量調(diào)度系統(tǒng)功能測(cè)試拓?fù)淙鐖D15 所示。用戶(hù)面共包含11 個(gè)UPF，UPF1 作為INT 源節(jié)點(diǎn)，UPF9-UPF11 作為INT 接收節(jié)點(diǎn)，其余UPF 均為INT 中間節(jié)點(diǎn)。

圖15 流量調(diào)度系統(tǒng)功能測(cè)試拓?fù)?/p>

4.3.1 PDU 會(huì)話流量調(diào)度功能測(cè)試

本節(jié)實(shí)驗(yàn)測(cè)試路由決策子系統(tǒng)與SMF 之間的連通性。將所提流量調(diào)度系統(tǒng)與Free5GC 聯(lián)合部署，通過(guò)UERANSIM 模擬的UE 發(fā)起PDU 會(huì)話建立請(qǐng)求，發(fā)送數(shù)據(jù)報(bào)文進(jìn)行測(cè)試，在網(wǎng)絡(luò)狀態(tài)信息數(shù)據(jù)庫(kù)中查詢(xún)報(bào)文中的INT 元數(shù)據(jù)，通過(guò)跟蹤該報(bào)文的路徑信息，判斷是否執(zhí)行正確的路由決策。

圖16 顯示了運(yùn)行流量調(diào)度系統(tǒng)后，UE 建立PDU 會(huì)話連接時(shí)的5G 核心網(wǎng)運(yùn)行結(jié)果。

圖16 5G 核心網(wǎng)運(yùn)行結(jié)果

由圖16 可知，在UE 請(qǐng)求建立PDU 會(huì)話過(guò)程中，SMF 向流量調(diào)度系統(tǒng)請(qǐng)求對(duì)應(yīng)PDU 會(huì)話的路由路徑，最終完成PDU 會(huì)話建立。解析完成后的INT 元數(shù)據(jù)如圖17 所示。

圖17 解析完成后的INT 元數(shù)據(jù)

圖17 顯示了2 個(gè)攜帶INT 信息的GTP-U 報(bào)文經(jīng)過(guò)不同的UPF，data_id 為3801616～3801618 是第一個(gè)報(bào)文，data_id 為3801619～3801621 是第二個(gè)報(bào)文，node_id 是GTP-U 經(jīng)過(guò)的不同UPF 的編號(hào)，結(jié)果顯示路由決策子系統(tǒng)選用了不同的UPF 對(duì)GTP-U 報(bào)文進(jìn)行了轉(zhuǎn)發(fā)。

4.3.2 不同算法對(duì)PDU 會(huì)話流量調(diào)度性能的影響

PDU 會(huì)話建立完成后，在DN 中設(shè)置Iperf 服務(wù)端程序測(cè)量PDU 會(huì)話端到端時(shí)延、帶寬以及丟包率，UE 通過(guò)Iperf 客戶(hù)端發(fā)送UDP 報(bào)文模擬數(shù)據(jù)流量。設(shè)置UE 每隔10 s 發(fā)起一個(gè)新的PDU 會(huì)話請(qǐng)求，每個(gè)成功建立的 PDU 會(huì)話均發(fā)送帶寬固定為1.05 Mbit/s的UDP報(bào)文，發(fā)送報(bào)文持續(xù)時(shí)長(zhǎng)為200 s，直至建立10 條PDU 會(huì)話。將所提IAC-TS 算法與傳統(tǒng)路由算法（包括最短路徑算法、ECMP 算法，以及廣度優(yōu)先搜索（BFS,breadth-first search）算法）進(jìn)行性能對(duì)比，實(shí)驗(yàn)結(jié)果如圖18～圖20 所示。

圖18 端到端傳輸時(shí)延

圖19 端到端平均吞吐量

圖20 端到端平均丟包率

從圖18～圖20 可以看出，所提IAC-TS 算法在網(wǎng)絡(luò)負(fù)載相同的情況下，PDU 會(huì)話的端到端傳輸時(shí)延和丟包率均低于最短路徑算法、ECMP 算法和BFS 算法，而平均吞吐量具有明顯提升。具體來(lái)看，較其他算法，IAC-TS 算法的端到端傳輸時(shí)延平均降低72.03%，端到端平均吞吐量平均提升9.88%，端到端平均丟包率降低76.1%。說(shuō)明基于改進(jìn)蟻群算法的路由方案使路由決策子系統(tǒng)能夠做出更好的PDU 會(huì)話路由決策，避免用戶(hù)面網(wǎng)絡(luò)擁塞，提升PDU 會(huì)話吞吐量和帶寬，達(dá)到了負(fù)載均衡效果，進(jìn)而提升了服務(wù)質(zhì)量。

5 結(jié)束語(yǔ)

5G 復(fù)雜應(yīng)用和龐大業(yè)務(wù)流量對(duì)核心網(wǎng)服務(wù)質(zhì)量提出更高需求。本文設(shè)計(jì)并實(shí)現(xiàn)了5G 核心網(wǎng)用戶(hù)面流量調(diào)度系統(tǒng)，包含網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)和路由決策子系統(tǒng)。網(wǎng)絡(luò)狀態(tài)信息感知子系統(tǒng)采用INT 實(shí)現(xiàn)高精度、細(xì)粒度的用戶(hù)面狀態(tài)信息感知，路由決策子系統(tǒng)依據(jù)用戶(hù)面狀態(tài)信息，執(zhí)行基于改進(jìn)蟻群算法的流量調(diào)度算法，生成PDU 會(huì)話路由路徑。在測(cè)試階段，將所提流量調(diào)度系統(tǒng)與Free5GC聯(lián)合部署，證明了所提系統(tǒng)能夠以較小的網(wǎng)絡(luò)開(kāi)銷(xiāo)實(shí)現(xiàn)對(duì)用戶(hù)面狀態(tài)信息的感知，而且所做PDU 會(huì)話路由決策在時(shí)延、吞吐量和丟包率等方面均優(yōu)于其他幾種路由決策算法。

在未來(lái)工作中，將進(jìn)一步改進(jìn)INT 信息收集架構(gòu)，避免因測(cè)量頻率提升導(dǎo)致INT 信息占用大量帶寬的問(wèn)題；此外，需要實(shí)現(xiàn)測(cè)量頻率、網(wǎng)絡(luò)狀態(tài)參數(shù)自動(dòng)調(diào)整以節(jié)約測(cè)量開(kāi)銷(xiāo)并快速定位網(wǎng)絡(luò)問(wèn)題；還將考慮采用更加先進(jìn)高效的流量調(diào)度算法來(lái)提升5G 核心網(wǎng)用戶(hù)面數(shù)據(jù)流量的路由效果。