［陳迅 陳智 鄧麗潔］

1 引言

網(wǎng)絡(luò)時延決定了應(yīng)用的使用體驗，是評估網(wǎng)絡(luò)性能的關(guān)鍵指標(biāo)之一。隨著業(yè)務(wù)全I(xiàn)P 化承載的推進(jìn)，IP 網(wǎng)絡(luò)時延是所以業(yè)務(wù)時延關(guān)鍵的一環(huán)。AR/VR、高清視頻、云游戲、物聯(lián)網(wǎng)等業(yè)務(wù)的發(fā)展使用戶獲得了便捷快速的服務(wù)，同時也對時延提出了更高的要求。而SDN、SRv6 等新技術(shù)亦為IP 網(wǎng)絡(luò)時延優(yōu)化帶來新的手段。本文分析了IP 網(wǎng)絡(luò)現(xiàn)網(wǎng)時延影響因素，擬就運營商IP 網(wǎng)絡(luò)架構(gòu)，IP-傳輸協(xié)同組網(wǎng)，SRv6 技術(shù)部署三方面對IP 網(wǎng)絡(luò)時延優(yōu)化技術(shù)進(jìn)行探討并進(jìn)行相應(yīng)的試驗。

2 互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展趨勢

5G、云計算、大數(shù)據(jù)等新技術(shù)的發(fā)展，進(jìn)一步加速企業(yè)上云以及數(shù)字化轉(zhuǎn)型。云作為數(shù)字化經(jīng)濟(jì)的主要載體，對網(wǎng)絡(luò)敏捷程度提出了更高要求。分布式數(shù)據(jù)中心廣泛部署，低時延成為各個數(shù)據(jù)中心之間協(xié)同工作的重要基礎(chǔ)。低時延驅(qū)動的網(wǎng)絡(luò)轉(zhuǎn)型將推動運營商網(wǎng)絡(luò)進(jìn)一步轉(zhuǎn)型。

5G 帶來的新型業(yè)務(wù)包括增強(qiáng)型MBB、IoT 等業(yè)務(wù)對時延性能提出了新的挑戰(zhàn)：①車聯(lián)網(wǎng)需要提供超級時延保障業(yè)務(wù)可靠性。譬如對突發(fā)情況的提前預(yù)知和響應(yīng)等。②云游戲需要一部簡單配置終端就可以玩對性能要求較高的大型游戲，對網(wǎng)絡(luò)時延提出了嚴(yán)苛的要求。若畫面延遲，影響游戲結(jié)果和體驗。③AR/VR 沉浸式體驗，延遲不滿足將導(dǎo)致體驗缺失。如表1 所示。

表1 5G 業(yè)務(wù)時延性能要求

邊緣計算覆蓋了政府、工業(yè)、家庭、個人等多場景，新型城域網(wǎng)作為連通邊緣和用戶的新通道，協(xié)同邊緣計算在城域不同位置的部署，可以提供低時延和極低時延等高品質(zhì)的鏈接服務(wù)，將傳統(tǒng)的南北向流量轉(zhuǎn)換為東西向流量，極大滿足了計算能力下沉的需求。

3 運營商IP 網(wǎng)絡(luò)時延分析

影響IP 骨干網(wǎng)絡(luò)時延的主要因素多樣，IP 層架構(gòu)，傳輸層路由以及光纜網(wǎng)格密度都對時延有重要影響。對某電信運營商IP 骨干網(wǎng)447 個方向?qū)M(jìn)行分析，其中，傳輸路由非最優(yōu)共影響474 個方向?qū)?，是最主要的影響因素；IP 路由非直達(dá)共影響84 個方向?qū)?，主要影響北方和西部；IP 路由策略非最優(yōu)共影響20 個方向?qū)?，主要影響寧夏、海南等大城域網(wǎng)省，以及蒙貴園區(qū)等；光纜/傳輸網(wǎng)格密度不足共影響15 個方向?qū)?。如圖1 所示。

圖1 IP 骨干網(wǎng)絡(luò)時延影響因素分析

不同省對間時延影響因素差異大，需差異化制定優(yōu)化方案。例如，新疆-河北主要受IP 非直達(dá)影響，IP 路由需從西安繞轉(zhuǎn)，繞轉(zhuǎn)程度超10%；貴州-云南主要受傳輸路由非最優(yōu)影響，一二路由差超200%；部分省同時受多個因素影響。

影響IP城域網(wǎng)時延的因素主要是資源到用戶的距離，隨著邊緣計算的發(fā)展，資源下沉?xí)嵘脩舻脑L問感知，但也帶來了東西向流量的增加，架構(gòu)是否適應(yīng)這種變化。其次，城域網(wǎng)內(nèi)由于通過帶寬冗余的方式滿足可靠性要求，業(yè)務(wù)流量承載在不同的光纜路由上，城域內(nèi)的光纜路由繞轉(zhuǎn)也會帶來時延的增加。

4 IP 網(wǎng)絡(luò)時延優(yōu)化思路

4.1 IP 網(wǎng)絡(luò)架構(gòu)優(yōu)化

4.1.1 IP 骨干網(wǎng)架構(gòu)優(yōu)化

結(jié)合業(yè)務(wù)規(guī)模和地理位置，統(tǒng)籌規(guī)劃節(jié)點和局向總體布局，兼并投資效益及時延體驗。

（l）IDC 跨省上聯(lián)

結(jié)合區(qū)域一體化設(shè)計理念，打破行蹤區(qū)劃，推動重點IDC 跨省上聯(lián)區(qū)域內(nèi)重點省，提升區(qū)域內(nèi)用戶體驗。如圖2所示，全國設(shè)置四大重點區(qū)域，各省上聯(lián)區(qū)域內(nèi)核心節(jié)點，以及周邊重點局向。原則上每省均設(shè)置到四大區(qū)域的直達(dá)局向。盡量減少長距離局向。區(qū)域內(nèi)實施多核心架構(gòu)，提升節(jié)點間協(xié)同組網(wǎng)，重點IDC 跨省上聯(lián)多區(qū)域核心，區(qū)域內(nèi)鄰近省加密直達(dá)。相比舊平面，區(qū)域內(nèi)重點IDC 時延下降30%，有力支撐了IDC 等重點業(yè)務(wù)的可持續(xù)發(fā)展。

圖2 區(qū)域一體化架構(gòu)

針對跨省上聯(lián)的重點園區(qū)及大城域網(wǎng)，按目的省所在區(qū)域針對性設(shè)置BGP 策略，減少路由繞轉(zhuǎn)。

（2）優(yōu)化節(jié)點設(shè)置

針對西北省份（新疆、青海、寧夏）出省局向少、路由長、可靠性不足的問題，將蘭州提升為西北輔助核心。如圖3 所示，增加西北省到蘭州直達(dá)局向，可增加西北小省IP 網(wǎng)絡(luò)的安全性。同時，甘肅作為西北重要的內(nèi)容來源，增加直達(dá)局向有利于提升流量承載效率。

圖3 西北區(qū)域架構(gòu)

（3）根據(jù)地理形態(tài)進(jìn)行架構(gòu)優(yōu)化

以內(nèi)蒙古為例，內(nèi)蒙古地形狹長，呼和浩特、通遼負(fù)載分擔(dān)的模式導(dǎo)致時延性能不佳。從流量特征上看，內(nèi)蒙古出省流量分布較均勻；省內(nèi)東西部發(fā)展不平衡，西大東小，通遼節(jié)點考級東北，從流量疏導(dǎo)效率上看無突出地理優(yōu)勢。

呼和浩特和通遼拆分成為兩個獨立邏輯節(jié)點，通遼節(jié)點在機(jī)房及省際傳輸條件成熟前只承擔(dān)部分省內(nèi)互訪流量。省際流量全部由呼和浩特節(jié)點轉(zhuǎn)發(fā)，圍繞呼和浩特節(jié)點配置帶寬；所有城域網(wǎng)至通遼節(jié)點的局向不再擴(kuò)容，全部上聯(lián)呼和浩特節(jié)點。經(jīng)測算，內(nèi)蒙古省際（內(nèi)蒙古只全國其他省份）流量加權(quán)距離可降低10%，從2 900 km 下降至2 600 km；蒙西城域網(wǎng)省內(nèi)加權(quán)距離可降低50%，可減少超過500 km；蒙東城市基本不變。

4.1.2 城域網(wǎng)架構(gòu)優(yōu)化

新型城域網(wǎng)架構(gòu)是為應(yīng)對5G、邊緣計算等帶來的固移融合、云基礎(chǔ)設(shè)施下沉挑戰(zhàn)，借鑒DC Spine/Leaf 架構(gòu)而實現(xiàn)的網(wǎng)絡(luò)架構(gòu)，如圖4 所示。適應(yīng)城域網(wǎng)流量流向變化，實現(xiàn)以“云為中心”組網(wǎng)，滿足用戶就近訪問需求。

圖4 城域Spine-Leaf 組網(wǎng)架構(gòu)

（1）POD 內(nèi)部基于Spine/Leaf 架構(gòu)（3-stage CLOS）構(gòu)建固移云融合承載的網(wǎng)絡(luò)架構(gòu)

①每個POD 設(shè)置一對Spine 設(shè)備（通常部署于邊緣云所在匯聚機(jī)樓/一般機(jī)樓）；

② A-Leaf（Access Leaf）設(shè)備通常部署于一般機(jī)樓，負(fù)責(zé)OLT/STN-A 設(shè)備接入；

③S-Leaf（Service Leaf）設(shè)備負(fù)責(zé)邊緣云/極度邊緣的接入；

④ B-Leaf（Border Leaf）通常部署于核心機(jī)樓，負(fù)責(zé)與CN2 PE 對接。

A/B/S-Leaf 成對部署，原則上所有Leaf 設(shè)備之間均不互聯(lián)。但是，為避免用戶訪問邊緣云時的流量繞轉(zhuǎn)，在部分邊緣云接入場景，需要OLT、A-Leaf、S-Leaf 設(shè)備直連（即partial-mesh 連接）。

（2）POD 之間基于Super Spine 互聯(lián)實現(xiàn)橫向擴(kuò)展

以40～80 萬光寬用戶為單元設(shè)置城域POD，每個POD 均覆蓋其轄內(nèi)所有光寬、移動、政企用戶。成對部署Super Spine（通常位于核心機(jī)樓），以實現(xiàn)POD 之間互聯(lián)。此外，Super Spine 需連接5GC CE、城域CR 設(shè)備（即Super Spine、5GC CE以及CR之間存在partial-mesh連接）。Super Spine 與CR 分設(shè)的目的在于減少對CR 容量與端口的需求，進(jìn)一步降低IP 設(shè)備投資。此時，城域CR 設(shè)備連接ChinaNet/CN2-DCI 網(wǎng)絡(luò)，接收全球路由表，用于承載政企業(yè)務(wù)與國際互聯(lián)網(wǎng)業(yè)務(wù)流量。

4.2 IP-傳輸協(xié)同組網(wǎng)

傳輸網(wǎng)絡(luò)組網(wǎng)結(jié)構(gòu)是IP 網(wǎng)絡(luò)組網(wǎng)的基礎(chǔ)，兩者協(xié)同可顯著提升IP 網(wǎng)絡(luò)的基礎(chǔ)能力，否則多少選路策略都是空中樓閣。IP-傳輸協(xié)同組網(wǎng)主要從3 個層面推動。

4.2.1 IP 網(wǎng)絡(luò)metric 設(shè)計與傳輸協(xié)同

打破層級化Metric 設(shè)計傳統(tǒng)，強(qiáng)化就近轉(zhuǎn)發(fā)和多路徑轉(zhuǎn)發(fā)的能力。將傳輸/光纜距離納入metric 設(shè)計中，以接近最有轉(zhuǎn)發(fā)路徑。

以中國電信精品網(wǎng)新平面metric 設(shè)計為例，根據(jù)傳輸距離，以一定的步長設(shè)置metric 值，在全網(wǎng)fulllmesh 需要465 個局向的情況下，只需132 個局向即可接近fullmesh的時延性能。以500 km 為步長設(shè)置metric 值，需設(shè)計10個等級的metric 值，以1 000 km 為步長設(shè)計metric 值，需設(shè)計5 個等級的metric 值。經(jīng)仿真，5 個等級的metric值與10 個等級metric 值結(jié)果相近。Fullmesh、5 個等級設(shè)置metric 值和10 個等級設(shè)置metric 值的仿真結(jié)果如表2所示。

表2 IP 網(wǎng)絡(luò)metric 設(shè)計

4.2.2 單傳輸路由組網(wǎng)

結(jié)合ROADM 快速重路由技術(shù)，選取重點局向，采用單傳輸路由架構(gòu)組網(wǎng)，降低重點業(yè)務(wù)端到端訪問時延，如圖5 所示。

圖5 單傳輸路由組網(wǎng)示意

采用單傳輸路由組網(wǎng)，可使業(yè)務(wù)在短路徑上承載，但也帶來了一定的業(yè)務(wù)性能影響，當(dāng)傳輸路由故障導(dǎo)致中斷后，將會有秒級的業(yè)務(wù)IP 鏈路中斷。

4.2.3 傳輸路由優(yōu)化

從現(xiàn)網(wǎng)取樣的已開長途局向194 個，其中長短路由差距大的局向137 個（長短路由最大相對比120%以上，或最大絕對差1 000 km 以上；一路由與光纜最短距離差距大8 個（一路由是光纜最短的1.5 倍以上）；光纜與球面距離差距大16 個（光纜最短是球面距離的2 倍以上），如圖6 所示。

圖6 傳輸路由優(yōu)化分析

隨新光纜和系統(tǒng)投產(chǎn)，開展存量電路優(yōu)化，效果顯著，預(yù)計全國平均時延將縮短1～2 ms。定期篩查現(xiàn)網(wǎng)電路傳輸路由部署情況，結(jié)合新光纜投產(chǎn)制定響應(yīng)優(yōu)化計劃，可有效提升IP 網(wǎng)絡(luò)的時延性能。

4.3 SRv6 技術(shù)部署

隨著5G、云計算、物聯(lián)網(wǎng)等新業(yè)務(wù)的開展，對網(wǎng)絡(luò)的差異化能力提出了更高的要求。SRv6 作為構(gòu)建新一代智能IP 網(wǎng)絡(luò)的核心協(xié)議，統(tǒng)一并簡化了傳統(tǒng)復(fù)雜的網(wǎng)絡(luò)協(xié)議，實現(xiàn)網(wǎng)絡(luò)運營的簡化和應(yīng)用級的SLA 保障。

SRv6（IPv6 Segment Routing）是基于源路由理念而設(shè)計的在網(wǎng)絡(luò)上轉(zhuǎn)發(fā)IPv6 數(shù)據(jù)包的一種協(xié)議?；贗Pv6轉(zhuǎn)發(fā)面的SRv6，通過在IPv6 報文中插入一個路由拓展頭SRH，在SRH 中壓入一個顯式的IPV6 地址棧，通告中間節(jié)點不斷的更新目的地址和偏移地址棧來完成逐跳轉(zhuǎn)發(fā)，如圖7 所示。SRv6 將一些IPv6 地址定義成實例化的SID（Segment ID），每個SID 都有自己顯式的作用的功能，通過不同的SID 操作，實現(xiàn)簡化的VPN 以及靈活的路徑規(guī)劃。

圖7 SRv6 路由擴(kuò)展

SRH（Segment Routing Header）是為了基于IPv6 轉(zhuǎn)發(fā)平面實現(xiàn)SRv6，新增加的一種IPv6 拓展頭。SID 是一種網(wǎng)絡(luò)指令（Instruction），它由Locator 和Function 兩部分組成，Locator 主要承擔(dān)路由功能，所以要在SR 域內(nèi)唯一，F(xiàn)unction可以標(biāo)示設(shè)備的任何功能，比如某個轉(zhuǎn)發(fā)行為，或者某種業(yè)務(wù)等。

在石家莊和北京之間進(jìn)行了基于SRv6 Policy 進(jìn)行遺留的低時延路徑調(diào)度試驗，如圖8 所示?？刂破髟诒本〤、石家莊C 間創(chuàng)建低時延SRv6 Policy 隧道，下發(fā)L3VPN至北京C、石家莊C，綁定SRv6 隧道，北京城域網(wǎng)CR/石家莊城域網(wǎng)CR 分別指定靜態(tài)路由到北京C、石家莊C?？刂破飨掳l(fā)染色策略到尾節(jié)點PE，通過RR 廣播到網(wǎng)內(nèi)，將目標(biāo)地址公網(wǎng)路由引入VPN，北京C5、石家莊C1 設(shè)置復(fù)雜流重定向，引流入VPN。

圖8 SRv6 Policy 部署試驗

時延優(yōu)化效果顯著，調(diào)優(yōu)前北京-石家莊探針雙向時延為11.6 ms，疊加靜態(tài)路由+SRv6 后，時延降到10 ms左右，時延優(yōu)化13.8%，如圖9 所示。

圖9 SRv6 Policy 低時延試驗結(jié)果

5 結(jié)束語

IP 網(wǎng)絡(luò)時延優(yōu)化是個系統(tǒng)性工程，需從IP 網(wǎng)絡(luò)架構(gòu)、跨專業(yè)協(xié)同、新技術(shù)引入等方面綜合考慮。本文從時延性能分析入手，推動IP 骨干網(wǎng)、城域網(wǎng)架構(gòu)的統(tǒng)籌優(yōu)化，從多個維度研究IP 與傳輸?shù)目鐚I(yè)協(xié)同組網(wǎng)，并通過部署SDN+SRv6 技術(shù)實現(xiàn)低時延路徑引流，實現(xiàn)了從物理層路由資源優(yōu)化到邏輯層的路由定制，多項技術(shù)已在中國電信IP 骨干網(wǎng)中得到應(yīng)用，取得良好的成效。