薛 強(qiáng)，屠禮彪（.中國(guó)聯(lián)通廣東省分公司，廣東廣州 5067；.中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司，北京 00033）

1 新型承載網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)及要求

1.1 5G業(yè)務(wù)發(fā)展節(jié)奏以及要求

5G的業(yè)務(wù)發(fā)展分為3個(gè)階段。

第1 階段為eMBB+NB-IoT：時(shí)間點(diǎn)在2019—2020年，主體業(yè)務(wù)為2C 業(yè)務(wù)，如視頻/上網(wǎng)/4K/VR/AR，2B業(yè)務(wù)為NB-IoT類業(yè)務(wù)。業(yè)務(wù)的特點(diǎn)是帶寬相比4G提高較多，初期業(yè)務(wù)量還不是很大，在大多數(shù)區(qū)域，10GE接入環(huán)即可滿足要求，在個(gè)別熱點(diǎn)區(qū)域，帶寬較大，50GE 接入環(huán)可滿足帶寬要求。時(shí)延要求10 ms 以上，現(xiàn)在的網(wǎng)絡(luò)即可滿足要求。

第2 階段為eMBB+mMTC：時(shí)間點(diǎn)在2021—2022年。2C 業(yè)務(wù)（視頻/上網(wǎng)/4K/VR/AR）和智慧園區(qū)業(yè)務(wù)開始增多，部分區(qū)域初期的10GE 接入環(huán)滿足不了業(yè)務(wù)的帶寬需求，需要將接入環(huán)變成50GE 環(huán)，當(dāng)然還有很多的區(qū)域不用改變。部分匯聚層的帶寬需要升級(jí)到100GE。時(shí)間延遲在10 ms 以上，要求確定性時(shí)延。VR/AR/直播等場(chǎng)景存在分片需求。

第3 階段為eMBB+uRLLC+mMTC，時(shí)間點(diǎn)在2022年以后。這個(gè)階段會(huì)新增V2X業(yè)務(wù)、自動(dòng)駕駛業(yè)務(wù)，智慧工廠業(yè)務(wù)逐漸增多。時(shí)間的延遲要求在3～10 ms，要求確定性的時(shí)間延遲。局部垂直行業(yè)存在分片需求。

1.2 接入層建議

在第1階段10GE 接入環(huán)即可滿足要求，但是如果接入環(huán)的CSG 數(shù)量過多，則需要將超大環(huán)改造為多個(gè)小環(huán)，滿足接入環(huán)的帶寬不超過10G，這樣不用增配10GE 的板卡即可滿足帶寬需求。接入層的拓?fù)溆蓸I(yè)務(wù)的實(shí)際情況決定，有以下幾種場(chǎng)景。

1.2.1 大環(huán)裂小環(huán)

接入環(huán)大環(huán)組網(wǎng)如圖1所示。

圖1 接入層大環(huán)示意圖

分裂后組環(huán)如圖2所示。

圖2 大環(huán)裂小環(huán)示意圖

1.2.2 環(huán)帶環(huán)

環(huán)帶環(huán)的場(chǎng)景中如果在部分節(jié)點(diǎn)上不進(jìn)行改造，接入環(huán)的帶寬會(huì)超過10G，建議對(duì)如圖3 所示環(huán)帶環(huán)進(jìn)行改造。改造為如圖4所示的拓?fù)洹?/p>

1.2.3 GE環(huán)改造

圖3 環(huán)帶環(huán)場(chǎng)景

圖4 環(huán)帶環(huán)改造后的拓?fù)?/p>

對(duì)于部分GE 環(huán)，在初期可以給接入層ATN 設(shè)備增配10GE 板卡來實(shí)現(xiàn)10GE 接入網(wǎng)，以保護(hù)現(xiàn)網(wǎng)投資。

1.3 匯聚核心層的演進(jìn)建議

匯聚層核心層有3種網(wǎng)絡(luò)架構(gòu)可選擇：口字型、雙上聯(lián)和Spine-Leaf架構(gòu)。

1.3.1 Spine-Leaf架構(gòu)

Spine-Leaf 架構(gòu)源自Clos 架構(gòu)，如圖5 所示。Clos架構(gòu)源自交換機(jī)，是一種多級(jí)交換架構(gòu)，這種架構(gòu)是為了在輸入輸出增長(zhǎng)的情況下盡可能減少中間的交叉點(diǎn)數(shù)。

二層Spine-Leaf 架構(gòu)（見圖6）是由三層Clos 架構(gòu)沿中間層折疊而成。

圖5 Clos架構(gòu)

圖6 Spine-Leaf架構(gòu)

Spine-Leaf 架構(gòu)特點(diǎn)：多個(gè)Spine 節(jié)點(diǎn)的胖樹結(jié)構(gòu)，通過新增Leaf節(jié)點(diǎn)，實(shí)現(xiàn)橫向彈性擴(kuò)容，Spine下行端口數(shù)決定Leaf節(jié)點(diǎn)數(shù)和網(wǎng)絡(luò)規(guī)模。

標(biāo)準(zhǔn)的Spine-Leaf 會(huì)給IPRAN 網(wǎng)絡(luò)帶來如下問題。

a）對(duì)于核心節(jié)點(diǎn)：每增加1對(duì)核心節(jié)點(diǎn)，核心匯聚層光纖數(shù)量就要翻1 倍；流量落地設(shè)備需跟核心節(jié)點(diǎn)建立full-mesh 連接；多核心節(jié)點(diǎn)會(huì)占用更多的核心機(jī)房空間和電源。

b）對(duì)于匯聚節(jié)點(diǎn)：新增匯聚節(jié)點(diǎn)要跟核心節(jié)點(diǎn)建立BGP鄰居配置，會(huì)增加核心節(jié)點(diǎn)壓力；新增1臺(tái)匯聚節(jié)點(diǎn)，要增加8 條光纖（上下行），消耗光纜資源；新增匯聚節(jié)點(diǎn)要增加核心節(jié)點(diǎn)支持的端口密度，影響設(shè)備形態(tài)；新增匯聚節(jié)點(diǎn)，要配套增加匯聚機(jī)房空間和電源，占用機(jī)房資源。

c）對(duì)于保護(hù)：接入層故障，下行流量繞行核心節(jié)點(diǎn)，隧道硬收斂秒級(jí)丟包；核心網(wǎng)AC 側(cè)故障，上行流量持續(xù)丟包，VPN路由硬收斂。

1.3.2 雙上聯(lián)架構(gòu)

IPRAN采用的近“Spine-Leaf”架構(gòu)，去掉了Spine-Leaf 架構(gòu)的便于橫向拓展的核心需求，稱為“雙上聯(lián)”架構(gòu)，如圖7所示，雙上聯(lián)在口字型基礎(chǔ)上增加了交叉線，本質(zhì)上是一種改進(jìn)的口字型架構(gòu)。

圖7 雙上聯(lián)架構(gòu)

雙上聯(lián)架構(gòu)的特點(diǎn)如下：

a）城域內(nèi)只用一對(duì)Spine節(jié)點(diǎn)，非胖樹結(jié)構(gòu)。

b）匯聚節(jié)點(diǎn)數(shù)量相對(duì)固定，擴(kuò)容時(shí)采用節(jié)點(diǎn)容量擴(kuò)容和鏈路帶寬擴(kuò)容方式，核心節(jié)點(diǎn)的背板容量決定了擴(kuò)容總?cè)萘俊?/p>

c）成對(duì)的匯聚Leaf 節(jié)點(diǎn)之間需橫連線，做接入層保護(hù)路徑。

d）核心Spine 節(jié)點(diǎn)之間需橫連線，做核心網(wǎng)側(cè)AC鏈路故障保護(hù)路徑。

1.3.3 架構(gòu)比較以及建議

Spine-Leaf和雙上聯(lián)架構(gòu)之間的區(qū)別如表1所示。

表1 Spine-Leaf和雙上聯(lián)架構(gòu)的區(qū)別

新型城域承載網(wǎng)的匯聚和核心層拓?fù)浣ㄗh選取雙上聯(lián)架構(gòu)或者口字型架構(gòu)，具體選擇哪種架構(gòu)本文從以下幾個(gè)角度來比較。

核心至匯聚的需求帶寬是100GE 時(shí)，組網(wǎng)拓?fù)淙鐖D8所示。

圖8 目標(biāo)帶寬為100GE時(shí)的2種組網(wǎng)拓?fù)?/p>

核心至匯聚需求帶寬是200GE 時(shí)，組網(wǎng)拓?fù)淙鐖D9所示。

圖9 目標(biāo)帶寬為200GE時(shí)的2種組網(wǎng)拓?fù)?/p>

上述2 種需求帶寬下不同組網(wǎng)拓?fù)涞谋容^如表2所示。

新型承載網(wǎng)可以根據(jù)不同的目標(biāo)帶寬，選擇口字型或雙上聯(lián)架構(gòu)，需求帶寬100G時(shí)建議選擇口字型架構(gòu)，需求帶寬200G時(shí)建議選擇雙上聯(lián)架構(gòu)。

2 新型承載網(wǎng)的網(wǎng)路協(xié)議選擇

2.1 SR與現(xiàn)有RSVP-TE/LDP 的關(guān)系及演進(jìn)策略

2.1.1 SR與RSVP-TE/LDP

現(xiàn)存的網(wǎng)絡(luò)隧道LDP 和RSVP-TE 各有其優(yōu)勢(shì)和弊端。LDP部署簡(jiǎn)單，但需要專門的LDP協(xié)議，且無法進(jìn)行路徑控制。RSVP-TE 可以進(jìn)行路徑控制，但部署復(fù)雜且存在Full Mesh 的N2 問題。同為轉(zhuǎn)發(fā)隧道，SR在控制面不再需要RSVP、LDP 等協(xié)議。同時(shí)，在轉(zhuǎn)發(fā)平面，SR 保留了MPLS 的標(biāo)簽轉(zhuǎn)發(fā)機(jī)制。SR 的源路由機(jī)制使它通過源節(jié)點(diǎn)即可控制數(shù)據(jù)包在網(wǎng)絡(luò)中的轉(zhuǎn)發(fā)路徑，滿足了未來SDN 智能網(wǎng)絡(luò)對(duì)路由靈活控制的需求。

表2 2種需求帶寬下口字型及雙上聯(lián)拓?fù)涞谋容^

2.1.2 SR演進(jìn)策略

在面向5G的新型城域網(wǎng)中，隧道演進(jìn)總體策略如下：初期完成部分鏈路帶寬升級(jí)，快速完成5G 基站開通與業(yè)務(wù)上線，達(dá)成5G 首發(fā)目標(biāo)，隧道選擇LDP/RSVP-TE；2020 年之后隨著新型承載網(wǎng)的新建或者優(yōu)化，核心匯聚層的設(shè)備都能支持SR 協(xié)議，這時(shí)可以啟用新的隧道協(xié)議，并同步將傳統(tǒng)的網(wǎng)管系統(tǒng)升級(jí)為SDN 控制器設(shè)備，然后從核心匯聚層到接入層逐步切換傳統(tǒng)隧道到SR，完成智能化演進(jìn)升級(jí)。

2.1.3 SR演進(jìn)步驟

SR 隧道演進(jìn)過程，按照先演進(jìn)核心匯聚層再演進(jìn)接入層的順序進(jìn)行。

a）核心匯聚層演進(jìn)：

（a）匯聚核心層升級(jí)版本支持SR/EVPN特性。

（b）匯聚核心層使能SR-TE/SR-BE隧道。

（c）匯聚層上行隧道切換SR，修改ASG 隧道策略，優(yōu)選SR，次選MPLS。下行隧道切換SR，修改RSG隧道策略，優(yōu)選SR，次選MPLS。

b）接入層演進(jìn)：

（a）接入層設(shè)備升級(jí)新版本或者新建接入環(huán)。

（b）接入層使能SR-TE/SR-BE隧道。

（c）接入層上行隧道切換SR，修改新版本CSG 的隧道策略，優(yōu)選SR，次選MPLS。

（d）接入層下行隧道自動(dòng)切換SR，無需修改ASG的隧道策略。

c）清理RSVP-TE/LDP配置：

（a）全網(wǎng)升級(jí)新版本，且接入?yún)R聚核心都部署優(yōu)選SR隧道后，刪除TE/LDP配置。

（b）匯聚設(shè)備下掛V5 接入環(huán)，此類ASG 不能刪除TE/LDP配置。

（c）先修改隧道策略迭代順序，刪除迭代順序中的MPLS隧道，再刪除其他配置。

（d）按照先刪除接入層再刪除匯聚層的順序清理RSVP-TE/LDP隧道。

2.2 SR MPLS與SRv6的關(guān)系及演進(jìn)策略

2.2.1 SR-MPLS與SRv6

SR-MPLS 與SRv6 的本質(zhì)區(qū)別在于前者Segment ID 使用MPLS Label，后者使用IPv6 地址。正是這一本質(zhì)區(qū)別，使得SRv6 在諸多方面都比SR-MPLS 表現(xiàn)出強(qiáng)大的優(yōu)勢(shì)，并成為“可預(yù)見的終極方案”。

SR-MPLS和SRv6的對(duì)比如表3所示。

2.2.2 SRv6演進(jìn)策略

表3 SR-MPLS和SRv6的對(duì)比

SRv6 兼容現(xiàn)網(wǎng)MPLS VPN的演進(jìn)方案如下：

a）RSG設(shè)備升級(jí)支持SRv6。

b）RSG 設(shè)備與存量CSG 設(shè)備建立傳統(tǒng)MPLS VPN BGP peer，RSG 與已升級(jí)支持SRv6的CSG 設(shè)備建立SRv6 VPN BGP Peer。

c）東西向流量采用傳統(tǒng)MPLS 隧道，南北向流量具備SRv6 能力的設(shè)備優(yōu)選SRv6，不具備SRv6 能力的設(shè)備采用MPLS隧道。

SRv6 替換現(xiàn)網(wǎng)MPLS VPN 的演進(jìn)方案如下：首先將現(xiàn)網(wǎng)的L3VPN 業(yè)務(wù)建立在RSVP-TE/LDP 上，為L(zhǎng)3VPN 業(yè)務(wù)建立雙棧SRv6 隧道，然后通過配置隧道優(yōu)選策略，用SRv6 隧道承載L3VPN 業(yè)務(wù)，最后刪除MPLS隧道和ipv4-family vpnv4地址族配置。

盡管主流設(shè)備廠家已支持SRv6，但SRv6 的相關(guān)標(biāo)準(zhǔn)還未完全成熟，因此新型的城域承載網(wǎng)要視建設(shè)的時(shí)間點(diǎn)決定采用SR-MPLS 還是SRv6，2020 年初可以先上SR-MPLS。

2.3 EVPN與L3VPN、VPLS的關(guān)系及演進(jìn)策略

2.3.1 EVPN與VPLS、L3VPN

EVPN 通過擴(kuò)展BGP 協(xié)議使不同站點(diǎn)的二層網(wǎng)絡(luò)間的MAC 地址學(xué)習(xí)和發(fā)布過程從數(shù)據(jù)平面轉(zhuǎn)移到控制平面。EVPN 解決了傳統(tǒng)VPLS 不支持雙歸網(wǎng)絡(luò)負(fù)載分擔(dān)的問題，避免了公網(wǎng)PE 間的全連接，實(shí)現(xiàn)了快速收斂。同時(shí)，EVPN 作為統(tǒng)一的VPN 架構(gòu)，全面支持L2及L3VPN。

2.3.2 EVPN演進(jìn)策略

路徑1：現(xiàn)網(wǎng)L3VPN 進(jìn)行EVPN 改造，移動(dòng)業(yè)務(wù)通過EVPN承載，演進(jìn)步驟如圖10所示。

路徑2：現(xiàn)網(wǎng)L3VPN 不進(jìn)行EVPN 改造，L3VPN 承載4G 和5G NSA 業(yè)務(wù)，EVPN 承載5G SA 業(yè)務(wù)，演進(jìn)步驟如圖11所示。

圖10 L3VPN向EVPN改造步驟

圖11 EVPN承載5G SA示意圖

路徑3：現(xiàn)網(wǎng)PW 不進(jìn)行EVPN 改造，PW 專線和EVPN 專線并存；分層PW 專線和EVPN 專線不是一個(gè)控制面學(xué)習(xí)MAC 地址，不存在改造的過程，在一個(gè)設(shè)備上共存也沒有沖突；已開通的分層PW 專線承載方案不變，新開通專線選擇分層的EVPN 專線方案承載，不同專線之間也沒有互通要求。

3 現(xiàn)有網(wǎng)絡(luò)形態(tài)分析及融合策略

3.1 承載網(wǎng)

3.1.1 承載網(wǎng)架構(gòu)分析

現(xiàn)有承載網(wǎng)如圖12所示，是數(shù)據(jù)網(wǎng)、傳送網(wǎng)、接入網(wǎng)等多專業(yè)網(wǎng)絡(luò)混合組網(wǎng)，相同專業(yè)又分多個(gè)不同功能的網(wǎng)絡(luò)?，F(xiàn)有網(wǎng)絡(luò)已難以適應(yīng)云、高速、低時(shí)延、個(gè)性化等業(yè)務(wù)需求。

圖12 承載網(wǎng)現(xiàn)狀

現(xiàn)有承載網(wǎng)主要存在以下幾個(gè)問題。

a）端到端結(jié)構(gòu)復(fù)雜，用戶體驗(yàn)差：移動(dòng)、大客戶、寬帶業(yè)務(wù)貫穿核心、數(shù)據(jù)、傳輸、接入、基站等多個(gè)網(wǎng)絡(luò)。

b）網(wǎng)絡(luò)冗余重疊、網(wǎng)絡(luò)效率低：本地承載網(wǎng)（CE網(wǎng)絡(luò)）與IPRAN 網(wǎng)絡(luò)縱向重疊，大珠三/云骨干/UTN 省干橫向重疊。

c）智能化不足、協(xié)同難：部分網(wǎng)絡(luò)未SDN 化，部分網(wǎng)絡(luò)獨(dú)立部署SDN控制，無法實(shí)現(xiàn)統(tǒng)一協(xié)調(diào)管控。

d）網(wǎng)絡(luò)效能低、投資大：網(wǎng)絡(luò)架構(gòu)的冗余會(huì)增加機(jī)房、電費(fèi)及維護(hù)等運(yùn)營(yíng)成本，同時(shí)需要較大的擴(kuò)容投資。

3.1.2 承載網(wǎng)協(xié)議分析

IPRAN 和城域網(wǎng)的MPLS 采用的是LDP 協(xié)議，LDP 協(xié)議用于標(biāo)簽分配，但LDP 協(xié)議較復(fù)雜，有11 種不同類型的消息，如果LDP 和IGP 協(xié)議不及時(shí)同步會(huì)出現(xiàn)路由黑洞，同時(shí)LDP不具備流量工程能力。

業(yè)務(wù)層對(duì)VLL 業(yè)務(wù)采用的是Remote LDP 協(xié)議，L3VPN 業(yè)務(wù)采用的是MP BGP 協(xié)議。業(yè)務(wù)層的協(xié)議不統(tǒng)一。

3.2 現(xiàn)有網(wǎng)絡(luò)的整合與互通

為適應(yīng)5G網(wǎng)絡(luò)及云業(yè)務(wù)發(fā)展的需求，對(duì)現(xiàn)有網(wǎng)絡(luò)進(jìn)行了相應(yīng)改造，滿足了5G 初期發(fā)展的需求，提高了網(wǎng)絡(luò)的效率。

3.2.1 IPRAN與CE網(wǎng)絡(luò)的整合

骨干網(wǎng)層面，隨著核心網(wǎng)的下沉和去屬地化，承載B 網(wǎng)的功能逐步減弱，B 網(wǎng)與A 網(wǎng)進(jìn)一步融合。具體演進(jìn)思路如圖13所示。

業(yè)務(wù)承載思路如下：

a）本地CE網(wǎng)絡(luò)不再建設(shè)，充分利舊。

b）新增4G/5G業(yè)務(wù)通過IPRAN2.0設(shè)備承載。

圖13 5G承載IPRAN的演進(jìn)思路

c）原有3G/4G業(yè)務(wù)逐步割接至IPRAN網(wǎng)絡(luò)。

網(wǎng)絡(luò)融合步驟如下。

a）IPRAN網(wǎng)絡(luò)核心直連核心網(wǎng)出口路由器。

b）IPRAN核心、MCE融合為1對(duì)本地核心。

c）IPRAN跨廠家互通，進(jìn)行解耦組網(wǎng)。

3.2.2 IPRAN與城域網(wǎng)的互通

以業(yè)務(wù)為導(dǎo)向，在匯聚層橫向打通本地城域網(wǎng)及IPRAN 網(wǎng)絡(luò)，實(shí)現(xiàn)雙網(wǎng)有機(jī)互聯(lián)，如圖14所示，結(jié)合云骨干（省內(nèi)原有的小省網(wǎng)改造而來）的統(tǒng)一調(diào)度，滿足PON入云、智享專車等業(yè)務(wù)快速承載開通。

圖14 本地城域網(wǎng)與IPRAN有機(jī)互聯(lián)

通過以上手段，可以實(shí)現(xiàn)以下業(yè)務(wù)：

a）PON 入云：OLT 經(jīng)過BRAS/SR 后由各地（市）城域網(wǎng)CR與云骨干網(wǎng)打通，實(shí)現(xiàn)快速入云。

b）IPRAN 上互聯(lián)網(wǎng)：IPRAN 的匯聚層設(shè)備就近與IP 城域網(wǎng)的BRAS/SR 通過GE/10GE 互聯(lián)，實(shí)現(xiàn)智享專車等互聯(lián)網(wǎng)專線業(yè)務(wù)的快速開通。

以上業(yè)務(wù)在廣東聯(lián)通都已實(shí)現(xiàn)，滿足不同場(chǎng)景下用戶上網(wǎng)、上云的需求，并取得了不錯(cuò)的經(jīng)濟(jì)效益。

3.3 新型城域網(wǎng)承載網(wǎng)的發(fā)展之路

新型承載網(wǎng)的設(shè)計(jì)目標(biāo)是確定的，即網(wǎng)絡(luò)結(jié)構(gòu)上：核心、匯聚層之間采用Mesh架構(gòu)，接入層采用樹型或環(huán)型，樹型接入PON 網(wǎng)絡(luò)，環(huán)型接入移動(dòng)基站，全網(wǎng)采用SR+EVPN協(xié)議，統(tǒng)一承載5G、寬帶、專線等業(yè)務(wù)。

廣東聯(lián)通已經(jīng)完成廣州、深圳智能城域網(wǎng)的測(cè)試，從結(jié)構(gòu)、協(xié)議等多方面，進(jìn)行了多業(yè)務(wù)承載測(cè)試，結(jié)果證明4G/5G 業(yè)務(wù)、寬帶撥號(hào)、互聯(lián)網(wǎng)專線、組網(wǎng)專線、云專線等業(yè)務(wù)，完全可以在一張網(wǎng)絡(luò)中承載。

隨著集采的推進(jìn)，設(shè)備形態(tài)即將確定，新建的智能城域網(wǎng)將直接滿足5G的承載需求，后期會(huì)整合原有的IPRAN 網(wǎng)絡(luò)，原有的匯聚、接入層能力達(dá)到要求的，直接改掛新核心即可，不符合的通過新建替換，割接原有的業(yè)務(wù)，逐步將IPRAN 消化掉，形成一張統(tǒng)一的移動(dòng)承載網(wǎng)絡(luò)。然后再考慮將169城域網(wǎng)的匯聚層改掛到智能城域網(wǎng)核心，并最終融合。相信，通過一系列可行的優(yōu)化、整合措施，承載綜合業(yè)務(wù)的新型城域網(wǎng)將會(huì)在近幾年實(shí)現(xiàn)。