楊振東（中國聯(lián)通廣東分公司，廣東 廣州 510627）

1 概述

IDC 預測2021 年，40%的業(yè)務數(shù)據(jù)需要在網(wǎng)絡邊緣側分析、處理和存儲，到2025 年，該比例將超過50%。邊緣云作為云網(wǎng)架構中的關鍵一環(huán)，如何賦能5G、固網(wǎng)行業(yè)應用，是整個行業(yè)急需思考和解決的問題。

邊緣云平臺在整個云網(wǎng)架構中的位置非常靈活，可以按需部署，通常部署在匯聚、綜合接入等邊緣機房，可以實現(xiàn)業(yè)務本地化處理，不僅降低了業(yè)務響應時延，提升了用戶感知，同時還能減少大帶寬業(yè)務對傳輸資源的占用，降低成本。由于邊緣云在全國范圍內分布廣泛，因此可以根據(jù)每個地（市）的特性，面向垂直行業(yè)市場，快速推出新業(yè)務。邊緣云已經(jīng)成為支撐運營商進行網(wǎng)絡轉型的關鍵技術，其滿足了超高清視頻、VR/AR、云游戲、云終端、垂直行業(yè)應用等多種業(yè)務發(fā)展的需求。

本文基于現(xiàn)有網(wǎng)絡架構演進，研究部署基于匯聚邊緣云的固移綜合承載的云網(wǎng)系統(tǒng)架構，打造開放的匯聚邊緣云IaaS＋PaaS 平臺，為邊緣云應用開發(fā)者提供豐富的平臺服務能力，從而加速基于邊緣云的創(chuàng)新業(yè)務孵化和商用推進。

2 需求分析

2.1 業(yè)務痛點

以重點業(yè)務視頻點播業(yè)務為例，視頻點播業(yè)務傳輸速率不穩(wěn)定，導致高清片源播放易卡頓，帶來高投訴率；同時隨著用戶數(shù)增長，傳統(tǒng)的部署于中心機房的CDN 服務器帶寬壓力愈來愈大，CDN 流量壓力過大會觸發(fā)高負載限流，部分用戶觀影碼率會被強制降低。為了解決以上痛點，迫切需要做出如下改進。

a）現(xiàn)網(wǎng)提供端到端的傳輸速率和時延支撐能力，重點關注RAN 側網(wǎng)絡指標保障，藍光/至臻片源速率不低于4 Mbit/s，4K 片源速率不低于24 Mbit/s，傳輸時延需要大幅壓縮，上述傳輸速率和時延將直接影響視頻點播卡頓率指標。

b）支撐能力驗證完成后，建設能落地推廣。整個云網(wǎng)架構能實現(xiàn)5G時代規(guī)模應用。

除視頻點播之類的靜態(tài)業(yè)務外，部分動態(tài)業(yè)務也適合部署在邊緣云，比如云游戲、視頻直播等。其中，云游戲的下行數(shù)據(jù)以視頻流為主，通常對傳輸速率和時延要求較高，上行數(shù)據(jù)則以用戶的游戲操控信息為主，對時延要求較高?，F(xiàn)網(wǎng)需要提供端到端的高速率和低時延支撐能力，以游戲“王者榮耀”為例，建議帶寬為10～15 Mbit/s，加載業(yè)務后RTT小于40 ms，考慮偶爾發(fā)生大延時（抖動）后RTT 小于80 ms。而對于實時視頻（QQ/微信），其特征為多鏈路實時上傳，實時下載，對網(wǎng)絡性能要求較苛刻。受限于網(wǎng)絡環(huán)境，其編解碼指標通常設置較低（比如15FPS），以減輕對網(wǎng)絡的依賴。

2.2 業(yè)務預期規(guī)模

以騰訊視頻為例，付費用戶已超過1億，2020年視頻點播流量帶寬消耗較2019年有數(shù)倍增長，然而無論是固定網(wǎng)絡還是移動網(wǎng)絡，超過90%的用戶仍使用高清（720P）、標清（480P）等分辨率，藍光（包括HDR至臻和4K）播放量通常不超過10%，有很大增長潛力。

對于云游戲，2020 年國內外多家公司已發(fā)布其云游戲平臺，2021 年業(yè)界迎來云游戲的一個高速推廣期。Market Watch 預測，2025 年云游戲市場規(guī)模將達到近1 000 億元。邊緣云的高速率、低時延、邊緣計算等特性將進一步加速云游戲的推廣。

2.3 調度模式

以騰訊視頻為例，其業(yè)務調度邏輯如下：全局服務調度系統(tǒng)GSLB、認證鑒權服務器和大容量文件緩存服務器都部署在運營商核心機房，業(yè)務交互流程如圖1所示。

圖1 業(yè)務應用調度邏輯

a）終端用戶訪問業(yè)務應用域名，向智能調度系統(tǒng)GSLB請求下載視頻業(yè)務服務器的地址。

b）調度服務器和認證服務器通信，驗證用戶合法性。驗證通過后，根據(jù)終端用戶發(fā)送的調度請求算出最近的CDN 緩存節(jié)點，并向用戶反饋最優(yōu)的業(yè)務應用服務器IP地址。

c）用戶向CDN 緩存節(jié)點視頻業(yè)務應用服務器發(fā)起下載請求。

d）緩存節(jié)點視頻業(yè)務應用服務器響應用戶并建立下載鏈接。

e）緩存節(jié)點業(yè)務應用服務器向調度系統(tǒng)確認，完成下載鏈接建立。

由于視頻點播業(yè)務請求經(jīng)過的網(wǎng)絡設備多，下載速率和時延不穩(wěn)定。邊緣云方案將CDN 緩存服務器下沉到匯聚機房，并采用云化方式部署，實現(xiàn)了計算存儲能力的彈性伸縮，改善了速率時延，提升了用戶體驗。

3 面向匯聚邊緣云的固移綜合承載云網(wǎng)架構

本次匯聚邊緣云試點項目在10 萬4G 移網(wǎng)用戶和近3 萬固網(wǎng)寬帶用戶中進行了上量測試，測試結果對2C2H邊緣云業(yè)務部署有很大指導意義。

3.1 云網(wǎng)架構部署技術方案

CDN 內容源下沉之前，按照傳統(tǒng)技術方案，CDN服務器位于省市核心機房，移網(wǎng)和固網(wǎng)用戶訪問內容源傳輸跳數(shù)較多，如圖2所示。傳統(tǒng)核心云集中部署，往往跨省、跨地（市）調用計算和存儲資源，訪問距離長、跳數(shù)多，移網(wǎng)數(shù)據(jù)業(yè)務承載橫跨3 張網(wǎng)（本地UTN網(wǎng)、本地承載網(wǎng)和骨干承載網(wǎng)），轉接層級達到7～9級，對省內和骨干傳輸和數(shù)據(jù)網(wǎng)絡帶寬資源是一個極大的開銷，而且極易造成網(wǎng)絡擁堵。網(wǎng)絡擴容調整涉及總部、省分、地（市）等多個環(huán)節(jié)，業(yè)務響應速度慢。上層業(yè)務受傳送網(wǎng)絡質量和擁塞影響，存在丟包、抖動不可控等問題，訪問速率受限，影響用戶體驗。

圖2 原有CDN部署拓撲圖

CDN 內容源下沉之后，CDN 服務器位于地（市）本地網(wǎng)傳輸匯聚機房，大幅壓縮傳輸層級（見圖3）。

圖3 面向固移綜合承載的匯聚邊緣云部署拓撲圖

運營商在本地網(wǎng)的傳輸匯聚節(jié)點部署輕量級的邊緣云，將邊緣云的IaaS 和PaaS 能力向第三方開放，由第三方在邊緣云部署各類應用，移網(wǎng)和固網(wǎng)流量在邊緣云進行卸載，就近訪問第三方應用內容，提升用戶體驗，打造新的業(yè)務合作模式。匯聚層邊緣云服務范圍通常在10～30 km 以內，在人口密集城區(qū)，邊緣云服務范圍較小，在郊區(qū)服務范圍較大，由于其部署位置貼近移網(wǎng)和固網(wǎng)用戶，速率、時延、抖動、卡頓等影響用戶感知的指標可大幅優(yōu)化。匯聚邊緣云和接入網(wǎng)實現(xiàn)云網(wǎng)協(xié)同，發(fā)揮云網(wǎng)一體的優(yōu)勢，滿足低時延業(yè)務的需求，為用戶帶來更豐富、更優(yōu)質體驗的產(chǎn)品和服務。匯聚邊緣云與核心云協(xié)作，匯聚邊緣云作為傳統(tǒng)核心云的延伸，貼近用戶提供本地場景感知的處理，而核心云具有更強的計算和存儲能力，可提供全局的集中控制和存儲能力。

在匯聚邊緣云部署固移綜合承載網(wǎng)絡，很好地滿足了邊緣云接入、安全、計費、QoS保障等方面的需求。UP（移網(wǎng)核心網(wǎng)用戶面）和MSG-U（多業(yè)務匯聚網(wǎng)關用戶面）在邊緣云同步部署，移網(wǎng)及固網(wǎng)所有業(yè)務在匯聚節(jié)點由MSG-U 統(tǒng)一接入。移網(wǎng)業(yè)務網(wǎng)關采用分布式部署，將UP下沉至匯聚節(jié)點，通過MSG-U接入邊緣云的內容源或互聯(lián)網(wǎng)。CP（移網(wǎng)核心網(wǎng)控制面）集中部署，負責全省移動業(yè)務控制。固網(wǎng)轉控分離，由MSG-U 統(tǒng)一轉發(fā)，控制層由全省或地（市）集中部署的MSG-C（多業(yè)務匯聚網(wǎng)關控制面）統(tǒng)一負責。

中國聯(lián)通首個基于固移綜合承載的匯聚邊緣云試點節(jié)點部署在廣州珠江廣場匯聚機房，該機房附近基站覆蓋高校、工廠、市場、居民區(qū)，騰訊視頻的受眾用戶面廣。主要部署設備說明如下。

a）邊緣云服務器：虛擬化平臺采用VMware6.5 版本，云主機部署CDN緩存應用，操作系統(tǒng)為centos6.5。

b）多業(yè)務匯聚網(wǎng)關用戶面MSG-U 由現(xiàn)網(wǎng)BRAS軟件升級。

（a）MSG-U 與UP 直連，利用NAT 功能，將移網(wǎng)用戶私網(wǎng)地址轉換為公網(wǎng)地址指定標識段，MSG-C 部署于核心機房。

（b）MSG-U與采集機直連，獲取用戶溯源信息。

（c）MSG-U 與匯聚邊緣云服務器直連，將騰訊視頻業(yè)務流量進行本地卸載。

（d）MSG-U 與CR 連接，承載固移用戶訪問公網(wǎng)的流量。

c）核心網(wǎng)控制面CP：GW-C 位于核心機房，GWC 包括SGW-C 和PGW-C，分別與現(xiàn)網(wǎng)MME、CG、DRA、OCS、GW-U和取號平臺等網(wǎng)元對接。

d）核心網(wǎng)用戶面UP：UP（xGW-U）位于匯聚機房，xGW-U 包括SGW-U 和PGW-U，分別與GW-C、MSG-U、UTN等對接。

e）騰訊全局業(yè)務調度系統(tǒng)GSLB：將珠江廣場匯聚邊緣云節(jié)點IP 加入白名單；修改調度系統(tǒng)配置，將移網(wǎng)用戶源IP 為指定標識段的訪問請求分配到珠江廣場邊緣云CDN進行處理。

f）騰訊調度系統(tǒng)將該MSG-U 服務的固網(wǎng)寬帶用戶源IP 為指定標識段的訪問請求，分配到珠江廣場匯聚邊緣云節(jié)點進行處理，固網(wǎng)寬帶用戶直接從匯聚邊緣云節(jié)點獲取業(yè)務內容。

3.2 割接測試方案

本次移網(wǎng)部分，測試范圍包含49 個站點，其中宏站29 個，室分20 個。根據(jù)TAC 和LAC 邊界一致性要求，需新建2個TAC，本次割接分為3個批次，均順利完成，路測各項指標均正常，如圖4所示。本次固網(wǎng)部分的測試僅涉及機房內施工和數(shù)據(jù)配置修改。

圖4 匯聚邊緣云移網(wǎng)測試站點圖

4 固移綜合承載云網(wǎng)架構業(yè)務測試分析

4.1 移網(wǎng)測試結果

本次匯聚邊緣云移網(wǎng)測試分批割接49個基站，本地加漫游4G用戶逾10萬戶，測試時長1個月。期間運營商客服部門和騰訊視頻業(yè)務團隊均未收到割接站點范圍內用戶批量投訴，充分驗證了匯聚邊緣云技術方案的可行性和穩(wěn)定性。如圖5所示，CDN下沉到匯聚機房邊緣云后，端到端RTT時延由65 ms降低到24 ms，RTT時延降低50%以上。

圖5 移網(wǎng)測試主要結果對比

騰訊視頻業(yè)務最關鍵2項指標為loading時長和無緩沖率，本次測試邊緣云CDN節(jié)點與核心機房CDN節(jié)點中位參數(shù)相比，loading 時長減少了10.8%，無緩沖率由96.49%提升至97.27%。

根據(jù)運營商后臺分析發(fā)布的小區(qū)卡頓率的數(shù)據(jù)，測試區(qū)域騰訊視頻卡頓率由6.7%下降至5.0%，改善效果明顯。

4.2 固網(wǎng)測試結果

本次匯聚邊緣云固網(wǎng)測試涉及8 個C 類IP 地址段，約2.7 萬個寬帶用戶賬號，騰訊視頻每日峰值播放量約10萬次，測試時長為2.5個月。

如圖6所示，本次騰訊視頻業(yè)務測試，邊緣云CDN節(jié)點與中心云CDN 節(jié)點的業(yè)務感知統(tǒng)計數(shù)據(jù)相比，卡頓率降低了35%，每小時緩沖時長降低了68%，每小時緩沖次數(shù)降低了65%。從結果可以看出，匯聚邊緣云節(jié)點能顯著提升用戶體驗。

圖6 固網(wǎng)測試主要結果對比

橫向與4G移網(wǎng)測試結果對比，固網(wǎng)和移網(wǎng)測試指標均有改善，其中固網(wǎng)改善效果更好。需說明的是，由于5G的速率更高，其改善效果會比固網(wǎng)寬帶的效果更好。同時，固移融合的邊緣云還可以提升邊緣節(jié)點的緩存和計算效率，減少多個節(jié)點（對比固移分離的邊緣云節(jié)點）之間重復的緩存內容刷新，提升了整體運營效率。

4.3 測試結果延伸

視頻點播類業(yè)務由于熱點效應，對邊緣云視頻應用的基礎播放數(shù)有一定需求，當每日播放次數(shù)大于10萬次，逆推基站站點數(shù)為100～150 個時，指標改善效果更好，因此，建議將邊緣云部署于匯聚機房。同時，由于固移用戶均可訪問匯聚邊緣云視頻應用，隨著用戶數(shù)的增加，進一步提升了熱點視頻內容的命中率，提升了匯聚邊緣云的運營效益。

對于如騰訊視頻之類的大體量存量業(yè)務，匯聚邊緣云還可以減輕匯聚節(jié)點以上網(wǎng)絡和骨干CDN 的峰值流量壓力。

對于如云游戲、實時直播、云終端之類的新興業(yè)務或動態(tài)業(yè)務，從匯聚邊緣云獲得的性能提升效果更為直接，比如時延顯著降低等。

4.4 運營商部署建議

運營商可以根據(jù)業(yè)務發(fā)展需要，在現(xiàn)有智能城域網(wǎng)架構基礎上進一步演進，部署“面向匯聚邊緣云的固移綜合承載云網(wǎng)架構”，支撐業(yè)務高質量發(fā)展。

4.4.1 部署條件成熟

現(xiàn)有網(wǎng)絡已啟動面向5G 業(yè)務為主的融合承載的新型智能城域網(wǎng)絡部署。5G SA 核心網(wǎng)已實現(xiàn)商用部署。

運營商核心網(wǎng)采用集中采購商務模型，為靈活部署邊緣云提供了條件。5G UPF集采統(tǒng)一按流量收費，不按硬件收費。

4.4.2 部署策略

建議運營商在城域網(wǎng)匯聚層以上實現(xiàn)固、移融合，由智能城域網(wǎng)綜合承載。4G/5G 核心網(wǎng)UP 下沉到匯聚邊緣云，與MSG-U 共機房部署。在高流量區(qū)域，匯聚邊緣云連片部署，實現(xiàn)邊緣云廣域覆蓋，支持4G/5G/政企/寬帶多業(yè)務訪問匯聚層邊緣云。相較于傳統(tǒng)的核心CDN 節(jié)點方案，匯聚邊緣云節(jié)點數(shù)量較多，考慮到運營商的利潤和互聯(lián)網(wǎng)應用的成本的敏感性，建議匯聚邊緣云節(jié)點優(yōu)先連片覆蓋熱點城區(qū)，再逐步向郊區(qū)延伸。

5 業(yè)務展望

運營商接下來可聯(lián)合大型OTT 進行業(yè)務孵化和產(chǎn)品打磨，大幅提升個人業(yè)務和垂直行業(yè)的業(yè)務體驗，有望打造業(yè)務增長新藍海，帶來千萬元甚至億元以上收入。目前靜態(tài)視頻（視頻點播）、動態(tài)視頻、云游戲、VR/AR、云終端和垂直行業(yè)應用等需求較大。這些業(yè)務均需低時延、大帶寬、高穩(wěn)定等網(wǎng)絡共性能力，該能力提升可通過本方案實現(xiàn)。

匯聚邊緣云與基站側邊緣云在應用場景上可實現(xiàn)互補，匯聚邊緣云特別適用于業(yè)務遍及全國的大型OTT（比如各種視頻、游戲、VR/AR）客戶。匯聚邊緣云同時支持固移用戶，契合大型OTT 業(yè)務發(fā)展需求（騰訊視頻50%流量來自家庭寬帶）。

運營商初期可與大型OTT 合作，后續(xù)可逐步引入更多OTT 入駐匯聚邊緣云，提升匯聚邊緣云資源利用率，進而提升收入和運營效益。運營商通過云、網(wǎng)、邊、端、業(yè)緊密協(xié)同，提升議價能力、附加值、利潤率和客戶黏性。

6 結束語

本文分別從業(yè)務需求分析、系統(tǒng)架構研究、現(xiàn)網(wǎng)部署、規(guī)模用戶測試對比、后續(xù)應用演進等角度入手，對5G 時代面向匯聚邊緣云的固移綜合承載云網(wǎng)架構的部署和商用進行了分析和展望，得出了相關結論，為規(guī)劃建設和規(guī)模商用提供了較為科學的決策依據(jù)。