王友祥，陳 杲，黃 蓉（中國聯(lián)通研究院，北京 100176）

0 前言

隨著云計算技術的發(fā)展，“中心云+邊緣云”的分布式云架構開始嶄露頭角，云架構從中心向邊緣延伸，逐步在網(wǎng)絡邊緣側分布式部署云計算服務是未來計算形態(tài)的發(fā)展趨勢，而且云邊協(xié)同成為分布式云的核心，增強云邊協(xié)同能力是計算資源分布式發(fā)展的核心［1］。為了保障電信運營商和云服務商在云邊協(xié)同應用服務方面的能力，中國信息通信研究院制定了一系列標準，對邊緣云及云邊協(xié)同能力提出了具體的技術要求［1］。例如，根據(jù)中國信息通信研究院聯(lián)合電信運營商、云服務商和邊緣計算廠商共同制定的《云計算與邊緣計算協(xié)同參考框架》（下面簡稱協(xié)同框架）的總結，云邊協(xié)同主要包括云計算和邊緣計算節(jié)點在基礎設施、平臺和應用3個層面上的協(xié)同，同時還需要考慮機房、運維、安全等方面的協(xié)同［2］。由于應用層面的協(xié)同是指云端SaaS 與邊緣SaaS 之間的應用服務協(xié)同，其實現(xiàn)與具體的業(yè)務屬性相關，而且邊緣計算平臺作為基礎資源管理平臺一般不會深度參與應用業(yè)務邏輯處理，所以本文對于應用層面的協(xié)同不進行深入討論分析，僅僅從基礎設施和平臺這2 個層面來分析討論云邊協(xié)同技術的發(fā)展現(xiàn)狀和相關標準進展。

1 基于云原生技術的邊緣基礎設施

2020 年國內三大運營商都開始進入5G 網(wǎng)絡的規(guī)模建設部署階段。與之前移動通信網(wǎng)絡（2G/3G/4G）不同，運營商在5G 時代不僅要建設部署一個巨大網(wǎng)絡，更重要的是與各行各業(yè)深度融合，推動垂直行業(yè)數(shù)字化轉型，才能真正實現(xiàn)“4G 改變生活，5G 改變社會”的目標和期望。而實現(xiàn)這個目標就需要大規(guī)模部署MEC 節(jié)點來打造支持大帶寬、大規(guī)模復雜連接的邊緣網(wǎng)絡基礎設施，利用邊緣網(wǎng)絡能力賦能行業(yè)應用，為垂直行業(yè)提供敏捷開放的邊緣網(wǎng)絡基礎架構和融合的智能邊緣服務網(wǎng)絡。

根據(jù)中國信息通信研究院提出的協(xié)同框架總結，基礎設施層面的協(xié)同主要指云端IaaS與邊緣IaaS之間需要實現(xiàn)計算、網(wǎng)絡、存儲方面的資源協(xié)同［1］。隨著5G、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等信息技術的融合發(fā)展，互聯(lián)網(wǎng)智能終端設備類型和數(shù)量急劇增加，邊緣智能、邊緣實時計算、邊緣分析等新型業(yè)務不斷涌現(xiàn)，邊緣計算規(guī)模和業(yè)務復雜度正在經(jīng)歷從量變到質變的過程，這對邊緣計算的資源利用率、效率、可靠性等有了更高的要求。運營商需要高效管理邊緣各種異構終端設備和異構資源，包括不同硬件架構和規(guī)格、不同通信協(xié)議和操作系統(tǒng)，同時邊緣網(wǎng)絡還需要支持云邊協(xié)同和邊邊協(xié)同通信。為了實現(xiàn)基礎設施層面的云邊協(xié)同，云原生技術應運而生，下面進行詳細說明。

1.1 云原生邊緣計算平臺支持多云和混合云

多云和混合云成為未來主流的企業(yè)IT 基礎設施架構［3］，而且企業(yè)IT 運營模式已經(jīng)由以基礎架構為中心轉變?yōu)橐云髽I(yè)應用為中心，即企業(yè)業(yè)務應用程序根據(jù)需要來尋找“混合（多）云最佳部署執(zhí)行地點”，例如混合（多）云部署不再局限于本地傳統(tǒng)數(shù)據(jù)中心（私有云）、公有云，逐漸向邊緣云擴展，企業(yè)應用的某些部分將在邊緣節(jié)點上執(zhí)行。電信運營商的混合（多）云包括運營商自營公有云及轉售第三方公有云、IT 云、通信云和邊緣云［4］。對電信運營商而言，如何打造邊緣計算基礎設施成為一個熱門研究課題。一方面，對內要實現(xiàn)運營商業(yè)務部門、省分公司邊緣基礎設施云化，并加速提升云網(wǎng)一體化服務能力；另一方面，對外要實現(xiàn)創(chuàng)新產品孵化，擴展5G 垂直行業(yè)應用，支持在不同運營商邊緣節(jié)點以及多個公有云上統(tǒng)一部署應用。所以筆者認為云邊協(xié)同需要支持統(tǒng)一協(xié)調混合（多）云和MEC 的資源，邊緣云將成為混合云戰(zhàn)略方案，運營商對外需要全面提升面向公有云、私有云和混合云的云網(wǎng)一體化服務能力，而且云邊端協(xié)同需要在云端提供標準化的接口、管控能力和云服務、云資源的接入能力，實現(xiàn)統(tǒng)一的交付、運維和管控標準，形成“云邊端一體”的基礎設施。

以Kubernetes 為基礎的云原生技術是隨著云生態(tài)的發(fā)展而逐漸提煉出來的一系列技術、實踐和方法論的集合，其核心價值之一是通過統(tǒng)一的標準實現(xiàn)在任何基礎設施上提供和云上一致的功能和體驗，同時提升資源利用率、分布式系統(tǒng)的彈性擴展和可靠性等能力。過去幾年，業(yè)界致力于使用云原生構建底層架構，包括利用容器及編排技術解決開發(fā)環(huán)境一致性問題，構建管理便捷的底層資源系統(tǒng)，使用戶能夠更快地構建和部署云原生應用程序。而且Kubernetes 是唯一被幾乎所有主流云計算供應商（亞馬遜、微軟、阿里和騰訊等）同時支持的分布式應用平臺。借助云原生技術，可以實現(xiàn)云邊端一體化的應用分發(fā)，在網(wǎng)絡邊緣和海量端設備上完成大規(guī)模應用交付、運維和管控，支持邊緣應用在外部云端（公有云、私有云和混合云）和邊緣節(jié)點之間的“無縫遷移”，還支持其在不同邊緣節(jié)點之間的遷移。同時，依托云原生領域強大的社區(qū)和廠商支持，云原生對異構資源的適用性顯著提高，例如已經(jīng)能夠支持多種CPU 架構（x86-64/arm/arm64 等）和通信協(xié)議，采用以Kubernetes 為基礎的云原生架構與關鍵技術，可以獨立運行在物理機/虛擬機集群，托管在企業(yè)私有云/公有云上，并被絕大多數(shù)公有云服務商同時支持，解決硬件平臺異構和大量邊緣節(jié)點資源有效管理的問題。為了增強邊緣計算在運維和管理方面的能力，國內外廠商都紛紛推出基于云原生計算的邊緣計算平臺，例如ONF Aether、華為KubeEdge和阿里OpenYURT等。

1.2 云原生邊緣網(wǎng)絡使能云網(wǎng)融合

隨著5G 的部署、容器和微服務技術的應用，運營商網(wǎng)絡最終將演變成為云原生網(wǎng)絡，未來邊緣網(wǎng)絡上將部署大量運營商以及第三方的VNF/APP，采用云原生技術將成為邊緣網(wǎng)絡發(fā)展趨勢。而且在可預見的未來，物理、虛擬和云原生網(wǎng)絡將需要共存，關鍵服務需要跨現(xiàn)代和傳統(tǒng)網(wǎng)絡創(chuàng)建［5］。以5G MEC 為例，網(wǎng)絡對云邊協(xié)同的支持包括動態(tài)接受業(yè)務需求，自動下發(fā)網(wǎng)絡配置，保證UPF 的自動部署和在線擴縮容（UPF CNF 增加Pod 數(shù)量來保障性能需求）。業(yè)界正在進行邊緣計算互相網(wǎng)絡（ECI——Edge Computing Interconnect）的研究，包括規(guī)劃一個統(tǒng)一管理的邏輯ECI網(wǎng)絡（Overlay網(wǎng)絡），支持MEC業(yè)務的快速部署和網(wǎng)絡切片部署［6］。

從云網(wǎng)融合的角度來看，云網(wǎng)融合不僅僅是一種云產品的類型，而是打造一種面向企業(yè)客戶的統(tǒng)一平臺和入口，將電信運營商的網(wǎng)絡能力和企業(yè)的產品技術能力相結合，更好地支撐云計算基礎業(yè)務的運行，幫助企業(yè)上云，推動行業(yè)數(shù)字化轉型。統(tǒng)一平臺和入口需要從標準層面上統(tǒng)合網(wǎng)絡標準和MEC 標準，例如ETSI MEC 已經(jīng)決定不對Mp2 接口做標準化定義，由設備商自行實現(xiàn)，但是對于運營商聯(lián)合開發(fā)可互操作電信級的MEC 平臺，需要統(tǒng)一實現(xiàn)參考的標準［7-8］。目前標準組織ETSI MEC 和3GPP 正在利用現(xiàn)有的相關標準規(guī)范制定統(tǒng)一的邊緣計算標準，諾基亞、沃達豐和西班牙電信等ETSI MEC 和3GPP 標準組織的成員單位和中國聯(lián)通在2020 年7 月底發(fā)布了新的ESTI白皮書［9］，目的是整合標準，推動邊緣計算的規(guī)模部署。白皮書分析總結了邊緣計算相關標準組織的價值主張和研究成果，以及如何在部署時整合利用這些標準。同時，白皮書還重點分析了邊緣計算標準規(guī)范在進行邊緣計算與移動網(wǎng)絡結合部署時的作用，提出了支持ETSI MEC 與3GPP 標準，而且與3GPP TS 23.558 附錄C［10］中定義的EDGEAPP 架構保持一致的協(xié)同移動邊緣云架構，如圖1所示。

圖1 3GPP和ESTI MEC標準規(guī)范支持的協(xié)同移動邊緣云架構

基于上述協(xié)同框架，白皮書還提出了包括基于DNS 的邊緣業(yè)務發(fā)現(xiàn)、基于EEC（Edge Enabler Client）的邊緣業(yè)務發(fā)現(xiàn)和EEC+ETSI MEC 管理和編排的3種部署方案?？傊娦胚\營商在邊緣計算發(fā)展中需要充分發(fā)揮具備邊緣網(wǎng)絡出口和成千上萬局端機房的優(yōu)勢，將公有云服務向邊緣網(wǎng)絡側延伸，使能云網(wǎng)協(xié)同業(yè)務，打造出一個具備云網(wǎng)融合的邊緣計算系統(tǒng)。例如作為最早規(guī)劃建設MEC 平臺的電信運營商，中國聯(lián)通打造的“CUC-MEC”邊緣智能業(yè)務平臺，已經(jīng)形成了一個包括完整業(yè)務平臺和運營平臺的“云網(wǎng)邊端業(yè)”一體的可商用MEC 系統(tǒng)。中國聯(lián)通已經(jīng)在廣州、深圳等9 個城市完成全國首張規(guī)模MEC 商用網(wǎng)絡建設，使能MEC業(yè)務接入［8］。

2 基于云原生技術的邊緣PaaS平臺

根據(jù)中國信息通信研究院對協(xié)同框架的總結，平臺層面的協(xié)同主要指云端PaaS 與邊緣PaaS 之間需要實現(xiàn)數(shù)據(jù)協(xié)同、智能協(xié)同、服務編排協(xié)同和部署協(xié)同。在邊緣計算的技術體系中，邊緣PaaS 提供邊緣計算服務框架、運營環(huán)境API和應用的管理。隨著Kubernetes的普及，越來越多的上層系統(tǒng)開始搭建在Kubernetes底座之上，包括CI/CD、PaaS 和Serverless 等。一方面，基于云原生技術可以將云端PaaS 逐步延伸到邊緣，在同一個平臺實現(xiàn)CT 和IT 融合，構建對外提供統(tǒng)一服務能力的開放PaaS 平臺。另一方面，基于Kubernetes的各種資源，企業(yè)只需要很少的開發(fā)工作就可以實現(xiàn)一個以應用為中心的基于Kubernetes 的容器PaaS 平臺。例如PaaS 平臺需要提供的基礎軟件服務（MySQL、Redis、kafka 等）可以通過Kubernetes 的Service catalog 來集成。目前電信運營商和云服務商都積極采用云原生技術進行邊緣側PaaS 平臺建設，希望通過統(tǒng)一API 接口將服務能力開放到應用側，提升邊緣應用落地能力［1］。中國移動于2020 年4 月向LF networking 貢獻了XGVela 項目。XGVela 是一個專注于5G 網(wǎng)絡功能和相關應用的開放式電信PaaS 平臺，合作伙伴包括中國聯(lián)通、中國電信、中興通訊、愛立信和北京郵電大學等單位［12］。

雖然云原生PaaS 平臺是未來企業(yè)業(yè)務的核心競爭力的底層支撐。企業(yè)應該將更多的資源和人力投入到業(yè)務相關的研發(fā)上，而不是重復地建設底層基礎設施的輪子［11］。對電信運營商而言，PaaS 平臺對內需要支撐網(wǎng)絡云化轉型，對外要提供面向公有云、私有云和混合云的云網(wǎng)一體化服務能力。所以，電信運營商在采用云原生技術構建PaaS 平臺的同時，還需要考慮如何發(fā)揮移動通信網(wǎng)絡優(yōu)勢，支持5G網(wǎng)絡無線感知能力開放，包括無線網(wǎng)絡信息服務（RNIS——Radio Network Information Services）、基于位置服務（LBS——Location Based Service）、帶寬管理服務等，如何合理劃分融合電信網(wǎng)絡能力和通用能力，提升獲取網(wǎng)絡能力的便利性和快捷性，以及如何實現(xiàn)邊緣節(jié)點間互聯(lián)來提高API 的響應速度和可用性等ICT 能力統(tǒng)一開放相關問題上，真正推動邊緣PaaS 平臺服務能力向場景化服務邁進。

為了解決上述問題，中國聯(lián)通已經(jīng)在LF Edge 的PCEI（Public Cloud Edge Interface）blueprint 中開展相關研發(fā)工作，目的是推動邊緣計算平臺與多個公有云（AWS、阿里云和騰訊云等）的連接能力，完成API的統(tǒng)一和開放，打造電信運營商基于邊緣計算的特色競爭力。同時，中國聯(lián)通參與了由LF Edge Akraino API 子委員會基礎設施工作組（API sub-committee Infrastructure work stream）牽頭組織的Akraino 白皮書的編寫工作［13］。該白皮書定義了使能層（Enabler Layer），其包括應用使能層（Application Enabler）和邊緣使能層（Edge Enabler）2 個子層。根據(jù)各個子層所采用的所有權和運營模式，可以將邊緣使能層實現(xiàn)模式劃分為如圖2所示的4種模式。

模式2 是目前中國聯(lián)通MEC 邊緣云采用的模式，即將邊緣增值服務（VAS——Value Added Service）分為CT增值服務（CT-VAS）和IT增值服務（IT-VAS），統(tǒng)一通過API 網(wǎng)關（API Gateway）實現(xiàn)注冊、上線、鑒權、發(fā)布、流控、下線和計量等服務生命周期管理。實現(xiàn)模式1 被認為是未來演進的模式，如圖3 所示P1 接口（3GPP Interfaces）表示3GPP 定義的網(wǎng)絡接口，邊緣使能層通過封裝P1 接口向上提供運營商邊緣接口P2（Telco Edge APIs），包括RNIS、LBS、本地流量分流（LBO，Local Break-Out）等。應用使能層（Application Enabler）基于P2 接口為邊緣應用提供應用友好的P3接口（End User Application APIs）。

目前邊緣使能層（Enabler Layer）的相關實現(xiàn)方案和詳細的調用流程（Call Flow）正在PCEI 展開積極討論，例如基于華為開源的KubeEdge平臺架構進行實際實現(xiàn)方案的設計［14］。需要注意的是PCEI 的目標是打造通用的中間件，對邊緣計算平臺沒有限定，可以使用KubeEdge或其他邊緣計算平臺。

3 跨運營商的統(tǒng)一邊緣云

從軟件開發(fā)企業(yè)角度來看，開發(fā)和部署應用雖然可以通過云原生技術來適配多云和混合云，但是面對不同電信運營商的不同MEC 平臺，只能采取逐個適配的辦法。對于行業(yè)應用而言，不僅需要云邊無縫切換，還需要跨不同運營商邊緣節(jié)點的互通能力，開發(fā)者希望能夠統(tǒng)一建立邊緣計算平臺的API接口規(guī)范標準，以減少應用在不同運營商平臺之間遷移、管理、安全、優(yōu)化方面的難度。但是目前各個邊緣計算廠家平臺存在較大的差異，導致邊緣應用與邊緣計算平臺（MEP ——MEC Platform）是綁定的，各種邊緣應用需要適配不同的邊緣計算平臺。例如國內三大電信運營商采用的邊緣計算平臺也各不相同，中國移動采用自研的Sigama 平臺，中國聯(lián)通目前采用的邊緣云平臺雖然實現(xiàn)了軟硬件解耦，但是Cloud OS 與MEP 還是同廠家部署［4］。

圖3 邊緣使能層架構示意圖

目前，GSMA OP（Operator Platform）項目目標就是打造全球統(tǒng)一的電信邊緣云，構建面向開發(fā)者的統(tǒng)一PaaS 平臺，提供通用的API 接口，為企業(yè)、開發(fā)者和最終用戶提供跨運營商的全球邊緣計算服務。中國聯(lián)通已經(jīng)與西班牙電信Telefonica、韓國電信Korea Telecom 和澳洲電信Telstra 達成協(xié)議，正在增強多個國際運營商之間平臺互聯(lián)體驗方面展開合作。該項目是GSMA OP項目的一部分，旨在設計一個跨國的MEC平臺解決方案，打造可互操作的GMEC平臺，并制定全球邊緣應用描述子的統(tǒng)一規(guī)范和全球統(tǒng)一的共享邊緣應用庫［15］。限于篇幅，關于GSMA OP 項目、MOM 測試這里不再贅述。MobiledgeX 提出通過標準接口聚合不同電信運營商的邊緣基礎設施，將應用管理和部署到聯(lián)合的運營商電信網(wǎng)絡中的多個邊緣節(jié)點。例如MobiledgeX 已經(jīng)在西班牙電信和德國電信交付和部署了AR多人游戲應用“斯拉夫怪獸的神話戰(zhàn)爭”，驗證了方案的有效性。

MEC 互聯(lián)互通（Inter-MEC）包括公有云和邊緣云、邊緣云之間，以及同一運營商/不同運營商之間的邊緣節(jié)點互聯(lián)互通，主要包括如圖4 所示的3 個層面的互聯(lián)互通。第1個層面的互聯(lián)互通是指計算節(jié)點的互聯(lián)互通，包括同一MEC 系統(tǒng)下邊緣計算節(jié)點之間互聯(lián)互通，以及不同MEC 系統(tǒng)之間的邊緣計算節(jié)點之間互聯(lián)互通。前者已經(jīng)在ETSI MEC 中定義了名為Mp3接口，但是只定義了該接口的功能，沒有進行具體接口規(guī)范定義。后者表示不同運營商之間的計算節(jié)點互聯(lián)互通，其使用范圍和場景更大，目前尚無相關的標準規(guī)范。第2 個層面的互聯(lián)互通是指不同MEC 系統(tǒng)之間的MEC 控制面互通。第3 層面的互聯(lián)互通就是GSMA OPG 定義的MEC 聯(lián)盟（MEC Federation），表示不同電信運營商的MEC 平臺通過GSMA OP 進行互聯(lián)互通。

中國聯(lián)通正在實驗室中引入各種主流開源云原生MEC 平臺，構建5G+MEC 的端到端測試床，實際驗證5G 環(huán)境下Inter-MEC 等核心關鍵技術，開展核心關鍵技術攻關和標準推動等工作。

4 結束語

5G 時代，隨著人工智能的發(fā)展，算力從中心云走向邊緣和終端本身，云、邊、端算力的協(xié)同越來越重要?；谠圃夹g可以打造云邊一體的云原生邊緣基礎設施和云原生邊緣技術平臺?；贕SMA OP平臺可以聯(lián)合多個電信運營商的邊緣計算基礎設施，打造跨電信運營商的統(tǒng)一邊緣云，支持邊緣應用的統(tǒng)一部署交付、運維和管控，促進電信運營商邊緣云在千行百業(yè)規(guī)模商用。但是，從云網(wǎng)邊整個系統(tǒng)來看，還需要實現(xiàn)實時更新，獲取各種可用資源的最新信息，然后基于這些信息為各種邊緣應用實時有效地分配計算、存儲和網(wǎng)絡資源，以滿足邊緣計算的需求和邊緣網(wǎng)絡的時延要求?？傊?，云邊協(xié)同將向云邊端三級算力隨需調度方向發(fā)展，協(xié)同的目的是提高算力資源利用率，網(wǎng)絡將從云網(wǎng)融合走向算網(wǎng)融合，為計算服務提供可信、高效、隨需網(wǎng)絡［16］。

圖4 Inter-MEC互聯(lián)互通技術說明