史庭祥，田會(huì)芹（中興通訊股份有限公司，江蘇 南京 210012）

0 前言

大數(shù)據(jù)、在線交易、電子政務(wù)、網(wǎng)絡(luò)視頻等新興互聯(lián)網(wǎng)業(yè)務(wù)使得數(shù)據(jù)中心進(jìn)入高速增長期，需要提供數(shù)據(jù)中心互聯(lián)（DCI）業(yè)務(wù)，將業(yè)主的多個(gè)數(shù)據(jù)中心，多個(gè)云連接起來，形成邏輯上整體的數(shù)據(jù)中心和云網(wǎng)絡(luò)，滿足多種業(yè)務(wù)和多地?cái)?shù)據(jù)中心交織的情況。此外，軟件定義安全（SDS）方案以虛擬化數(shù)據(jù)中心和租戶維度，提供安全防護(hù)模型，適應(yīng)全新的服務(wù)計(jì)算模式、動(dòng)態(tài)虛擬化管理方式和多租戶共享運(yùn)營模式。

可見，在不考慮應(yīng)用改造為面向業(yè)務(wù)架構(gòu)（SBA）的情況下，云化網(wǎng)絡(luò)需要改造支持多租戶和多數(shù)據(jù)中心的應(yīng)用場景，滿足應(yīng)用多樣性、業(yè)務(wù)靈活部署和資源共享等多方面需求。

1 面向多租戶的云化網(wǎng)絡(luò)架構(gòu)研究

云化網(wǎng)絡(luò)面向多租戶和多數(shù)據(jù)中心（DC）的場景時(shí)，需要給應(yīng)用（租戶）帶來差別化體驗(yàn)，也要為租戶帶來和DC 無關(guān)的無差異服務(wù)，使DC 基礎(chǔ)設(shè)施以云服務(wù)方式售賣。

圖1 示出的是支持多租戶應(yīng)用的跨DC 全局資源的統(tǒng)一管理。

從租戶角度，每個(gè)租戶可以管理各自的資源，資源支持分布在不同資源集群，滿足預(yù)先設(shè)定的業(yè)務(wù)服務(wù)質(zhì)量（SLA）。為此，云化網(wǎng)絡(luò)設(shè)計(jì)要滿足如下要點(diǎn)。

圖1 支持多租戶應(yīng)用的跨DC全局資源的統(tǒng)一管理

a）邏輯隔離的統(tǒng)一硬件資源池。按硬件資源類型不同，劃分不同的資源集群（Resource Cluster），分布在多個(gè)物理DC。為對(duì)全局資源進(jìn)行邏輯隔離，將數(shù)據(jù)中心的資源，定向分配給不同的虛擬化數(shù)據(jù)中心（vDC或PvDC：提供者虛擬化數(shù)據(jù)中心），避免資源的互相占用，影響業(yè)務(wù)的開展。同時(shí)，根據(jù)不同SLA需求劃分各自的PvDC，如非信任域（DMZ）PvDC，一類服務(wù)等級(jí)的PvDC，二類服務(wù)等級(jí)的PvDC，公有云PvDC 等，以便滿足運(yùn)營商或大型企業(yè)租用專有云，超過專有云計(jì)算能力的服務(wù)由公用云服務(wù)；亦或是運(yùn)營商網(wǎng)絡(luò)的部分網(wǎng)元部署在DMZ 域，部分網(wǎng)元部署在高服務(wù)等級(jí)的域。而且PvDC 要支持資源分布在多個(gè)DC，比如控制面和用戶面分離業(yè)務(wù)（CUPS），其控制面和用戶面盡管有相同的SLA，但分布在不同DC。

b）組織vDC 和分配租戶資源。PvDC 不足以支撐復(fù)雜多變的應(yīng)用需求，租戶可能包括多種用戶，每個(gè)用戶包括一種或多種SLA的vDC資源。因此，引入“組織vDC”（OvDC），即滿足一種或多種SLA 的vDC 資源的集合。租戶網(wǎng)絡(luò)在組織vDC 里構(gòu)建，使得租戶的資源和網(wǎng)絡(luò)可以跨在不同物理DC，實(shí)現(xiàn)多種HA 和容災(zāi)場景，而應(yīng)用驅(qū)動(dòng)著vDC靈活部署，通過云管理系統(tǒng)和編排器的統(tǒng)一管理和調(diào)度，實(shí)現(xiàn)差異化SLA 資源的自動(dòng)匹配。

c）跨DC 部署資源。一個(gè)資源集群可以跨DC 部署，好處在于當(dāng)某個(gè)類型的硬件資源不足時(shí)，可以在其他DC 部署擴(kuò)充的新增容量。反過來，資源集群的資源可以在多個(gè)vDC 之間分配，比如2 類vDC 都需要轉(zhuǎn)發(fā)面硬件資源，該資源集群就會(huì)被切割成2個(gè)部分，每個(gè)部分歸屬在一類vDC里。

圖2 示出的是支持多租戶應(yīng)用的跨DC 全局資源的統(tǒng)一管理（vDC跨DC部署）。

圖2 支持多租戶應(yīng)用的跨DC全局資源的統(tǒng)一管理（vDC跨DC部署）

支持多租戶的虛擬化網(wǎng)絡(luò)將為每個(gè)租戶提供更加靈活的資源分配和管理，并實(shí)現(xiàn)多個(gè)租戶之間的業(yè)務(wù)隔離和安全通信。為此，該網(wǎng)絡(luò)的虛擬化管理系統(tǒng)架構(gòu)所包含的組件，橫向劃分3個(gè)資源域。

a）服務(wù)器，存儲(chǔ)和網(wǎng)絡(luò)等資源域（Resource Cluster）：NFV應(yīng)用服務(wù)所需的資源。

b）基礎(chǔ)設(shè)施的管理域（Infrastructure Management Cluster）：管理服務(wù)所需的資源。

c）NFV 應(yīng)用服務(wù)的管理域（NFV Management Cluster）：NFV管理服務(wù)所需的資源。

圖3示出的是支持多租戶的虛擬化資源管理系統(tǒng)架構(gòu)。

支持多租戶的虛擬化管理系統(tǒng)采用Overlay 方式，搭建在已有虛擬化管理系統(tǒng)之上，便于靈活配置，實(shí)現(xiàn)租戶和非租戶2種系統(tǒng)的混合，因而架構(gòu)縱向分為2個(gè)維度。

a）非多租戶方式的虛擬化管理系統(tǒng)。和傳統(tǒng)虛擬化系統(tǒng)一樣，資源管理系統(tǒng)分為2類：服務(wù)器等資源管理器和管理等資源管理器，當(dāng)然也可以是兩者的結(jié)合體。該組件的作用是直接和Hypervisor、虛擬交換機(jī)通信，基于預(yù)設(shè)規(guī)則完成對(duì)虛擬機(jī)分配計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。根據(jù)多種資源集群的設(shè)置情況，資源管理器可以有一個(gè)，也可配置多個(gè)；既可以管理一個(gè)DC 內(nèi)的全部資源，也可以跨DC管理。

圖3 支持多租戶的虛擬化資源管理系統(tǒng)架構(gòu)

b）多租戶方式的虛擬化管理系統(tǒng)。如上述分析的多租戶需求，為在資源集群之上構(gòu)建靈活的PvDC和OvDC，作為各個(gè)租戶分配的虛擬機(jī)的容器，需要構(gòu)建多租戶資源管理器（Res Manager for Multi-tenant）。該組件支持租戶和相關(guān)所需的虛擬機(jī)的創(chuàng)建和隔離，用于租戶的生命周期管理（LCM）的API接口也通過該組件實(shí)現(xiàn)，包括實(shí)例化、伸縮容量等。同時(shí)，應(yīng)用管理器（VNFM）和網(wǎng)元管理系統(tǒng)（EMS）作為一種特殊的租戶形式存在。

2 多租戶網(wǎng)絡(luò)改造方案設(shè)計(jì)實(shí)踐

多租戶網(wǎng)絡(luò)在架構(gòu)組件上和非多租戶的最顯著的區(qū)別在于引入多租戶資源管理系統(tǒng)，和管理多個(gè)虛擬化資源管理系統(tǒng)不同，即使只有一個(gè)虛擬化管理系統(tǒng)，也需要為多租戶場景配置多租戶管理系統(tǒng)。

2.1 案例分析

以某國虛擬化IMS 項(xiàng)目為例，客戶要求采用支持多租戶的VMware 系統(tǒng)為云管理平臺(tái)，因此，多租戶資源管理系統(tǒng)采用vCloud Director-SP 8.2（vCD）。虛擬化IMS 系統(tǒng)作為應(yīng)用服務(wù)部分，包括的VNF 或組件有vCSCF、vCG、vMMTel、vSBC、VNFM、EMS。支撐這些應(yīng)用，將每個(gè)物理DC 的資源集群分為3 個(gè)PvDC，即NFV管理域（PvDC NFV MGMT）、NFV 資源域（PvDC Res）、資源保留域（RP PvDC）。

OvDC 也分為3 個(gè)，和PvDC 一一對(duì)應(yīng)：OvDC-NFV Mgn、OvDC-vIMS、OvDC-vSBC。劃分的依據(jù)是應(yīng)用服務(wù)組件的不同屬性，如NFV 管理域中組件（如VNFM和EMS 等）所需的硬件資源不需要很強(qiáng)的性能，應(yīng)用服務(wù)本身的組件如vCSCF、vCG、vMMTel 和vSBC 的應(yīng)用場景不同，前3 個(gè)組件屬于控制面，置于NFV 資源域，而vSBC 包括數(shù)據(jù)轉(zhuǎn)發(fā)面的性能需求，因而單獨(dú)劃分出“資源保留域”，通過固定分配資源的方式確保vSBC虛擬機(jī)獨(dú)占相應(yīng)的資源。由此可見，云化網(wǎng)絡(luò)在電信領(lǐng)域也有多租戶場景。

圖4示出的是多租戶網(wǎng)絡(luò)改造方案設(shè)計(jì)實(shí)踐。

圖4 多租戶網(wǎng)絡(luò)改造方案設(shè)計(jì)實(shí)踐

從該案例可知，多租戶網(wǎng)絡(luò)的實(shí)際部署，包括2部分需求。

a）部署需求。按照重建方式，所有的網(wǎng)元實(shí)體，包括VNFM、EMS、vCSCF、vCG、vMMTel、vSBC 等都需要在多租戶資源管理平臺(tái)之上重新部署，這些VNF 或組件依據(jù)不同的特性需求部署在不同OvDC 資源池內(nèi)。

b）組網(wǎng)需求。按網(wǎng)元的操作維護(hù)管理、VNF 生命周期管理和VNF之間的關(guān)系，劃分為3部分網(wǎng)絡(luò)。

（a）VNFM-VIM Network：VNF 管理器和虛擬化資源管理平臺(tái)的接口網(wǎng)絡(luò)，后者在多租戶需求下是vCD，通過vCD 提供API接口實(shí)現(xiàn)虛擬機(jī)自動(dòng)部署等虛擬化特性，獲取多租戶環(huán)境。

（b）VNFM-VNF Network：VNF 管理器和VNF 的接口網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)VNF生命周期管理功能。

（c）Operation Network：操作維護(hù)網(wǎng)絡(luò)，包括幾類接口：EMS 和VNF、EMS 和VNFM、Web 客戶端和VNFM、Web客戶端和EMS。

2.2 應(yīng)用初始化

每個(gè)租戶的應(yīng)用，由一個(gè)或多個(gè)VNF 組成，把每個(gè)VNF 部署稱為“應(yīng)用初始化”。非多租戶場景時(shí)，通過虛擬化資源管理系統(tǒng)（VMware 命名為vCenter）實(shí)現(xiàn)VNF 的手工部署；相應(yīng)的，多租戶場景下，多租戶虛擬化資源管理系統(tǒng)vCD提供接口支撐VNFM 初始化VNF和運(yùn)行VNF 實(shí)例，且支持自動(dòng)部署方式，此外，vROPS提供告警和性能統(tǒng)計(jì)接口。

和安裝應(yīng)用軟件類似，初始化VNF 所需的全部信息包括：VNF 安裝包，VNF 鏡像文件，VM 信息（描述計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源信息），部署指令文件和運(yùn)行策略，以及VNF 相關(guān)的組網(wǎng)信息等。VNFM 和vCD 的接口定義，決定用什么方式來加載VNF 安裝包，實(shí)現(xiàn)應(yīng)用初始化。IT 和CT 應(yīng)用有所不同，加載VNF 安裝包有2種方法（見圖5）。

圖5 加載VNF安裝包的方法

方法1 源于IT 領(lǐng)域常用的“開放虛擬化格式”（OVF），按ETSI DMTF 的定義，OVF 是一種軟件包標(biāo)準(zhǔn)，支持開放、安全、高效和可擴(kuò)展的格式，用于運(yùn)行在虛擬化系統(tǒng)上的分布式軟件包。而VNF 有描述符VNFD，這是部署VNF 的模板，描述VNF 的部署和運(yùn)行行為需求。方法1包括以下步驟。

a）VNFD映射成OVFD，即2種描述符的轉(zhuǎn)換。

b）VNFM 構(gòu) 建OVF Package，包 括XML 格 式 的OVFD，VNF鏡像文件等。

c）VNFM把OVF Package發(fā)給vCD。

d）vCD 解析OVF Package，調(diào)用REST API 接口通過vCenter實(shí)現(xiàn)VNF部署。

由于vCD 也支持外部作為Restful Web 客戶端，VNFM 初始化應(yīng)用就有第2 種方法：方法2 常用于CT領(lǐng)域。OVF作為IT領(lǐng)域常用方法，主要用于VM 部署，但對(duì)CT 定制支持不多。另一方面，ETSI 以TOSCA 格式定義VNFD，TOSCA（云應(yīng)用拓?fù)渚幣艠?biāo)準(zhǔn)）由OASIS組織制定，開源組織中廣泛使用，大部分廠商參與TOSCA 標(biāo)準(zhǔn)制定。因此，基于REST API 的方法2 非常值得討論和采用。VNF 初始化之前，驅(qū)動(dòng)vCD 加載VNF安裝包的過程包括以下步驟。

a）VNFM獲取包括VNFD的VNF Package。

b）VNFM解析包括VNFD的VNF Package。

c）VNFM把VNFD翻譯成Json文件并保存。

d）VNFM 通過REST API接口，請(qǐng)求vCD 存儲(chǔ)鏡像文件包，這步包括許多Restful 接口消息，如請(qǐng)求創(chuàng)建OVF Package、獲取上傳的URL、上傳OVFD、獲取另一個(gè)上傳的URL、上傳VM 鏡像文件、監(jiān)控和獲取上傳結(jié)果。

采用方法2，VNFM 對(duì)VNF 安裝包加載和后續(xù)的實(shí)例化有更大的自主權(quán)，避免直接加載OVFD 帶來和vCD 的理解差異，某國虛擬化項(xiàng)目采用該方法成功實(shí)現(xiàn)分鐘級(jí)自動(dòng)部署。

3 面向多租戶的應(yīng)用網(wǎng)絡(luò)移植方案研究

虛擬化網(wǎng)絡(luò)設(shè)計(jì)方案1 般側(cè)重在“新建”角度，隨著虛擬化網(wǎng)絡(luò)建設(shè)第1 波浪潮接近結(jié)束，云網(wǎng)一體化等方案走到前臺(tái)，然而重心仍然在提供統(tǒng)一、融合、智能、簡潔的網(wǎng)絡(luò)，依然沒有考慮虛擬化網(wǎng)絡(luò)本身的進(jìn)階，沒有考慮虛擬化網(wǎng)絡(luò)存量如何平滑的更新?lián)Q代。本文從多租戶需求為切入點(diǎn)，除闡述面向?qū)ψ鈶艟W(wǎng)絡(luò)的架構(gòu)和方案設(shè)計(jì)和實(shí)踐外，增加面向多租戶的應(yīng)用移植方案研究。

根據(jù)對(duì)應(yīng)用的影響程度，多租戶應(yīng)用的移植方案有3種。

a）Online方式：完全不影響現(xiàn)有應(yīng)用和相關(guān)服務(wù)。

b）Offline 方式：移植過程中關(guān)閉應(yīng)用的原實(shí)例和相關(guān)服務(wù)。

c）Rebuild方式：重建應(yīng)用的新實(shí)例和相關(guān)服務(wù)。

以某國虛擬化IMS 項(xiàng)目為背景，說明每種方式的部署過程。

Online方式的部署過程如下：

a）準(zhǔn)備OVF 模板，由管理該IMS 應(yīng)用的OvDC 資源池的Catalogue 使用，Catalogue 負(fù)責(zé)管理VNFD、軟件鏡像文件等。

b）為該應(yīng)用創(chuàng)建目標(biāo)OvDC，并在vCD 配置該OvDC。

c）創(chuàng)建該OvDC 管理的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等資源，即待移植的虛擬機(jī)所需的資源，包括分配內(nèi)外部的網(wǎng)絡(luò)資源，以及在現(xiàn)有資源集群里分配計(jì)算資源。

d）移植該應(yīng)用的每個(gè)虛擬機(jī)到vCD 環(huán)境，像初始化VNF一樣。

e）VNFM 和云管理平臺(tái)的接口從vCenter 遷移到vCD。

f）確認(rèn)VNFM和該應(yīng)用的全部VNF集成成功。

Offline方式的部署過程如下：

a）準(zhǔn)備OVF 模板，由管理該IMS 應(yīng)用的OvDC 資源池的Catalogue使用。

b）為該應(yīng)用創(chuàng)建目標(biāo)OvDC，并在vCD 配置該OvDC。

c）創(chuàng)建該OvDC 管理的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等資源，即待移植的虛擬機(jī)所需的資源，包括分配內(nèi)外部的網(wǎng)絡(luò)資源，以及在現(xiàn)有資源集群里分配計(jì)算資源。

d）移植該應(yīng)用的每個(gè)虛擬機(jī)到vCD 環(huán)境，具體包括先下電已運(yùn)行的IMS 應(yīng)用的全部虛擬機(jī)，再創(chuàng)建目標(biāo)IMS應(yīng)用。

e）VNFM 和云管理平臺(tái)的接口從vCenter 遷移到vCD。

f）確認(rèn)VNFM和該應(yīng)用的全部VNF集成成功。

Rebuild方式的部署過程如下：

a）準(zhǔn)備OVF 模板，由管理該IMS 應(yīng)用的OvDC 資源池的Catalogue使用。

b）為該應(yīng)用創(chuàng)建目標(biāo)OvDC，并在vCD 配置該OvDC。

c）創(chuàng)建該OvDC 管理的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等資源，即待移植的虛擬機(jī)所需的資源，包括分配內(nèi)外部的網(wǎng)絡(luò)資源，以及在現(xiàn)有資源集群里分配計(jì)算資源。

d）VNFM 和云管理平臺(tái)的接口從vCenter 遷移到vCD。

e）開通新的IMS 應(yīng)用，具體包括的步驟有：確保重建的IMS 應(yīng)用所需的資源足夠；使用VNFM 部署新IMS 應(yīng)用；確認(rèn)和配置新的IMS 應(yīng)用成功；清除原IMS應(yīng)用，包括斷開和vCenter的聯(lián)系。

實(shí)際部署時(shí)選擇Offline 方式，主要原因是Offline方式比重建方式少占用硬件資源，比在線移植方式的風(fēng)險(xiǎn)更加可控。在線移植方式的風(fēng)險(xiǎn)是，盡管虛擬機(jī)以獨(dú)立應(yīng)用方式完成遷移非常平滑，但是和新建應(yīng)用采用的完整的初始化過程不同，存在中間態(tài)，可能無法確保過程完美，或者說，增加應(yīng)用上線后的驗(yàn)證和維護(hù)時(shí)間和成本。

4 結(jié)束語

隨著2019年6月工信部發(fā)放5G商用牌照，移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)朝著產(chǎn)業(yè)互聯(lián)網(wǎng)進(jìn)發(fā)，個(gè)體消費(fèi)者、企業(yè)、政府部門都是云化網(wǎng)絡(luò)的使用者，電信云、專網(wǎng)、政務(wù)云混雜交合，這一切使得多數(shù)據(jù)中心和多租戶成為大規(guī)模、統(tǒng)一的云化網(wǎng)絡(luò)的必備需求。面向多租戶的云化網(wǎng)絡(luò)是本文的研究對(duì)象，其采用資源邏輯隔離，vDC 和Multi-DC 技術(shù)，以及全局化資源的配置管理，實(shí)現(xiàn)隨需而動(dòng)的資源分配和多租戶層面的負(fù)荷均衡，可見，從面向應(yīng)用角度，這是更先進(jìn)的云化網(wǎng)絡(luò)。

云計(jì)算和虛擬化的結(jié)合，來源于社會(huì)各界對(duì)“資源共享，智能運(yùn)維”的共同訴求，激起了近年如火如荼的從IT 到CT 的云化網(wǎng)絡(luò)建設(shè)浪潮。多租戶的需求，好比客戶希望享受出租車的服務(wù)卻只要付公交車的價(jià)格，這是把云計(jì)算和虛擬化技術(shù)推向更高效率的結(jié)果。本文從多租戶的需求出發(fā)，提供適配的虛擬化資源管理的架構(gòu)分析、方案設(shè)計(jì)，并結(jié)合項(xiàng)目實(shí)戰(zhàn)分享經(jīng)驗(yàn)，希望對(duì)國內(nèi)云化網(wǎng)絡(luò)技術(shù)發(fā)展提供參考和借鑒。