唐利莉，張寧

（中國移動通信集團設(shè)計院有限公司網(wǎng)絡(luò)所，北京100080）

1 引言

面對大數(shù)據(jù)和各類云服務(wù)的爆炸式增長，單體數(shù)據(jù)中心已經(jīng)無法滿足業(yè)務(wù)發(fā)展對計算和存儲資源的要求。電信運營商必須進一步考慮將多個數(shù)據(jù)中心互聯(lián)，實現(xiàn)更大范圍內(nèi)計算和存儲資源的池化。當前，越來越多的數(shù)據(jù)中心通過部署以VxLAN（virtual extensible LAN，可擴展虛擬局域網(wǎng)絡(luò)）和SDN（software defined networking，軟件定義網(wǎng)絡(luò)）技術(shù)為代表的網(wǎng)絡(luò)虛擬化技術(shù)，成為云化的數(shù)據(jù)中心；另一方面，傳統(tǒng)的非云化數(shù)據(jù)中心，也通過部署VxLAN和SDN技術(shù)，實現(xiàn)內(nèi)部碎片化資源的整合和高效利用。

本文在全面分析數(shù)據(jù)中心網(wǎng)絡(luò)需求的基礎(chǔ)上，著重討論電信運營商數(shù)據(jù)中心網(wǎng)絡(luò)如何進行互聯(lián)，結(jié)合電信運營商的資源整合需求，深入研究各種數(shù)據(jù)中心互聯(lián)技術(shù)的應(yīng)用。

2 數(shù)據(jù)中心業(yè)務(wù)和互聯(lián)需求

以計算資源是否虛擬化作為分類標準，數(shù)據(jù)中心可分為云化數(shù)據(jù)中心和非云化數(shù)據(jù)中心。這兩種數(shù)據(jù)中心都需要通過數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)實現(xiàn)規(guī)模擴展和資源整合；同時由于承載業(yè)務(wù)的屬性不同，其對數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)的要求也有不同之處。

2.1 云化數(shù)據(jù)中心互聯(lián)需求

云化數(shù)據(jù)中心通過引入分布式計算與虛擬化等核心技術(shù)，提高現(xiàn)有IT資源的利用效率，有效地提升單位機柜收入。同時，云化數(shù)據(jù)中心和IP骨干網(wǎng)相結(jié)合，將成為運營商網(wǎng)絡(luò)架構(gòu)發(fā)展的主要特征，成為未來運營商最主要的核心競爭力。云化數(shù)據(jù)中心的互聯(lián)需求如下：

·突破單個數(shù)據(jù)中心的規(guī)模約束，將多個數(shù)據(jù)中心互聯(lián)來實現(xiàn)更大規(guī)模IaaS服務(wù)；

·跨數(shù)據(jù)中心實現(xiàn)虛擬機熱遷移、系統(tǒng)災(zāi)備、存儲訪問等業(yè)務(wù)；

·數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)需要具備對租戶的感知能力，實現(xiàn)基于租戶進行流量的按需調(diào)整和優(yōu)化；

·覆蓋多數(shù)據(jù)中心的統(tǒng)一管理平臺，從IaaS模式向PaaS模式和SaaS模式演進。

2.2 非云化數(shù)據(jù)中心互聯(lián)需求

非云化數(shù)據(jù)中心，即未完成計算資源虛擬化改造的數(shù)據(jù)中心。該類數(shù)據(jù)中心的業(yè)務(wù)以出租機架及出口帶寬為主體，機架的綜合利用率多在70%左右，而每個機房的剩余機架無法滿足新的租戶對于機架數(shù)目的要求，所以需要對數(shù)據(jù)中心做簡單改造實現(xiàn)多數(shù)據(jù)中心互聯(lián)，盤活數(shù)據(jù)中心的機架“碎片”，并給業(yè)務(wù)運營和維護帶來附加價值。非云化數(shù)據(jù)中心的互聯(lián)需求如下：

·將多個數(shù)據(jù)中心整合為基礎(chǔ)設(shè)施資源池，原來的碎片化硬件資源在重新池化后可以靈活滿足新租戶的需求；

·突破單個數(shù)據(jù)中心規(guī)模的約束，實現(xiàn)多局址靈活擴展；

·把某個租戶在多個數(shù)據(jù)中心的流量，統(tǒng)一調(diào)度到指定的出口網(wǎng)關(guān)，實現(xiàn)集中化的流量計費和QoS控制；

·通過統(tǒng)一界面下發(fā)策略，實現(xiàn)網(wǎng)絡(luò)設(shè)備的自動化配置方式，快速滿足租戶業(yè)務(wù)發(fā)展需求，簡化運維管理流程。

3 DCI建設(shè)方案

未來幾年云計算業(yè)務(wù)將從根本上改變網(wǎng)絡(luò)流量模型，網(wǎng)絡(luò)流向從傳統(tǒng)意義上的南北流量，轉(zhuǎn)變成了IDC到IDC之間或者是資源池之間的橫向流量，隨著NFV技術(shù)的引入，這一變化趨勢將更加顯著。

IDC之間的流量的承載由DCI（data center interconnection）負責完成，以滿足數(shù)據(jù)中心之間的通信需求。DCI網(wǎng)絡(luò)作為東西向業(yè)務(wù)的承載網(wǎng)絡(luò)，將多個數(shù)據(jù)中心內(nèi)的資源進行橫向打通。DCI可以分為廣域DCI和AZ（available zone，可用區(qū)域）/VDC之間內(nèi)部不同DC之間的DCI兩類。

3.1 DCI互聯(lián)技術(shù)簡介

DCI網(wǎng)絡(luò)使用的互聯(lián)技術(shù)主要包括面向廣域網(wǎng)側(cè)的MPLS（multi-protocol label switching，多協(xié)議標簽交換）L2/L3 VPN、EVPN（BGP MPLS-based ethernet VPN，基于BGP MPLS和以太網(wǎng)的VPN）以及面向DC側(cè)的VxLAN；相關(guān)的流量調(diào)優(yōu)技術(shù)包括MPLS TE以及SDN等。分別簡單介紹如下。

SDN作為一種新的網(wǎng)絡(luò)架構(gòu)，成為行業(yè)高度關(guān)注的熱點。轉(zhuǎn)發(fā)與控制分離、集中的控制層面、開放的網(wǎng)絡(luò)編程接口是SDN架構(gòu)的主要特征，開放式網(wǎng)絡(luò)代表了從應(yīng)用適應(yīng)網(wǎng)絡(luò)能力向網(wǎng)絡(luò)能力主動適配應(yīng)用需求這個網(wǎng)絡(luò)建設(shè)理念的改變。

SR（segment routing，分段路由）是由IETF推動的支持SDN架構(gòu)的新型路由轉(zhuǎn)發(fā)協(xié)議，SR是一種源路由機制，也是以標簽交換為基礎(chǔ)的，通過對現(xiàn)有的IGP進行簡單的擴展 來 實 現(xiàn)TE（traffic engineering，流 量 工 程）、FRR（fast reroute，快速重路由）、MPLS VPN等功能。在未來的SDN架構(gòu)中，SR將為網(wǎng)絡(luò)提供和上層應(yīng)用快速交互的能力。

VxLAN是為解決大規(guī)模云數(shù)據(jù)中心的租戶隔離需求及通過三層網(wǎng)絡(luò)實現(xiàn)二層打通的需求而出現(xiàn)的，24 byte的VNI（VxLAN network identifier，VxLAN網(wǎng) 絡(luò) 標 識）可 支持1 600萬個VxLAN段的網(wǎng)絡(luò)隔離。VxLAN使用“MAC in UDP”的方法進行封裝，數(shù)據(jù)分組在整個轉(zhuǎn)發(fā)過程中保持內(nèi)部數(shù)據(jù)的完整，使得原有數(shù)據(jù)報文內(nèi)容作為UDP報文中的負載在二、三層網(wǎng)絡(luò)中傳送。

EVPN是RFC7432定義的新一代VPN協(xié)議，可以實現(xiàn)L2/L3 VPN業(yè)務(wù)；與MPLS L2/L3 VPN比較，轉(zhuǎn)發(fā)平面的選擇 更 為 靈 活，可 以 為MPLS、PBB（provider backbone bridging，骨干網(wǎng)橋接）、VxLAN/NvGRE（利用GRE實現(xiàn)網(wǎng)絡(luò)虛擬化）等；控制平面統(tǒng)一為MP-BGP，避免了VPLS（virtual private LAN services，虛擬專用局域網(wǎng)業(yè)務(wù)）的洪泛問題。

MP-BGP即BGP-4的多協(xié)議擴展，實現(xiàn)了對多種網(wǎng)絡(luò)層協(xié)議的支持。采用地址族（address family）來區(qū)分不同的網(wǎng)絡(luò)層協(xié)議，既可支持傳統(tǒng)的IPv4地址族，又可支持VPN-IPv4、IPv6等其他地址族。MP-BGP可正確處理地址空間重疊的VPN路由，完成私網(wǎng)VPN路由傳遞和私網(wǎng)標簽分配。

3.2 云化數(shù)據(jù)中心間的DCI建設(shè)方案

3.2.1 方案概述

虛擬機熱遷移業(yè)務(wù)對傳輸時延和傳輸質(zhì)量的要求，是云化數(shù)據(jù)中心DCI網(wǎng)絡(luò)建設(shè)的一個主要約束。按照這一約束，需要按照區(qū)域內(nèi)、跨區(qū)域兩級建設(shè)云化數(shù)據(jù)中心的DCI網(wǎng)絡(luò)。

（1）區(qū)域整合

云化數(shù)據(jù)中心通過DCI網(wǎng)絡(luò)打通之后，同一個資源池內(nèi)不同機房/設(shè)施的數(shù)據(jù)中心組成了面向云業(yè)務(wù)的網(wǎng)絡(luò)可用區(qū)域，即AZ。AZ內(nèi)的云資源可以實現(xiàn)無縫共享，比如虛擬機的熱遷移業(yè)務(wù)可以在AZ內(nèi)實現(xiàn)。為滿足熱遷移業(yè)務(wù)，AZ區(qū)域通常在500 km范圍之內(nèi)，以保證傳輸時延和傳輸質(zhì)量。

（2）跨區(qū)域整合

通過數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)DCI將AZ之間打通，形成數(shù)個大范圍區(qū)域之間、甚至電信運營商全國的云資源整合?？鐓^(qū)域的整合可以實現(xiàn)系統(tǒng)災(zāi)備等非在線業(yè)務(wù)。

云化數(shù)據(jù)中心DCI網(wǎng)絡(luò)技術(shù)實現(xiàn)方案需要從數(shù)據(jù)轉(zhuǎn)發(fā)平面和控制平面分別考慮。

3.2.2 數(shù)據(jù)轉(zhuǎn)發(fā)平面

云化數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)轉(zhuǎn)發(fā)平面如圖1所示。

云化數(shù)據(jù)中心網(wǎng)絡(luò)需要承載兩類東西向數(shù)據(jù)流量，分別為AZ內(nèi)DC之間的數(shù)據(jù)流量和AZ之間的數(shù)據(jù)流量。

（1）AZ內(nèi)若干個DC之間的轉(zhuǎn)發(fā)平面

數(shù)據(jù)連接采用VxLAN封裝，即數(shù)據(jù)報文在AZ網(wǎng)關(guān)上透傳。VxLAN隧道為服務(wù)器或TOR上端到端建立，通過VxLAN隧道實現(xiàn)不同VM之間的二層或三層互訪，支持虛擬機熱遷移。

（2）AZ之間的轉(zhuǎn)發(fā)平面

對于AZ之間的數(shù)據(jù)連接，業(yè)界設(shè)備廠商都有各自不同的實現(xiàn)方式，比較通用的是采用分段VPN的方式。AZ內(nèi)部的VxLAN在網(wǎng)關(guān)上終結(jié)，AZ網(wǎng)關(guān)之間根據(jù)二層或三層業(yè)務(wù)需求部署MPLS L2/L3 VPN或EVPN；分段VPN方式將租戶的業(yè)務(wù)在IP骨干網(wǎng)上做到了可見和可管，是運維的基本條件。AZ之間的VPN業(yè)務(wù)部署在DCI網(wǎng)絡(luò)的TE LSP或SR路徑上，同時考慮到骨干網(wǎng)對云化業(yè)務(wù)的可維護性，需要AZ網(wǎng)關(guān)設(shè)備支持對云業(yè)務(wù)的感知，然后通過廣域網(wǎng)流量調(diào)優(yōu)技術(shù)實現(xiàn)靈活的流量調(diào)度。

3.2.3 控制平面

云化數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)的控制平面如圖2所示。云化數(shù)據(jù)中心網(wǎng)絡(luò)存在兩套控制平面，分別為AZ內(nèi)DC之間的控制面和AZ之間的控制平面。

（1）AZ內(nèi)DC之間的控制平面

通過MP-BGP將SDN控制器形成聯(lián)盟，從而實現(xiàn)多個DC之間的租戶IP地址和MAC地址信息傳遞。

（2）AZ之間的控制平面

使用MPLS L2/L3VPN，實現(xiàn)跨AZ的二層或者三層連接，通過廣域網(wǎng)實現(xiàn)二層租戶網(wǎng)絡(luò)或者三層租戶網(wǎng)絡(luò)擴展；采用MP-BGP實現(xiàn)。

3.3 非云化數(shù)據(jù)中心間的DCI 建設(shè)方案

非云數(shù)據(jù)中心通過DCI互聯(lián)之后，可以省或者區(qū)域為單位，將一個省的IDC資源組成一個VDC，然后通過DCI網(wǎng)絡(luò)實現(xiàn)VDC之間的互聯(lián)，從而實現(xiàn)全國性的IDC資源整合。非云化數(shù)據(jù)中心的互聯(lián)方案如圖3所示。

圖1 云化數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)轉(zhuǎn)發(fā)平面示意

圖2 云化數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)的控制平面示意

圖3 非云化數(shù)據(jù)中心的互聯(lián)方案示意

非云化數(shù)據(jù)中心網(wǎng)絡(luò)存在兩類東西向數(shù)據(jù)流量，分別為：VDC內(nèi)的DC之間的數(shù)據(jù)流量和VDC之間的數(shù)據(jù)流量，技術(shù)實現(xiàn)方案分別如下。

（1）VDC內(nèi)部

將多個物理區(qū)域分散的IDC在網(wǎng)絡(luò)層面，通過VxLAN技術(shù)組成一個VDC，實現(xiàn)區(qū)域內(nèi)原有IDC的整合。通過VxLAN網(wǎng)關(guān)實現(xiàn)VLAN與VxLAN的映射，非云化的租戶通過VxLAN的VNI進行標識。

（2）VDC之間

VDC通過數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)DCI（可采用MPLS L2/L3 VPN或EVPN技術(shù)）實現(xiàn)VDC間的互聯(lián)，從而實現(xiàn)全國IDC資源的大整合。

3.4 DCI 的流量調(diào)優(yōu)

電信運營商在完成云化/非云化數(shù)據(jù)中心的整合之后，更為重要的是如何將跨數(shù)據(jù)中心的資源在DCI網(wǎng)絡(luò)中進行流量的合理調(diào)度。通過DCI網(wǎng)絡(luò)識別業(yè)務(wù)并進行基于SDN的流量調(diào)度，真正實現(xiàn)端到端云化/非云化數(shù)據(jù)中心業(yè)務(wù)的統(tǒng)一調(diào)度與業(yè)務(wù)的快速響應(yīng)。

DCI骨干網(wǎng)流量調(diào)優(yōu)的前提是對云業(yè)務(wù)的感知。如果骨干網(wǎng)邊緣設(shè)備不能夠識別租戶，那么僅作為粗管道是無法針對云業(yè)務(wù)開展任何運維的。DCI骨干網(wǎng)邊緣設(shè)備需要支持的技術(shù)包括：對VxLAN的支持，對EVPN及MPLS L2/L3 VPN的支持以及廣域網(wǎng)SDN。

廣域網(wǎng)SDN技術(shù)可以實現(xiàn)骨干網(wǎng)的自動化拓撲計算和更智能的流量調(diào)優(yōu)。SDN正處在標準化階段，典型的技術(shù)如SR、PCEP（path computation element protocol，路徑計算單元協(xié)議）等。在協(xié)議完全標準化之前，現(xiàn)階段也可借鑒TE技術(shù)，并與SDN控制方式相融合，實現(xiàn)現(xiàn)階段的流量調(diào)優(yōu)。關(guān)于廣域網(wǎng)SDN的控制器，建議由電信運營商建設(shè)資源編排器，通過該編排器實現(xiàn)不同網(wǎng)絡(luò)設(shè)備廠商級控制器的整合，實現(xiàn)骨干網(wǎng)的統(tǒng)一管理和資源調(diào)度。

3.5 DCI建網(wǎng)的其他考慮因素

電信運營商在建設(shè)DCI網(wǎng)絡(luò)時，除了考慮業(yè)務(wù)需求、網(wǎng)絡(luò)技術(shù)、運營商自身條件和發(fā)展策略外，還需要考慮云計算環(huán)境下的其他相關(guān)因素，具體分析如下。

·存儲技術(shù)和存儲網(wǎng)絡(luò)的發(fā)展：不同的計算業(yè)務(wù)對存儲的要求不同，做AZ層面的資源整合時需根據(jù)存儲網(wǎng)絡(luò)的覆蓋范圍，合理劃分AZ的區(qū)域覆蓋大小。

·自動化的管理方式：云計算時代的一個典型特性是虛擬機創(chuàng)建的頻繁及其對網(wǎng)絡(luò)的動態(tài)化適配要求。面對這種動態(tài)化的網(wǎng)絡(luò)配置和管理要求以及運營商降低運維成本的實際需求，DCI骨干網(wǎng)邊緣設(shè)備需要具備基于SDN的自動化配置能力，從而大大節(jié)省業(yè)務(wù)的部署時間，實現(xiàn)與云平臺的充分契合。

·云管理平臺的整合：隨DCI網(wǎng)絡(luò)的建設(shè)實現(xiàn)云管理平臺的整合。從AZ區(qū)域角度出發(fā)，建議通過一套云管理平臺實現(xiàn)AZ下所有虛擬機的管理，實現(xiàn)AZ內(nèi)的一套云管理平臺與一套SDN及其云網(wǎng)絡(luò)管理平臺對應(yīng)，從而實現(xiàn)虛擬機的在線遷移。不同的AZ之間，可通過層次化云管理平臺的方式實現(xiàn)整合，不同AZ之間可實現(xiàn)業(yè)務(wù)的冷備份。

3.6 DCI網(wǎng)絡(luò)建設(shè)總體思路

DCI網(wǎng)絡(luò)的建設(shè)，需要考慮云化和非云化兩類數(shù)據(jù)中心的互聯(lián)組網(wǎng)需求以及DCI網(wǎng)絡(luò)的廣域流量調(diào)優(yōu)方案，并綜合考慮公有云、私有云和混合云的業(yè)務(wù)特性，從而形成整體的網(wǎng)絡(luò)建設(shè)方案，實現(xiàn)電信運營商的IDC資源整合。

對于電信運營商如何利用自身資源來建設(shè)DCI，本文建議采用循序漸進的策略方案，具體思路如下。

·分析業(yè)務(wù)特點和應(yīng)用需求：根據(jù)自身的業(yè)務(wù)特點和應(yīng)用需求對各類數(shù)據(jù)中心互聯(lián)技術(shù)進行分析，評估每種技術(shù)方案的成熟度、業(yè)務(wù)契合度，以選擇最適合自身業(yè)務(wù)發(fā)展的DCI方案。

·選擇廣域網(wǎng)絡(luò)承載方案：梳理現(xiàn)有IP網(wǎng)絡(luò)的資源情況，包括網(wǎng)絡(luò)帶寬利用率、鏈路時延、承載業(yè)務(wù)的類型和特點等，以在使用現(xiàn)有骨干網(wǎng)或新建DCI骨干網(wǎng)之間做出選擇。當使用現(xiàn)有IP骨干網(wǎng)實現(xiàn)DCI時，利用現(xiàn)有IP骨干網(wǎng)中繼實現(xiàn)高速互聯(lián)，同時升級現(xiàn)有路由器使其支持并部署DCI相關(guān)的EVPN、MPLS VPN、SDN、SR等新技術(shù)。

·合理規(guī)劃業(yè)務(wù)類型和承載方案：對數(shù)據(jù)中心承載的業(yè)務(wù)進行梳理和分類，并根據(jù)云管理平臺的管理范圍、存儲網(wǎng)絡(luò)的覆蓋范圍等，對DCI所承載的業(yè)務(wù)類型和承載方案做到合理的規(guī)劃和設(shè)計。

·先試點再推廣，分步建設(shè)DCI網(wǎng)絡(luò)：首先就近進行數(shù)據(jù)中心的區(qū)域整合，設(shè)立區(qū)域整合后的新網(wǎng)關(guān)，實現(xiàn)多出口變?yōu)榻y(tǒng)一單出口；然后根據(jù)跨區(qū)域的互聯(lián)業(yè)務(wù)需求，在該類業(yè)務(wù)需求量較大的區(qū)域之間進行DCI網(wǎng)絡(luò)的試點，同時整合相關(guān)云管理平臺；最后，在試點成熟的前提下，根據(jù)全國的DCI互聯(lián)需求，建設(shè)DCI網(wǎng)絡(luò)，并部署WAN SDN技術(shù)進行流量調(diào)優(yōu)。

4 結(jié)束語

云計算技術(shù)的快速發(fā)展、數(shù)據(jù)中心的規(guī)模部署和SDN解決方案的日趨成熟，使數(shù)據(jù)中心互聯(lián)成為運營商IDC集約化的重要手段。數(shù)據(jù)中心互聯(lián)需要考慮的方面非常多，不同運營商基于自身條件會有不同的方案選擇。隨著數(shù)據(jù)中心和網(wǎng)絡(luò)部署經(jīng)驗、云業(yè)務(wù)運營經(jīng)驗的不斷積累，運營商的數(shù)據(jù)中心互聯(lián)方案必然越來越成熟，必然給運營商的資源集約化和成本降低帶來非常大的價值。

[1]Eucalyptus System.Cloud computing and open source IT climatology is born[R].[S.1.:s.n.],2011.

[2]劉承鵬.云計算及其應(yīng)用的開源實現(xiàn)研究[J].信息通信,2015(10).LIU C P.Research on the realization of open source cloud computing and its applications[J].Information & Communications,2015(10).

[3]Virtual extensible local area network(VxLAN):a framework for overlaying virtualized layer 2 networks over layer 3 Networks:RFC 7348[S/OL].[2015-09-28].https://tools.ietf.org/html/draft-mahalingam-dutt-dcops-vxlan.

[4]BGP MPLS-based ethernet VPN:RFC 7432[S/OL].[2015-09-28].https://www.packetizer.com/rfc/rfc7432/.