廖峰

（中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司廣東省分公司，廣東 廣州 510360）

1 引言

在廣東聯(lián)通信息化業(yè)務(wù)規(guī)模擴(kuò)大及IT基礎(chǔ)設(shè)施云化的大趨勢(shì)下，相關(guān)信息化部門在廣州YJ、廣州XSK、江門BJ、東莞SSH 等多地建設(shè)了云數(shù)據(jù)中心，并致力于整合所有IT基礎(chǔ)設(shè)施。隨著業(yè)務(wù)的發(fā)展，數(shù)據(jù)中心內(nèi)部的東西向流量越來(lái)越大。

云平臺(tái)的業(yè)務(wù)發(fā)展快速，對(duì)資源池的穩(wěn)定和靈活性要求越來(lái)越高。應(yīng)用大二層技術(shù)，我們可以為跨數(shù)據(jù)中心網(wǎng)絡(luò)的二層連接擴(kuò)展，提供運(yùn)營(yíng)優(yōu)化型解決方案。而EVPN作為通用技術(shù)協(xié)議，可以將兩個(gè)地理域的數(shù)據(jù)中心站點(diǎn)構(gòu)建統(tǒng)一的虛擬計(jì)算資源群集，以實(shí)現(xiàn)兩地?cái)?shù)據(jù)二層的通信，達(dá)到云平臺(tái)虛擬機(jī)跨節(jié)點(diǎn)在線遷移功能。

2 案例背景分析

隨著業(yè)務(wù)的發(fā)展，數(shù)據(jù)中心內(nèi)部的東西向流量越來(lái)越大。為了不影響IT承載網(wǎng)其他關(guān)鍵應(yīng)用的穩(wěn)定性，通常不考慮直接在DCN 網(wǎng)絡(luò)上承載相關(guān)流量，在數(shù)據(jù)中心比較少的時(shí)候，兩個(gè)數(shù)據(jù)中心直接采用光纖直連的方式解決數(shù)據(jù)中心的數(shù)據(jù)通信問(wèn)題，但是擴(kuò)展性較差，而且容易導(dǎo)致網(wǎng)絡(luò)不穩(wěn)定，多個(gè)數(shù)據(jù)中心不再能夠通過(guò)這種方式進(jìn)行互聯(lián)，因此需要建設(shè)一張能夠承載大容量東西向流量的數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)。項(xiàng)目一期在廣州XSK節(jié)點(diǎn)和東莞SSH節(jié)點(diǎn)分別新建一對(duì)思科NCS 5508 路由器，作為leaf 節(jié)點(diǎn)；在廣州新建一對(duì)思科NCS 5508路由器，作為spine節(jié)點(diǎn)，spine和leaf交叉互聯(lián)，實(shí)現(xiàn)XSK節(jié)點(diǎn)和SSH節(jié)點(diǎn)虛擬機(jī)在線雙向遷移。

2.1 跨機(jī)房云平臺(tái)網(wǎng)絡(luò)拓?fù)?/h3>

spine和leaf交叉互聯(lián)?；诋?dāng)前業(yè)界的最佳實(shí)踐建議，DCI underlay 使用ISIS+SR 技術(shù)，overlay 使用BGP+EVPN+vpnv4技術(shù)，其中EVPN承載二層MAC表項(xiàng)，vpnv4承載三層路由表項(xiàng)。

跨機(jī)房云平臺(tái)網(wǎng)絡(luò)拓?fù)淙鐖D1所示。

圖1 跨機(jī)房云平臺(tái)網(wǎng)絡(luò)拓?fù)?/p>

2.2 云平臺(tái)虛擬網(wǎng)絡(luò)

目前承載二層MAC表項(xiàng)的overlay 網(wǎng)絡(luò)主要有OTV 和EVPN兩種方案。其中OTV是思科公司私有的協(xié)議，鄰居的建立依賴于OSPF 等動(dòng)態(tài)路由協(xié)議，EVPN 用BGP協(xié)議實(shí)現(xiàn)雙網(wǎng)關(guān)不沖突。EVPN通用技術(shù)協(xié)議，用三層路由攜帶虛擬機(jī)MAC地址完成跨機(jī)房尋址；雙網(wǎng)關(guān)部署在leaf 上或者匯聚交換機(jī)如N7K上，網(wǎng)關(guān)找不到MAC提供給leaf網(wǎng)絡(luò)。

云平臺(tái)采用Vmware虛擬化軟件Vsphere,該虛擬化平臺(tái)采用通用的OpenvSwitch虛擬交換機(jī)實(shí)現(xiàn)對(duì)物理機(jī)上不同網(wǎng)絡(luò)的劃分。物理機(jī)安裝Vsphere 后，系統(tǒng)為該物理機(jī)創(chuàng)建一個(gè)虛擬網(wǎng)絡(luò)，該網(wǎng)絡(luò)在虛擬機(jī)上的虛擬網(wǎng)絡(luò)接口（VIF）與物理機(jī)服務(wù)器上的網(wǎng)絡(luò)接口（NIC）所關(guān)聯(lián)的物理網(wǎng)絡(luò)接口（PIF）之間起橋接的作用。

2.3 跨域VPN技術(shù)選擇

跨域方式主要有Option A 背靠背（back-to-back）VRF、Option B 單跳多協(xié)議MP-EBGP和Option C 多跳多協(xié)議MPEBGP三種。Option A的優(yōu)勢(shì)在于配置簡(jiǎn)單，ASBR之間不需要運(yùn)行標(biāo)簽協(xié)議，使用EBGP的路由策略也可以提供很好的安全性；缺點(diǎn)是當(dāng)大量VRF需要互聯(lián)時(shí)，該方式配置量比較大，同時(shí)需要更多的IP 地址，擴(kuò)展性比較差。本文只涉及3個(gè)VRF故選擇Option A。

Option A的互聯(lián)方式如圖2所示。

圖2 Option A的互聯(lián)方式

2.4 VPN端口互聯(lián)

本次互聯(lián)端口和IP地址（僅含A平面Leaf1）如表2所示。

表2 端口互聯(lián)與IP地址分配表

3 問(wèn)題分析和解決方法

要完成遷移，需在IT承載網(wǎng)PE與DCI網(wǎng)的LF之間建立BGP路由協(xié)議，不涉及路由調(diào)整和流量變動(dòng)，但修改BGP配置可能導(dǎo)致DCN-PE 的鄰居重置，可能引起業(yè)務(wù)閃斷，建議逐個(gè)平面操作。

3.1 業(yè)務(wù)接入通用配置

（1）配置VPN模板

配置設(shè)備：DCI所有LF1設(shè)備和LF2設(shè)備，兩種設(shè)備具體配置相同

配置vrf BSS以及import和export route-target值

配置vrf OSS以及import和export route-target值

配置router bgp ，啟用address-family l2vpn evpn，配置bgp implicit-import

l2vpn evpn 下，配置vrf BSS 以及rd以及redistribute connected

l2vpn evpn 下，配置vrf OSS 以及rd以及redistribute connected

（2）配置接口

配置設(shè)備：DCI所有LF1設(shè)備和LF2設(shè)備，兩種設(shè)備具體配置相同

配置聚合口Bundle-Ether100

配置子接口Bundle-Ether100.100和Bundle-Ether100.200，設(shè)定二層l2transport

配置物理接口TenGigE0/0/0/10和TenGigE0/0/0/11，加入聚合口Bundle-Ether100

配置BVI100，設(shè)定vrf BSS以及接口地址

配置BVI200，設(shè)定vrf OSS以及接口地址

（3）配置EVPN

配置設(shè)備：DCI所有LF1設(shè)備和LF2設(shè)備，兩種設(shè)備具體配置相同

在evpn 下，配置evi 100 的bgp，設(shè)置import 和export route-target值，并開(kāi)啟廣播advertise-mac

在evpn 下，配置evi 200 的bgp，設(shè)置import 和export route-target值，并開(kāi)啟廣播advertise-mac

（4）配置L2VPN

配置設(shè)備：DCI所有LF1設(shè)備和LF2設(shè)備，兩種設(shè)備具體配置相同

l2vpn evpn 下，配置bridge group GRP-BSS 和bridge-domain BD-BSS

在Bundle-Ether100.100 下將BVI100 的routed 目的指向evi 100

l2vpn evpn 下，配置bridge group GRP-OSS 和bridge-domain BD-OSS

在Bundle-Ether100.200 下將BVI200 的routed 目的指向evi 200

要完成虛擬機(jī)的跨資源池遷移，首先需利用虛擬數(shù)據(jù)中心VDC 技術(shù)，然后需要在主備spine 與各leaf 節(jié)點(diǎn)間建立BGP鄰居。

RP/0/RP0/CPU0:DCI-C1-GDGZ-N5508-XSK#show bgp l2vpn evpn summary

Sun Oct 31 17:05:44.635 UTC

BGP router identifier 132.127.150.1, local AS number 299---spine1地址

BGP generic scan interval 60 secs

Non-stop routing is enabled

BGP table state:Active

Table ID:0x0 RD version:0

BGP main routing table version 3845

BGP NSR Initial initsync version 10(Reached)

BGP NSR/ISSU Sync-Group versions 3845/0

BGP scan interval 60 secs

BGP is operating in STANDALONE mode.---spine1 上看到7個(gè)BGP鄰居信息

3.2 OptionA的實(shí)現(xiàn)方式

首先需配置IP 地址，根據(jù)表2 端口互聯(lián)與IP 地址分配表，在PE 和leaf 節(jié)點(diǎn)配置接口IP 地址。然后需配置BGP 路由策略：

配置設(shè)備：XSK-PE1 和XSK-PE2（策略按需調(diào)整），兩種設(shè)備具體配置相同

配置從DCI 網(wǎng)絡(luò)收取BSS 域路由的策略Route-policy Fr-DCI-BSS

配置向DCI 網(wǎng)絡(luò)發(fā)布BSS 域路由的策略Route-policy To-DCI-BSS

配置從DCI 網(wǎng)絡(luò)收取OSS 域路由的策略Route-policy Fr-DCI-OSS

配置向DCI 網(wǎng)絡(luò)發(fā)布OSS 域路由的策略Route-policy To-DCI-OSS

配置設(shè)備：XSK-LF1 和XSK-LF2（策略按需調(diào)整），兩種設(shè)備具體配置相同

配置從DCN 網(wǎng)絡(luò)收取BSS 域路由的策略Route-policy Fr-DCN-BSS

配置向DCN 網(wǎng)絡(luò)發(fā)布BSS 域路由的策略Route-policy To-DCN-BSS

配置從DCN 網(wǎng)絡(luò)收取OSS 域路由的策略Route-policy Fr-DCN-OSS

配置向DCN 網(wǎng)絡(luò)發(fā)布OSS 域路由的策略Route-policy To-DCN-OSS

根據(jù)網(wǎng)絡(luò)設(shè)計(jì)，在PE和leaf節(jié)點(diǎn)配置BGP鄰居；兩個(gè)資源池是先后建立的，由于規(guī)劃的原因，它們使用的VLAN 是不同的。例如擬定為SSH 節(jié)點(diǎn)使用的VLAN112，再使用VLAN112部署在XSK節(jié)點(diǎn)，虛擬機(jī)部署成功后，網(wǎng)絡(luò)是不通的，因此，首先需要將測(cè)試VLAN導(dǎo)入到EVPN中。同時(shí)，虛擬機(jī)網(wǎng)絡(luò)使用內(nèi)網(wǎng)VLAN112，物理機(jī)主機(jī)由Bond 聚合網(wǎng)絡(luò)組成，通過(guò)對(duì)不同資源池建立相同內(nèi)網(wǎng)VLAN，由物理主機(jī)聚合網(wǎng)絡(luò)建立傳輸遷移介質(zhì)，實(shí)現(xiàn)異地遷移從而達(dá)到異地容災(zāi)的效果。資源池虛擬網(wǎng)絡(luò)信息如表3所示。

表3 資源池虛擬網(wǎng)絡(luò)配置詳情

3.3 測(cè)試VLAN虛擬網(wǎng)關(guān)的優(yōu)化

配置分布式網(wǎng)關(guān)：

配置設(shè)備：XSK-PE1 和XSK-PE2（策略按需調(diào)整），兩種設(shè)備具體配置相同

配置子接口Bundle-Ether100.112，包含vlan112

配置物理接口FortyGigE0/0/0/12 和FortyGigE0/0/0/13，加入聚合口Bundle-Ether100

配置BVI112，設(shè)定vrf BSS以及網(wǎng)關(guān)地址130.51.9.x54和mac-address 0.112.1

在evpn 下，配置evi 112 的bgp，設(shè)置rd 209:102，import和export route-target 值都為209:112，并開(kāi)啟廣播advertisemac

l2vpn evpn下，配置bridge group backup-system和bridgedomain backup-system

在Bundle-Ether100.112 下將BVI112 的routed 目的指向evi 112

為了方便測(cè)試，承載網(wǎng)絡(luò)將測(cè)試VLAN112 放通上層交換，同時(shí)虛擬機(jī)根據(jù)其所屬資源池通過(guò)虛擬網(wǎng)關(guān)與外界通信。由于需要將兩個(gè)資源池同時(shí)運(yùn)行HSRP并設(shè)定相同的網(wǎng)關(guān)，要求網(wǎng)絡(luò)實(shí)現(xiàn)兩邊雙Active。

實(shí)現(xiàn)原理如下：通過(guò)在4 臺(tái)Leaf 設(shè)備上配置限制HSRP的VMAC、Hello 報(bào)文、ARP 解析，使HSRP 不會(huì)在SSH、XSK隨VLAN 互相透?jìng)鞫_(dá)到隔離效果，最終實(shí)現(xiàn)兩邊雙Active。兩邊資源池（SSH、XSK）對(duì)于測(cè)試VLAN112，生成同一HSRP：132.121.81.254。

綜上所述，經(jīng)驗(yàn)證可以進(jìn)行虛擬機(jī)遷移測(cè)試。

4 虛擬機(jī)遷移測(cè)試及經(jīng)驗(yàn)總結(jié)

4.1 虛擬機(jī)跨資源池遷移

虛擬機(jī)原部署在CPU主頻較高的物理機(jī)向CPU主頻較低的物理上遷移，可成功，反向輕易也可成功。虛擬機(jī)原部署在CPU主頻較低的物理機(jī)向CPU主頻較高的物理機(jī)上遷移，無(wú)法實(shí)現(xiàn)跨池遷移。

4.2 虛擬機(jī)帶盤遷移測(cè)試

帶data 盤（200GB）的虛擬機(jī)遷移，用時(shí)7 分03 秒；裸機(jī)（不帶data盤，只有OS盤60GB）遷移虛擬機(jī)用時(shí)4分44秒。

測(cè)試具體結(jié)果如表4所示。

表4 遷移測(cè)試結(jié)果詳情

5 結(jié)語(yǔ)

通過(guò)在兩個(gè)leaf 節(jié)點(diǎn)分別建立兩個(gè)ID 相同的測(cè)試VLAN 和HSRP 默認(rèn)網(wǎng)關(guān)，并部署兩臺(tái)測(cè)試虛擬機(jī)。在驗(yàn)證網(wǎng)絡(luò)通訊正常后，SSH和XSK節(jié)點(diǎn)虛擬機(jī)在線雙向遷移測(cè)試均獲得成功。

本次測(cè)試驗(yàn)證了DCI 技術(shù)在實(shí)現(xiàn)云平臺(tái)跨節(jié)點(diǎn)資源部署、異地遷移容災(zāi)的功能，為后續(xù)廣東聯(lián)通云平臺(tái)新業(yè)務(wù)部署提供了強(qiáng)有力的支撐。

具體體現(xiàn)有如下幾點(diǎn)：

（1）解決了東西向的網(wǎng)絡(luò)流量的業(yè)務(wù)需求如：數(shù)據(jù)中心遷移和技術(shù)升級(jí)、數(shù)據(jù)中心POD之間的互聯(lián)、多站點(diǎn)之間的集群、東西向流量的牽引(比如firewall bypass)、新的業(yè)務(wù)類型如大數(shù)據(jù)可能帶來(lái)的不規(guī)律的浪涌流量；

（2）云平臺(tái)網(wǎng)絡(luò)資源無(wú)需考慮分配節(jié)點(diǎn)，打破局域網(wǎng)絡(luò)的現(xiàn)狀，網(wǎng)絡(luò)使用無(wú)局限；

（3）云平臺(tái)硬件資源打破異地的束縛，系統(tǒng)擴(kuò)容、新增更加自由；

（4）云平臺(tái)業(yè)務(wù)系統(tǒng)平臺(tái)異地化，資源部署節(jié)點(diǎn)、服務(wù)器可以跨資源池資源域進(jìn)行，能夠更加合理利用可用資源；

（5）較好實(shí)現(xiàn)云平臺(tái)異地容災(zāi)的目的，通過(guò)此技術(shù)，業(yè)務(wù)系統(tǒng)冗余備份節(jié)點(diǎn)多樣化使得業(yè)務(wù)系統(tǒng)能夠在資源域中切換主備，大大降低了業(yè)務(wù)系統(tǒng)由于宕機(jī)或者網(wǎng)絡(luò)問(wèn)題而影響業(yè)務(wù)的可能性；多數(shù)據(jù)中心高可用性和應(yīng)用冗余(應(yīng)用級(jí)熱備份數(shù)據(jù)中心)。

同時(shí)，實(shí)踐中也發(fā)現(xiàn)，虛擬機(jī)跨資源池遷移和管理存在一定的弊端，主要體現(xiàn)以下三點(diǎn)：

（1）由于DCI 主要用于跨機(jī)房容災(zāi)和虛擬機(jī)遷移，實(shí)現(xiàn)配置自動(dòng)化對(duì)云管平臺(tái)的兼容性要求較高，還涉及網(wǎng)絡(luò)控制器和云管平臺(tái)的對(duì)接；

（2）傳統(tǒng)資源分配的方式被打破，在業(yè)務(wù)系統(tǒng)分配資源時(shí)，需要考慮各資源池的網(wǎng)絡(luò)傳輸，要是物理機(jī)之間的網(wǎng)絡(luò)聚合不一致，可能會(huì)影響業(yè)務(wù)系統(tǒng)虛擬機(jī)之間的通訊質(zhì)量及網(wǎng)絡(luò)傳輸速率；

（3）業(yè)務(wù)系統(tǒng)沒(méi)有資源域之分，資源信息相對(duì)比較紊亂，虛擬機(jī)等相關(guān)臺(tái)賬管理的難度加大。

下一步工作需推進(jìn)數(shù)據(jù)中心網(wǎng)絡(luò)具備云網(wǎng)融合能力，通過(guò)部署云管平臺(tái)、SDN 控制器等，滿足云網(wǎng)絡(luò)自動(dòng)開(kāi)通、靈活部署、智能管控新型業(yè)務(wù)需求。