張 寧，劉 軍，張書林，劉 識(shí)，唐 佳，王 穎，廣澤晶

?

基于OpenFlow的電力企業(yè)數(shù)據(jù)中心研究

張 寧，劉 軍，張書林，劉 識(shí)，唐 佳，王 穎，廣澤晶

（國(guó)家電網(wǎng)公司信息通信分公司，北京 100761）

近年來，隨著云計(jì)算、大數(shù)據(jù)技術(shù)的不斷應(yīng)用，企業(yè)云計(jì)算數(shù)據(jù)中心規(guī)模逐漸擴(kuò)大，計(jì)算資源、存儲(chǔ)資源的虛擬化技術(shù)為云數(shù)據(jù)中心的建設(shè)提供了計(jì)算和存儲(chǔ)保障。傳統(tǒng)網(wǎng)絡(luò)架構(gòu)已經(jīng)成為云數(shù)據(jù)中心發(fā)展的瓶頸，新的網(wǎng)絡(luò)架構(gòu)迫在眉睫。本文通過深入研究SDN技術(shù)以及OpenFlow技術(shù)，并對(duì)SDN技術(shù)當(dāng)前發(fā)展三種路線進(jìn)行對(duì)比分析，設(shè)計(jì)了電力企業(yè)云數(shù)據(jù)中心網(wǎng)絡(luò)。

電力企業(yè)；云數(shù)據(jù)中心；OpenFlow

0 引言

隨著國(guó)網(wǎng)信息化水平的不斷能提高，數(shù)據(jù)中心一級(jí)部署重要業(yè)務(wù)系統(tǒng)越來越多。近期，隨著更多云業(yè)務(wù)的上線，對(duì)網(wǎng)絡(luò)的虛擬化、彈性機(jī)制和可靠性方面提出了更高的要求。因此，針對(duì)SDN技術(shù)的數(shù)據(jù)中心網(wǎng)絡(luò)研究具有十分重要的意義。

1 概述

1.1 SDN技術(shù)

軟件定義網(wǎng)絡(luò)（Software Defined Network，SDN）[1]，是Emulex網(wǎng)絡(luò)一種新型網(wǎng)絡(luò)創(chuàng)新架構(gòu)， 是網(wǎng)絡(luò)虛擬化的一種實(shí)現(xiàn)方式，其核心技術(shù)OpenFlow通過將網(wǎng)絡(luò)設(shè)備控制面與數(shù)據(jù)面分離開來，從而實(shí)現(xiàn)了網(wǎng)絡(luò)流量的靈活控制，使網(wǎng)絡(luò)作為管道變得更加智能。

SDN中沒有很好定義的一個(gè)方面是控制器信息如何傳輸?shù)秸麄€(gè)網(wǎng)絡(luò)中的交換機(jī)和路由器。圖1顯示了SDN中信息如何交換。在信息交換的過程中，中央?yún)f(xié)調(diào)控制器將信息傳遞給開放式存儲(chǔ)控制器，開放式虛擬化控制器和SDN控制器。在這里，我們專注于使用OpenFlow等協(xié)議的SDN控制器將信息傳遞給網(wǎng)絡(luò)中的各種交換機(jī)和路由器。

SDN控制器[2]對(duì)網(wǎng)絡(luò)的控制主要是通過南向接口協(xié)議實(shí)現(xiàn),包括鏈路發(fā)現(xiàn)、拓?fù)涔芾怼⒉呗灾贫ǖ?，其中拓?fù)涔芾砗玩溌钒l(fā)現(xiàn)主要是控制其利用南向接口的上行通道對(duì)底層交換設(shè)備所上報(bào)的信息進(jìn)行統(tǒng)一的監(jiān)控和統(tǒng)計(jì)，表項(xiàng)下發(fā)和策略制定是控制器利用南向接口的下行通道對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行統(tǒng)一控制。

圖1 SDN信息交換示意圖

SDN北向接口是通過控制器向上層業(yè)務(wù)應(yīng)用開放的接口，其目標(biāo)是使得業(yè)務(wù)應(yīng)用能夠便利地調(diào)用底層的網(wǎng)絡(luò)資源和能力。通過北向接口，網(wǎng)絡(luò)業(yè)務(wù)的開發(fā)者能以軟件編程的形式調(diào)用各種網(wǎng)絡(luò)資源;同時(shí)上層的網(wǎng)絡(luò)資源管理系統(tǒng)可以通過控制器的北向接口全局把控整個(gè)網(wǎng)網(wǎng)絡(luò)的資源狀態(tài)，并對(duì)資源進(jìn)行統(tǒng)一調(diào)度。因?yàn)楸毕蚪涌谑侵苯訛闃I(yè)務(wù)應(yīng)用服務(wù)的，因此其設(shè)計(jì)需要密切聯(lián)系業(yè)務(wù)應(yīng)用需求，具有多樣化的特征。同時(shí)，北向接口的設(shè)計(jì)是否合理、便捷，以便能被業(yè)務(wù)應(yīng)用廣泛調(diào)用，會(huì)直接影響到SDN控制器廠商的市場(chǎng)前景。

與南向接口方面已有OpenFlow等國(guó)際標(biāo)準(zhǔn)不同，北向接口方面還缺少業(yè)界公認(rèn)的標(biāo)準(zhǔn)，因此，北向接口的協(xié)議制定成為當(dāng)前SDN領(lǐng)域競(jìng)爭(zhēng)的焦點(diǎn)，不同的參與者或者從用戶角度出發(fā)，或者從運(yùn)營(yíng)角度出發(fā)，或者從產(chǎn)品能力角度出發(fā)提出了很多方案。據(jù)悉,目前至少有20種控制器,每種控制器會(huì)對(duì)外提供北向接口用于上層應(yīng)用開發(fā)和資源編排。雖然北向接口標(biāo)準(zhǔn)當(dāng)前還很難達(dá)成共識(shí)，但是充分的開放性、便捷性、靈活性將是衡量接口優(yōu)劣的重要標(biāo)準(zhǔn)，例如REST API就是上層業(yè)務(wù)應(yīng)用的開發(fā)者比較喜歡的接口形式。部分傳統(tǒng)的網(wǎng)絡(luò)設(shè)備廠商在其現(xiàn)有設(shè)備上提供了編程接口供業(yè)務(wù)應(yīng)用直接調(diào)用，也可被視作是北向接口之一，其目的是在不改變其現(xiàn)有設(shè)備架構(gòu)的條件下提升配置管理靈活性，應(yīng)對(duì)開放協(xié)議的競(jìng)爭(zhēng)。

控制器負(fù)責(zé)整個(gè)SDN網(wǎng)絡(luò)的集中化控制，對(duì)于把握全網(wǎng)置資源視圖、改善網(wǎng)絡(luò)資源交付都具有非常重要的作用。但控制能力的集中化，也意味著控制器局的安全性和性能成為全網(wǎng)的瓶頸;另外，單一的控制器也無法應(yīng)對(duì)跨多個(gè)地域的SND網(wǎng)絡(luò)問題，需要多個(gè)SDN控制器組成的分布式集群，以避免單一的控制器節(jié)點(diǎn)在可靠性、擴(kuò)展性、性能方面的問題。目前，用于多個(gè)控制器之間溝通和聯(lián)系的東西向接口還沒定義標(biāo)準(zhǔn)，但一些非常成熟的集群技術(shù)可以被運(yùn)用到SDN網(wǎng)絡(luò)中來解決上述難題。

1.2 OpenFlow技術(shù)

OpenFlow規(guī)范的幾個(gè)版本現(xiàn)在已經(jīng)發(fā)布給業(yè)界，并且有幾種產(chǎn)品開始在市場(chǎng)上出現(xiàn)[3]。谷歌已經(jīng)宣布，為了提高效率以及較低能耗比，它已經(jīng)重新設(shè)計(jì)了網(wǎng)絡(luò)在OpenFlow標(biāo)準(zhǔn)下運(yùn)行。有些學(xué)者認(rèn)為這是OpenFlow的專有實(shí)現(xiàn)，因?yàn)榇蟛糠珠_發(fā)是在最新的OpenFlow規(guī)范發(fā)布之前完成的。NEC和HP也宣布在他們的網(wǎng)絡(luò)產(chǎn)品中提供OpenFlow支持。一個(gè)名為“Project Floodlight”的開源Open Flow控制器已經(jīng)由一家名為Big Switch Networks的創(chuàng)業(yè)公司發(fā)布，并引起了業(yè)界的極大興趣。另外，印第安納大學(xué)還開設(shè)了一個(gè)SDN互操作性實(shí)驗(yàn)室來測(cè)試Open Flow產(chǎn)品之間的兼容性。

Open Flow背后的思想是將分布式的網(wǎng)絡(luò)智能從移動(dòng)中移走模型轉(zhuǎn)換為使用通用Open Flow控制器的集中模型，如圖2所示。傳統(tǒng)的數(shù)據(jù)中心交換機(jī)和路由器通過標(biāo)準(zhǔn)的數(shù)據(jù)交換協(xié)議了解自己的環(huán)境，并且每個(gè)都維護(hù)有關(guān)整個(gè)網(wǎng)絡(luò)的狀態(tài)信息，并將其轉(zhuǎn)換為轉(zhuǎn)發(fā)表。如果新的交換機(jī)或端點(diǎn)被添加到網(wǎng)絡(luò)中，則該信息被傳播到相關(guān)網(wǎng)絡(luò)域中的所有交換機(jī)和路由器，并且使用該信息來更新其轉(zhuǎn)發(fā)表。這給每個(gè)交換機(jī)都增加了成本和復(fù)雜性。

圖2 Open Flow控制器的集中模型

OpenFlow通過使用OpenFlow控制器提供網(wǎng)絡(luò)的集中視圖來改變上述的問題[4]?？刂破骶S護(hù)網(wǎng)絡(luò)的狀態(tài)，并簡(jiǎn)單地將轉(zhuǎn)發(fā)表填充到網(wǎng)絡(luò)中的所有交換機(jī)和路由器中。網(wǎng)絡(luò)中的任何變化都會(huì)傳送給控制器，然后控制器更新其集中狀態(tài)表。然后它使用此信息來確定如何填充其控制的每臺(tái)交換機(jī)和路由器中的轉(zhuǎn)發(fā)表，并使用OpenFlow API將這些信息傳遞給這些設(shè)備。集中式控制平面與分布式數(shù)據(jù)平面的分離是OpenFlow背后的主要思想之一。

Open Flow的一個(gè)關(guān)鍵方面是在圖2所示的控制器和網(wǎng)絡(luò)設(shè)備之間使用的開放API。API是一種應(yīng)用接口，便于Open API允許網(wǎng)絡(luò)設(shè)備供應(yīng)商與行業(yè)標(biāo)準(zhǔn)控制器進(jìn)行通信，并允許數(shù)據(jù)中心管理員使用來自多個(gè)供應(yīng)商的設(shè)備，從而消除早期OEM設(shè)備中的軟件鎖定問題。圖3顯示了OpenFlow如何與使用傳統(tǒng)的網(wǎng)絡(luò)操作系統(tǒng)進(jìn)行比較。

一個(gè)傳統(tǒng)的網(wǎng)絡(luò)操作系統(tǒng)被編寫來與一個(gè)給定的交換芯片供應(yīng)商的特定API一起工作。一些芯片供應(yīng)商通過將網(wǎng)絡(luò)設(shè)備OEM廠商鎖定在他們?cè)诙啻栊酒鲜褂玫奶囟ˋPI來利用這一優(yōu)勢(shì)。Open Flow通過使用輕量級(jí)的Open Flow API中介層來打破這種鎖定，該層簡(jiǎn)單地將Open Flow API函數(shù)調(diào)用轉(zhuǎn)換為切換特定的API函數(shù)調(diào)用但是，開關(guān)芯片需要恰當(dāng)?shù)貙?shí)現(xiàn)這些功能，以便利用Open Flow功能。目前許多開關(guān)芯片供應(yīng)商正在開發(fā)這些墊片層以符Open Flow標(biāo)準(zhǔn)。

圖3 與傳統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)傳輸進(jìn)行對(duì)比

2 SDN技術(shù)路線及對(duì)比分析

2.1 三種技術(shù)路線

在SDN技術(shù)誕生以來的這十多年發(fā)展演變中，根據(jù)控制器和網(wǎng)絡(luò)設(shè)備形態(tài)的不同組合，出現(xiàn)了三種不同的SDN方案路線，分別是自研控制器+白盒硬件路線，廠商控制器+廠商硬件路線，以及自研控制器+廠商硬件路線[5]。

2.1.1 自研控制器+白盒硬件路線

由用戶自行完成SDN網(wǎng)絡(luò)管理編排層開發(fā)、控制器層開發(fā)，底層網(wǎng)絡(luò)設(shè)備層的開發(fā)可自行完成也可采用ODM廠家自帶的硬件操作系統(tǒng)，控制器一般采用行業(yè)標(biāo)準(zhǔn)的南北向接口來對(duì)接管理編排層及網(wǎng)絡(luò)設(shè)備層。在這個(gè)路線中，網(wǎng)絡(luò)設(shè)備的硬件和軟件解耦，硬件設(shè)備只做報(bào)文轉(zhuǎn)發(fā)，指導(dǎo)硬件轉(zhuǎn)發(fā)的系統(tǒng)軟件上收到一個(gè)集中的控制器軟件中?？刂破髦笇?dǎo)、“命令”硬件轉(zhuǎn)發(fā)的方式是給設(shè)備下發(fā)openflow流表，設(shè)備硬件根據(jù)流表對(duì)報(bào)文做無腦轉(zhuǎn)發(fā)。

考慮到控制器及白牌交換機(jī)的研發(fā)成本、人力成本、研發(fā)能力、白牌廠商支持能力問題，目前SDN控制器及白牌交換機(jī)均采用自研方式的商業(yè)案例較少，商用案例主要集中在互聯(lián)網(wǎng)公司及大型云服務(wù)提供商，主要用于數(shù)據(jù)中心及云計(jì)算。這種模式還沒有用于大型廣域網(wǎng)的案例。Google公司及Facebook在數(shù)據(jù)中心大量采用白牌交換機(jī)，交換機(jī)通過ODM廠商根據(jù)技術(shù)要求進(jìn)行批量生產(chǎn)，通過公司自研的SDN控制器對(duì)白盒交換機(jī)進(jìn)行統(tǒng)一納管。

2.1.2 廠商控制器+廠商硬件路線

控制器軟件和網(wǎng)絡(luò)硬件都由設(shè)備廠商提供，采用廠商經(jīng)過驗(yàn)證的SDN解決方案。網(wǎng)絡(luò)硬件在傳統(tǒng)的路由器交換機(jī)設(shè)備上，增加支持了SDN相關(guān)的功能協(xié)議（例如Netconf配置協(xié)議）。控制器給網(wǎng)絡(luò)設(shè)備下發(fā)配置或者下發(fā)業(yè)務(wù)流量隧道路徑，實(shí)現(xiàn)網(wǎng)絡(luò)配置的自動(dòng)化和運(yùn)維的智能化。

這種模式是當(dāng)前一個(gè)主流模式，網(wǎng)絡(luò)廠商針對(duì)局域網(wǎng)SDN及廣域網(wǎng)SDN已有較多解決方案及商用案例，在金融、互聯(lián)網(wǎng)、電信運(yùn)營(yíng)商均有實(shí)施經(jīng)驗(yàn)。

2.1.3 自研控制器+廠商硬件路線

基于白盒硬件設(shè)備的控制器軟件開發(fā)難度和工作量太大，為此有些公司企業(yè)采用一種折中的路線，網(wǎng)絡(luò)設(shè)備使用傳統(tǒng)網(wǎng)絡(luò)設(shè)備廠商的硬件，設(shè)備保留了各種路由協(xié)議和轉(zhuǎn)發(fā)功能，在這種傳統(tǒng)網(wǎng)絡(luò)設(shè)備基礎(chǔ)上，企業(yè)自研控制器軟件。

目前已知僅有騰訊公司在有限度的探討這種模式。

2.2 優(yōu)缺點(diǎn)比較

2.2.1 自研控制器+白盒硬件路線

優(yōu)點(diǎn)：

設(shè)備軟硬件分離解耦，可以比較方便地給設(shè)備和網(wǎng)絡(luò)添加新功能，SDN架構(gòu)自行研發(fā)，基于管理者對(duì)自身網(wǎng)絡(luò)的深刻理解，可開發(fā)出更貼近自身網(wǎng)絡(luò)業(yè)務(wù)需求的SDN應(yīng)用功能。確認(rèn)業(yè)務(wù)新需求后，可快速進(jìn)入開發(fā)驗(yàn)證工作，避免了新功能的演進(jìn)依賴于廠商更新設(shè)備。同時(shí)，SDN架構(gòu)體系可根據(jù)開發(fā)者業(yè)務(wù)組網(wǎng)需求對(duì)整體架構(gòu)進(jìn)行靈活調(diào)整，避免廠家技術(shù)及設(shè)備綁定。

硬件白盒化，成本也比傳統(tǒng)的網(wǎng)絡(luò)設(shè)備低。另外一方面，所有設(shè)備的轉(zhuǎn)發(fā)表項(xiàng)都由控制器軟件集中下發(fā)。對(duì)于規(guī)模較小、業(yè)務(wù)簡(jiǎn)單而且業(yè)務(wù)變化不大的網(wǎng)絡(luò)來說，控制器集中計(jì)算下發(fā)轉(zhuǎn)發(fā)流表比較容易實(shí)現(xiàn)。

缺點(diǎn)：

網(wǎng)絡(luò)的集中控制涉及網(wǎng)絡(luò)拓?fù)浜蜖顟B(tài)實(shí)時(shí)感知，路由轉(zhuǎn)發(fā)表項(xiàng)動(dòng)態(tài)計(jì)算等多方面復(fù)雜的挑戰(zhàn)和問題。分布在不同設(shè)備上運(yùn)行的各種網(wǎng)絡(luò)協(xié)議和技術(shù)——包括路由協(xié)議，MPLS轉(zhuǎn)發(fā)，二三層VPN，可靠性檢測(cè)和保護(hù)倒換等技術(shù)，所有這些技術(shù)都集中在一個(gè)控制器軟件上實(shí)現(xiàn)，對(duì)自身研發(fā)能力要求很高，需對(duì)軟件開發(fā)、業(yè)務(wù)應(yīng)用需求、網(wǎng)絡(luò)功能開發(fā)均具備較高研發(fā)能力。

對(duì)于規(guī)模相對(duì)較大、業(yè)務(wù)復(fù)雜的網(wǎng)絡(luò)（例如廣域骨干網(wǎng)）來說，控制器集中計(jì)算、實(shí)時(shí)更新網(wǎng)絡(luò)設(shè)備的轉(zhuǎn)發(fā)流表，則顯得力不從心。同時(shí)，商用的白盒機(jī)主要為交換機(jī)產(chǎn)品均用于數(shù)據(jù)中心網(wǎng)絡(luò)，現(xiàn)在業(yè)界無用于廣域網(wǎng)的路由器白牌設(shè)備。

白盒設(shè)備采用標(biāo)準(zhǔn)商業(yè)芯片，缺乏廠商定制芯片的強(qiáng)大功能特性。白盒廠商，無論是軟件廠商還是硬件廠商，他們的能力都會(huì)比較聚焦自己的領(lǐng)域，缺乏對(duì)設(shè)備軟硬件整體的認(rèn)知。同時(shí)，軟硬件的開發(fā)、測(cè)試、維護(hù)、問題處理需要耗費(fèi)用戶大量的人力成本。

白盒產(chǎn)品線不夠齊全，通常不會(huì)做核心設(shè)備，因核心設(shè)備技術(shù)門檻高，也不會(huì)去做功能要求很復(fù)雜的運(yùn)營(yíng)商設(shè)備，因?yàn)楣δ軓?fù)雜度高，技術(shù)難度高，問題排查難度大，無專業(yè)網(wǎng)絡(luò)廠商對(duì)網(wǎng)絡(luò)功能多年的研發(fā)基礎(chǔ)。而軟件和硬件分離，無法像傳統(tǒng)廠商那樣提供整體的服務(wù)，這將增大問題處理、方案設(shè)計(jì)的難度。

2.2.2 廠商控制器+廠商硬件路線

優(yōu)點(diǎn)：

憑借著網(wǎng)絡(luò)廠商在行業(yè)積累大量實(shí)際成功項(xiàng)目案例，解決方案非常成熟，可節(jié)約用戶軟硬件的開發(fā)、測(cè)試、維護(hù)的人力成本；高端路由器、交換機(jī)技術(shù)門檻高，網(wǎng)絡(luò)廠商設(shè)備具備多年的研發(fā)積累及市場(chǎng)考驗(yàn)，更加穩(wěn)定，同時(shí)，網(wǎng)絡(luò)廠商的設(shè)備類型豐富，板卡型號(hào)豐富，幾乎可適用于任何網(wǎng)絡(luò)場(chǎng)景。

網(wǎng)絡(luò)廠商提供全面的軟、硬件維護(hù)服務(wù)，故障解決能力更高。

缺點(diǎn)：

采用這種路線，硬件成本比白盒模式高；網(wǎng)絡(luò)廠商解決方案與廠商設(shè)備耦合度較高，容易形成廠商綁定；網(wǎng)絡(luò)廠商提供的網(wǎng)絡(luò)功能主要考慮大眾用戶需求，針對(duì)某一用戶的定制化需求開發(fā)，實(shí)現(xiàn)周期相對(duì)較長(zhǎng)。

2.2.3 自研控制器+廠商硬件路線

優(yōu)點(diǎn)：

SDN架構(gòu)的業(yè)務(wù)應(yīng)用及控制平面均為自行研發(fā)，基于管理者對(duì)自身網(wǎng)絡(luò)的深刻理解，可開發(fā)出更貼近自身網(wǎng)絡(luò)業(yè)務(wù)需求的SDN應(yīng)用功能；確認(rèn)業(yè)務(wù)新需求后，可快速進(jìn)入開發(fā)驗(yàn)證工作，避免了新功能的演進(jìn)依賴于廠商更新設(shè)備。

缺點(diǎn)：

對(duì)自身研發(fā)能力要求很高，用戶自身需要對(duì)軟件開發(fā)、業(yè)務(wù)應(yīng)用需求、網(wǎng)絡(luò)功能開發(fā)均具備較高研發(fā)能力；廠家只對(duì)自身硬件進(jìn)行維護(hù)，而用戶網(wǎng)絡(luò)的控制軟件、及網(wǎng)絡(luò)整體規(guī)劃將由用戶運(yùn)維團(tuán)隊(duì)自行完成，廠商無法提供專業(yè)的技術(shù)支持及網(wǎng)絡(luò)規(guī)劃支持。

目前主流設(shè)備廠商暫未提供此種部署模式，主要原因?yàn)榇朔N部署模式與主流網(wǎng)絡(luò)廠家存在嚴(yán)重利益沖突，等于將自身投入巨額研發(fā)成本及經(jīng)歷多年市場(chǎng)考驗(yàn)的網(wǎng)絡(luò)設(shè)備降級(jí)為白盒設(shè)備，此種模式未來會(huì)如何發(fā)展，前景還不明朗。

3 電力企業(yè)數(shù)據(jù)中心SDN設(shè)計(jì)

3.1 弱控制模式

采用此種部署模式時(shí)設(shè)備保留一部分路由控制平面，控制器只根據(jù)業(yè)務(wù)需求下發(fā)路由策略，不下發(fā)流表信息。設(shè)備根據(jù)自身路由轉(zhuǎn)發(fā)表完成業(yè)務(wù)流量轉(zhuǎn)發(fā)[7]。交換機(jī)實(shí)現(xiàn)VxLAN VTEP、VxLAN GW、 VxLAN IP GW的轉(zhuǎn)發(fā)封裝功能，同時(shí)通過標(biāo)準(zhǔn)EVPN完成隧道建立和地址學(xué)習(xí)。根據(jù)控制器制定的路由策略在EVPN隧道中轉(zhuǎn)發(fā)業(yè)務(wù)流量。

控制器只負(fù)責(zé)業(yè)務(wù)策略下發(fā)，不下發(fā)流表[8]。業(yè)務(wù)轉(zhuǎn)發(fā)采用網(wǎng)絡(luò)設(shè)備自身的路由表項(xiàng)?？刂破鞒霈F(xiàn)故障后，網(wǎng)絡(luò)設(shè)備通過自身路由表象與控制器前期下發(fā)的路由策略指導(dǎo)路由轉(zhuǎn)發(fā)，對(duì)現(xiàn)有業(yè)務(wù)轉(zhuǎn)發(fā)不構(gòu)成任何應(yīng)影響。可提供較高的網(wǎng)絡(luò)可靠性。采用業(yè)務(wù)策略下發(fā)的形式控制交換機(jī)轉(zhuǎn)發(fā)層面，交換機(jī)不必與控制器交互流表信息，減少了傳輸流表信息、卸載流表及加載流表的網(wǎng)絡(luò)延遲。因采用策略下發(fā)的模式對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行控制，對(duì)網(wǎng)絡(luò)業(yè)務(wù)流量轉(zhuǎn)發(fā)的控制能力沒有采用流表的實(shí)行靈活。

圖4 弱控制模式

3.2 分布式網(wǎng)關(guān)

網(wǎng)關(guān)部署在Leaf，所有相同VXLAN的網(wǎng)關(guān)IP和MAC相同，Border部署VXLAN，Leaf和Spine通過IP的ECMP互通，Leaf節(jié)點(diǎn)同時(shí)承擔(dān)VXLAN L2/3轉(zhuǎn)發(fā)，Leaf之間通過EVPN完成隧道建立和主機(jī)路由同步。

圖5 強(qiáng)控制模式

同一Leaf下的三層流量無需繞行到Spin，所有流量的路徑最優(yōu)。相關(guān)業(yè)務(wù)子網(wǎng)內(nèi)的MAC、ARP地址信息分?jǐn)偟讲煌姆植际骄W(wǎng)關(guān)上，如，leaf1上只有業(yè)務(wù)網(wǎng)絡(luò)1的虛機(jī)上線，無業(yè)務(wù)網(wǎng)絡(luò)2的虛機(jī)業(yè)務(wù)，那么leaf1上只需維護(hù)業(yè)務(wù)網(wǎng)絡(luò)1內(nèi)的MAC及ARP信息。無需維護(hù)整網(wǎng)的MAC及ARP信息，有效的將表象信息分擔(dān)到多臺(tái)leaf設(shè)備上，與集中式網(wǎng)關(guān)相比減少了單臺(tái)設(shè)備的表項(xiàng)資源消耗，更加適合大型云數(shù)據(jù)中心使用。需要運(yùn)維人員對(duì)網(wǎng)絡(luò)技術(shù)有一定的了解，underly網(wǎng)絡(luò)需要運(yùn)維人員手動(dòng)或通過部署軟件來搭建。

3.3 云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

基于國(guó)網(wǎng)數(shù)據(jù)中心網(wǎng)絡(luò)現(xiàn)狀及業(yè)務(wù)需求綜合考慮[9]，建議采用網(wǎng)絡(luò)廠商整體解決方案的發(fā)展路線，采用弱控制、分布式網(wǎng)關(guān)部署模式，同時(shí)結(jié)合國(guó)網(wǎng)統(tǒng)一云平臺(tái)，實(shí)現(xiàn)定制化的管理能力。網(wǎng)絡(luò)廠商在SDN領(lǐng)域具備較多成功案例及實(shí)施經(jīng)驗(yàn)，廠商的SDN解決方案在設(shè)計(jì)之初已經(jīng)對(duì)行業(yè)內(nèi)用戶的數(shù)據(jù)中心網(wǎng)絡(luò)對(duì)SDN技術(shù)的痛點(diǎn)及需求做過深入的市場(chǎng)調(diào)查及研究分析，所提供的解決方案可以有效解決用戶在數(shù)據(jù)中心SDN領(lǐng)域遇到的網(wǎng)絡(luò)問題。

網(wǎng)絡(luò)架構(gòu)：采用核心（Spine節(jié)點(diǎn)）+接入（leaf節(jié)點(diǎn)）的兩層網(wǎng)絡(luò)架構(gòu)，核心設(shè)備采用兩臺(tái)中高端交換機(jī)，虛擬化部署。每?jī)膳_(tái)接入交換機(jī)配置網(wǎng)絡(luò)虛擬化，并通過多條鏈路與核心交換機(jī)FULL MESH互聯(lián)。

網(wǎng)絡(luò)性能：若千兆服務(wù)器接入，推薦采用萬兆光纖鏈路上行；若萬兆服務(wù)器接入，推薦采用萬兆以上鏈路上行。上行鏈路建議多鏈路上行，分擔(dān)數(shù)據(jù)流量，降低超載比。

網(wǎng)絡(luò)管理：核心節(jié)點(diǎn)、接入節(jié)點(diǎn)、及安全設(shè)備接入管理網(wǎng)，虛擬網(wǎng)絡(luò)控制器通過管理網(wǎng)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)和安全資源的統(tǒng)一控制和調(diào)度。

網(wǎng)絡(luò)互通性：通過核心節(jié)點(diǎn)實(shí)現(xiàn)SDN網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)之間的互通[10]。

基于SDN的新型網(wǎng)絡(luò)架構(gòu)分為Underlay物理網(wǎng)絡(luò)和Overlay虛擬網(wǎng)絡(luò)，Underlay物理網(wǎng)絡(luò)的核心節(jié)點(diǎn)、接入節(jié)點(diǎn)和未來的Server 接入節(jié)點(diǎn)之間運(yùn)行三層動(dòng)態(tài)路由協(xié)議（推薦OSPF或ISIS），Overlay虛擬網(wǎng)絡(luò)采用EVPN+VXLAN，實(shí)現(xiàn)虛機(jī)VM在服務(wù)域內(nèi)的任意物理位置任意部署，任意擴(kuò)展，配合云平臺(tái)可以實(shí)現(xiàn)業(yè)務(wù)全自動(dòng)部署。

圖6 云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

4 結(jié)論

本文通過研究SDN、Openflow等技術(shù)，本文提出了SDN技術(shù)在廣域網(wǎng)和數(shù)據(jù)中心網(wǎng)絡(luò)兩種場(chǎng)景下應(yīng)用方式。數(shù)據(jù)中心網(wǎng)絡(luò)建議使用網(wǎng)絡(luò)廠商整體解決方案，采用弱控制、分布式網(wǎng)關(guān)部署模式，同時(shí)結(jié)合國(guó)網(wǎng)統(tǒng)一云平臺(tái)，實(shí)現(xiàn)定制化的管理能力。廣域網(wǎng)建議采用網(wǎng)絡(luò)廠商整體解決方案，同時(shí)自研上層管理平臺(tái)

[1] 張朝昆, 崔勇, 唐翯祎, 等. 軟件定義網(wǎng)絡(luò)(SDN)研究進(jìn)展[J]. 軟件學(xué)報(bào), 2015, 26(1): 62-81.

[2] 吳舜, 張輝, 邢寧哲, 等. 基于SDN的網(wǎng)絡(luò)運(yùn)維系統(tǒng)設(shè)計(jì)與開發(fā)[J]. 電信科學(xué), 2016, 32(3): 163-170.

[3] 蔡娟娟. 基于OpenFlow的SDN技術(shù)研究[J]. 電腦迷, 2016(6).

[4] 侯長(zhǎng)逸. OpenFlow網(wǎng)絡(luò)軟件路由研究[J]. 蘭州大學(xué)學(xué)報(bào)(自然科學(xué)版), 2013(2): 260-263.

[5] 王楠. Openflow網(wǎng)絡(luò)中路由機(jī)制的研究與實(shí)現(xiàn)[D]. 北京郵電大學(xué), 2012.

[6] 劉?？? 李集林, 張華健. 基于OpenFlow網(wǎng)絡(luò)的彈性服務(wù)質(zhì)量保障方法[J]. 計(jì)算機(jī)應(yīng)用, 2016, 36(s1): 20-24.

[7] 朱明明, 夏寅賁, 徐小飛. 基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)研究[J]. 郵電設(shè)計(jì)技術(shù), 2014(3): 23-29.

[8] 汪正康, 周鵬, 肖俊超, 等. 基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)資源調(diào)度機(jī)制[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2015, 24(8): 212-218.

[9] 吳強(qiáng), 徐鑫, 劉國(guó)燕. 基于SDN技術(shù)的數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)構(gòu)建[J]. 電信科學(xué), 2013, 29(1): 130-133.

[10] 賴香武, 彭大芹, 黃德玲, 等. 基于SDN的數(shù)據(jù)中心網(wǎng)絡(luò)路由算法研究[J]. 無線互聯(lián)科技, 2016(24): 38-40.

Research on Data Center Network of Electric Power Enterprise Based on OpenFlow

ZHANG Ning, LIU Jun, ZHANG Shu-lin, LIU Shi, TANG Jia, WANG Ying, GUANG Ze-jing

(State Grid Information & Telecommunication Branch, BeiJing 100761)

In recent years, with the continuous application of cloud computing and big data technology, the scale of enterprise cloud computing data center is gradually expanding. The virtualization technology of computing resources and storage resources provides computing and storage guarantee for the construction of cloud data center. Traditional network architecture has become the bottleneck of the development of cloud data center, and the new network architecture is imminent. Through in-depth study of SDN technology and OpenFlow technology, and comparative analysis of three current development routes of SDN technology, this paper designs the cloud data center network of power enterprises.

Electric power enterprise; Cloud data center; OpenFlow

TP393

A

10.3969/j.issn.1003-6970.2018.12.018

張寧(1989-)，男，中級(jí)工程師，從事電力數(shù)據(jù)通信網(wǎng)運(yùn)維管理；劉軍(1970-)，男，高級(jí)工程師，信息通信調(diào)度管理；張書林(1968-)，男，工程師，信息通信調(diào)度管理；劉識(shí)(1984-)，男，高級(jí)工程師，從事電力信息通信方式資源管理管理；唐佳(1985-)，女，高級(jí)工程師，從事電力信息通信方式資源管理管理；王穎(1980-)，女，高級(jí)工程師，從事電力信息通信系統(tǒng)管理；廣澤晶(1986-)，女，高級(jí)工程師，從事電力通信方式資源管理。

張寧，劉軍，張書林，等. 基于openflow的電力企業(yè)數(shù)據(jù)中心研究[J]. 軟件，2018，39（12）：77-82