文/宋文文 李莉

新一代數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)邏輯結(jié)構(gòu)的特點(diǎn)是“大二層結(jié)構(gòu)”。所謂“大二層”是指所有VLAN都可以延展到所有匯聚層、接入層交換機(jī)的VLAN結(jié)構(gòu)，這與傳統(tǒng)數(shù)據(jù)中心VLAN往往終結(jié)在接入層交換機(jī)的做法不同。大二層網(wǎng)絡(luò)結(jié)構(gòu)的需求是由如下原因決定的：

1.服務(wù)器虛擬化的要求：所有主流服務(wù)器虛擬化技術(shù)都能夠?qū)崿F(xiàn)不同程度的虛機(jī)在線遷移，而虛機(jī)遷移前后其MAC/IP地址等不變，決定了其遷移的源和目的應(yīng)在同一個(gè)VLAN；

2.網(wǎng)絡(luò)業(yè)務(wù)整合的需要：新一代數(shù)據(jù)中心網(wǎng)絡(luò)要求比傳統(tǒng)網(wǎng)絡(luò)更高的業(yè)務(wù)承載能力，各種應(yīng)用（比如Oracle RAC等）等都需要純二層網(wǎng)絡(luò)來提供其業(yè)務(wù)所需的低延遲、高吞吐、MAC層直接交換的網(wǎng)絡(luò)環(huán)境；

3.智能業(yè)務(wù)整合、集中部署的需求：為面向范圍更廣的接入層提供智能服務(wù)資源池，智能服務(wù)被要求集中化部署，這就需要有智能服務(wù)要求的VLAN都能延展到智能服務(wù)設(shè)施所在的匯聚層。

隨著應(yīng)用的數(shù)量迅猛增加，二層網(wǎng)絡(luò)的擴(kuò)展造成傳統(tǒng)二層技術(shù)在鏈路冗余能力、負(fù)載均衡能力、可擴(kuò)展性和網(wǎng)絡(luò)穩(wěn)定性上面的諸多問題，下面以某高校為例討論如何構(gòu)造一個(gè)可擴(kuò)展的大二層網(wǎng)絡(luò)。

大二層網(wǎng)絡(luò)設(shè)計(jì)技術(shù)

跨機(jī)箱的端口捆綁（VPC）

由于傳統(tǒng)二層網(wǎng)絡(luò)依靠生成樹（或生成樹的改進(jìn)協(xié)議，如快速生成樹、MSTP等）來實(shí)現(xiàn)冗余鏈路的負(fù)載均衡和故障切換，不僅設(shè)計(jì)復(fù)雜、建設(shè)維護(hù)管理難度大，而且鏈路負(fù)載不均、故障收斂慢且穩(wěn)定性差。一種摒棄生成樹的設(shè)計(jì)就是跨機(jī)箱實(shí)現(xiàn)以太網(wǎng)端口捆綁，如圖1所示：

這樣設(shè)計(jì)之后，向任何一對冗余的物理機(jī)箱的連接都可看成是連向一個(gè)邏輯設(shè)備，多條冗余的鏈路可被捆綁為一條邏輯鏈路，邏輯鏈路內(nèi)各物理鏈路可負(fù)載均衡和高效能故障切換。進(jìn)行跨機(jī)箱的端口捆綁要注意如下設(shè)計(jì)：

雙活故障逃生：跨機(jī)箱端口捆綁機(jī)制的潛在風(fēng)險(xiǎn)是一旦核心機(jī)箱間通信故障或軟件Bug，則會(huì)造成控制平面雙活，對不同跨機(jī)箱端口捆綁機(jī)制，雙活造成的影響不同，對于控制平面合并類型的機(jī)制，雙活會(huì)造成所有端口停止轉(zhuǎn)發(fā)的崩潰性后果；而對于雙機(jī)箱控制平面獨(dú)立的機(jī)制，則雙活只會(huì)造成配置同步的暫時(shí)中斷，不影響當(dāng)前的數(shù)據(jù)轉(zhuǎn)發(fā)。因此核心主干和接入交換機(jī)都應(yīng)當(dāng)選擇雙控制平面獨(dú)立的機(jī)制。

對外端口捆綁協(xié)議兼容性：跨機(jī)箱的端口捆綁，捆綁協(xié)議本身應(yīng)采用開放的IEEE 802.3ad，這樣使被上連的設(shè)備感覺不到正在上連雙設(shè)備，而是感覺與一個(gè)設(shè)備進(jìn)行多鏈路捆綁連接一樣。這樣的設(shè)計(jì)可提供更開放的互連擴(kuò)展性。

跨機(jī)箱數(shù)量：跨機(jī)箱端口捆綁一般是在兩個(gè)機(jī)箱實(shí)現(xiàn)，當(dāng)對超過兩個(gè)的多機(jī)箱進(jìn)行端口捆綁時(shí)，由于雙活甚至多活的幾率大增、多機(jī)箱間的協(xié)議和配置同步難度加大，系統(tǒng)會(huì)變得非常不穩(wěn)定，不適于在數(shù)據(jù)中心核心主干使用。如果要通過兩個(gè)以上的機(jī)箱的平行擴(kuò)展提高主干的容量，應(yīng)采用其他高擴(kuò)展性技術(shù)。

圖1 跨機(jī)箱的端口捆綁

二層多路徑（L2MP）

二層多路徑（L2MP）技術(shù)是將網(wǎng)絡(luò)層路由技術(shù)的高擴(kuò)展性、冗余性、負(fù)載均衡能力和策略性等優(yōu)勢移植到以太網(wǎng)MAC層實(shí)現(xiàn)的技術(shù)，好比是為鏈路層提供了與網(wǎng)絡(luò)層一樣的高級(jí)路由能力。由于L2MP技術(shù)基于已經(jīng)成熟的路由協(xié)議技術(shù)，具備更強(qiáng)的拓?fù)溥m應(yīng)性、更簡單的設(shè)置和管理（幾乎即插即用）、更開放架構(gòu)（IETF TRILL標(biāo)準(zhǔn)化），因此正在成為跨機(jī)箱捆綁機(jī)制的替代技術(shù)。

表1 跨機(jī)箱的端口捆綁技術(shù)和二層多路徑技術(shù)對比

交換機(jī)虛擬集群技術(shù)

經(jīng)過柜頂交換機(jī)連接的服務(wù)器連同機(jī)柜已經(jīng)形成一個(gè)完整的接入模塊，若干模塊可形成一個(gè)接入群組“POD”，這種接入方式易于升級(jí)、擴(kuò)展，便于排錯(cuò)管理

部分高端數(shù)據(jù)中心廠商已經(jīng)推出了數(shù)據(jù)中心核心/匯聚交換機(jī)與柜頂接入交換機(jī)虛擬化集群的技術(shù)，通過這種集群技術(shù)，所有柜頂交換機(jī)完全成為核心/匯聚交換機(jī)的遠(yuǎn)端板卡，整體將被看成一個(gè)完整的、高端口密度的交換機(jī)。整個(gè)數(shù)據(jù)中心工作起來象一個(gè)交換機(jī)一樣，因此不失為一種精簡架構(gòu)的大二層解決方案。但這種解決方案也有其一些問題，如：

接入層平面化：所有接入完全平面化，沒有層次化過載比設(shè)計(jì)，因而除非整個(gè)數(shù)據(jù)中心POD內(nèi)和POD之間的交換吞吐量基本沒有差異，否則就會(huì)導(dǎo)致有的部分效率低、有的部分性能不足的問題；

專有技術(shù)擴(kuò)展受限：交換矩陣擴(kuò)展是專有技術(shù)，在POD內(nèi)使用不會(huì)影響擴(kuò)展性，而全數(shù)據(jù)中心用一種專有技術(shù)，其擴(kuò)展性和擴(kuò)展規(guī)模將受限；

存儲(chǔ)網(wǎng)絡(luò)方案無平滑過渡：不僅數(shù)據(jù)部分平面化，而且存儲(chǔ)的設(shè)計(jì)也隨之平面化，現(xiàn)有的矩陣擴(kuò)展技術(shù)還不能解決在柜頂端提供傳統(tǒng)SAN接入交換的技術(shù)，必須采用FCoE Multi-hop或者另起單獨(dú)的存儲(chǔ)網(wǎng)絡(luò)來實(shí)現(xiàn)存儲(chǔ)互連。如果全數(shù)據(jù)中心都采用這種技術(shù)，則存儲(chǔ)的設(shè)計(jì)將只能在最新的FCoE Multi-hop和最傳統(tǒng)的單獨(dú)SAN網(wǎng)絡(luò)之間選擇，沒有二者共存、平滑過渡的選擇。

因此虛擬集群的模式雖然好，但存在實(shí)際部署的問題，因此它可用來在局部POD內(nèi)部署，或解決數(shù)據(jù)中心少數(shù)規(guī)模限度可預(yù)測、需極度精簡化的POD部署需求。

圖2 某高校數(shù)據(jù)中心大二層設(shè)計(jì)圖

某高校數(shù)據(jù)中心大二層設(shè)計(jì)

根據(jù)以上分析，各類解決方案都有其適用的范圍和獨(dú)特優(yōu)勢，一個(gè)大型的數(shù)據(jù)中心不可能只使用一種方法完成大二層部署，下面以某高校為例來說明技術(shù)選型原則：

網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

數(shù)據(jù)中心網(wǎng)絡(luò)采用核心+接入兩層網(wǎng)絡(luò)架構(gòu)，核心采用兩臺(tái)高性能交換機(jī)，接入層采用支持L2MP數(shù)據(jù)中心交換機(jī)構(gòu)建的虛擬交換集群作為虛擬化數(shù)據(jù)中心接入網(wǎng)絡(luò)。

數(shù)據(jù)中心網(wǎng)絡(luò)核心的兩臺(tái)交換機(jī)通過兩條或多條萬兆互聯(lián)，提高核心網(wǎng)絡(luò)的可用性；網(wǎng)絡(luò)核心與以太網(wǎng)通過4條萬兆鏈路進(jìn)行全網(wǎng)狀互聯(lián)，并利用鏈路聚合技術(shù)將與虛擬交換集群互聯(lián)的4條萬兆鏈路進(jìn)行匯聚；將4條萬兆鏈路匯聚后上聯(lián)至校園網(wǎng)核心，此時(shí)4條萬兆鏈路轉(zhuǎn)化成為邏輯上的一條40G的互聯(lián)鏈路。

網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)

不同的拓?fù)浣Y(jié)構(gòu)針對不同的應(yīng)用場景有其特殊的意義。雖然兩級(jí)網(wǎng)絡(luò)架構(gòu)在物理上看是由匯聚層和接入層兩級(jí)設(shè)備構(gòu)成的，但是在邏輯上卻是一張扁平化的大二層網(wǎng)絡(luò)，在這個(gè)扁平化的大二層網(wǎng)絡(luò)中不會(huì)再出現(xiàn)傳統(tǒng)以太網(wǎng)中遇到的環(huán)路產(chǎn)生的各種問題。

具體部署兩臺(tái)三層交換機(jī)構(gòu)建第一級(jí)網(wǎng)絡(luò)，兩臺(tái)交換機(jī)之間通過四條或者八條萬兆鏈路形成橫向互聯(lián)，增強(qiáng)匯聚層網(wǎng)絡(luò)的可用性。

其重要功能包括：

1. 用于匯聚來自第二級(jí)交換機(jī)；

2.用于通過多條萬兆鏈路與網(wǎng)絡(luò)核心設(shè)備互聯(lián)；

3.用于將數(shù)據(jù)中心虛擬化網(wǎng)絡(luò)擴(kuò)展至異地?cái)?shù)據(jù)中心；

4.用于在一級(jí)部署使用萬兆接口的服務(wù)器及FCoE存儲(chǔ)設(shè)備；

5.用于將原有光纖通道鏈路將原有的SAN存儲(chǔ)整合進(jìn)虛擬化網(wǎng)絡(luò)平臺(tái)。

第二級(jí)網(wǎng)絡(luò)支持L2MP的接入交換機(jī)成，按照架頂式部署，其主要功能為向PC 服務(wù)器提供千兆接入或萬兆以太網(wǎng)端口接入，每臺(tái)交換機(jī)通過兩條萬兆鏈路分別連至兩臺(tái)一級(jí)交換機(jī)，提高網(wǎng)絡(luò)的冗余和可用性；其中每臺(tái)接入交換機(jī)可以支持48個(gè)線速千兆以太網(wǎng)端口及4個(gè)線速萬兆以太網(wǎng)端口，主要負(fù)責(zé)為中低端PC服務(wù)器提供接入。

存儲(chǔ)網(wǎng)絡(luò)的設(shè)計(jì)

通過將現(xiàn)有的FCoE存儲(chǔ)接入數(shù)據(jù)中心，利用多跳的FCoE技術(shù)，使FCoE很容易的延伸到校園網(wǎng)的任何地點(diǎn)。傳統(tǒng)的FC交換機(jī)可以轉(zhuǎn)換成FCoE以滿足這種可擴(kuò)展性，從而可以根據(jù)實(shí)際的情況靈活部署。

擴(kuò)展性考慮

數(shù)據(jù)中心的設(shè)計(jì)可以支持即插即用的擴(kuò)展能力，在未來服務(wù)器增加的情況下，很容易的做到多設(shè)備的接入。

虛擬化環(huán)境下，虛機(jī)的自動(dòng)漂移極大的提高了IT資源的動(dòng)態(tài)分配與應(yīng)用服務(wù)的高可用性，當(dāng)虛機(jī)漂移時(shí)，虛擬交換集群能夠自動(dòng)感知虛機(jī)，并將于該虛機(jī)關(guān)聯(lián)的各種屬性自動(dòng)應(yīng)用到交換機(jī)新的物理端口上。

虛擬集群交換技術(shù)在滿足各項(xiàng)豐富應(yīng)用特性的同時(shí)，邏輯機(jī)箱特性大大簡化了IT基礎(chǔ)設(shè)施的管理難度，當(dāng)應(yīng)用規(guī)模變得越來越大，虛擬交換集群也隨之?dāng)U大的同時(shí)，整個(gè)存儲(chǔ)網(wǎng)絡(luò)仍然是作為一臺(tái)交換機(jī)來管理，大大降低了管理成本。

大二層技術(shù)應(yīng)用總結(jié)

1.在核心/匯聚到個(gè)接入層設(shè)備之間采用L2MP：由于L2MP具備極強(qiáng)的擴(kuò)展性和拓?fù)溥m應(yīng)性，管理又相對簡單、即插即用，路由協(xié)議為基礎(chǔ)的冗余和負(fù)載均衡方法是經(jīng)過考驗(yàn)的穩(wěn)定方式，因此是用于網(wǎng)絡(luò)主干技術(shù)的最佳選擇；

2.邊緣采用跨機(jī)箱端口捆綁：由于服務(wù)器端、外接智能服務(wù)設(shè)備（防火墻、負(fù)載均衡設(shè)備等）大部分支持標(biāo)準(zhǔn)化的IEEE 802.3ad端口捆綁，因此對這些設(shè)備的接入適于使用跨機(jī)箱端口捆綁技術(shù)；

3.在POD內(nèi)使用交換機(jī)集群：交換機(jī)集群技術(shù)缺乏層次化、技術(shù)專有性強(qiáng)，不適于全數(shù)據(jù)中心部署，但其精簡化為單一管理節(jié)點(diǎn)的方式對層次化要求單一的POD內(nèi)部署則具備極大的優(yōu)勢，因此在POD內(nèi)進(jìn)行集群化部署。該技術(shù)也可對需極度精簡化、又不需層次化設(shè)計(jì)的多個(gè)POD進(jìn)行部署，將這些POD的所有交換機(jī)集群為單一邏輯交換機(jī)。

隨著數(shù)據(jù)中心內(nèi)虛擬化應(yīng)用的不斷擴(kuò)張，底層的數(shù)據(jù)行為也在悄然發(fā)生改變，帶動(dòng)了基礎(chǔ)架構(gòu)的演進(jìn)。云數(shù)據(jù)中心不僅需要高密度、大容量網(wǎng)絡(luò)設(shè)備，還需要合適的技術(shù)才能夠滿足大數(shù)據(jù)量行為的變化，并反過來提供經(jīng)過優(yōu)化的網(wǎng)絡(luò)平臺(tái)，這種從量到質(zhì)的變化將深刻影響數(shù)據(jù)中心技術(shù)的發(fā)展。

數(shù)據(jù)中心不再需要運(yùn)行生成樹協(xié)議（STP），不會(huì)阻斷鏈路，從而大大提升了數(shù)據(jù)中心的橫向網(wǎng)絡(luò)帶寬，很好地支持了服務(wù)器之間迅猛增加的橫向流量，使得二層網(wǎng)絡(luò)得到平滑擴(kuò)展。