林曉園,嚴(yán) 瓊,林靈燕

(福建江夏學(xué)院 電子信息科學(xué)學(xué)院,福建 福州 350108)

0 引言

當(dāng)前各大交換機(jī)設(shè)備廠商自行開(kāi)發(fā)的數(shù)據(jù)中心接入盒式交換機(jī)系統(tǒng)的軟件和硬件完全封閉,而隨著OCP(Open Compute Project)組織的形成[1],參與交換機(jī)軟件和硬件開(kāi)發(fā)設(shè)計(jì)的公司越來(lái)越多,使得硬件設(shè)計(jì)越來(lái)越標(biāo)準(zhǔn)化和模塊化。但現(xiàn)在各個(gè)廠商通過(guò)OCP開(kāi)放出來(lái)的數(shù)據(jù)中心接入盒式交換機(jī)的硬件整體(架構(gòu))設(shè)計(jì)方案并沒(méi)有形成統(tǒng)一的接口定義,各個(gè)廠家的設(shè)備不能互用,無(wú)法滿足新功能快速開(kāi)發(fā)部署的需求,且各自研發(fā)成本高昂,研發(fā)進(jìn)度受各大設(shè)備廠商的研發(fā)能力和資源的限制,不能滿足數(shù)據(jù)中心接入盒式交換機(jī)技術(shù)的快速迭代。為解決以上問(wèn)題,需要將交換機(jī)的架構(gòu)進(jìn)行分層開(kāi)放并推動(dòng)標(biāo)準(zhǔn)化進(jìn)程。本設(shè)計(jì)通過(guò)定義一系列硬件標(biāo)準(zhǔn)接口,以便更多的數(shù)據(jù)中心接入盒式交換機(jī)設(shè)備供應(yīng)商采用標(biāo)準(zhǔn)接口設(shè)計(jì)[2],更快更好地推動(dòng)不同廠商間設(shè)備的兼容互用和交換機(jī)的更新?lián)Q代。

1 現(xiàn)有數(shù)據(jù)中心接入盒式交換機(jī)架構(gòu)

以數(shù)據(jù)中心接入盒式交換機(jī)為例說(shuō)明現(xiàn)有接入交換機(jī)的硬件設(shè)計(jì)架構(gòu),如圖1所示。

圖1 現(xiàn)有數(shù)據(jù)中心接入盒式交換機(jī)架構(gòu)

交換機(jī)硬件系統(tǒng)一般由以下幾大部分構(gòu)成[3-6]:

(1)CPU部分。

CPU部分進(jìn)行系統(tǒng)的管理和配置。CPU由各大設(shè)備廠商選定,有ARM,PowerPC,MIPS,X86等系統(tǒng)架構(gòu)的IC,然后各大廠商根據(jù)設(shè)備運(yùn)行需求配置不同的片上存儲(chǔ)器如SSD,DDR內(nèi)存條。CPU包含PCIE,I2C,RGMII,URAT,SGMII等接口。CPU的URAT接口用于CPU控制臺(tái)信息輸出和控制信息輸入。CPU的RGMII或SGMII接口通過(guò)PHY芯片后連接到RJ45網(wǎng)口(101001 000 M),與外部管理網(wǎng)互聯(lián),用于信息傳輸和管理。

(2)Switch IC。

Switch IC負(fù)責(zé)網(wǎng)絡(luò)數(shù)據(jù)交換,Switch IC由各大設(shè)備廠商采購(gòu)Broadcom等公司的IC,Switch IC 包含PCIE、高速serdes等接口。

(3)PHY IC。

PHY IC主要進(jìn)行接口轉(zhuǎn)換、速率變換、增強(qiáng)信號(hào)等應(yīng)用,根據(jù)實(shí)際運(yùn)用需求選配,如果實(shí)際應(yīng)用中不需要PHY IC的功能,可去掉此部分。

以上交換機(jī)的設(shè)計(jì)各個(gè)接口由廠家定義,各個(gè)廠家之間無(wú)法實(shí)現(xiàn)互通,必須成套購(gòu)買(mǎi)整機(jī)設(shè)備,造成設(shè)備成本居高不下,也不便于設(shè)備應(yīng)用商根據(jù)業(yè)務(wù)需求進(jìn)行靈活配置。

2 數(shù)據(jù)中心接入盒式模塊化交換機(jī)架構(gòu)設(shè)計(jì)

鑒于以上問(wèn)題,本文提出數(shù)據(jù)中心接入盒式模塊化交換機(jī)架構(gòu)設(shè)計(jì)方案,如圖2所示。

圖2 數(shù)據(jù)中心接入盒式模塊化交換機(jī)架構(gòu)

此設(shè)計(jì)分為交換模塊、管理模塊、監(jiān)控模塊、電源模塊、風(fēng)扇模塊。

2.1 交換模塊

交換模塊包含Switch IC、PHY IC(根據(jù)需求配置)、光模塊等主要功能芯片。交換機(jī)的光模塊接口排布可根據(jù)芯片資源和應(yīng)用場(chǎng)景的需求進(jìn)行端口的均勻分布。交換模塊與其他模塊互連的接口定義如下:3個(gè)PCIE接口和1個(gè)電源口。1個(gè)PCIE接口直連到Switch IC。另2個(gè)PCIE接口連接到FPGA,2個(gè)FPGA的PCIE接口可根據(jù)需求選擇連接到CPU或BMC。FPGA通過(guò)可編程邏輯實(shí)現(xiàn)PCIE轉(zhuǎn)I2C的功能,可根據(jù)需求編寫(xiě)FPGA驅(qū)動(dòng),實(shí)現(xiàn)交換模塊的其他器件的管理,如管理光口的I2C和其他具有I2C接口的器件,也可通過(guò)編寫(xiě)FPGA邏輯實(shí)現(xiàn)PCIE轉(zhuǎn)其他接口,比如SPI接口等。

2.2 管理模塊

管理模塊包含CPU系統(tǒng)、串口和網(wǎng)口,其接口定義如下:3個(gè)PCIE接口、1個(gè)串口、1個(gè)網(wǎng)口、1個(gè)USB接口、1個(gè)電源接口。3個(gè)PCIE接口內(nèi)部模塊互連,串口、網(wǎng)口、USB接口與外部互連。

2.3 監(jiān)控模塊

監(jiān)控模塊包含BMC系統(tǒng)、串口和網(wǎng)口,其接口定義如下:3PCIE接口、1個(gè)串口、1個(gè)網(wǎng)口、1個(gè)電源接口。3個(gè)PCIE接口內(nèi)部模塊互連,串口、網(wǎng)口與外部互連。監(jiān)控模塊可根據(jù)需求選配,此部分功能也可以在管理模塊實(shí)現(xiàn)。

2.4 電源模塊

電源可采用220 V轉(zhuǎn)12 V電源模塊,輸出可采用統(tǒng)一的接口設(shè)計(jì)。共有5個(gè)相同電源接口,接口定義如下:+12V,GND,PS_ON,Power Good信號(hào)。

2.5 風(fēng)扇模塊

風(fēng)扇模塊包含可拔插的風(fēng)扇和風(fēng)扇控制板部分。風(fēng)扇控制板提供3個(gè)溫度傳感器接口,3個(gè)溫度傳感器分布在入風(fēng)口、最熱點(diǎn)、出風(fēng)口位置。整個(gè)風(fēng)扇模塊提供PCIE接口,與管理模塊或監(jiān)控模塊通信。接口定義如下:1個(gè)PCIE接口,3個(gè)I2C接口,2個(gè)電源接口。

3 通信接口PCIE定義

PCIE的管理接口設(shè)計(jì):

(1)交換模塊的PCIE接口由1個(gè)PCIE x4、GEN3,2個(gè)PCIE x1、GEN2構(gòu)成。

(2)管理模塊的PCIE接口由2個(gè)PCIE x4、GEN3,1個(gè)PCIE x1、GEN2構(gòu)成。

(3)監(jiān)控模塊的PCIE接口由1個(gè)PCIE x4、GEN3,2個(gè)PCIE x1、GEN2構(gòu)成。

(4)風(fēng)扇模塊的PCIE接口由1個(gè)PCIE x1、GEN2構(gòu)成。

交換模塊的Switch IC的1個(gè)PCIE x4、GEN3接口與管理模塊CPU的1個(gè)PCIE x4、GEN3接口互連,驅(qū)動(dòng)由Switch IC廠家提供的SDK進(jìn)行配置,CPU通過(guò)PCIE接口實(shí)現(xiàn)對(duì)Switch IC以及Switch IC外圍器件的管理。另外一個(gè)1個(gè)PCIE x1、GEN2接口由交換模塊上的FPGA芯片提供(或者其他PCIE轉(zhuǎn)I2C器件),通過(guò)FPGA實(shí)現(xiàn)PCIE轉(zhuǎn)I2C接口,可以與CPU模塊互連。

管理模塊的2個(gè)PCIE x4、GEN3分別與交換模塊Switch IC和監(jiān)控模塊BMC互連,1個(gè)PCIE x1、GEN2與交換模塊的FPGA互連。

監(jiān)控模塊的3個(gè)PCIE接口,1個(gè)PCIE x4、GEN3與管理模塊CPU互連,另外2個(gè)PCIE x1、GEN2分別與交換模塊FPGA和風(fēng)扇模塊互連。

風(fēng)扇模塊的PCIE接口與監(jiān)控模塊互連(沒(méi)有監(jiān)控模塊的情況下直接與管理模塊互連)。

CPU或BMC的PCIE通信協(xié)議與交換模塊FPGA之間的接口為例定義如下:

(1)FPGA主動(dòng)輪詢各個(gè)I2C通路(只要模塊在位,就主動(dòng)輪詢),FPGA將主動(dòng)輪詢各個(gè)器件數(shù)據(jù)定時(shí)收到FPGA內(nèi)部RAM中,軟件根據(jù)需要發(fā)起讀取操作,FPGA將存放在FPGA內(nèi)部的信息通過(guò)DMA的方式送給CPU[7]。如此設(shè)計(jì)的優(yōu)勢(shì)在于:①CPU不用參與讀取模塊操作,釋放CPU資源。②CPU不需要對(duì)FPGA內(nèi)部每個(gè)寄存器進(jìn)行讀取操作,增加CPU處理效率。

(2)軟硬件交互流程。

①寄存器說(shuō)明(未使用到的bit保留)。

dma_buf_base(32 bit):CPU內(nèi)存BUF基地址,用于存放FPGA上傳的數(shù)據(jù)(64 KB)。

dma_ctl(1bit):DMA操作控制寄存器,控制發(fā)起DMA讀操作,復(fù)位值為0。

②讀操作流程。

a. CPU檢測(cè)dma_ctl寄存器值為0后可發(fā)起DMA讀操作,將準(zhǔn)備好的內(nèi)存空間(連續(xù)64 KB)基地址寫(xiě)入dma_buf_base寄存器。

b. CPU完成dma_buf_base寄存器值寫(xiě)入后,CPU將dma_ctl寄存器置1,觸發(fā)FPGA發(fā)起DMA操作。

c. FPGA發(fā)現(xiàn)dma_ctl寄存器被置1后,將緩存在內(nèi)部RAM中的所有信息通過(guò)DMA的方式傳送到CPU內(nèi)存空間(空間的基地址為dma_buf_base寄存器中的值),發(fā)送的長(zhǎng)度固定為64 KB,DMA操作完成后將dma_ctl寄存器清0。

d. CPU輪詢到dma_ctl控制寄存器的值被清0后,從dma_buf_base基地址的內(nèi)存空間中取回讀回的值。同時(shí)可發(fā)起下一次的讀操作。

驅(qū)動(dòng)操作流程如圖3所示。

圖3 驅(qū)動(dòng)操作流程

4 結(jié)語(yǔ)

本文提出數(shù)據(jù)中心接入盒式交換機(jī)模塊化和標(biāo)準(zhǔn)接口的硬件架構(gòu)設(shè)計(jì),將交換機(jī)劃分為管理模塊、監(jiān)控模塊、交換模塊、風(fēng)扇模塊、電源模塊5大模塊。各個(gè)模塊采用統(tǒng)一的接口,其中通信接口采用高速、簡(jiǎn)潔、常用的PCIE接口,同時(shí)對(duì)PCIE接口協(xié)議進(jìn)行定義。通過(guò)將數(shù)據(jù)中心接入盒式交換機(jī)進(jìn)行模塊化和接口的標(biāo)準(zhǔn)化定義,實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)中心接入盒式交換機(jī)的設(shè)計(jì)標(biāo)準(zhǔn),解決了當(dāng)前各個(gè)廠家之間的設(shè)備不能模塊化互用的問(wèn)題。這樣既加速交換機(jī)的開(kāi)發(fā)與迭代,還能通過(guò)規(guī)模生產(chǎn)降低成本,具有很好的行業(yè)應(yīng)用價(jià)值。