左 顏，柴小麗，顧燕飛

(華東計算技術(shù)研究所, 上海 201801)

萬兆以太網(wǎng)與RapidIO網(wǎng)絡的互連與傳輸

左 顏，柴小麗，顧燕飛

(華東計算技術(shù)研究所, 上海 201801)

伴隨著各種高性能計算系統(tǒng)的不斷發(fā)展，所采用的數(shù)據(jù)傳輸方式對系統(tǒng)整體性能的影響越來越重要。RapidIO是基于數(shù)據(jù)包交換的互連架構(gòu)體系，是能滿足各種高性能嵌入式系統(tǒng)需求的一種開放式互連技術(shù)標準。介紹了RapidIO的一些基本概念知識以及萬兆以太網(wǎng)的發(fā)展現(xiàn)狀，分析了RapidIO網(wǎng)絡和萬兆以太網(wǎng)的數(shù)據(jù)傳輸過程。介于有些實時數(shù)據(jù)需要在萬兆以太網(wǎng)和RapidIO網(wǎng)絡之間進行傳輸，提出了一種基于萬兆以太網(wǎng)和RapidIO網(wǎng)絡間數(shù)據(jù)轉(zhuǎn)換的網(wǎng)關(guān)設計。在硬件平臺中，充分使用資源設計并實現(xiàn)了10GE-RapidIO協(xié)議轉(zhuǎn)換的網(wǎng)關(guān)嵌入式軟件系統(tǒng)。采用IP-over-RapidIO技術(shù)，可以將以太網(wǎng)數(shù)據(jù)包封裝進RapidIO數(shù)據(jù)包中實現(xiàn)以太網(wǎng)數(shù)據(jù)包在RapidIO網(wǎng)絡中傳輸，即實現(xiàn)萬兆以太網(wǎng)和RapidIO網(wǎng)絡的互連互通。這種方法能使用戶專注于上層應用開發(fā)，不必過多關(guān)注于系統(tǒng)底層復雜的強實時RapidIO技術(shù)細節(jié)。最終通過搭建實驗平臺對該網(wǎng)關(guān)設計的實用性進行了驗證。

RapidIO；萬兆以太網(wǎng)；IP-over-RapidIO；網(wǎng)關(guān)

RapidIO是基于數(shù)據(jù)包交換的互連體系結(jié)構(gòu)，同時也是一種互連方式，具有卓越的性能以及簡易的結(jié)構(gòu)，能滿足各種高性能的嵌入式系統(tǒng)的要求。它具有很多優(yōu)越性，比如延時低、可靠性強、帶寬高和效率高等，可以為高性能嵌入式系統(tǒng)內(nèi)部互連提供優(yōu)秀的解決方案。RapidIO協(xié)議分為3個層：邏輯層、物理層和傳輸層[1]。邏輯層是最高層，所有的協(xié)議等都由邏輯層決定；地址空間和路由信息則由傳輸層決定；物理層位于最底層，事物傳輸方式以及接口信息等由其決定[2]。

以太網(wǎng)傳輸基于TCP/IP協(xié)議，在很多領域都有普遍的應用，而萬兆以太網(wǎng)傳輸方式更是引領于各種應用，成為一種主流趨勢。萬兆以太網(wǎng)絡采用全雙工與光纖的技術(shù)，其帶寬和處理能力更勝一籌，不受傳輸距離影響，保持了以太網(wǎng)的兼容性，使用方便且升級容易，普及率非常高。萬兆以太網(wǎng)技術(shù)相比普通以太網(wǎng)技術(shù)功能更新、更強大，這樣使得QoS得到了很大的提高[3]。

本文主要研究萬兆以太網(wǎng)和RapidIO網(wǎng)絡間實時數(shù)據(jù)轉(zhuǎn)換的網(wǎng)關(guān)設計。實時數(shù)據(jù)可以在萬兆以太網(wǎng)和RapidIO網(wǎng)絡間高效方便地傳輸通信。設計的重點就是可以構(gòu)造出將RapidIO數(shù)據(jù)包和TCP/IP數(shù)據(jù)包互為轉(zhuǎn)換的網(wǎng)關(guān)。該網(wǎng)關(guān)即為將萬兆以太網(wǎng)和RapidIO網(wǎng)絡連接起來。如圖1網(wǎng)關(guān)架構(gòu)所示，分布式計算系統(tǒng)內(nèi)部的處理節(jié)點間由RapidIO網(wǎng)絡互連，其中的每一個處理節(jié)點看做是RapidIO網(wǎng)絡中的的一個終端節(jié)點，RapidIO交換模塊用于完成交換功能[4]。分布式計算系統(tǒng)與10GE-RapidIO網(wǎng)關(guān)之間由RapidIO網(wǎng)絡互連，網(wǎng)關(guān)的另一端同時與萬兆以太網(wǎng)組建的IP網(wǎng)絡互連。IP網(wǎng)絡和RapidIO網(wǎng)絡的數(shù)據(jù)通信經(jīng)由10GE-RapidIO網(wǎng)關(guān)完成。

圖1 網(wǎng)關(guān)架構(gòu)

1 硬件體系結(jié)構(gòu)

整個網(wǎng)關(guān)設計環(huán)節(jié)最重要的部分就是處理器的選擇，在查閱相關(guān)文獻資料后，權(quán)衡比較了恩智浦公司的QorIQ P4080和P2020處理器，最終決定選擇QorIQ P4080高性能處理器為數(shù)據(jù)處理及交換的核心。P4080具有卓越的性能，能支持萬兆以太網(wǎng)和RapidIO網(wǎng)絡，符合該網(wǎng)關(guān)的要求。每個模塊之間通過超高速串行信號進行互連。單SRIO通道中數(shù)據(jù)傳輸率可以達到2.5 Gbps，數(shù)據(jù)吞吐率非常強。網(wǎng)關(guān)硬件平臺中板載2路萬兆以太網(wǎng)光纖接口及1路千兆以太網(wǎng)接口、1路RS232串行接口，通過后出線板即可擴展出更豐富的接口，具備超強的數(shù)據(jù)交換能力[5]。硬件結(jié)構(gòu)由CPU中央處理單元、萬兆以太網(wǎng)接口單元、高速串行交換單元、以太網(wǎng)接口單元、系統(tǒng)控制單元、電源管理單元和時鐘管理單元組成。硬件結(jié)構(gòu)框圖如圖2所示。

圖2 硬件結(jié)構(gòu)框圖

CPU中央處理單元：CPU中央處理單元是模塊的核心單元，采用QorIQ P4080作為處理器，它是由恩智浦公司生產(chǎn)的新一代高性能通信處理器。P4080處理器的內(nèi)核相比其他處理器而言更勝一籌。QorIQ P4080憑借結(jié)構(gòu)上的靈活性，使用者可以靈活地對控制數(shù)據(jù)路徑和應用處理進行區(qū)分[6-7]。

以太網(wǎng)接口單元：通過千兆以太網(wǎng)交換機得以將CPU與外設連接起來，同時也將單模塊單元與系統(tǒng)連接起來。通過底板上的千兆以太網(wǎng)接口與系統(tǒng)中其他模塊進行通信，主要用于發(fā)送、接收控制及命令信號。P4080片內(nèi)僅僅集成2路千兆以太網(wǎng)接口，與千兆以太網(wǎng)交換機連接后即可擴展為5路，模塊的適應性得到了很大的增強[8]。千兆交換機的PORT0～4作為MDI接口，PORT5作為MII接口，通過RGMII接口與CPU連接，采用全雙工工作方式，擁有1 000 Mbit/s的速率。千兆以太網(wǎng)交換機的SMI單元(串行管理接口)接入CPU，此時的CPU做為MAC，而交換機做為PHY。

萬兆以太網(wǎng)接口單元：由XAUI接口的萬兆以太網(wǎng)PHY芯片BCM8727以及SFP+光纖收發(fā)模塊組成，用于模塊與外部設備之間的接口，實現(xiàn)高速數(shù)據(jù)傳輸。BCM8727為雙通道10-GbE SFI-to-XAUI收發(fā)器，通過XAUI到SFI之間的接口轉(zhuǎn)換，從而實現(xiàn)了CPU與SFP+光模塊之間的通信。P4080Z作為萬兆以太網(wǎng)MAC，BCM8727作為萬兆以太網(wǎng)PHY，MAC通過SMI接口對PHY進行配置和管理，MAC與PHY之間通過XAUI進行數(shù)據(jù)交換[9]。

高速串行交換單元：高速串行交換單元包括SRIO信號交換以及PCIE信號交換，功能分別由SRIO交換機及PCIE交換機去實現(xiàn)，用于將CPU原生的SRIO及PCIE信號轉(zhuǎn)發(fā)到底板上，并擴展相應的通道路數(shù)，從而構(gòu)建出多接口的高速數(shù)據(jù)傳輸通道，即可實現(xiàn)模塊與系統(tǒng)之間的數(shù)據(jù)交換。

2 軟件系統(tǒng)結(jié)構(gòu)

該萬兆以太網(wǎng)與RapidIO網(wǎng)絡間數(shù)據(jù)轉(zhuǎn)換的網(wǎng)關(guān)設計采用IP-over-RapidIO技術(shù)將以太網(wǎng)數(shù)據(jù)包封裝進RapidIO數(shù)據(jù)包中實現(xiàn)以太網(wǎng)數(shù)據(jù)包在RapidIO網(wǎng)絡中傳輸，從而實現(xiàn)萬兆以太網(wǎng)和RapidIO網(wǎng)絡的互連。IP-over-RapidIO技術(shù)由網(wǎng)關(guān)相應的軟件系統(tǒng)實現(xiàn)。軟件系統(tǒng)結(jié)構(gòu)如圖3所示。

圖3 軟件系統(tǒng)結(jié)構(gòu)

IP-over-RapidIO技術(shù)是通過將以太網(wǎng)數(shù)據(jù)幀封裝在RapidIO數(shù)據(jù)幀中，得以實現(xiàn)以太網(wǎng)數(shù)據(jù)包在RapidIO網(wǎng)絡中傳輸?shù)哪康?。簡而言之，即將由TCP/IP協(xié)議棧層層封裝的數(shù)據(jù)幀封裝進RapidIO數(shù)據(jù)包中。這需要RapidIO以太網(wǎng)模擬器和RapidIO底層驅(qū)動互相協(xié)作來實現(xiàn)。

該技術(shù)的重點則是RapidIO地址是如何與IP地址映射的，以及在進行通信的時候，P4080處理器是如何處理來自兩個不同網(wǎng)絡的數(shù)據(jù)，即具體的實現(xiàn)過程。

要想使以太網(wǎng)數(shù)據(jù)包與RapidIO數(shù)據(jù)包能一一映射可以采用如下方法：可以令以太網(wǎng)數(shù)據(jù)包中的MAC地址中的最后兩位對應RapidIO數(shù)據(jù)包的ID號，比如以太網(wǎng)數(shù)據(jù)包的MAC地址為xy:xx:xx:xx:xx:ab,則相映射的RapidIO數(shù)據(jù)包ID號則為ab。在數(shù)據(jù)通信時，10GE-RapidIO網(wǎng)關(guān)接收到來自RapidIO設備發(fā)出的數(shù)據(jù)包，判斷RapidIO數(shù)據(jù)包ID號是否與以太網(wǎng)數(shù)據(jù)MAC地址最后兩位相一致。若不一致，則向RapidIO其他節(jié)點設備轉(zhuǎn)發(fā)數(shù)據(jù)包；若一致，則10GE-RapidIO網(wǎng)關(guān)向以太網(wǎng)設備轉(zhuǎn)發(fā)數(shù)據(jù)，以太網(wǎng)設備接收到來自網(wǎng)關(guān)轉(zhuǎn)發(fā)的數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)發(fā)流程如圖4所示。

圖4 數(shù)據(jù)轉(zhuǎn)發(fā)流程

RapidIO底層驅(qū)動為上層的以太網(wǎng)模擬器提供了數(shù)據(jù)傳輸接口，以太網(wǎng)模擬器則調(diào)用驅(qū)動利用RapidIO進行傳輸，也為上層MUX提供函數(shù)接口[10]。同時，以太網(wǎng)模擬器也可與MUX及上層TCP/IP協(xié)議棧進行數(shù)據(jù)交換、處理以太網(wǎng)數(shù)據(jù)包。

模擬器是調(diào)用RapidIO底層驅(qū)動，使用戶可以像使用以太網(wǎng)一樣，通過socket接口、TCP/IP協(xié)議使用RapidIO物理網(wǎng)絡。它使用RapidIO提供的直接IO/DMA或消息傳遞等數(shù)據(jù)傳遞方式來傳輸網(wǎng)絡數(shù)據(jù)，并可以使用門鈴中斷加以控制[11]。通俗地說，就是采用IP over RapidIO方法，在RapidIO網(wǎng)絡中將以太網(wǎng)數(shù)據(jù)幀封裝進RapidIO數(shù)據(jù)包中進行傳輸。以太網(wǎng)模擬器工作原理如圖5所示。

圖5 以太網(wǎng)模擬器工作原理

以太網(wǎng)模擬器工作原理：以太網(wǎng)-RapidIO轉(zhuǎn)換網(wǎng)關(guān)有兩個網(wǎng)絡接口，一個是以太網(wǎng)網(wǎng)絡接口，另外一個是RapidIO網(wǎng)絡接口，MUX接口層收到以太網(wǎng)數(shù)據(jù)包，并提交到上層，即轉(zhuǎn)換協(xié)議層。應用程序通過調(diào)用Socket接口可以將數(shù)據(jù)封裝入以太網(wǎng)數(shù)據(jù)幀，然后通過以太網(wǎng)物理層傳至以太網(wǎng)-RapidIO轉(zhuǎn)換網(wǎng)關(guān)，數(shù)據(jù)經(jīng)RapidIO以太網(wǎng)模擬器轉(zhuǎn)發(fā)至RapidIO網(wǎng)絡，經(jīng)解析后，即可上交至Socket接口，輸出RapidIO數(shù)據(jù)包[12]。

RapidIO的驅(qū)動包括控制器初始化、硬件抽象層初始化、網(wǎng)絡配置及通信控制若干部分。

控制器初始化即初始化硬件的接口、配置端口與寄存器、事務窗口維護、事務呼入呼出窗口讀寫、呼出門鈴窗口的配置，定義dmainit()、riodoorbellinit()、rioportwriteinit()等函數(shù)用來初始化DMA控制器、門鈴控制器和端口寫控制器等[13]。

硬件抽象層(HAL)利用統(tǒng)一的軟件接口來配置各種處理部件的寄存器。其函數(shù)通過配置讀寫操作，從而能夠訪問RapidIO器件的寄存器。

網(wǎng)絡配置劃分為動態(tài)網(wǎng)絡配置與靜態(tài)網(wǎng)絡配置，在此使用動態(tài)枚舉網(wǎng)絡配置資源[14]。

RapidIO支持的邏輯層業(yè)務包括直接IO/DMA和消息傳遞。在主設備知道被訪問端的存儲器映射的情況下可以使用直接IO/DMA，從設備的存儲器在這種情形下可以直接被主設備讀寫[15]。

3 實驗與結(jié)果

實驗環(huán)境搭建：1臺具有萬兆網(wǎng)卡的PC機，1臺RapidIO設備，以及10GE-RapidIO網(wǎng)關(guān)；PC機與RapidIO之間通過10GE-RapidIO網(wǎng)關(guān)連接。測試環(huán)境邏輯如圖6所示。

圖6 測試環(huán)境邏輯

實驗包括兩部分：連通性實驗與性能實驗。連通性實驗的目的是驗證網(wǎng)關(guān)外部以太網(wǎng)網(wǎng)絡與內(nèi)部RapidIO網(wǎng)絡能否正常通信。測試方法主要通過ping命令。具有萬兆網(wǎng)卡的PC機IP地址為：192.168.2.64，由RapidIO網(wǎng)絡互連的分布式計算系統(tǒng)內(nèi)部節(jié)點綁定虛擬IP地址為：192.168.2.2，用前者去ping后者，實驗結(jié)果如圖7所示。

圖7 以太網(wǎng)模塊ping RapidIO模塊實驗結(jié)果

性能測試是測試基于IP over RapidIO的數(shù)據(jù)傳輸速率。通過在不同的負載下，觀察數(shù)據(jù)傳輸速率的變化。本研究規(guī)定傳輸數(shù)據(jù)大小為512 M，將每次傳輸數(shù)據(jù)量大小分別定為64 K、256 K、1M、4M，分別來測試在不同負載情況下的數(shù)據(jù)傳輸速率。為了使得到的數(shù)據(jù)結(jié)果更直觀，將通過IP over RapidIO網(wǎng)關(guān)傳輸和直接通過萬兆以太網(wǎng)傳輸進行一個對比，得到如圖8所示的結(jié)果，其中：系列1為萬兆以太網(wǎng)方式傳輸；系列2為IP over RapidIO方式傳輸。

圖8 性能試驗結(jié)果

由圖8可知：采用萬兆以太網(wǎng)傳輸時，在不同負載情況下，數(shù)據(jù)傳輸速率的變化不大，保持在一個相對較穩(wěn)定的水平；而采用IP over RapidIO網(wǎng)關(guān)傳輸時，發(fā)現(xiàn)在負載為256 K時，數(shù)據(jù)傳輸速率較之前有近2倍的提高，而后隨著負載的逐漸增大，傳輸速率也穩(wěn)中有升。對于大數(shù)據(jù)量的傳輸，IP over RapidIO網(wǎng)關(guān)傳輸可以采用內(nèi)存映射即DMA數(shù)據(jù)傳輸，其帶寬可以達到相對較高水平。

通過上述連通性實驗與性能實驗，可以認定該10GE-RapidIO網(wǎng)關(guān)能夠達到初步的設計要求，可以在實際中使用。

4 結(jié)束語

本文分析了RapidIO與萬兆以太網(wǎng)TCP/IP協(xié)議的特點，通過采用IP over RapidIO的方法，在RapidIO網(wǎng)絡中將以太網(wǎng)的數(shù)據(jù)幀封裝進RapidIO數(shù)據(jù)包進行傳輸；將RapidIO協(xié)議和萬兆以太網(wǎng)協(xié)議互相轉(zhuǎn)換，從而實現(xiàn)萬兆以太網(wǎng)與RapidIO技術(shù)的相互連接與轉(zhuǎn)換。該網(wǎng)關(guān)解決了分布式計算系統(tǒng)中外部萬兆以太網(wǎng)與內(nèi)部RapidIO網(wǎng)絡互聯(lián)的數(shù)據(jù)交換，緩解了通信瓶頸壓力，增強了分布式計算系統(tǒng)的外部接口性能。

在以太網(wǎng)模擬器的設計中，因為以太網(wǎng)與RapidIO網(wǎng)絡之間的互聯(lián)與通信需要經(jīng)過MUX接口層、TCP/IP協(xié)議棧等，所以每層的處理都會對實時數(shù)據(jù)的傳輸速率帶來影響，故最終以太網(wǎng)數(shù)據(jù)包經(jīng)過解析后得到的RapidIO數(shù)據(jù)包數(shù)據(jù)傳輸速率會出現(xiàn)一部分的降低。針對該問題，可以采用以下方案解決：在以太網(wǎng)與RapidIO網(wǎng)絡中，不需要經(jīng)過MUX接口層及TCP/IP協(xié)議棧；在RapidIO數(shù)據(jù)包的幀頭寫入源ID與目的ID，將其與以太網(wǎng)數(shù)據(jù)包中的IP地址一一對應起來，IP發(fā)送ARP地址解析包，得到MAC地址，然后將IP地址與MAC地址存入以太網(wǎng)數(shù)據(jù)幀中，從而可以實現(xiàn)以太網(wǎng)數(shù)據(jù)與RapidIO網(wǎng)絡數(shù)據(jù)的直接轉(zhuǎn)換與傳輸，所以傳輸速率會高于以太網(wǎng)模擬器的傳輸速率。該過程的具體實現(xiàn)將在下一階段的工作中完成。

[1] RapidIO Trade Association.RapidIO interconnect specification review1.3[S].Texas,USA:RapidIO Trade Association ,2005.

[2] 林玲，蔣俊，倪明.RapidIO在多處理器系統(tǒng)互連中的應用[J].計算機工程，2006，32(4):244-246.

[3] 李明,康靜秋.嵌入式TCP/IP協(xié)議棧的研究與開發(fā)[J].計算機工程與應用,2002,38(16):118-121.

[4] 高毅，劉永強，趙小冬.基于串行RapidIO協(xié)議的包交換模塊的設計與實現(xiàn)[J].航空計算技術(shù)，2010,40(1)：123-125.

[5] 吳海燕.基于RapidIO總線的信號處理平臺設計[D].成都：電子科技大學，2009.

[6] P4080 QorIQ Integrated Multicore Communication Processor Family Reference Manual Supports P4080[EB/OL].[2010-08-20].Freescale Semiconductor,Inc.2010.

[7] Freescale.MPC8641D Integrated Host Processor Family Reference Manual[Z].2008.

[8] 張娟娟，陳迪平，柴小麗.VxWorks下RapidIO互連系統(tǒng)的實現(xiàn)[J].計算機工程，2011,15(3):176-178.

[9] 尹亞明，李瓊，郭御風，等.新型高性能RapidIO互連技術(shù)研究[J].計算機工程與科學，2004，26(12)：85-87.

[10]楊卿.RapidIO高速互聯(lián)接口的設計研究與應用[D].成都：電子科技大學，2009.

[11]王金剛，宮霄霖，熊輝.Wind River.VxWorks網(wǎng)絡程序員指南[M].北京：清華大學出版社，2003：186-193.

[12]呂佳彥，楊志義，於志文，等.VxWorks增強型網(wǎng)絡驅(qū)動程序(END)的分析與實現(xiàn)[J].計算機應用研究，2005，22(4):200-202.

[13]SAM F.RapidIO:The Embedded System Interconnect[M].London:John Wiley & Sons,Inc,2005.

[14]瞿俊杰.軟硬件協(xié)同設計技術(shù)研究[D].上海：同濟大學,2003.

[15]潘靈.桑楠.一種RapidIO網(wǎng)絡路徑分配策略[J].計算機應用，2008,28(Z2)：294-295.

(責任編輯 劉 舸)

Interconnection and Transmission of 10 Gigabit Ethernet with RapidIO Network

ZUO Yan, CHAI Xiaoli, GU Yanfei

(East China Institute of Computer Technology, Shanghai 201801, China)

With the continuous development of various high-performance computing systems, the impact of the data transmission on the overall performance of the system is more and more important. RapidIO is a packet-based interconnect architecture:an open interconnect technology standard that meets the needs of a variety of high-performance embedded systems. This thesis briefly introduces some basic concepts of RapidIO and the status of 10 Gigabit Ethernet, and then illustrates RapidIO network and 10 Gigabit Ethernet data transmission process. In that some real-time data needs to be transmitted between 10 Gigabit Ethernet and RapidIO networks, and an idea of gateway design based on data conversion between 10 Gigabit Ethernet and RapidIO networks is proposed. On the hardware platform, making full use of all resources to design and implement the 10GE-RapidIO protocol conversion gateway software system, and using IP-over-RapidIO technology to encapsulate Ethernet packets into the RapidIO packet Ethernet packets in the RapidIO network transmission can help achieve 10 Gigabit Ethernet and RapidIO network interconnection. This approach allows users to further focus on the application development and not to focus too much on complex system technical details. Finally, the design of gateway can be verified practically via establishing experimental platform and completing the experiment.

RapidIO；10 gigabit ethernet；IP-over-RapidIO；gateway

2017-04-09 作者簡介：左顏(1992—)，男，安徽合肥人，碩士研究生，主要從事嵌入式計算機系統(tǒng)結(jié)構(gòu)研究，E-mail:zuoyan135@163.com。

左顏，柴小麗，顧燕飛.萬兆以太網(wǎng)與RapidIO網(wǎng)絡的互連與傳輸[J].重慶理工大學學報(自然科學)，2017(8):134-139.

format：ZUO Yan, CHAI Xiaoli, GU Yanfei.Interconnection and Transmission of 10 Gigabit Ethernet with RapidIO Network[J].Journal of Chongqing University of Technology(Natural Science)，2017(8):134-139.

10.3969/j.issn.1674-8425(z).2017.08.022

TP302.1

A

1674-8425(2017)08-0134-06