?

支持RDMA的高速網(wǎng)絡(luò)對(duì)大數(shù)據(jù)與云計(jì)算平臺(tái)效率的影響

劉通

（邁絡(luò)思中國(guó)分公司，北京 100080）

摘 要大數(shù)據(jù)逐漸成為電信業(yè)實(shí)現(xiàn)業(yè)務(wù)分析與創(chuàng)新無可替代的技術(shù)手段。云計(jì)算平臺(tái)在電信行業(yè)的實(shí)施也成為不可逆轉(zhuǎn)的事實(shí)。如何部署高效、高性價(jià)比的大數(shù)據(jù)與云計(jì)算平臺(tái)是行業(yè)用戶面臨的共同挑戰(zhàn)。本文中探討的支持RDMA技術(shù)的高性能網(wǎng)絡(luò)在性能、效率、易管理性、可擴(kuò)展性等多維度為構(gòu)建高效大數(shù)據(jù)與云計(jì)算平臺(tái)提供關(guān)鍵技術(shù)支撐。

關(guān)鍵詞RDMA；InfiniBand；軟件定義；Hadoop；VXLAN

移動(dòng)互聯(lián)正在持續(xù)取代傳統(tǒng)通信模式，更多的數(shù)據(jù)流量通過日益增加的智能終端、移動(dòng)設(shè)備在3G/4G網(wǎng)絡(luò)上快速產(chǎn)生，移動(dòng)互聯(lián)甚至正在悄悄改變著運(yùn)營(yíng)商的業(yè)務(wù)收入格局。通過對(duì)用戶行為的準(zhǔn)確分析來快速?zèng)Q策出更具價(jià)值的移動(dòng)業(yè)務(wù)是運(yùn)營(yíng)商亟需落實(shí)的變革。隨著大數(shù)據(jù)平臺(tái)在電信業(yè)從實(shí)驗(yàn)階段走向?qū)嶋H應(yīng)用，大數(shù)據(jù)分析平臺(tái)的效率成為逐漸凸顯的新挑戰(zhàn)。

云計(jì)算平臺(tái)正在逐步取代傳統(tǒng)數(shù)據(jù)中心，為企業(yè)提供更靈活、更高投資回報(bào)率的IT系統(tǒng)。云計(jì)算平臺(tái)承載的應(yīng)用類型逐漸覆蓋整個(gè)數(shù)據(jù)中心的所有業(yè)務(wù)。應(yīng)用多樣化、用戶高密度、數(shù)據(jù)量不斷攀升等特點(diǎn)對(duì)云計(jì)算平臺(tái)提出更多的挑戰(zhàn)。

究竟什么樣的網(wǎng)絡(luò)是構(gòu)建高效大數(shù)據(jù)與云計(jì)算的基礎(chǔ)，需要從多個(gè)方面來考慮。下文將結(jié)合技術(shù)概念、實(shí)測(cè)結(jié)果、成功案例進(jìn)行具體探討。

1　高性能網(wǎng)絡(luò)核心技術(shù)

1.1 高速網(wǎng)絡(luò)評(píng)價(jià)標(biāo)準(zhǔn)

談到網(wǎng)絡(luò)的性能，通常最直觀的技術(shù)參數(shù)就是網(wǎng)絡(luò)帶寬，網(wǎng)絡(luò)帶寬固然是性能核心指標(biāo)之一，但是數(shù)據(jù)中心往往關(guān)心的是應(yīng)用程序?qū)嶋H需要的帶寬，以及如何將網(wǎng)絡(luò)的理論帶寬充分發(fā)揮出來。所以一個(gè)真正的高性能網(wǎng)絡(luò)不應(yīng)該僅僅提供理論高帶寬值，更重要的是如何讓應(yīng)用程序能夠充分利用帶寬。評(píng)價(jià)網(wǎng)絡(luò)性能的另外一個(gè)重要指標(biāo)就是網(wǎng)絡(luò)延遲。這一指標(biāo)也是很多IT人員經(jīng)常忽略的。影響到數(shù)據(jù)分析時(shí)效性與云計(jì)算應(yīng)用響應(yīng)時(shí)間的關(guān)鍵技術(shù)就是網(wǎng)絡(luò)延遲。網(wǎng)絡(luò)有效帶寬與通信低延遲的實(shí)現(xiàn)離不開先進(jìn)的網(wǎng)絡(luò)芯片及其對(duì)高效網(wǎng)絡(luò)協(xié)議的支持。

1.2 支持RDMA技術(shù)的高速網(wǎng)絡(luò)

處理高速增長(zhǎng)的數(shù)據(jù)，提供實(shí)時(shí)數(shù)據(jù)分析，為云用戶提供高速平臺(tái)等都對(duì)網(wǎng)絡(luò)的有效帶寬與延遲提出前所未有的需求。如今數(shù)據(jù)中心中的吉比特以太網(wǎng)正在迅速被10吉比特、40吉比特以太網(wǎng)、InfiniBand網(wǎng)絡(luò)所取代。其中同為工業(yè)標(biāo)準(zhǔn)的InfiniBand網(wǎng)絡(luò)以最高帶寬(100 Gbit/s)與最低延遲(小于0.7μs)一直雄踞高速網(wǎng)絡(luò)榜首。10吉比特以太網(wǎng)以及40吉比特以太網(wǎng)雖然帶寬較10吉比特以太網(wǎng)有數(shù)倍提升，但網(wǎng)絡(luò)延遲卻不是很理想。

InfiniBand以獨(dú)特的性能優(yōu)勢(shì)被高性能計(jì)算領(lǐng)域廣泛采用。其中遠(yuǎn)端內(nèi)存直接訪問技術(shù)(RDMA)為InfiniBand帶來傳統(tǒng)TCP/IP完全無法實(shí)現(xiàn)的高速數(shù)據(jù)傳輸特性。通過硬件支持RDMA技術(shù)才能將應(yīng)用程序在網(wǎng)絡(luò)上的性能瓶頸真正消除。TCP/IP由網(wǎng)絡(luò)層的IP協(xié)議和傳輸層的TCP協(xié)議組成。協(xié)議采用了4層的層級(jí)結(jié)構(gòu)（網(wǎng)絡(luò)接口層、網(wǎng)絡(luò)層、傳輸層、應(yīng)用層），每一層都呼叫它的下一層所提供的協(xié)議來完成自己的需求。如圖1所示，應(yīng)用程序需要傳輸數(shù)據(jù)時(shí)，需要經(jīng)過多次緩存拷貝，同時(shí)需要內(nèi)核介入來完成協(xié)議處理。因此傳統(tǒng)的TCP/IP技術(shù)在處理數(shù)據(jù)傳輸?shù)倪^程中需要占用大量的服務(wù)器資源，以致于TCP傳輸效率低下。

RDMA操作使應(yīng)用可以從一個(gè)遠(yuǎn)程應(yīng)用的內(nèi)存中讀數(shù)據(jù)或向這個(gè)內(nèi)存寫數(shù)據(jù)。RDMA操作用于讀寫操作的遠(yuǎn)程虛擬內(nèi)存地址包含在RDMA消息中傳送，遠(yuǎn)程應(yīng)用程序要做的只是在其本地網(wǎng)卡中注冊(cè)相應(yīng)的內(nèi)存緩沖區(qū)。遠(yuǎn)程節(jié)點(diǎn)的CPU在整個(gè)RDMA操作中并不提供服務(wù)，因此沒有帶來任何負(fù)載。通過類型值（鍵值）的使用，一個(gè)應(yīng)用程序能夠在遠(yuǎn)程應(yīng)用程序?qū)λM(jìn)行隨機(jī)訪問的情況下保護(hù)它的內(nèi)存。

高效的RDMA特性也是如今越來越多的企業(yè)應(yīng)用開始采用InfiniBand網(wǎng)絡(luò)的原因之一。Oracle、IBM DB2、Microsoft SQL Server、Hadoop、Teradata、SAP等都宣布成功支持InfiniBand RDMA技術(shù)。在移動(dòng)運(yùn)營(yíng)商，也有眾多采用InfiniBand網(wǎng)絡(luò)的成功案例。

值得一提的是RDMA不再是InfiniBand獨(dú)享的技術(shù)，最新的以太網(wǎng)也開始紛紛設(shè)計(jì)支持RDMA通信技術(shù)。其中iWARP (Intel為代表)與RoCE (Mellanox為代表)是最為主流的以太網(wǎng)對(duì)RDMA技術(shù)的實(shí)現(xiàn)。iWARP是軟件模擬實(shí)現(xiàn)RDMA，而RoCE是類似于InfiniBand的硬件支持RDMA技術(shù)，其對(duì)網(wǎng)卡芯片處理能力有更高要求，也因此RoCE能夠提供更高性能。雖然兩種技術(shù)都尚未達(dá)到InfiniBand的性能，但支持RDMA的以太網(wǎng)的確為數(shù)據(jù)中心提供了傳統(tǒng)以太網(wǎng)無法想象的應(yīng)用性能。

2　電信大數(shù)據(jù)平臺(tái)面臨的效率挑戰(zhàn)

Hadoop依然是當(dāng)前電信大數(shù)據(jù)應(yīng)用平臺(tái)的主流，其高可擴(kuò)展性的系統(tǒng)平臺(tái)由標(biāo)準(zhǔn)X86服務(wù)器組成。如今更快的CPU、SSD閃存、更快內(nèi)存使得每臺(tái)服務(wù)器的處理能力日益增強(qiáng)。加之?dāng)?shù)據(jù)量的爆炸性增長(zhǎng)、決策層對(duì)數(shù)據(jù)時(shí)效性的要求，IT管理員自然而然的想到網(wǎng)絡(luò)應(yīng)該由吉比特以太網(wǎng)提升到10吉比特以太網(wǎng)，從而實(shí)現(xiàn)高效平衡系統(tǒng)。毋庸置疑這是網(wǎng)絡(luò)升級(jí)的關(guān)鍵起因之一。然而簡(jiǎn)單從吉比特以太網(wǎng)升級(jí)到10吉比特以太網(wǎng)并不能完全解決大數(shù)據(jù)系統(tǒng)的效率問題。

圖1　TCP/IP 與RDMA的工作原理對(duì)比

升級(jí)網(wǎng)絡(luò)的最終目的是要對(duì)Hadoop軟件平臺(tái)性能提升發(fā)揮不可替代的作用。因此分析Hadoop應(yīng)用的網(wǎng)絡(luò)通信瓶頸至關(guān)重要。Hadoop模塊中設(shè)計(jì)密集通信的包括MapReduce以及HDFS。MapReduce中的Shuffle環(huán)節(jié)有大量數(shù)據(jù)交換在數(shù)據(jù)節(jié)點(diǎn)間產(chǎn)生 (如圖2所示)。

Hadoop的HDFS文件系統(tǒng)是所有上層應(yīng)用的基礎(chǔ)，所有數(shù)據(jù)除了本數(shù)據(jù)源之外還要通過網(wǎng)絡(luò)復(fù)制2個(gè)備份。因此數(shù)據(jù)寫的過程涉及大量網(wǎng)絡(luò)流量。當(dāng)然分析時(shí)的數(shù)據(jù)讀取也同樣涉及網(wǎng)絡(luò)流量。Hadoop數(shù)據(jù)分析需要頻繁數(shù)據(jù)讀寫，HDFS很容易成為性能瓶頸。

為了實(shí)現(xiàn)Hadoop性能突破，不能僅僅依靠吉比特以太網(wǎng)到10吉比特以太網(wǎng)的升級(jí)，應(yīng)該同時(shí)考慮在Hadoop軟件通信層面的革新。

RDMA技術(shù)已經(jīng)被Hadoop軟件用來降低網(wǎng)絡(luò)通信的消耗，其中MapReduce與HDFS都已經(jīng)有RDMA移植的開源軟件插件。只有支持RDMA的網(wǎng)絡(luò)才能發(fā)揮Hadoop通信層的移植帶來的好處，實(shí)現(xiàn)性能進(jìn)一步提升。

測(cè)試數(shù)據(jù)顯示，支持RDMA技術(shù)的10吉比特以太網(wǎng)會(huì)為Hadoop性能帶來相對(duì)于不支持RDMA的10吉比特以太網(wǎng)性能的翻倍提升。

除了Hadoop平臺(tái)，傳統(tǒng)數(shù)據(jù)庫(kù)Oracle、內(nèi)存式數(shù)據(jù)庫(kù)SAP Hana、Spark(RDMA版開發(fā)中)、MPP數(shù)據(jù)庫(kù)等都可以受益于RDMA網(wǎng)絡(luò)。

3　高性能網(wǎng)絡(luò)對(duì)云計(jì)算平臺(tái)影響

電信行業(yè)的云平臺(tái)具有規(guī)模巨大、業(yè)務(wù)復(fù)雜的特點(diǎn)。開放高效的云平臺(tái)組成技術(shù)是未來電信云的發(fā)展趨勢(shì)。SDN無疑是重要因素之一。除了SDN，效率與可擴(kuò)展性也是云計(jì)算環(huán)境越來越無法忽視的要素。云計(jì)算中的網(wǎng)絡(luò)效率離不開網(wǎng)絡(luò)虛擬化。高效網(wǎng)絡(luò)需具備高效網(wǎng)絡(luò)虛擬化技術(shù)。通過網(wǎng)卡芯片內(nèi)嵌交換機(jī)(eSwitch)與SR-IOV的支持，虛擬網(wǎng)卡的數(shù)據(jù)流可以繞開Hypervisor從而實(shí)現(xiàn)接近于物理網(wǎng)卡的網(wǎng)絡(luò)性能，同時(shí)大幅降低虛擬網(wǎng)絡(luò)對(duì)CPU資源的消耗。

在大型云計(jì)算環(huán)境中，覆蓋型網(wǎng)絡(luò)VXLAN/NVGRE也是必不可缺的技術(shù)，傳統(tǒng)VXLAN、NVGRE通過云管理軟件實(shí)現(xiàn)該項(xiàng)功能，網(wǎng)絡(luò)性能相較沒有使用VXLAN時(shí)會(huì)大幅下降，然而先進(jìn)的網(wǎng)卡可以將VXLAN/NVGRE功能卸載到網(wǎng)卡硬件完成，實(shí)現(xiàn)CPU資源的釋放和網(wǎng)絡(luò)性能的優(yōu)化。如圖3所示，硬件實(shí)現(xiàn)VXLAN功能的Mellanox以太網(wǎng)網(wǎng)卡為虛擬機(jī)帶來的網(wǎng)絡(luò)帶寬是軟件VXLAN的5倍。如果不具備硬件VXLAN技術(shù)，同樣是10吉比特以太網(wǎng)或40吉比特以太網(wǎng)網(wǎng)卡，其有效網(wǎng)絡(luò)資源將無法得到實(shí)際應(yīng)用。

云計(jì)算環(huán)境中的云存儲(chǔ)同樣可以借助RDMA技術(shù)實(shí)現(xiàn)高速存儲(chǔ)?，F(xiàn)在越來越多的文件系統(tǒng)與存儲(chǔ)開始支持RDMA。Ceph的RDMA版本在開發(fā)中，

圖2　Hadoop MapReduce數(shù)據(jù)交互

圖3　VXLAN 硬件卸載對(duì)網(wǎng)絡(luò)帶寬影響

Research on big data and cloud efficiency with high performance interconnect

LIU Tong

(Beijing Mellanox Technologies Co., Ltd., Beijing 100080, China)

Abstract Big data analytic is becoming the irreplaceable technology to perform business analysis and innovation in telecom. The trend of moving from traditional data center to cloud computing in telecom industry is also becoming irreversible. How to deploy effi cient big data and cloud platform with good price/performance is a big challenge. Research in this article will demonstrate RDMA enabled high performance interconnects brings high performance, effi ciency, manageability, scalability to build effi cient big data and cloud platform.

Keywords RDMA; Infi niBand; SDN; Hadoop; VXLAN GlusterFS、GPFS、Lustre都已支持RDMA。同時(shí)重點(diǎn)存儲(chǔ)廠商也有一系列存儲(chǔ)產(chǎn)品支持RDMA技術(shù)如EMC、Netapp、IBM、Seagate、華為、曙光、浪潮等。通過RDMA技術(shù)可以實(shí)現(xiàn)FC與TCP無法實(shí)現(xiàn)的存儲(chǔ)高吞吐量與高IOPs。

由于Mellanox網(wǎng)絡(luò)對(duì)SDN、SR-IOV、VXLAN卸載、RDMA，以及完整云平臺(tái)生態(tài)鏈的支持，大型云計(jì)算中心如微軟Azure、IBM Softlayer、Salesforce等通過Mellanox InfinniBad或以太網(wǎng)構(gòu)建最高性價(jià)比的云平臺(tái)。國(guó)內(nèi)也已經(jīng)有多家電信運(yùn)營(yíng)商采用Mellanox網(wǎng)絡(luò)構(gòu)建大數(shù)據(jù)與云計(jì)算平臺(tái)。

4　總結(jié)

網(wǎng)絡(luò)帶寬是網(wǎng)絡(luò)性能的重要指標(biāo)，但不能僅僅依靠帶寬來評(píng)定網(wǎng)絡(luò)性能的優(yōu)劣。如何將網(wǎng)絡(luò)性能高效性映射到應(yīng)用性能，需要網(wǎng)絡(luò)芯片具備更先進(jìn)的技術(shù)如高效通信協(xié)議RDMA，更多硬件卸載功能如SR-IOV與VXLAN Offload從而實(shí)現(xiàn)CPU資源的釋放、系統(tǒng)高可擴(kuò)展性，以及應(yīng)用性能最大化。

收稿日期：2015-01-06

文章編號(hào)1008-5599（2015）02-0074-04

文獻(xiàn)標(biāo)識(shí)碼A

中圖分類號(hào)TN915