王 陽 曾榮飛 李振宇 謝高崗

1(中國科學(xué)院計(jì)算技術(shù)研究所 北京 100190)2 (中國科學(xué)院大學(xué) 北京 100049)(wangyang2013@ict.ac.cn)

網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床關(guān)鍵技術(shù)綜述

王 陽1,2曾榮飛1李振宇1謝高崗1

1(中國科學(xué)院計(jì)算技術(shù)研究所 北京 100190)2(中國科學(xué)院大學(xué) 北京 100049)(wangyang2013@ict.ac.cn)

為解決TCPIP面臨的可擴(kuò)展性、動(dòng)態(tài)性和安全可控性等問題，研究人員提出了大量的新型網(wǎng)絡(luò)體系架構(gòu)、協(xié)議和算法等，而這些研究在部署與應(yīng)用前需要在一定規(guī)模的、逼近于真實(shí)網(wǎng)絡(luò)的試驗(yàn)床上進(jìn)行長時(shí)間的測(cè)試、評(píng)估和優(yōu)化.近年來,國內(nèi)外興起了網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的研究和建設(shè).然而,網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床在設(shè)計(jì)與實(shí)現(xiàn)中面臨一系列挑戰(zhàn).以實(shí)驗(yàn)所面臨的成本、可行性、可信性和可控性4個(gè)問題為出發(fā)點(diǎn)，總結(jié)了網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的需求及特性要求,歸納分析了其在虛擬化、網(wǎng)絡(luò)可編程性、聯(lián)邦管控、實(shí)驗(yàn)控制、測(cè)量與監(jiān)測(cè)等方面存在的技術(shù)挑戰(zhàn),并對(duì)關(guān)鍵技術(shù)、架構(gòu)和研究進(jìn)展進(jìn)行介紹與論述.最后分析了國內(nèi)外網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的建設(shè)與發(fā)展現(xiàn)狀,并討論了網(wǎng)絡(luò)試驗(yàn)床未來的發(fā)展趨勢(shì)和需要進(jìn)一步解決的問題.

未來互聯(lián)網(wǎng)；網(wǎng)絡(luò)試驗(yàn)床；聯(lián)邦；虛擬化；可編程性；管控；測(cè)量與監(jiān)測(cè)

現(xiàn)有的TCPIP網(wǎng)絡(luò)體系結(jié)構(gòu)在可擴(kuò)展性、動(dòng)態(tài)性和安全可控性等方面存在諸多問題[1]，為此研究人員提出了大量的新型網(wǎng)絡(luò)體系架構(gòu)[2-3]、協(xié)議和機(jī)制[4]，這些研究迫切需要大規(guī)模的部署、測(cè)試與驗(yàn)證.由于網(wǎng)絡(luò)體系結(jié)構(gòu)和物理設(shè)施的緊耦合，這些研究在實(shí)際網(wǎng)絡(luò)中進(jìn)行驗(yàn)證需要研發(fā)和部署新網(wǎng)絡(luò)物理設(shè)備，不僅周期長、投資大，而且影響現(xiàn)有網(wǎng)絡(luò)運(yùn)行[5].試驗(yàn)床作為一種折中方案，可有效緩解在實(shí)際網(wǎng)絡(luò)中部署周期長和成本高等問題，為新型網(wǎng)絡(luò)體系架構(gòu)、協(xié)議和算法的演進(jìn)式驗(yàn)證和部署提供了有效途徑[6].

早期試驗(yàn)床對(duì)多個(gè)實(shí)驗(yàn)的并發(fā)以及多層次協(xié)議實(shí)驗(yàn)支持不夠、使用率低、運(yùn)維和研發(fā)成本高、實(shí)驗(yàn)實(shí)現(xiàn)復(fù)雜[7].網(wǎng)絡(luò)虛擬化技術(shù)和軟件定義網(wǎng)絡(luò)(software defined networking, SDN)思想為網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的構(gòu)建提供了新的方法.Peterson等人[8]提出利用虛擬化技術(shù)將物理網(wǎng)絡(luò)映射為多個(gè)虛擬網(wǎng)絡(luò)，在每個(gè)虛擬網(wǎng)絡(luò)上運(yùn)行不同協(xié)議和網(wǎng)絡(luò)體系結(jié)構(gòu)，以“虛擬化”來支持多種網(wǎng)絡(luò)架構(gòu)并行.McKeown[9]提出的SDN,將數(shù)據(jù)平面與控制平面分離，使二者能夠獨(dú)立進(jìn)化，使得網(wǎng)絡(luò)的可編程更為簡單和靈活.眾多的研究機(jī)構(gòu)采用虛擬化與SDN機(jī)制，構(gòu)建了靈活性更高的試驗(yàn)床.

目前，網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床已經(jīng)進(jìn)入了全球化聯(lián)邦的發(fā)展階段，目標(biāo)是為各種實(shí)驗(yàn)提供一個(gè)覆蓋范圍廣、資源種類多的網(wǎng)絡(luò)基礎(chǔ)設(shè)施平臺(tái)，并將管理、控制和測(cè)量等平面與物理平面分離，實(shí)現(xiàn)對(duì)整個(gè)網(wǎng)絡(luò)的靈活管理和集中控制，使試驗(yàn)床成為互聯(lián)網(wǎng)架構(gòu)演進(jìn)式驗(yàn)證和部署的承載平臺(tái).

本文著重論述了網(wǎng)絡(luò)試驗(yàn)床在設(shè)計(jì)與構(gòu)建中需要重點(diǎn)關(guān)注的問題與共性技術(shù).首先分析和總結(jié)了網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的需求與特性、面臨的問題挑戰(zhàn)，并詳細(xì)論述了試驗(yàn)床的組網(wǎng)技術(shù)和控制平面的聯(lián)邦機(jī)制；在此基礎(chǔ)上，論述了實(shí)驗(yàn)支撐系統(tǒng)的關(guān)鍵架構(gòu)及技術(shù)；最后，介紹了國內(nèi)外代表性網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床(如GENI(global environment for networking innovations)[10]，F(xiàn)IRE(future Internet research and experimentation)①等)的研究進(jìn)展，并展望了試驗(yàn)床發(fā)展趨勢(shì)和需要進(jìn)一步解決的問題.

1 需求與挑戰(zhàn)

試驗(yàn)床種類繁多，但其根本目的是承載實(shí)驗(yàn)，實(shí)現(xiàn)未來網(wǎng)絡(luò)體系結(jié)構(gòu)、新型應(yīng)用的驗(yàn)證與部署.如圖1所示，以目前網(wǎng)絡(luò)實(shí)驗(yàn)面臨的成本、可行性、可信性和可控性4個(gè)問題[11-12]為出發(fā)點(diǎn)，分析了網(wǎng)絡(luò)試驗(yàn)床應(yīng)具備如下4個(gè)特性：

1) 支持實(shí)驗(yàn)的并發(fā)與隔離.并發(fā)性是指不同的實(shí)驗(yàn)可以共享相同的物理資源，如計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源等；隔離性是指以相同的物理資源為宿主的不同實(shí)驗(yàn)相互隔離、互不干擾，即計(jì)算、存儲(chǔ)和數(shù)據(jù)流隔離.實(shí)驗(yàn)的并發(fā)與隔離可提高物理資源的使用率、降低實(shí)驗(yàn)成本，更重要的是支持實(shí)驗(yàn)網(wǎng)絡(luò)和生產(chǎn)網(wǎng)絡(luò)的共存，使得試驗(yàn)床可以逐步地演進(jìn)成為未來互聯(lián)網(wǎng)絡(luò)的承載平臺(tái).

2) 支持多類型的實(shí)驗(yàn).網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床需要具備驗(yàn)證各種新型網(wǎng)絡(luò)體系架構(gòu)的實(shí)驗(yàn)?zāi)芰?，這就要求未來網(wǎng)絡(luò)試驗(yàn)床可以承載多層次、多領(lǐng)域的實(shí)驗(yàn)，為此要求試驗(yàn)床具有深層的可編程能力.可編程是指通過軟件方式控制計(jì)算和存儲(chǔ)的行為以及路由選擇和轉(zhuǎn)發(fā)策略等，使節(jié)點(diǎn)和網(wǎng)絡(luò)能夠部署標(biāo)準(zhǔn)或者非標(biāo)準(zhǔn)的網(wǎng)絡(luò)協(xié)議、用戶自定義軟件等.某些實(shí)驗(yàn)不僅要求在邊緣網(wǎng)絡(luò)具有可編程性，同時(shí)要求核心網(wǎng)絡(luò)也具有可編程性.

3) 大規(guī)模與異構(gòu)性.未來網(wǎng)絡(luò)試驗(yàn)床與模擬、仿真等方法相比，其優(yōu)勢(shì)是更逼近于真實(shí)網(wǎng)絡(luò)的實(shí)驗(yàn)環(huán)境，這就要求能夠?yàn)閷?shí)驗(yàn)者提供數(shù)量多、覆蓋廣、異構(gòu)的節(jié)點(diǎn)資源和網(wǎng)路資源，滿足大規(guī)模和異構(gòu)的實(shí)驗(yàn)需求.然而軟硬件資源、運(yùn)維成本、地理位置、專業(yè)領(lǐng)域特性等因素都極大地限制了試驗(yàn)床的規(guī)模和多樣性，試驗(yàn)床的聯(lián)邦可以克服這些制約因素，將小規(guī)模的、獨(dú)立的、功能單一的試驗(yàn)床聯(lián)邦成為一個(gè)大規(guī)模的和異構(gòu)的試驗(yàn)床.聯(lián)邦已成為網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床管理架構(gòu)的核心與關(guān)鍵技術(shù)之一.

4) 支持實(shí)驗(yàn)的整個(gè)生命周期.實(shí)驗(yàn)生命期包括實(shí)驗(yàn)資源的獲取和配置、部署與執(zhí)行、監(jiān)測(cè)與測(cè)量3個(gè)部分.網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床核心價(jià)值是為實(shí)驗(yàn)生命周期的各階段提供完善的服務(wù)，通過智能化和自動(dòng)化的功能縮短實(shí)驗(yàn)周期、提高實(shí)驗(yàn)準(zhǔn)確性，作為試驗(yàn)床即服務(wù)(testbed as a service, TaaS)[13]提供給實(shí)驗(yàn)用戶.

Fig. 1 Analyzing requirements and challenges of testbeds based on problems of network experiments圖1 實(shí)驗(yàn)面臨問題及網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的需求和挑戰(zhàn)

然而，試驗(yàn)床在實(shí)現(xiàn)上述需求和特性時(shí)仍面臨著諸多問題與挑戰(zhàn)：一方面是因?yàn)樵囼?yàn)床種類眾多，承載的實(shí)驗(yàn)類型和本身的定位不同；另一方面是因?yàn)樵囼?yàn)床是一個(gè)完整的網(wǎng)絡(luò)生態(tài)環(huán)境、架構(gòu)復(fù)雜.如圖2所示，試驗(yàn)床的整體架構(gòu)包括“四橫三縱”，根據(jù)試驗(yàn)床設(shè)施的部署層次可以分為四橫：由下到上包括資源層、管控層、聯(lián)邦層和實(shí)驗(yàn)層，根據(jù)對(duì)實(shí)驗(yàn)不同階段的支撐可以分為三縱，包括管理切面、實(shí)驗(yàn)控制切面、測(cè)量與監(jiān)測(cè)切面.

Fig. 2 Network Innovation testbed architecture圖2 網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床整體架構(gòu)

為滿足圖1中試驗(yàn)床的需求和特性，架構(gòu)中(如圖2所示)各部分所面臨的挑戰(zhàn)包括：

1) 試驗(yàn)床組網(wǎng).多類型實(shí)驗(yàn)的隔離并發(fā)需要可編程與虛擬化技術(shù)的支持，然而這些技術(shù)在不同組網(wǎng)模式(IP網(wǎng)絡(luò)或軟件定義網(wǎng)絡(luò))下存在隔離性、可編程性、可擴(kuò)展性和性能等問題，如何根據(jù)試驗(yàn)床的定位和各組網(wǎng)技術(shù)的優(yōu)缺點(diǎn)選擇合適的組網(wǎng)模式是試驗(yàn)床組網(wǎng)所面臨的第1個(gè)挑戰(zhàn)；可編程轉(zhuǎn)發(fā)設(shè)備構(gòu)建的網(wǎng)絡(luò)具有深層可編程能力，在應(yīng)用虛擬化技術(shù)時(shí)需要對(duì)不同實(shí)驗(yàn)的轉(zhuǎn)發(fā)行為和使用的資源進(jìn)行隔離，避免實(shí)驗(yàn)網(wǎng)絡(luò)間功能和性能的干擾，同時(shí)，虛擬化技術(shù)和數(shù)據(jù)包查找匹配操作限制了可編程設(shè)備的轉(zhuǎn)發(fā)性能，使其在構(gòu)建大型的試驗(yàn)床網(wǎng)絡(luò)時(shí)具有局限性，可編程網(wǎng)絡(luò)的虛擬化和性能優(yōu)化是試驗(yàn)床組網(wǎng)面臨的第2個(gè)挑戰(zhàn).

2) 聯(lián)邦機(jī)制.聯(lián)邦機(jī)制可滿足試驗(yàn)床大規(guī)模與資源異構(gòu)的需求.試驗(yàn)床管理平臺(tái)通常采用資源描述文件來描述和調(diào)度物理資源，然而設(shè)備多樣性導(dǎo)致描述文件的定義各不相同，使得試驗(yàn)床之間無法對(duì)資源進(jìn)行互操作，如何設(shè)計(jì)與定義資源的描述方式使其具備通用性和高可擴(kuò)展性，是聯(lián)邦機(jī)制面臨的首個(gè)挑戰(zhàn)；不同試驗(yàn)床管理平臺(tái)的軟件架構(gòu)、組件間的通信機(jī)制與接口、管理認(rèn)證機(jī)制等都存在較大差異，阻礙了試驗(yàn)床間的資源調(diào)度和授權(quán)與認(rèn)證，如何屏蔽各平臺(tái)功能的差異性，根據(jù)聯(lián)邦所要求的最小功能集合定義通用、強(qiáng)可擴(kuò)展性的軟件架構(gòu)、接口、通信與認(rèn)證機(jī)制是聯(lián)邦機(jī)制面臨的第2個(gè)挑戰(zhàn)；試驗(yàn)床聯(lián)邦需要根據(jù)聯(lián)邦機(jī)制定義的資源描述、架構(gòu)和接口等規(guī)范進(jìn)行管理平臺(tái)的二次開發(fā)，如何降低二次開發(fā)的難度與周期實(shí)現(xiàn)各試驗(yàn)床平臺(tái)的快速聯(lián)邦，是聯(lián)邦機(jī)制面臨的第3個(gè)挑戰(zhàn).

3) 實(shí)驗(yàn)支撐.用戶可手動(dòng)或使用工具部署與控制實(shí)驗(yàn)，工具對(duì)實(shí)驗(yàn)的控制粒度和所提供的功能決定了該試驗(yàn)床復(fù)現(xiàn)實(shí)驗(yàn)的能力，如何支持細(xì)粒度的實(shí)驗(yàn)流程的描述并設(shè)計(jì)基于描述的實(shí)驗(yàn)控制架構(gòu)是實(shí)驗(yàn)控制系統(tǒng)面臨的挑戰(zhàn)；試驗(yàn)床對(duì)測(cè)量系統(tǒng)提出了新的需要，如分布性、時(shí)序性和多工具兼容性等，如何根據(jù)新的需求設(shè)計(jì)測(cè)量系統(tǒng)架構(gòu)并實(shí)現(xiàn)兼容性和時(shí)序性等功能是測(cè)量系統(tǒng)面臨的挑戰(zhàn).

2 試驗(yàn)床組網(wǎng)

網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的組網(wǎng)直接決定其構(gòu)建成本、提供實(shí)驗(yàn)的能力和網(wǎng)絡(luò)擴(kuò)展性.試驗(yàn)床網(wǎng)絡(luò)需要支持不同層次的網(wǎng)絡(luò)實(shí)驗(yàn)并行于同一物理資源之上，且相互隔離、互不影響.一方面需要可編程技術(shù)實(shí)現(xiàn)軟件定義網(wǎng)絡(luò)轉(zhuǎn)發(fā)等行為，不再依賴于試驗(yàn)床的物理設(shè)備；另一方面需要虛擬化技術(shù)對(duì)物理資源從邏輯上進(jìn)行抽象與隔離.

目前主流的試驗(yàn)床網(wǎng)絡(luò)包括基于三層互聯(lián)的IP網(wǎng)絡(luò)及覆蓋網(wǎng)絡(luò)、基于二層互聯(lián)的OpenFlow[14]網(wǎng)絡(luò)和協(xié)議無關(guān)轉(zhuǎn)發(fā)網(wǎng)絡(luò)，它們?cè)谥С值膶?shí)驗(yàn)類型及可編程性、虛擬化與隔離性和可擴(kuò)展性等方面存在著較大差異，如表1所示：

Table 1 Comparison of Testbed Networking

① eXtensible Open Router Platform(XORP). http:www.xorp.org

2.1 三層組網(wǎng)

三層組網(wǎng)使用IP網(wǎng)絡(luò)，可以重新組網(wǎng)或使用基于現(xiàn)網(wǎng)的覆蓋網(wǎng)絡(luò)，具有成本低、技術(shù)成熟、高可靠性和高性能等優(yōu)勢(shì)，適用于三層之上的大規(guī)模和分布式的實(shí)驗(yàn).然而傳統(tǒng)IP網(wǎng)絡(luò)的可編程性較差，難以對(duì)三層實(shí)驗(yàn)進(jìn)行有效的驗(yàn)證，PlanetLab VINI[17]支持將Click[18]，XORP①等組件部署到終端服務(wù)器或虛擬機(jī)中，實(shí)現(xiàn)軟件方式的可編程轉(zhuǎn)發(fā)設(shè)備，并由實(shí)驗(yàn)提供IP地址空間到新型地址空間的映射，以O(shè)verlay方式運(yùn)行在IP網(wǎng)絡(luò)之上從而實(shí)現(xiàn)對(duì)三層相關(guān)實(shí)驗(yàn)的驗(yàn)證，但這種方式增大了實(shí)驗(yàn)部署難度，更重要的是影響了實(shí)驗(yàn)的真實(shí)性，如地址映射和不可控的IP路由帶來的額外延遲與性能的下降.

試驗(yàn)床通常采用基于標(biāo)簽的虛擬局域網(wǎng)(virtual local area network, VLAN)技術(shù)(802.1Q協(xié)議)、VXLAN[19]和NVGRE[20]等技術(shù)對(duì)局域網(wǎng)絡(luò)進(jìn)行切片和隔離,但傳統(tǒng)路由器無法做到設(shè)備級(jí)別的資源隔離[21]；采用虛擬專用網(wǎng)絡(luò)(virtual private network, VPN)技術(shù)連接跨地域的試驗(yàn)床網(wǎng)絡(luò)，擴(kuò)大網(wǎng)絡(luò)規(guī)模和聯(lián)邦試驗(yàn)床，如GEYSERS[22]使用的Q-in-Q和GpENI[23]使用的L2TPv3等.

IP網(wǎng)絡(luò)可以作為試驗(yàn)床的骨干網(wǎng)絡(luò)構(gòu)建大規(guī)模的實(shí)驗(yàn)環(huán)境，常用方式是使用二層VPN技術(shù)聯(lián)通各孤島，使其構(gòu)成一個(gè)大二層網(wǎng)絡(luò)，但這種方式可擴(kuò)展性較差，會(huì)造成核心交換機(jī)MAC表項(xiàng)過載和收斂速度下降；另一種方式是基于Internet的覆蓋網(wǎng)絡(luò)，如PlanetLab[24]具有良好的可擴(kuò)展性，但是鏈路帶寬、延遲等QoS難以保證，且和互聯(lián)網(wǎng)真實(shí)流量隔離性差.

2.2 二層組網(wǎng)

二層組網(wǎng)通常使用以太互聯(lián)SDN設(shè)備的方式進(jìn)行組網(wǎng)，基于VLAN和其他字段隔離流量，三層轉(zhuǎn)發(fā)邏輯可預(yù)設(shè)IP或部署實(shí)驗(yàn)定義的其他網(wǎng)絡(luò)創(chuàng)新體系架構(gòu).目前主要采用OpenFlow以及基于軟硬件的可編程和協(xié)議無關(guān)設(shè)備[25]進(jìn)行二層組網(wǎng).

1) OpenFlow技術(shù)目前已受到學(xué)術(shù)界和工業(yè)界的普遍關(guān)注和廣泛研究，GENI基于二層互聯(lián)構(gòu)建了OpenFlow實(shí)驗(yàn)網(wǎng)絡(luò)，通過在集中控制器上實(shí)現(xiàn)

③ GéANT FP7 Project, 2012. http:www.geant.net

協(xié)議邏輯可以支持三層及以上的網(wǎng)絡(luò)創(chuàng)新，但無法支持分布式協(xié)議的準(zhǔn)確驗(yàn)證.OpenFlow在試驗(yàn)床中還面臨著虛擬化、性能和擴(kuò)展性的問題[26-27].

為解決虛擬化問題，GENI在控制平面和數(shù)據(jù)平面之間引入了虛擬化平面FlowVisor[28]，可以將OpenFlow交換機(jī)組成的網(wǎng)絡(luò)在邏輯上切分為多個(gè)虛擬網(wǎng)絡(luò)，每個(gè)虛擬網(wǎng)絡(luò)由一個(gè)控制器進(jìn)行管控，并通過Flowspace實(shí)現(xiàn)各個(gè)虛擬網(wǎng)絡(luò)流表的隔離，結(jié)合VLAN技術(shù)實(shí)現(xiàn)OpenFlow網(wǎng)絡(luò)的切片化.OpenFlow交換機(jī)性能受到CPU等硬件的限制[26]，其流表一般只支持約1 500條.為避免OpenFlow在試驗(yàn)床中的這一性能瓶頸問題，一方面可以通過流表聚合技術(shù)、提高流表緩存容量、拆分大型OpenFlow網(wǎng)絡(luò)等方法予以緩解；另一方面需要對(duì)每個(gè)切片在交換機(jī)上占用的資源進(jìn)行充分地隔離與限制，以免一個(gè)實(shí)驗(yàn)占用過多資源而影響其他實(shí)驗(yàn)和生產(chǎn)網(wǎng)絡(luò)的正常運(yùn)行.然而目前OpenFlow還無法對(duì)帶寬和CPU做到設(shè)備級(jí)別的有效隔離.

當(dāng)網(wǎng)絡(luò)規(guī)?；?qū)嶒?yàn)規(guī)模較大時(shí)，OpenFlow存在著可擴(kuò)展性的問題[29].一方面是數(shù)據(jù)平面的性能受限，另一方面集中控制導(dǎo)致的控制消息傳遞延遲，可以通過多個(gè)控制器分域控制來解決，但引入了東西向接口的實(shí)現(xiàn)和協(xié)同機(jī)制等問題[30-32].

2) 由可編程和協(xié)議無關(guān)轉(zhuǎn)發(fā)設(shè)備基于二層以太網(wǎng)互聯(lián)構(gòu)建的實(shí)驗(yàn)網(wǎng)絡(luò)，支持生成基于物理鏈路直連的虛擬網(wǎng)絡(luò)，即虛擬轉(zhuǎn)發(fā)節(jié)點(diǎn)間具有真實(shí)單跳路由的鏈路屬性，網(wǎng)絡(luò)具有QoS自定義的能力，可滿足三層實(shí)驗(yàn)在性能方面高精度驗(yàn)證的需求.但其同樣面臨著虛擬化和性能問題.

為解決虛擬化問題，vRouter[33]等采用通用虛擬化技術(shù)實(shí)現(xiàn)在同一宿主機(jī)上生成多個(gè)虛擬轉(zhuǎn)發(fā)器實(shí)例，并實(shí)現(xiàn)實(shí)例間在CPU、帶寬、轉(zhuǎn)發(fā)表、協(xié)議棧和緩存等方面的設(shè)備級(jí)的隔離性.

為解決性能問題，PEARL[15]和Supercharged PlanetLab Platform[34]使用FPGA，TCAM等專用硬件在數(shù)據(jù)平面上獲取更高的轉(zhuǎn)發(fā)性能，但專用硬件的多樣性導(dǎo)致編程接口的不統(tǒng)一，使得設(shè)備的可用性較差，可使用OpenDataPlane①等技術(shù)解決.

3 聯(lián)邦機(jī)制

聯(lián)邦的目標(biāo)是從數(shù)據(jù)平面和管控平面上聯(lián)通獨(dú)立的試驗(yàn)設(shè)施，從而提供大規(guī)模、異構(gòu)的分布式實(shí)驗(yàn)環(huán)境.

數(shù)據(jù)平面的聯(lián)邦最常用的方式是使用運(yùn)營商提供的基于公網(wǎng)的VPN服務(wù)，具有成本低、部署周期短、方便靈活等優(yōu)勢(shì)，但是缺乏良好的性能保障.第2種方式是購買、租用或搭建專有線路，如GLIF[7]使用光纖互聯(lián)，具有良好的帶寬和性能保障，但是這種方式成本過高.第3種方式是前2種方式的折中，使用第三方的高性能網(wǎng)絡(luò)提供的服務(wù)，其骨干網(wǎng)絡(luò)通常使用光纖互聯(lián)，覆蓋范圍廣，能夠提供具有QoS保證的高性能鏈路資源，被眾多試驗(yàn)床所青睞，如GENI使用的Internet2②、OFELIA[35]使用的GéANT③、GLIF使用的GOLEs等.

管理平面的聯(lián)邦可分為平臺(tái)平行互聯(lián)和頂層封裝互聯(lián)，平臺(tái)平行互聯(lián)方式是針對(duì)個(gè)體平臺(tái)進(jìn)行的，可擴(kuò)展性比較差，沒有統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范；頂層互聯(lián)的方式通過定義頂層的互聯(lián)標(biāo)準(zhǔn)形成聯(lián)邦層，將單個(gè)試驗(yàn)床平臺(tái)向上抽象并與聯(lián)邦層對(duì)接.如圖3所示，聯(lián)邦層可以屏蔽底層試驗(yàn)床的差異，向上提供統(tǒng)一的實(shí)驗(yàn)服務(wù)接口，類似OSI網(wǎng)絡(luò)體系結(jié)構(gòu)中的IP層，成為網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的“瘦腰”.這種架構(gòu)實(shí)現(xiàn)了頂層的統(tǒng)一設(shè)計(jì)和多平臺(tái)的協(xié)同工作，使得實(shí)驗(yàn)層向下看到的是具有統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一接口的聯(lián)邦層，聯(lián)邦層下方的資源層和本地管控層的異構(gòu)性完全是透明的.

Fig. 3 Federation-based architecture of testbeds圖3 以聯(lián)邦為“細(xì)腰”的試驗(yàn)床管控架構(gòu)

Peterson等人[36]提出基于切片的聯(lián)邦架構(gòu)(slice-based federation architecture, SFA)進(jìn)行頂層互聯(lián)，作為PlanetLab同其他試驗(yàn)床互聯(lián)的主要

方式.2009年，PlanetLab和GENI正式公布SFA技術(shù)標(biāo)準(zhǔn)，拉開了網(wǎng)絡(luò)試驗(yàn)床國際化聯(lián)邦的序幕.目前SFA由OneLab和INRIA負(fù)責(zé)技術(shù)實(shí)現(xiàn)與部署，GENI負(fù)責(zé)定義規(guī)范.SFA已在GENI，PlanetLab，F(xiàn)IRE中部署，逐步成為國際網(wǎng)絡(luò)試驗(yàn)平臺(tái)聯(lián)邦的標(biāo)準(zhǔn).

3.1 聯(lián)邦架構(gòu)

SFA作為整個(gè)試驗(yàn)床管理切面的“細(xì)腰”，可以將異構(gòu)的試驗(yàn)床加入到基于SFA的聯(lián)邦體系中，實(shí)驗(yàn)者通過基于SFA的實(shí)驗(yàn)工具可以瀏覽、預(yù)訂整個(gè)聯(lián)邦系統(tǒng)內(nèi)的資源.由于試驗(yàn)床的數(shù)量巨大，任何聯(lián)邦技術(shù)都面臨著可擴(kuò)展性的問題，為了解決這個(gè)問題，SFA引入了分布式的分層架構(gòu)，如圖4所示.每個(gè)試驗(yàn)床均需部署SFA組件，包含3個(gè)主要模塊,每個(gè)組模塊都提供基于Web服務(wù)的XML遠(yuǎn)程方法調(diào)用(XML remote procedure call, XML-RPC)接口.

Fig. 4 Slice-based federation architecture (SFA)圖4 基于切片的聯(lián)邦架構(gòu)

1) 集群管理器(aggregate manager, AM).向切片管理器(slice manager, SM)提供集群管理接口，負(fù)責(zé)本地試驗(yàn)床的切片管理和資源的管理與控制，直接與物理資源進(jìn)行交互.更多的情況是試驗(yàn)床已經(jīng)開發(fā)了本地管理系統(tǒng)，那么需要在本地管理系統(tǒng)頂層封裝一層SFA AM API作為SFA架構(gòu)中的AM.

2) 實(shí)體管理器(registry manager, RM).存儲(chǔ)切片、用戶、資源等不同實(shí)體的信息，RM接口包括實(shí)體的創(chuàng)建、修改和刪除等功能.此外，RM還負(fù)責(zé)認(rèn)證和授權(quán)證書的生成與分發(fā).

3) 切片管理器(SM).包含2類接口:①向?qū)嶒?yàn)層工具提供切片管理接口，將接收到的實(shí)驗(yàn)切片請(qǐng)求分發(fā)到本地或聯(lián)邦的試驗(yàn)床中；②聯(lián)邦接口，與其他試驗(yàn)床的AM進(jìn)行交互，用戶只需要接入到一個(gè)試驗(yàn)床的SM中就可以使用整個(gè)聯(lián)邦系統(tǒng)的資源.

為了使不同的AM之間、AM與SM之間能夠進(jìn)行交互，SFA定義了基于可擴(kuò)展標(biāo)準(zhǔn)語言(extensible markup language, XML)的資源描述規(guī)范(RSpec)作為交互過程中的數(shù)據(jù)結(jié)構(gòu).從交互的行為來講，RSpec可以分為資源聲明、資源請(qǐng)求和資源預(yù)訂清單3種；1)資源聲明規(guī)范用于AM向外通知自己擁有資源的詳細(xì)信息；2)資源請(qǐng)求規(guī)范用于切片和用戶向AM描述自己想要獲得的資源需求；3)資源預(yù)訂清單規(guī)范用于AM告知切片和用戶已獲得資源清單.從資源的類別來講，RSpec[36]可以分為GENI v3，OpenFlow，PlanetLab等類型.RSpec的作用是定義標(biāo)準(zhǔn)的框架和擴(kuò)展規(guī)范，不同資源依照自有的特點(diǎn)規(guī)范進(jìn)行擴(kuò)展，從而保證聯(lián)邦各組件對(duì)RSpec處理過程的一致性.

試驗(yàn)床之間的聯(lián)邦認(rèn)證是通過交換認(rèn)證機(jī)構(gòu)頒發(fā)的權(quán)威認(rèn)證證書(certification authority certificate, CAC)實(shí)現(xiàn)的.SFA還支持域的聯(lián)邦方式，如FIRE和GENI的頂級(jí)域進(jìn)行證書交換即可實(shí)現(xiàn)各自低級(jí)域試驗(yàn)床的互聯(lián).

3.2 聯(lián)邦部署

SFA只定義了聯(lián)邦架構(gòu)的標(biāo)準(zhǔn)規(guī)范，而不是架構(gòu)的具體實(shí)現(xiàn)，由于缺乏通用的部署方案，不同機(jī)構(gòu)的試驗(yàn)床很難使用SFA進(jìn)行聯(lián)邦.為了解決這個(gè)問題，OneLab和INRIA基于SFA 2.0[37]提出了一種可部署的聯(lián)邦組件SFAWrap[38]，可封裝在本地管理平臺(tái)上，降低SFA在異構(gòu)試驗(yàn)床上的部署難度，實(shí)現(xiàn)試驗(yàn)床的快速接入.

SFAWrap整體架構(gòu)可以分為通用部分和可擴(kuò)展部分：1)通用部分實(shí)現(xiàn)了SFA定義的關(guān)鍵組件和標(biāo)準(zhǔn)接口，包括實(shí)體管理、認(rèn)證授權(quán)和資源描述等，并通過AM代理屏蔽下層差異，實(shí)現(xiàn)通用部署；2)可擴(kuò)展部分為試驗(yàn)床驅(qū)動(dòng)，需要開發(fā)人員根據(jù)本地資源特點(diǎn)進(jìn)行二次開發(fā)，從而實(shí)現(xiàn)本地資源描述和SFA-RSpec的格式轉(zhuǎn)換.這種通用和可擴(kuò)展的模塊化設(shè)計(jì)使開發(fā)人員只需要對(duì)少量驅(qū)動(dòng)和接口進(jìn)行開發(fā)，而不去關(guān)注SFA其他的實(shí)現(xiàn)細(xì)節(jié).

SFAWrap已成為FIRE的主要聯(lián)邦方式，對(duì)已有的管理平臺(tái)進(jìn)行SFA封裝，但是仍需要進(jìn)行二次開發(fā)，為了解決這個(gè)問題，GENI提出了GENI Aggregate Manager API①，為管理平臺(tái)制定了支持標(biāo)準(zhǔn)化架構(gòu)與接口，使管控平臺(tái)無需二次開發(fā)就可以支持SFA.

3.3 基于聯(lián)邦的試驗(yàn)床管控平臺(tái)架構(gòu)

聯(lián)邦已成為試驗(yàn)床發(fā)展的主流趨勢(shì)，為了避免試驗(yàn)床管理平臺(tái)的二次開發(fā)以及減小底層平臺(tái)差異性對(duì)聯(lián)邦的阻礙，管理架構(gòu)需要盡早地支持聯(lián)邦.根據(jù)國際眾多主流的試驗(yàn)床管理架構(gòu)進(jìn)行抽象和總結(jié)，并結(jié)合GENI Aggregate Manager API和SFAWrap得出一般化的基于聯(lián)邦的架構(gòu)模型，如圖5所示，整個(gè)架構(gòu)分為物理層和管理層，其中管理層包含3個(gè)組件：

1) 資源管理器(resource manager).與管理服務(wù)器進(jìn)行交互，更新切片信息并對(duì)節(jié)點(diǎn)進(jìn)行配置，如生成虛擬機(jī)、接入網(wǎng)絡(luò)配置、交換機(jī)下發(fā)配置與策略和傳感器節(jié)點(diǎn)管理等.

2) 管理服務(wù)器(AM server).是核心管理組件，由4個(gè)模塊組成：基于聯(lián)邦標(biāo)準(zhǔn)的集群管理接口，作為Web服務(wù)接受聯(lián)邦層和前端試驗(yàn)床入口的調(diào)用；資源描述庫和相關(guān)驅(qū)動(dòng)接口，定義各類型實(shí)驗(yàn)資源的描述規(guī)范；注冊(cè)信息數(shù)據(jù)庫，定義用戶、切片、節(jié)點(diǎn)等信息的屬性和存儲(chǔ)模式；認(rèn)證和授權(quán)模塊，定義認(rèn)證與授權(quán)分離模式.

3) 基于Web的試驗(yàn)床入口.為用戶和管理員提供可視化的操作界面，后端調(diào)用核心管理組件的集群管理接口.

Fig. 5 Federation-based management architecture圖5 基于聯(lián)邦的通用管理架構(gòu)

通用架構(gòu)提出的目標(biāo)是要把管理平臺(tái)建成一個(gè)可聯(lián)邦的開源軟件供試驗(yàn)床直接使用，基于模塊化和資源描述的設(shè)計(jì)方案提供了良好的可擴(kuò)展性，便于開發(fā)人員對(duì)其進(jìn)行功能擴(kuò)展和重構(gòu).還有一些商業(yè)化的開源軟件如Openstack①和OpenNebula②等，有強(qiáng)大的虛擬機(jī)和虛擬網(wǎng)絡(luò)的管理能力，由于具有成熟的部署方案、大量的社區(qū)代碼貢獻(xiàn)、專業(yè)的技術(shù)團(tuán)隊(duì)支持和廣泛的商業(yè)應(yīng)用，越來越多的試驗(yàn)床將其作為本地管理平臺(tái).BonFire[39]和ExoGENI③的管理架構(gòu)都是基于Openstack的，OneLab也正在進(jìn)行Openstack的部署并已經(jīng)完成SFAWrap對(duì)其的聯(lián)邦支持.

4 實(shí)驗(yàn)支撐系統(tǒng)

網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床核心價(jià)值是為實(shí)驗(yàn)生命周期中的各階段提供完善的服務(wù)，不僅需要底層采用多樣的虛擬化技術(shù)和網(wǎng)絡(luò)可編程技術(shù)支持不同層次和不同類型的實(shí)驗(yàn)，還需要基于聯(lián)邦技術(shù)完善軟件的架構(gòu)和功能以便更好地支撐實(shí)驗(yàn)環(huán)境配置、實(shí)驗(yàn)過程控制和監(jiān)測(cè)3個(gè)階段.

4.1 實(shí)驗(yàn)環(huán)境配置

試驗(yàn)床通常采用基于切片的管理方式作為管理平面的虛擬化手段，簡化了用戶、實(shí)驗(yàn)和資源之間的權(quán)限關(guān)系.然而，網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床應(yīng)具有支持多類型實(shí)驗(yàn)并發(fā)、聯(lián)邦和與真實(shí)網(wǎng)絡(luò)共存等新特性，這對(duì)實(shí)驗(yàn)管理提出了3個(gè)新的功能需求：

1) 動(dòng)態(tài)調(diào)整節(jié)點(diǎn)屬性.通常節(jié)點(diǎn)的用途、可編程性和使用的虛擬化技術(shù)較為固定，這些屬性無法動(dòng)態(tài)調(diào)整.當(dāng)實(shí)驗(yàn)需求無法滿足時(shí)，一種方式是手動(dòng)地重新部署節(jié)點(diǎn)來修改節(jié)點(diǎn)屬性或者增加物理節(jié)點(diǎn)以滿足實(shí)驗(yàn)需求；另一種是使用基于軟件的集中控制方式，G-Lab[40]使用啟動(dòng)鏡像管理系統(tǒng)實(shí)現(xiàn)遠(yuǎn)程動(dòng)態(tài)調(diào)節(jié)獨(dú)占設(shè)備和不同層次虛擬化節(jié)點(diǎn)的比例，并預(yù)裝不同的操作系統(tǒng)和軟件套件，從而最大程度地滿足并發(fā)實(shí)驗(yàn)對(duì)于可編程性和性能等不同的需求.

2) 自動(dòng)化和智能化的資源分配.對(duì)于規(guī)模較大的實(shí)驗(yàn)，創(chuàng)建與配置切片是一件非常繁瑣的工作，還會(huì)造成負(fù)載不均衡和碎片化等資源分配不合理的問題.為此，需要實(shí)現(xiàn)自動(dòng)化和智能化的資源分配功能，如GENI的Flack④和OMNI⑤，OFELIA的VeRTIGO[35]等工具可以根據(jù)用戶對(duì)資源需求的描

述(如CPU、內(nèi)存、帶寬、可編程性等屬性)按照預(yù)定優(yōu)化策略和基于線性規(guī)劃的資源調(diào)度算法實(shí)現(xiàn)實(shí)驗(yàn)網(wǎng)絡(luò)到物理網(wǎng)絡(luò)自動(dòng)化和最優(yōu)化的映射.

3) 引入真實(shí)用戶流量.某些實(shí)驗(yàn)需要引入真實(shí)用戶和流量來進(jìn)行更充分的驗(yàn)證.一種是基于流量描述(如IP網(wǎng)段)，通過路由策略把外部網(wǎng)絡(luò)流量可控地導(dǎo)入到實(shí)驗(yàn)中，如GENI的OPT-IN功能；另一種是直接為實(shí)驗(yàn)節(jié)點(diǎn)分配一個(gè)公網(wǎng)IP，如PlanetLab的節(jié)點(diǎn)大部分都暴露在公網(wǎng)中，但是這種不可控的導(dǎo)入方式會(huì)造成很大的安全隱患.

4.2 實(shí)驗(yàn)過程控制

實(shí)驗(yàn)部署和控制最常用的方式是使用SSH(secure shell)接入到終端節(jié)點(diǎn)，手動(dòng)地部署和執(zhí)行實(shí)驗(yàn)，這種方式的優(yōu)點(diǎn)是靈活，缺點(diǎn)是在實(shí)驗(yàn)規(guī)模較大時(shí)十分繁瑣.為了減輕大規(guī)模實(shí)驗(yàn)部署的工作量和減少人工干預(yù)對(duì)實(shí)驗(yàn)可復(fù)現(xiàn)性的影響，許多有效的實(shí)驗(yàn)控制工具和控制架構(gòu)被提出.實(shí)驗(yàn)自動(dòng)部署和控制的關(guān)鍵在于實(shí)驗(yàn)流程描述粒度和功能編程接口的定義，表2對(duì)比了目前比較主流的實(shí)驗(yàn)控制工具和架構(gòu).

Table 2 Comparison of Experiment Control Tools

基于描述的實(shí)驗(yàn)工具最早由PlanetLab提出，在Myplc中實(shí)現(xiàn)了初始化腳本的功能，每當(dāng)節(jié)點(diǎn)資源加入到切片后會(huì)自動(dòng)執(zhí)行指定的腳本，實(shí)現(xiàn)實(shí)驗(yàn)的自動(dòng)部署與執(zhí)行，但這種方式的功能性與可用性較差.NEPI①(network experiment programming interface)是一個(gè)輕量級(jí)的基于編程接口的客戶端工具，它基于自定義的Python庫向用戶提供了編程接口，通過SSH的方式實(shí)現(xiàn)實(shí)驗(yàn)自動(dòng)部署和交互式控制，并能夠自動(dòng)回收實(shí)驗(yàn)結(jié)果，但其本質(zhì)是基于SSH的工具，編程接口和支持功能都較為單一.

2007年WinLab為ORBIT無線試驗(yàn)床設(shè)計(jì)了實(shí)驗(yàn)控制和管理架構(gòu)[41](control and management framework, OMF)，為用戶提供了代碼級(jí)的實(shí)驗(yàn)描述功能，并能根據(jù)測(cè)量信息反饋調(diào)整實(shí)驗(yàn)的部署和控制實(shí)驗(yàn)的行為.圖6描述了OMF的架構(gòu)和使用OMF進(jìn)行實(shí)驗(yàn)的流程，其核心為實(shí)驗(yàn)描述語言和實(shí)驗(yàn)控制器：1)實(shí)驗(yàn)描述(experiment description, ED)，OMF提供了一種實(shí)驗(yàn)描述語言(OMF experiment description language, OEDL)，OEDL基于Ruby語言，利用其元編程能力提供了一組實(shí)驗(yàn)控制和狀態(tài)描述命令，用戶使用這些命令可以自由地定義實(shí)驗(yàn)部署與控制的狀態(tài)機(jī)模型，形成實(shí)驗(yàn)描述文件；2)資源控制器(resource controller, RC)，在實(shí)驗(yàn)資源端為實(shí)驗(yàn)描述提供豐富的功能庫接口.

Fig. 6 OMF architecture and experiment process圖6 OMF架構(gòu)及實(shí)驗(yàn)流程

目前OMF已經(jīng)部署在GENI，F(xiàn)IRE等項(xiàng)目下的各種試驗(yàn)床中， OMF6②已經(jīng)應(yīng)用到FlowVisor和Open vSwitch[29](OVS)，向上可以兼容NEPI和OMF EC等實(shí)驗(yàn)控制工具，向下可以支持Linux服務(wù)器、無線節(jié)點(diǎn)和OpenFlow資源.GENI正在研究虛擬網(wǎng)絡(luò)自動(dòng)映射功能對(duì)OMF的支持，即實(shí)驗(yàn)層的配置工具可以支持OEDL描述的資源請(qǐng)求，自動(dòng)將其映射到物理資源上，這將實(shí)現(xiàn)平臺(tái)無關(guān)的實(shí)驗(yàn)方式，實(shí)驗(yàn)者不用關(guān)心使用的平臺(tái)和資源，只需根據(jù)資源屬性(如資源類型、分布特點(diǎn)、配置信息等)、實(shí)驗(yàn)的流程、測(cè)量數(shù)據(jù)和結(jié)果進(jìn)行描述，生成描述文件，

轉(zhuǎn)交給實(shí)驗(yàn)工具，最后獲取實(shí)驗(yàn)和測(cè)量結(jié)果即可，實(shí)驗(yàn)工具在實(shí)驗(yàn)結(jié)束后會(huì)立刻釋放資源，提高資源的使用效率.

4.3 實(shí)驗(yàn)測(cè)量和監(jiān)測(cè)

建立試驗(yàn)床和網(wǎng)絡(luò)實(shí)驗(yàn)的目標(biāo)之一是追蹤、理解和評(píng)價(jià)他們?cè)诰W(wǎng)絡(luò)中的各種行為，監(jiān)測(cè)和測(cè)量系統(tǒng)對(duì)試驗(yàn)床至關(guān)重要.試驗(yàn)床網(wǎng)絡(luò)中包含大量的分布在各個(gè)節(jié)點(diǎn)上的多種網(wǎng)絡(luò)特征的測(cè)量數(shù)據(jù)，數(shù)據(jù)的搜集是一項(xiàng)十分繁雜并且容易出錯(cuò)的工作，而且分布式的數(shù)據(jù)和測(cè)量工具的差異性會(huì)造成測(cè)量數(shù)據(jù)格式不統(tǒng)一或者引入不相關(guān)的數(shù)據(jù).關(guān)于網(wǎng)絡(luò)測(cè)量和監(jiān)測(cè)的相關(guān)技術(shù)研究已進(jìn)行了很多年，但在試驗(yàn)床的應(yīng)用中都存在著局限性，試驗(yàn)床需要一個(gè)實(shí)時(shí)的、易用的搜集分布式環(huán)境中的實(shí)驗(yàn)數(shù)據(jù)的測(cè)量和監(jiān)測(cè)框架.

4.3.1 測(cè)量和監(jiān)測(cè)系統(tǒng)需求

試驗(yàn)床的測(cè)量與監(jiān)測(cè)系統(tǒng)主要有2個(gè)功能：1)試驗(yàn)床監(jiān)測(cè)功能，監(jiān)測(cè)系統(tǒng)提供節(jié)點(diǎn)相關(guān)(如節(jié)點(diǎn)運(yùn)行狀態(tài)、可用CPU和內(nèi)存資源等)和網(wǎng)絡(luò)相關(guān)(如帶寬、延遲)的監(jiān)測(cè)信息，協(xié)助快速的錯(cuò)誤定位與資源的優(yōu)化分配.2)實(shí)驗(yàn)測(cè)量功能，一方面需要支持在實(shí)驗(yàn)的執(zhí)行過程中通過簡單的查詢接口提供實(shí)時(shí)的切片信息和網(wǎng)絡(luò)信息(如路由跟蹤、AS線路等)；另一方面需要支持用戶在實(shí)驗(yàn)代碼中自定義測(cè)量點(diǎn)，并將測(cè)量數(shù)據(jù)進(jìn)行收集與分析.PlanetLab使用的TopHat[42]，PlanetFlow①，CoMon②和GENI的GEMINI③等系統(tǒng)主要負(fù)責(zé)試驗(yàn)床節(jié)點(diǎn)和網(wǎng)絡(luò)的監(jiān)測(cè)，并包含簡單的實(shí)驗(yàn)切片相關(guān)的測(cè)量功能，但并不支持基于實(shí)驗(yàn)程序和用戶自定義的測(cè)量；NICTA的OML[43]和GENI的INSTOOLS[44]則更偏重于基于實(shí)驗(yàn)切片和實(shí)驗(yàn)本身的測(cè)量.根據(jù)對(duì)試驗(yàn)床和現(xiàn)有的測(cè)量監(jiān)測(cè)系統(tǒng)的分析，Paxson等人[45-47]基于軟件定義測(cè)量(software defined measurement, SDM)的思想對(duì)試驗(yàn)床監(jiān)測(cè)和測(cè)量系統(tǒng)提出如下需求：分布式處理系統(tǒng)、兼容傳統(tǒng)的測(cè)量工具和格式、支持豐富的測(cè)量功能、測(cè)量參數(shù)的實(shí)時(shí)配置、通用的存儲(chǔ)格式和數(shù)據(jù)可共享、系統(tǒng)消耗最小化和測(cè)量數(shù)據(jù)時(shí)序性.

4.3.2 測(cè)量和監(jiān)測(cè)架構(gòu)

1) OML(ORBIT measurements library)是WinLab為ORBIT[48]平臺(tái)開發(fā)的測(cè)量框架，與OMF架構(gòu)一起支持實(shí)驗(yàn)的控制與測(cè)量周期.OML可在實(shí)驗(yàn)代碼中插入測(cè)量點(diǎn)并定義測(cè)量參數(shù)，實(shí)驗(yàn)過程中產(chǎn)生的測(cè)量數(shù)據(jù)經(jīng)過濾器上傳到服務(wù)器，并通過Matlab等軟件對(duì)數(shù)據(jù)進(jìn)行處理和分析.NICTA的Mehani等人[45]基于SDM對(duì)OML進(jìn)行擴(kuò)展形成OML2，采用分布式的架構(gòu)對(duì)數(shù)據(jù)進(jìn)行并行地測(cè)量、收集、處理和存儲(chǔ)，橫向可以與實(shí)驗(yàn)控制的關(guān)鍵架構(gòu)OMF進(jìn)行聯(lián)動(dòng)，實(shí)現(xiàn)測(cè)量對(duì)實(shí)驗(yàn)的反饋控制.目前OML已經(jīng)作為主要的測(cè)量架構(gòu)部署于GENI和FIRE等大部分試驗(yàn)床中.

2) GENI的INSTOOLS是一個(gè)與測(cè)量技術(shù)無關(guān)的測(cè)量架構(gòu)，即INSTOOLS可以快速地支持底層的測(cè)量工具和探針，不需要考慮其實(shí)現(xiàn)細(xì)節(jié)，目前已整合了眾多GENI測(cè)量相關(guān)技術(shù)，如測(cè)量捕獲、可擴(kuò)展數(shù)據(jù)交換和存儲(chǔ)以及按需測(cè)量等技術(shù)，INSTOOLS本身并不去實(shí)現(xiàn)和改善底層的探針和測(cè)量工具，而是基于SDM的思想實(shí)現(xiàn)了一種分層架構(gòu)，使得控制平面和測(cè)量平面分離，通過集中控制的方式提供各類探針和測(cè)量工具的自動(dòng)化的部署、配置、數(shù)據(jù)收集等功能.

5 代表性項(xiàng)目研究進(jìn)展

許多國家都十分重視未來網(wǎng)絡(luò)創(chuàng)新環(huán)境的研究和建設(shè).從20世紀(jì)90年代開始，美國、歐盟、澳大利亞以及日韓等國家和地區(qū)都在研究未來互聯(lián)網(wǎng)架構(gòu)，相繼展開了大規(guī)模網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的研究和部署，如美國的PlanetLab、GENI、歐盟FIRE[49]，日本的JGN2plus④、韓國的FIRST[50]和K-GENI[51]等.

5.1 PlanetLab

PlanetLab是由美國國家科學(xué)基金(National Science Foundation, NSF)資助的全球化的試驗(yàn)床項(xiàng)目，由惠普、英特爾、普林斯頓、加州大學(xué)伯克利分校等機(jī)構(gòu)于2002年聯(lián)合發(fā)起.PlanetLab是一個(gè)開放的、針對(duì)未來互聯(lián)網(wǎng)及其應(yīng)用和服務(wù)進(jìn)行研究、開發(fā)和測(cè)試的全球性試驗(yàn)平臺(tái)，其核心思想是資源虛擬化和分布式重疊網(wǎng)絡(luò)，它是目前運(yùn)行的分布最廣(40多個(gè)國家的654個(gè)站點(diǎn))、規(guī)模最大(1 341個(gè)

Linux服務(wù)器)的未來互聯(lián)網(wǎng)試驗(yàn)平臺(tái).但是PlanetLab的實(shí)驗(yàn)網(wǎng)絡(luò)是基于TCPIP的覆蓋網(wǎng)絡(luò)，網(wǎng)絡(luò)層協(xié)議以及更底層的網(wǎng)絡(luò)技術(shù)難以在該試驗(yàn)床上進(jìn)行部署和驗(yàn)證.為了解決這個(gè)問題，PlanetLab實(shí)現(xiàn)將Click，XROP，OVS①等組件部署到虛擬節(jié)點(diǎn)中，以軟件的方式實(shí)現(xiàn)可編程虛擬化路由器和OpenFlow交換機(jī)，構(gòu)建可編程的實(shí)驗(yàn)網(wǎng)絡(luò)[17]；但鏈路帶寬、延遲等QoS和鏈路屬性仍不可控.

5.2 GENI

GENI是美國NSF于2005年啟動(dòng)的一個(gè)促進(jìn)未來互聯(lián)網(wǎng)革命性創(chuàng)新的計(jì)劃，其目的是為各種未來互聯(lián)網(wǎng)實(shí)驗(yàn)項(xiàng)目建設(shè)一個(gè)開放的、真實(shí)的、可編程的、支持虛擬化的、可聯(lián)邦的大規(guī)模實(shí)驗(yàn)基礎(chǔ)設(shè)施，支持互聯(lián)網(wǎng)前沿科學(xué)與工程問題的研究.GENI的目標(biāo)不僅僅在于驗(yàn)證和測(cè)試，更重要的是使用真實(shí)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施去支持體系結(jié)構(gòu)、應(yīng)用等未來網(wǎng)絡(luò)關(guān)鍵技術(shù)的部署，作為一個(gè)傳統(tǒng)網(wǎng)絡(luò)向未來網(wǎng)絡(luò)轉(zhuǎn)換的演進(jìn)式平臺(tái).GENI已經(jīng)進(jìn)入到基于標(biāo)準(zhǔn)組件的大規(guī)模部署階段，目前已覆蓋50多所高校、研究機(jī)構(gòu)和企業(yè).標(biāo)準(zhǔn)化的部署由服務(wù)器試驗(yàn)床GENI Racks[52-53]、軟件定義網(wǎng)絡(luò)試驗(yàn)床SDNs[26]和無線試驗(yàn)床WiMAX[54]三個(gè)項(xiàng)目支撐，三者基于GENI制定的標(biāo)準(zhǔn)獨(dú)立設(shè)計(jì)和開發(fā)自己的硬件設(shè)施、管控架構(gòu)、測(cè)量框架和實(shí)驗(yàn)工具，并通過聯(lián)邦技術(shù)實(shí)現(xiàn)3套資源的整合.為了解決PlanetLab基于因特網(wǎng)的重疊網(wǎng)絡(luò)的不可控性，同時(shí)也為了向?qū)嶒?yàn)提供一個(gè)大規(guī)模的、可編程的網(wǎng)絡(luò)環(huán)境，GENI資助斯坦福大學(xué)和HP等供應(yīng)商發(fā)起了Enterprise-GENI(SDNs)項(xiàng)目，目標(biāo)是在校內(nèi)建立用于承載現(xiàn)網(wǎng)業(yè)務(wù)和實(shí)驗(yàn)的、基于可編程和虛擬化技術(shù)的SDN網(wǎng)絡(luò).經(jīng)過4個(gè)階段的發(fā)展，GENI已基于Internet2建立了覆蓋全美的OpenFlow骨干網(wǎng)絡(luò)，承載著各個(gè)高校和企業(yè)的現(xiàn)網(wǎng)業(yè)務(wù)流量和實(shí)驗(yàn)流量，這也是未來網(wǎng)絡(luò)演進(jìn)式部署的一個(gè)典型范例.

5.3 FIRE

FIRE作為FP7項(xiàng)目的一部分于2007年初啟動(dòng)，目標(biāo)是通過逐步將現(xiàn)有的和未來的互聯(lián)網(wǎng)技術(shù)試驗(yàn)平臺(tái)進(jìn)行聯(lián)合，建設(shè)一個(gè)動(dòng)態(tài)的、可持續(xù)的、大規(guī)模的實(shí)驗(yàn)基礎(chǔ)設(shè)施平臺(tái).FIRE包含2個(gè)關(guān)鍵的聯(lián)邦性項(xiàng)目：OneLab②，F(xiàn)ed4Fire③.OneLab在2007年與PlanetLab合作在歐洲搭建了試驗(yàn)床PlanetLab Europe，并作為FIRE主要的通用試驗(yàn)床，OneLab目前已與NitLab的無線網(wǎng)絡(luò)試驗(yàn)床NITOS④、IoTlab⑤的物聯(lián)網(wǎng)試驗(yàn)床聯(lián)邦互聯(lián)，使用統(tǒng)一的工具向?qū)嶒?yàn)者開放.Fed4FIRE是2012年成立的聯(lián)邦性項(xiàng)目，目標(biāo)是將FIRE下的不同領(lǐng)域的各類試驗(yàn)床進(jìn)行聯(lián)邦，本身不進(jìn)行試驗(yàn)床的開發(fā)，而是與其他試驗(yàn)床研發(fā)機(jī)構(gòu)共同協(xié)商制定聯(lián)邦標(biāo)準(zhǔn)架構(gòu)和相關(guān)的實(shí)現(xiàn)方案，最終向用戶提供單一的入口和實(shí)驗(yàn)工具，支持建立大規(guī)模和異構(gòu)的實(shí)驗(yàn)網(wǎng)絡(luò).目前已聯(lián)邦的試驗(yàn)床包括OneLab下的3個(gè)試驗(yàn)床、云計(jì)算試驗(yàn)床BonFire、OpenFlow試驗(yàn)床OFELIA和物聯(lián)網(wǎng)試驗(yàn)床SMART SANTANDER[55]等10多種試驗(yàn)床.

5.4 其他試驗(yàn)床

GEYSERS[22]試驗(yàn)床由歐洲7個(gè)國家的10家單位的本地試驗(yàn)床構(gòu)成，包括光傳輸與交換設(shè)備和計(jì)算存儲(chǔ)資源等，目標(biāo)是驗(yàn)證云試驗(yàn)床架構(gòu)的合理性和實(shí)用性，并成為云服務(wù)軟件的測(cè)試平臺(tái)；G-Lab[40]試驗(yàn)床包括分布在德國6所高校中的有線節(jié)點(diǎn)、無線節(jié)點(diǎn)和傳感器節(jié)點(diǎn)等，部分站點(diǎn)使用OpenVSwitch和OpenFlow混合交換機(jī)實(shí)現(xiàn)網(wǎng)絡(luò)的可編程性，支持網(wǎng)絡(luò)層到應(yīng)用層的實(shí)驗(yàn)；JGN2plus是日本最大的網(wǎng)絡(luò)試驗(yàn)床項(xiàng)目，它是在JGN2試驗(yàn)床基礎(chǔ)上的拓展實(shí)現(xiàn)，JGN2plus集成了虛擬化技術(shù)，能夠提供各種服務(wù)用于網(wǎng)絡(luò)技術(shù)的研發(fā)和網(wǎng)絡(luò)應(yīng)用的實(shí)驗(yàn)；FIRST是韓國于2009年啟動(dòng)的一個(gè)設(shè)計(jì)和部署未來互聯(lián)網(wǎng)試驗(yàn)床的項(xiàng)目，包括基于服務(wù)器的小規(guī)模試驗(yàn)平臺(tái)和基于ATCA的中大規(guī)模試驗(yàn)平臺(tái)，與GENI聯(lián)邦，并重點(diǎn)關(guān)注流媒體傳輸實(shí)驗(yàn).

5.5 我國網(wǎng)絡(luò)試驗(yàn)設(shè)施

我國對(duì)網(wǎng)絡(luò)試驗(yàn)床的研究起步較晚，和國外相比還有一定差距，網(wǎng)絡(luò)試驗(yàn)設(shè)施仍沒有完全具備未來網(wǎng)絡(luò)試驗(yàn)床的主要特性，特別是對(duì)聯(lián)邦的支持.

目前我國在未來網(wǎng)絡(luò)試驗(yàn)平臺(tái)建設(shè)方面取得的主要成果包括：CNGI(China next generation Internet)①，搭建了以IPv6為核心的新一代互聯(lián)網(wǎng)試驗(yàn)平臺(tái)CERNET2；DragonLab②，采用了基于聯(lián)邦架構(gòu)的資源開發(fā)模型，重點(diǎn)集中于對(duì)流量研究、主動(dòng)測(cè)量和BGP路由研究的支持；FINE(future network innovating environment)基于SDN構(gòu)建了未來網(wǎng)絡(luò)創(chuàng)新實(shí)驗(yàn)環(huán)境，支持未來網(wǎng)絡(luò)的技術(shù)創(chuàng)新和體系演進(jìn)，已在轉(zhuǎn)發(fā)抽象技術(shù)和網(wǎng)域操作系統(tǒng)等方面取得研究進(jìn)展；未來網(wǎng)絡(luò)小規(guī)模試驗(yàn)設(shè)施③：基于網(wǎng)絡(luò)虛擬化、可編程和聯(lián)邦等關(guān)鍵技術(shù)建設(shè)了一個(gè)開放的、小規(guī)模的、真實(shí)的未來網(wǎng)絡(luò)創(chuàng)新基礎(chǔ)設(shè)施，支持網(wǎng)絡(luò)基礎(chǔ)理論研究和實(shí)驗(yàn)、網(wǎng)絡(luò)關(guān)鍵技術(shù)創(chuàng)新和驗(yàn)證以及未來網(wǎng)絡(luò)基礎(chǔ)設(shè)施發(fā)展和演進(jìn).

5.6 網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的綜合比較

本節(jié)介紹了各個(gè)國家和我國的創(chuàng)新型網(wǎng)絡(luò)試驗(yàn)床的研究和部署進(jìn)展.表3對(duì)PlanetLab，GENI，F(xiàn)IRE目前3個(gè)具有代表性的網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床進(jìn)行了綜合比較.

PlanetLab是基于普通服務(wù)器和覆蓋網(wǎng)絡(luò)建立的，部分服務(wù)器以軟件的方式實(shí)現(xiàn)了可編程路由器和OpenFlow交換機(jī)；PlanetLab適合大規(guī)模、分布式的四層及以上的實(shí)驗(yàn)驗(yàn)證，同時(shí)也可支持三層協(xié)議的功能驗(yàn)證，但由于需要新地址空間到IP地址的映射和包封裝，使得其性能驗(yàn)證存在誤差.GENI基于OpenFlow骨干網(wǎng)和標(biāo)準(zhǔn)架構(gòu)建立了覆蓋全美的聯(lián)邦性試驗(yàn)床網(wǎng)絡(luò)，聯(lián)邦實(shí)驗(yàn)入口與實(shí)驗(yàn)工具支持三層及上層實(shí)驗(yàn)調(diào)用全網(wǎng)資源進(jìn)行快速部署.與GENI和PlanetLab不同，F(xiàn)IRE各類試驗(yàn)床的開發(fā)并沒有遵循統(tǒng)一的標(biāo)準(zhǔn)，導(dǎo)致其缺乏統(tǒng)一的實(shí)驗(yàn)入口和實(shí)驗(yàn)工具，2個(gè)聯(lián)邦性項(xiàng)目正在解決這個(gè)問題，但大量異構(gòu)資源的聯(lián)邦互聯(lián)仍面臨挑戰(zhàn)；FIRE可支持的實(shí)驗(yàn)種類最為豐富，但構(gòu)建異構(gòu)的實(shí)驗(yàn)網(wǎng)絡(luò)較為困難.

③ 未來網(wǎng)絡(luò)小規(guī)模試驗(yàn)設(shè)施(Small-scale CENI). http:www.fnii.cn

Table 3 Comparison of Network Innovation Testbeds

6 未來研究方向

試驗(yàn)床的目標(biāo)是向未來網(wǎng)絡(luò)研究提供更逼近于真實(shí)網(wǎng)絡(luò)的實(shí)驗(yàn)環(huán)境，在這個(gè)過程中各類技術(shù)線路需要把握兩大問題：1)怎樣使得實(shí)驗(yàn)網(wǎng)絡(luò)更逼近真實(shí)網(wǎng)絡(luò)；2)如何更好地向?qū)嶒?yàn)提供實(shí)驗(yàn)環(huán)境.根據(jù)上述的2個(gè)問題，本文認(rèn)為在建設(shè)我國的未來網(wǎng)絡(luò)試驗(yàn)床的過程中仍然有5個(gè)問題值得進(jìn)一步研究：

1) 協(xié)議無關(guān)轉(zhuǎn)發(fā).協(xié)議無關(guān)的轉(zhuǎn)發(fā)設(shè)備、軟件和相關(guān)協(xié)議可實(shí)現(xiàn)對(duì)新型網(wǎng)絡(luò)體系架構(gòu)和相關(guān)算法的有效驗(yàn)證，是構(gòu)建未來網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的核心.但其基于多元組的轉(zhuǎn)發(fā)和多表查詢帶來了巨大的性能挑戰(zhàn)，可使用FPGA和TCAM等專用硬件提高轉(zhuǎn)發(fā)性能，但基于專用硬件的設(shè)備一方面無法進(jìn)行數(shù)據(jù)平面的虛擬化和隔離來保證多層次實(shí)驗(yàn)無干擾并發(fā)；另一方面硬件的多樣性導(dǎo)致編程接口的不統(tǒng)一，使得其可用性較差.因此，協(xié)議無關(guān)轉(zhuǎn)發(fā)的相關(guān)研究包括轉(zhuǎn)發(fā)模式和相關(guān)協(xié)議的優(yōu)化與創(chuàng)新、低開銷的虛擬化和隔離技術(shù)、專有硬件虛擬化和編程接口的友好化與通用化等.

2) 異構(gòu)資源抽象.一方面將小規(guī)模的、獨(dú)立的、功能單一的試驗(yàn)床進(jìn)行聯(lián)邦成為了必然趨勢(shì)；另一方面試驗(yàn)床需要具有開放的資源接入能力，兼容不同類型的硬件設(shè)備.因此,需要在異構(gòu)資源之上研究資源抽象的方法,包括具有統(tǒng)一標(biāo)準(zhǔn)的、強(qiáng)擴(kuò)展性的資源描述以及南向管理調(diào)度接口和功能編程接口.

3) 資源的優(yōu)化調(diào)度.隨著試驗(yàn)床網(wǎng)絡(luò)和相關(guān)實(shí)驗(yàn)的規(guī)?；蛷?fù)雜化，傳統(tǒng)的手動(dòng)選取資源和以資源容量為約束條件的映射方式已經(jīng)遠(yuǎn)遠(yuǎn)無法滿足需求.資源調(diào)度要從2個(gè)方面考慮：首先是用戶需求，包括實(shí)驗(yàn)周期、節(jié)點(diǎn)類型與性能、網(wǎng)絡(luò)拓?fù)?、鏈路QoS等；其次是試驗(yàn)床可持續(xù)服務(wù)能力，包括資源碎片、鏈路帶寬和節(jié)點(diǎn)負(fù)載、拓?fù)浜娃D(zhuǎn)發(fā)代價(jià)、能耗、地理位置和預(yù)置策略等資源的優(yōu)化.

4) 與真實(shí)網(wǎng)絡(luò)的可控式融合.網(wǎng)絡(luò)虛擬化技術(shù)使得實(shí)驗(yàn)網(wǎng)絡(luò)和真實(shí)網(wǎng)絡(luò)共存與融合成為了可能.融合的實(shí)驗(yàn)網(wǎng)絡(luò)隨著真實(shí)網(wǎng)絡(luò)的部署可擴(kuò)大自身的規(guī)模，不需要額外硬件的支持降低成本，更重要的是可以引入真實(shí)用戶和真實(shí)流量，更有效地驗(yàn)證實(shí)驗(yàn).然而，真實(shí)流量和用戶的引入對(duì)試驗(yàn)床的可靠性、性能和安全性等方面提出新的挑戰(zhàn)，要求試驗(yàn)床具有更高性能的底層設(shè)備、更有效的流量控制和導(dǎo)入機(jī)制、更完善的監(jiān)測(cè)功能.

5) 基于描述的實(shí)驗(yàn)支持.試驗(yàn)平臺(tái)的差異性和不完善的實(shí)驗(yàn)支持系統(tǒng)造成了實(shí)驗(yàn)部署和運(yùn)行的不可控性.一方面，部署的不可控使得大量的資源空轉(zhuǎn)，無法快速釋放；另一方面，運(yùn)行的不可控使得實(shí)驗(yàn)無法在試驗(yàn)平臺(tái)間和平臺(tái)內(nèi)復(fù)現(xiàn).因此，需要能夠基于實(shí)驗(yàn)流程描述(如ODEL,NS3等)實(shí)現(xiàn)實(shí)驗(yàn)自動(dòng)化的資源獲取、實(shí)驗(yàn)部署、運(yùn)行、測(cè)量和回收等功能，有效地降低實(shí)驗(yàn)難度和人工干預(yù)對(duì)實(shí)驗(yàn)結(jié)果的影響.

7 總 結(jié)

試驗(yàn)床給未來互聯(lián)網(wǎng)架構(gòu)的演進(jìn)式驗(yàn)證和部署提供了一條有效的途徑,目前已有相當(dāng)多的國家和地區(qū)正在部署未來網(wǎng)絡(luò)試驗(yàn)床，而且越來越多的國家和地區(qū)將會(huì)開始啟動(dòng)未來互聯(lián)網(wǎng)研究計(jì)劃.本文以網(wǎng)絡(luò)實(shí)驗(yàn)面臨的成本、可行性、可信性和可控性4個(gè)問題為出發(fā)點(diǎn)，分析了網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床的應(yīng)用背景、特性需求和相關(guān)挑戰(zhàn)，并詳細(xì)介紹了組網(wǎng)、聯(lián)邦和實(shí)驗(yàn)支撐系統(tǒng)等關(guān)鍵技術(shù)和系統(tǒng)架構(gòu).最后,對(duì)國內(nèi)外主流試驗(yàn)設(shè)施進(jìn)行了對(duì)比與總結(jié)，并展望了未來研究方向.網(wǎng)絡(luò)創(chuàng)新試驗(yàn)床作為未來網(wǎng)絡(luò)的驗(yàn)證與演進(jìn)平臺(tái)應(yīng)是一個(gè)完整的網(wǎng)絡(luò)生態(tài)系統(tǒng)，而未來網(wǎng)絡(luò)的不確定性和試驗(yàn)床本身完備的生態(tài)系統(tǒng)導(dǎo)致其在組網(wǎng)、聯(lián)邦、管控架構(gòu)、實(shí)驗(yàn)支撐等諸多方面仍面臨著問題和挑戰(zhàn).

[1]Xie Gaogang, Zhang Yujun, Li Zhenyu, et al. A survey on future Internet architecture[J]. Chinese Journal of Computers, 2012, 35(6): 1109-1119 (in Chinese)(謝高崗, 張玉軍, 李振宇, 等. 未來互聯(lián)網(wǎng)體系結(jié)構(gòu)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2012, 35(6): 1109-1119)

[2]Wu Q, Li Z, Zhou J, et al. SOFIA: Toward service-oriented information centric networking[J]. IEEE Network, 2014, 28(3): 12-18

[3]Wu Chao, Zhang Yaoxue, Zhou Yuezhi, et al. A survey for the development of information-centric networking[J]. Chinese Journal of Computers, 2014, 37(13): 1-18 (in Chinese)(吳超, 張堯?qū)W, 周悅芝, 等. 信息中心網(wǎng)絡(luò)發(fā)展研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2014, 37(13): 1-18)

[4]Cao Jian, Wang Xingwei, Zhang Jinhong, et al. A data driven cognitive routing protocol for information-centric networking[J]. Journal of Computer Research and Development, 2015, 52(4): 798-805 (in Chinese) (曹健, 王興偉, 張金宏, 等. 數(shù)據(jù)驅(qū)動(dòng)的信息中心網(wǎng)絡(luò)認(rèn)知路由協(xié)議[J]. 計(jì)算機(jī)研究與發(fā)展, 2015, 52(4): 798-805)

[5]Géktürk E. A stance on emulation and testbeds, and a survey of network emulators and testbeds[C]Proc of European Conf on Modeling and Simulation. Berlin: Springer, 2007: 26-31

[6]Liang Junxue, Lin Zhaowen, Ma Yan. Future Internet experiment platform[J]. Chinese Journal of Computers, 2013, 36(7): 1364-1374 (in Chinese)(梁軍學(xué), 林昭文, 馬嚴(yán). 未來互聯(lián)網(wǎng)試驗(yàn)平臺(tái)[J]. 計(jì)算機(jī)學(xué)報(bào), 2013, 36(7): 1364-1374)

[7]Mambretti J, Chen J, Yeh F. Creating environments for innovation: Designing and implementing advanced experimental network research testbeds based on the global lambda integrated facility and the StarLight exchange[J]. Computer Networks, 2014(61): 118-131

[8]Anderson T, Peterson L, Shenker S, et al. Overcoming the Internet impasse through virtualization[J]. Computer, 2005, 38(4): 34-41

[9]McKeown N. Keynote talk: Software-defined networking[R]. Piscataway, NJ: IEEE, 2009

[10]Berman M, Chase J, Landweber L, et al. GENI: A federated testbed for innovative network experiments[J]. Computer Networks, 2014, 61: 5-23

[11]Imran M, Said A M, Hasbullah H. A survey of simulators, emulators and testbeds for wireless sensor networks[C]Proc of Int Symp on Information Technology. Piscataway, NJ: IEEE, 2010: 897-902

[12]Gluhak A, Krco S, Nati M, et al. A survey on facilities for experimental Internet of things research[J]. Communications Magazine, 2011, 49(11): 58-67

[13]Campanella M, Farina F. The FEDERICA infrastructure and experience[J]. Computer Networks, 2014, 61: 176-183

[14]McKeown N, Anderson T, Balakrishnan H, et al. OpenFlow: Enabling innovation in campus networks[J]. ACM SIGCOMM Computer Communication Review, 2008, 38 (2): 69-74

[15]Xie G, He P, Guan H, et al. PEARL: A programmable virtual router platform[J]. IEEE Communications Magazine, 2011, 49(7): 71-77

[16]Zhang Yuanyuan, Xu Mingwei, Li Qi. VegaNet virtual router[J]. Chinese Journal of Computers, 2014, 37(11): 2342-2352 (in Chinese)(張媛媛, 徐明偉, 李琦. VegaNet網(wǎng)絡(luò)虛擬路由器[J]. 計(jì)算機(jī)學(xué)報(bào), 2014, 37(11): 2342-2352)

[17]Bavier A, Feamster N, Huang M, et al. In VINI veritas: Realistic and controlled network experimentation[J]. ACM SIGCOMM Computer Communication Review, 2006, 36(4): 3-14

[18]Kohler E, Morris R, Chen B, et al. The click modular router[J]. ACM Trans on Computer Systems, 2000, 18(3): 263-297

[19]Mahalingam M, Dutt D, Duda K, et al. Virtual extensible local area network (VXLAN): A framework for overlaying virtualized layer 2 networks over layer 3 networks[S]. Fremont, CA: The Internet Engineering Task Force(IETF), 2014

[20]Sridharan M, Greenberg A, Venkataramiah N, et al. NVGRE: Network virtualization using generic routing encapsulation[S]. Fremont, CA: The Internet Engineering Task Force(IETF), 2011

[21]Chowdhury K, Boutaba R. A survey of network virtualization[J]. Computer Networks, 2010, 54(5): 862-876

[22]Belter B, Martinez J R, Aznar J I, et al. The GEYSERS optical testbed: A platform for the integration, validation and demonstration of cloud-based infrastructure services[J]. Computer Networks, 2014(61): 197-216

[23]Medhi D, Ramamurthy B, Scoglio C, et al. The GpENI testbed: Network infrastructure, implementation experience, and experimentation[J]. Computer Networks, 2014, 61: 51-74

[24]Brent C, David C, Timothy R, et al. PlanetLab: An overlay testbed for broad-coverage services[J]. ACM SIGCOMM Computer Communication Review, 2003, 33(3): 3-12

[25]Luo Layong, He Peng, Guan Hongtao, et al. Key technologies and prototype systems of programmable virtual routers[J]. Chinese Journal of Computers, 2013, 36(7): 1349-1363 (in Chinese)(羅臘詠, 賀鵬, 關(guān)洪濤, 等. 可編程虛擬路由器關(guān)鍵技術(shù)與原型系統(tǒng)[J]. 計(jì)算機(jī)學(xué)報(bào), 2013, 36(7): 1349-1363)

[26]Kobayashi M, Seetharaman S, Parulkar G, et al. Maturing of OpenFlow and software-defined networking through deployments[J]. Computer Networks, 2014, 61: 151-175

[27]Yu Tao, Bi Jun, Wu Jianping. Research on the virtualization of future Internet[J]. Journal of Computer Research and Development, 2015, 52(9): 2069-2082 (in Chinese)(余濤, 畢軍, 吳建平. 未來互聯(lián)網(wǎng)虛擬化研究[J]. 計(jì)算機(jī)研究與發(fā)展, 2015, 52(9): 2069-2082)

[28]Sherwood R, Gibb G, Yap K K, et al. Can the production network be the testbed?[C]Proc of USENIX Symp on Operating Systems Design and Implementation. Berkeley: USENIX Association, 2010: 1-6

[29]Pfaff B, Pettit J, Koponen T, et al. The design and implementation of open vSwitch[C]Proc of USENIX Symp on Networked Systems Design and Implementation. Berkeley: USENIX Association, 2015: 117-130

[30]Dixit A, Hao F, Mukherjee S, et al. Towards an elastic distributed SDN controller[J]. ACM SIGCOMM Computer Communication Review, 2013, 43(4): 7-12

[31]Wickboldt J, De Jesus W, Isolani P, et al. Software-defined networking: Management requirements and challenges[J]. Communications Magazine, 2015, 53(1): 278-285

[32]Huang Tao, Liu Jiang, Huo Ru, et al. Survey of research on future network architectures[J]. Journal on Communications, 2014, 35(8): 184-197 (in Chinese) (黃韜, 劉江, 霍如, 等. 未來網(wǎng)絡(luò)體系架構(gòu)研究綜述[J]. 通信學(xué)報(bào), 2014, 35(8): 184-197)

[33]Egi N, Greenhalgh A, Handley M, et al. Towards high performance virtual routers on commodity hardware[C]Proc of the ACM CoNEXT Conf. New York: ACM, 2008: 20-31

[34]Elliott C, Falk A. An update on the geni project[J]. ACM SIGCOMM Computer Communication Review, 2009, 39(3): 28-34

[36]Peterson L, Ricci R, Falk A, et al. Slice-based federation architecture[R]. New York: Global Environment for Network Innovations, 2008

[37]Peterson L, Ricci R, Falk A, et al. Slice-based federation architecture V2[R]. New York: Global Environment for Network Innovations, 2010

[38]Auge J, Parmentelat T, Turro N, et al. Tools to foster a global federation of testbeds[J]. Computer Networks, 2014, 63: 205-220

[39]Jofre J, Velayos C, Landi G, et al. Federation of the BonFIRE multi-cloud infrastructure with networking facilities[J]. Computer Networks, 2014(61): 184-196

[40]Schwerdel D, Reuther B, Zinner T, et al. Future Internet research and experimentation: The G-Lab approach[J]. Computer Networks, 2014(61): 102-117

[41]Rakotoarivelo T, Ott M, Jourjon G, et al. OMF: A control and management framework for networking testbeds[J]. ACM SIGOPS Operating Systems Review, 2010, 43(4): 54-59

[42]Bourgeau T, Augé J, Friedman T. TopHat: Supporting experiments through measurement infrastructure federation[C]Proc of Int Conf on Testbeds and Research Infrastructures. Berlin: Springer, 2011: 542-557

[43]Singh M, Ott M, Seskar I, et al. ORBIT measurements framework and library (OML): Motivations, implementation and features[C]Proc of Testbeds and Research Infrastructures for the Development of Networks and Communities. Piscataway, NJ: IEEE, 2005: 146-152

[44]Griffioen J, Fei Z, Nasir H, et al. Measuring experiments in GENI[J]. Computer Networks, 2014, 63: 17-32

[45]Mehani O, Jourjon G, Rakotoarivelo T, et al. An instrumentation framework for the critical task of measurement collection in the future Internet[J]. Computer Networks, 2014, 63: 68-83

[46]Monteiro J A S. Measurement infrastructures for future Internet testbeds[COL]. 2010[2016-03-11]. http:webscience.org.br20100625.pdf

[47]Paxson V. Strategies for sound Internet measurement[C]Proc of the 4th ACM SIGCOMM Conf on Internet Measurement. New York: ACM, 2004: 263-271

[48]Raychaudhuri D, Seskar I, Ott M, et al. Overview of the ORBIT radio grid testbed for evaluation of next-generation wireless network protocols[C]Proc of Wireless Communications and Networking Conf. Piscataway, NJ: IEEE, 2005: 1664-1669

[49]Gavras A, Karila A, Fdida S, et al. Future Internet research and experimentation: The FIRE initiative[J]. ACM SIGCOMM Computer Communication Review, 2007, 37(3): 89-92

[50]Park M K, Lee J Y, Kim B C, et al. Implementation of a future Internet testbed on KOREN based on NetFPGAOpenFlow switches[COL]. 2009[2016-03-11]. http:fif.krAsiaNetFPGAwspaper1-1.pdf

[51]Kim D, Kim J, Wang G, et al. K-GENI testbed deployment and federated meta operations experiment over GENI and KREONET[J]. Computer Networks, 2014, 61: 39-50

[52]Bastin N, Bavier A, Blaine J, et al. The InstaGENI initiative: An architecture for distributed systems and advanced programmable networks[J]. Computer Networks, 2014, 61: 24-38

[53]Baldine I, Xin Y, Mandal A, et al. Exogeni: A multi-domain infrastructure-as-a-service testbed[C]Proc of Int Conf on Testbeds and Research Infrastructures. Berlin: Springer, 2012: 97-113

[54]Bhanage G, Seskar I, Raychaudhuri D. A service oriented experimentation framework for virtualized WiMAX systems[C]Proc of Int Conf on Testbeds and Research Infrastructures. Berlin: Springer, 2011: 152-161

[55]Sanchez L, Muoz L, Galache J A, et al. SmartSantander: IoT experimentation over a smart city testbed[J]. Computer Networks, 2014, 61: 217-238

Wang Yang, born in 1987. PhD candidate. His main research interests include federation of testbeds and network function virtualization (NFV).

Zeng Rongfei, born in 1983. PhD, assistant professor. His main research interests include the security and economics of networks (zengrf@ict.ac.cn).

Li Zhenyu, born in 1980. PhD, associate professor. His main research interests include future Internet architecture and P2P computing (zyli@ict.ac.cn).

Xie Gaogang, born in 1974. Professor, PhD supervisor. His main research interests include future Internet architecture, programmable virtual routers, network measurement and NFV (xie@ict.ac.cn).

A Survey on Key Technologies of Network Innovation Testbeds

Wang Yang1,2, Zeng Rongfei1, Li Zhenyu1, and Xie Gaogang1

1(InstituteofComputingTechnology,ChineseAcademyofSciences,Beijing100190)2(UniversityofChineseAcademyofSciences,Beijing100049)

The current Internet architecture based on TCPIP is facing with many unprecedented challenges, including scalability, security, mobility and controllability. New clean-slate architecture designs are expected to address these challenges and provide better evolvability. As such, they have been attracting great attention in recent years. Before deployment in production networks, the future Internet architectures, protocols and algorithms should be comprehensively validated, evaluated and optimized in large-scale and realistic testbeds. The testbeds for network innovation should closely simulate the real network, and provide more flexibility. These requirements make it critical to study architectures and key technologies of testbeds. Although there have been long-term interests in network testbeds, a comprehensive survey is still missing. In this paper, we first analyze the requirements of network innovation testbeds based on four common problems of network experiments, namely cost, feasibility, credibility and controllability. We then summarize technical challenges of testbeds design and development from the perspectives of virtualization and programmability of network, federate managementcontrol of resources, as well as monitormeasurement of infrastructures and experiments. In particular, we summarize the state-of-the-art technologies and architectures that aim at addressing the aforementioned challenges. Finally, we present some representative testbeds, and discuss the future trends and open questions.

future Internet; network testbed; federation; virtualization; programmability; management; measurement and monitor

2016-04-28；

2016-08-18

國家自然科學(xué)基金項(xiàng)目(61572475,61502460)；國家自然科學(xué)基金重點(diǎn)項(xiàng)目(61133015)；國家“八六三”高技術(shù)研究發(fā)展計(jì)劃基金項(xiàng)目(2015AA010201) This work is supported by the National Natural Science Foundation of China (61572475, 61502460), the Key Program of National Natural Science Foundation of China (61133015), and the National High Technology Research and Development Program of China (863 Program) (2015AA010201).

TP393