靳書云，劉凱，房志奇，康衛(wèi)，武宇鵬，韓春昊

（中國電子信息產(chǎn)業(yè)集團有限公司第六研究所，北京 100083）

0 引言

近年來，云計算平臺因其能提供快速、按需、彈性的資源構建方式，按照用戶需求快速地構建計算資源和開發(fā)環(huán)境，已逐漸被應用于航天測控領域[1-2]。云計算平臺的引入改變了航天任務測控中心傳統(tǒng)的“單星單系統(tǒng)”發(fā)展模式，解決了傳統(tǒng)測控系統(tǒng)柔性不足，硬件系統(tǒng)與業(yè)務應用緊耦合，各業(yè)務系統(tǒng)自成體系，軟硬件資源分配和重組不靈活、資源共享不充分，系統(tǒng)互聯(lián)互通能力差，適應新業(yè)務可擴展能力有限等問題[3-4]。

但是，云計算平臺的引入也出現(xiàn)了新的問題。在基于國產(chǎn)化云計算平臺的航天任務中心系統(tǒng)更新?lián)Q代過程中，數(shù)據(jù)的強實時性、高吞吐性還達不到實際應用程度，比較突出的問題就是，網(wǎng)網(wǎng)絡資源虛擬化對數(shù)據(jù)組播的限制，數(shù)據(jù)丟包嚴重且數(shù)據(jù)極限帶寬不高。本文構建基于國產(chǎn)化云平臺計算機系統(tǒng)，設計基于云平臺用戶態(tài)的航天數(shù)據(jù)混合組播應用技術，解決了國產(chǎn)操作系統(tǒng)及云平臺網(wǎng)絡資源虛擬化對數(shù)據(jù)組播的性能瓶頸問題，極大地提升了云平臺數(shù)據(jù)組播的性能，使基于國產(chǎn)化云平臺計算機系統(tǒng)在航天任務領域得到實際應用和驗證[5]。

1 系統(tǒng)設計

1.1 系統(tǒng)架構

緊密圍繞我國航天裝備發(fā)展應用需求，充分利用新的信息技術，構建面向服務、按需定制的一體化云架構計算機系統(tǒng)[6]，如圖1 所示，其主要由資源層、服務層和應用層三層組成。

圖1 一體化云架構計算機系統(tǒng)體系架構圖

資源層提供一個功能完整、標準開放、方便集成的基礎設施和平臺服務，是服務的核心支撐層，主要由計算、存儲、網(wǎng)絡、顯示等硬件資源組成，通過云平臺虛擬化技術將硬件資源以服務的方式提供給用戶，實現(xiàn)智能化的資源性能、容量和配置管理。

服務層提供各類基礎服務和業(yè)務服務，支持服務動態(tài)注冊，滿足橫向業(yè)務擴展需求，不同任務可根據(jù)各自需求獲取不同的接口和服務，實現(xiàn)信息收發(fā)、數(shù)據(jù)處理、計算分析等系統(tǒng)功能的服務化、組件化，為應用層與資源層交互提供服務。

應用層直接面向各任務和用戶。各任務和用戶以服務層的軟件服務為基礎，按需定制任務的服務模型和服務流程，并根據(jù)計算和數(shù)據(jù)存儲需求，分配計算和存儲資源以及網(wǎng)絡服務[7-8]。

1.2 硬件拓撲

依托一體化云架構計算機系統(tǒng)體系架構，構建系統(tǒng)硬件拓撲連接，如圖2 所示，系統(tǒng)為均選用國產(chǎn)化品牌。系統(tǒng)由網(wǎng)絡資源、計算資源、存儲資源、輔助資源、顯示資源及配套設施組成，通過云平臺虛擬化技術將底層物理設備的硬件資源以服務的方式提供給服務層和應用層相關軟件子系統(tǒng)適應，并通過運管平臺實現(xiàn)對物理資源和虛擬資源的有效監(jiān)。實現(xiàn)資源虛擬化、功能服務化、運行智能化、任務實戰(zhàn)化，形成系統(tǒng)動態(tài)重組、數(shù)據(jù)靈活共享、全域調度指揮、智能任務決策的航天測控中心，在體系架構轉型、系統(tǒng)資源共享、任務能力生成、運行模式優(yōu)化等方面取得顯著的建設效益[9]。

圖2 一體化云架構計算機系統(tǒng)硬件拓撲圖

網(wǎng)絡資源：采用層次化設計，包括核心層、匯聚層、接入層，每層功能清晰、架構穩(wěn)定、易于擴展和維護。核心層選用兩臺萬兆數(shù)據(jù)中心級交換機，匯聚層選用兩臺萬兆交換機，核心層與匯聚層均做兩兩堆疊，組成高可用交換網(wǎng)絡，滿足各系統(tǒng)或資源互聯(lián)傳輸性能要求，確保網(wǎng)絡通信的穩(wěn)定性。

計算資源：選用若干臺高性能服務器作為計算資源池，云平臺部署于各計算節(jié)點上，通過虛擬化技術，將傳統(tǒng)的物理服務器進行虛擬化復用，提高服務器的資源利用率，從而高效地為業(yè)務平臺提供各類應用云服務資源，能夠實現(xiàn)某中心接收外部數(shù)據(jù)，進行相關計算處理，為完成任務指令、數(shù)據(jù)注入等應用提供計算能力保障。

存儲資源：選用數(shù)據(jù)庫、服務器、光纖交換機、磁盤陣列構建集中式存儲系統(tǒng)，配置主備雙活模式，用于結構化數(shù)據(jù)存儲；選用分布式存儲系統(tǒng)，構建多副本存儲模式，用于非結構化數(shù)據(jù)的存儲。兩種存儲方式相輔相成實現(xiàn)各種實時數(shù)據(jù)、事后處理數(shù)據(jù)的存放，滿足中心數(shù)據(jù)存儲的高可靠高穩(wěn)定要求。

顯示資源：主要由LED 顯示屏、信號處理設備、集中控制設備等組成。主要將指揮人員、分析人員及技術人員在任務中所需要的指揮、分析、決策和監(jiān)控工作的測控數(shù)據(jù)及圖表進行可視化顯示。

輔助資源：由多臺操作終端組成，用于指揮人員操作控制，實時監(jiān)控任務中相關參數(shù)、信息。

基礎軟件：包含麒麟操作系統(tǒng)、麒麟平臺下的軟雙工管理軟件和時間服務軟件等。

2 航天測控通信網(wǎng)絡傳輸機制

航天測控通信網(wǎng)絡主要承載數(shù)據(jù)、圖像、話音等業(yè)務，大部分業(yè)務需要單點發(fā)送、多點接收，如果采用單播方式進行傳輸，則需要在源端進行多次單播傳輸，重復的數(shù)據(jù)包會占用大量網(wǎng)絡帶寬，增減源主機負載，如果涉及跨區(qū)跨域的業(yè)務，則會占用區(qū)域間有限的鏈路帶寬。而組播的優(yōu)勢在于當需要將大量相同的數(shù)據(jù)傳輸給不同用戶時，能節(jié)省發(fā)送數(shù)據(jù)主機的系統(tǒng)資源和帶寬，可以通過支持組播路協(xié)議的路由器或交換機有選擇地將數(shù)據(jù)復制給有要求的用戶，并且可以節(jié)省骨干網(wǎng)的傳輸帶寬。同時，組播也更易于管理，方便了解組播成員的應用情況，使發(fā)送者和路由器的處理耗費以及發(fā)送延遲降低到了最低的程度[10]，因此組播通信方式被用在航天業(yè)務應用測控通信中，從而有效節(jié)約網(wǎng)絡帶寬，降低網(wǎng)絡負載。

2.1 組播基本架構介紹

組播基本架構如圖3 所示，按照協(xié)議層從下往上劃分，組播基本架構包括尋址機制、主機接入、組播路由、組播應用四部分[11]。

其中尋址機制指使用組播地址，實現(xiàn)組播源發(fā)送信息到一組接收者；主機接入指基于組播成員關系協(xié)議，允許組播接收者動態(tài)加入和離開某組播組，實現(xiàn)對組播成員的管理；組播路由指基于組播路由協(xié)議構建報文分發(fā)樹，從組播源傳輸報文到接收者；組播應用指組播源與接收者須安裝組播應用軟件，進行組播信息的發(fā)送和接收。

2.2 云平臺虛擬網(wǎng)絡環(huán)境通信模式

傳統(tǒng)網(wǎng)絡環(huán)境中，一臺物理機包含一個或多個網(wǎng)卡，要實現(xiàn)與其他物理主機之間的通信，需要通過自身的網(wǎng)卡（Network Interface Card,NIC）連接到外部的網(wǎng)絡設施（如交換機（Switch））上，如圖4 所示。這種模式下，往往將一個應用部署在一臺物理設備上，從而實現(xiàn)應用隔離。

圖4 傳統(tǒng)網(wǎng)絡環(huán)境數(shù)據(jù)通信模式

通過云平臺虛擬化層的虛擬機監(jiān)控程序Hypervisor的調度技術，將資源從空閑的應用上調度到繁忙的應用上，實現(xiàn)對現(xiàn)有資源的靈活控制和調度[12]。通過虛擬化技術，將1 臺實體物理機虛擬為n個虛擬機，將1 張物理網(wǎng)卡虛擬成多張?zhí)摂M網(wǎng)卡（Virtualised Network Interface Card，vNIC），不同的虛擬機運行不同的應用業(yè)務，實現(xiàn)應用隔離。利用支持多層數(shù)據(jù)轉發(fā)的高質量虛擬交換機 (Open vSwitch，OVS)創(chuàng)建分布式虛擬交換機，實現(xiàn)跨主機虛擬機之間的通信。在虛擬化環(huán)境中，以兩臺物理機為例，網(wǎng)絡傳輸模式如圖5 所示。

圖5 云平臺虛擬化網(wǎng)絡環(huán)境數(shù)據(jù)通信模式

2.3 云平臺數(shù)據(jù)組播性能瓶頸

隨著航天測控領域技術的不斷發(fā)展，航天任務不斷增加，航天器跟蹤測量數(shù)據(jù)、飛行控制參數(shù)、飛行軌道姿態(tài)等各類遙測數(shù)據(jù)越來越多，對網(wǎng)絡通信的實時性、穩(wěn)定性和可靠性提出了更高要求，測控中心網(wǎng)絡環(huán)境已升級至10 Gb/s 帶寬。為滿足航天通信要求，在丟包率小于10-7前提下，極限帶寬值不低于7 000 Mb/s。

2.3.1 測試環(huán)境

按照圖2 系統(tǒng)架構圖進行測試環(huán)境搭建，網(wǎng)絡數(shù)據(jù)收發(fā)關系如圖6 所示。

圖6 網(wǎng)絡收發(fā)數(shù)據(jù)關系圖

選取系統(tǒng)中部分虛擬機、操作終端和數(shù)據(jù)庫服務器進行網(wǎng)絡數(shù)據(jù)收發(fā)測試，圖中箭頭方向為測試數(shù)據(jù)流向。

2.3.2 測試工具及方法

（1）測試工具

在虛擬機、數(shù)據(jù)庫服務器、操作終端上分別部署用戶數(shù)據(jù)包協(xié)議（User Datagram Protocol,UDP）丟包測試軟件，如圖7 所示。分別對同一物理機虛擬機間、不同物理機虛擬機間、虛擬機與數(shù)據(jù)庫服務器、虛擬機與操作終端的網(wǎng)絡通信進行測試。

圖7 測試軟件界面

（2）測試方法

以4 KB、8 KB、64 KB 3 種字節(jié)長度進行組播性能測試，測試方法步驟如下：

(1)啟動各測試端，運行網(wǎng)絡測試工具。

(2)進行組播發(fā)送配置。目的地址為組播地址IP，綁定地址為本機IP，設置包長、發(fā)送間隔、包數(shù)等信息。

(3)進行組播接收地址配置。接收地址為組播地址IP，綁定地址為本機IP，指定源地址為發(fā)送端IP。

(4)根據(jù)需求重復步驟（3）配置多個接收地址。

(5)記錄30 min 后接收端的丟包數(shù)，計算丟包率（測試過程中丟包數(shù)除以總的收包數(shù)，得出測試過程的丟包率）。

(6)測試出不同包長下的丟包率為10-7情況下的極限帶寬值。

2.3.3 測試結果

針對圖6 中網(wǎng)絡數(shù)據(jù)收發(fā)關系，針對4KB、8KB、64KB 不同包長分別進行12 組測試，記錄丟包率為10-7情況下的極限帶寬值，測試結果如表1 所示。

表1 組播極限帶寬值 （Mb/s）

經(jīng)測試，相同包長下，極限帶寬分兩種情況：

（1）通信雙方無虛擬機時，4 KB、8 KB、64 KB 極限帶寬分別為5 126.0 Mb/s、6 278.3 Mb/s、6 377.8 Mb/s；

（2）通信雙方有虛擬機時，4 KB、8 KB、64 KB 極限帶寬分別為3 982.0 Mb/s、5 278.3 Mb/s、5 335.7 Mb/s。

測試結果無法滿足通信要求。

2.3.4 原因分析

通信雙方無虛擬機時，數(shù)據(jù)通信不通過虛擬網(wǎng)絡，帶寬仍不足7 000 Mb/s，與其他項目做比較，不同之處在于設備上運行國產(chǎn)操作系統(tǒng)，分析原因為國產(chǎn)操作系統(tǒng)造成的數(shù)據(jù)帶寬受限。

通信雙方有虛擬機時，帶寬更低，除操作系統(tǒng)影響外，云平臺底層網(wǎng)卡設置方式及虛擬機CPU 資源分配也會影響數(shù)據(jù)收發(fā)處理速度。

3 解決方案

分別從操作系統(tǒng)、云平臺、虛擬機CPU 三個層面進行優(yōu)化設計，提出航天數(shù)據(jù)云組播技術，對網(wǎng)絡帶寬性能進行提升。

3.1 操作系統(tǒng)優(yōu)化

操作系統(tǒng)內核套接字緩存、網(wǎng)卡收發(fā)緩存及網(wǎng)卡最大傳輸單元（Maximum Transmission Unit，MTU）都會影響數(shù)據(jù)收發(fā)效率。首先將Linux 系統(tǒng)套接字上的緩沖區(qū)默認值和最大值進行調整，套接字是操作系統(tǒng)中用于網(wǎng)絡通信的重要結構，它是建立在網(wǎng)絡體系結構的傳輸層，用于主機之間數(shù)據(jù)的發(fā)送和接收，避免因為內核緩沖區(qū)太小造成數(shù)據(jù)丟包；其次，設置網(wǎng)卡收發(fā)緩存，在網(wǎng)卡硬件參數(shù)滿足情況下，通過設置網(wǎng)卡緩存容量改變緩存大小，提高網(wǎng)卡性能；最后，設置MTU 大?。喝绻粚υ撝颠M行設置，會造成長報文無法可靠地傳輸，丟失后重傳會占用大量網(wǎng)絡資源，通過改變MTU 大小，提高報文傳輸效率，從而降低丟包。

3.2 云平臺優(yōu)化

設置網(wǎng)卡全輪詢驅動模式，使用無中斷方式直接操作網(wǎng)卡的接收和發(fā)送隊列。全輪詢方式的驅動從網(wǎng)卡上接收到數(shù)據(jù)包后，會直接通過直接內存訪問(Direct Memory Access，DMA)方式傳輸?shù)筋A分配的內存中，同時更新無鎖環(huán)形隊列中的數(shù)據(jù)包指針，不斷輪詢的應用程序很快就能感知收到數(shù)據(jù)包，并在預分配的內存地址上直接處理數(shù)據(jù)包，從而提升了網(wǎng)絡數(shù)據(jù)包的處理性能。

使用大頁內存提高內存訪問效率。轉換后備緩沖器（Translation Lookaside Buffer，TLB）是CPU 中單獨的一塊髙速緩存，為了實現(xiàn)虛擬地址到物理地址的轉換，首先要查找TLB 來進行快速映射。如果在查找時TLB沒有命中就會觸發(fā)一次缺頁中斷，CPU 就需要到內存中去訪問多級頁表，才能最終得到物理地址，從而導致極大的CPU 開銷。Linux 默認大頁內存大小為4 KB，在程序使用大內存時，需要大量的頁表表項才能保證TLB 命中，通過設置大頁內存為1 GB 提高檢索效率，確保TLB命中，提高網(wǎng)絡數(shù)據(jù)包的處理性能，降低丟包率，提高極限帶寬。

3.3 虛擬機CPU 資源優(yōu)化

利用CPU 親和技術，避免線程在不同核間的切換造成的資源浪費，從而降低對網(wǎng)絡數(shù)據(jù)組播性能的影響。在單個CPU 核上，多線程可以提髙各應用的并發(fā)運行程度，從而提高CPU 的整體利用率，但線程的創(chuàng)建和銷毀都有開銷，還會引入上下文切換、訪存沖突、緩存Cache失效等諸多消耗性能的因素。通過仔細規(guī)劃線程在CPU 不同核上的分布，達到既保持應用的高速并發(fā)運行，又減少線程切換開銷的目的。利用Linux 系統(tǒng)下的CPU 親和性，將特定任務綁定到只在某個CPU 核上運行，從而避免線程在不同核間的頻繁切換，減少性能損失。另外作為更進一步的優(yōu)化手段，可限定某些核不參與Linux 系統(tǒng)調度的技術手段，使特定的任務線程（如網(wǎng)絡收發(fā)包線程）可以獨占CPU核，從而提升網(wǎng)絡數(shù)據(jù)組播性能。具體實現(xiàn)示意如圖8 所示。

4 測試驗證

通過以上3 種技術方式的結合優(yōu)化設計，極大地提升了云平臺數(shù)據(jù)組播的性能。優(yōu)化后，測試結果如表2所示。

表2 優(yōu)化后組播極限帶寬值

經(jīng)過實際測試結果表明：滿足組播丟包率優(yōu)于10-7，能夠使萬兆網(wǎng)絡中虛擬化層包長4 KB 報文的組播帶寬穩(wěn)定提升到7.6 Gb/s，包長64 KB 報文的組播極限帶寬能夠達到9.6 Gb/s，優(yōu)化后相同包長情況下實現(xiàn)帶寬80%～90%的提升，最優(yōu)情況能夠將帶寬提升到萬兆網(wǎng)絡的96%，充分滿足了航天任務中心業(yè)務使用需求。具體測試數(shù)據(jù)如表3 所示。

表3 組播極限帶寬對比

5 結論

本文構建一種基于國產(chǎn)化云架構的一體化計算機系統(tǒng)，系統(tǒng)設備國產(chǎn)化率100%，提出了基于國產(chǎn)化云平臺的航天數(shù)據(jù)混合組播應用技術，實現(xiàn)了操作系統(tǒng)、云平臺、虛擬機CPU 資源三個層面技術優(yōu)化，解決了國產(chǎn)操作系統(tǒng)及云平臺網(wǎng)絡資源虛擬化對數(shù)據(jù)組播的性能瓶頸問題，提升了云平臺數(shù)據(jù)組播的性能，經(jīng)過實際測試，提升后性能可滿足航天任務中心業(yè)務使用需求。