王鈞慧，曾富華

(中國西南電子技術(shù)研究所，成都 610036)

0 引 言

隨著我國航天事業(yè)的發(fā)展，日益增多的航天發(fā)射任務(wù)和大量在軌運(yùn)行的衛(wèi)星對飛行器測控系統(tǒng)提出了越來越高的要求，特別是隨著載人航天技術(shù)的發(fā)展，空間站、空間運(yùn)行系統(tǒng)等的探測任務(wù)也將逐漸在軌運(yùn)行，預(yù)計(jì)未來數(shù)年將加速發(fā)展，這對測控和數(shù)據(jù)傳輸設(shè)備提出了更高更新的要求。

中頻信號數(shù)字化、IP 網(wǎng)絡(luò)傳輸和遠(yuǎn)端波形重構(gòu)技術(shù)能夠給衛(wèi)星地面系統(tǒng)帶來顯著效益。對遠(yuǎn)端地面站而言，這些效益包括降低成本和更靈活的軟件處理。美國 RT Logic 公司 2015 年推出了一項(xiàng)名為 SpectralNet的新系統(tǒng)，能夠?qū)πl(wèi)星下發(fā)的中頻信號進(jìn)行數(shù)字化，并將數(shù)字化后的信號經(jīng)過 IP 網(wǎng)絡(luò)傳輸，并保持信號波形特征不失真，可在遠(yuǎn)端利用云計(jì)算平臺進(jìn)行信號軟件化解調(diào)、記錄以及分發(fā)等操作。

雷達(dá)和通信領(lǐng)域也在積極推進(jìn)“軟件化雷達(dá)”“軟件定義通信”等新技術(shù)。采用通用化和數(shù)字化特點(diǎn)的新型系統(tǒng)具有開放式體系架構(gòu)，可以適應(yīng)“面向?qū)嶋H需求，以軟件技術(shù)為核心”的開發(fā)理念，以軟件化開發(fā)模式靈活地實(shí)現(xiàn)系統(tǒng)擴(kuò)展、更新和升級[1-3]。

針對第三代跟蹤與數(shù)據(jù)中繼衛(wèi)星系統(tǒng)(Tracking and Data Relay Satellite System，TDRSS) ，NASA 提出了“天基網(wǎng)地面部分維護(hù)計(jì)劃”(Space Network Ground Segment Sustainment,SGSS)。SGSS 引入了數(shù)字光纖、硬基帶池、虛擬機(jī)等新概念和新技術(shù)，將提供一個(gè)靈活的可擴(kuò)展、可升級的開放式地面測控系統(tǒng)。這種“池”式結(jié)構(gòu)減少了設(shè)備量，提高了結(jié)構(gòu)靈活性和硬件利用效率。目前我國在二代中繼地面終端站以及航天測控?cái)?shù)傳一體化地面站也在積極推進(jìn)射頻數(shù)字化以及硬基帶池技術(shù)[4-5]。

現(xiàn)有電信網(wǎng)絡(luò)設(shè)備在數(shù)量和性能上都無法滿足呈指數(shù)級增長的數(shù)據(jù)傳輸帶寬的需求，由此導(dǎo)致網(wǎng)絡(luò)設(shè)備的采購和運(yùn)營成本有增無減。利用虛擬化技術(shù)，把原本分散的通用服務(wù)器集中起來統(tǒng)一進(jìn)行管理分配，在通用計(jì)算平臺上采用高級編程語言開發(fā)方式實(shí)現(xiàn)網(wǎng)絡(luò)功能虛擬化(Network Functions Virtualization，NFV)，提高了計(jì)算和存儲的利用率，實(shí)現(xiàn)了應(yīng)用軟件靈活部署并且不依賴于特定硬件，進(jìn)而降低了管理、維護(hù)和運(yùn)行成本[6-9]。微軟公司在2020年10月20日宣布，它將使用OpenSpace作為其Azure Orbital地面站即服務(wù)的一部分。OpenSpace由美國Kratos公司研制，該產(chǎn)品將軟件定義方法應(yīng)用于地面站的虛擬產(chǎn)品系列。OpenSpace使用開放標(biāo)準(zhǔn)、基于云的系統(tǒng)，可以根據(jù)任務(wù)需求不斷調(diào)整而無需安裝新硬件，使之可有效通過數(shù)字轉(zhuǎn)換器連接到任何天線。

本文借鑒NFV理念，基于航天地面測控系統(tǒng)的特點(diǎn)，提出了測控功能虛擬化(TT&C Function Virtualization，TFV)的全新概念，同時(shí)闡述了一種基于實(shí)時(shí)云測控基帶池的實(shí)現(xiàn)方案，包括總體架構(gòu)、關(guān)鍵技術(shù)解決方法以及原理樣機(jī)的測試驗(yàn)證。

1 系統(tǒng)方案設(shè)計(jì)

1.1 總體架構(gòu)設(shè)計(jì)

圖1所示為實(shí)時(shí)云測控基帶池總體架構(gòu)。

圖1 實(shí)時(shí)云測控基帶池總體架構(gòu)

實(shí)時(shí)云基帶主要包括計(jì)算資源池、射頻IP化前端資源池和管理與編排三部分。計(jì)算資源池分為基礎(chǔ)設(shè)施層和測控功能層。

(1)基礎(chǔ)設(shè)施層

主要提供系統(tǒng)運(yùn)行的軟件、硬件環(huán)境，其中，軟件環(huán)境包括云平臺管理系統(tǒng)、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、虛擬化管理系統(tǒng)等；硬件環(huán)境包括物理服務(wù)器、分布式存儲設(shè)備、網(wǎng)絡(luò)設(shè)備和加速卡設(shè)備等，各類物理資源通過虛擬化形成通用的虛擬計(jì)算資源、存儲資源、網(wǎng)絡(luò)資源和加速資源，承載各類業(yè)務(wù)應(yīng)用和服務(wù)。

(2)測控功能層

測控功能主要完成測控功能的軟件化實(shí)現(xiàn)，主要分為信號處理和信息處理兩大部分。信號處理主要完成測控信號捕獲跟蹤、位環(huán)、碼環(huán)、幀同步以及編譯碼等功能。信息處理主要完成測控信息處理及分發(fā)，包括遙測處理、遙控處理、測距測速處理、遙控處理等功能。

(3)射頻IP化前端資源池

將接收機(jī)接收到的射頻信號進(jìn)行調(diào)理，分別經(jīng)射頻數(shù)字化處理卡的AD采集、信號處理等操作后轉(zhuǎn)換為數(shù)字基帶信號，封轉(zhuǎn)成網(wǎng)絡(luò)數(shù)據(jù)包并發(fā)送給計(jì)算資源池。同理，計(jì)算資源池可將基帶信號傳輸?shù)缴漕l數(shù)字化處理板上，通過DAC進(jìn)行數(shù)字上變頻，和波形整形后傳輸?shù)较鄳?yīng)射頻通道。

(4)管理與編排

實(shí)現(xiàn)對基礎(chǔ)硬件、虛擬化資源和測控功能的全生命周期管理以及對網(wǎng)絡(luò)業(yè)務(wù)編排功能。同時(shí)，實(shí)現(xiàn)射頻IP化前端資源池的分配以及動態(tài)建立IP化設(shè)備與測控功能的數(shù)據(jù)鏈路。

1.2 測控信號 IP 化網(wǎng)絡(luò)傳輸

由于網(wǎng)絡(luò)特性以及網(wǎng)絡(luò)傳輸協(xié)議的影響，導(dǎo)致接收的信號時(shí)域波形中會出現(xiàn)隨機(jī)或連續(xù)的數(shù)據(jù)中斷、亂序、錯(cuò)誤，更進(jìn)一步地會影響到測距、測速與測角的零值及隨機(jī)差。

基于測控信號在頻域上的稀疏特性，可采用快速傅里葉變換得到信號的頻譜信息，根據(jù)實(shí)際信號的頻點(diǎn)信息對該頻域數(shù)據(jù)進(jìn)行提取，得到實(shí)際傳輸?shù)挠行畔?，從而達(dá)到減小傳輸數(shù)據(jù)量、充分利用網(wǎng)絡(luò)帶寬的目的。

針對利用現(xiàn)有網(wǎng)絡(luò)傳輸基帶信號波形失真的問題，應(yīng)該從網(wǎng)絡(luò)協(xié)議入手，提高利用網(wǎng)絡(luò)傳輸基帶信號的可靠性。傳輸層協(xié)議建議選用TCP的方式來保證數(shù)據(jù)的可靠傳輸。應(yīng)用層協(xié)議可選用自定義幀協(xié)議格式或者VRT(Vita Radio Transport)格式。VRT定義了一個(gè)在射頻收發(fā)機(jī)和信號處理設(shè)備之間的傳輸協(xié)議，用于提升射頻和信號處理單元之間的協(xié)同性，廣泛應(yīng)用于頻譜監(jiān)測、通信和雷達(dá)等領(lǐng)域[10]。VRT幀格式如圖2所示。

31 30 29 282726252423 2221 2019 18 17 1615 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0包類型CT×MTSITSF序號含包頭在內(nèi)的總長度流標(biāo)識符時(shí)間戳負(fù)載數(shù)據(jù)尾部(僅限于數(shù)據(jù)包)

1.3 云實(shí)時(shí)性優(yōu)化

1.3.1 操作系統(tǒng)優(yōu)化

國產(chǎn)麒麟等Linux系統(tǒng)本身不是實(shí)時(shí)操作系統(tǒng)，需要進(jìn)行內(nèi)核實(shí)時(shí)性增強(qiáng)來進(jìn)行優(yōu)化，具體優(yōu)化內(nèi)容如下：用互斥鎖替代自旋鎖；采用“優(yōu)先級繼承”策略避免優(yōu)先級反轉(zhuǎn)；通過中斷線程化方式來保證測控算法可以作為最高優(yōu)先級的執(zhí)行單元來運(yùn)行，即使在系統(tǒng)高負(fù)載下仍能保證實(shí)時(shí)性。

1.3.2 網(wǎng)絡(luò)I/O優(yōu)化

采用SR-IOV(Singe Root I/O Virtualization)+DPDK(Data Plane Development Kit)來提高數(shù)據(jù)交換的性能。SR-IOV技術(shù)可以直接屏蔽虛擬層，采用多個(gè)虛擬機(jī)與物理網(wǎng)卡硬直通方式實(shí)現(xiàn)線速數(shù)據(jù)收發(fā)，比其他全虛擬化與半虛擬化的網(wǎng)卡虛擬化方案更加高效[11]。DPDK不僅實(shí)現(xiàn)了網(wǎng)卡緩沖區(qū)到用戶空間的零復(fù)制，還提供虛擬環(huán)境下的虛擬接口，兼容OpenvSwitch虛擬交換機(jī),可以達(dá)到單核20 Mpacket/s(百萬分組/秒)的處理能力。

1.3.3 程序優(yōu)化

主要通過如下手段來進(jìn)行測控功能算法優(yōu)化，以提高處理效率及實(shí)時(shí)性:減少線程調(diào)度開銷；提前分配需要的內(nèi)存，避免在使用過程中臨時(shí)分配和釋放；將已分配和可能分配的內(nèi)存鎖定在進(jìn)程的地址空間中，避免因?qū)憰r(shí)拷貝(Copy on Write，COW)導(dǎo)致的缺頁中斷影響程序運(yùn)行效率。

1.4 加速卡虛擬化

航天測控信號處理的實(shí)時(shí)性要求較高，需要引入物理層硬件加速器的方法，將計(jì)算復(fù)雜度較高的信號處理模塊(捕獲、編譯碼等)放在加速器上，使用專用的加速卡進(jìn)行物理層加速。其他計(jì)算復(fù)雜度較低的信號物理層單元、數(shù)據(jù)鏈路及網(wǎng)絡(luò)層模塊可以放在服務(wù)器的虛擬機(jī)上，由 CPU進(jìn)行處理。

現(xiàn)階段，所有云產(chǎn)品都不支持加速卡虛擬化功能，需要自主研發(fā)來滿足加速卡管理功能，圖3給出了加速卡虛擬化方案。

圖3 加速卡虛擬化方案

加速卡虛擬化主要由三部分組成。

(1)物理層

主要由配置了多塊加速卡的通用服務(wù)器組成，加速卡作為共用資源可以給所有的測控功能進(jìn)行加速。CPU和加速卡通過40 Gb/s網(wǎng)絡(luò)互連，保證數(shù)據(jù)的快速交換。

(2)虛擬化層

在每一個(gè)虛擬機(jī)上運(yùn)行一個(gè) “加速卡虛擬模塊”，虛擬機(jī)上的測控功能認(rèn)為自己獨(dú)占該卡，測控功能與該模塊進(jìn)行直接通信。加速卡虛擬模塊向調(diào)度中心申請資源，由調(diào)度中心分配可用的資源給加速卡虛擬模塊，加速卡虛擬模塊與加速卡進(jìn)行數(shù)據(jù)交互，完成一次運(yùn)算。

(3)調(diào)度層

加速卡資源調(diào)度中心完成加速卡狀態(tài)監(jiān)控、健康管理、加速任務(wù)創(chuàng)建及跟蹤閉環(huán)、資源管理與調(diào)度功能。加速卡資源調(diào)度中心屏蔽了加速卡的差異，可支持異構(gòu)加速卡，不影響頂層應(yīng)用。

1.5 管理與編排

1.5.1 任務(wù)編排

任務(wù)編排主要完成任務(wù)一鍵化自動調(diào)度及資源分配，實(shí)現(xiàn)任務(wù)重構(gòu)、故障重構(gòu)、靈活性好、可靠性高的目標(biāo)。通過管控系統(tǒng)還可監(jiān)視任務(wù)的運(yùn)行狀態(tài)，包括資源狀態(tài)、測控算法狀態(tài)等信息。

提供可視化工具來對不同測控功能的應(yīng)用模板進(jìn)行編輯，包括軟件構(gòu)件、構(gòu)件連接關(guān)系，對CPU、內(nèi)存、加速卡等資源的需求，以及對通信帶寬、實(shí)時(shí)性的需求。

由于射頻IP化前端與虛擬基帶不是固定連接，因此前后端設(shè)備的網(wǎng)絡(luò)通信參數(shù)作為一種資源也需要由任務(wù)編排進(jìn)行管理及維護(hù)。在測控任務(wù)執(zhí)行前，任務(wù)編排功能分配IP地址及端口，并發(fā)送給前端IP化設(shè)備和虛擬化測控基帶，這兩類設(shè)備根據(jù)通信參數(shù)完成鏈路建立；任務(wù)結(jié)束后任務(wù)編排功能控制設(shè)備拆除鏈路。

通過分配冗余的虛擬測控基帶，可對某些重大任務(wù)的數(shù)據(jù)處理節(jié)點(diǎn)進(jìn)行主從備份來保證下行數(shù)據(jù)不丟失，同時(shí)當(dāng)某個(gè)虛擬機(jī)出現(xiàn)故障時(shí)可快速切換到備份節(jié)點(diǎn)恢復(fù)上行功能。

1.5.2 測控功能管理

完成測控功能的生命周期管理，包括創(chuàng)建、釋放和日常運(yùn)行；還可通過基礎(chǔ)設(shè)施管理來收集資源狀態(tài)信息，同時(shí)還能夠?qū)y控功能的資源使用情況進(jìn)行監(jiān)控和故障預(yù)警。

1.5.3 基礎(chǔ)設(shè)施管理

能夠完成基礎(chǔ)設(shè)施的健康管理、資源調(diào)度和任務(wù)分配。其中，云平臺完成通用計(jì)算資源、存儲、網(wǎng)絡(luò)的管理，加速卡資源調(diào)度中心完成加速卡資源的管理。

利用云平臺提供的熱遷移功能，可快速將故障服務(wù)器的測控功能遷移到正常服務(wù)器上，實(shí)現(xiàn)故障自愈。

1.6 測控功能軟件化實(shí)現(xiàn)

軟件解調(diào)在實(shí)現(xiàn)過程中最為關(guān)鍵的指標(biāo)是系統(tǒng)的實(shí)時(shí)性。首先，在軟件解調(diào)處理流程上將整個(gè)軟件解調(diào)過程分解為若干個(gè)功能上互相串接子模塊，把各個(gè)子模塊以流水線式部署在不同的處理器上，實(shí)現(xiàn)解調(diào)過程的空間并行化處理。其次，依照子模塊內(nèi)部是否可以并行處理，分為如下兩種處理方式：將可以進(jìn)行并行處理的子模塊(信號捕獲及信道譯碼操作)部署在加速模塊上執(zhí)行，而將不能并行處理的各種解調(diào)環(huán)路部署在CPU上執(zhí)行。將軟件解調(diào)過程分解為子模塊后，還需要保證各個(gè)子模塊正確分配和使用內(nèi)存以及數(shù)據(jù)在各個(gè)子模塊間進(jìn)行正確傳遞。

軟件化信號處理架構(gòu)如圖4所示。

圖4 軟件化信號處理架構(gòu)

1.7 復(fù)雜網(wǎng)絡(luò)環(huán)境下的測距功能實(shí)現(xiàn)

由于測量系統(tǒng)對相位非常敏感，因此利用通用服務(wù)器以軟件方式進(jìn)行測距最大的實(shí)現(xiàn)難點(diǎn)在于數(shù)據(jù)包的隨機(jī)讀入、讀出以及處理時(shí)間的不確定會帶來測距值的隨機(jī)抖動。軟件測距系統(tǒng)中存在三個(gè)隨機(jī)時(shí)間，分別是發(fā)射時(shí)從服務(wù)器向射頻前端FPGA通過網(wǎng)絡(luò)輸出數(shù)據(jù)包的隨機(jī)讀出時(shí)間Tout、接收時(shí)從射頻前端FPGA向服務(wù)器通過網(wǎng)絡(luò)輸入數(shù)據(jù)包的隨機(jī)讀入時(shí)間Tin和數(shù)據(jù)包在軟件中的隨機(jī)處理時(shí)間Timp。為了實(shí)現(xiàn)準(zhǔn)確的軟件測距，必須消除上述三種隨機(jī)時(shí)延對測距系統(tǒng)的影響。

本測距系統(tǒng)采用軟硬件協(xié)作方式進(jìn)行測距，如圖5所示。

圖5 測距功能實(shí)現(xiàn)原理圖

硬件部分的具體工作流程如下：在調(diào)制端，如果在軟件中進(jìn)行側(cè)音產(chǎn)生、上變頻操作并直接輸出，會造成讀出數(shù)據(jù)包長度加大、讀出時(shí)間隨機(jī)，導(dǎo)致不同數(shù)據(jù)包間發(fā)射最低側(cè)音時(shí)刻隨機(jī)抖動。因此，一種方式是在FPGA中進(jìn)行側(cè)音產(chǎn)生以及上變頻操作，這樣不僅減少了PCIE總線傳輸壓力，而且消除了讀出時(shí)間Tout對測距系統(tǒng)的影響；另外一種方法是在軟件中進(jìn)行側(cè)音產(chǎn)生以及上變頻操作，然后再送入硬件里面的一個(gè)FIFO中，通過FIFO的延遲讀取操作，只要軟件產(chǎn)生調(diào)制信號的速率高于硬件讀的速率則在FPGA中的信號就是連續(xù)的，從而消除Tout的影響。

通過在收發(fā)兩端設(shè)置合理的協(xié)作機(jī)制，可以消除Tin的影響。首先在FPGA內(nèi)部將發(fā)射主音及最低側(cè)音時(shí)鐘與FPGA處理后降速的數(shù)據(jù)流進(jìn)行復(fù)用；然后通過網(wǎng)絡(luò)傳輸計(jì)算機(jī)系統(tǒng)；接著在計(jì)算機(jī)中進(jìn)行解復(fù)用，將數(shù)據(jù)流送入主音及分頻鏈進(jìn)行處理，得到接收側(cè)音時(shí)鐘數(shù)組，而將發(fā)射主音及最低側(cè)音時(shí)鐘送入發(fā)側(cè)音時(shí)鐘恢復(fù)模塊恢復(fù)出發(fā)射側(cè)音時(shí)鐘數(shù)組；最后將這兩個(gè)數(shù)組信息送入距離提取模塊得到測距值輸出。由于發(fā)射時(shí)鐘信號同接收數(shù)據(jù)同時(shí)打包送入計(jì)算機(jī)，保證了時(shí)間上對齊，這樣隨機(jī)讀入時(shí)間Tin只會影響系統(tǒng)處理的實(shí)時(shí)性，而不會影響測距結(jié)果的正確性。

在分析軟件測距系統(tǒng)工作方式之前，首先分析軟件隨機(jī)處理時(shí)間Timp對測距系統(tǒng)的影響。由于服務(wù)器中的定時(shí)精度較差，無法像硬件系統(tǒng)那樣進(jìn)行精確的時(shí)序分析，因此只能將軟件測距系統(tǒng)等效成一個(gè)異步系統(tǒng)。以主音環(huán)中的積分清洗操作為例，在每次工作時(shí)處理時(shí)間隨機(jī)抖動。即針對同樣長度的數(shù)據(jù)序列，硬件系統(tǒng)可以保證相同的處理延遲；另一方面，異步軟件系統(tǒng)針對同樣長度數(shù)據(jù)序列，軟件處理時(shí)間也會存在抖動。這種隨機(jī)抖動導(dǎo)致從時(shí)間上看，計(jì)算結(jié)果輸出時(shí)刻存在抖動，存在隨機(jī)誤差。但是從軟硬件測距的計(jì)算機(jī)理上分析可知，兩者計(jì)算方法相同，因此輸出的相位序列值也相同，只是軟件系統(tǒng)處理時(shí)間存在隨機(jī)抖動，導(dǎo)致等價(jià)到時(shí)間上被“拉伸”或“縮短”。軟件主音環(huán)在連續(xù)數(shù)據(jù)段間輸出的相位序列依舊保持連續(xù)性，并且與同步系統(tǒng)在數(shù)值上相同。通過上面的分析可知，軟件系統(tǒng)的測距值可保證計(jì)算結(jié)果的正確性。

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)平臺建立與實(shí)驗(yàn)項(xiàng)目

實(shí)時(shí)云測控基帶池實(shí)驗(yàn)平臺環(huán)境如圖6所示，主要由3臺射頻數(shù)字化前端、5臺通用計(jì)算服務(wù)器、1臺管控服務(wù)器和1臺萬兆網(wǎng)交換機(jī)組成。需要開展的實(shí)驗(yàn)測試的項(xiàng)目主要包括多路測控信號并行處理能力、實(shí)時(shí)云平臺擴(kuò)展能力及處理時(shí)延、云環(huán)境下的軟件化測控處理技術(shù)。

圖6 實(shí)驗(yàn)平臺

2.2 實(shí)驗(yàn)結(jié)果

上述實(shí)驗(yàn)場景可滿足20路測控信號同時(shí)軟件解調(diào)與測量。其中，遙測解調(diào)性能較理論值惡化小于1.3 dB，擴(kuò)頻體制下的測距隨機(jī)差可以達(dá)到0.3 m，擴(kuò)頻體制測距零值開關(guān)機(jī)穩(wěn)定性可以達(dá)到0.8 m。實(shí)驗(yàn)結(jié)果表明，基于實(shí)時(shí)云測控基帶池架構(gòu)的技術(shù)能夠滿足工程應(yīng)用條件。

3 結(jié)束語

本文提出了一種航天測控功能虛擬化方法，闡述了總體架構(gòu)以及關(guān)鍵功能實(shí)現(xiàn)路徑，同時(shí)搭建了實(shí)驗(yàn)平臺對該方法的功能和技術(shù)指標(biāo)進(jìn)行了驗(yàn)證，對于后續(xù)工程化應(yīng)用具有一定的指導(dǎo)意義。

測控功能虛擬化是一項(xiàng)全新技術(shù)，是NFV架構(gòu)在測控領(lǐng)域的一種應(yīng)用場景，需要盡快開展工程化研究。此外，測控功能算法還需要進(jìn)一步優(yōu)化，以適應(yīng)云架構(gòu)場景并提升計(jì)算效能。