,,, ,

(北京宇航系統(tǒng)工程研究所，北京 100076)

0 引言

火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)是運載火箭的重要組成部分，承擔(dān)火箭地面測發(fā)控設(shè)備網(wǎng)絡(luò)互連、測試信息共享、狀態(tài)監(jiān)視、測試進(jìn)程控制，并為測試和發(fā)射提供故障診斷。隨著網(wǎng)絡(luò)測控模式的大規(guī)模使用，點火、緊急關(guān)機(jī)等關(guān)鍵信號均通過網(wǎng)絡(luò)進(jìn)行下達(dá)，因此信息傳輸?shù)目煽啃约翱焖僦貥?gòu)能力是系統(tǒng)架構(gòu)設(shè)計的重點。同時，隨著上網(wǎng)設(shè)備增多，一對多的數(shù)據(jù)發(fā)送模式增加，組播數(shù)據(jù)越來越大，對組播數(shù)據(jù)流的控制也成為網(wǎng)絡(luò)數(shù)據(jù)的管理關(guān)鍵。采用必要的技術(shù)手段以避免網(wǎng)絡(luò)故障造成發(fā)射中止或推遲，同時主動減少網(wǎng)絡(luò)故障自愈過程中的代價，對于運載火箭測發(fā)控網(wǎng)絡(luò)這樣的關(guān)鍵應(yīng)用具有非常重要的意義[1-2]。

本文采用的一種基于VSS及SSM新技術(shù)的高可靠運載火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)設(shè)計，通過高可靠的網(wǎng)絡(luò)架構(gòu)設(shè)計、高穩(wěn)定性的數(shù)據(jù)傳輸路由設(shè)計、高效率的組播通信技術(shù)設(shè)計及輕量化的網(wǎng)絡(luò)監(jiān)控等技術(shù)可有效提高運載火箭地面測試發(fā)射控制的可靠性、安全性。

1 系統(tǒng)設(shè)計

火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)設(shè)計旨在研究運載火箭測發(fā)控系統(tǒng)在測試發(fā)射過程中的高可靠網(wǎng)絡(luò)測控設(shè)計技術(shù)，在本項目研究過程中遵循如下思路：

火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)負(fù)責(zé)搭建數(shù)據(jù)傳輸平臺，火箭的測試、發(fā)射信息需要通過火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)系統(tǒng)完成前后端以及各系統(tǒng)間的信息交互，一旦火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)絡(luò)發(fā)生故障，將會對整個火箭系統(tǒng)的測發(fā)流程造成重大影響，因此系統(tǒng)在設(shè)計之初，將可靠性、安全性作為系統(tǒng)設(shè)計的首要原則：采用冗余設(shè)計，消除系統(tǒng)設(shè)計中的單點失效模式；進(jìn)行安全性分析，對關(guān)鍵功能實施人工干預(yù)。

火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)為地面測試發(fā)控系統(tǒng)搭建數(shù)據(jù)傳輸平臺，在火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)絡(luò)搭建的局域網(wǎng)上，連接了各系統(tǒng)的測試設(shè)備以及火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)的測控計算機(jī)，由此構(gòu)成一個完整的網(wǎng)絡(luò)測試發(fā)控系統(tǒng)。系統(tǒng)組成及拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)組成示意圖

按照功能劃分，火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)系統(tǒng)主要由主干網(wǎng)、數(shù)據(jù)瀏覽、網(wǎng)絡(luò)監(jiān)控三部分功能組成，具體如下：

1)主干網(wǎng)負(fù)責(zé)火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)的測發(fā)功能，包括物理鏈路的搭建，測試流程管理、數(shù)據(jù)的接收、轉(zhuǎn)發(fā)等。由四臺主干網(wǎng)交換機(jī)、數(shù)據(jù)庫服務(wù)器、WEB服務(wù)器、指揮管理工作站等組成。其中交換機(jī)負(fù)責(zé)物理鏈路的搭建，交換機(jī)A、交換機(jī)B在前端，并互為冗余；交換機(jī)C、交換機(jī)D在后端，并互為冗余。四臺交換機(jī)通過千兆雙光纜聯(lián)成環(huán)路。四臺交換機(jī)通過環(huán)形連接起到冗余作用，并且成為前后端網(wǎng)絡(luò)的主干，前端、后端參與測控的設(shè)備均通過雙冗余方式連在主干網(wǎng)上。數(shù)據(jù)庫服務(wù)器、WEB服務(wù)器、指揮管理工作站等安裝在后端，負(fù)責(zé)完成測試流程及測試數(shù)據(jù)的管理；

2)數(shù)據(jù)瀏覽主要完成火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)的實時數(shù)據(jù)、歷史數(shù)據(jù)的發(fā)布、顯示、判讀，同時提供與C3I等火箭外系統(tǒng)的通信接口，保證與外系統(tǒng)通信安全。由一臺瀏覽交換機(jī)、一臺防火墻及瀏覽計算機(jī)組成。瀏覽交換機(jī)負(fù)責(zé)瀏覽網(wǎng)端的數(shù)據(jù)交互，通過防火墻與主干網(wǎng)、C3I系統(tǒng)隔離，起到數(shù)據(jù)安全作用；后端不直接參與測試的瀏覽計算機(jī)，均連接到瀏覽交換機(jī)，通過防火墻聯(lián)入主干網(wǎng)絡(luò)，形成一個統(tǒng)一的整體；

3)網(wǎng)絡(luò)監(jiān)控通過對網(wǎng)絡(luò)上各節(jié)點、鏈路間的狀態(tài)信息進(jìn)行收集、監(jiān)控、故障分析和排查，實現(xiàn)對主干網(wǎng)狀態(tài)的監(jiān)控和管理。火箭地面測發(fā)控網(wǎng)絡(luò)采用1+2模式，即一臺網(wǎng)絡(luò)監(jiān)控工作站+兩臺網(wǎng)絡(luò)抓包服務(wù)器，兩臺網(wǎng)絡(luò)抓包服務(wù)器分別設(shè)置在前、后端，獲取前后端的網(wǎng)絡(luò)數(shù)據(jù)；網(wǎng)絡(luò)監(jiān)控工作站設(shè)置在后端，接收抓包服務(wù)器的數(shù)據(jù)進(jìn)行對比、分析，同時對前、后端各系統(tǒng)的關(guān)鍵節(jié)點進(jìn)行監(jiān)測，達(dá)到網(wǎng)絡(luò)狀態(tài)的實時監(jiān)控和診斷的目的。

2 關(guān)鍵技術(shù)分析

2.1 虛擬化網(wǎng)絡(luò)交換系統(tǒng)設(shè)計

火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)分為前端和后端，構(gòu)建測發(fā)控信息高速公路，為火箭電氣各子系統(tǒng)的分布式遠(yuǎn)距離測發(fā)控信息提供傳輸和交換平臺，一旦火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)發(fā)生故障，將會對整個火箭系統(tǒng)的測發(fā)流程造成重大影響，高可靠的網(wǎng)絡(luò)架構(gòu)是確保火箭射前測試及發(fā)射的基本條件。

在傳統(tǒng)火箭地面測發(fā)控網(wǎng)絡(luò)平臺的設(shè)計中，前端、后端的數(shù)據(jù)通信設(shè)備均采用熱備份冗余協(xié)議(HSRP)實現(xiàn)雙機(jī)冗余工作方式。HSRP的基本工作原理是主/備雙機(jī)系統(tǒng)通過高頻率的發(fā)送/偵聽專用組播報文(每幀預(yù)設(shè)間隔15毫秒)以監(jiān)測對方設(shè)備的工作情況，任何形式的網(wǎng)絡(luò)故障導(dǎo)致雙機(jī)系統(tǒng)在一定時間內(nèi)(預(yù)設(shè)間隔50毫秒)無法偵聽到對方的組播報文就會觸發(fā)主/備雙機(jī)系統(tǒng)的故障切換，從而實現(xiàn)主/備雙機(jī)系統(tǒng)的高可靠性運行。HSRP的工作原理簡單、有效，并可實現(xiàn)主/備雙機(jī)系統(tǒng)的負(fù)載均衡，具有很好的適應(yīng)性，但是HSRP的固有特性也容易造成以下問題：

1)高頻率的發(fā)送/偵聽專用組播報文，容易造成數(shù)據(jù)通信設(shè)備CPU負(fù)載過大；

2)主/備雙機(jī)對開機(jī)順序和間隔較為敏感，容易造成數(shù)據(jù)通信設(shè)備初始工作狀態(tài)的混亂；

3)主/備雙機(jī)間的組播信息會泄漏至二層網(wǎng)絡(luò)中，容易造成交換網(wǎng)絡(luò)中組播信息的混亂。

通過采用全新的“虛擬交換系統(tǒng)”(VSS，Virtual Switching System)協(xié)議，可消除原有HSRP冗余協(xié)議可能造成的組播數(shù)據(jù)泛洪和初始狀態(tài)混亂的問題，實現(xiàn)前、后端數(shù)據(jù)通信設(shè)備的冗余雙機(jī)功能[3-4]。系統(tǒng)設(shè)計見圖2。

圖2 高可靠網(wǎng)絡(luò)架構(gòu)示意圖

VSS協(xié)議通過2×10 GE帶寬將兩臺數(shù)據(jù)通信設(shè)備組合為單一的虛擬交換機(jī)。VSS雙機(jī)之間控制信息和數(shù)據(jù)信息的同步、故障檢測和自愈恢復(fù)的功能都是通過“虛擬交換鏈路”(VSL，Virtual Switch Link)所承載的“保持狀態(tài)切換”(SSO，Stateful Switchover)機(jī)制和“不間斷轉(zhuǎn)發(fā)”(NSF，Nonstop Forwarding)機(jī)制實現(xiàn)的，與HSRP協(xié)議的冗余備份機(jī)制完全不同。VSS雙機(jī)冗余架構(gòu)中的一臺作為主用虛擬交換機(jī)，另一臺作為備用虛擬交換機(jī)，當(dāng)主用虛擬交換機(jī)發(fā)生故障時，VSS雙機(jī)將自動實現(xiàn)控制層面、數(shù)據(jù)層面的快速切換，備用虛擬交換機(jī)能瞬時承擔(dān)全部路由、交換任務(wù)，從而構(gòu)成高效的雙機(jī)冗余系統(tǒng)。基于VSS技術(shù)構(gòu)建的前端虛擬交換系統(tǒng)與后端虛擬交換系統(tǒng)之間采用路由方式轉(zhuǎn)發(fā)數(shù)據(jù)，能夠提供8 GB帶寬的穩(wěn)定數(shù)據(jù)通信容量(各分系統(tǒng)均單獨使用1 GB帶寬)，后端各分系統(tǒng)之間的穩(wěn)定數(shù)據(jù)通信容量為40 GB帶寬，比較現(xiàn)有網(wǎng)絡(luò)平臺的性能都有較大的增長。

2.2 基于PIM-SSM的組播管理及路徑規(guī)劃技術(shù)

組播是一種允許一臺主機(jī)一次同時發(fā)送單一數(shù)據(jù)分組到多臺主機(jī)的技術(shù)，是節(jié)省網(wǎng)絡(luò)帶寬，減輕數(shù)據(jù)源及交換機(jī)負(fù)擔(dān)的有效措施。由于新一代運載火箭地面設(shè)備均采用冗余設(shè)計，導(dǎo)致地面設(shè)備數(shù)量大，設(shè)備間信息交互多，信息流復(fù)雜，組播一發(fā)多收的優(yōu)勢導(dǎo)致組播在新一代運載火箭得到大規(guī)模的應(yīng)用，但是大量使用組播也會導(dǎo)致測發(fā)控網(wǎng)絡(luò)上數(shù)據(jù)量的大幅增長，因此對地面測發(fā)控網(wǎng)絡(luò)上組播進(jìn)行有效的規(guī)劃與管理是保證地面測發(fā)控網(wǎng)絡(luò)正常運行的重要方面。

在傳統(tǒng)火箭地面測發(fā)控網(wǎng)絡(luò)組播設(shè)計中一般采用PIM-DM(Dense-Mode，密集模式)作為組播協(xié)議，此協(xié)議采用了“擴(kuò)散/剪枝”機(jī)制，由反向路徑轉(zhuǎn)發(fā)RPF動態(tài)建立最短路徑樹SPT，用“推”模式，所有組播流量在整個網(wǎng)絡(luò)周期性泛洪，在不需要的地方進(jìn)行修剪。由于此模式在全網(wǎng)絡(luò)進(jìn)行泛洪，不論各個終端設(shè)備是否接收此組播，因此在組播數(shù)據(jù)量大的情況下可能造成網(wǎng)絡(luò)系統(tǒng)中流量過大，進(jìn)而造成的交換機(jī)CPU資源耗盡。

通過采用PIM-SM協(xié)議的SSM(Source Specific Multicast，指定源組播)技術(shù)替換現(xiàn)有PIM-DM協(xié)議實現(xiàn)總控網(wǎng)內(nèi)的組播數(shù)據(jù)通信。PIM-SSM有別于PIM-DM，數(shù)據(jù)以拉(主動接收)(DM是推，即被動接收)的方式接收，每一個組播都有確定的源和組播地址，組播從源到組播地址都是單一路徑，不存在“泛洪-裁剪”模式，所以從機(jī)制上杜絕了持續(xù)大量泛洪數(shù)據(jù)被CPU處理從而導(dǎo)致CPU利用率過高，進(jìn)一步導(dǎo)致通信異常的可能[5-7]。

PIM-SSM協(xié)議在PIM-SM協(xié)議(Spare-Mode Multicast，稀疏模式)的基礎(chǔ)上發(fā)展而來，去掉了PIM-SM協(xié)議中規(guī)定的匯集點RP( Rendezvous Point )路由器，也省去了首先構(gòu)建共享樹然后切換到最短路徑樹的過程，而是直接由接收者所在子網(wǎng)的DR路由器向上游路由器發(fā)送(S,G)加入/剪枝報文，從而建立從發(fā)送者到接收者的組播通道(channel)，轉(zhuǎn)發(fā)組播數(shù)據(jù)，能夠使組播數(shù)據(jù)始終沿最短路徑樹轉(zhuǎn)發(fā)，提高通信效率。

同時在組播地址的設(shè)計中，，各系統(tǒng)組播地址進(jìn)行統(tǒng)一規(guī)劃，按照分系統(tǒng)及業(yè)務(wù)功能進(jìn)行劃分。組播規(guī)劃不僅能夠防止同一地址重復(fù)使用導(dǎo)致的IP地址沖突，誤使用預(yù)留組播地址導(dǎo)致的網(wǎng)絡(luò)不通，并且能夠避免組播IP地址復(fù)用導(dǎo)致的組播數(shù)據(jù)疊加等問題，進(jìn)一步節(jié)省網(wǎng)絡(luò)帶寬，減輕交換機(jī)負(fù)擔(dān)，對地面測發(fā)控網(wǎng)絡(luò)的數(shù)據(jù)量進(jìn)行了有效的控制。

2.3 網(wǎng)絡(luò)監(jiān)控設(shè)計

運載火箭地面測發(fā)控網(wǎng)絡(luò)實現(xiàn)火箭各測發(fā)控設(shè)備的信息交互，為實現(xiàn)網(wǎng)絡(luò)通信故障的快速分析和定位，研制網(wǎng)絡(luò)監(jiān)控系統(tǒng)。網(wǎng)絡(luò)監(jiān)控系統(tǒng)的組成結(jié)構(gòu)示意見圖3[8-10]。

圖3 網(wǎng)絡(luò)監(jiān)控系統(tǒng)結(jié)構(gòu)示意圖

網(wǎng)絡(luò)監(jiān)控系統(tǒng)通過SNMP協(xié)議對火箭網(wǎng)絡(luò)交換機(jī)的狀態(tài)，包括CPU利用率、內(nèi)存、網(wǎng)絡(luò)流量等信息進(jìn)行獲取和分析，實現(xiàn)對網(wǎng)絡(luò)及終端工作狀態(tài)的監(jiān)控。通過建立網(wǎng)絡(luò)拓?fù)渚庉嬈脚_，實現(xiàn)對網(wǎng)絡(luò)系統(tǒng)狀態(tài)的實時高效人性化呈現(xiàn)，包括設(shè)備的在線狀態(tài)、通知事件和告警，并可按條件進(jìn)行查詢，極大地方便了用戶試驗后對整個網(wǎng)絡(luò)運行情況的分析，通過采用路徑分析技術(shù)，結(jié)合對網(wǎng)絡(luò)拓?fù)涞募軜?gòu)對數(shù)據(jù)包特征進(jìn)行識別，可以獲取每個信息的傳輸路徑和傳輸時延，實現(xiàn)對網(wǎng)絡(luò)數(shù)據(jù)的監(jiān)控。

通過網(wǎng)絡(luò)監(jiān)控技術(shù)，實現(xiàn)對全網(wǎng)絡(luò)的智能監(jiān)控，實時呈現(xiàn)和鏡像數(shù)據(jù)抓包分析，在解決問題的能力和效率上具有顯著的優(yōu)勢，從而保證了火箭地面測發(fā)控網(wǎng)絡(luò)的可靠性。

。

3 測試結(jié)果分析

3.1 故障切換時間測試

傳統(tǒng)火箭地面測發(fā)控網(wǎng)絡(luò)交換機(jī)一般采用HSRP冗余。本文就采用HSRP冗余和VSS冗余在不同故障情況下的故障切換時間進(jìn)行了試驗測試。故障狀態(tài)包括：網(wǎng)絡(luò)交換設(shè)備故障和主干鏈路故障。試驗結(jié)果見表1。

表1 算法運行時間比較 ms

由表1分析可知：

1)在交換設(shè)備故障情況下，VSS冗余模式比HSRP冗余模式平均約提高65.2%、63.4%；

2)HSRP冗余方案和VSS冗余方案，在傳輸鏈路故障情況下，切換時間基本持平。

3.2 組播對CPU資源消耗測試

傳統(tǒng)火箭地面測發(fā)控網(wǎng)絡(luò)組播一般采用DM組播模式。通過采用DM組播和SSM組播方案在不同的組播數(shù)據(jù)工況下，測試了對交換機(jī)CPU資源的消耗。試驗結(jié)果見表2。

表2 DM模式及SSM模式下CPU資源消耗對比 %

由表2分析可知：

1)在系統(tǒng)組播量小時(40 Mbps)，DM模式和SSM模式下CPU資源消耗皆在40%以下，對交換網(wǎng)絡(luò)無影響；

2)在系統(tǒng)組播量大時(100 Mbps)，DM模式下CPU利用率達(dá)到94%以上，CPU資源消耗嚴(yán)重，交換網(wǎng)絡(luò)傳輸可能產(chǎn)生擁堵或中斷；而SSM模式下對CPU資源消耗仍維持在40%以下，保證交換網(wǎng)絡(luò)傳輸正常。

4 總結(jié)

通過對火箭地面測發(fā)控網(wǎng)絡(luò)系統(tǒng)系統(tǒng)設(shè)計，采用了新一代火箭高可靠冗余網(wǎng)絡(luò)架構(gòu)設(shè)計、高穩(wěn)定性數(shù)據(jù)傳輸路由設(shè)計、高效率組播設(shè)計，有力提高了火箭地面測發(fā)控網(wǎng)絡(luò)的可靠性、安全性，為優(yōu)化火箭測試發(fā)射流程起到關(guān)鍵作用。