賈琪明， 李 峭， 熊華鋼

(北京航空航天大學(xué)，北京 100191)

0 引言

對(duì)于具有實(shí)時(shí)性要求的分布式計(jì)算機(jī)系統(tǒng)，實(shí)時(shí)通信是其性能保證的必要條件之一。在不同應(yīng)用背景基礎(chǔ)上，提出了相應(yīng)的實(shí)時(shí)通信協(xié)議，例如Profibus，CAN，TTP［1］和FlexRay［2］等。然而，近年來(lái)，隨著以太網(wǎng)實(shí)時(shí)適用性改造技術(shù)的成功應(yīng)用，在標(biāo)準(zhǔn)以太網(wǎng)物理層和幀定義基礎(chǔ)上擴(kuò)展的網(wǎng)絡(luò)互連技術(shù)，如ARINC664 Part 7標(biāo)準(zhǔn)定義的AFDX 網(wǎng)絡(luò)［3］、SAE AS6802 標(biāo)準(zhǔn)定義的時(shí)間觸發(fā)以太網(wǎng)(Time-Triggered Ethernet，TTE)［4］被應(yīng)用于包括航空航天系統(tǒng)在內(nèi)的安全關(guān)鍵性或任務(wù)關(guān)鍵性實(shí)時(shí)系統(tǒng)。其中，TTE 網(wǎng)絡(luò)將時(shí)間觸發(fā)機(jī)制透明地集成在傳統(tǒng)以太網(wǎng)協(xié)議棧中，在IEEE802．3 以太網(wǎng)原有的介質(zhì)訪問(wèn)控制子層(MAC)之上加入了一層同步協(xié)議層，通過(guò)交換式網(wǎng)絡(luò)中的時(shí)間同步技術(shù)進(jìn)行全局時(shí)鐘同步。支持時(shí)間觸發(fā)(Time-Triggered，TT)流量，在網(wǎng)絡(luò)運(yùn)行的時(shí)候，根據(jù)調(diào)度時(shí)刻表發(fā)送和轉(zhuǎn)發(fā)時(shí)間觸發(fā)關(guān)鍵流量，保障了時(shí)間關(guān)鍵流量的傳輸，提高了網(wǎng)絡(luò)的確定性和實(shí)時(shí)性;同時(shí)，還兼容多種由事件觸發(fā)的虛擬鏈路通信類型，進(jìn)而將不同時(shí)間關(guān)鍵性應(yīng)用任務(wù)集成到統(tǒng)一的實(shí)時(shí)網(wǎng)絡(luò)中，構(gòu)成具有混合關(guān)鍵性保證的分布互連實(shí)時(shí)系統(tǒng)，即混合關(guān)鍵性實(shí)時(shí)系統(tǒng)。

TTE 網(wǎng)絡(luò)已經(jīng)在航空航天嵌入式平臺(tái)的系統(tǒng)互連中得到應(yīng)用，例如美國(guó)的Orion 載人飛船采用基于1000BASE-CX 物理層和雙冗余配置的TTE 網(wǎng)絡(luò)綜合互連方案。

對(duì)于TTE 網(wǎng)絡(luò)的實(shí)時(shí)通信性能進(jìn)行評(píng)價(jià)，可以采用最壞情況分析方法或仿真分析方法;前者包括軌跡法、確定性網(wǎng)絡(luò)演算［5-6］和形式化證明［7］等，得到的是保守的理論界限;與之相比，仿真雖然很難得到性能的邊界，但有助于了解系統(tǒng)在運(yùn)行狀態(tài)的行為［8-9］，得到的仿真數(shù)據(jù)經(jīng)過(guò)分析計(jì)算，可以與理論計(jì)算結(jié)果進(jìn)行趨勢(shì)性的對(duì)比。

近年來(lái)，STEINBACH 等學(xué)者在已有仿真平臺(tái)的基礎(chǔ)上構(gòu)建了TTE 網(wǎng)絡(luò)協(xié)議模型，然而這種實(shí)現(xiàn)方法不利于靈活調(diào)整模型參數(shù)。本文所述的工作采用自行開(kāi)發(fā)仿真內(nèi)核的實(shí)現(xiàn)方法，利用離散事件仿真的方法調(diào)度各仿真模型之間互相訪問(wèn)的行為，并合理地解決了使用事件仿真引擎調(diào)度具有全局時(shí)鐘同步的通信操作的問(wèn)題。

通過(guò)分析TTE 網(wǎng)絡(luò)的操作規(guī)程，以基本的網(wǎng)絡(luò)組件來(lái)抽象化TTE 網(wǎng)絡(luò)中的端系統(tǒng)、交換機(jī)、鏈路等設(shè)備，并生成TT 和RC (Rate-Constrained)混合關(guān)鍵性實(shí)時(shí)保證流量，以及優(yōu)先級(jí)低于前兩者的“盡力傳”(Best Effort，BE)背景流量，給出了雙冗余網(wǎng)絡(luò)機(jī)制的仿真方法，精確地展示了TT 流量和RC 流量經(jīng)過(guò)各級(jí)交換路徑的轉(zhuǎn)發(fā)、流量管制、多路復(fù)用和冗余網(wǎng)絡(luò)合并選擇等操作，并關(guān)注流量端到端延遲和時(shí)延抖動(dòng)的分析計(jì)算。

1 TTE 網(wǎng)絡(luò)中的混合流量

TTE 網(wǎng)絡(luò)采用全雙工通信鏈路，設(shè)備分為端系統(tǒng)和交換機(jī)兩類，采用星型結(jié)構(gòu)與網(wǎng)狀結(jié)構(gòu)混合的互連構(gòu)型。如圖1 所示，交換機(jī)與終端之間采用全雙工點(diǎn)對(duì)點(diǎn)接入，為星型結(jié)構(gòu);交換機(jī)與交換機(jī)之間是網(wǎng)狀結(jié)構(gòu)。在交換結(jié)構(gòu)的基礎(chǔ)上，端系統(tǒng)還可以通過(guò)不同的端口分別接入雙冗余網(wǎng)絡(luò)。

圖1 TTE 網(wǎng)絡(luò)構(gòu)型Fig．1 The topology of a TTE network

TTE 網(wǎng)絡(luò)按照流量的時(shí)間關(guān)鍵特性，從高到低將混合關(guān)鍵性流量分為以下3 類。

1)TT 流量。完全是嚴(yán)格按照離線設(shè)計(jì)的調(diào)度時(shí)刻表，在預(yù)先定義的時(shí)間段內(nèi)進(jìn)行發(fā)送和轉(zhuǎn)發(fā)，保證帶寬和延遲是預(yù)先確定的，具有最高的優(yōu)先級(jí)。

2)RC 流量。保證對(duì)于每個(gè)應(yīng)用具有預(yù)先定義的帶寬，但對(duì)于具體發(fā)送的時(shí)刻沒(méi)有預(yù)先規(guī)定，可以通過(guò)最壞情況下的理論分析得到延遲和抖動(dòng)的界限。

3)BE流量?？梢哉J(rèn)為是沒(méi)有實(shí)時(shí)性服務(wù)質(zhì)量保證的背景流量，只有在TT 流量和RC 流量被保證的前提下才會(huì)利用剩余空閑的傳輸資源。

圖2 所示為混合流量在物理鏈路上的傳輸。如圖所示，一個(gè)交換機(jī)將來(lái)自兩個(gè)端系統(tǒng)的流量進(jìn)行綜合，其中，TT 流量按照集成周期和集群周期依照調(diào)度時(shí)刻表進(jìn)行TDMA 調(diào)度;而RC 流量和BE 流量在未被TT流量占用的空隙中傳輸，同時(shí)RC 流量的幀間隔還必須滿足帶寬分配間隔(Bandwidth Allocation Gap，BAG)的要求，以保證為每次傳輸配置充足的帶寬。

圖2 TTE 流量示例Fig．2 Sample flows in TTE

2 TTE 網(wǎng)絡(luò)的仿真模型

采用面向?qū)ο蟮姆椒▽?duì)TTE 網(wǎng)絡(luò)的端系統(tǒng)、交換機(jī)、混合流量進(jìn)行抽象建模，其中，TT 流量的交換主要根據(jù)調(diào)度時(shí)刻表控制每個(gè)端系統(tǒng)和交換機(jī)上的發(fā)送和接收窗口，同時(shí)在仿真中還考慮更加靈活的情況，被稱為調(diào)度解釋(schedule interpretation)［10］，即當(dāng)某個(gè)端系統(tǒng)決定不使用分配給它的時(shí)間窗，交換機(jī)識(shí)別該發(fā)送器沒(méi)有被激活，將省下的帶寬供其他等級(jí)流量使用;而對(duì)于處于低優(yōu)先級(jí)的RC 流量，異步工作的通信控制器可能在同一時(shí)刻點(diǎn)向同一交換節(jié)點(diǎn)上的多路復(fù)用器發(fā)送流量，形成緩沖排隊(duì)，而可變的排隊(duì)等待時(shí)間正是導(dǎo)致RC 流量時(shí)延抖動(dòng)的主要原因［11］，需要對(duì)各交換節(jié)點(diǎn)上的處理機(jī)制進(jìn)行抽象建模。

在交換機(jī)中，每一個(gè)輸入端口都有專用的緩沖隊(duì)列，并且對(duì)于TT 流量、RC 流量和BE 流量進(jìn)行優(yōu)先級(jí)排隊(duì)。交換機(jī)根據(jù)靜態(tài)的路由信息，通過(guò)識(shí)別輸入端口收到數(shù)據(jù)包的VL 標(biāo)識(shí)符進(jìn)行轉(zhuǎn)發(fā)。對(duì)于TT 流量，交換機(jī)具有時(shí)間窗檢查機(jī)制;對(duì)于RC 流量中的每條VL 采用漏桶流量管制算法，限制其突發(fā)度。圖3 所示為能夠處理混合關(guān)鍵性流量的交換機(jī)端口功能模型，一臺(tái)TTE 交換機(jī)具有多個(gè)這樣的交換機(jī)端口。

仿真引擎通過(guò)面向?qū)ο蟮木幊虂?lái)實(shí)現(xiàn)，事件的生成和推進(jìn)被封裝在對(duì)象類的成員函數(shù)中。值得指出的是，對(duì)于TT 流量，由于事件必須在規(guī)定的時(shí)間窗內(nèi)發(fā)生，因此，事件的發(fā)生不僅取決于類中的成員函數(shù)，還應(yīng)該同時(shí)滿足調(diào)度時(shí)刻表的要求，如圖4 所示。

圖3 TTE 交換機(jī)端口的仿真模型Fig．3 Simulation model of TTE switch port

圖4 TT 流量調(diào)度引擎Fig．4 The scheduling engine of TT flows

3 流量端到端延遲分析

在航空電子綜合化互連的應(yīng)用場(chǎng)景下，主要考慮應(yīng)用程序通過(guò)端系統(tǒng)接入網(wǎng)絡(luò)，并通過(guò)各級(jí)交換節(jié)點(diǎn)直到目的端系統(tǒng)過(guò)程中的各種類型的延遲，通信任務(wù)端到端延遲是一個(gè)重要的性能指標(biāo)，時(shí)延抖動(dòng)則是表征端到端延遲性能的關(guān)鍵參數(shù)，它度量了最大傳輸時(shí)延和最小傳輸時(shí)延的差值。

將各種網(wǎng)絡(luò)組件的模型組成完整的端到端通信網(wǎng)絡(luò)，如圖5 所示。

圖5 端到端延遲分析Fig．5 End-to-end delay analysis

給定某條VL，對(duì)于屬于它的數(shù)據(jù)幀，測(cè)定從信號(hào)源的發(fā)送時(shí)刻與目的端系統(tǒng)接收到該幀的時(shí)間差值，取多條這樣的數(shù)據(jù)幀的仿真數(shù)據(jù)，統(tǒng)計(jì)分析得到該VL端到端延遲的平均值、最大值、最小值和標(biāo)準(zhǔn)差，有助于評(píng)估其時(shí)延抖動(dòng)情況。

其中，每次的端到端延遲是這樣計(jì)算的:假設(shè)TTotal_delay表示每條VL 總的端到端延遲，TES_Send_delay表示端系統(tǒng)發(fā)送流量過(guò)程中的傳輸延遲，Tswitch_delay表示流量在各交換機(jī)傳輸中的延遲，TES_Recv_delay表示端系統(tǒng)接收流量過(guò)程中的傳輸延遲，那么總的延遲計(jì)算方法為

假設(shè)VL 的當(dāng)前長(zhǎng)度為L(zhǎng)VL，則可以將這3 個(gè)部分的延遲具體分解為

式中:Tsend_tech_delay，Tforward_tech_delay，TRecv_tech_delay和Tfilter_tech_delay為技術(shù)延遲;TES_mux_delay和TSW_mux_delay為排隊(duì)延遲;Ttrans_delay為VL 數(shù)據(jù)包在物理鏈路上的傳輸延遲，它取決于VL 數(shù)據(jù)幀長(zhǎng)度LVL和物理鏈路的傳輸速率C。

4 仿真軟件的實(shí)現(xiàn)和性能分析

采用C++編程語(yǔ)言完成了各網(wǎng)絡(luò)元素模塊的開(kāi)發(fā)，包括端系統(tǒng)、交換機(jī)、鏈路、不同類型流量、VL 等網(wǎng)絡(luò)元素的實(shí)現(xiàn)，在Virtual Studio 的MFC 框架下實(shí)現(xiàn)了仿真功能、性能評(píng)價(jià)功能以及圖形化的集成用戶界面，并能夠?qū)Σ煌愋偷幕旌详P(guān)鍵性流量的端到端延遲情況進(jìn)行綜合比較分析，評(píng)估網(wǎng)絡(luò)的實(shí)時(shí)性，同時(shí)，還采用了時(shí)間窗和流量管制機(jī)制分別對(duì)TT 流量和RC 流量的丟包率進(jìn)行統(tǒng)計(jì)，驗(yàn)證網(wǎng)絡(luò)的傳輸可靠性。

4．1 仿真實(shí)驗(yàn)案例

為了分析TTE 網(wǎng)絡(luò)運(yùn)行過(guò)程中混合關(guān)鍵性流量的傳遞機(jī)制和各網(wǎng)絡(luò)組件的調(diào)度行為，本文給出一個(gè)利用該性能仿真工具進(jìn)行分布式仿真的實(shí)例。表1 所示為實(shí)驗(yàn)配置參數(shù)，實(shí)驗(yàn)中的TTE 網(wǎng)絡(luò)拓?fù)浒?3 個(gè)端系統(tǒng)和5 臺(tái)交換機(jī);鏈路傳輸速率為100 Mbit/s ;流量配置包括TT 和RC 的混合流量，共設(shè)有128 條VL，限于文章篇幅，表1 只列出典型的8 條VL 參數(shù)。

表1 混合關(guān)鍵性流量配置Table 1 Mixed-criticality flows configuration

續(xù)表1Continued from Table 1

4．2 仿真結(jié)果與分析

將配置參數(shù)輸入到仿真軟件中，運(yùn)行結(jié)束后可以統(tǒng)計(jì)得到網(wǎng)絡(luò)模型的仿真結(jié)果。在圖6 所示的仿真場(chǎng)景下，表1 所列8 條VL 的仿真結(jié)果如圖7 和表2 所示。

圖6 TTE 網(wǎng)絡(luò)仿真拓?fù)浣Y(jié)構(gòu)Fig．6 The simulation topology of the TTE network

觀察圖7 可見(jiàn):

1)在相同長(zhǎng)度、周期、路徑等參數(shù)配置下，圖7a中VL3 所承載的TT 流量端到端延遲明顯較VL7 承載的RC 流量小;

2)對(duì)比圖7a 中VL8 和圖7b 中VL6 可知，當(dāng)RC流量較長(zhǎng)且鏈路利用率較高時(shí)，時(shí)延抖動(dòng)會(huì)相應(yīng)增大，表明RC 流量的端到端延遲和抖動(dòng)主要與各交換節(jié)點(diǎn)多路復(fù)用排隊(duì)機(jī)制以及自身長(zhǎng)度有關(guān);

3)觀察圖7a 中VL1 和圖7b 中VL4，TT 流量的發(fā)送與接收由調(diào)度時(shí)刻表中的時(shí)間窗決定，能有效避免因流量長(zhǎng)度變化而導(dǎo)致的突發(fā)度影響。

表2 給出了各條VL 端到端延遲的統(tǒng)計(jì)參數(shù)?？梢钥闯?當(dāng)TTE 網(wǎng)絡(luò)存在TT/RC/BE 混合流量時(shí)，TT流量的時(shí)延抖動(dòng)可有效控制在亞微秒量級(jí);當(dāng)采用雙冗余網(wǎng)絡(luò)后，仿真結(jié)果依然能滿足設(shè)計(jì)要求，這表明TT 流量具有嚴(yán)格的時(shí)間確定性;當(dāng)網(wǎng)絡(luò)中存在高優(yōu)先級(jí)的TT 流量時(shí)，RC 流量的端到端時(shí)延抖動(dòng)依然處于ARINC664 Part 7 協(xié)議規(guī)定的500 μs 范圍內(nèi)。

圖7 混合流量端到端延遲曲線圖Fig．7 End-to-end performance curve of the mixed-criticality flows

表2 端到端延遲分析Table 2 Delay analysis of mixed-criticality flows

5 結(jié)論

以離散事件的方法構(gòu)建了時(shí)間觸發(fā)網(wǎng)絡(luò)仿真模型，完成了一套完整的TTE 網(wǎng)絡(luò)實(shí)時(shí)通信仿真工具，具備了對(duì)于混合關(guān)鍵性流量進(jìn)行端到端延遲和抖動(dòng)數(shù)據(jù)分析的能力。通過(guò)結(jié)合實(shí)驗(yàn)案例對(duì)延遲曲線的均值、極值和標(biāo)準(zhǔn)差等統(tǒng)計(jì)數(shù)據(jù)進(jìn)行分析比對(duì)，表明TT 流量具有嚴(yán)格的時(shí)間確定性，同時(shí)，RC 流量能夠在合理配置的前提下與TT 流量共存，但其時(shí)延抖動(dòng)參數(shù)在網(wǎng)絡(luò)利用率較高的情況下波動(dòng)較大，比TT 流量的延遲高1 個(gè)數(shù)量級(jí)，說(shuō)明對(duì)于大型機(jī)載航電系統(tǒng)等具有高安全性等級(jí)的應(yīng)用，時(shí)間觸發(fā)通信具有技術(shù)優(yōu)勢(shì)。該模型進(jìn)一步揭示了混合關(guān)鍵性流量的傳遞機(jī)制，為設(shè)計(jì)和改進(jìn)分布式綜合航空電子系統(tǒng)提供了重要的理論依據(jù)。

［1］ KOPETZ H．Real-time systems—design principles for distributed embedded applications［M］． 2nd ed． New York:Springer，2011．

［2］ FlexRay Consortium．FlexRay communications system-protocol specification，version 2．1 revision A［S］． Stuttgart:FlexRay，2005．

［3］ ARINC 664P7．ARINC 664 aircraft data networks，part 7:Avionics Full Duplex switched ethernet (AFDX)network［S］． Maryland:ARINC Specification 664 Part 7，AEEC，2005．

［4］ SAE Aerospace．SAE AS6802 Time-triggered ethernet［S］．Detroit:SAE International，2011．

［5］ LE BOUDEC J Y，THIRAN P．Network calculus:a theory of deterministic queuing systems for the internet ［M］．Berlin:Springer，2001．

［6］ XIANG Y，WANG W，ZHANG X，et al． Performance research on time-triggered ethernet based on network calculus［J］．Eurasip Journal on Wireless Communications and Networking，2014，8(2):1-13．

［7］ ROBATI T，KOUHEN A E，GHERBI A，et al．An extension for AADL to model mixed-criticality avionic systems deployed on IMA architectures with TTEthernet［C］//Proceedings of the 1st International Workshop on Architecture Centric Virtual Integration(ACVI)，2014:14-27．

［8］ KENFACK H D，KORF F，STEINBACH T，et al． An extension of the OMNeT++ INET framework for simulating real-time ethernet with high accuracy［C］//Proceedings of the 4th ICST，2011:375-382．

［9］ BRAU G，PAGETTI C．TTEthernet based architecture simulation with ptolemy II［C］//Proceedings of the 6th JRWRTC，2012:29-32．

［10］ STEINER W．An evaluation of SMT-based schedule synthesis for time-triggered multi-hop networks［C］//IEEE 31st Real-Time Systems Symposium (RTSS)，2010:375-384．

［11］ 趙永庫(kù)，王紅春，唐來(lái)勝．AFDX 網(wǎng)絡(luò)端到端時(shí)延分析方法［J］．電光與控制，2013，20(4):81-83．(ZHAO Y K，WANG H C，TANG L S． Analysis method of end-toend delays on an AFDX avionic network［J］．Electronics Optics ＆ Control，2013，20(4):81-83．)