吳程程，呂 毅，袁新浩，許澍虹

民機飛行機組應急逃生設計混合現(xiàn)實仿真系統(tǒng)

吳程程1，呂 毅1，袁新浩2，許澍虹1

(1. 中國商用飛機有限責任公司北京民用飛機技術研究中心，北京 102211；2. 中國商用飛機有限責任公司上海飛機設計研究院，上海 201210)

開展民機飛行機組應急逃生仿真旨在飛機研制早期發(fā)現(xiàn)飛行機組逃生口設計的潛在問題，確保飛行機組成員的人身安全。提出了一種民機飛行機組應急逃生混合現(xiàn)實仿真系統(tǒng)設計方案，進行了系統(tǒng)搭建與實驗驗證。針對系統(tǒng)中人體虛實匹配的關鍵問題，提出一種光-慣混合追蹤的全身人體運動捕捉方法，結(jié)合基于Kinect2圖像識別的人體關鍵尺寸快速匹配技術，可以有效提升人體虛實匹配效率與魯棒性。相關成果已應用于某型國產(chǎn)大型民機研制中，為飛行機組逃生口設計驗證與評估提供了快速、有效的解決方案。

民機設計評估；混合現(xiàn)實；仿真系統(tǒng)；混合跟蹤；虛實匹配

民機飛行機組逃生口設計是飛機研制中的重要環(huán)節(jié)[1]，設計方案的合理性將直接影響飛行機組人員緊急狀況下的安全撤離。適航條款CCAR-25要求，飛行機組逃生口的設計需滿足身高158～190 cm的人員可以順利逃生[2-3]。同時，逃生口的開口尺寸與位置會對機體結(jié)構(gòu)強度、駕駛艙布局、氣動特性等產(chǎn)生影響。因此，針對飛行機組逃生口設計的評估工作受到了飛機設計人員與適航當局的普遍關注[4-5]。在設計早期階段提前開展飛行機組人員應急逃生仿真，能夠盡早發(fā)現(xiàn)、彌補設計缺陷，降低飛機研制后期設計方案出現(xiàn)重大更改的風險，減少時間成本與經(jīng)濟損失。但是，飛行機組逃生口屬于早期設計內(nèi)容，設計方案需要進行多次迭代，因此需要提供一種靈活可變、快速高效的仿真手段。傳統(tǒng)應急逃生仿真采用搭建實物模型的方式進行。通過采樣不同身高的目標人群開展試驗，驗證設計方案的符合性與適航性。但對于大型民機復雜產(chǎn)品，實物制造難度大、周期長、成本高，且不能滿足早期設計對方案快速迭代的需求。

近年來，虛擬仿真技術發(fā)展迅速，因其成本低、迭代快等優(yōu)勢，越來越多地應用于工程仿真[6-10]。目前應用較多的桌面式虛擬仿真工具有Delmia[11]，Jack[12]和Ramsis[13]等，此類軟件提供了符合人體尺寸分布的百分位數(shù)模[14-16]。然而，對于機組應急逃生這樣復雜的運動，工程人員在進行虛擬仿真時需花費大量時間進行手動虛擬人動作姿態(tài)設定，不僅效率低，且仿真質(zhì)量難以保證。這一問題在進行不同百分位人體數(shù)模的運動仿真時則會進一步加劇。由于無法在設定姿態(tài)時全面考慮人體運動特性以及受力情況等因素，仿真后的人體姿態(tài)與真人體姿態(tài)往往存在較大差異。

基于上述問題，本文提出了一種民機飛行機組應急逃生混合現(xiàn)實仿真系統(tǒng)設計方案。通過融合實物與虛擬仿真的優(yōu)勢，應用人體運動追蹤技術，快速獲取基于關鍵逃生物理支撐件的真人應急逃生運動姿態(tài)，并實時驅(qū)動虛擬人在虛擬逃生仿真場景中進行應急逃生仿真。其仿真方式保證了虛擬人動作的準確性，避免了因缺乏人體力學分析而導致的仿真結(jié)果不準確問題，且靈活可變、快速高效。所提方案完成了系統(tǒng)搭建與驗證，相關成果成功應用于某民機型號研制中，得到設計人員認可，為飛行機組逃生口設計評估驗證提供了新的技術手段。

1 系統(tǒng)總體設計

1.1 系統(tǒng)設計原理

本文基于UE4開源平臺進行開發(fā)，主要分為人體虛實匹配、逃生仿真場景虛實匹配、虛擬顯示與交互3個部分，如圖1所示。

圖1 系統(tǒng)設計原理圖

人體虛實匹配模塊用于獲取并驅(qū)動與真人尺寸一致的虛擬人，包含2部分功能：①為人體尺寸快速匹配，通過圖像識別設備快速識別人體骨骼關節(jié)點，根據(jù)其位置計算出關鍵骨骼長度，并依次將結(jié)果輸入虛擬系統(tǒng)中逐關節(jié)調(diào)整虛擬人模型，實現(xiàn)人體尺寸虛實匹配；②為虛擬人實時位姿匹配，其中位姿指的是位置與姿態(tài)。利用全身運動捕捉設備捕捉人體關節(jié)位姿信息，并實時驅(qū)動調(diào)整后的虛擬人進行運動仿真，實現(xiàn)虛擬人的虛實聯(lián)動。

逃生仿真場景虛實匹配是在物理逃生仿真場景中搭建可調(diào)節(jié)的物理支撐架，作為虛擬逃生仿真場景中駕駛艙關鍵設備的實物替代，為真實逃生過程中提供物理支撐。利用光學追蹤設備保證物理逃生仿真場景中與虛擬仿真場景中關鍵設備的位置保持一致。

虛擬顯示與交互模塊用于仿真結(jié)果地觀看與評估，包含虛擬顯示與虛擬交互2部分：①虛擬顯示可分別在桌面式顯示設備、便攜式虛擬現(xiàn)實系統(tǒng)(簡稱VR頭盔)以及大型沉浸式虛擬現(xiàn)實系統(tǒng)(簡稱CAVE系統(tǒng))進行逃生仿真過程的三維顯示；②虛擬交互具有逃生運動姿態(tài)錄制，場景漫游以及第一/第三人稱的視點切換功能，方便設計人員直觀地發(fā)現(xiàn)設計中的缺陷，并進行離線分析。

1.2 系統(tǒng)仿真流程

系統(tǒng)仿真流程可分為預處理與逃生仿真2部分，如圖2所示。預處理是在進行正式仿真之前開展的準備工作。首先，將飛機設計人員提供的設計數(shù)模導入軟件系統(tǒng)，構(gòu)建虛擬逃生仿真場景，并根據(jù)數(shù)模進行可調(diào)節(jié)物理支架的設計與搭建，完成物理逃生仿真場景；其次，建立帶有運動骨骼的虛擬人模型，并基于Kinect2圖像識別設備自動獲取人體關鍵尺寸參數(shù)，調(diào)整虛擬人的關鍵尺寸以快速匹配真人，確保虛實尺寸一致；然后，采用光學錨點(固定式被動光學跟蹤標記點)定位信息匹配虛擬場景與物理場景的坐標系，將虛擬逃生仿真場景、物理逃生仿真場景、虛擬人以及真人進行混合現(xiàn)實仿真環(huán)境的融合，實現(xiàn)虛實匹配，保證后續(xù)開展逃生仿真的準確性。

圖2 系統(tǒng)仿真流程圖

在預處理的基礎上，開始進行逃生模擬，真人在物理逃生場景中進行逃生，可通過慣性與光學2種人體運動捕捉設備，采集其位姿信息并進行混合追蹤數(shù)據(jù)的融合；基于融合后的人體位姿信息，將虛擬人與真人的位姿進行實時匹配，實現(xiàn)虛擬人在虛擬逃生場景中進行同步運動；此過程中，真人可通過虛擬顯示與交互功能進行實時地多角度觀察，若發(fā)現(xiàn)與逃生場景中的設備發(fā)生干涉，可立即調(diào)整逃生姿態(tài)，做出可滿足設計方案得出逃生動作，直到得出能否逃生成功的結(jié)論，該逃生模擬結(jié)束。

若進行不同體型的真人逃生仿真，該系統(tǒng)可快速響應。只需獲取并輸入該人的人體關鍵尺寸，系統(tǒng)將自動調(diào)整虛擬人人體尺寸并快速匹配，真人穿戴上人體運動捕捉設備即可進行逃生模擬，系統(tǒng)可將不同的逃生模擬樣本進行存儲并用于后續(xù)顯示與分析。

由于該仿真系統(tǒng)通用性強，如果在前一次逃生仿真中發(fā)現(xiàn)設計缺陷，軟件系統(tǒng)可快速導入修改后的設計方案并處理。同時，可調(diào)節(jié)物理支架可根據(jù)設計方案立即進行關鍵設備的尺寸與位置調(diào)整，達到快速逃生仿真的目的。

2 系統(tǒng)關鍵技術

應急逃生仿真過程中，虛擬人在虛擬環(huán)境中的逃生情況是評估逃生口設計合理性的重要依據(jù)。虛擬人的逃生實際是由真人在真實環(huán)境中實時驅(qū)動的。為了保證逃生仿真的準確性，提高仿真效率，需要快速、準確地進行人體虛實匹配。其實質(zhì)是虛擬人的人體關鍵尺寸及位姿與真人保持一致。該技術實現(xiàn)的挑戰(zhàn)在于快速匹配人體關鍵尺寸以及更準確、更穩(wěn)定的全身人體運動捕捉。為此，本文提出了基于Kinect2圖像識別的人體關鍵尺寸快速匹配方法及基于混合追蹤的全身人體運動捕捉方法。

2.1 基于Kinect2圖像識別的人體關鍵尺寸快速匹配方法

虛擬人與真人在人體尺寸不一致可能導致仿真誤差，因此需要在預處理過程中將虛擬人與真人的人體尺寸進行一比一匹配。人體尺寸的匹配核心在于獲取真人骨骼長度。傳統(tǒng)方式是人工測量，依靠人的經(jīng)驗定位出人體骨關節(jié)點并依次測量，再將尺寸手動輸入軟件進行虛擬人的人體尺寸調(diào)整。為了提高測量效率，本文采用Kinect2圖像識別技術對人體骨關節(jié)的空間位置信息進行自動化識別與采集，跳過了人工測量與手動輸入?yún)?shù)等環(huán)節(jié)，減少預先測量與操作時間。被測者無需穿戴任何設備，只需靜止站立于設備前1～2 s，系統(tǒng)便可快速計算出真人的人體尺寸并自動對虛擬人進行尺寸調(diào)整。

應急逃生仿真更偏重于人體大關節(jié)尺寸的準確性。根據(jù)仿真需求與人體運動特性，采用如圖3所示的人體骨骼節(jié)點。選擇骨骼節(jié)點Spine Base作為樹形模型的根節(jié)點[17]，其他關節(jié)點依次連接形成樹形結(jié)構(gòu)，根節(jié)點的參數(shù)是位于世界坐標系的方向，其他節(jié)點的參數(shù)是相對上一點的旋轉(zhuǎn)角。

圖3 人體骨骼關鍵節(jié)點樹

通過Kinect2的SDK開發(fā)包中的API函數(shù)獲取到的各個人體骨骼關鍵節(jié)點的實時位置信息。如圖4所示，被測者采用Tpose站立于Kinect2設備前，利用該設備采集有效骨關節(jié)點的位置信息并輸入系統(tǒng)軟件中。算法基于圖5中的關節(jié)樹依次遍歷每個骨關節(jié)與其上一節(jié)點的空間坐標信息，得到相應的關鍵骨骼長度，并獲取到虛擬人的人體所對應每一個關節(jié)點在虛擬空間中的位置P，以及根據(jù)圖3中人體骨骼關鍵節(jié)點樹所示的每個關節(jié)點與其對應的上一節(jié)點在虛擬空間中的位置P，根據(jù)式(1)求得與真人的人體匹配后骨關節(jié)的虛擬空間位置點，即

將其賦予虛擬人的對應骨關節(jié)點。按上述方法，每一骨關節(jié)依次遍歷完成后，得到了一比一人體尺寸匹配后的虛擬人。

圖4 Kinect2下識別的人體骨骼關節(jié)點

Fig. 4 Human bone joints recognized by Kinect2

圖5 慣性系統(tǒng)攀爬漂移示意((a)動作前；(b)動作后)

通過測試，整個測量過程不超過1 min，與手動測量相比，測量效率至少提高了20倍。

2.2 基于光-慣混合追蹤的全身人體運動捕捉方法

高精度全身人體運動捕捉是進行精準人體驅(qū)動的基礎。目前，主流的全身人體運動捕捉系統(tǒng)主要分為基于光學[18]和基于慣性[19-20]2類。光學運動捕捉系統(tǒng)精度高，但易受實物遮擋，魯棒性較差；慣性運動捕捉系統(tǒng)不受遮擋影響且姿態(tài)信息精準，但存在位置積分的誤差累積，精度難以滿足需求，特別是在攀爬過程中出現(xiàn)雙腳離地的情況下，由于位置積分算法依賴腳步與地面的接觸，進行這一動作后會使整體位置漂移，無法滿足應用需求，具體如圖5所示。

針對混合現(xiàn)實場景下的全身人體運動捕捉，單一運動捕捉系統(tǒng)無法滿足需求?；谶@一問題，本文采取光-慣混合追蹤的方式，綜合利用光學與慣性的優(yōu)勢特性，實現(xiàn)高精度、高魯棒性的全身人體運動捕捉。此方法從宏觀與局部2個維度進行混合，宏觀上采取慣性捕捉全身姿態(tài)信息，光學捕捉人體根節(jié)點位姿信息，這能最大程度上減小了慣性器件位置積分的累積誤差與光學捕捉的遮擋影響。局部上，針對根節(jié)點的位姿追蹤，采取了更加深度的融合策略，在光學靶點未全部丟失的情況下，利用光學進行人體根節(jié)點的位置追蹤，代替慣性設備輸出的位置信息作為融合處理后的位置追蹤結(jié)果，并且對慣性位置信息進行校正，消除其累計誤差；在光學靶點完全丟失的狀態(tài)下，使用校正后的慣性位置作為融合后的位置輸出，保證在遮擋情況下的追蹤魯棒性。

本文提出的光-慣混合追蹤方式采用了光學和慣性2套運動捕捉系統(tǒng)，如圖6所示，需要分別采集運動捕捉數(shù)據(jù)，通過開發(fā)的通訊接口實時進入軟件系統(tǒng)中，并進行后續(xù)的數(shù)據(jù)融合處理。

圖6 光學-慣性混合的追蹤系統(tǒng)

在光學靶點未全部丟失的情況下，數(shù)據(jù)融合處理的實質(zhì)是利用光學設備進行人體根節(jié)點位置捕捉，利用慣性設備進行人體關節(jié)姿態(tài)捕捉，通過在物理環(huán)境(R)、Optitrack系統(tǒng)(O)、MVN系統(tǒng)(M)以及虛擬環(huán)境(V)之間進行追蹤數(shù)據(jù)的坐標轉(zhuǎn)化與匹配，實現(xiàn)數(shù)據(jù)融合。

其中，為旋轉(zhuǎn)矩陣；為平移矩陣。

在光學靶點完全丟失的情況下，啟用慣性實時追蹤數(shù)據(jù)，給系統(tǒng)提供全部六自由度信息。同時，為解決慣性元件位置積分累積誤差的問題，使用光學追蹤數(shù)據(jù)實時修正慣性位置追蹤結(jié)果，在光學靶點沒有完全丟失的最后時刻，將當前慣性位置追蹤結(jié)果直接置為光學追蹤結(jié)果，從而消除此前的累積誤差，實現(xiàn)了精度提升，其計算式為

光-慣數(shù)據(jù)融合后，實時的將姿態(tài)數(shù)據(jù)輸入給虛擬人分別控制其對應的人體骨骼關鍵節(jié)點旋轉(zhuǎn)，而位置數(shù)據(jù)控制虛擬人體的根節(jié)點位移，從而使虛擬人跟隨真人進行實時運動，實現(xiàn)人體的虛實匹配。

3 系統(tǒng)實現(xiàn)與實驗結(jié)果

3.1 逃生仿真場景虛實匹配

逃生仿真場景虛實匹配是通過設計并搭建可調(diào)節(jié)物理支架，利用六自由度錨點定位方法，將物理仿真環(huán)境與虛擬仿真環(huán)境中關鍵尺寸以及設備的相對位置進行完全匹配，以保證逃生仿真的準確性。

本系統(tǒng)設計了可調(diào)節(jié)物理支架，如圖8(a)所示，即可對構(gòu)建的支架進行，，軸自由度的位置調(diào)整，包括逃生口開口的尺寸及位置，觀察員控制臺的高度及位置，及觀察員座椅椅面1位置與椅背2高度及位置。在前期試驗過程中發(fā)現(xiàn)觀察員控制臺，觀察員座椅椅面1位置與椅背2能夠滿足踩踏需求，逃生口開口外沿部分能承受人的手臂支撐，整個物理支架滿足攀爬過程中的安全性與穩(wěn)定性要求。

圖8 虛擬與物理逃生仿真場景虛實匹配((a)虛擬場景；(b)物理場景)

支架搭建后，需要保證其關鍵尺寸、位置與虛擬逃生仿真場景中的相對應設計數(shù)模保持一致。如2.2節(jié)所述，可利用光學捕捉設備與被動光學標記點，能夠準確獲取到空間中任一點的位置這個特性，本文采用光學錨點定位方法進行逃生仿真場景的虛實匹配。

首先，確定虛擬坐標原點位置，在虛擬場景中，設置觀察員桌椅椅面右上角為坐標原點，其坐標系定為左手坐標系。然后，根據(jù)虛擬場景原點位置確定真實場景中對應的原點及其坐標系。其次，將光學錨點分別貼在原點、椅背2平面、觀察員控制臺上表面以及逃生口開口4個角上，如圖8(b)所示，保證真實場景下可提供力學支撐的物理件與虛擬場景中相應設備的位置保持一致。通過光學捕捉設備獲取到各個光學錨點的空間位置信息，逐一與虛擬場景中的位置進行匹配，完全吻合后進行固定，以此方法完成物理逃生仿真場景的搭建，實現(xiàn)虛擬與真實的逃生仿真場景虛實匹配。

3.2 虛擬顯示與交互功能實現(xiàn)

根據(jù)逃生仿真的設計需求，需要進行在線和離線狀態(tài)下的虛擬顯示與交互。其中，在線顯示與交互是由于試驗人員在進行逃生運動時，需通過觀察虛擬人在虛擬仿真場景中的干涉情況，調(diào)整合適的逃生姿態(tài)。此外，利用虛擬交互外設設備能夠在虛擬仿真場景中進行漫游，便于從多角度觀察干涉情況。離線顯示與交互是為了設計人員在進行方案更改與討論時，能通過沉浸式顯示方式更加真實地感知到設計方案對機組逃生的影響，方便進行設計方案的更改與確認。綜上所述，開發(fā)了基于UE4開源平臺的桌面式(LED顯示器)實時顯示，便攜式(VR頭盔)虛擬現(xiàn)實以及大型沉浸式(CAVE系統(tǒng))虛擬現(xiàn)實3個版本的軟件工具。

桌面式實時顯示軟件的主要功能包括虛擬逃生仿真場景的建立、基于c++的全身人體運動捕捉數(shù)據(jù)獲取與融合、虛擬人實時驅(qū)動、虛擬交互中的漫游以及虛擬場景的實時渲染與顯示等，軟件運行效果如圖9(a)所示。

便攜式虛擬現(xiàn)實軟件的優(yōu)勢在于能夠讓設計人員進入該虛擬仿真環(huán)境，并可通過VR交互手柄進行虛擬場景漫游及第一/第三人稱眼點切換。VR頭盔顯示形式具有輕巧方便、易攜帶的特點，便于異地、多部門的溝通。其中，第一/第三人稱眼點切換功能指的是2種在虛擬場景中的不同觀察方式：第一人稱是指觀察者作為機組人員站在觀察員控制臺上，對逃生口的開口尺寸與位置進行觀察，直觀感受并預判逃生難度；第三人稱是指觀察者作為旁觀者從多角度對虛擬人的整個逃生過程進行觀測，便于對設計方案進行詳細分析，快速確認設計方案的合理性。該軟件是基于SteamVR對HTC VIVE頭盔進行了開發(fā)，此軟件功能在桌面式軟件功能的基礎上開發(fā)了第一/第三人稱眼點切換與手柄漫游以及交互功能，并利用Animation Sequences進行動作序列錄制，完成后放入虛擬場景中，可在顯示設備中進行離線觀測，效果如圖9(b)所示。

大型沉浸式虛擬現(xiàn)實系統(tǒng)是專業(yè)級的虛擬現(xiàn)實設備，具有高真實、全沉浸式的特點。與VR頭盔相比，此系統(tǒng)顯示方式使觀測者能夠看到物理世界，因此對于設計方案的觀測可融入實物對比，更加直觀，并且該系統(tǒng)能夠容納多人同時觀看，便于多部門進行設計方案的討論。應用于CAVE系統(tǒng)的軟件需要具有多通道立體渲染功能。為了提高實時渲染速率采用被動立體渲染方式。本系統(tǒng)基于UE4平臺的nDisplay模塊進行功能擴充，通過增加節(jié)點眼位配置接口與節(jié)點顯示方式接口，使節(jié)點渲染管理類獲取相應眼位信息及被動模式渲染命令，執(zhí)行被動立體渲染驅(qū)動類，調(diào)用相應單畫面渲染基礎功能模塊，實現(xiàn)左右眼渲染分別輸出功能，實現(xiàn)結(jié)果如圖9(c)所示。

圖9 虛擬顯示與交互功能實現(xiàn)((a)桌面式混合現(xiàn)實仿真結(jié)果實時顯示；(b)基于VR頭盔的第一/第三人稱眼點切換功能；(c)多通道被動立體渲染功能實現(xiàn)結(jié)果)

3.3 實驗結(jié)果

混合現(xiàn)實仿真系統(tǒng)搭建完成后，開展了2組系統(tǒng)驗證實驗。

實驗1.對本文提出的基于光-慣混合追蹤的全身人體運動捕捉方法在混合現(xiàn)實環(huán)境下進行測試。實驗內(nèi)容是真人利用搭建后的物理支架進行逃生過程中的攀爬運動。由于多次攀爬運動時，人體關節(jié)角度無法保持一致，因此實驗針對運動過程中的全身關鍵運動關節(jié)位置進行記錄。預先設定攀爬過程中人體接觸物理支撐件的位置并做好標記，實驗人員基于標記點做同樣3組姿態(tài)的攀爬運動，分別利用光學追蹤、慣性追蹤和本文提出光-慣混合追蹤方式進行全身人體運動捕捉，并將捕捉后的位置數(shù)據(jù)進行了對比，如圖10所示。其中，縱坐標代表位置，橫坐標代表虛擬人跟隨真人運動的動畫刷新幀序列。光、慣、混分別代表了利用光學、慣性及光-慣混合追蹤所獲取人體關節(jié)點的運動位置數(shù)據(jù)。其中，根節(jié)點Spine Base、頭部關節(jié)點Head、左腕關節(jié)Wrist Left、右腕關節(jié)Wrist Right、左踝關節(jié)Ankle Left以及右踝關節(jié)Ankle Right的位置追蹤數(shù)據(jù)用來表征全身人體運動捕捉的穩(wěn)定性與準確性的特點。

通過圖10紅圈部分數(shù)據(jù)可以看出，由于存在物理遮擋，導致光學運動捕捉系統(tǒng)部分關節(jié)點動捕數(shù)據(jù)丟失，捕捉的魯棒性無法滿足應用需求，但由于光學追蹤精度較高[21-22]，因此在這里認定未丟失的捕捉結(jié)果作為后續(xù)2種捕捉方式的結(jié)果標準對照值。慣性運動捕捉系統(tǒng)從圖中明顯看出位置變化趨勢與光學追蹤結(jié)果相差較大，存在位置追蹤不準確的問題。本文提出的光-慣混合追蹤方法和光學相比，穩(wěn)定性大幅提高，且相較于慣性的準確性上也有明顯的提升。

實驗表明，本文方法在混合現(xiàn)實環(huán)境下可以有效捕捉全身人體運動，相比與其他方法能夠有效保證追蹤的穩(wěn)定性及魯棒性。

實驗2. 通過傳統(tǒng)的民機設計虛擬仿真軟件Delmia以及利用集成后的混合現(xiàn)實仿真系統(tǒng)開展應急逃生仿真。

首先，專業(yè)虛擬仿真人員利用傳統(tǒng)的Delmia V5虛擬仿真軟件，花費近6 h，建立了將近50個關鍵幀，仿真了數(shù)字人攀爬逃生的過程，如圖11所示。通過仿真得到可行的逃生路線為站立于觀察員控制臺，然后通過踩踏儲物柜，并利用手部支撐飛機逃生口外力面，共同向上使力，攀爬出逃生口。

圖10 光學、慣性動捕系統(tǒng)與光-慣混合追蹤方法對比

圖11 基于Delmia虛擬仿真軟件的逃生仿真

利用混合現(xiàn)實仿真系統(tǒng)開展仿真實驗。根據(jù)Delmia得到的逃生路線，進行逃生仿真發(fā)現(xiàn)，由于人體向后傾斜角度過大，真人無法完成如圖11所示的攀爬姿態(tài)。實驗逃生人員改變逃生路線策略，將踩踏儲物柜改成踩踏觀察員桌椅椅背，發(fā)現(xiàn)該方式可以逃生成功，并且發(fā)現(xiàn)若在椅背高度位置附近設計逃生腳踏，增大可踩踏接觸面，并縮短逃生口與第二落腳點的水平距離，可使逃生更加省力并節(jié)省逃生時間。整個試驗過程包括穿戴全身人體運動捕捉數(shù)據(jù)衣，校正動捕設備以及逃生仿真過程只需20 min，可快速進行逃生過程的模擬，具體逃生實驗過程如圖12所示。從圖中可以看出，基于本文方法結(jié)合基于Kinect2圖像識別的人體關鍵尺寸快速匹配方法可以對人體尺寸與人體姿態(tài)進行快速、有效地虛實匹配。且該仿真系統(tǒng)能在真人逃生實驗過程中可實時在虛擬環(huán)境中看到虛擬人的逃生過程，若發(fā)現(xiàn)虛擬人與虛擬場景發(fā)生干涉，能及時調(diào)整真人逃生姿態(tài)。虛擬人能否順利攀爬出逃生口可有效評估逃生口設計的合理性。

圖12 基于混合現(xiàn)實的應急逃生仿真((a)初始位姿腳部虛實匹配；(b)右腳踩踏椅背虛實匹配；(c)上半身攀爬姿態(tài)虛實匹配；(d)全身攀爬姿態(tài)虛實匹配)

該實驗結(jié)果表明傳統(tǒng)的虛擬仿真軟件方式的仿真可靠性與設計人員仿真經(jīng)驗相關，且存在數(shù)字人可完成的人體姿態(tài)，真人無法實現(xiàn)的情況。而通過混合現(xiàn)實仿真系統(tǒng)開展民機飛行機組應急逃生仿真在保證仿真準確性的同時，大大提高了仿真效率。

4 結(jié)束語

通過搭建民機飛行機組應急逃生混合現(xiàn)實仿真仿真系統(tǒng)，開展了飛行機組應急逃生仿真研究。采用基于Kinect2圖像識別的人體關鍵尺寸快速匹配技術與基于本文方法進行人體虛實匹配，通過逃生仿真場景虛實匹配及開發(fā)的虛擬顯示與交互軟件系統(tǒng)，快速實現(xiàn)了應急逃生仿真。實驗表明，本文方法能在設計早期有效開展應急逃生仿真，相較于傳統(tǒng)仿真方法，能有效提高仿真效率，保證仿真的準確性。本文方法目前已應用于現(xiàn)有型號中的飛行機組逃生口設計評估，且應用的混合現(xiàn)實仿真方案具有通用性的特點，可應用于大型復雜裝備的設計方案評估，可達性、可維修性檢查等方面。

[1] 嚴立浩, 張潔, 孫穩(wěn), 等. 民用飛機駕駛艙應急逃生出口設置適航要求研究[J]. 民用飛機設計與研究, 2018(2): 126-130.

YAN L H, ZHANG J, SUN W, et al. Airworthiness study of flightcrew em ergency exits arrangem ent[J]. Civil Aircraft Design & Research, 2018(2): 126-130 (in Chinese).

[2] 中國民用航空總局. CCAR25 R4-2011中國民用航空規(guī)章第25部運輸類飛機適航標準[S]. 北京: 中國民用航空總局, 2011.

Civil Aviation Administration of China. CCAR-25-R4-2011 China civil aviation regulations, part 25 airworthiness standard for transport aircraft[S]. Beijing: Civil Aviation Administration of China, 2011 (in Chinese).

[3] Fedral Aviation Administration. AC25 17A-2009 transport airplane cabin interiors crashwonlriness handbook[S]. Washington: Fedral Aviation Administration, 2009.

[4] 董大勇, 俞金海, 李寶峰, 等. 民機駕駛艙人為因素適航符合性驗證技術[J]. 航空學報, 2016, 37(1): 310-316.

DONG D Y, YU J H, LI B F, et al. Airworthiness compliance certification technology of civil aircraft flight deck human factor[J]. Acta Aeronautica et Astronautica Sinica, 2016, 37(1): 310-316 (in Chinese).

[5] NIU X Y, LIU Z, ZHANG J J, et al. Integrated cockpit simulation design for civil aircraft alerting system[C]//The 2019 International Conference on Electronical, Mechanical and Materials Engineering. Paris: Atlantis Press, 2019: 76-79.

[6] 王巍, 高雪松, 穆志國, 等. 人機工程仿真技術在飛機零組件裝配中的應用[J]. 航空制造技術, 2017, 60(9): 92-96.

WANG W, GAO X S, MU Z G, et al. Application of man-machine engineering simulation technology in aircraft component assembly[J]. Aeronautical Manufacturing Technology, 2017, 60(9): 92-96 (in Chinese).

[7] 朱妍如. 基于DELMIA的某型民機后機身裝配仿真[D]. 哈爾濱: 哈爾濱工業(yè)大學, 2018.

ZHU Y R. Simulation of rear fuselage assembly of a civil aircraft based on DELMIA[D]. Harbin: Harbin Institute of Technology, 2018 (in Chinese).

[8] SALLEH N A M, KASOLANG S, MUSTAKIM M A, et al. The study on optimization of streamlined process flow based on delmia quest simulation in an automotive production system[J]. Procedia Computer Science, 2017, 105: 191-196.

[9] KAMAT S R, HAFIZ M, HAMID A, et al. Ergonomics study of working postures in demould process at aerospace manufacturing[C]//International Conference on Design an Concurrent Engineering 2017 & Manufacturing System Conference. Amsterdam: Elsevier Press, 2017: 8-11.

[10] 張開運. 基于DELMIA的三維模型屬性數(shù)據(jù)提取及重構(gòu)的研究[J]. 裝備制造技術, 2018(1): 119-122.

ZHANG K Y. Research on extraction and reconstruction of 3D model attribute data based on DELMIA[J]. Equipment Manufacturing Technology, 2018(1): 119-122 (in Chinese).

[11] 李保和. 艦船設備維修人機工效量化評估關鍵技術研究[D]. 武漢: 華中科技大學, 2019.

LI B H. Research on key technologies of quantitative evaluation of ergonomics for warship equipment maintenance[D]. Wuhan: Huazhong University of Science and Technology, 2019 (in Chinese).

[12] 代明遠, 路易霖, 王碩, 等. 基于虛擬現(xiàn)實的工程機械人機工程設計研究進展[J]. 機械設計, 2020, 37(7): 116-123.

DAI M Y, LU Y L, WANG S, et al. Research progress on engineering mechanical ergonomic design based on virtual reality technology[J]. Journal of Machine Design, 2020, 37(7): 116-123 (in Chinese).

[13] 王洪寶, 王金, 支錦亦, 等. 基于RAMSIS仿真的高速列車駕駛界面人機工效評估[J]. 機械設計, 2020, 37(1): 128-134.

WANG H B, WANG J, ZHI J Y, et al. Ergonomic evaluation of high-speed train driving interface based on RAMSIS simulation[J]. Journal of Machine Design, 2020, 37(1): 128-134 (in Chinese).

[14] BERG L P, VANCE J M. Industry use of virtual reality in product design and manufacturing: a survey[J]. Virtual Reality, 2017, 21(1): 1-17.

[15] ERKOYUNCU J A, DEL AMO I F, DALLE MURA M, et al. Improving efficiency of industrial maintenance with context aware adaptive authoring in augmented reality[J]. CIRP Annals, 2017, 66(1): 465-468.

[16] AZIZ F A, ALSHAMMAR M, ARIFFIN M K A. Using virtual reality for equipment maintenance in oil and gas industry[J]. Journal of Computational and Theoretical Nanoscience, 2018, 15(4): 1090-1094.

[17] 王磊. 視頻人體運動的檢測跟蹤與識別[D]. 上海: 上海交通大學, 2017.

WANG L. Visual detection, tracking and recognition of human motion in video[D]. Shanghai: Shanghai Jiaotong University, 2017 (in Chinese).

[18] ?OLONY M. Optical motion capture system [EB/OL]. [2021-10-11].https://www.optitrack.com/.

[19] WOUDA F, GIUBERTI M, BELLUSCI G, et al. Estimation of full-body poses using only five inertial sensors: an eager or lazy learning approach?[J]. Sensors, 2016, 16(12): 2138.

[20] XSENS. MVN Inertial Motion Capture System[EB/OL]. [2021-10-11]. https://www.xsens.cn/MVN.

[21] 黃波士, 陳福民. 人體運動捕捉及運動控制的研究[J]. 計算機工程與應用, 2005, 41(7): 60-63.

HUANG B S, CHEN F M. Research on human body motion capture and motion control[J]. Computer Engineering and Applications, 2005, 41(7): 60-63 (in Chinese).

[22] 王軍, 胡永剛, 韓崇昭. 被動式光學運動捕捉系統(tǒng)丟點檢測與補償[J]. 系統(tǒng)工程與電子技術, 2012, 34(11): 2374-2378.

WANG J, HU Y G, HAN C Z. Detection and rectification for missing markers in passive-optical motion capture system[J]. Systems Engineering and Electronics, 2012, 34(11): 2374-2378 (in Chinese).

Mixed reality simulation system for emergency escape design of civil aircraft flight crew

WU Cheng-cheng1, LYU Yi1, YUAN Xin-hao2, XU Shu-hong1

(1. COMAC Beijing Aircraft Technology Research Institute, Beijing 102211,China; 2. COMAC Shanghai Aircraft Design & Research Institute, Shanghai 201210, China)

Emergency escape simulation for civil aircraft crew helps to identify the potential problems of crew escape hatch design during the early development of aircrafts, and ensures the safety of crew members. This paper presented a mixed-reality simulation system for emergency escape of civil aircraft flight crew. To solve the key problem of human body virtual-physical matching, an optical-inertial hybrid whole-body human motion capture method was proposed. The method, working together with the Kinect2-based human body key dimension matching technique, can effectively improve the efficiency and robustness of human body virtual-physical matching. The proposed mixed-reality simulation system has been successfully applied to the development of large domestic aircrafts. Experimental results show its efficiency in the evaluation of crew escape hatch design.

civil aircraft design evaluation; mixed-reality; simulation system; hybrid tracking; virtual and physical matching

TP 391.9

10.11996/JG.j.2095-302X.2022020306

A

2095-302X(2022)02-0306-10

2021-11-12；

2021-12-08

中國商飛公司科技創(chuàng)新專項(Y18GS10)

吳程程(1987–)，女，工程師，博士研究生。主要研究方向為虛擬現(xiàn)實。E-mail：wuchengcheng@comac.cc

許澍虹(1967–)，男，研究員，博士。主要研究方向為虛擬現(xiàn)實。E-mail：xushuhong@comac.cc

12 November，2021；

8 December，2021

COMAC Special Fund for Science and Technology Innovation (Y18GS10)

WU Cheng-cheng (1987–), engineer, PhD candidate. Her main research interest covers virtual reality. E-mail：wuchengcheng@comac.cc

XU Shu-hong (1967–), researcher, Ph.D. His main research interest covers virtual reality. E-mail：xushuhong@comac.cc