陳學(xué)文,晁建剛,安明,林萬(wàn)洪,胡福超

(中國(guó)航天員科研訓(xùn)練中心人因工程重點(diǎn)實(shí)驗(yàn)室，北京100094)

基于體態(tài)識(shí)別的航天員虛擬訓(xùn)練仿真技術(shù)研究

陳學(xué)文,晁建剛,安明,林萬(wàn)洪,胡福超

(中國(guó)航天員科研訓(xùn)練中心人因工程重點(diǎn)實(shí)驗(yàn)室，北京100094)

以未來(lái)空間站任務(wù)建設(shè)虛擬現(xiàn)實(shí)訓(xùn)練器為需求，為了最大限度地降低虛擬現(xiàn)實(shí)設(shè)備穿戴給航天員帶來(lái)的額外束縛，提出了一種新的基于體態(tài)識(shí)別的航天員虛擬訓(xùn)練仿真系統(tǒng):采用平行雙目視覺(jué)原理和偏振立體電視實(shí)現(xiàn)立體圖像的生成與顯示；采用人體三層模型實(shí)現(xiàn)虛擬航天員表達(dá)，采用骨骼動(dòng)畫(huà)實(shí)現(xiàn)人體典型動(dòng)作自動(dòng)演示、Kinect實(shí)現(xiàn)人機(jī)交互過(guò)程中人體跟蹤和運(yùn)動(dòng)控制，適合于空間站任務(wù)航天員訓(xùn)練、工效驗(yàn)證、典型流程演示等人機(jī)交互應(yīng)用。

空間站；航天員；虛擬訓(xùn)練仿真；體態(tài)識(shí)別；立體；Kinect；人體仿真

1 引言

空間站的建設(shè)和運(yùn)行是一個(gè)長(zhǎng)期過(guò)程，隨著建設(shè)的發(fā)展，結(jié)構(gòu)越來(lái)越復(fù)雜，艙內(nèi)設(shè)備/物品越來(lái)越多，多批次航天員需在上面工作。即將執(zhí)行任務(wù)的航天員和地面支持人員需要一套能夠直觀反映有人參與其中的空間站模擬系統(tǒng)，便于訓(xùn)練、學(xué)習(xí)、交流、任務(wù)規(guī)劃與工程驗(yàn)證。但是在地面由于重力和物理?xiàng)l件的限制，無(wú)法或很難建設(shè)一套能夠反映在軌飛行時(shí)空間視覺(jué)環(huán)境、物體操作的運(yùn)動(dòng)特性和相互力學(xué)特性的實(shí)物模擬器。目前世界上航天大國(guó)紛紛利用虛擬現(xiàn)實(shí)技術(shù)，采用計(jì)算機(jī)仿真技術(shù)，結(jié)合一些虛擬現(xiàn)實(shí)設(shè)備，創(chuàng)建出場(chǎng)景逼真、可交互、沉浸感強(qiáng)的虛擬訓(xùn)練仿真系統(tǒng)[1-3]。但是對(duì)于人體位置跟蹤大多采用需要佩戴的設(shè)備，如數(shù)據(jù)手套、數(shù)據(jù)衣、位置跟蹤儀等，這些設(shè)備給航天員帶來(lái)了具有負(fù)面效應(yīng)的束縛感，降低了航天員使用該設(shè)備的興趣和效果。同時(shí)在虛擬人的交互上，沒(méi)有形成用戶與虛擬人的有效融合和交互，導(dǎo)致訓(xùn)練時(shí)虛擬人動(dòng)畫(huà)成分較重，逼真度降低。因此，開(kāi)展基于體態(tài)識(shí)別的虛擬訓(xùn)練仿真系統(tǒng)研究勢(shì)在必行。

本文首先給出了系統(tǒng)組成，然后給出了三維場(chǎng)景立體圖像生成與顯示、虛擬航天員三層表達(dá)與典型動(dòng)作自動(dòng)演示、自然人機(jī)交互中的人體跟蹤與虛擬航天員運(yùn)動(dòng)驅(qū)動(dòng)，形成一套自然人機(jī)交互虛擬訓(xùn)練仿真系統(tǒng)。

2 仿真系統(tǒng)設(shè)計(jì)

仿真系統(tǒng)首先需要?jiǎng)?chuàng)建逼真的三維虛擬場(chǎng)景，本文以某任務(wù)中的實(shí)驗(yàn)艙與軌道艙組合體和其中的航天員為例，在3D Max軟件中建立組合體結(jié)構(gòu)、艙內(nèi)設(shè)備、虛擬航天員的幾何結(jié)構(gòu)，并貼上紋理信息，生成逼真的組合體和虛擬航天員三維場(chǎng)景數(shù)據(jù)庫(kù)。通過(guò)編程，采用OGRE圖形引擎，讀入場(chǎng)景數(shù)據(jù)庫(kù)，依據(jù)計(jì)算機(jī)圖形學(xué)原理創(chuàng)建虛擬攝像機(jī)，實(shí)時(shí)渲染出逼真的三維數(shù)字組合體?？刂铺摂M攝像機(jī)的位置和姿態(tài)，向用戶展示艙內(nèi)不同部位的畫(huà)面內(nèi)容。在沒(méi)有用戶操作的情況下給攝像機(jī)一定的路徑，讓其沿著該路徑移動(dòng)，向用戶動(dòng)態(tài)展示艙內(nèi)各部分的場(chǎng)景。

用戶可以通過(guò)鼠標(biāo)控制虛擬攝像機(jī)的移動(dòng)和轉(zhuǎn)動(dòng)，觀察感興趣的物體。對(duì)某個(gè)設(shè)備感興趣時(shí)，通過(guò)鼠標(biāo)點(diǎn)選該設(shè)備，由Overlay技術(shù)在旁邊彈出該設(shè)備的功能、工作原理和使用方法的介紹，進(jìn)而獲得該設(shè)備的詳細(xì)信息。由于鼠標(biāo)在屏幕上點(diǎn)擊時(shí)直接獲得的是屏幕二維坐標(biāo)，而被點(diǎn)選的對(duì)象在三維空間中，采用射線法實(shí)現(xiàn)三維物體的拾取[4]。其基本原理是:過(guò)攝像機(jī)位置點(diǎn)向鼠標(biāo)選中點(diǎn)做一條射線并求它和場(chǎng)景中所有實(shí)體的交點(diǎn)。在所有和該射線相交的實(shí)體中，離攝像機(jī)位置點(diǎn)最近的實(shí)體就是被選中的物體。

虛擬航天員的模型要能滿足運(yùn)動(dòng)控制、碰撞檢測(cè)和外形表達(dá)的功能。當(dāng)用于人機(jī)交互時(shí)，虛擬航天員完全由Kinect采集的人體運(yùn)動(dòng)數(shù)據(jù)控制；當(dāng)用于典型任務(wù)，如緊急撤離過(guò)程中航天員操作動(dòng)作流程演示時(shí)，可以采用骨骼動(dòng)畫(huà)的方式實(shí)現(xiàn)虛擬航天員的運(yùn)動(dòng)和相應(yīng)物體的動(dòng)態(tài)演示。

用戶可以通過(guò)基于光學(xué)的體態(tài)識(shí)別設(shè)備Kinect實(shí)時(shí)跟蹤人體的運(yùn)動(dòng)，實(shí)現(xiàn)虛擬航天員運(yùn)動(dòng)控制。在三維虛擬場(chǎng)景中，當(dāng)把虛擬攝像機(jī)綁定到虛擬航天員的眼部位置時(shí)，模擬出航天員第一視點(diǎn)觀察到的場(chǎng)景內(nèi)容，并隨著用戶頭部的移動(dòng)作動(dòng)態(tài)變化。

為了實(shí)現(xiàn)上面的功能，仿真系統(tǒng)軟件組成如圖1所示，由數(shù)字組合體仿真軟件和體態(tài)識(shí)別軟件組成，后者通過(guò)網(wǎng)絡(luò)把人體骨架各節(jié)段位置數(shù)據(jù)實(shí)時(shí)傳遞給數(shù)字組合體仿真軟件，控制虛擬航天員的運(yùn)動(dòng)，兩個(gè)軟件部署在一臺(tái)計(jì)算機(jī)上。數(shù)字組合體仿真軟件實(shí)現(xiàn)組合體三維虛擬場(chǎng)景仿真、立體圖像生成與顯示、虛擬航天員三層表達(dá)與仿真、航天員典型活動(dòng)三維仿真。體態(tài)識(shí)別軟件利用Kinect采集的深度圖像，識(shí)別人體深度信息，分析計(jì)算出人體骨架各個(gè)節(jié)段的位置數(shù)據(jù)，并傳遞給數(shù)字組合體仿真軟件。

仿真系統(tǒng)的硬件組成如圖1所示。1臺(tái)計(jì)算機(jī)用于三維虛擬場(chǎng)景仿真、立體圖像生成、虛擬航天員表達(dá)與仿真、典型操作動(dòng)作演示、人體體態(tài)識(shí)別。1臺(tái)具備偏振立體功能的立體電視機(jī)用于三維虛擬場(chǎng)景立體顯示。1臺(tái)Kinect體感設(shè)備用于人體運(yùn)動(dòng)跟蹤。

圖1 系統(tǒng)軟硬件組成Fig.1 Component of software and hardware system

3 關(guān)鍵技術(shù)實(shí)現(xiàn)

3.1 立體圖像生成與顯示

增強(qiáng)用戶的沉浸感和想象性，為用戶提供三維場(chǎng)景的立體顯示是很好的方法。由于左右眼之間有一定的間距，左右眼觀察現(xiàn)實(shí)中的物體在大腦中所成的像稍有差別，經(jīng)過(guò)人腦對(duì)兩幅稍有差別圖像的合成和想象，產(chǎn)生立體感。三維虛擬場(chǎng)景立體顯示時(shí)，首先需要設(shè)計(jì)兩臺(tái)攝像機(jī)，分別為左眼攝像機(jī)和右眼攝像機(jī)，兩個(gè)攝像機(jī)水平相距一個(gè)眼距，以一種雙目投影模型分別生成稍有差別的左眼圖像和右眼圖像，然后通過(guò)立體顯示設(shè)備顯示給用戶，把左眼圖像和右眼圖像分開(kāi)，使得左眼只能觀察到左眼圖像，右眼只能觀察到右眼圖像。

目前有兩種雙目投影模型:匯聚雙目投影模型、平行雙目投影模型[5]。兩種模型都存在左眼攝像機(jī)和右眼攝像機(jī)，水平相距一個(gè)眼距d，其差別是兩臺(tái)攝像機(jī)的視軸相對(duì)方向不同。匯聚雙目投影模型是兩臺(tái)攝像機(jī)的視軸(視線方向)相交(如圖2所示)，即兩臺(tái)攝像機(jī)都向投影平面的中點(diǎn)觀察。該模型實(shí)現(xiàn)簡(jiǎn)單，只需要把兩臺(tái)攝像機(jī)的位置相距一個(gè)眼距，觀察方向旋轉(zhuǎn)一個(gè)角度，使兩臺(tái)攝像機(jī)視軸水平對(duì)稱、相交于投影平面上即可。但是該模型會(huì)引入垂直視差，在左眼和右眼圖像的左邊圖像存在差異，同樣右邊圖像也存在差異，兩幅圖像在大腦合成時(shí)會(huì)產(chǎn)生變形感，給用戶帶來(lái)不適，影響立體效果。平行雙目投影模型是兩臺(tái)攝像機(jī)的視軸平行(如圖3所示)，即兩臺(tái)攝像機(jī)平行向前觀察，且與投影面垂直，采用垂直對(duì)稱、水平不對(duì)稱的投影視錐體生成左右眼圖像，不存在匯聚雙目投影模型的變形問(wèn)題，立體視覺(jué)效果好。本文采用平行雙目投影模型。

圖2 匯聚雙目投影模型Fig.2 The convergence binocular projection model

在計(jì)算機(jī)中進(jìn)行立體圖像生成時(shí)，創(chuàng)建兩臺(tái)攝像機(jī)，分別代表左眼和右眼，兩臺(tái)攝像機(jī)相距一個(gè)眼距 d。根據(jù)三維圖形學(xué)原理，存在左視口(viewport)、右視口和左平截頭體、右平截頭體的概念，視口是顯示窗口中的一個(gè)區(qū)域，用來(lái)存放三維場(chǎng)景投影后的圖像，左右平截體用來(lái)限定投影區(qū)域，相距一個(gè)眼距d，每個(gè)平截體有近裁剪面、遠(yuǎn)裁剪面，用與攝像機(jī)的距離ln、lf來(lái)表示。投影面也用與攝像機(jī)的距離來(lái)表示，具體用攝像機(jī)的焦距f來(lái)表達(dá)，如圖4所示。在進(jìn)行立體效果調(diào)試時(shí)，對(duì)于某些物體要求出屏效果-負(fù)視差(如圖2中的物體A)，即物體與相機(jī)的距離小于攝像機(jī)的焦距，對(duì)于某些物體要求在屏幕內(nèi)部-正視差(如圖2中的物體C)，即物體與相機(jī)的距離大于攝像機(jī)的焦距，可以調(diào)整攝像機(jī)的焦距來(lái)實(shí)現(xiàn)正視差或負(fù)視差。

圖3 平行雙目投影模型Fig.3 The parallel binocular projection model

圖4 投影模型Fig.4 Projection model

在軟件代碼實(shí)現(xiàn)時(shí)為了簡(jiǎn)化對(duì)多攝像機(jī)的管理，可以只管理一個(gè)攝像機(jī)、一個(gè)視口、一個(gè)平截體，在三維場(chǎng)景渲染生成立體圖像之前，對(duì)攝像機(jī)和平截體的位置左右移動(dòng)d/2的距離，創(chuàng)建兩個(gè)渲染目標(biāo)(render target)，把渲染后的左右眼圖像放在渲染目標(biāo)相對(duì)應(yīng)的兩個(gè)視口中即可。

3.2 虛擬航天員表達(dá)與典型動(dòng)作自動(dòng)演示

為了虛擬航天員能夠隨著用戶人體運(yùn)動(dòng)，同時(shí)滿足人體外形逼真表達(dá)和碰撞檢測(cè)的要求，對(duì)人體采用三層模型表達(dá)，并利用該表達(dá)模型實(shí)現(xiàn)航天員典型動(dòng)作自動(dòng)演示。

3.2.1 人體三層模型

為了滿足虛擬航天員模型的多用途，借鑒文獻(xiàn)[6]的三層模型表達(dá)法把虛擬航天員模型表達(dá)成三層模型，分別為骨骼層、皮膚層和物理模型層。骨骼層描述了人體的骨架結(jié)構(gòu)，各骨骼之間具有父子關(guān)系的層次結(jié)構(gòu)，相鄰骨骼通過(guò)關(guān)節(jié)相連，可以做相對(duì)運(yùn)動(dòng)。通過(guò)改變相鄰骨骼間的夾角、位移，使骨骼轉(zhuǎn)動(dòng)和移動(dòng)，并帶動(dòng)皮膚層一起運(yùn)動(dòng)。皮膚層定義了人體的外觀，皮膚是在骨骼影響下可變形的網(wǎng)格。皮膚上網(wǎng)格的每個(gè)頂點(diǎn)，根據(jù)它所關(guān)聯(lián)骨骼的全局變換矩陣基于骨骼影響權(quán)值(Weight)對(duì)頂點(diǎn)進(jìn)行變換，關(guān)節(jié)處皮膚頂點(diǎn)受到關(guān)節(jié)鄰近的幾塊關(guān)聯(lián)骨骼的影響，影響大小由權(quán)值確定，實(shí)現(xiàn)皮膚隨骨骼的轉(zhuǎn)動(dòng)和移動(dòng)作相應(yīng)的變形。建立人體模型時(shí)在3D Max中不斷調(diào)整各個(gè)頂點(diǎn)的權(quán)值，使得達(dá)到較好的變形效果，每個(gè)頂點(diǎn)的權(quán)值滿足公式(1):

其中，vi是頂點(diǎn)在第i個(gè)關(guān)聯(lián)骨骼子空間的局部坐標(biāo)，Ci是第i個(gè)關(guān)聯(lián)骨骼的全局變換矩陣，wi是第i個(gè)關(guān)聯(lián)骨骼的權(quán)值，它們之和為1。

物理模型描述了人體各個(gè)節(jié)段外輪廓，采用面模型，大小與人體各個(gè)節(jié)段實(shí)際一致，節(jié)段之間具有父子關(guān)系的層次結(jié)構(gòu)，為了獲得較高的計(jì)算速度，其面片數(shù)相對(duì)皮膚層少，并且隨著骨骼各節(jié)段的運(yùn)動(dòng)而運(yùn)動(dòng)。模型分層結(jié)構(gòu)見(jiàn)圖5。

圖5 人體三層模型Fig.5 Three layers model of human body

3.2.2 虛擬航天員骨骼層的表達(dá)

按照人體骨骼結(jié)構(gòu)，人體有66個(gè)運(yùn)動(dòng)骨骼節(jié)段，包括各個(gè)手指、腳趾骨骼細(xì)節(jié)，結(jié)合體態(tài)識(shí)別軟件中的骨架模型，對(duì)虛擬航天員骨骼層簡(jiǎn)化，由人體肢體、軀干和頭部10節(jié)段表達(dá)，如圖6所示，名稱見(jiàn)表1。節(jié)段之間的父子關(guān)系如圖7所示，圖中箭頭從父節(jié)段指向子節(jié)段。

圖6 人體簡(jiǎn)化骨骼模型及坐標(biāo)系定義Fig.6 The simplify skeleton model and coordinate system of body

表1 軀體模型標(biāo)號(hào)項(xiàng)對(duì)應(yīng)體段Table 1 Name of body segments

圖7 人體節(jié)段之間父子關(guān)系Fig.7 The father and son relationship of body segments

3.2.3 典型動(dòng)作自動(dòng)演示

當(dāng)用于航天員典型操作動(dòng)作演示時(shí)，如組合體內(nèi)緊急情況下需要撤離時(shí)，航天員在離開(kāi)組合體之前要執(zhí)行一系列操作，對(duì)組合體相關(guān)設(shè)備進(jìn)行狀態(tài)設(shè)置。為了直觀展示失重狀態(tài)下航天員撤離時(shí)的操作流程，在數(shù)字組合體中采用動(dòng)畫(huà)的方式對(duì)人體和物體進(jìn)行動(dòng)態(tài)展示是一種合適的方法。對(duì)虛擬航天員人體本身采用骨骼動(dòng)畫(huà)，對(duì)熱支持軟管收縮過(guò)程采用頂點(diǎn)動(dòng)畫(huà)。

骨骼動(dòng)畫(huà)[7]是關(guān)節(jié)動(dòng)畫(huà)和關(guān)鍵幀動(dòng)畫(huà)的結(jié)合，基于人體骨骼層和皮膚層。對(duì)每一個(gè)撤離時(shí)操作動(dòng)作，在3DMax中通過(guò)調(diào)整相鄰骨骼間的夾角、位移，設(shè)置連續(xù)關(guān)鍵位置處相應(yīng)的姿態(tài)，根據(jù)皮膚層網(wǎng)格上頂點(diǎn)變形權(quán)值，皮膚層隨著骨骼一起到達(dá)相應(yīng)的連續(xù)關(guān)鍵位置。動(dòng)畫(huà)播放時(shí)，通過(guò)在連續(xù)關(guān)鍵位置之間插值，實(shí)現(xiàn)人體連續(xù)動(dòng)作演示。對(duì)于平移采用線性插值，對(duì)于旋轉(zhuǎn)采用四元數(shù)球面線性插值。插值公式如式(2):

其中，p、q是需要插值的四元數(shù)，t為0到1之間的參數(shù)。

對(duì)熱支持軟管收縮過(guò)程的頂點(diǎn)動(dòng)畫(huà)，在3DMax中連續(xù)調(diào)整軟管收縮過(guò)程中每一關(guān)鍵幀的位置狀態(tài)，并記錄每個(gè)頂點(diǎn)的當(dāng)前位置信息。在動(dòng)畫(huà)播放時(shí)，通過(guò)在相鄰關(guān)鍵幀之間線性插值來(lái)更新網(wǎng)格模型中頂點(diǎn)的位置實(shí)現(xiàn)軟管收縮動(dòng)態(tài)過(guò)程。該動(dòng)畫(huà)過(guò)程，由于頂點(diǎn)位置是直接獲得的，計(jì)算量小，滿足實(shí)時(shí)性的要求。

在程序中分別讀取3DMax創(chuàng)建的人體動(dòng)畫(huà)和軟管動(dòng)畫(huà)信息，根據(jù)用戶操作指令，以操作動(dòng)作為依據(jù)決定播放人體動(dòng)畫(huà)和軟管動(dòng)畫(huà)，或只播放人體動(dòng)畫(huà)，完成各撤離動(dòng)作的動(dòng)態(tài)演示。

3.3 自然人機(jī)交互中人體跟蹤與虛擬航天員運(yùn)動(dòng)驅(qū)動(dòng)

在自然人機(jī)交互過(guò)程中，采用光學(xué)設(shè)備Kinect實(shí)現(xiàn)人體跟蹤，并利用跟蹤獲得的數(shù)據(jù)實(shí)時(shí)驅(qū)動(dòng)虛擬人的運(yùn)動(dòng)，實(shí)現(xiàn)用戶控制虛擬人的運(yùn)動(dòng)。

3.3.1 人體跟蹤

本文選用體感設(shè)備Kinect[8，9]實(shí)現(xiàn)對(duì)人體運(yùn)動(dòng)信息的采集。Kinect可以實(shí)時(shí)地從單一深度圖像中分離出目標(biāo)人體，標(biāo)注出32個(gè)不同的人體部位，確定出20個(gè)人體骨架的空間關(guān)節(jié)點(diǎn)，構(gòu)造出三維人體骨架。如圖8所示。

骨架不僅包含了人體的局部形狀信息，同時(shí)還包含了人體的結(jié)構(gòu)拓?fù)湫畔?。人體四肢長(zhǎng)度是固定的，肢體節(jié)段之間同樣具有父子關(guān)系。當(dāng)人體運(yùn)動(dòng)時(shí)，通過(guò)對(duì)骨架深度圖像的連續(xù)分析，計(jì)算出人體骨架各個(gè)關(guān)節(jié)旋轉(zhuǎn)的角度，再結(jié)合骨架各個(gè)節(jié)段長(zhǎng)度可以計(jì)算出各個(gè)關(guān)節(jié)的位置。

圖8 Kinect人體骨架模型Fig.8 The human body skeleton model of Kinect

3.3.2 虛擬航天員運(yùn)動(dòng)驅(qū)動(dòng)

根據(jù)人體跟蹤骨架模型20個(gè)骨架的位置數(shù)據(jù)，選擇與虛擬人體仿真中骨骼模型相對(duì)應(yīng)的10個(gè)節(jié)段位置，采用下面的正向運(yùn)動(dòng)學(xué)，實(shí)時(shí)計(jì)算骨骼模型各個(gè)節(jié)段的位置和姿態(tài)，實(shí)現(xiàn)虛擬航天員模型的運(yùn)動(dòng)驅(qū)動(dòng)。計(jì)算過(guò)程變換矩陣采用4×4的齊次矩陣T來(lái)表示，T由3×3的旋轉(zhuǎn)變換R和3×1平移變換D構(gòu)成。由末端體坐標(biāo)系i到基坐標(biāo)系0的正向運(yùn)動(dòng)學(xué)變換為式(3):

把計(jì)算出的人體骨架數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳遞給虛擬航天員模型計(jì)算各層模型的運(yùn)動(dòng)，仿真流程如圖9所示。

圖9 虛擬航天員仿真流程Fig.9 Flow chart of virtual astronaut simulation

4 仿真結(jié)果

在一臺(tái)HP Z820圖形工作站上采用VC 2008開(kāi)發(fā)并運(yùn)行程序，機(jī)器具體配置為:至強(qiáng) E5-2680，2.7 GHz，20 MB緩存，Win7 64位專(zhuān)業(yè)版操作系統(tǒng)，顯卡為Nvidia Quadro K5000，內(nèi)存32 G。顯示器為L(zhǎng)G 55英寸偏振立體電視，電視與顯卡之間通過(guò)HDMI-DP視頻線連接。

仿真程序可實(shí)現(xiàn)四種功能:①自動(dòng)漫游功能，即攝像機(jī)沿著一定的路徑動(dòng)態(tài)移動(dòng)，生成漫游動(dòng)態(tài)圖像；②艙載設(shè)備的熟悉與定位功能，采用O-verlay技術(shù)生成導(dǎo)航菜單，通過(guò)點(diǎn)擊菜單，攝像機(jī)自動(dòng)對(duì)準(zhǔn)相應(yīng)的設(shè)備成像，同時(shí)右下角顯示設(shè)備的介紹信息，截圖如圖10所示；③基于體態(tài)識(shí)別的模擬航天員運(yùn)動(dòng)控制功能，采用體態(tài)識(shí)別和人體三層仿真模型實(shí)現(xiàn)人體運(yùn)動(dòng)識(shí)別和運(yùn)動(dòng)控制，虛擬航天員交互控制第三視點(diǎn)圖像及相應(yīng)的第一視點(diǎn)圖像如圖11所示；④緊急撤離時(shí)航天員操作流程演示功能，采用骨骼動(dòng)畫(huà)和頂點(diǎn)動(dòng)畫(huà)實(shí)現(xiàn)緊急撤離時(shí)人體和軟管的動(dòng)畫(huà)，部分截圖如圖12所示。生成的偏振立體圖像如圖13所示。

經(jīng)測(cè)試，三維數(shù)字組合體場(chǎng)景在打開(kāi)立體渲染時(shí)，幀頻率最低41 Hz，最高77 Hz，在關(guān)閉立體渲染時(shí)，幀頻率最低76 Hz，最高440 Hz，都能滿足實(shí)時(shí)性要求。針對(duì)立體顯示效果，邀請(qǐng)各類(lèi)人員對(duì)其立體效果進(jìn)行測(cè)試，不斷調(diào)整調(diào)整參數(shù)。最佳的立體參數(shù)為:眼距 d為65 mm，焦距為2.8 m。

圖10 設(shè)備導(dǎo)航-虛擬儀表Fig.10 Navigation of virtual instrument

圖11 基于體態(tài)識(shí)別的虛擬航天員運(yùn)動(dòng)控制Fig.11 Virtual astronaut motion control based on posture recognition

5 結(jié)論

本文以空間站虛擬現(xiàn)實(shí)訓(xùn)練器為需求，開(kāi)展基于體態(tài)識(shí)別的虛擬訓(xùn)練仿真技術(shù)研究，以某任務(wù)天宮一號(hào)實(shí)驗(yàn)艙與軌道艙的組合體為具體仿真案例，在計(jì)算機(jī)中創(chuàng)建逼真的三維虛擬組合體艙內(nèi)場(chǎng)景和虛擬航天員，采用平行雙目投影模型和偏振立體電視實(shí)現(xiàn)三維場(chǎng)景的立體圖像生成與顯示；采用人體三層模型實(shí)現(xiàn)虛擬航天員的多用途表達(dá)，對(duì)于典型動(dòng)作采用計(jì)算代價(jià)小的骨骼動(dòng)畫(huà)和頂點(diǎn)動(dòng)畫(huà)實(shí)現(xiàn)緊急撤離時(shí)航天員操作過(guò)程三維演示；采用Kinect實(shí)現(xiàn)人體運(yùn)動(dòng)跟蹤和虛擬航天員的運(yùn)動(dòng)控制。形成一套虛擬訓(xùn)練仿真系統(tǒng)，包括自動(dòng)漫游功能、艙載設(shè)備的熟悉與定位功能、基于自然人機(jī)交互的模擬航天員運(yùn)動(dòng)控制功能、緊急撤離時(shí)航天員操作流程演示功能。經(jīng)測(cè)試，該仿真系統(tǒng)三維場(chǎng)景逼真，立體顯示效果好，實(shí)時(shí)性好，人體動(dòng)作跟蹤準(zhǔn)確，緊急撤離動(dòng)作逼真，可以應(yīng)用于空間站任務(wù)航天員訓(xùn)練、工效驗(yàn)證、典型流程演示等。

圖12 緊急撤離Fig.12 Emergency evacuation

圖13 偏振立體圖像Fig.13 Polarized stereo images

（

）

[1]Virtual Reality Laboratory[EB/OL].(2010)[2014].http://www.nasa.gov/centers/johnson/engineering/robotics_simulation/virtual_reality/index.html

[2]Virtual Reality Theatre[EB/OL].(2012)[2015].http://vrt.esrin.esa.int/tiki-index.php？page＝VRT at Work

[3]Charles J G，David J H.Application of Virtual Reality Technology，Including Froce Feedback，for Astronaut Training [C]//International Conference on Artificial Reality and Texlexistence，Japan，1995.143-152.

[4]姚繼權(quán)，李曉豁.計(jì)算機(jī)圖形學(xué)人機(jī)交互中三維拾取方法的研究[J].工程設(shè)計(jì)學(xué)報(bào)，2006，13(2):116-120.YAO Jiquan，LI Xiaohuo.Research on 3-dimension pick-up of human-computer interaction in computer graphics[J].Journal of Engineering Design，2006，13(2):116-120.(in Chinese)

[5]王良燕，張佑生，高敏.基于OGRE的雙目立體顯示研究與實(shí)現(xiàn)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2013，22(5):168-171.WANG Liangyan，ZHANG Yousheng，GAO Min.Research and implementation of binocular stereoscopic display based on OGRE[J].Computer Systems＆Applications，2013，22(5): 168-171.(in Chinese)

[6]安明，劉玉慶，周伯河，等.失重狀態(tài)下旋轉(zhuǎn)陀螺交互操作的仿真研究[J].載人航天，2014，20(3):214-218.AN Ming，LIU Yuqing，ZHOU Bo-He，et al.Study on realtime interactive simulation of rotating top in weightlessness [J].Manned Spaceflight，2014，20(3):214-218.(in Chinese)

[7]倪晨，邱鵬，王峰，等.Kinect體感技術(shù)在人機(jī)交互中的應(yīng)用研究[J].信息技術(shù)與信息化，2013(1):87-90.NI Chen，QIU Peng，WANG Feng，et al.The research and application of Kinect techology in the field of human-computer interaction[J].Information Technology and Informatization，2013(1):87-90.(in Chinese)

[8]劉飛.基于Kinect骨架信息的人體動(dòng)作識(shí)別[D].上海:東華大學(xué)，2014.LIU Fei.Human Action Recognition Based on Kinect Skeleton Information[D].Shang Hai:Dong Hua University，2014.(in Chinese)

[9]袁會(huì)杰.骨骼動(dòng)畫(huà)技術(shù)的研究與實(shí)現(xiàn)[D].成都:電子科技大學(xué)，2010.YUAN Huijie.Research and Implementation of Skeletal Animation technology[D].Cheng Du:University of Electronic Science and Technology of China，2010.(in Chinese)

Research on Simulation Technology of Astronaut Virtual Training Based on Posture Recognition

CHEN Xuewen，CHAO Jiangang，AN Ming，LIN Wanhong，HU Fuchao
(National Key Laboratory of Human Factors Engineering，China Astronaut Research and Training Center，Beijing 100094，China)

Virtual training simulation，as a kind of full digital simulation，can create some special situation that physical or half hardware device is difficult to make.To meet the requirements of astronaut virtual reality trainer in the future space station mission，which can minimize the extra constraint feelings from the traditional virtual reality hardware device，a new astronaut virtual training simulation system based on posture recognition was proposed.It uses the parallel binocular vision principle to generate three-dimensional(3D)stereo image，which can be displayed on polarized 3D stereo TV.The three layers model of human body was adopted to express virtual astronaut，and skeletal animation was used to demo typical human body movement.The Kinect device was applied to track real astronaut body motion to control virtual astronaut body movement.The system is natural during human-computer interaction，which avoided the shackles of wearable virtual reality device for human body moving.It can be applied to astronaut training，ergonomics validation，and typical operation process demonstration in the future mission，etc.

space station；astronaut；virtual training simulation；posture recognition；stereo；Kinect；human simulation

TP391.9

B

1674-5825(2015)03-0217-07

2014-08-01；

2015-04-14

國(guó)家自然科學(xué)基金(81227001)

陳學(xué)文(1978－)，男，碩士，助理研究員，研究方向?yàn)樘摂M現(xiàn)實(shí)及航天員訓(xùn)練仿真。E-mail:chenxuewen2002＠sohu.com