， ,， 承鈿， ， ，

(1.陸軍裝甲兵學(xué)院 信息系 北京 100072； 2.汕頭大學(xué) 工學(xué)院 廣東 汕頭 515063)

0 引言

虛擬維修(virtual maintenance, VM)基于虛擬化手段，為裝備結(jié)構(gòu)認(rèn)知、拆裝訓(xùn)練、維修論證、裝備保障等提供支撐，不僅在裝備的設(shè)計(jì)生產(chǎn)階段同步開展設(shè)備的可維修性實(shí)驗(yàn)，而且能夠在后續(xù)的裝備維修保養(yǎng)中節(jié)約維修訓(xùn)練成本、提高維修訓(xùn)練效率.目前，虛擬維修技術(shù)已經(jīng)在航空航天[1]、國防軍事[2]、裝備研制[3]等諸多行業(yè)得到了廣泛應(yīng)用.隨著虛擬現(xiàn)實(shí)(virtual reality, VR)技術(shù)的發(fā)展，虛擬維修模式正從桌面式虛擬維修向沉浸式虛擬維修方式演化.沉浸式虛擬維修(immersive virtual maintenance, IVM)是以計(jì)算機(jī)技術(shù)和虛擬現(xiàn)實(shí)技術(shù)為依托，在包含數(shù)字樣機(jī)與維修人員三維人體模型的沉浸式虛擬場景中，通過現(xiàn)實(shí)受訓(xùn)對象驅(qū)動(dòng)虛擬人體模型來完成對虛擬裝備的故障診斷、結(jié)構(gòu)拆裝、故障排除等一系列動(dòng)作[4].相比較桌面式虛擬維修，沉浸式虛擬維修極大地提高了沉浸感，但維修操作者無法通過傳統(tǒng)的計(jì)算機(jī)外設(shè)與虛擬環(huán)境進(jìn)行交互，因此必須研究新型的人機(jī)交互模式，通過操作人員的動(dòng)作直接驅(qū)動(dòng)虛擬環(huán)境中的裝備維修.為此，需要解決兩個(gè)關(guān)鍵技術(shù)，即位置追蹤與動(dòng)作的虛實(shí)耦合.HTC VIVE以可靠的沉浸式展示效果以及有效的人機(jī)交互模式，使得其在推出伊始即受到了虛擬維修的重視[5].本文以HTC VIVE為硬件支撐設(shè)備，研究并提出了基于高精度快速位姿估計(jì)(efficient perspective-n-point, EPnP)算法和基于坐標(biāo)變換、骨骼綁定和改進(jìn)型循環(huán)坐標(biāo)下降(cyclic coordinate descent, CCD)算法，為解決沉浸式虛擬維修下人體定位追蹤和動(dòng)作的虛實(shí)耦合等問題提供支撐.

1 基于EPnP算法的跟蹤定位

跟蹤定位技術(shù)就是在現(xiàn)實(shí)世界中的人體關(guān)鍵骨骼部位固定定位器，持續(xù)跟蹤記錄定位器的空間坐標(biāo)信息，達(dá)到捕獲人體關(guān)鍵骨骼部位的位置與姿勢的目的[6].在沉浸式虛擬環(huán)境中，跟蹤定位是實(shí)現(xiàn)沉浸感和交互的關(guān)鍵，為實(shí)現(xiàn)維修動(dòng)作的虛擬耦合提供坐標(biāo)數(shù)據(jù).跟蹤定位過程如圖1所示，在需要跟蹤定位的物體表面固定n個(gè)特征點(diǎn)(ν0,ν1,…，νn).當(dāng)物體在空間中運(yùn)動(dòng)時(shí)，用[R(w),t]表示其運(yùn)動(dòng)過程，w表示角度的變化，t表示位移的變化.

在虛擬維修過程中，維修人員的交互動(dòng)作會(huì)使特征點(diǎn)之間的相對位置產(chǎn)生變化，因此PnP求解得到的結(jié)果穩(wěn)定性差，易收到噪聲.本文采用PnP的改進(jìn)型算法EPnP來計(jì)算虛擬維修人員的位姿信息[6]. PnP問題是指，在虛擬環(huán)境中，假設(shè)被跟蹤的人體關(guān)鍵骨骼部位有n個(gè)特征點(diǎn)(ν0,ν1,…，νn)，并已知它們的相對位置信息，n個(gè)特征點(diǎn)在透視平面中的投影點(diǎn)為(c1,c2,…,cn)，從投影點(diǎn)求解物體相對于相機(jī)的位置和姿態(tài)信息[7]，如圖2所示.這樣，當(dāng)我們分別求得多個(gè)不同拍攝時(shí)刻下物體相對于相機(jī)的位置和姿態(tài)，就可以求出這段時(shí)間內(nèi)物體相對于相機(jī)的平移和旋轉(zhuǎn).

圖1 虛擬環(huán)境中的追蹤定位Fig.1 Tracking in the virtual environment

圖2 PnP問題中相機(jī)、對象與參考面Fig.2 Camera,object and reference surface in PnP problem

求解x的過程中，確定了βi也就確定了合適的線性組合.根據(jù)參考點(diǎn)位置的不同，矩陣MTM的零空間維數(shù)N可能為1～4維.求解β的策略是控制點(diǎn)在坐標(biāo)系Fc和Fw中，兩兩距離相等.而x的分量坐標(biāo)分別表示不同的參考點(diǎn)在坐標(biāo)系中的坐標(biāo)，共有6個(gè)約束.

計(jì)算不同維數(shù)的零空間的誤差，選擇誤差數(shù)最小維數(shù)對應(yīng)的β，得到x，恢復(fù)控制點(diǎn)在局部坐標(biāo)系中的坐標(biāo)，并根據(jù)質(zhì)心坐標(biāo)系得到參考點(diǎn)的局部坐標(biāo)系的坐標(biāo).求兩個(gè)坐標(biāo)系的位姿變換R與t的步驟如下.

2 維修動(dòng)作虛實(shí)耦合技術(shù)

沉浸式虛擬維修是由人體模型主導(dǎo)，是人體模型和虛擬裝備動(dòng)態(tài)交互的過程[8].當(dāng)維修人員被追蹤定位之后，其關(guān)鍵骨骼節(jié)點(diǎn)的位姿數(shù)據(jù)傳遞給虛擬人體模型，驅(qū)動(dòng)人體模型進(jìn)行相應(yīng)的維修動(dòng)作.虛擬動(dòng)作耦合就是維修人員驅(qū)動(dòng)人體模型的過程，即將現(xiàn)實(shí)世界中的動(dòng)作映射到虛擬環(huán)境中人體模型上.耦合過程分為3個(gè)部分：坐標(biāo)系變換、骨骼綁定和動(dòng)作的實(shí)時(shí)驅(qū)動(dòng).

圖3 三維空間中坐標(biāo)對應(yīng)關(guān)系Fig.3 Correspondence between coordinates in 3D space

2.1 坐標(biāo)系變換

坐標(biāo)系變換就是將維修人員所在局部坐標(biāo)系中的點(diǎn)映射到虛擬環(huán)境世界坐標(biāo)系中的過程.維修人員和虛擬環(huán)境處在兩個(gè)不同的坐標(biāo)系，如圖3所示.虛擬環(huán)境的坐標(biāo)系為世界坐標(biāo)系，坐標(biāo)系中的點(diǎn)用(x,y,z)表示.虛擬人員的坐標(biāo)系為局部坐標(biāo)系，坐標(biāo)系中的點(diǎn)用(ux,uy,uz)表示.以局部坐標(biāo)系的原點(diǎn)為原點(diǎn)，坐標(biāo)軸平行于世界坐標(biāo)系坐標(biāo)軸建立慣性坐標(biāo)系(X′,Y′,Z′).局部坐標(biāo)系變換到世界坐標(biāo)系分為兩步：1) 旋轉(zhuǎn).局部坐標(biāo)系3個(gè)坐標(biāo)軸旋轉(zhuǎn)角度分別為α,β,γ,方向與慣性坐標(biāo)系方向重合；2) 平移. 將局部坐標(biāo)系坐標(biāo)原點(diǎn)平移到世界坐標(biāo)系原點(diǎn)完成變換.坐標(biāo)系的變換公式為Pglbal=Plocal·W. 其中：Pglbal為虛擬環(huán)境世界坐標(biāo)系中的點(diǎn)；Plocal為維修人員局部坐標(biāo)系中的點(diǎn)；W為轉(zhuǎn)置矩陣，W=RT，R表示按照單位坐標(biāo)向量構(gòu)成的旋轉(zhuǎn)矩陣，T表示平移矩陣.為了方便計(jì)算，公式中坐標(biāo)與向量均用四元數(shù)表示.

2.2 骨骼綁定

骨骼綁定就是將維修人員的關(guān)鍵骨骼數(shù)據(jù)與虛擬人體模型的關(guān)鍵骨骼數(shù)據(jù)進(jìn)行一一對應(yīng)綁定的過程[9].虛擬人體模型是沉浸式虛擬維修環(huán)境中基本的交互實(shí)體，坐標(biāo)系轉(zhuǎn)換之后，維修人員需要和虛擬中的人體模型進(jìn)行骨骼綁定，才能驅(qū)動(dòng)虛擬中的人進(jìn)行交互.在維修參與者的手、腕、頭、腰、腿、腳踝等關(guān)鍵骨骼部位固定跟蹤點(diǎn)，跟蹤點(diǎn)的坐標(biāo)代表了現(xiàn)實(shí)中人體的骨骼位置信息.這些坐標(biāo)信息將分別與虛擬人體模型的手、腕、頭、腰、腿、腳踝等關(guān)鍵骨骼部位進(jìn)行對應(yīng)綁定.

2.3 動(dòng)作的實(shí)時(shí)驅(qū)動(dòng)

動(dòng)作的實(shí)時(shí)驅(qū)動(dòng)就是保持虛擬環(huán)境中的人體模型的動(dòng)作和現(xiàn)實(shí)世界中虛擬維修人員的動(dòng)作保持一致的過程.在骨骼綁定階段，只是得到了虛擬人體模型關(guān)鍵骨骼部位的位姿信息，而人體模型其他骨骼的位姿信息需要通過計(jì)算得到.本文采用反向運(yùn)動(dòng)學(xué)的方式，根據(jù)關(guān)鍵骨骼節(jié)點(diǎn)坐標(biāo)數(shù)據(jù)實(shí)時(shí)計(jì)算人體模型其他部位骨骼的位置信息，完成現(xiàn)實(shí)中的人對虛擬人體模型的實(shí)時(shí)驅(qū)動(dòng).反向運(yùn)動(dòng)學(xué)方式首先獲得人體模型手、足和頭部的末端骨骼位置信息，根據(jù)這些信息反向計(jì)算出人體模型的膝蓋、腿部、手肘、肩部和胸部等骨骼節(jié)點(diǎn)的位姿信息.反向計(jì)算常用CCD算法實(shí)現(xiàn)，即沿著末端骨骼節(jié)點(diǎn)的運(yùn)動(dòng)鏈，逆向依次調(diào)整每個(gè)關(guān)節(jié)的旋轉(zhuǎn)角度，逐漸逼近最終的目標(biāo).CCD算法有一個(gè)根節(jié)點(diǎn)，通常是以人體模型的胸部骨骼節(jié)點(diǎn)作為根節(jié)點(diǎn).CCD算法便于在鏈中加入新的節(jié)點(diǎn)，但是由于每次計(jì)算都需要回溯到根節(jié)點(diǎn)，計(jì)算量大.在沉浸式維修過程中，大部分維修動(dòng)作不需要走動(dòng)，只需要手、腕、肩、頭部等關(guān)節(jié)的適度運(yùn)動(dòng)即可，而不必每次計(jì)算到根節(jié)點(diǎn).因此，本文提出了改進(jìn)型CCD算法來進(jìn)行反向運(yùn)動(dòng)學(xué)計(jì)算.

圖4 腿部關(guān)節(jié)求解過程Fig.4 Leg joint solution process

改進(jìn)型CCD算法就是以肩關(guān)節(jié)和臀部關(guān)節(jié)為次根節(jié)點(diǎn)，方向計(jì)算只計(jì)算到次根節(jié)點(diǎn)，而不需要計(jì)算到根節(jié)點(diǎn).虛擬維修人員的交互動(dòng)作幅度比較小，或者交互距離比較近時(shí)，采用改進(jìn)型CCD算法能顯著減少回溯計(jì)算的工作量.以腿部關(guān)節(jié)求解過程說明改進(jìn)型CCD算法的工作原理.為簡化計(jì)算，計(jì)算轉(zhuǎn)為在二維平面上進(jìn)行.當(dāng)腳踝和臀部中心的坐標(biāo)點(diǎn)確定之后，根據(jù)改進(jìn)型CCD算法快速計(jì)算出腿部關(guān)節(jié)角度.如圖4所示，假設(shè)維修過程中人的腳踝骨骼節(jié)點(diǎn)坐標(biāo)為P2(xc,yc)，盆骨骨骼節(jié)點(diǎn)坐標(biāo)為P1(xb,yb)，膝關(guān)節(jié)坐標(biāo)P(x,y)，大腿長度Llap，小腿長度為Lcalf，盆骨彎曲度為θhip，膝蓋彎曲度為θknee，腳踝彎曲度θank.大腿長度Llap和小腿長度Lcalf的求解公式為

綜合以上改進(jìn)型CCD算法如下.

1) 獲取人體模型主要骨骼節(jié)點(diǎn)P1、P2、P的位置信息，以及各個(gè)關(guān)節(jié)點(diǎn)的初值與骨骼的長度信息；目標(biāo)位置D；設(shè)置允許誤差ε，循環(huán)變量i(i=0,1,…,Jroot);

2) 計(jì)算末端骨骼節(jié)點(diǎn)的位置E，如D-E≤ε，則算法結(jié)束；

3) 從節(jié)點(diǎn)Ji向末端骨骼節(jié)點(diǎn)E與目標(biāo)點(diǎn)D分別做向量VE,VD；

4) 計(jì)算兩個(gè)向量的夾角θ(VE,VD)以及旋轉(zhuǎn)軸，使得Ji下的子鏈繞軸旋轉(zhuǎn)角度θ(VE,VD)調(diào)整；

5) 按步驟2)～4)計(jì)算各關(guān)節(jié)旋轉(zhuǎn)角度θ0,…,θi;根據(jù)約束條件修正不滿足要求的旋轉(zhuǎn)角；

6) 按θ0,…,θi控制各個(gè)關(guān)節(jié)的運(yùn)動(dòng)；

7) 若循環(huán)變量i=i+1,i

3 原型系統(tǒng)實(shí)現(xiàn)與測試

原型系統(tǒng)以某雷達(dá)設(shè)備為例，研究并構(gòu)建該設(shè)備的沉浸虛擬維修訓(xùn)練環(huán)境，通過耦合HTC VIVE硬件設(shè)備，實(shí)現(xiàn)沉浸式虛擬維修能力.原型系統(tǒng)框架如圖5所示.系統(tǒng)基于Unity 3D引擎開發(fā)，語言為C#，平臺(tái)為64位Windows 7操作系統(tǒng)，支撐設(shè)備為HTC VIVE，數(shù)據(jù)庫為Sql.運(yùn)行效果圖如圖6所示.通過實(shí)際操作，系統(tǒng)運(yùn)行良好.虛擬維修人員進(jìn)行故障維修時(shí)，能對維修人員的動(dòng)作實(shí)時(shí)定位追蹤，并且維修人員與虛擬人體模型動(dòng)作保持一致，基本實(shí)現(xiàn)了沉浸式虛擬維修要求.

圖5 某型雷達(dá)的沉浸式虛擬維修系統(tǒng)Fig.5 An immersive virtual maintenance system for a type of radar

圖6 沉浸式虛擬維修系統(tǒng)Fig.6 Immersive virtual maintenance system

4 小結(jié)

追蹤定位和虛實(shí)動(dòng)作耦合是沉浸式虛擬維修人機(jī)交互中兩個(gè)關(guān)鍵技術(shù).針對追蹤定位，本文提出了基于EPnP特征點(diǎn)定位算法，用來計(jì)算當(dāng)維修操作人員身體表面特征點(diǎn)位置相對不固定時(shí)的坐標(biāo)信息.經(jīng)過多次測試試驗(yàn)，在EPnP算法下，維修人員的定位精度滿足了沉浸式虛擬維修追蹤的要求.針對虛實(shí)動(dòng)作的耦合，首先，維修人員自身局部坐標(biāo)系變換到虛擬環(huán)境世界坐標(biāo)系；其次，維修人員關(guān)鍵骨骼點(diǎn)與虛擬人體模型關(guān)鍵骨骼點(diǎn)匹配；最后，提出了改進(jìn)型的CCD算法驅(qū)動(dòng)虛擬人體模型完成維修動(dòng)作.經(jīng)過多次測試試驗(yàn)，虛實(shí)動(dòng)作耦合的時(shí)間延遲基本滿足虛擬維修的要求.

本文基于某型雷達(dá)設(shè)備，利用HTC VIVE構(gòu)建沉浸式虛擬維修系統(tǒng)，維修人員的追蹤定位和維修動(dòng)作的虛實(shí)進(jìn)行耦合，增加了虛擬維修的沉浸感和交互性，降低了人的眩暈感，強(qiáng)化了虛擬維修訓(xùn)練的效果.