摘 要：文章首先分析了虛擬現(xiàn)實(shí)人機(jī)交互中的要點(diǎn)部分，總結(jié)為視線選擇與虛擬場(chǎng)景構(gòu)建，并對(duì)其中的構(gòu)成要點(diǎn)技術(shù)加以論述。在此基礎(chǔ)上重點(diǎn)探討實(shí)現(xiàn)虛擬現(xiàn)實(shí)人機(jī)交互環(huán)境下多特征手勢(shì)識(shí)別的追蹤算法，結(jié)合實(shí)際案例整理出識(shí)別后的多特征手勢(shì)虛擬圖，幫助人們更直觀地了解虛擬現(xiàn)實(shí)技術(shù)下手勢(shì)識(shí)別效果。

關(guān)鍵詞：虛擬現(xiàn)實(shí)；人機(jī)交互；多特征手勢(shì)識(shí)別；追蹤算法

中圖分類號(hào)：TP301 文獻(xiàn)標(biāo)識(shí)碼：A

A Study of the Multi-Feature Gesture Recognition Tracking

Algorithm in VR-Based Human-Computer Interaction

CHEN Chuntie

（Beijing ZANVR Technology CO.，LTD，Beijing 100085，China）

Abstract：This paper firstly analyzes the main points of virtual reality （VR） human-computer interaction，summarizes the construction of visual selection and virtual scene，and discusses some of the key techniques.On this basis，the paper focuses on the implementation the multi-feature gesture recognition tracking algorithm in VR human-computer interaction.Combined with the actual case，the recognized virtual images of the multi-feature gesture are sorted out，helping people more intuitively understand the gesture recognition effect with VR technology.

Keywords：virtual reality；human-computer interaction；multi-feature gesture；tracking algorithm

1 引言（Introduction）

利用虛擬現(xiàn)實(shí)人機(jī)交互軟件來(lái)進(jìn)行多特征手勢(shì)識(shí)別，視線選擇直接影響到最終的手勢(shì)識(shí)別功能實(shí)現(xiàn)。選擇正確的視線手勢(shì)識(shí)別才能順利進(jìn)行，從而滿足虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)中的識(shí)別追蹤需求[1]。手勢(shì)識(shí)別追蹤屬于動(dòng)態(tài)信息捕捉，在信息準(zhǔn)確程度和更新時(shí)間上均要達(dá)到規(guī)定標(biāo)準(zhǔn)，實(shí)現(xiàn)選擇首先需要確定控制點(diǎn)，也就是交換過(guò)程中的視線中心，通過(guò)中心確定來(lái)進(jìn)行視覺方向判斷，使用者在觀看交互點(diǎn)過(guò)程中，實(shí)現(xiàn)視覺上的轉(zhuǎn)換，并將多特征手勢(shì)識(shí)別到計(jì)算機(jī)軟件中[2]。在多特征手勢(shì)識(shí)別追蹤算法中，視線選擇也可以理解為是手勢(shì)捕捉點(diǎn)的控制，將各個(gè)手勢(shì)基本定位點(diǎn)進(jìn)行捕捉，更精準(zhǔn)地將多特征動(dòng)態(tài)手勢(shì)識(shí)別人機(jī)交互系統(tǒng)中。

2 虛擬現(xiàn)實(shí)人機(jī)交互中的要點(diǎn)部分（The key points

of virtual reality human-computer interaction）

虛擬現(xiàn)實(shí)場(chǎng)景構(gòu)建需要借助陀螺儀來(lái)檢驗(yàn)效果，對(duì)多特征手勢(shì)動(dòng)態(tài)進(jìn)行準(zhǔn)確捕捉觀察。無(wú)論動(dòng)態(tài)手勢(shì)做出怎樣的變化，在陀螺儀定位效果下均能準(zhǔn)確地定位數(shù)據(jù)捕捉點(diǎn)變化[3]。虛擬環(huán)境下攝像機(jī)變化方向需要與實(shí)際多特征手勢(shì)保持一致，靜止?fàn)顟B(tài)向動(dòng)態(tài)轉(zhuǎn)變過(guò)程，需要在追蹤算法幫助下完成。多特征手勢(shì)通過(guò)數(shù)據(jù)捕捉來(lái)構(gòu)建虛擬場(chǎng)景，需要針對(duì)運(yùn)動(dòng)過(guò)程中存在的抖動(dòng)誤差進(jìn)行處理，避免這部分特征也進(jìn)入到最終的追蹤捕捉中[4]。借助陀螺儀進(jìn)行虛擬環(huán)境的視野觀看，不論使用者朝向哪個(gè)方向，虛擬環(huán)境中的攝像機(jī)就會(huì)跟著進(jìn)行朝向，其中最為關(guān)鍵的開發(fā)要點(diǎn)就是控制抖動(dòng)性。由于人朝向同一個(gè)方向靜止觀察，并不會(huì)一動(dòng)不動(dòng)，微小的移動(dòng)可能會(huì)對(duì)相機(jī)產(chǎn)生很多的抖動(dòng)。實(shí)驗(yàn)證明，通過(guò)一系列算法可以顯著降低抖動(dòng)性。移動(dòng)過(guò)程中速度越快，所產(chǎn)生的抖動(dòng)也越難以控制。虛擬場(chǎng)景構(gòu)建過(guò)程中，首先需要進(jìn)行抖動(dòng)降低，將其控制在需要的范圍內(nèi)，數(shù)據(jù)捕捉過(guò)程中通過(guò)這種方法來(lái)構(gòu)建相互聯(lián)系，從而達(dá)到最佳控制管理效果。掌握人機(jī)交互中的要點(diǎn)部分，多特征手勢(shì)追蹤才能進(jìn)入到更準(zhǔn)確的范圍中[5]。

3 多特征手勢(shì)識(shí)別追蹤算法（Multi-feature gesture

recognition tracking algorithm）

3.1 手勢(shì)識(shí)別特征提取

（1）HOG特征的提取

該種特征提取算法中，采用圖像描述來(lái)進(jìn)行現(xiàn)場(chǎng)構(gòu)建。面對(duì)多特征手勢(shì)，在提取中首先需要確定外觀，對(duì)外部輪廓進(jìn)行特征提取，描繪出與手勢(shì)動(dòng)作相一致的虛擬場(chǎng)景，并通過(guò)這種虛擬場(chǎng)景構(gòu)建來(lái)繼續(xù)增強(qiáng)多特征手勢(shì)描繪準(zhǔn)確程度[6]。該種特征提取算法經(jīng)常被應(yīng)用在安全識(shí)別中。多特征手勢(shì)變化較多，應(yīng)用該種追蹤方法后最終的控制效率也會(huì)有明顯增強(qiáng)。在多特征手勢(shì)追蹤中應(yīng)用HOG提取方法，會(huì)將手勢(shì)圖像細(xì)分成為多個(gè)單元，每個(gè)單元中都有不同的特征，從而描繪出手勢(shì)變化中的邊緣圖像。并將這些細(xì)分的單元格統(tǒng)一劃分到同一個(gè)區(qū)域中，這樣提取的梯度邊緣圖也聯(lián)通在一起。多特征手勢(shì)的HOG特征生成流程見圖1。圖1中的block單元為人為回合產(chǎn)生的區(qū)域，其中涵蓋的單元內(nèi)容可以根據(jù)現(xiàn)實(shí)需求來(lái)完善，從而實(shí)現(xiàn)手勢(shì)動(dòng)作最為精準(zhǔn)的控制。

（2）動(dòng)態(tài)手勢(shì)圖像分區(qū)處理

應(yīng)用HOG特征區(qū)域方法后，手勢(shì)變化的分區(qū)處理也有突破性的創(chuàng)新。根據(jù)不同情況下的手勢(shì)變化，將其分為5個(gè)區(qū)域，如圖2所示。將手掌所處于的中心區(qū)域劃分為0區(qū)域，沿中心區(qū)域按照逆時(shí)針?lè)较蚍謩e劃分為1—4個(gè)區(qū)域。這種手勢(shì)變化與傳統(tǒng)的手勢(shì)變化相比較，減少了4個(gè)分區(qū)模式下的重疊問(wèn)題，將手勢(shì)動(dòng)作更好地展現(xiàn)出來(lái)。不同區(qū)域中的手勢(shì)動(dòng)作在捕捉中，要將誤差控制保持一致。重疊問(wèn)題解決后，手勢(shì)動(dòng)作的細(xì)節(jié)部分也得到展現(xiàn)，可以將所捕捉的動(dòng)作實(shí)時(shí)體現(xiàn)在虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)中，從而實(shí)現(xiàn)手勢(shì)處理更高效的運(yùn)轉(zhuǎn)和使用。手勢(shì)捕捉任務(wù)結(jié)束后可以進(jìn)入到接下來(lái)的算法融合中。通過(guò)算法之間的相互配合來(lái)進(jìn)行現(xiàn)場(chǎng)控制，通過(guò)算法之間的轉(zhuǎn)換來(lái)將手勢(shì)動(dòng)作具體變化展現(xiàn)出來(lái)。endprint

（3）HOG特征提取追蹤算法

采用高斯函數(shù)運(yùn)算方法來(lái)進(jìn)行現(xiàn)場(chǎng)計(jì)算構(gòu)建，對(duì)手勢(shì)邊緣所捕捉到的灰階圖像進(jìn)行圓滑處理，計(jì)算公式如下：

其中表示所捕捉的動(dòng)態(tài)點(diǎn)在坐標(biāo)中的具位置，確定所捕捉多特征手勢(shì)的動(dòng)態(tài)識(shí)別點(diǎn)建立子集，在自己的交互處理中提升最終的捕捉效果。邊緣部分的梯度值也會(huì)受到手勢(shì)動(dòng)態(tài)捕捉過(guò)程中的像素影響，手勢(shì)動(dòng)態(tài)捕捉過(guò)程中邊緣抖動(dòng)影響也更加嚴(yán)重。對(duì)于這種情況，在具體的像素捕捉控制過(guò)程中可以設(shè)計(jì)出坐標(biāo)取值子集的范圍。系統(tǒng)在運(yùn)算過(guò)程中根據(jù)參數(shù)結(jié)果進(jìn)行自動(dòng)誤差補(bǔ)償，數(shù)據(jù)經(jīng)過(guò)調(diào)整后所捕捉到的手勢(shì)邊緣也更圓潤(rùn)，手勢(shì)動(dòng)態(tài)捕捉結(jié)果與實(shí)際情況之間也更貼合。

3.2 HOG手勢(shì)特征融合

實(shí)現(xiàn)手勢(shì)特征融合需要建立在加權(quán)矩陣基礎(chǔ)上，通過(guò)系統(tǒng)內(nèi)部的特征默認(rèn)融合，來(lái)進(jìn)行交互處理。將不同手勢(shì)變化中的標(biāo)志點(diǎn)進(jìn)行跟蹤捕捉，特征融合過(guò)程中僅針對(duì)手勢(shì)動(dòng)作變化來(lái)進(jìn)行，因此在初級(jí)處理階段會(huì)對(duì)圖像進(jìn)行灰階處理，避免圖像色彩對(duì)特征融合進(jìn)行造成影響。特征融合采用向量與矩陣之間的相互融合，手勢(shì)圖像特征向量集合為，全局特征則用向量表示。不同特征所受到的影響度有很大不同，如果直接將其應(yīng)用在特征融合中，不同影響之間相互作用會(huì)造成最終的手勢(shì)識(shí)別誤差。在特征融合前會(huì)進(jìn)行向量之一的歸一化，確定子集在相互影響模式中能夠保持同等向量的影響，從而通過(guò)這種方法來(lái)幫助提升最終的虛擬現(xiàn)實(shí)人機(jī)交互算法提取，確定需要的數(shù)據(jù)子集范圍。融合前捕捉的多特征手勢(shì)虛擬圖如圖3所示。特征融合建立在手勢(shì)特征提取和子集向量基礎(chǔ)上，并通過(guò)這種方法來(lái)進(jìn)行現(xiàn)場(chǎng)特征提取構(gòu)建，從而達(dá)到最佳控制配合效果。

3.3 SVW模型算法應(yīng)用

（1）核函數(shù)選擇

將所捕捉到的手勢(shì)變化信息，建立在高維空間基礎(chǔ)上，體現(xiàn)出手動(dòng)捕捉信息的非線性變化，從而實(shí)現(xiàn)核函數(shù)對(duì)現(xiàn)場(chǎng)特征的全面構(gòu)建和體現(xiàn)。不同特征環(huán)境下函數(shù)運(yùn)算所針對(duì)的參數(shù)條件，均通過(guò)不同函數(shù)模型配合來(lái)高效實(shí)現(xiàn)，核函數(shù)運(yùn)算公式如下：

核函數(shù)運(yùn)算需要從不同方向來(lái)進(jìn)行，以上公式中的運(yùn)算對(duì)象僅為非線性變化的描述。多特征手勢(shì)識(shí)別是針對(duì)動(dòng)態(tài)性的動(dòng)作來(lái)進(jìn)行，將其轉(zhuǎn)化進(jìn)入到虛擬現(xiàn)實(shí)交互系統(tǒng)中，則只能針對(duì)系統(tǒng)內(nèi)部的變化特征來(lái)進(jìn)行，捕捉各個(gè)點(diǎn)變化，盡可能地縮短點(diǎn)與點(diǎn)之間的距離，并通過(guò)這種構(gòu)建方法來(lái)繼續(xù)強(qiáng)化所進(jìn)行的現(xiàn)場(chǎng)捕捉設(shè)計(jì)。點(diǎn)之間流程程度提升后所描繪出的手勢(shì)動(dòng)作也更逼真，從而達(dá)到多特征手勢(shì)識(shí)別效果。應(yīng)用核函數(shù)運(yùn)算公式來(lái)實(shí)現(xiàn)對(duì)多特征手勢(shì)的追蹤，還應(yīng)該在其中體現(xiàn)出不同方案的控制效果，以及現(xiàn)場(chǎng)需要繼續(xù)深入完善的內(nèi)容，從根源上解決誤差所帶來(lái)的影響問(wèn)題。

（2）SVM應(yīng)用后多分類器問(wèn)題解決

應(yīng)用SVM算法涉及多種不同的核函數(shù)運(yùn)算模式，應(yīng)用多分類器后存在分類函數(shù)之間的轉(zhuǎn)變問(wèn)題。解決此類問(wèn)題需要在追蹤算法應(yīng)用上進(jìn)行繼續(xù)深入完善，將不同類型的算法進(jìn)行歸類總結(jié)，并按照涵蓋的數(shù)據(jù)進(jìn)行分類。分別用不用的未知數(shù)來(lái)代表向量和子集，進(jìn)行兩者之間關(guān)系的轉(zhuǎn)變。建立L（y，f（x，a））=0或者1。當(dāng)y=f（x，a）時(shí)，最終的結(jié)果為0；當(dāng)y≠f（x，a）時(shí)，所計(jì)算的結(jié)果也與實(shí)際情況存在差異性。在該運(yùn)算方法中對(duì)最終的分類進(jìn)行了嚴(yán)格的區(qū)分，在結(jié)果上也與實(shí)際情況能夠保持一致。將分類方法結(jié)合這一公式進(jìn)行運(yùn)算，最終的運(yùn)算結(jié)果才能更符合實(shí)際情況，避免受分類結(jié)果影響導(dǎo)致最終的多特征手勢(shì)動(dòng)態(tài)捕捉出現(xiàn)錯(cuò)誤。運(yùn)算過(guò)程中的風(fēng)險(xiǎn)規(guī)避也體現(xiàn)在這一方面。通過(guò)現(xiàn)場(chǎng)的各項(xiàng)參數(shù)構(gòu)建，對(duì)于多特征手勢(shì)動(dòng)態(tài)中所能夠體現(xiàn)出的問(wèn)題，充分與設(shè)計(jì)方案相互結(jié)合，體現(xiàn)出虛擬現(xiàn)實(shí)技術(shù)中各項(xiàng)控制點(diǎn)之間的相互結(jié)合。算法中所體現(xiàn)出的多特征手勢(shì)識(shí)別追蹤，還要考慮數(shù)據(jù)傳輸受環(huán)境影響可能會(huì)產(chǎn)生的誤差，在交互過(guò)程中需要將數(shù)據(jù)與虛擬環(huán)境相互結(jié)合使用，并排除數(shù)據(jù)傳輸中產(chǎn)生的誤差。

（3）SVM多分類算法應(yīng)用

應(yīng)用多分類算法來(lái)進(jìn)行判別函數(shù)分類，根據(jù)所得到的分類結(jié)果來(lái)重新組成不同的單元格格式，算法分類同樣要基于不同的數(shù)據(jù)子集基礎(chǔ)上。根據(jù)各個(gè)系統(tǒng)之間的相互控制來(lái)共同完善。多分類算法應(yīng)用需要建立在手勢(shì)分區(qū)基礎(chǔ)上，對(duì)不同區(qū)域的手勢(shì)動(dòng)態(tài)進(jìn)行捕捉，基于現(xiàn)實(shí)手勢(shì)基礎(chǔ)上來(lái)構(gòu)建出虛擬模擬手勢(shì)，實(shí)現(xiàn)虛擬人機(jī)交互，將多特征手勢(shì)變化整合到其中，多分類算法可以同時(shí)面對(duì)多項(xiàng)數(shù)據(jù)處理任務(wù)，實(shí)現(xiàn)數(shù)據(jù)構(gòu)建應(yīng)用與現(xiàn)場(chǎng)控制方案之間更好的結(jié)合。根據(jù)所建立的核函數(shù)運(yùn)算模型來(lái)進(jìn)行二次劃分，根據(jù)追蹤算法需求來(lái)進(jìn)行手勢(shì)邊緣識(shí)別處理，進(jìn)入到更適合的基礎(chǔ)方向中。

4 基于時(shí)空軌跡的動(dòng)態(tài)手勢(shì)識(shí)別（Dynamic gesture

recognition based on space-time trajectory）

4.1 時(shí)空軌跡的動(dòng)態(tài)手勢(shì)特征

建立在時(shí)空軌跡基礎(chǔ)上的手勢(shì)特征提取，首先要確定其位置，觀察在時(shí)空軌跡中手勢(shì)所處位置，繼而進(jìn)行關(guān)鍵部分的放大處理，方便對(duì)手勢(shì)變化進(jìn)行捕捉與識(shí)別。對(duì)于位置軌跡的描述同樣需要借助向量來(lái)進(jìn)行，確定手勢(shì)變化過(guò)程中的角度。建立如下公式：?？梢詫⑹謩?shì)變化過(guò)程中的不同角度坐標(biāo)帶入到其中，通過(guò)運(yùn)算得出更詳細(xì)的結(jié)果與數(shù)值，從而進(jìn)行時(shí)空軌跡下的動(dòng)態(tài)手勢(shì)特征捕捉。同時(shí)進(jìn)入到虛擬現(xiàn)實(shí)人機(jī)交互模式下的畫面中可能會(huì)存在干擾因素，通過(guò)角度計(jì)算來(lái)確定位置的目的也是將這部分干擾數(shù)據(jù)篩選掉，實(shí)現(xiàn)更準(zhǔn)確的多特征手勢(shì)識(shí)別追蹤。

4.2 HMM動(dòng)態(tài)手勢(shì)軌跡識(shí)別

軌跡識(shí)別是手勢(shì)認(rèn)證的重要基礎(chǔ)。當(dāng)需要識(shí)別的手勢(shì)處于動(dòng)態(tài)模式下，則需要將整個(gè)運(yùn)動(dòng)過(guò)程中的軌跡詳細(xì)描述在虛擬現(xiàn)實(shí)人機(jī)交互系統(tǒng)中。通過(guò)軌跡描述來(lái)精準(zhǔn)地反映出手勢(shì)運(yùn)動(dòng)過(guò)程，對(duì)邊緣部分進(jìn)行精細(xì)化處理。HMM技術(shù)是通過(guò)建立統(tǒng)計(jì)模型來(lái)確定軌跡運(yùn)動(dòng)中經(jīng)過(guò)的各個(gè)坐標(biāo)點(diǎn)，再通過(guò)建立子集來(lái)將運(yùn)動(dòng)軌跡還原到計(jì)算機(jī)虛擬系統(tǒng)中，顯示出最終經(jīng)過(guò)灰階處理的影響。應(yīng)用HMM技術(shù)所實(shí)現(xiàn)的軌跡識(shí)別具體程序構(gòu)成如圖4所示，識(shí)別期間會(huì)進(jìn)行相關(guān)序列的建立，并通過(guò)系統(tǒng)內(nèi)部隨機(jī)生成來(lái)形成手勢(shì)動(dòng)作邊緣區(qū)域，達(dá)到最佳仿真效果。動(dòng)態(tài)手勢(shì)邊緣部分的虛化處理要高于靜態(tài)手勢(shì)，這樣在仿真效果上才能保持近似。

5 結(jié)論（Conclusion）

綜上所述，虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)技術(shù)，它利用計(jì)算機(jī)生成一種模擬環(huán)境，是一種多源信息融合交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真，可借助傳感頭盔、數(shù)據(jù)手套等專業(yè)設(shè)備，讓用戶進(jìn)入虛擬空間，實(shí)時(shí)感知和操作虛擬世界中的各種對(duì)象，從而通過(guò)視覺、觸覺和聽覺等獲得身臨其境的真實(shí)感受。虛擬現(xiàn)實(shí)技術(shù)是仿真技術(shù)的一個(gè)重要方向，是仿真技術(shù)與計(jì)算機(jī)圖形學(xué)、人機(jī)接口技術(shù)、多媒體技術(shù)、傳感技術(shù)和網(wǎng)絡(luò)技術(shù)等多種技術(shù)的融合，是一門富有挑戰(zhàn)性的交叉技術(shù)。

參考文獻(xiàn)（References）

[1] 孟祥軍，趙文華，馬志慶，等.醫(yī)學(xué)移動(dòng)軟件中虛擬現(xiàn)實(shí)人機(jī)交互方案的研究[J].中國(guó)醫(yī)學(xué)裝備，2017，14（8）：112-114.

[2] 王瑜.Virtools虛擬環(huán)境中人物角色的相關(guān)設(shè)計(jì)方法[J].信息技術(shù)，2017（1）：56-58.

[3] 彭露茜，姚加飛.利用軌跡模板匹配方法的實(shí)時(shí)動(dòng)態(tài)手勢(shì)識(shí)別[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2017，17（8）：17-20.

[4] 張寧，劉迎春，沈智鵬，等.虛擬現(xiàn)實(shí)技術(shù)在專門用途英語(yǔ)教學(xué)中的應(yīng)用研究綜述[J].計(jì)算機(jī)科學(xué)，2017，44（s1）：43-47.

[5] 王命延，胡茗，楊文姬.機(jī)器人跟蹤手勢(shì)姿態(tài)圖像運(yùn)動(dòng)準(zhǔn)確性仿真[J].計(jì)算機(jī)仿真，2017，34（8）：346-350.

[6] 姚恒，袁敏，秦川，等.改進(jìn)線性外推法預(yù)估器的手勢(shì)跟蹤[J].應(yīng)用科學(xué)學(xué)報(bào)，2017，35（1）：81-89.

作者簡(jiǎn)介：

陳春鐵（1982-），男，本科，VR研究員.研究領(lǐng)域：虛擬現(xiàn)實(shí)，人工智能.endprint