摘要：本文論述了虛擬現(xiàn)實訓(xùn)練系統(tǒng)中基于手勢的人機(jī)交互，結(jié)合使用數(shù)據(jù)手套和位置跟蹤設(shè)備，確定現(xiàn)實世界中手的姿勢和位置，驅(qū)動虛擬手實施交互操作。組合神經(jīng)網(wǎng)絡(luò)和邏輯，分別識別靜態(tài)手勢和動態(tài)命令，建立針對性的操作命令。

關(guān)鍵詞：虛擬現(xiàn)實;訓(xùn)練系統(tǒng);基于手勢;人機(jī)交互

本文研究了虛擬現(xiàn)實訓(xùn)練系統(tǒng)中基于手勢的人機(jī)交互，將交互的主要過程表現(xiàn)出來。利用位置跟蹤數(shù)據(jù)，驅(qū)動虛擬手在虛擬空間進(jìn)行運(yùn)動，利用神經(jīng)網(wǎng)絡(luò)確定具體的手勢，受訓(xùn)者獲取操作命令之后，利用人機(jī)交互技術(shù)，可以順利操縱虛擬訓(xùn)練環(huán)境，可以獲得良好的訓(xùn)練。

1.虛擬現(xiàn)實訓(xùn)練系統(tǒng)中基于手勢的人機(jī)交互和配置

虛擬現(xiàn)實訓(xùn)練系統(tǒng)中基于手勢的人機(jī)交互，利用人的手勢發(fā)送計算機(jī)指令，可以實現(xiàn)虛擬環(huán)境交互。設(shè)置位置跟蹤器，利用發(fā)射裝置實時跟東接收器的位置變化，接收器和發(fā)射裝置要相距8英尺。利用立體頭盔顯示器，其中包括一套光學(xué)系統(tǒng)和兩個液晶顯示器，交替切換計算機(jī)的圖像，并且向雙眼傳遞，立體現(xiàn)實虛擬世界。利用機(jī)械方法，首先在頭部固定頭盔顯示器，其次固定置跟蹤器的接收器，確定頭部位置是否發(fā)生變化，以此為基礎(chǔ)更改虛擬場景，提高虛擬場景和實際場景的一致性。

數(shù)據(jù)手套當(dāng)中包括18傳感器，不同的傳感器復(fù)雜不同的部位，每個傳感器都發(fā)揮著重要的作用。通過18個傳感器可以確定手的姿勢，在數(shù)據(jù)手套上設(shè)置跟蹤器，負(fù)責(zé)測量手的空間位置。

2.虛擬現(xiàn)實訓(xùn)練系統(tǒng)中基于手勢的人機(jī)交互的過程和技術(shù)

2.1交互過程

在虛擬現(xiàn)實訓(xùn)練系統(tǒng)當(dāng)中，利用基于基于手勢的人機(jī)交互需要有效落實相關(guān)步驟，首先要求受訓(xùn)者將手套固定好，根據(jù)不同的受訓(xùn)者特點(diǎn)，進(jìn)一步調(diào)整手套的相關(guān)數(shù)據(jù)，標(biāo)準(zhǔn)化處理數(shù)據(jù)手段討的傳感器，這樣有利于精確控制虛擬手。虛擬手工作過程中，需要發(fā)揮手套傳感器的作用，操作模型的手指和手掌等部位驅(qū)動虛擬手運(yùn)動，利用位置跟蹤器，確定虛擬空間中虛擬手的位置，這樣可以協(xié)調(diào)受訓(xùn)者現(xiàn)實手和虛擬動作。通過手勢識別，可以確定受訓(xùn)者的手勢，這樣有利于明確受訓(xùn)者的操作目的，建立操作指令。當(dāng)正確的識別手勢之后，可以操作虛擬物體和部件，在虛擬環(huán)境當(dāng)中設(shè)置三維手模型，結(jié)合虛擬操作訓(xùn)練要求定義手勢，確定手勢命令。

2.2建模

實施虛擬訓(xùn)練，需要建設(shè)虛擬空間的三維虛擬手模型。在建模過程中，可以分解手為手掌和手指兩個部分，再分解手指為指段，其中大拇指為兩段，其他手指為三段。每個部位利用不同的幾何體表示，如果需要改變具體手勢，就要改變數(shù)據(jù)手套的手指和關(guān)節(jié)，完成運(yùn)動動作。要注意的是，虛擬手套手指段的操作并不是隨意的，需要始終圍繞關(guān)節(jié)點(diǎn)運(yùn)動，因此需要約束各個手指的空間。結(jié)合運(yùn)動約束條件，建立數(shù)據(jù)手套指段的坐標(biāo)系，需要在一定程度上限制指段的運(yùn)動，控制器自由度，這樣可以保障整體運(yùn)動效果。

2.3校正數(shù)據(jù)手套

在出廠之前需要校準(zhǔn)數(shù)據(jù)手套，在校準(zhǔn)過程中，需要確定數(shù)據(jù)手套的動態(tài)范圍，計算傳感器的動態(tài)范圍和最大值和最小值。不同傳感器的動態(tài)范圍都是不同的，再加上每個受訓(xùn)者的手也是不同的，因此需要轉(zhuǎn)化傳感器的原始數(shù)據(jù)，確定各個手指的彎曲角度和相鄰手指的張幅。受訓(xùn)者戴上數(shù)據(jù)手套之后，需要調(diào)整手套的數(shù)據(jù)，提高傳感器輸出值的準(zhǔn)確性，控制虛擬手的屈伸和張開等動作。在校正數(shù)據(jù)手套的過程中，根據(jù)不同的受訓(xùn)者，確定不同的手勢運(yùn)動范圍，具體到手指的彎曲角度，實現(xiàn)傳感器動態(tài)范圍的規(guī)格化，提升虛擬手驅(qū)動過程的精確性。

2.4驅(qū)動虛擬手

驅(qū)動虛擬手，主要是利用手部位置跟蹤器和各個傳感器，操作虛擬手運(yùn)動，在運(yùn)動過程中，虛擬手姿勢和用戶手姿勢要始終保持一致。通過控制數(shù)據(jù)手套的傳感器，實現(xiàn)虛擬手各個手指的屈伸和手掌傾斜，利用位置跟蹤數(shù)據(jù)控制虛擬手的空間位置。結(jié)合手模型的結(jié)構(gòu)和約束條件，手指運(yùn)動都是圍繞手掌進(jìn)行運(yùn)動的，通過手掌帶動其他手指進(jìn)行運(yùn)動，如果手掌不動，利用手掌的平移和旋轉(zhuǎn)，手指也隨隨之發(fā)生運(yùn)動。結(jié)合數(shù)據(jù)手套各個傳感器的數(shù)據(jù)，可以實時改變收支的去審核手掌彎曲等，保證虛擬手姿勢和訓(xùn)練人員的姿勢保持一致性。

虛擬場景主要是利用六自由度，利用位置跟蹤器可以確定實體的六自由度位置，在數(shù)據(jù)手套上固定位置跟蹤器的接收器，確定訓(xùn)練人員手的六自由度空間位置，在虛擬空間中映射此位置，這樣有利于靈活改變虛擬手的位置，如果訓(xùn)練人員位置發(fā)生改變，那么虛擬手也會隨之發(fā)生改變。

要想識別手勢，需要轉(zhuǎn)變空間手勢為計算機(jī)執(zhí)行，這樣有利于確定用戶的手勢，確定用戶手勢意圖，建立針對性的操作命令。受訓(xùn)者戴上數(shù)據(jù)手套之后，完成相應(yīng)的動作，數(shù)據(jù)手套的傳感器可以傳送不同的數(shù)據(jù)，計算機(jī)通過數(shù)據(jù)數(shù)據(jù)映射，確定手勢。

2.5交互事件的研究

在以往的交互中，參與性不強(qiáng)，通過虛擬現(xiàn)實技術(shù)在通過交互探索方案的構(gòu)建，可更好的選擇場景設(shè)備進(jìn)行交互，以保證交互檢驗的合理性，全面提升交互時間處理的有效性，各系統(tǒng)交互事件的項目研究提供參考。通常狀況下，在交互事件項目確定中，具體的檢測方法包括：第一，人員作業(yè)設(shè)備的交互事件。通過接觸物體操作，應(yīng)該保證動作以及實際情況的適應(yīng)性，展現(xiàn)各個設(shè)備部件以及交互的核心價值。第二，在操作人員抓取物體交互事件的監(jiān)測中，應(yīng)該通過物體添加throwable腳本進(jìn)行數(shù)據(jù)的選擇。第三，在腳本迫使Unity強(qiáng)制增加的狀況下，應(yīng)該保證各個執(zhí)行腳本組件的科學(xué)性，避免編譯錯誤現(xiàn)象的發(fā)生。

例如，在數(shù)據(jù)編譯中，編譯過程如下：

[Require Component（typeof（Interactable））]

[Require Component （typeof（Rigidbody）]

[Require Component （typeof（Velocity Estimator））

3.結(jié)束語

在虛擬操作當(dāng)中，動態(tài)手勢占據(jù)不可代替的地位，但是當(dāng)前動態(tài)手勢技術(shù)還不夠完善，還無法準(zhǔn)別識別復(fù)雜的動態(tài)手勢，通過本文論述虛擬現(xiàn)實訓(xùn)練系統(tǒng)中基于手勢的人機(jī)交互，對于相關(guān)研究提供理論基礎(chǔ)，在今后發(fā)展過程中，需要加強(qiáng)研究，提高基于手勢的人機(jī)交互技術(shù)的發(fā)展水平。

參考文獻(xiàn)：

[1]朱柳梅，于佳佳，李青.康復(fù)訓(xùn)練虛擬現(xiàn)實系統(tǒng)在乳腺癌患者術(shù)后康復(fù)鍛煉中的應(yīng)用[J].齊魯護(hù)理雜志，2019，25（18）：99-102.

[2]楊杏萍，陳卓銘，高照.基于守門員虛擬現(xiàn)實游戲的腦卒中后上肢運(yùn)動訓(xùn)練系統(tǒng)的應(yīng)用設(shè)計[J].康復(fù)學(xué)報，2019，29（04）：61-66+78.

[3]李力，唐昊霞.基于虛擬現(xiàn)實技術(shù)的產(chǎn)鉗操作模擬訓(xùn)練系統(tǒng)的研究和設(shè)計[J].科技與創(chuàng)新，2019（07）：146-148.

作者簡介：

方浩（1976-），男，本科， 工程師，主要從事電力信息化管理及配網(wǎng)自動化管理工作。

（貴州電網(wǎng)有限責(zé)任公司貴陽供電局，貴州 貴陽 550000）