龍 年，劉智惠

(湖北工業(yè)大學工程技術(shù)學院，湖北 武漢 430000)

1 引言

目前，人機交互技術(shù)已得到全面發(fā)展，但是仍存在一些技術(shù)方面問題未得到有效解決。傳統(tǒng)人機交互技術(shù)主要通過鍵盤等機械化設備完成。隨著智能傳感和人機交互技術(shù)的日益成熟，使其被廣泛應用于視頻以及語言信息交換中，但是部分人機交互只能通過感知技術(shù)完成，這樣會導致用戶體驗感下降，無法高精度實現(xiàn)人機交互。

為更好解決上述問題，相關(guān)專家給出了一些較好的研究成果，例如張凱樂等人通過文本對話和體感交互兩種技術(shù)實現(xiàn)用戶情緒調(diào)節(jié)，同時還通過融入情緒因素的Sep 2 Sep模型完成人機交互。張興旺等人分析總結(jié)南海海圖可視化的人機交互技術(shù)理論，構(gòu)建了一種可視化人機交互模型和體系結(jié)構(gòu)，同時針對相應的應用模式進行分析和研究。但是以上傳統(tǒng)方法忽略了對多體感特征的融合，無法高精度識別和跟蹤目標，導致虛擬手型逼真度偏低。

為解決傳統(tǒng)方法的弊端，結(jié)合多體感融合技術(shù)，提出一種基于多體感融合的虛擬運動目標人機交互方法。仿真結(jié)果表明，所提方法能夠獲取逼近的虛擬手型，同時還能精準跟蹤和識別目標，獲取更加滿意的人機交互結(jié)果。

2 基于多體感融合的虛擬運動目標人機交互

2.1 虛擬運動目標識別和跟蹤

采用Kinect跟蹤識別虛擬運動目標時，需優(yōu)先解決目標識別問題，但是由于Kinect并不具備識別功能，因此需要借助顏色直方圖進行目標識別；同時Kinect也無法直接對人體進行骨骼跟蹤，骨骼數(shù)據(jù)是在深度圖像的基礎上經(jīng)過去噪以及分割等相關(guān)技術(shù)獲取的。其中，目標識別和跟蹤主要包括虛擬目標的身份識別和目標人員的位置跟蹤，具體的操作步驟如圖1所示。

圖1 虛擬運動目標識別和跟蹤流程圖

在實際工作的過程中，會同時出現(xiàn)多個虛擬運動目標，為了獲取更好的識別結(jié)果，以下主要通過基于圖像信息的人員識別方法進行分析研究，采用Kinect對研究區(qū)域內(nèi)的彩色圖像進行拍攝，同時通過顏色直方圖匹配結(jié)果精準識別研究區(qū)域內(nèi)的虛擬目標。其中，顏色直方圖主要用來描述各個色彩在整個圖像中所占的百分比。顏色直方圖匹配對應的計算式為

(1)

卡方匹配和相交匹配對應的計算公式為

(2)

式中，

d

(

H

，

H

)代表卡方；

d

代表相交。

通過式(1)和式(2)可知，相關(guān)和相交匹配算法的計算結(jié)果取值越大，則說明直方圖匹配程度越高，其中完全匹配值為1；卡方匹配算法的計算結(jié)果取值越小，也可以證明直方圖的匹配程度越高，完全匹配時取值為0。

為剔除圖像中含有的全部噪聲，采用中值濾波方法進行去噪處理。其中，中值濾波公式為

(3)

式中，

f

(

x

，

y

)代表濾波輸出值；

S

代表圖像中全部的像素點數(shù)量；

g

(

x

，

y

)代表像素的灰度值。

繪制虛擬目標的結(jié)構(gòu)圖像，需要優(yōu)先將虛擬運動目標在深度圖像中分離出來，以下主要使用基于用戶索引號的目標檢測和背景分割方法，具體的操作流程如圖2所示。

圖2 虛擬運動目標檢測和背景分割操作流程

1)優(yōu)先利用Kinect獲取各個研究場景的深度圖像；

2)通過深度圖像提取像素點的深度值和用戶索引編號。

3)通過步驟2)獲取的索引編號標記虛擬運動目標。

4)二值化處理采集圖像，同時設定研究區(qū)域內(nèi)的像素取值為255，剩余節(jié)點的像素取值均設定為0，進而將目標從背景中分離出來。

在進行虛擬運動識別前期，需要明確虛擬目標運動的起點和結(jié)束點。其中虛擬運動目標的起點和結(jié)束點的主要判定依據(jù)為手心球半徑，通過SDK即可獲取手心球半徑，同時設定閾值的取值為30 mm。當手心半球半徑高于閾值時，則說明目標的手掌處于張開狀態(tài)；反之，則處于閉合狀態(tài)。如果手心球半徑從低于30 mm逐漸增加到30 mm，則說明該點起點，當Leap Motion再次捕捉到閾值小于30 mm，則停止識別。

虛擬運動目標識別和跟蹤定位的實現(xiàn)就是在已有的目標輪廓圖像中準確識別出各個結(jié)構(gòu)，同時確定關(guān)節(jié)點的具體坐標。上述操作過程主要是通過機器學習技術(shù)完成的。優(yōu)先訓練決策樹樣本，獲取基于決策樹的分類模型，利用機器學習對深度圖像像素點的特征值分類和評估，進而獲取對應的部位結(jié)構(gòu)。為有效消除虛擬運動目標自身與外部因素對數(shù)據(jù)噪聲的影響，本研究主要通過Kalman濾波算法對數(shù)據(jù)得到最優(yōu)值和測量值進行迭代消除，有效濾除數(shù)據(jù)中的噪聲。

Kalman濾波算法是在時間的動態(tài)系統(tǒng)上完成濾波操作的，因此需要在算法中加入離散控制系統(tǒng)，計算公式如式(4)所示

x

+1=

F

+1

x

+

B

+1

u

+1

(4)

式中，

x

+1代表在

k

+1時刻系統(tǒng)的運行狀態(tài)；

x

代表在

k

時刻系統(tǒng)的運行狀態(tài)；

F

+1代表作用在

x

上的變換矩陣；

B

+1代表系統(tǒng)的控制參數(shù)；

u

+1代表控制矩陣。在

k

+1時刻，系統(tǒng)中的測量值需要滿足以下條件

Z

+1=

H

+1

x

+1+

v

+1

(5)

式中，

H

+1代表在

x

+1時刻的狀態(tài)投射到測量空間的測量矩陣；

v

+1代表測量噪聲。通過式(4)能夠推導出在

k

+1時刻的狀態(tài)，具體計算式為

x

(

k

+1|

k

)=

F

+1

x

(

k

|

k

)+

B

+1

u

(

k

+1)

(6)

式中，

x

(

k

+1|

k

)代表利用系統(tǒng)在

k

時刻的狀態(tài)值預測

k

+1時刻的最優(yōu)值；

x

(

k

|

k

)代表系統(tǒng)在

k

時刻的最優(yōu)值；

u

(

k

+1)代表在

k

+1時刻系統(tǒng)的測量值，設定

u

(

k

+1)的取值為0，則式(6)能夠簡化為

x

(

k

+1|

k

)=

F

+1

x

(

k

|

k

)

(7)

在Kalman濾波預測階段，主要采用leap SDK獲取對下一時間段的位置和位姿信息進行預測。設定在

k

時刻，虛擬運動目標的中心坐標為

p

，結(jié)合運動定律能夠獲取以下形式的計算式

(8)

式中，

v

代表虛擬運動目標的運行速度；

a

代表加速度；

p

+1代表在時間

t

時刻的坐標位置，

s

代表虛擬目標運動變化規(guī)律，則有

(9)

根據(jù)計算獲取在

k

+1時刻的預測值，其中

k

+1時刻的測量值是通過傳感器得到的，則在

k

+1時刻的最優(yōu)值為

x

(

k

+1|

k

+1)=

x

(

k

+1|

k

)+

g

(

k

+1)

Z

(

k

+1-

h

(

k

+1|

k

))

(10)

基于上述分析，通過深度圖像提取虛擬運動目標結(jié)構(gòu)信息，融合全部提取的結(jié)構(gòu)信息，跟蹤識別人機交互目標。

2.2 基于多體感融合的虛擬運動目標人機交互

虛擬運動目標位姿和機械臂末端的轉(zhuǎn)換是實現(xiàn)人機交互的重要環(huán)節(jié)，轉(zhuǎn)換的主要目的為確保目標和機械臂兩者能夠更好地在笛卡爾空間進行映射，同時兩者之間存在密切關(guān)聯(lián)。由于虛擬運動目標的機體結(jié)構(gòu)和感知系統(tǒng)具有一定的局限性，如果操作員的位置保持不變，在運動空間

S

內(nèi)的任意一點均能夠和目標進行關(guān)聯(lián)。

為了更好實現(xiàn)人機交互，在控制機械臂執(zhí)行任務的過程中，需要將虛擬運動目標和機械臂末端的運動方向和速度保持一致。其中，兩者之間的空間映射能夠定義為

(11)

上式中，

S

和

S

代表位姿矩陣；

k

代表映射比例矩陣，則有

(12)

式中，

S

代表在

k

時刻的位姿變化；

S

-1代表在

k

-1時刻的位姿變化；Δ

S

，-1代表

k

-1時刻到

k

時刻的位姿變化情況。不同的映射比例矩陣

k

會造成虛擬運動目標和運動空間之間的映射不同，形成不一樣的映射結(jié)果。為了更好實現(xiàn)研究目標和機械臂末端兩者之間的映射，需要結(jié)合實際需求和相關(guān)約束條件進行映射比例矩陣設計。由于在研究區(qū)域內(nèi)各個虛擬運動目標是獨立的，則

k

有

(13)

式中，

ξ

代表線性參數(shù)。由于操作人員在進行機器人人機交互的過程中，慣性測量單元會影響目標的姿態(tài)變換。為了更好解決上述問題，設定

ξ

、

ξ

和

ξ

三者的取值均小于1。同時慣性測量單元存在噪聲，為了避免對人機交互結(jié)果產(chǎn)生影響，以下主要通過靜態(tài)閾值過濾進行濾波處理，具體的計算式為

(14)

式中，

δ

和

δ

代表機械手臂自然轉(zhuǎn)動最小值和最大值。

在上述分析的基礎上，全面分析阻尼理論對數(shù)據(jù)穩(wěn)定性的影響，根據(jù)機器人和虛擬運動目標兩者之間的結(jié)構(gòu)特征，組建兩者間的笛卡爾映射關(guān)系，有效實現(xiàn)虛擬運動目標人機交互。

3 仿真研究

為驗證所提基于多體感融合的虛擬運動目標人機交互方法的有效性，分別從三個方面進行測試分析，具體實驗操作過程如下所示：

1)虛擬手勢測試

為了驗證所提方法的應用有效性，選取虛擬手作為測試對象。優(yōu)先測試手部關(guān)節(jié)旋轉(zhuǎn)的正確性，其中真實測試對象如圖3所示，獲取的實驗結(jié)果如圖4所示。

圖3 測試對象

圖4 虛擬手勢仿真結(jié)果

分析圖4的實驗結(jié)果可知，獲取的虛擬手勢仿真結(jié)果和真實結(jié)果更加接近，同時整個手型的變化也更加自然，同時滿足基本變化規(guī)律，全面證實了所提方法的優(yōu)越性。

2)交互動作識別性能測試

為了測試用戶對各個類型手臂動作的識別性能，實驗選取20名學生參與測試，要求全部參與者做7個不同的動作各10次，共計總樣本數(shù)量1400次。以下詳細給出所提方法的準確識別次數(shù)和識別率變化情況，具體實驗結(jié)果如表1所示。

表1 交互動作識別結(jié)果測試

分析表1中的實驗數(shù)據(jù)可知，所提方法對于各個類型的交互動作都具有較高的識別率，主要是因為所提方法在實際研究的過程中，對虛擬運動目標進行跟蹤識別，全面增強了交互動作識別結(jié)果的準確性。

3)標記跟蹤能力

為了驗證所提方法的標記跟蹤能力，重點分析標記尺寸和循環(huán)有效范圍兩者之間的關(guān)系，具體實驗結(jié)果如圖5所示。

圖5 循環(huán)有效范圍和標記尺寸兩者之間的關(guān)系分析

分析圖5中的實驗數(shù)據(jù)可知，隨著標記尺寸的持續(xù)增加，循環(huán)有效范圍也逐漸增加，更加充分證明了所提方法的有效性。

4 結(jié)束語

人機交互一直是機器人研究領(lǐng)域的熱點話題，體感傳感器的出現(xiàn)有效改變了傳統(tǒng)人機交互模式。為了使人機交互更加自然和直接，結(jié)合多體感融合技術(shù)，提出一種基于多體感融合的虛擬運動目標人機交互方法。仿真結(jié)果表明，所提方法能夠獲取更真實的虛擬手型，同時還能夠提升目標跟蹤和識別結(jié)果的準確性，更好地實現(xiàn)人機交互。

雖然現(xiàn)階段所提方法取得了一些顯著的研究成果，但是由于受到時間因素的限制，導致所提方法仍然存在一定的不足，后續(xù)將重點針對以下幾方面的內(nèi)容展開研究：

1)目前手勢設計還不夠豐富，后續(xù)可以加入旋轉(zhuǎn)手勢，以獲取更多的無縫銜接效果。

2)后續(xù)可以將虛擬角色替換為更加可愛的形象，全面激發(fā)小孩游戲的趣味性。

3)在濾波算法的基礎上，進一步提升人機交互算法的穩(wěn)定性和可靠性。

4)可在所提的人機交互方法中加入移動互聯(lián)網(wǎng)技術(shù)，同時開展人機交互的新模式，例如用戶可以利用網(wǎng)頁完成機器人控制等。

5)由于所提方法受到硬件的限制，當大部分關(guān)鍵點重合在一起時，獲取的識別結(jié)果并不理想。為了更好地解決上述問題，可以優(yōu)化交互邊緣，為用戶制定相應的規(guī)則，促使整體性能得到進一步提升。