馬潔

摘? ?要：文章結(jié)合陀螺儀（GYRO）、加速度計(jì)（ACC）、彎曲可變電阻三者收集到的手勢(shì)動(dòng)作信息，提出一種融合多傳感器信息的手勢(shì)識(shí)別方法，以提高訓(xùn)練及識(shí)別的速度。首先執(zhí)行運(yùn)動(dòng)窗口檢測(cè)，然后平滑濾波，將手勢(shì)加速信號(hào)預(yù)處理為幀，最后構(gòu)建離散隱馬爾可夫模型以實(shí)現(xiàn)手勢(shì)識(shí)別。

關(guān)鍵詞：手勢(shì)識(shí)別;隱馬爾可夫;多傳感器融合

1? ? 國(guó)內(nèi)外研究發(fā)展?fàn)顩r

手語是一種相對(duì)穩(wěn)定的表達(dá)系統(tǒng)，由符號(hào)、手勢(shì)、表情和手勢(shì)補(bǔ)充。手勢(shì)語言源自象形語言，對(duì)應(yīng)人類手勢(shì)中的對(duì)象或行為。手語是日常生活中常用的交流語言，為了確保日常生活的實(shí)用性，本系統(tǒng)主要設(shè)計(jì)用于手語。

一般來說，手語識(shí)別系統(tǒng)可以通過視覺或數(shù)據(jù)采集手套得到的數(shù)據(jù)來作為輸入。與視覺手勢(shì)結(jié)合的人機(jī)交互界面正成為計(jì)算機(jī)與人機(jī)交互領(lǐng)域的熱點(diǎn)[1]。然而，對(duì)視頻手勢(shì)，尤其是復(fù)雜的動(dòng)態(tài)手勢(shì)識(shí)別問題的分析和理解仍然亟待解決。

本文的研究對(duì)象是具有時(shí)空并發(fā)性的手語，其具有時(shí)間不確定性和空間不確定性。此外，考慮到每個(gè)手指的變化（例如手指的彎曲和伸展、手指之間的距離的變化等），應(yīng)使用數(shù)據(jù)手套作為輸入設(shè)備。

從識(shí)別技術(shù)的角度來看，以前的手語識(shí)別系統(tǒng)主要使用神經(jīng)網(wǎng)絡(luò)和隱馬爾可夫模型（Hidden Markov Model，HMM）。神經(jīng)網(wǎng)絡(luò)方法由于處理時(shí)間序列的能力較弱，目前被廣泛用于靜態(tài)手勢(shì)識(shí)別。即便是HMM簡(jiǎn)單架構(gòu)，也可以很好地描述手語信號(hào)的時(shí)空變化[2]，因而在動(dòng)態(tài)手勢(shì)識(shí)別領(lǐng)域占有重要地位。Liang等[3]、Starner等[4]、Vogler等[5]研究的描述的系統(tǒng)正是融合了HMM的識(shí)別技能。然而，針對(duì)在連續(xù)HMM中計(jì)算狀態(tài)概率密度時(shí)需要估計(jì)的參數(shù)數(shù)量很大而造成的訓(xùn)練和識(shí)別速度慢的問題，提出了一種手勢(shì)識(shí)別方法，該方法將陀螺儀（Gyroscope，GYRO）、加速度計(jì)（Accelerometer，ACC）、彎曲可變電阻三者收集到的手勢(shì)動(dòng)作信息結(jié)合成了多傳感器信息，從而改善了訓(xùn)練效果，識(shí)別速度大為提高。

2? ? 系統(tǒng)模型（算法模型）

在連續(xù)手勢(shì)序列中，檢測(cè)到上一個(gè)手勢(shì)的終點(diǎn)到下一個(gè)手勢(shì)的起點(diǎn)之間，手的過渡通常被認(rèn)為是連續(xù)手勢(shì)識(shí)別中最重要的困難之一。針對(duì)這一問題，本研究采用多流HMMs。HMMs是一種適合非平穩(wěn)隨機(jī)序列的學(xué)習(xí)模型，其具有概率統(tǒng)計(jì)特征。此模型有3個(gè)基本問題要解決：

（1）概率計(jì)算問題，一般采用前向（Forward）與后向（Back Forward）算法。

（2）學(xué)習(xí)問題，通常采用Baum-Welch算法，也就是最大期望算法（Expectation-Maximization Algorithm，EM）。

（3）解碼問題，其實(shí)現(xiàn)通常與維特比算法有關(guān)。隱馬爾可夫模型λ可以用3個(gè)元素表示：λ=（A，B，π）。

其中，A代表狀態(tài)轉(zhuǎn)移概率矩陣，B代表觀察概率矩陣，并且π代表初始狀態(tài)概率向量。HMM的優(yōu)點(diǎn)是算法成熟、效率高且易于訓(xùn)練，具有很強(qiáng)的建模功能，尤其在強(qiáng)大的時(shí)間序列方面，比如可以很好地處理單個(gè)時(shí)間序列特征向量。

本研究提出的方法信號(hào)更為復(fù)雜，包含基本的手形和運(yùn)動(dòng)軌跡信息，使用多流HMM對(duì)手勢(shì)進(jìn)行訓(xùn)練和分類。

假設(shè)表示待識(shí)別手勢(shì)的觀察序列O由N個(gè)觀察數(shù)據(jù)流組成，即：O={On|n=1，2，...，N}。

然后，每個(gè)手勢(shì)類別模型λ由與N個(gè)觀察數(shù)據(jù)流相關(guān)的子模型λn組成，即λ={λn|n=1，2，...，N}。

假設(shè)每個(gè)數(shù)據(jù)流彼此獨(dú)立，對(duì)每個(gè)數(shù)據(jù)流進(jìn)行建模。對(duì)于手勢(shì)模型λ，觀察序列O，其似然計(jì)算如下：

P（O|λ）=P（On|λn）υn? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

以降低計(jì)算復(fù)雜度的目的簡(jiǎn)化上式，將式（1）轉(zhuǎn)化如下：

lgP（O|λ）=υnlgP（On|λn）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

其中，υn是每個(gè)數(shù)據(jù)流的流權(quán)重，并且滿足υn=1，0≤υn≤1，表示每個(gè)數(shù)據(jù)流與最終識(shí)別結(jié)果的比例。具有最高可能性的模型類別是未知?jiǎng)討B(tài)手勢(shì)動(dòng)作特征序列的識(shí)別結(jié)果[6]。

ACC特征提取三軸加速度計(jì)可在執(zhí)行動(dòng)態(tài)手勢(shì)時(shí)測(cè)量3個(gè)軸（x，y，z）上的速度變化率。變化率的序列值正是運(yùn)動(dòng)軌跡的直接描述。為了減小相同手勢(shì)之間的幅度和速度差異的影響，需要對(duì)ACC信號(hào)進(jìn)行歸一化和下采樣，以簡(jiǎn)化識(shí)別過程并降低識(shí)別難度。對(duì)收集到的ACC信號(hào)執(zhí)行以下兩步處理：首先，將活動(dòng)段3中導(dǎo)聯(lián)ACC信號(hào)的幅度絕對(duì)值歸一化，將其最大最小比例轉(zhuǎn)換到-1和1之間，以消除對(duì)此信號(hào)在幅值方面因執(zhí)行動(dòng)作的速度而造成的影響;其次，對(duì)歸一化的數(shù)據(jù)在時(shí)間軸上平均采樣N個(gè)數(shù)據(jù)點(diǎn)，研究發(fā)現(xiàn)，當(dāng)N=64時(shí)，可以獲得良好的結(jié)果。

3? ? 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)方案和數(shù)據(jù)收集靜態(tài)手勢(shì)僅涉及手指運(yùn)動(dòng)，這是使靜態(tài)手指配置和手臂保持在特定位置的靜態(tài)手勢(shì)。在執(zhí)行動(dòng)態(tài)手勢(shì)的過程中，手指的構(gòu)造取決于手勢(shì)的運(yùn)動(dòng)軌跡、手掌的方向以及運(yùn)動(dòng)前后的手指構(gòu)造的變化。為了驗(yàn)證所提方法的有效性，本研究定義了一個(gè)包含10個(gè)動(dòng)態(tài)手勢(shì)的完整集合。這些手勢(shì)由5個(gè)平面軌跡、6個(gè)靜態(tài)手形和兩個(gè)手勢(shì)方向組成。動(dòng)態(tài)手勢(shì)的平面軌跡包括簡(jiǎn)單的向上（UP）、水平移動(dòng)（TRS）、支腿（CRK）和彎曲臂（STR）運(yùn)動(dòng)以及更復(fù)雜的波形（WAV）運(yùn)動(dòng)。用于動(dòng)態(tài)手勢(shì)的靜態(tài)手形包括拳頭形（H）、確定手形（O）、拳頭形（F）、四指手形（S）和食指、大拇指手形（E）和伸拇指手形（T）。手勢(shì)方向包括手掌向上（PD）和手掌向下（PD）。

本次試驗(yàn)需要收集并研究分析30 000個(gè)動(dòng)態(tài)的手勢(shì)樣本。將研究對(duì)象放置在自然環(huán)境中，讓其自然站立，然后嚴(yán)格按照本研究定義的30個(gè)手勢(shì)在一周的時(shí)間里收集5次執(zhí)行數(shù)據(jù)信息。為了驗(yàn)證多傳感器如何在手勢(shì)識(shí)別中如何發(fā)揮作用，首先就是要對(duì)單個(gè)的傳感器進(jìn)行手勢(shì)識(shí)別試驗(yàn)，之后再進(jìn)行多手勢(shì)識(shí)別的組合試驗(yàn)。

設(shè)計(jì)實(shí)驗(yàn)以研究3種傳感器信號(hào)融合的效果，以證實(shí)其在手勢(shì)識(shí)別中的作用，實(shí)驗(yàn)將受試者分成兩組，一組作為訓(xùn)練樣本，一組作為測(cè)試樣本。在實(shí)驗(yàn)中，根據(jù)不同的實(shí)驗(yàn)階段分為不同的測(cè)試內(nèi)容，在訓(xùn)練階段隨機(jī)從每個(gè)訓(xùn)練動(dòng)作中挑選30個(gè)樣本進(jìn)行模型訓(xùn)練，在測(cè)試階段，將剩下的20個(gè)樣本用作模式識(shí)別試驗(yàn)。使用交叉驗(yàn)證的方式來驗(yàn)證7個(gè)數(shù)據(jù)結(jié)果之間的差別。

多傳感器的組合使用能夠極大程度地提高手勢(shì)識(shí)別的準(zhǔn)確性。本研究定義了手勢(shì)識(shí)別的類型，能夠保障傳感器融合使用以改進(jìn)系統(tǒng)的推理能力，由此得到的結(jié)果是：多個(gè)傳感器獲得的信息傳輸不論是在準(zhǔn)確性還是在質(zhì)量的可靠性方面，顯然都超越單個(gè)傳感器結(jié)果。另外，通過對(duì)不同情況下的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)偏差對(duì)比可以發(fā)現(xiàn)：傳感器類型的增加與手勢(shì)識(shí)別的結(jié)果標(biāo)準(zhǔn)偏差呈現(xiàn)反比趨勢(shì)。通過實(shí)驗(yàn)驗(yàn)證，本研究提出的多種傳感器方法可以極大程度地減少手勢(shì)識(shí)別的差異結(jié)果，有效消除不同動(dòng)態(tài)手勢(shì)模型所帶來的可分離差異。

4? ? 結(jié)語

本研究設(shè)計(jì)并實(shí)現(xiàn)了基于加速度傳感器的實(shí)時(shí)手勢(shì)識(shí)別方案?？纱┐鬟\(yùn)動(dòng)采集模塊使用加速度傳感器收集手勢(shì)加速度信號(hào)，首先執(zhí)行運(yùn)動(dòng)窗口檢測(cè)，自動(dòng)定位可能的手勢(shì)運(yùn)動(dòng)序列，然后平滑濾波，歸一化處理和信號(hào)窗口重采樣以消除手勢(shì)運(yùn)動(dòng)幅度和速度影響差異。將手勢(shì)加速信號(hào)預(yù)處理為幀，并提取每個(gè)幀的三維平均值作為關(guān)鍵特征，最后構(gòu)建離散隱馬爾可夫模型以實(shí)現(xiàn)手勢(shì)識(shí)別。實(shí)驗(yàn)表明，使用手勢(shì)加速處理方案可以自動(dòng)定位手勢(shì)，有效地提高了訓(xùn)練和識(shí)別的速度，并且該系統(tǒng)方案適用于可穿戴設(shè)備的實(shí)時(shí)交互。

[參考文獻(xiàn)]

[1]中國(guó)聾人協(xié)會(huì).中國(guó)手語[M]北京：北京華夏出版社，1991.

[2]RABINER L R，JUANG B H.An introduction to Hidden Markov models[J].IEEE ASSP Magazine，1986（1）：4-16.

[3]LIANG R，OUHYOUNG M.A sign language recognition system using Hidden Markov model and context sensitive search[C].Hong Kong：Processing of the ACM Symposium on VR Software and Technology，1996.

[4]STARNER T，PENTLAND A.Real-time American sign language recognition from video using hidden Markov models：US，TR2375[P].1996-07-15.

[5]VOGLER C，METAXAS D.A SL recognition based on a coupling between HMMs and 3D motion analysis[J].Intl Confon Computer Vision，1998（1）：363-369.

[6]李云，陳香，張旭，等.基于加速計(jì)與表面肌電傳感器信息融合的手語識(shí)別方法[J].航天醫(yī)學(xué)與醫(yī)學(xué)工程，2010（6）：419-424.

Design of sign language recognition system based on curved variable resistor

Ma Jie

（School of Physics and Technology， Central China Normal University， Wuhan 430079， China）

Abstract：This article combines gesture motion information monitored by three low-cost sensors including gyroscope（GYRO）， accelerometer（ACC）， and curved variable resistor， and proposes a gesture recognition method for multiple sensor information to improve training and training speed. Firstly， detect the motion window， then smooth filter， preprocess the acceleration signal into frames， and finally construct the discrete Hidden Markov model to realize gesture recognition.

Key words：gesture recognition; Hidden Markov; fusion of multiple sensor