重慶郵電大學(xué)光電工程學(xué)院 余永樂 閆文山 林雨凡 韓明濤 祝 華 朱俊宇

人類文明在現(xiàn)今得到前所未有的高度發(fā)展，在目前倡導(dǎo)自由、平等、文明與人權(quán)的社會中，弱勢群體得到了更多的關(guān)愛和權(quán)利，聾啞人作為殘疾人中的重要部分，也應(yīng)當(dāng)受到社會的重視。在手勢姿態(tài)識別領(lǐng)域，目前有基于Motion capture系統(tǒng)的動作捕捉技術(shù)，該技術(shù)識別精度極高，但價格昂貴且不易于攜帶；還有一種基于彎曲度傳感器的識別方式，該技術(shù)容易準(zhǔn)確識別一些簡單的手勢，其只能識別手指的姿態(tài)，不能識別手掌的俯角、仰角、航角，因此不能識別大部分手勢姿態(tài)。本系統(tǒng)創(chuàng)新性的添加了九軸姿態(tài)傳感器LSM9DS，用于采集手掌在空間中的運動姿態(tài)，基本不存在手勢死區(qū)。本系統(tǒng)具有低功耗、便攜、成本較低的特點及手勢操作外設(shè)的功能，極大的方便了聾啞人的生活，且易于普及。

1 系統(tǒng)結(jié)構(gòu)與原理

系統(tǒng)基于TI的MSP430F5529微控制器,通過數(shù)據(jù)端彎曲度傳感器及九軸姿態(tài)傳感器采集數(shù)據(jù),經(jīng)低功耗WIFI傳輸模塊傳輸數(shù)據(jù)到識別端。識別端同樣采用MSP430微控制器，利用改進算法識別手指的彎曲程度，以及手掌的運動姿態(tài)，與SD卡中的手勢數(shù)據(jù)庫相匹配，解析出正確手勢。最后通過WIFI將識別端解析出的指令傳輸?shù)绞謾C端進行語音輸出，或通過WIFI對已連接的外設(shè)進行手勢操作。其系統(tǒng)框圖如圖1所示。程序流程圖如圖2所示。

2 系統(tǒng)模塊設(shè)計

2.1 手指彎曲度測量模塊

為獲取準(zhǔn)確的手指彎曲姿勢，模塊采用單向彎曲度傳感器Flx-03。Flx-03是一個簡單測量彎曲程度的傳感器。Flx-03總長度80mm，測量長度達60mm，其不同彎曲程度時對應(yīng)的阻值不同，自然狀態(tài)下阻值為9000Ω，180 彎曲時阻值為22000Ω，并借著超薄的封裝，可以將它固定在被測曲面上。在電路中，將傳感器阻值的變化以電壓的變化形式輸出，配合ADC量化輸出，易于將彎曲信息采集并處理。

圖1 系統(tǒng)框圖

圖2 程序流程圖

2.2 手掌運動姿勢測量模塊

為獲取準(zhǔn)確的手掌運動姿勢，如加速度及歐拉角，模塊采用九軸姿態(tài)傳感器LSM9DS1。LSM9DS1是一種可實現(xiàn)動作感應(yīng)的系統(tǒng)芯片，其包括一個三軸加速計，一個三軸陀螺儀，一個三軸磁力計，每種傳感器都有良好的檢測范圍。傳感器還包含了I2C串行總線接口，配備了數(shù)字接口，支持標(biāo)準(zhǔn)和快速模式（100kHz和400kHz）及SPI串行接口標(biāo)準(zhǔn)。同時其具有低功耗的特性，支持1.9V-3.6V供電，在正常工作下,電磁計的工作電流僅為280uA;加速度計電流為8.4uA;陀螺儀的電流為1.9mA,在休眠模式下電流為8uA。利用單片機通過對它采集數(shù)據(jù)進行分析，可以較精準(zhǔn)的對姿態(tài)進行判斷，再控制相應(yīng)功能。

3 調(diào)試結(jié)果

本實驗隨機抽取5位受試者，對阿拉伯?dāng)?shù)字，100個常用問候語，76個動詞，120個生活名次等多種手勢進行數(shù)次采集。將采集到的數(shù)據(jù)進行整合和篩選，選出每個手勢重復(fù)率最高的三組數(shù)據(jù)錄入數(shù)據(jù)庫。以此作為每個手勢的初始模型參數(shù)。

為確保動作的完整錄入，將手勢動作分為靜態(tài)動作和動態(tài)動作。靜態(tài)動作的數(shù)據(jù)采集周期設(shè)置為150ms，動態(tài)動作的數(shù)據(jù)采集周期設(shè)置為800ms。每次數(shù)據(jù)采集完畢后通過WIFI將數(shù)據(jù)傳遞至上位機。上位機系統(tǒng)對靜態(tài)動作數(shù)據(jù)進行軟件濾波處理以提高準(zhǔn)確性。將動態(tài)數(shù)據(jù)和庫內(nèi)數(shù)據(jù)進行逐字節(jié)對比，以字節(jié)為單位將當(dāng)前數(shù)據(jù)和以往數(shù)據(jù)進行軟件濾波，提高可靠性。

4 結(jié)語

本系統(tǒng)設(shè)計了一款低功耗便攜型多功能手語翻譯手套，手語數(shù)據(jù)經(jīng)算法處理后識別,最終翻譯成文本信息并進行語音播報。通過選用低功耗元件及硬件的改善,使得功耗得到降低,單只手套的工作電流約為11.6mA。該系統(tǒng)對常見手勢的識別率高，并且成本較低，易于攜帶,可廣泛運用于聾啞人與正常人的交流中,具有很好的前景和應(yīng)用市場。

[1]GB/T 24435-2009,中國手語基本手勢[S].2009.

[2]韓寧江.基于深度學(xué)習(xí)的手語識別方法研究[D].吉林大學(xué),2017.

[3]倪訓(xùn)博.基于手語語言學(xué)與人體運動學(xué)的手語識別研究[D].哈爾濱工業(yè)大學(xué),2009.