李棟 李大華 高強 于曉

摘要：為提高我國聾人高等教育水平，提出了一種基于ALEXNET神經(jīng)網(wǎng)絡(luò)手語翻譯系統(tǒng)的教學(xué)模式。該教學(xué)模式根據(jù)神經(jīng)網(wǎng)絡(luò)設(shè)計一種手語自動識別系統(tǒng)，通過跟蹤手部運動軌跡，將動態(tài)手語信息轉(zhuǎn)化為特征信息，從而完成手語信息向語言文字信息的轉(zhuǎn)化，實現(xiàn)教師和學(xué)生之間的信息交流。該系統(tǒng)能夠幫助教師了解聾人學(xué)生課堂知識掌握情況，提升課堂教學(xué)效率，增強了聾人學(xué)生的課堂參與度，能夠促進我國特殊教育的發(fā)展。

關(guān)鍵詞：聾人高等教育;人工神經(jīng)網(wǎng)絡(luò);手語識別;課堂交流

中圖分類號：G642.0 ? 文獻標(biāo)志碼：A

特殊教育事業(yè)一直是我國教育事業(yè)發(fā)展需要攻克的難關(guān)，其中高等教育更是一個重點[1]。本文基于深度卷積神經(jīng)網(wǎng)絡(luò)提出一套針對聾人工高等教育改革方面的手語翻譯系統(tǒng)[2]，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于聽障大學(xué)生手語語法分析[3-6]。

1 聽障大學(xué)生在高等教育教學(xué)中存在的問題

普通教師在教學(xué)過程中，教師會根據(jù)在傳授知識時學(xué)生的反應(yīng)與學(xué)生對課堂知識的吸收程度對課程進行教學(xué)上的調(diào)整。30%左右的聾人與正常人的溝通存在著很大的障礙，這就導(dǎo)致聾人學(xué)生在課堂上的疑惑并不能及時的得到解決，問題積累過多，會導(dǎo)致學(xué)生不愿意與教師進行溝通，從而形成惡性循環(huán)。

2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的手語識別模型

目前，國內(nèi)許多研究人員針對手語翻譯問題已經(jīng)提出了一些想法，天津理工大學(xué)的袁甜甜等人提出一種基于深度學(xué)習(xí)（Deep Learning）[7]的中國手語翻譯系統(tǒng)，該系統(tǒng)利用CNN提取視頻特征進行預(yù)訓(xùn)練，利用兩層LSTM用于脫機機器翻譯。并且與天津理工大學(xué)聾人工學(xué)院一線教師及教育學(xué)專業(yè)研究生共同設(shè)計語料庫文本，共形成了一萬句中文文字在10個至30個之間的句子范疇，最終能夠取得較好的識別效果。西安建筑科技大學(xué)的王民[8]等人將圖像語義分析的思維引入手語識別研究中，提出一種優(yōu)化全卷積神經(jīng)網(wǎng)絡(luò)算法對手語進行識別，平均識別率達到了94.41%。

本文提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的手語翻譯系統(tǒng)的網(wǎng)絡(luò)模型，該模型選取ALEXNET深度模型作為基礎(chǔ)網(wǎng)絡(luò)框架，用于獲取手勢運動軌跡的高層屬性特征，進而實現(xiàn)對手語的識別。該方法由兩部分組成，分別是手勢運動信息的預(yù)處理和ALEXNET的訓(xùn)練及手勢含義的識別。

3 基于深度神經(jīng)網(wǎng)絡(luò)的手語翻譯系統(tǒng)實現(xiàn)方案

手語識別系統(tǒng)將學(xué)生表達的手語信息轉(zhuǎn)化為文字信息傳遞給授課教師，實現(xiàn)課堂互動及信息交換。當(dāng)教師需了解學(xué)生對于所授知識的理解程度時，啟用手語檢測功能，學(xué)生利用手語表達理解程度，采集設(shè)備實時記錄學(xué)生動作，并跟蹤學(xué)生手部運動軌跡。其后啟用手語分析功能，系統(tǒng)將采集的軌跡圖像輸入經(jīng)過訓(xùn)練的ALEXNET卷積神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)會輸出不同軌跡動作相對應(yīng)的含義。手語識別系統(tǒng)運作方式可分為以下步驟：學(xué)生檢測、手語記錄、信息分析、選擇兩類學(xué)生動作，即“聽懂”和“聽不懂”、 狀態(tài)重置。

利用現(xiàn)代人工智能技術(shù)對手語進行自動識別和分析，應(yīng)用到高校的課堂教學(xué)中教師和學(xué)生之間手語動作的翻譯和信息傳輸交流，實現(xiàn)手語動作和語言之間的無障礙融合，不僅提高聽障學(xué)生在課堂中獲取知識的效率，同時幫助聽障學(xué)生進行課堂知識討論并加深理解。

4 總結(jié)

利用手語識別系統(tǒng)，能夠?qū)崿F(xiàn)課堂中學(xué)生手語動作的軌跡跟蹤，并分析手語動作所代表的語言含義，傳輸給授課教師，實現(xiàn)了課堂中教師和學(xué)生之間的信息交流，通過人工卷積神經(jīng)網(wǎng)絡(luò)的信息分析，將手語動作信息轉(zhuǎn)換為語言文字信息提供給教師，實現(xiàn)了良好的識別效果，為教師和學(xué)生之間的互動提供很好的幫助，分析結(jié)果準(zhǔn)確有效。

參考文獻：

[1]寧遠.國務(wù)院印發(fā)《關(guān)于加快推進殘疾人小康進程的意見》[J].現(xiàn)代特殊教育，2015（05）：42.

[2]張茂聰. 中國殘疾人教育事業(yè)發(fā)展70年[N]. 中國社會科學(xué)報，2019-11-07（004）.

[3]劉春穎.以新媒體拓展高校聽障學(xué)生思想政治教育渠道[J].文化創(chuàng)新比較研究，2018，2（03）：195-196.

[4]黃鶯.信息技術(shù)應(yīng)用于聽障生語文教學(xué)的實踐[J].文學(xué)教育（上），2019（05）：90-91.

[5]Anwar Alsalamah. Using Captioning Services With Deaf and Hard of Hearing Students in Higher Education： A Systematic Review. 2020， 165（1）：114-127.

[6]吳玉超，林嵐，王婧璇，吳水才.基于卷積神經(jīng)網(wǎng)絡(luò)的語義分割在醫(yī)學(xué)圖像中的應(yīng)用[J].生物醫(yī)學(xué)工程學(xué)雜志，2020，37（03）：533-540.

[7]閆凱. 基于深度學(xué)習(xí)的3DMRI腦腫瘤分割算法研究[D].中國科學(xué)院大學(xué)（中國科學(xué)院深圳先進技術(shù)研究院），2020.

[8]王民，郝靜，要趁紅，史其琦.基于優(yōu)化全卷積神經(jīng)網(wǎng)絡(luò)的手語語義識別[J].激光與光電子學(xué)進展，2018，55（11）：214-220.