盧振利

(常熟理工學(xué)院 電氣與自動(dòng)化工程學(xué)院， 常熟 215500)

人機(jī)交互技術(shù)HCIT(Human-Computer Interaction Techniques)通常指以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)對(duì)話的技術(shù)[1-3]。人機(jī)交互技術(shù)的媒介大致經(jīng)歷了三個(gè)階段：①初期的輸入設(shè)備：鼠標(biāo)、鍵盤和輸出打印機(jī)和屏幕等；②隨著DOS到窗口操作系統(tǒng)的升級(jí)，開啟了以窗口(Windows)、菜單(Menu)、圖符(Icons)和指示裝置(Pointing Devices)為基礎(chǔ)的圖形用戶界面時(shí)代；③現(xiàn)在的主流技術(shù)是引入了視頻和音頻等的多媒體用戶界面[4]?？蒲蓄I(lǐng)域?qū)μ嵘谝曈X的手勢(shì)識(shí)別精度和效率提出了多種算法，結(jié)合云計(jì)算，針對(duì)眼睛虹膜、掌紋、筆跡、步態(tài)、語(yǔ)音、唇讀、人臉、DNA等人類特征的融合，人機(jī)交互技術(shù)正在不斷地探索中[5]。

虛擬現(xiàn)實(shí)VR(Virtual Reality)技術(shù)更是為人機(jī)交互技術(shù)發(fā)展提供了新的領(lǐng)域和挑戰(zhàn)[6]。

人機(jī)交互技術(shù)發(fā)展迅猛，眾多院校都開設(shè)了“人機(jī)交互技術(shù)”相關(guān)課程，相關(guān)內(nèi)容和教學(xué)方法也各有側(cè)重，為培養(yǎng)不同背景的人才提供理論教學(xué)和實(shí)踐項(xiàng)目訓(xùn)練。安徽工業(yè)大學(xué)戴家樹等依據(jù)人工智能發(fā)展趨勢(shì)和需求對(duì)現(xiàn)今的“人機(jī)交互技術(shù)”課程的教學(xué)內(nèi)容、案例教學(xué)和實(shí)踐實(shí)驗(yàn)教學(xué)進(jìn)行了初步探究[7]。中國(guó)醫(yī)學(xué)科學(xué)院馬鶴桐等總結(jié)了人機(jī)交互技術(shù)在解剖學(xué)輔助教學(xué)工具中的應(yīng)用，利用該技術(shù)及時(shí)收集學(xué)生理論知識(shí)不足之處，有效幫助學(xué)生掌握解剖學(xué)理論知識(shí)[8]。咸陽(yáng)師范學(xué)院外國(guó)語(yǔ)學(xué)院杜愛紅等設(shè)計(jì)了一種基于人機(jī)交互的英語(yǔ)口語(yǔ)訓(xùn)練系統(tǒng), 準(zhǔn)確判斷學(xué)生的能力值并為其制定相應(yīng)的練習(xí)策略[9]。

人機(jī)交互技術(shù)在機(jī)器人與人交互等領(lǐng)域的應(yīng)用，逐步成為研究熱點(diǎn)[10-13]，如圖1所示。本文在我校面向長(zhǎng)三角地區(qū)應(yīng)用型人才培養(yǎng)背景下[14]，以虛擬現(xiàn)實(shí)系統(tǒng)中鍵盤鼠標(biāo)、語(yǔ)言、視覺、和動(dòng)作識(shí)別等若干關(guān)鍵技術(shù)為紐帶[15-18]，首次開展面向本科生的“人機(jī)交互技術(shù)”公選課教學(xué)和實(shí)踐。使多學(xué)科學(xué)生在公選課理實(shí)一體化模式下學(xué)習(xí)人機(jī)交互前沿技術(shù)，同時(shí)進(jìn)行設(shè)計(jì)實(shí)踐。本課程是依托我校電氣與自動(dòng)化工程學(xué)院開設(shè)，與其他兄弟高校相比，更突出人與機(jī)器人交互技術(shù)內(nèi)容。

圖1 基于動(dòng)作辨識(shí)的人機(jī)交互系統(tǒng)

1 課程理論部分

課程以30學(xué)時(shí)校公選課模式進(jìn)行構(gòu)建，以具備初步英語(yǔ)知識(shí)為起點(diǎn)，針對(duì)大學(xué)本科一年級(jí)以上學(xué)生開設(shè)。理論部分結(jié)合人機(jī)交互技術(shù)的發(fā)展和相關(guān)應(yīng)用，以鼠標(biāo)、鍵盤、Kinect等設(shè)備和Unity等軟件講解如下5個(gè)部分：

1)基于傳統(tǒng)硬件設(shè)備的人機(jī)交互技術(shù)

鼠標(biāo)、鍵盤、手寫筆等是常見的人機(jī)交互設(shè)備，講解通過(guò)鼠標(biāo)或鍵盤選中圖像中的某個(gè)點(diǎn)或區(qū)域，完成對(duì)該點(diǎn)或區(qū)域處選定對(duì)象的縮放、拖拽等操作。通過(guò)視頻和網(wǎng)站展示觸摸式顯示屏實(shí)現(xiàn)的“桌面”計(jì)算機(jī)，能夠隨意折疊的柔性顯示屏制造的電子書，側(cè)重多通道技術(shù)的“漢王筆”手寫漢字識(shí)別系統(tǒng)。

2)基于語(yǔ)音的人機(jī)交互技術(shù)

語(yǔ)音識(shí)別技術(shù)日趨成熟并被廣泛應(yīng)用于智能終端上，基于Kinect講解語(yǔ)音識(shí)別技術(shù)獲取指令，根據(jù)用戶需求返回最匹配的結(jié)果，實(shí)現(xiàn)自然的人機(jī)交互工作機(jī)制。講解應(yīng)用于呼叫路由、家庭自動(dòng)化及語(yǔ)音撥號(hào)等場(chǎng)合的語(yǔ)音識(shí)別技術(shù)；通過(guò)相關(guān)視頻資料展示結(jié)合在微軟的Tablet PC 操作系統(tǒng)中數(shù)字墨水技術(shù)；應(yīng)用于Office/XP的中文版等辦公、應(yīng)用軟件中的IBM/Via Voice連續(xù)中文語(yǔ)音識(shí)別系統(tǒng)。

3)基于視覺辨識(shí)的人機(jī)交互技術(shù)

講授如何通過(guò)鏡頭和紅外來(lái)獲得傳感器信息，通過(guò)辨識(shí)技術(shù)來(lái)形成指令，完成人機(jī)交互的技術(shù)。通過(guò)相關(guān)視頻資料展示從電影院搬進(jìn)客廳的3D顯示器，使用紅綠藍(lán)光激光二極管的視網(wǎng)膜成像顯示器。

4)基于動(dòng)作識(shí)別的人機(jī)交互技術(shù)

講解基于動(dòng)作識(shí)別的交互技術(shù)，通過(guò)Kinect對(duì)動(dòng)作捕獲系統(tǒng)獲得的關(guān)鍵部位的位置進(jìn)行計(jì)算、處理，分析出用戶的動(dòng)作行為并將其轉(zhuǎn)化為輸入指令，實(shí)現(xiàn)用戶與計(jì)算機(jī)之間的交互。Kinect 2.0采用深度攝像頭獲取用戶的手勢(shì)信息，用戶使用手勢(shì)進(jìn)行交互。通過(guò)視頻展示智能手機(jī)配備的地理空間跟蹤技術(shù)，應(yīng)用于可穿戴式計(jì)算機(jī)、隱身技術(shù)、浸入式游戲等的動(dòng)作識(shí)別技術(shù)；有語(yǔ)言障礙的人士的無(wú)聲語(yǔ)音識(shí)別，應(yīng)用于廣告、網(wǎng)站、產(chǎn)品目錄、雜志效用測(cè)試的眼動(dòng)跟蹤技術(shù)；針對(duì)有語(yǔ)言和行動(dòng)障礙人開發(fā)的“意念輪椅”采用的基于腦電波的人機(jī)界面技術(shù)等。

5)VR系統(tǒng)中人機(jī)交互技術(shù)設(shè)計(jì)

結(jié)合一個(gè)山峰場(chǎng)景的構(gòu)建來(lái)講授如何通過(guò)Unity3D創(chuàng)建項(xiàng)目，并添加物體和組件應(yīng)用人機(jī)交互技術(shù)設(shè)計(jì)虛擬現(xiàn)實(shí)系統(tǒng)，如圖2所示。

圖2 山峰實(shí)體組件設(shè)計(jì)

重點(diǎn)講解觀工程中的觀察點(diǎn)(Viewpoint) 、導(dǎo)航(Navigation) 、操作(Manipulation)和臨境(Immersion)。強(qiáng)調(diào)VR系統(tǒng)中人機(jī)交互具備這些特點(diǎn)的核心是三維空間定位裝置、語(yǔ)言理解、視覺跟蹤、頭部跟蹤和姿勢(shì)識(shí)別等技術(shù)和裝置。實(shí)時(shí)調(diào)試設(shè)計(jì)的VR系統(tǒng)，如圖3所示。

圖3 山峰實(shí)體效果

2 課程實(shí)踐部分

課程采取理實(shí)一體化授課方法，在計(jì)算機(jī)教室進(jìn)行，兩人一臺(tái)計(jì)算機(jī)，邊講解理論，同時(shí)安排實(shí)踐內(nèi)容，讓學(xué)生動(dòng)手來(lái)設(shè)計(jì)相關(guān)項(xiàng)目。實(shí)踐項(xiàng)目及內(nèi)容如表1所示。

表1 實(shí)踐項(xiàng)目與內(nèi)容

1)語(yǔ)音交互技術(shù)實(shí)踐

該項(xiàng)目通過(guò)Kinect 設(shè)備下方的麥克風(fēng)陣列采集聲音信號(hào)。Kinect SDK(Software Development Kit)提供了對(duì)語(yǔ)音捕獲DMO(DirectX Media Objects)的封裝實(shí)現(xiàn)語(yǔ)音辨識(shí)技術(shù)。通過(guò)調(diào)節(jié)“Kinect Audio Source”對(duì)象完成從麥克風(fēng)陣列中提取原始的或者經(jīng)過(guò)處理的音頻流的降噪、自動(dòng)增益控制和回聲消除。本項(xiàng)目通過(guò)微軟Kinect的“Resources and Samples”中“Speech Basic D2D”來(lái)讓學(xué)生控制虛擬小龜實(shí)現(xiàn)前進(jìn)(forward)、后退(backward)、左轉(zhuǎn)(turn left)和右轉(zhuǎn)(turn right)。實(shí)踐結(jié)果如圖4和圖5所示。

圖4 語(yǔ)音交互系統(tǒng)

(a) “forward”

(b) “turn left”圖5 語(yǔ)音交互實(shí)踐結(jié)果

2)表情交互技術(shù)實(shí)踐

該實(shí)踐項(xiàng)目是通過(guò)微軟Kinect自帶“singleface”近距模式辨識(shí)面部及特征。強(qiáng)調(diào)基于知識(shí)的人臉表征，即人臉由眼睛、鼻子、嘴、下巴等局部構(gòu)成，對(duì)這些局部和它們之間結(jié)構(gòu)關(guān)系的幾何描述，可作為識(shí)別人臉的重要特征。而這些特征中，頭部姿態(tài)，眼睛，嘴巴的開合都可以被作為知識(shí)被檢查出來(lái)，通過(guò)單色面罩在視頻圖像的人臉部，以深度信息簡(jiǎn)化頭模型來(lái)同步展示該頭部姿態(tài)和面部表情，如圖6和圖7所示。

圖6 閉嘴仰望

圖7 張嘴俯視

3)虛擬現(xiàn)實(shí)系統(tǒng)中人機(jī)交互技術(shù)實(shí)踐

該實(shí)踐項(xiàng)目以面向虛擬校園的開發(fā)與實(shí)現(xiàn)為例,應(yīng)用Unity開發(fā)全景視覺虛擬交互情景系統(tǒng)。利用Unity3D引擎實(shí)現(xiàn)場(chǎng)景實(shí)時(shí)驅(qū)動(dòng)、用戶界面、多媒體信息與模型交互等功能。主要是結(jié)合實(shí)例對(duì)象模型創(chuàng)建后，利用3DSMAX的導(dǎo)出功能將模型導(dǎo)出成FBX格式，勾選嵌入的媒體，使貼圖能夠一同導(dǎo)出。將FBX文件放入U(xiǎn)nity3D工程文件的Assets目錄下或在此目錄自創(chuàng)文件夾，Unity將自動(dòng)識(shí)別。在Project視圖中找到相關(guān)的資源文件，包括模型與材質(zhì)。創(chuàng)建模型Prefabs(預(yù)置體)并實(shí)例化及預(yù)置聯(lián)系。通過(guò)Unity內(nèi)置的渲染引擎生成具有LOD(Levels of Detail)多層次細(xì)節(jié)的畫面。在場(chǎng)景中放置攝像機(jī)和燈光，實(shí)現(xiàn)場(chǎng)景的實(shí)時(shí)驅(qū)動(dòng)。通過(guò)第一人稱角色控制器實(shí)現(xiàn)地面步行漫游。實(shí)踐結(jié)果如圖8所示。

圖8 虛擬校園

3 結(jié)語(yǔ)

本文闡述了以Kinect和Unity等業(yè)界主流工具及應(yīng)用案例為主導(dǎo)的“人機(jī)交互技術(shù)”課程改革。在我校通過(guò)課程代碼G1610032以30人為班，理實(shí)一體化授課開設(shè)公選課。選課學(xué)生涵蓋車輛工程、汽車服務(wù)工程、軟件工程、計(jì)算機(jī)科學(xué)與技術(shù)、電氣工程及其自動(dòng)化、信息與計(jì)算科學(xué)、物聯(lián)網(wǎng)工程、軟件工程、自動(dòng)化和經(jīng)濟(jì)統(tǒng)計(jì)學(xué)等專業(yè)。通過(guò)3輪課程教學(xué)實(shí)踐結(jié)果表明，該教學(xué)改革可提升不同專業(yè)本科學(xué)生對(duì)人機(jī)交互技術(shù)業(yè)界主流成果的認(rèn)知能力和實(shí)踐能力。通過(guò)課程的教學(xué)改革實(shí)踐，我校電氣與自動(dòng)化工程學(xué)院在自動(dòng)化專業(yè)和機(jī)器人工程專業(yè)都結(jié)合各自特點(diǎn)開設(shè)了“人機(jī)交互技術(shù)”專業(yè)課，陸續(xù)培養(yǎng)專業(yè)人才300余人，獲得機(jī)器人比賽獎(jiǎng)項(xiàng)近10項(xiàng)。該工作為相關(guān)應(yīng)用型本科專業(yè)人才培養(yǎng)進(jìn)行了有益探索。