沈瑩++張林

摘 要：人機交互是一門研究如何設(shè)計、評估和實現(xiàn)交互式系統(tǒng)及相關(guān)知識的學科。為了讓學生深入了解新式的人機交互方式，在課程實踐環(huán)節(jié)引入新式交互設(shè)備，學生對新設(shè)備表現(xiàn)出濃厚的興趣，利用這些設(shè)備自行設(shè)計許多新穎的應(yīng)用軟件，開拓思路，增加開發(fā)經(jīng)驗，提高自學新知識的能力。文章對上述課程實踐進行闡述。

關(guān)鍵詞：人機交互；人機交互設(shè)備；新型交互設(shè)備；Kinect；Leap motion

1 背 景

人機交互（human-computer interaction）是一門研究如何設(shè)計、評估和實現(xiàn)交互式系統(tǒng)及相關(guān)知識的學科[1]。人機交互是計算機學科中的傳統(tǒng)學科，從計算機誕生的第一天起，人們就在考慮如何設(shè)計出更好的人機交互方式。傳統(tǒng)的鼠標鍵盤等交互設(shè)備已經(jīng)不能滿足用戶的需求，人們希望能夠高效便捷地對電腦進行操作，因此誕生了語音交互、手勢交互和動作交互等新穎的交互技術(shù)。另外人機交互也不局限于某種單一的交互方式，而是多種交互方式并存，共同完成交互任務(wù)。

作為一門專業(yè)基礎(chǔ)課，用戶交互技術(shù)課程在教學內(nèi)容上結(jié)合軟件工程概念，目的在于培養(yǎng)學生理解用戶交互界面設(shè)計的原則，掌握新式用戶交互技術(shù)的原理，能夠自行設(shè)計開發(fā)基于新式交互技術(shù)的應(yīng)用程序，使學生在相關(guān)行業(yè)領(lǐng)域中具有更高的創(chuàng)新性和競爭性。傳統(tǒng)的人機交互課程往往局限于介紹認知模型、設(shè)計界面元素等知識點，不能引導(dǎo)學生進行實例開發(fā)，更不要說接觸日新月異的新式交互設(shè)備。為了讓學生更加深刻地了解人機交互技術(shù)的最新進展，可以在課程中引入多種新式交互設(shè)備，包括Kinect、Leap motion、智能手表、VR設(shè)備等，并基于這些設(shè)備設(shè)計相應(yīng)的實驗和項目。

2 新式交互設(shè)備

人機交互方式經(jīng)歷了命令行交互階段、圖形用戶界面交互階段和自然和諧的交互階段[2]。在命令行交互階段，由于計算機價格昂貴、普及性不高，與計算機進行交互的是專業(yè)的程序員。隨著硬件成本的降低，計算機進入了千家萬戶，面向普通用戶的軟件越來越多，命令行界面也逐漸發(fā)展為圖形界面，并且界面上的交互元素種類日漸豐富和美觀。由于圖形界面易于理解，操作簡單，因此目前這種交互形式占據(jù)了主導(dǎo)地位，成為使用各種軟件的主要手段。

為了適應(yīng)人們的娛樂、教育、購物及社交需求，許多新式交互設(shè)備開始嶄露頭角。這些設(shè)備徹底改變了傳統(tǒng)的人機交互概念，現(xiàn)在我們可以通過手勢、動作、語音等更自然的方式來操作計算機，這些提高了交互的效率，增加了交互的趣味性，最終使得人與計算機的關(guān)系變得更加緊密。新型交互設(shè)備的出現(xiàn)使得人機交互方式進入一個新階段，為這門學科帶來了新挑戰(zhàn)。

新式交互設(shè)備可以分為體感互動設(shè)備、語音交互設(shè)備、可穿戴式設(shè)備、虛擬現(xiàn)實設(shè)備等。每種類型的設(shè)備包含的具體產(chǎn)品見表1。由于分類并不是相互獨立的，因此某些設(shè)備會同時出現(xiàn)在不同分類中。

2.1 體感互動設(shè)備

Kinect是微軟開發(fā)的Xbox360主機的周邊設(shè)備。Kinect里安裝了3個鏡頭，中間的鏡頭是RGB彩色攝像機，用來獲取物體的彩色圖像。左邊鏡頭是紅外線CMOS 攝影機，右邊鏡頭是紅外線發(fā)射器。這3個鏡頭配合工作可以采集到視場中物體的彩色信息和深度信息。Kinect附帶的軟件可以識別使用Kinect的玩家，最多能識別6個人。除此之外，Kinect還能獲取人的全部關(guān)節(jié)（joint），從而得到玩家的骨架模型。另外，人的手部關(guān)節(jié)也一樣能被識別出來（包括所有指尖和關(guān)節(jié)），因此，Kinect也可以作為手勢識別的設(shè)備使用。

Kinect已從1.0版本升級到了2.0版本，目前主要作為參與游戲互動的工具，但是考慮到Kinect的強大功能，除游戲以外其他的應(yīng)用（例如教育培訓）也在利用它完成不同的功能需求。

Leap motion是一款體感控制器。它通過紅外線追蹤手部移動，并且準確識別出手指的各個關(guān)節(jié)和骨骼位置。Leap motion與Kinect類似，但是只能進行手勢識別。通過Leap motion，用戶可以通過雙手動作來操作計算機。跟傳統(tǒng)的鼠標鍵盤輸入相比，Leap motion的使用顯然更加自然有趣。

2.2 語音交互設(shè)備

隨著深度學習的出現(xiàn)，語音識別算法的識別精度越來越高，最近在數(shù)據(jù)庫上的測試甚至超過了人類水平，因此語音識別軟件變得非常普及[3-4]。這種交互方式雖然不需要特殊的設(shè)備支持，但是仍有些新出現(xiàn)的語音交互設(shè)備值得關(guān)注。亞馬遜最近推出了一個名為Echo的設(shè)備，用戶可以將智能家居中的電器連上Echo，通過命令Echo完成對電器的自動化操作。另外前面介紹的Kinect除了包含深度相機外，還有一個語音識別裝置，Kinect附帶的驅(qū)動軟件能夠記錄用戶聲音并且分析用戶命令。

2.3 可穿戴式設(shè)備

由于可穿戴式設(shè)備體積小，使用簡單，功能強大，它們受到了廣大用戶的青睞。目前最熱門的產(chǎn)品要數(shù)智能手表，另外微軟也推出了一款用于混合現(xiàn)實的眼鏡Hololens。

無論是智能手表還是混合現(xiàn)實眼鏡，可穿戴式設(shè)備的使用還是離不開動作交互和語音交互技術(shù)，因此這種新式交互設(shè)備實際是體感互動設(shè)備和語音交互設(shè)備的混合體。

2.4 虛擬現(xiàn)實設(shè)備

虛擬現(xiàn)實設(shè)備為用戶構(gòu)建出3D虛擬環(huán)境，用戶通過操作手柄與虛擬環(huán)境互動。此類設(shè)備包括虛擬頭盔、沉浸式虛擬現(xiàn)實系統(tǒng)（CAVE）等。虛擬頭盔需要戴在用戶頭部，頭盔里的目鏡為用戶投影3D虛擬環(huán)境，頭盔內(nèi)的運動感知裝置捕捉用戶頭部運動，尤其是頭部轉(zhuǎn)動方向。CAVE利用立體投影構(gòu)造出高級虛擬仿真環(huán)境，用戶借助虛擬現(xiàn)實交互設(shè)備（例如數(shù)據(jù)手套、Google Glass、位置跟蹤器等）獲得身臨其境的沉浸式感受。虛擬現(xiàn)實設(shè)備為用戶提供了更加逼真的使用環(huán)境，使得用戶體驗更舒適。

3 新式交互設(shè)備在課程中的應(yīng)用

為了將新式交互設(shè)備引入到用戶交互技術(shù)課程中去，我們設(shè)計了3個課程實踐項目讓學生參與。整個課程采取“知識點教學+算法代碼實現(xiàn)+實例開發(fā)”的形式[5]。課堂教學教授學生各種交互技術(shù)的基本算法，如手勢識別算法、語音識別算法等。實驗課上教師會提供學生以上算法的代碼框架，要求學生進行代碼修改，理解不同參數(shù)的意義，觀察代碼修改引起的識別效果的變化。最后，學生分組利用Kinect和Leap motion開發(fā)包或者語音識別開發(fā)平臺進行項目實例開發(fā)，學會搭建基本環(huán)境，最終實現(xiàn)一個完整的系統(tǒng)。endprint

3.1 基于Kinect的交互式游戲開發(fā)

Kinect能夠識別用戶身體的各個關(guān)節(jié)，然后根據(jù)關(guān)節(jié)節(jié)點重構(gòu)出一個虛擬人物，通過追蹤用戶的動作，使得該虛擬人物能在3D環(huán)境中完成各種任務(wù)。在本實驗中，我們首先會教授學生學會安裝和使用Kinect 2.0，并構(gòu)建出3D虛擬環(huán)境及用戶的骨架模型。然后學生需要完成一個用戶與虛擬環(huán)境互動的功能，例如推箱子或者粉刷墻壁。此實驗涉及的知識點主要有Kinect的使用與編程、Unity3D編程、基于ICP算法的點集匹配等。

3.2 基于Leap motion的手勢識別系統(tǒng)

Leap motion是傳統(tǒng)交互工具例如鼠標鍵盤的替代者，只需揮動一只手指即可瀏覽網(wǎng)頁、閱讀文章、翻看照片，還有播放音樂。即使不使用任何畫筆或筆刷，用指尖即可以繪畫，涂鴉和設(shè)計。Leap motion安裝非常簡單，只需通過USB接入電腦。在本實驗中，學生需要安裝Leap motion的軟件開發(fā)包，成功檢測到手的形狀和位置，為不同的手勢定義對應(yīng)的操作，取代鼠標和鍵盤的輸入功能。另外學生需要合理安排界面元素，使得用戶與電腦的交互能夠符合人的直覺。

3.3 基于智能手機的語音識別系統(tǒng)

利用谷歌語音開發(fā)包或者科大訊飛語音開發(fā)平臺開發(fā)一款基于智能手機的語音識別系統(tǒng)。該系統(tǒng)至少包含3個功能，例如撥打電話、寫短信、查詢天氣或者交通等。在本實驗中，學生需要安裝語音識別開發(fā)包，了解不同功能的接口定義，規(guī)劃需要實現(xiàn)的功能，合理設(shè)計交互界面，使得語音交互更加有效。此實驗涉及的知識點主要有HMM算法、GMM算法和深度學習的入門知識。

4 教學成果展示

4.1 Survival in sky

Survival in sky是一款基于Kinect和Unity3D開發(fā)的互動游戲。該游戲模擬一個駕駛員跟隨救生艙下落的場景，救生艙不斷地出現(xiàn)漏洞，駕駛員需要及時修補漏洞保證自身安全，否則游戲失?。ㄒ妶D1）。玩家需要利用四肢動作操縱游戲角色與虛擬環(huán)境進行交互（即補漏洞）。學生利用Unity3D軟件搭建3D虛擬場景，同時調(diào)用Kinect驅(qū)動程序識別玩家動作。

4.2 基于Leap motion的躲避游戲

學生利用C#和Leap motion驅(qū)動程序開發(fā)了一款躲避游戲，該游戲中，玩家需要操縱途中橙色點在界面中移動，每個關(guān)卡會出現(xiàn)不同數(shù)量的黃色點在界面上隨機移動，玩家要操縱橙色點避開黃色點。關(guān)卡級別越高，黃色點個數(shù)越多，游戲難度越大。橙色點的移動方向由Leap motion識別出的玩家手的移動方向決定。

4.3 Chatting Robot

Chatting Robot是一款基于ISO平臺的語音識別軟件。用戶可以通過鍵盤輸入或者語音輸入命令。在語音識別功能中，當用戶說完命令后，該軟件自動提交語音命令并執(zhí)行。該軟件支持撥打電話、新聞查看、翻譯、天氣查詢、菜譜查詢、列車信息查詢，甚至支持針對特殊人群的功能（如返回網(wǎng)游信息、qq信息等）。

5 結(jié) 語

通過將新式人機交互設(shè)備引入用戶交互技術(shù)課程，我們?nèi)〉昧素S碩的教學成果，主要表現(xiàn)在學生對這門課興趣的提升以及優(yōu)質(zhì)項目的完成。通過學生設(shè)計的項目，我們也掌握了學生的興趣點所在，有利于下一步對實驗內(nèi)容的改進。目前本課程已購買的設(shè)備包括Kinect、Leap motion、Apple Watch、暴風魔鏡等。在接下來的教學中，我們計劃繼續(xù)購買虛擬頭盔、數(shù)據(jù)手套、Hololens等設(shè)備，并且基于這些新設(shè)備再設(shè)計出更有趣的項目讓學生去實踐。

參考文獻：

[1] Hewett T T， Baecker R， Card S. ACM SIGCHI curricula for human-computer interaction [EB/OL]. [2017-04-16]. http：//citeseerx.ist.psu.edu/showciting？cid=1387837.

[2] 孟祥旭. 人機交互基礎(chǔ)教程[M]. 2版. 北京： 清華大學出版社， 2010.

[3] Hinton G， Deng L， Yu D， et al. Deep neural networks for acoustic modeling in speech recognition： The shared views of four research groups[J]. IEEE Signal Processing Magazine， 2012， 29（6）： 82-97.

[4] Saon G. Reaching new records in speech recognition [EB/OL]. [2017-04-16]. https：//www.ibm.com/blogs/watson/2017/03/reaching-new-records-in-speech-recognition/.

[5] 沈瑩. 用戶交互技術(shù) [EB/OL]. [2017-04-16]. http：//sse.#edu.cn/yingshen/course/HCI2017Spring/index.html.

（編輯：彭遠紅）endprint