李 玲 胡衛(wèi)星 趙苗苗 張麗偉

手勢計算技術教學應用的現(xiàn)狀及問題分析*

李 玲 胡衛(wèi)星 趙苗苗 張麗偉

（渤海大學 教育學院，遼寧錦州 121013）

基于手勢計算的教學技術已成為當今教育領域新的發(fā)展趨勢。文章認為，基于手勢計算技術的學習過程具有具體性、協(xié)作性、游戲性、交互性和智能性等鮮明特征，能夠為學習者提供一種新型的學習方式或過程體驗。文章分析了當前手勢計算技術在教學應用中存在的問題，如教學績效不高、學習內(nèi)容過于游戲性、難以適應學習者學習風格和特點等，指出其能夠在觸覺、視覺、聽覺等多元通道基礎上形成人機的深度交互，能營造出技術和學習者自然融合深度無縫的新型交互學習環(huán)境，將為教育信息化的進一步發(fā)展開辟新的局面。

手勢計算；人機交互；教學應用

在教育信息化飛速發(fā)展的過程中，課堂文化正在發(fā)生巨大的變革：由第一代的以“黑板”和“粉筆”為中心的聽說讀寫講授文化，轉(zhuǎn)向了第二代的以“鍵盤”與“鼠標”為中心的多媒體資源應用文化，目前第三代的以“移動”與“手勢”為中心的個性化手勢移動計算文化也已初見端倪。手勢移動計算新課堂將以自然的形態(tài)，改變教學互動方式，使教學活動再次煥發(fā)生機。在信息技術支持教育技術變革的進程中，學習者與機器之間的交互方式影響著學習的效率。因此，人們總是關注并推動人機交互方式的變革，出現(xiàn)了基于文本方式的交互、基于圖形方式的鼠標交互等交互方式。但這些傳統(tǒng)的技術形式在人機交互方式的便捷性和靈活性方面還存不足，學習者需要適應機器的運行程序，因而，缺少主動控制的“自然”便利。在此背景下，手勢計算技術應運而生并得到了飛速發(fā)展。

手勢計算技術是指通過觸控技術、可穿戴設備、人臉識別、面部表情識別、唇讀、頭部運動跟蹤、凝視跟蹤、手勢識別以及人體姿勢識別等來進行機器運行命令的解析，從而實現(xiàn)人機之間的自然交流溝通[1]。2010～2015年的《地平線報告》指出，手勢計算技術已經(jīng)連續(xù)5年成為新教育信息技術的發(fā)展動態(tài)，逐步升級的可穿戴設備和虛擬助手等設備技術正日趨成熟并在教學中廣泛應用。手勢計算將逐漸取代“鍵盤與鼠標”的控制文化，讓教師和學習者擺脫“線”制，以智能化的方式更加自然地進行人機交互，并進行有意義教學，以充分調(diào)動學習者的學習興趣，讓學習者更加積極主動地參與到學習之中。同時，手勢計算也將營造出一種新型的智能化學習環(huán)境，學習者、手勢計算技術、數(shù)字化學習資源和智能教學環(huán)境將達到高度耦合的狀態(tài)，學習者的個性化學習和創(chuàng)造性活動實踐將得到長遠的發(fā)展。

一 手勢計算技術的理解與特征分析

1 手勢計算技術的理解

基于手勢的計算又稱“手勢識別”或者“基于手勢的技術”，是一種通過自然的身體動作來控制電子設備的技術。具體來講，手勢計算技術能夠?qū)崿F(xiàn)從鼠標和鍵盤控制計算機到憑借身體動作、面部表情、語音識別等新觸控技術來控制計算機等電子設備。手勢計算技術正在從物理和機械上改變?nèi)藗兣c計算機等電子設備交互的方式[2]，為人們提供了一種更加高效的人機交互機制：將人體的自然手勢作為交流方式引入到人機接口，人們可以直接將人手作為計算機輸入設備，而不再需要中間媒介。用手勢識別技術構(gòu)建新型的學習交互界面，適應了新一代人機交互輸入方式教學應用自然化發(fā)展的要求。這項技術的應用，將使人機交互方式更加符合學習者的行為習慣，使學習者不必通過鍵盤輸入或鼠標操控甚至不必接觸屏幕便可進行交互學習。以數(shù)據(jù)手套、視頻設備和網(wǎng)絡環(huán)境為支撐[3]，以數(shù)字化課程等教學資源為基礎，手勢計算技術作為重要的工具手段，將構(gòu)建出符合教師和學習者學習特征、學習風格的新型教學模式或?qū)W習方式。

2 手勢計算技術的特征分析

與傳統(tǒng)的教育媒體技術形式相比，手勢計算技術具有以下鮮明特征：

（1）可使學習過程更加生動形象、具體直觀。手勢計算是用手形動作和表情姿勢而構(gòu)成的比較穩(wěn)定的操作方式，學習者靠動作和視覺與設備進行交互學習[4]。手勢語同樣包含豐富的信息內(nèi)涵，較傳統(tǒng)媒體形式更加自然且易于理解。

（2）極易實現(xiàn)以學習者為中心的學習活動。傳統(tǒng)人機交互學習方式是將機器作為人機交互的中心，學習者與機器交互需要適應機器的輸入輸出設備，無自然的主動控制能力。而手勢計算充分考慮了學習者的行為習慣（如語音、肢體動作、表情等），學習者是學習活動的主動參與者，機器將對人的各種動作做出反應。

（3）營造具有高度體驗感的學習環(huán)境。手勢計算擺脫了鍵盤、鼠標操作的限制，采用簡單直觀的動作手勢或表情直接控制學習設備，其更加自然、靈活和便捷的方式可為學習者營造出更加簡便舒適的交互環(huán)境，提高學習者的學習體驗度[5]。

（4）支持多通道和多學習者的人機交互共享。手勢計算技術可以充分調(diào)動學習者的視覺、聽覺、觸覺、嗅覺和平衡感等，并運用通道的互補特性來捕捉學習者的多方意圖。此外，手勢計算技術還可實現(xiàn)多學習者的參與性學習，接受多點同時輸入，能為學習者之間的接觸、交互和協(xié)作開辟多元化途徑[6]。

（5）提升學習交互過程的智能性和高效性。手勢計算技術用戶界面支持高的輸入帶寬，學習者可以快速大批量地輸入姿勢信息[7]。手勢計算可以智能解讀學習者的意圖，并及時做出正確反應，營造更為精確的交互模式。學習者能較快學會和運用手勢，可同時用雙手完成多個任務，因此大大提高了學習的效率、增強了學習的效果。

二 國內(nèi)外手勢計算技術概況

1 國內(nèi)外手勢計算技術的發(fā)展狀況

近幾年，國外手勢計算技術在人機交互方面發(fā)展迅速，并取得了突破性的進展。由于具有很高的應用價值，手勢計算技術受到很多世界著名大學和軟件公司的關注及開發(fā)投入。目前，已經(jīng)出現(xiàn)了諸多的新一代技術產(chǎn)品，正源源不斷地為學校教育中智能化教學活動的開展提供著設備支持。如Apple公司于2007年基于iPhone手機開發(fā)了多觸點觸摸技術——這是一種基于傳感器的隱式輸入技術，其豐富的視覺體驗和獨特的交互風格使人機操作變得更直觀、更人性化，并進一步促進了平板電腦的教學應用；IBM視覺小組成員Anton Zorin等于2008年研發(fā)出基于穿戴特殊顏色標記手套的虛擬導購系統(tǒng)、Google Earth和故宮導航系統(tǒng)，可通過手套標記后對手勢進行識別，再映射成交互命令控制虛擬場景中的物體；谷歌眼鏡是由谷歌公司于2012年發(fā)布的一款“拓展現(xiàn)實”眼鏡，可以通過聲音控制拍照、視頻通話和辨明方向，甚至可以上網(wǎng)沖浪、處理文字信息和電子郵件等；Leap Motion公司于2013年發(fā)布體感控制器并進一步開發(fā)出Leap系統(tǒng)，該系統(tǒng)無需觸摸操作即可與個人電腦輕松交互，這預示著基于手勢計算的控制技術成為當前人機交互技術發(fā)展的前沿；Tarsier公司于2015年在加州圣克克拉召開DEMO大會，展示基于手勢的MoveEye技術——操控者用手勢即可操控智能電視，進行互動游戲或?qū)W習活動；加拿大創(chuàng)業(yè)公司Thalmic Labs最近開發(fā)出一款名為MYO臂環(huán)的創(chuàng)新產(chǎn)品，讓前臂肌肉來確定用戶的手勢在傳遞什么信息，而且學習者只要動動手指或手掌，就能對一些電子產(chǎn)品發(fā)出指令。

我國手勢計算技術雖然起步較晚但卻發(fā)展迅速。如2000年，哈爾濱工業(yè)大學的吳江琴、高文等首先進行了數(shù)據(jù)手套和手語識別系統(tǒng)方面的研究；清華大學的祝遠新和徐光佑開發(fā)出了基于視覺的動態(tài)孤立手勢識別技術[8]。2004年，上海大學的段洪偉用LS-SVM算法實現(xiàn)了對靜態(tài)手勢的識別[9]；山東大學的徐立群和吳曉娟提出了一種改進的Camshift算法跟蹤手勢，實現(xiàn)了6種手勢的識別。2005年，北京大學的張凱等利用平面立體匹配算法得到三維手勢信息，實現(xiàn)了基于立體視覺的手勢識別。此外，臺灣大學和香港中文大學的相關專家學者也紛紛對手勢計算識別算法進行了深入而系統(tǒng)的研究。

2010年，上海世博會上展示了許多手勢計算技術的應用成果，由此實現(xiàn)了更多傳統(tǒng)媒體技術所無法獨立完成的任務，延伸著人類身體器官的功能性。2009年之后，伴隨著電子白板等多媒體教學設備在中小學的普及應用，手寫識別功能得到了越來越多一線教師和學生的認可。2011年，騰訊公司推出了QQ手勢達人軟件“for PPT”，這是一款通過普通攝像頭來進行手勢控制的體感軟件，它拋棄了人們一直使用的鍵盤和鼠標，完全利用手勢控制PPT演示文稿的播放。2014年，我國手勢體感儀制造商——鋒時互動公司開發(fā)了人體手勢識別設備“微動”，無需用戶穿戴任何輔助設備，即可識別使用者十指的動作路徑、手勢動作和相應的運動軌跡，并且能夠?qū)⒆R別信息實時轉(zhuǎn)化為各種人機操作指令，在自然狀態(tài)下使用者亦可靈活進行游戲或?qū)W習。2015年，臺灣地區(qū)的一些中小學已經(jīng)構(gòu)建出基于手勢運算的智慧教室，允許多個學習者用熟悉的動作與虛擬世界的學習內(nèi)容進行交互。

2 國內(nèi)外手勢計算技術的教學應用現(xiàn)狀

《2012地平線報告（高等教育版）》指出：“基于手勢的計算從利用鼠標和鍵盤來控制電腦，轉(zhuǎn)變到通過新輸入設備利用身體運動、面部表情和語音識別來控制電腦，使得交互更加靈活?！盵10]手勢計算技術在文件瀏覽、游戲和培訓模擬操作等方面具有很大的優(yōu)勢，在教育和學習中也有很大的潛力。如在教育領域，手勢計算將給學習者帶來不一樣的活動實踐體驗。目前在國內(nèi)外學校教育教學過程中得以應用的相應系統(tǒng)技術產(chǎn)品形式，主要包括實時教學反饋、技能模擬訓練、真實感官學習、肢體運動表演、新協(xié)作互動訓練和超三維空間學習環(huán)境構(gòu)建等。

當前，國內(nèi)外手勢計算技術在學校教育中的主要應用領域包括：

（1）在兒童教育中的應用。主要是利用多點觸控電子互動技術，讓書寫計算能力相對薄弱的兒童完成諸如連線、拼圖、繪圖、計算和問題解決等認知任務。借助手勢計算技術，兒童只需用手指在屏幕上對操作對象進行拖動、旋轉(zhuǎn)、點擊等操作便可進行交互學習。同時，還可以通過多點互動來提高兒童的團隊協(xié)作能力。

（2）在高等教育中的應用。其中，比較典型的是虛擬智慧校園的構(gòu)建與應用。在手勢計算技術的支持下，學習者可以盡情扮演學校中的各種角色，并產(chǎn)生身臨其境般的學習、生活感受。

（3）在醫(yī)療培訓教學中的應用。主要是利用3D技術搭配手勢計算技術開發(fā)出“3D虛擬手術臺”，并將其作為日常醫(yī)學訓練的重要平臺。學生可以用手勢對人體器官圖像數(shù)據(jù)進行移動、放大、縮小，可以進行獨立操作或協(xié)作練習。這種方式大大提高了學生的學習效率，增強了學習效果，改變了傳統(tǒng)醫(yī)療教育中的教學方式。

（4）在特殊教育中的應用。手勢計算技術能夠很好地解決特殊人群的教學發(fā)展需要，如借助手勢計算技術、使用EyeDraw繪圖軟件，可以使肢體殘疾者實現(xiàn)眼球控制信息的交流。手勢計算技術能夠幫助特殊人群通過練習形成多元化的表達方式，強化他們的短時記憶和長時記憶，進而有利于滿足特殊人群的教育需求，實現(xiàn)教育公平并促進教育的均衡化發(fā)展[11]。

三 手勢計算技術教學應用的問題及分析

目前，手勢計算技術在教學中的應用還處于初級階段，盡管優(yōu)勢明顯，但也存在諸多的問題亟需解決。常見的問題主要有：①手勢計算教學設備的成本較高?？紤]到教學績效還遠遠沒有達到以最小投入獲得最好教學效果的媒體選擇原則，這也是一線學校普遍看好但卻很少配置應用的主要障礙。②手勢計算教學設備的使用需充分考慮學習者的年齡特點和學習風格，選擇最適合學習者的學習交互形式。目前，手勢計算教學應用內(nèi)容的游戲性過強，對于自控能力相對較弱的低齡學習者來說需要進行正確的引導。③不能將技術作用絕對化。手勢計算技術只是一種新型的教學輔助方式，遠不能替代教師在教學中的作用，因為技術最大的優(yōu)勢在于學習環(huán)境的創(chuàng)設和認知工具性的提供，而基于技術的人際溝通交流（師生互動）才是課堂教學的根本。④目前大部分的手勢計算設備需要固定位置且體積較大，移動性差，這就在某些場合某些時間為學習者學習帶來了不便。在移動學習迅猛發(fā)展的浪潮下，借助手勢計算技術，需要繼續(xù)開發(fā)出新型便捷的可穿戴設備，努力為學習者營造無縫的學習環(huán)境。⑤支持學習者手勢學習的系統(tǒng)和軟件的數(shù)量、質(zhì)量都有待提高。這需要有關技術研發(fā)機構(gòu)能夠開發(fā)出適應多樣化學習內(nèi)容的應用軟件和學習應用系統(tǒng)。⑥手勢計算技術在教學中應用時需要在教學模式上有所創(chuàng)新和突破。借助手勢計算技術的優(yōu)勢，新型的教學方式要體現(xiàn)出教師教授、學生學習的發(fā)展性和創(chuàng)新性。

總之，手勢作為一種自然和直接的交流方式，在人與人的交際過程中得到了廣泛應用。而如何在人機交互中也創(chuàng)造出類似的交流經(jīng)驗，是手勢計算技術發(fā)展的宗旨。隨著智能手機、可穿戴式設備、家用自動化控制儀器等電子設備的進一步網(wǎng)絡化發(fā)展，手勢計算技術將有助于實現(xiàn)人機交互水平的大幅提升，將無需觸碰操控也能識別學習者動作并做出回應[12]。利用手勢計算技術獲得學習者豐富的交互意圖并積極做出反饋，是當前教育信息技術研究和應用領域中人機交互技術發(fā)展的新課題[13]。在不久的將來，基于手勢計算技術的新人機交互技術會在觸覺、視覺、聽覺等多元通道，營造出技術和學習者自然融合且深度無縫的交互學習環(huán)境。

[1]龔陶波.基于計算機視覺的靜態(tài)手勢識別系統(tǒng)[D].武漢:華中師范大學,2008:6.

[2]程云,王艷麗,童三紅.新技術創(chuàng)新促進教育與學習:地平線項目研究啟示[J].現(xiàn)代教育技術,2012,(3):22-26.

[3]鄒洪.實時動態(tài)手勢識別關鍵技術研究[D].廣州:華南理工大學,2011:2-3.

[4]Mao Q R,Pan X Y,Zhan Y Z.Using kinect for real-time emotion recognition via facial expressions[J].Frontiers of Information Technology & Electronic Engineering,2015,(4):272-282.

[5]王冉冉.基于視覺的手勢識別在智能電視上的應用研究[D].青島:中國海洋大學,2013:50-52.

[6]李文生,解梅,鄧春健.基于多點手勢識別的人機交互技術框架[J].計算機工程與設計,2011,(6):2129-2133.

[7]王輝.基于視覺的實時手勢跟蹤與識別及其在人機交互中的應用[D].浙江:浙江大學,2008:6.

[8]蔡祖洪.基于雙目視覺的實時手勢人機交互的研究[D].杭州:杭州電子科技大學,2011:2-5.

[9]Rashid O,Al-Hamadi A,Michaelis B.A framework for the integration of gesture and posture recognition using HMM and SVM[J].Intelligent Computing and Intelligent Systems,2009,(4):572-577.

[10]李建珍,官海萍.手勢計算技術的發(fā)展研究— —2012年新媒體聯(lián)盟NMC《地平線報告》啟示[J].電化教育研究,2012,(11):39-61.

[11]Dim N K.Designing motion gesture interfaces in mobile phones for blind people[J].Journal of Computer Science & Technology,2014,(29):812-824.

[12]單祥茹.通過手勢識別的機器感知時代已經(jīng)到來[J].中國電子商情:基礎電子,2015,(Z1):15-16.

[13]PCWorld中國.電視成全新平板設備:基于手勢的計算將如何發(fā)展[OL].

The Status and Problem Analysis of Teaching Application for Gesture-based Computing Technology

LI Ling HU Wei-xing ZHAO Miao-miao ZHANG Li-wei
（Education College,Bohai University,Jinzhou,Liaoning,China 121013）

Nowadays,the instructional technology of gesture-based computing has become a new development trend in education area.The learning process of gesture-based computing technology has the features of distinct specificity,interoperability,gameplay,interactivity and intellectuality,thus it provides a new way of learning and process experience for learners.The paper analysed some problems that the teaching performance was not high,the learning content was too recreational,and it was too hard to adapt to the learners’ learning styles and characteristics existing in the application of gesture-based computing technology in education,and proposed that gesture-based computing technology can form a deep human-computer interaction in the aspects of touching,visualizing and hearing,and build a deep and seamless new interactive learning environment,where technology and learners blended naturally,which will create a new situation for the further development of education informationization.

gesture-based computing; human-computer interaction; teaching application

小米

G40-057

A 【論文編號】1009—8097（2016）01—0034—05

10.3969/j.issn.1009-8097.2016.01.005

本文為教育部人文社科青年項目“四元交互作用機制下的動畫多媒體學習研究”（項目編號：13YJC880028）、遼寧省高校青年教育科研骨干專項課題“信息技術融入課堂教學的有效性研究”（項目編號：JGZXQDB039）的階段性研究成果。

李玲，在讀碩士，研究方向為信息化教育和數(shù)字化教育資源的研發(fā)，郵箱為1411886871@qq.com。

2015年6月29日