持劉勉 張際平

關(guān)鍵詞：未來(lái)課堂;人工智能;手勢(shì)識(shí)別;教學(xué)模式

一、引言

當(dāng)今時(shí)代是科技高速發(fā)展的時(shí)代，特別是信息技術(shù)研發(fā)成果的突現(xiàn)，使社會(huì)各領(lǐng)域都發(fā)生了翻天覆地的改變。2016年，谷歌公司研制開發(fā)的AlphaGo智能圍棋系統(tǒng)戰(zhàn)勝人類頂級(jí)棋手李世石，使人工智能在全世界范圍引發(fā)了廣泛關(guān)注，從事教育技術(shù)研究的專家學(xué)者也對(duì)人工智能促進(jìn)教育教學(xué)的變革寄予厚望。人工智能中有一個(gè)重要的子集稱為模式識(shí)別，指采用某種算法，將對(duì)象與已有模式進(jìn)行對(duì)比、匹配、辨別，從而判斷其歸屬的過(guò)程。而手勢(shì)識(shí)別作為模式識(shí)別的分支，已逐漸融入教育領(lǐng)域。

手勢(shì)，狹義指手指、手掌及手臂的姿態(tài)及運(yùn)動(dòng)，廣義上身體各部分的姿態(tài)與運(yùn)動(dòng)方式都可稱為手勢(shì)，如表情、步態(tài)等。手勢(shì)識(shí)別可定義為在自然的人機(jī)交互狀態(tài)下，利用計(jì)算機(jī)系統(tǒng)來(lái)識(shí)別人類手勢(shì)的一種技術(shù)?！兜仄骄€報(bào)告（高等教育版）》已于2010年至2012年將“基于手勢(shì)的計(jì)算”列為長(zhǎng)期關(guān)鍵技術(shù)，2017年又將與手勢(shì)識(shí)別密切相關(guān)的“自然用戶界面”列為長(zhǎng)期關(guān)鍵技術(shù)。手勢(shì)識(shí)別技術(shù)能夠四次出現(xiàn)在有著教育技術(shù)風(fēng)向標(biāo)之稱的地平線報(bào)告中，說(shuō)明國(guó)際教育技術(shù)學(xué)界始終對(duì)該技術(shù)保持著較高的關(guān)注度。最后，從優(yōu)化智能算法與擴(kuò)展應(yīng)用范圍兩個(gè)方面對(duì)后續(xù)研究進(jìn)行了展望。

二、手勢(shì)識(shí)別技術(shù)研究演進(jìn)分析

通常來(lái)說(shuō)，一個(gè)學(xué)術(shù)領(lǐng)域隨著研究不斷的深入，會(huì)逐漸涌現(xiàn)各類具有代表性的指標(biāo)信息，本研究所參考的文獻(xiàn)來(lái)源為Web of Science核心合集，以關(guān)鍵詞“Gesture Reco～aition”“Gesture Based Computing”和“Education”“Educational”“Teach”“Teaching”“Learn”“Learning”等搭配組合，時(shí)間跨度從1950年至2017年，共檢索出577篇文獻(xiàn)，然后二次精煉出緊扣主題的文獻(xiàn)113篇，利用WOS文獻(xiàn)統(tǒng)計(jì)功能和CiteSpace 5.1.R8 SE文獻(xiàn)計(jì)量工具對(duì)這113篇文獻(xiàn)進(jìn)行挖掘，從年發(fā)文量、熱點(diǎn)演進(jìn)等方面對(duì)手勢(shì)識(shí)別技術(shù)在教育中的應(yīng)用研究進(jìn)行分析。

（一）年發(fā)文量分析

如下頁(yè)圖1所示，利用WOS的創(chuàng)建引文報(bào)告功能可得出依時(shí)間序列分布的年發(fā)文量柱狀圖。從圖中可見，2006年至2009年為孕育階段，2010年至2013年為萌芽階段，2014年至2017年為發(fā)展階段。時(shí)間意義上的第一篇文章是Stevens等人于2006年發(fā)表的“虛擬患者——傳授醫(yī)科學(xué)生獲取病史情況與問(wèn)詢技能的應(yīng)用”，其中談到研發(fā)成功了診斷急性腹痛病人的虛擬診斷室，攝像頭將捕捉到的學(xué)生頭部和手部動(dòng)作與虛擬病人進(jìn)行互動(dòng)，實(shí)時(shí)反饋診斷效果，達(dá)到培訓(xùn)有效技能的目標(biāo)。不過(guò)，正如Page等人所說(shuō)“手勢(shì)識(shí)別技術(shù)在教育上的運(yùn)用還處于幼兒期”，到目前為止發(fā)文數(shù)量并不很多，談不上成熟，還有待進(jìn)一步的研究。

年發(fā)文量

（二）熱點(diǎn)演進(jìn)分析

熱點(diǎn)反映該研究領(lǐng)域的關(guān)注對(duì)象，隨著時(shí)間的推移，熱點(diǎn)也會(huì)發(fā)生更迭。利用CiteSpace的熱點(diǎn)演進(jìn)聚類功能，將結(jié)點(diǎn)類型選擇為關(guān)鍵詞，閾值插值將前、中、后三組時(shí)間段上的C，CC，CCV分別設(shè)置為2，2，10;2，2，20;3，3，20，得到可信度較高的關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)圖譜，如圖2所示。排在出現(xiàn)頻次前十位的關(guān)鍵詞分別為：Kinectf頻次13）、Performance（頻次12）、Virtual reality（頻次11）、Education（頻次9）、Video game（頻次7）、System（頻次6）、Perception（頻次5）、Gesture Recognition（頻次5）、Physical Activity（頻次5）和Surgery（頻次4）。研究熱點(diǎn)年份分布如下表所示，從表中可知，2013年以前熱點(diǎn)稀少，2014年突然增加，這與2014年發(fā)文量大幅上漲相吻合，表明從2014年開始獲得較多的關(guān)注;2015、2016兩年雖然熱點(diǎn)涌現(xiàn)不多，但發(fā)文量仍保持高位，可認(rèn)為是對(duì)已有的熱點(diǎn)進(jìn)行深度挖掘;2017年熱點(diǎn)又呈現(xiàn)增多趨勢(shì)，說(shuō)明仍處于高速發(fā)展階段。

研究熱點(diǎn)年份分布統(tǒng)計(jì)表

關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)圖譜

檢索出的文獻(xiàn)依據(jù)研究目的可以分為兩類：第一類聚焦于如何有效提升學(xué)生手部（身體）熟練程度，多見于特殊課程。如Yasser Salem等指出使用手勢(shì)體感設(shè)備訓(xùn)練的發(fā)育性協(xié)調(diào)障礙兒童對(duì)比以傳統(tǒng)方式訓(xùn)練的同樣缺陷的兒童在雙手握力等方面獲得了顯著的提升;第二類則關(guān)注于怎樣構(gòu)建起提升學(xué)習(xí)體驗(yàn)感的自然用戶界面，多見于普通科學(xué)課程。如AI-Khalifa構(gòu)建了一個(gè)虛擬化學(xué)實(shí)驗(yàn)室，手勢(shì)識(shí)別設(shè)備追蹤學(xué)生手部操控虛擬實(shí)驗(yàn)儀器等動(dòng)作，并實(shí)時(shí)反饋化學(xué)反應(yīng)結(jié)果，學(xué)生對(duì)于化學(xué)學(xué)科的學(xué)習(xí)積極性有一定的提升。上述兩類研究方法都為學(xué)生利用手勢(shì)設(shè)備與虛擬情境互動(dòng)，區(qū)別僅為各自獨(dú)特的研究目的和評(píng)價(jià)方式。不過(guò)，真實(shí)環(huán)境中的教學(xué)研究一直都是教育領(lǐng)域的核心主題，而將手勢(shì)識(shí)別技術(shù)融合進(jìn)真實(shí)的教學(xué)過(guò)程，以求對(duì)現(xiàn)實(shí)境脈中的教學(xué)活動(dòng)產(chǎn)生積極影響的相關(guān)研究卻非常稀少。因此，針對(duì)此欠缺內(nèi)容，下文將從如何將手勢(shì)識(shí)別技術(shù)融入未來(lái)課堂真實(shí)環(huán)境下的教學(xué)活動(dòng)的角度展開研究。

三、手勢(shì)識(shí)別技術(shù)融入未來(lái)課堂

（一）未來(lái)課堂中人工智能研究現(xiàn)狀

手勢(shì)識(shí)別隸屬于人工智能范疇內(nèi)的模式識(shí)別，而利用人工智能提升教學(xué)效果的理念已被全球大多數(shù)國(guó)家所認(rèn)可并進(jìn)行了一定程度的實(shí)施，如美國(guó)在2016年發(fā)布了《國(guó)家人工智能研發(fā)戰(zhàn)略規(guī)劃》，提出應(yīng)擴(kuò)大人工智能和數(shù)據(jù)科學(xué)課程，培養(yǎng)為推動(dòng)經(jīng)濟(jì)發(fā)展所需的能勝任人工智能應(yīng)用與研究的人才”。我國(guó)也于2017年由國(guó)務(wù)院頒布了發(fā)展人工智能的綱領(lǐng)性文件《新一代人工智能發(fā)展規(guī)劃》，提出要發(fā)展智能教育，利用智能技術(shù)加快推動(dòng)人才培養(yǎng)模式以及教學(xué)方法的改革。由此可知，將人工智能引入教育領(lǐng)域是大勢(shì)所趨，是教育技術(shù)發(fā)展的必經(jīng)之路。作為國(guó)內(nèi)教育技術(shù)研究主體力量之一的華東師范大學(xué)張際平教授領(lǐng)銜的未來(lái)課堂研究團(tuán)隊(duì)，在未來(lái)課堂的概念界定階段就將智能化確定為未來(lái)課堂所必須具備的要素之一，提出未來(lái)課堂所包含的六大特性分別為人性化、混合性、開放性、交互性、智能型和生態(tài)型。然而，盡管未來(lái)課堂相關(guān)領(lǐng)域已有大量卓有成效的研究成果問(wèn)世，在CSSCI數(shù)據(jù)庫(kù)中以未來(lái)課堂為關(guān)鍵字就可檢索出近40篇論文，但這些研究大多關(guān)注于空間建構(gòu)、互動(dòng)教學(xué)、可視化等方面，而對(duì)于智能教學(xué)的研究卻非常欠缺，CSSCI數(shù)據(jù)庫(kù)中與人工智能密切相關(guān)的未來(lái)課堂研究不足3篇，并且都是以宏觀的概念闡述為主要內(nèi)容，而深入探討與未來(lái)課堂環(huán)境相匹配的人工智能算法及其教學(xué)模式的文章則沒(méi)有。針對(duì)未來(lái)課堂智能教學(xué)研究的局限，我們將以手勢(shì)識(shí)別為技術(shù)支撐，以解決未來(lái)課堂實(shí)際教學(xué)中產(chǎn)生的問(wèn)題為研究目標(biāo)，嘗試從智能技術(shù)和教學(xué)模式兩方面對(duì)未來(lái)課堂的智能化進(jìn)行詳細(xì)探索。

（二）待解決的問(wèn)題

隨著國(guó)家對(duì)于教育信息化的大力推進(jìn)，越來(lái)越多的學(xué)校建設(shè)了未來(lái)課堂，并在其中開展了諸多的教學(xué)活動(dòng)，如STEM課程、遠(yuǎn)程互動(dòng)課堂等等。未來(lái)課堂中教學(xué)形態(tài)多為小組協(xié)作式學(xué)習(xí)，可靈活組合的桌椅和多屏空間的設(shè)計(jì)也支持此種學(xué)習(xí)方式。每個(gè)學(xué)生小組對(duì)應(yīng)一塊一體機(jī)大屏，學(xué)生利用手中的PAD將自己的作品投射到大屏上，以供集體討論。教師作為管理者、指導(dǎo)者，在小組問(wèn)穿插走動(dòng)，幫助學(xué)生進(jìn)行探究學(xué)習(xí)。在實(shí)際的教學(xué)活動(dòng)中，多數(shù)學(xué)生的學(xué)習(xí)積極性較高，但仍有個(gè)別學(xué)生的學(xué)習(xí)積極性不夠，表現(xiàn)出與其它小組成員差異明顯的行為動(dòng)作，如伏案睡覺等。該類行為的心理成因可用具身認(rèn)知解釋，具身認(rèn)知的核心原則為心智是身體的心智，認(rèn)知是身體的認(rèn)知，認(rèn)知、身體、環(huán)境是一體的。身體的動(dòng)作與心理的認(rèn)知兩者相匹配，身體的動(dòng)作隱喻出對(duì)應(yīng)的心理狀態(tài)。據(jù)此可得出在小組活動(dòng)中，若某學(xué)生呈現(xiàn)出持續(xù)的相較其它同學(xué)的明顯差異行為，說(shuō)明其在該段學(xué)習(xí)活動(dòng)中的心理認(rèn)知與其它同學(xué)有較大區(qū)別，這種差異行為動(dòng)作通常來(lái)說(shuō)為厭倦、淡漠、焦慮等負(fù)面心理狀態(tài)的身體表現(xiàn)。教師作為教學(xué)的組織者，理應(yīng)對(duì)出現(xiàn)明顯差異行為的學(xué)生予以干預(yù)，幫助其克服心理認(rèn)知上的缺陷，但我們從回看未來(lái)課堂錄播平臺(tái)的教學(xué)視頻中發(fā)現(xiàn)有相當(dāng)數(shù)量的教師并未注意到課堂中所有的存在明顯差異行為的學(xué)生，當(dāng)然也就未對(duì)此類學(xué)生實(shí)施有效的干預(yù)。通過(guò)仔細(xì)分析教學(xué)視頻和對(duì)部分教師進(jìn)行訪談，得出教師未及時(shí)對(duì)有明顯差異行為學(xué)生進(jìn)行干預(yù)的原因主要有兩個(gè)：一是教師的觀察范圍不足。當(dāng)教師對(duì)一個(gè)小組進(jìn)行指導(dǎo)時(shí)，他對(duì)該小組學(xué)生的狀態(tài)把握準(zhǔn)確，但對(duì)超出視野范圍的其他小組的學(xué)習(xí)情況則忽視較多;二是源于教師的精力缺乏。教師在小組學(xué)習(xí)活動(dòng)的指導(dǎo)過(guò)程中，需要在多個(gè)小組之間走動(dòng)，不斷幫助小組成員解決各種問(wèn)題，導(dǎo)致教師的精力消耗較大，從而對(duì)有差異行為的學(xué)生關(guān)注度不夠。怎么利用先進(jìn)的ICT技術(shù)幫助教師最大限度的察覺到存在明顯差異行為的學(xué)生，是本研究所要考慮的核心目標(biāo)。我們考慮運(yùn)用手勢(shì)識(shí)別技術(shù)，設(shè)計(jì)人工智能算法，借助未來(lái)課堂中架設(shè)的多個(gè)高清攝像頭、高速網(wǎng)絡(luò)、高效后臺(tái)處理器等先進(jìn)設(shè)備來(lái)智能辨識(shí)出有明顯差異行為的學(xué)生，對(duì)教師以及時(shí)有效提醒，幫助教師對(duì)此類學(xué)生實(shí)施精準(zhǔn)的干預(yù)。

（三）智能技術(shù)

本研究所關(guān)注的對(duì)象是學(xué)生的身體動(dòng)作姿態(tài)。身體動(dòng)作姿態(tài)歸屬于手勢(shì)動(dòng)作，可利用手勢(shì)識(shí)別技術(shù)智能辨識(shí)出小組活動(dòng)中有明顯差異行為的學(xué)生。具體操作為使用高清攝像頭對(duì)小組活動(dòng)進(jìn)行多次拍攝，利用后臺(tái)高性能處理器對(duì)拍攝的圖像運(yùn)用智能算法進(jìn)行識(shí)別，若在圖像中識(shí)別出持續(xù)的明顯差異行為，則推送預(yù)警信息給教師的PAD，以提升教師對(duì)課堂活動(dòng)的掌控能力。此實(shí)施方案中，我們結(jié)合未來(lái)課堂技術(shù)環(huán)境并參考卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)手勢(shì)識(shí)別技術(shù)進(jìn)行智能算法構(gòu)建。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域內(nèi)對(duì)于圖像識(shí)別最重要的算法之一，已成功地運(yùn)用于人臉識(shí)別、車牌識(shí)別等多個(gè)領(lǐng)域。本研究中，針對(duì)未來(lái)課堂高清攝像頭捕獲的小組活動(dòng)圖像，使用預(yù)先處理好的差異行為圖像作為卷積核（卷積核用于找出源圖像中與自身紋理最相似的部分），執(zhí)行卷積、池化、小規(guī)模全連接及誤差后向傳播等運(yùn)算，直至網(wǎng)絡(luò)收斂，得出識(shí)別結(jié)果。智能算法流程如下頁(yè)圖3所示，實(shí)線部分為信息向前傳遞和虛線部分為誤差向后傳播。

1.信息向前傳遞

信息向前傳遞的過(guò)程為將攝像頭捕獲到的小組活動(dòng)圖像上傳至后臺(tái)高性能處理器，經(jīng)過(guò)若干卷積與池化運(yùn)算，轉(zhuǎn)換為信息量比原始圖像小得多的特征圖譜，再經(jīng)由規(guī)模較小的全連接運(yùn)算，得出輸出值。將輸出值與預(yù)期值做比對(duì)，根據(jù)比對(duì)的結(jié)果確定是否進(jìn)入誤差反向傳播階段。

智能算法流程

（1）卷積運(yùn)算

卷積過(guò)程就是卷積核圖像沿著某一方向依次“劃過(guò)”前一層圖像，執(zhí)行與對(duì)應(yīng)前一層圖像像素的點(diǎn)積，再經(jīng)過(guò)激活函數(shù)的非線性變換，得到遠(yuǎn)小于前一層信息量的后一層圖像，簡(jiǎn)明算法如式1所示。其中，0代表后一層圖像像素矩陣，x代表前一層圖像像素矩陣（深度為D），w代表卷積核圖像矩陣（深度為D），b代表偏置項(xiàng)，激活函數(shù)采用S函數(shù)。

（2）池化處理

池化表示對(duì)前一層圖像上的一個(gè)給定區(qū)域求出一個(gè)能代表這個(gè)區(qū)域特點(diǎn)的值，以此作為后一層圖像的一個(gè)像素。本研究采用最大值池化，濾波矩陣為2*2（大于2*2可能偏離特征較多），簡(jiǎn)明算法如式2所示。其中，a代表后一層圖像一個(gè)像素，x代表前一層圖像一個(gè)像素，采用max函數(shù)，并且前后層深度相同。

（3）全連接層

全連接層運(yùn)算的目的是得出小組圖像屬于有/無(wú)差異動(dòng)作的各自概率，再與期望的概率相比較，以判斷后續(xù)過(guò)程。本研究中全連接設(shè)定為三層：第一層是輸入層，為特征圖譜轉(zhuǎn)換成的一維列向量;第二層為隱層，節(jié)點(diǎn)數(shù)目可根據(jù)需要自定;第三層為輸出層，由于設(shè)置了有/無(wú)兩類，所以輸出層為兩個(gè)神經(jīng)元，簡(jiǎn)明算法如式3所示。其中，0代表后一層神經(jīng)元的輸出矩陣，x代表前一層神經(jīng)元的輸出矩陣，W代表前后層之間的連接權(quán)值矩陣，b為偏置項(xiàng)，采用S函數(shù)為激活函數(shù)。

2.誤差后向傳播

信息向前傳遞至輸出層，使用激活函數(shù)得出實(shí)際值，然后將實(shí)際值與期望值進(jìn)行比對(duì)，得出每個(gè)輸出神經(jīng)元的誤差值，再計(jì)算網(wǎng)絡(luò)總誤差。若總誤差低于閾值，表明分類正確，則接受此分類，網(wǎng)絡(luò)收斂，訓(xùn)練結(jié)束;若總誤差高于閾值，表明分類錯(cuò)誤，則拒絕此分類，此時(shí)應(yīng)將反映期望值與真實(shí)值關(guān)系的損失函數(shù)生成的總誤差值反向傳播至網(wǎng)絡(luò)中，以此更新權(quán)值，經(jīng)數(shù)輪迭代達(dá)到誤差最小值，網(wǎng)絡(luò)收斂，訓(xùn)練結(jié)束。

（1）損失函數(shù)

本研究采用均方誤差（MSE）作為損失函數(shù)，該函數(shù)圖像平滑連續(xù)，越接近最小值，變化越小，有效避免過(guò)度調(diào)節(jié)的風(fēng)險(xiǎn)。函數(shù)如式4所示。其中，E代表總誤差，t代表期望值，o代表實(shí)際值，共有n個(gè)輸出神經(jīng)元（本研究n為2）。

（2）權(quán)值修正

在深度學(xué)習(xí)算法中，梯度是指對(duì)于網(wǎng)絡(luò)中的參數(shù)，誤差值上升最快的方向。但最終是求誤差的最小值問(wèn)題，所以只需要將參數(shù)沿著梯度的反方向前進(jìn)合適的距離就能達(dá)到目的。深度學(xué)習(xí)算法需修正的主要參數(shù)為各神經(jīng)元之間的連接權(quán)值，所以可利用梯度下降算法，使權(quán)值沿負(fù)梯度方向改變。由于梯度與變化率有關(guān)，所以可用導(dǎo)數(shù)對(duì)其進(jìn)行詮釋。簡(jiǎn)明算法如式5所示。其中，w代表更新后的連接權(quán)值，w代表更新前的連接權(quán)值，E代表總誤差，n代表學(xué)習(xí)率（0

因?yàn)橐杨A(yù)先知道待識(shí)別的圖像屬于有或無(wú)差異行為的類別，所以本研究算法屬于監(jiān)督學(xué)習(xí)?？蓪⒉东@到的大量未來(lái)課堂小組活動(dòng)圖像分為訓(xùn)練集和測(cè)試集，先使用訓(xùn)練集的圖像數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行反復(fù)訓(xùn)練，直至網(wǎng)絡(luò)收斂，再將該系統(tǒng)用于識(shí)別測(cè)試集的圖像數(shù)據(jù)，若正確率高于可接受的值，則可將該系統(tǒng)部署到整個(gè)未來(lái)課堂體系中，從人工智能的角度提升未來(lái)課堂的技術(shù)先進(jìn)性;若正確率低于可接受的值，則應(yīng)對(duì)系統(tǒng)進(jìn)行改進(jìn)，以期達(dá)成實(shí)際可用性。

（四）“FCIT”教學(xué)模式

未來(lái)課堂的教學(xué)理念是通過(guò)在課堂中合理運(yùn)用ICT技術(shù)，使學(xué)生的能力與素質(zhì)得到有效的提升，使教師的教學(xué)在智能技術(shù)的支持下更加的精準(zhǔn)與便利。若要在未來(lái)課堂中引入基于手勢(shì)識(shí)別技術(shù)的智能教學(xué)系統(tǒng)，勢(shì)必要構(gòu)建適應(yīng)未來(lái)課堂環(huán)境的新型教學(xué)模式，使其能夠?qū)ξ磥?lái)課堂教學(xué)活動(dòng)產(chǎn)生切實(shí)可行的幫助。

未來(lái)課堂智能教學(xué)系統(tǒng)的層次結(jié)構(gòu)如圖4所示。智能教學(xué)系統(tǒng)為五層結(jié)構(gòu)，分別為算法層、設(shè)備層、環(huán)境層、教學(xué)層和評(píng)價(jià)層。該層次結(jié)構(gòu)表明若將手勢(shì)識(shí)別技術(shù)融入未來(lái)課堂，應(yīng)以智能算法為系統(tǒng)基礎(chǔ)，以高清攝像頭、高速局域網(wǎng)和后臺(tái)高性能處理器等先進(jìn)設(shè)備為運(yùn)行載體，以多屏空間與平板呈現(xiàn)為泛在學(xué)習(xí)環(huán)境，以提供教師預(yù)警信號(hào)和引導(dǎo)學(xué)生小組評(píng)比為教學(xué)手段，最終促使有明顯差異行為的學(xué)生的學(xué)習(xí)態(tài)度得以轉(zhuǎn)變。根據(jù)具身認(rèn)知理論，學(xué)習(xí)者內(nèi)部的心理認(rèn)知與外部的行為表現(xiàn)實(shí)際是一體的，觀察學(xué)生外部的行為表現(xiàn)可部分推知其內(nèi)部的學(xué)習(xí)心理狀態(tài)。崔允都教授指出課堂觀察應(yīng)是一種團(tuán)隊(duì)合作，它由彼此分工又相互合作的團(tuán)隊(duì)實(shí)行。未來(lái)課堂研究方向始終聚焦于真實(shí)環(huán)境中的課堂，因此，崔教授所構(gòu)建的“課堂觀察”同樣可以被借鑒于未來(lái)課堂環(huán)境。本研究中的教學(xué)合作者為智能系統(tǒng)和系統(tǒng)管理員，涉及到的要素主要有四個(gè)，分別是教師、學(xué)生、智能系統(tǒng)和系統(tǒng)管理員，要素之間以相互關(guān)聯(lián)的形式構(gòu)成教學(xué)生態(tài)圈。智能系統(tǒng)負(fù)責(zé)識(shí)別有明顯差異行為的學(xué)生，將識(shí)別到的結(jié)果反饋給教師，教師根據(jù)獲得的反饋信息以適當(dāng)?shù)姆椒▽?duì)學(xué)生進(jìn)行干預(yù)，使其發(fā)生積極的轉(zhuǎn)變。系統(tǒng)管理員作為教師和智能系統(tǒng)之間的橋梁，與教師展開合作，目的是更好地管理與調(diào)整智能系統(tǒng)，以使系統(tǒng)更貼合課堂及教師的需要。根據(jù)未來(lái)課堂智能教學(xué)系統(tǒng)層次結(jié)構(gòu)及參考課堂觀察有效實(shí)施原則，我們構(gòu)建出基于手勢(shì)識(shí)別技術(shù)的“FCIT”模式，即未來(lái)課堂智能教學(xué)模式，如圖5所示。在該模式中，未來(lái)課堂智能教學(xué)系統(tǒng)共包括課前、課中和課后三個(gè)階段，每個(gè)階段由教學(xué)參與者合作構(gòu)建完成，在發(fā)揮各自優(yōu)勢(shì)的基礎(chǔ)上，搭建起整體框架，精準(zhǔn)改善學(xué)生的學(xué)習(xí)態(tài)度，提升學(xué)習(xí)積極性。

智能教學(xué)系統(tǒng)層次結(jié)構(gòu)

“FCIT”教學(xué)模式

1.課前準(zhǔn)備階段

課前準(zhǔn)備階段是教學(xué)參與者對(duì)即將到來(lái)的正式教學(xué)階段可能出現(xiàn)的情況和采取何種教學(xué)手段的預(yù)估，參與人員包括指導(dǎo)教師和系統(tǒng)管理員。在此階段中，首先教師確定教學(xué)內(nèi)容及設(shè)計(jì)活動(dòng)方案，系統(tǒng)管理員則負(fù)責(zé)初始化系統(tǒng)。然后兩者合作開展創(chuàng)建卷積核圖像、確定小組人員數(shù)量、平均分配特殊學(xué)生等工作。（1）創(chuàng)建卷積核圖像：系統(tǒng)管理員可在教師的輔助下利用圖像軟件從以往小組活動(dòng)圖像中摳出具有明顯差異行為的學(xué)生輪廓，預(yù)處理后將其作為卷積核導(dǎo)入算法系統(tǒng)中，以備后續(xù)使用;（2）確定小組人員數(shù)量：應(yīng)依據(jù)未來(lái)課堂環(huán)境中已部署的攝像頭和大屏數(shù)量來(lái)確定小組人員數(shù)量。根據(jù)研究需要，每個(gè)攝像頭負(fù)責(zé)只拍攝—個(gè)小組的圖像，并且每個(gè)小組獨(dú)立使用一塊大屏進(jìn)行小組討論與展示。未來(lái)課堂中配置的攝像頭和大屏數(shù)量通常為四至五個(gè)，并且未來(lái)課堂提倡中小班額的教學(xué)方式，全班人數(shù)最好不超過(guò)40人，所以每個(gè)小組的人數(shù)應(yīng)為10人以下;（3）平均分配特殊學(xué)生：估計(jì)可能出現(xiàn)明顯差異行為的特殊學(xué)生，將這些學(xué)生平均分配到各小組中去。可能出現(xiàn)明顯差異行為的學(xué)生可通過(guò)兩種方式估計(jì)得出，即經(jīng)驗(yàn)法和測(cè)試法。經(jīng)驗(yàn)法是教師對(duì)該班級(jí)每位同學(xué)以往在未來(lái)課堂中學(xué)習(xí)的情況進(jìn)行評(píng)估，以概率的方法挑選出有可能出現(xiàn)明顯差異行為的同學(xué)?；蛘哌M(jìn)行課前小測(cè)試，以合作探究活動(dòng)測(cè)試等方法挑選出有明顯差異行為的同學(xué)，根據(jù)挑選結(jié)果，將他們平均分配到各小組中。如此，可使每個(gè)攝像頭能夠捕獲到平均數(shù)量大致相等的異常行為圖像，保證了小組同質(zhì)性并均衡系統(tǒng)負(fù)載。

2.課中教學(xué)階段

在做好課前的準(zhǔn)備工作后，便進(jìn)入正式的課中教學(xué)階段。未來(lái)課堂的教學(xué)活動(dòng)方式一般來(lái)說(shuō)采用的是“教師講解+小組協(xié)作”，先由教師對(duì)關(guān)鍵的知識(shí)點(diǎn)進(jìn)行講解，同時(shí)利用多屏環(huán)境，將有關(guān)聯(lián)的知識(shí)點(diǎn)順序呈現(xiàn)在多個(gè)大屏上，學(xué)生按自己的進(jìn)度吸收知識(shí)，以使思維不斷裂;然后教師根據(jù)教學(xué)情境提出問(wèn)題，將大屏的控制權(quán)釋放給學(xué)生，引導(dǎo)學(xué)生進(jìn)行小組協(xié)作學(xué)習(xí)，教師則以觀察者和指導(dǎo)者的身份對(duì)學(xué)生進(jìn)行管理與幫助。教師講解與小組協(xié)作可交替進(jìn)行。小組協(xié)作可考慮采用PBL（基于問(wèn)題的學(xué)習(xí)）方式開展學(xué)習(xí)活動(dòng)。PBL學(xué)習(xí)活動(dòng)既需要小組成員問(wèn)進(jìn)行互動(dòng)協(xié)作，也需要學(xué)生個(gè)體能夠進(jìn)行一定程度的自主學(xué)習(xí)。未來(lái)課堂中靈活擺放的桌椅支持協(xié)作學(xué)習(xí)的發(fā)生，給學(xué)生配置的平板電腦創(chuàng)造了自主學(xué)習(xí)的條件，每組對(duì)應(yīng)的大屏提供了便于小組討論和作品展示的可視化平臺(tái)。在未來(lái)課堂的PBL小組協(xié)作活動(dòng)中，由教師創(chuàng)設(shè)活動(dòng)情境，提出問(wèn)題，學(xué)生根據(jù)該問(wèn)題開展相應(yīng)的學(xué)習(xí)活動(dòng)。鑒于未來(lái)課堂的富技術(shù)環(huán)境，可構(gòu)建關(guān)于此情境的教學(xué)平臺(tái)，教師和學(xué)生通過(guò)手中的平板電腦登錄進(jìn)該教學(xué)平臺(tái)，以便收發(fā)相關(guān)數(shù)據(jù)資料。教師利用教師端平板發(fā)送問(wèn)題至學(xué)生端的平板，學(xué)生在接收到相關(guān)情境問(wèn)題后則進(jìn)行小組協(xié)作式探究學(xué)習(xí)（包括合作學(xué)習(xí)、自主學(xué)習(xí)及利用大屏的展示討論學(xué)習(xí)）。

在本研究的課中教學(xué)階段，參與教學(xué)合作的為指導(dǎo)教師和智能系統(tǒng)。在講解階段，由于教師所處的位置一般都在講臺(tái)上，其觀察范圍可覆蓋整個(gè)課堂，能夠較好地把控整個(gè)課堂的學(xué)習(xí)情況。所以，這段時(shí)間里智能系統(tǒng)只需發(fā)揮錄制課堂視頻的功能，不需開啟智能識(shí)別功能。在小組協(xié)作學(xué)習(xí)階段，由于教師所處的位置一般在某小組中，其觀察范圍變窄，限制了教師對(duì)整個(gè)課堂的掌握。此時(shí)，就是系統(tǒng)的智能化發(fā)揮作用的時(shí)候，讓其輔助教師對(duì)其他小組進(jìn)行觀察，以技術(shù)手段擴(kuò)展教師的感官視野。智能功能的開關(guān)，可集成到教師端PAD，方便教師自由操控。在小組協(xié)作學(xué)習(xí)中，若學(xué)生出現(xiàn)明顯差異行為，根據(jù)具身理論，可知其心理狀態(tài)可能發(fā)生了某種改變。但如果學(xué)生只是偶爾趴在桌上或伸伸懶腰等，心理狀態(tài)的改變可能是暫時(shí)性的，并不表明產(chǎn)生了顯著改變。只有當(dāng)學(xué)生較長(zhǎng)時(shí)間反復(fù)多次出現(xiàn)明顯差異行為，才能判斷其心理狀態(tài)發(fā)生了顯著變化。因此，當(dāng)智能系統(tǒng)識(shí)別并統(tǒng)計(jì)出某學(xué)生在單位時(shí)間內(nèi)出現(xiàn)的差異行為次數(shù)已超過(guò)預(yù)警值時(shí)，便立即推送—個(gè)預(yù)警信號(hào)給教師端PAD，該預(yù)警信號(hào)包括組號(hào)、單位時(shí)間內(nèi)出現(xiàn)差異行為次數(shù)等信息，并可輔以振動(dòng)等提示信號(hào)，以便教師做出及時(shí)判斷。教師在接收到預(yù)警信號(hào)后，可根據(jù)提供的內(nèi)容及當(dāng)前課堂的學(xué)習(xí)活動(dòng)狀態(tài)采取相應(yīng)的干預(yù)措施，在不對(duì)正常教學(xué)秩序產(chǎn)生重大干擾的前提下對(duì)產(chǎn)生持續(xù)明顯差異行為的學(xué)生實(shí)施干預(yù)，以幫助其調(diào)整心理狀態(tài)。學(xué)習(xí)活動(dòng)結(jié)束后，可將每組在學(xué)習(xí)活動(dòng)中產(chǎn)生明顯差異行為的相關(guān)情況以可視化的形式呈現(xiàn)在各小組對(duì)應(yīng)的大屏上，并根據(jù)統(tǒng)計(jì)數(shù)據(jù)在小組的活動(dòng)評(píng)比項(xiàng)上增減相應(yīng)的分值，以此激勵(lì)小組成員相互關(guān)懷，促進(jìn)學(xué)生集體榮譽(yù)感的增強(qiáng)。教師的課堂干預(yù)與小組活動(dòng)評(píng)比，都是為了使有持續(xù)明顯差異行為的學(xué)生的學(xué)習(xí)態(tài)度能夠從消極轉(zhuǎn)向積極，而學(xué)習(xí)態(tài)度轉(zhuǎn)變成功與否可通過(guò)隨后課程中的小組協(xié)作活動(dòng)情況統(tǒng)計(jì)得出。

3.課后評(píng)價(jià)階段

在正式的授課結(jié)束之后，應(yīng)對(duì)本次教學(xué)過(guò)程中實(shí)際產(chǎn)生的成果與預(yù)期成果之間的差距進(jìn)行評(píng)價(jià)，根據(jù)評(píng)價(jià)結(jié)果對(duì)智能教學(xué)系統(tǒng)進(jìn)行改進(jìn)。參與課后評(píng)價(jià)活動(dòng)的成員主要為指導(dǎo)教師和系統(tǒng)管理人員。教師根據(jù)系統(tǒng)給出的課堂活動(dòng)信息，以自我反思、對(duì)差異行為學(xué)生進(jìn)行面談等方式，找尋教學(xué)活動(dòng)中學(xué)生產(chǎn)生持續(xù)差異行為的可能原因，如教學(xué)設(shè)計(jì)是否周全，學(xué)生自身心理認(rèn)知是否缺失等，再根據(jù)得出的原因?qū)虒W(xué)設(shè)計(jì)、教學(xué)過(guò)程等進(jìn)行改進(jìn)，以期提高教學(xué)質(zhì)量，提升學(xué)生的學(xué)習(xí)積極性。得益于智能算法可自行學(xué)習(xí)的優(yōu)點(diǎn)，系統(tǒng)管理員針對(duì)智能系統(tǒng)的調(diào)整改進(jìn)的內(nèi)容并不多，主要集中在對(duì)硬件性能的升級(jí)及軟件參數(shù)的調(diào)整兩方面。硬件性能的升級(jí)是對(duì)現(xiàn)有未來(lái)課堂的攝像頭、后臺(tái)處理器、網(wǎng)絡(luò)規(guī)格、一體機(jī)大屏、平板電腦等進(jìn)行更新?lián)Q代，力求在學(xué)校人力財(cái)力允許的條件下達(dá)到最佳的配置要求;軟件參數(shù)的調(diào)整則主要包括兩個(gè)內(nèi)容：一是對(duì)作為卷積核的圖像進(jìn)行優(yōu)化，如學(xué)生出現(xiàn)明顯差異行為時(shí)，系統(tǒng)并沒(méi)有及時(shí)識(shí)別到，就有可能是卷積核圖像與差異行為圖像的匹配度較低，因此可考慮重新選擇更具代表性的卷積核，或?qū)σ延芯矸e核的圖像進(jìn)行調(diào)整，使其能更精準(zhǔn)地反映實(shí)際的差異行為;二是對(duì)采集圖像的單位時(shí)間和觸發(fā)預(yù)警的差異行為頻次進(jìn)行調(diào)整，單位時(shí)間過(guò)短導(dǎo)致識(shí)別到的差異行為次數(shù)過(guò)少，過(guò)長(zhǎng)則使系統(tǒng)資源消耗過(guò)大。觸發(fā)預(yù)警的差異行為頻次設(shè)置過(guò)大可能造成教師無(wú)法作出及時(shí)干預(yù)，而設(shè)置過(guò)小則可能使教師產(chǎn)生錯(cuò)誤判斷，即對(duì)偶爾出現(xiàn)的差異行為作出不必要的干預(yù)措施。因此，采集圖像單位時(shí)間長(zhǎng)度和觸發(fā)預(yù)警的差異行為次數(shù)應(yīng)依據(jù)實(shí)際的教學(xué)過(guò)程作出相應(yīng)的調(diào)整，使參數(shù)值位于合理的區(qū)間。

本研究所構(gòu)建的基于手勢(shì)識(shí)別技術(shù)的“FCIT”教學(xué)模式，是以未來(lái)課堂學(xué)習(xí)空間為環(huán)境支持，人工智能算法為診斷策略，充分協(xié)調(diào)課堂教學(xué)中各要素之間的共生關(guān)系，從信息技術(shù)的角度幫助教師及時(shí)察覺并精準(zhǔn)干預(yù)存在持續(xù)差異行為的學(xué)生，據(jù)此促進(jìn)學(xué)生的學(xué)習(xí)積極性獲得有效改善。

四、結(jié)論與展望

人工智能經(jīng)過(guò)數(shù)十年的發(fā)展壯大，已經(jīng)逐漸深入到社會(huì)的各個(gè)領(lǐng)域，在教育中的應(yīng)用也被更多的研究者所重視。而作為人工智能分支的手勢(shì)識(shí)別技術(shù)，已被地平線報(bào)告數(shù)次提到，相關(guān)的教育應(yīng)用也取得了一定的成果。教育領(lǐng)域內(nèi)針對(duì)手勢(shì)識(shí)別技術(shù)的研究，屬于多學(xué)科跨領(lǐng)域研究范疇，既包括人工智能領(lǐng)域內(nèi)的模式識(shí)別，也包括教育科學(xué)中的教學(xué)研究，同時(shí)也會(huì)涉及到心理學(xué)中的人類行為研究。將手勢(shì)識(shí)別技術(shù)融入未來(lái)課堂環(huán)境，既確保未來(lái)課堂的信息技術(shù)領(lǐng)先性，又為未來(lái)課堂的教學(xué)模式研究提供了新的視角。結(jié)合教育信息化與未來(lái)課堂的發(fā)展趨勢(shì)，對(duì)手勢(shì)識(shí)別技術(shù)更完善融入未來(lái)課堂提出以下建議。

（一）優(yōu)化智能算法

本研究參考卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建了基于計(jì)算機(jī)視覺的具備學(xué)習(xí)功能的差異行為識(shí)別系統(tǒng)，其學(xué)習(xí)功能體現(xiàn)在經(jīng)過(guò)信息前向傳遞與誤差后向傳播，利用梯度下降算法自動(dòng)更新神經(jīng)節(jié)點(diǎn)之間的連接權(quán)值，從理論匕來(lái)說(shuō)最終將達(dá)成正確識(shí)別的效果。但仍需進(jìn)行優(yōu)化，主要考慮的優(yōu)化內(nèi)容是盡量避免算法模型的欠擬合與過(guò)擬合。欠擬合是因?yàn)樗惴Ｐ瓦^(guò)于簡(jiǎn)單，表達(dá)能力不足，無(wú)法學(xué)習(xí)到足夠多的訓(xùn)練數(shù)據(jù)的特性，勢(shì)必會(huì)遺漏大量的具有差異行為的圖像。過(guò)擬合則是算法模型較復(fù)雜，對(duì)于訓(xùn)練數(shù)據(jù)擬合度非常強(qiáng)，卻可能喪失了對(duì)新數(shù)據(jù)的泛化能力，也就無(wú)法將之推廣到更多的未來(lái)課堂當(dāng)中。相對(duì)來(lái)說(shuō)，優(yōu)化欠擬合比優(yōu)化過(guò)擬合更容易實(shí)現(xiàn)。若要優(yōu)化欠擬合，只需要增加模型復(fù)雜度，如增加隱層層數(shù)、每層神經(jīng)節(jié)點(diǎn)數(shù)量等，便可得到很好的解決;而對(duì)于過(guò)擬合則不是能輕易解決的問(wèn)題，當(dāng)前主流解決方案是迭代次數(shù)截?cái)唷⑸窠?jīng)元去除、數(shù)據(jù)集擴(kuò)增等方法，這些方法只是從一定程度上避免了過(guò)擬合，并未完全解決問(wèn)題。因此，關(guān)于算法模型的優(yōu)化，應(yīng)該根據(jù)未來(lái)課堂實(shí)際教學(xué)環(huán)境、教學(xué)過(guò)程等進(jìn)行有針對(duì)性的調(diào)整，這將是下一步繼續(xù)研究的主要內(nèi)容。

（二）擴(kuò)展應(yīng)用范圍

以培養(yǎng)學(xué)生創(chuàng)新能力，提倡動(dòng)手實(shí)作的創(chuàng)客教育正在全球廣泛開展，未來(lái)課堂也已加入創(chuàng)客教育的行列，構(gòu)建了基于富技術(shù)、以人為本特性的未來(lái)課堂創(chuàng)客教育空間。創(chuàng)客教育是培養(yǎng)學(xué)習(xí)者成為具有創(chuàng)新精神和創(chuàng)新實(shí)踐能力的教育，創(chuàng)新離不開動(dòng)腦，實(shí)踐離不開動(dòng)手，學(xué)生們通過(guò)合理的用腦，靈巧的動(dòng)手，創(chuàng)造出既新穎有趣，又富含科學(xué)知識(shí)的創(chuàng)意產(chǎn)品，這便是創(chuàng)客教育的核心宗旨。將手勢(shì)識(shí)別技術(shù)融入未來(lái)課堂創(chuàng)客教育，可從腦和手兩方面促進(jìn)學(xué)生的創(chuàng)新能力。學(xué)生們?yōu)榱耸煜だ斫馐謩?shì)識(shí)別設(shè)備，勢(shì)必會(huì)對(duì)其構(gòu)件、原理等進(jìn)行鉆研，這就涉及到對(duì)計(jì)算機(jī)程序、人工智能算法等的學(xué)習(xí)。通過(guò)此類學(xué)習(xí)，學(xué)生腦內(nèi)的信息技術(shù)認(rèn)知得到建構(gòu)，培養(yǎng)了計(jì)算思維習(xí)慣，對(duì)人工智能算法有了初步的印象，使其能夠更快地適應(yīng)當(dāng)今飛速發(fā)展的信息社會(huì)。當(dāng)前的未來(lái)課堂創(chuàng)客教育，在培養(yǎng)學(xué)生合理的動(dòng)腦方面已有所實(shí)施，如機(jī)器人項(xiàng)目中的scratch系統(tǒng)工具等，就是以培養(yǎng)學(xué)生程序設(shè)計(jì)能力為目標(biāo)。然而，對(duì)于學(xué)生動(dòng)手搭建產(chǎn)品動(dòng)作背后所隱喻的心理特征并未進(jìn)行詳細(xì)的研究。引入手勢(shì)識(shí)別技術(shù)后，可以通過(guò)傳感器對(duì)學(xué)生搭建過(guò)程中手部或身體動(dòng)作的捕獲，在心理學(xué)理論的指導(dǎo)下對(duì)捕獲的數(shù)據(jù)進(jìn)行分析處理，推測(cè)出學(xué)生在搭建活動(dòng)中所反映的心理狀態(tài)，為探究學(xué)生在未來(lái)課堂創(chuàng)客教育活動(dòng)中的心理特點(diǎn)提供重要的參考意見，以此提高學(xué)生手部動(dòng)作的熟練度和增強(qiáng)創(chuàng)造能力。

綜上所述，將人工智能中的手勢(shì)識(shí)別技術(shù)融入未來(lái)課堂教學(xué)是未來(lái)課堂發(fā)展的必然趨勢(shì)，從技術(shù)層面和教學(xué)模式層面都起到積極的提升作用。而對(duì)于智能算法的優(yōu)化、應(yīng)用范圍的擴(kuò)展將成為后續(xù)研究的目標(biāo)。