吳彥文，邵風(fēng)華，葛 迪，韓 園，熊栩捷，陳美依，杜昱銘

（1.華中師范大學(xué) 國家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心；2.華中師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院，湖北 武漢 430079；3.武漢朱雀聞天科技有限公司，湖北 武漢 430000）

0 引言

圍繞學(xué)習(xí)個(gè)體展開精準(zhǔn)化教學(xué)診斷是提高教學(xué)質(zhì)量的關(guān)鍵［1］。其中，評(píng)估學(xué)習(xí)投入是精準(zhǔn)化教學(xué)診斷的重要內(nèi)容之一［2-3］。學(xué)習(xí)投入是指個(gè)體表現(xiàn)出的充沛精力、靈活性、熱情及心理韌性［4］，是學(xué)習(xí)過程的重要特征變量［5］。當(dāng)前，大量研究仍圍繞傳統(tǒng)方法的組合或迭代探索學(xué)習(xí)投入測量指標(biāo)，基于多模態(tài)數(shù)據(jù)表征學(xué)習(xí)投入狀態(tài)的研究較少［6］。多模態(tài)數(shù)據(jù)融合能利用數(shù)據(jù)間的信息互補(bǔ)機(jī)制［7-8］，從多維時(shí)空尺度實(shí)現(xiàn)精準(zhǔn)刻畫學(xué)習(xí)投入［9-10］。因此，如何利用數(shù)據(jù)間的三角互證關(guān)系精準(zhǔn)刻畫學(xué)習(xí)投入狀態(tài)是現(xiàn)階段亟需解決的問題。

本文助力教師精準(zhǔn)評(píng)測學(xué)生學(xué)習(xí)狀態(tài)，擬建立基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)投入測評(píng)框架，聯(lián)合文本模態(tài)與視覺模態(tài)數(shù)據(jù)輸出多維度學(xué)習(xí)投入特征值的分類結(jié)果，最終將實(shí)現(xiàn)學(xué)習(xí)投入畫像的可視化效果，為教學(xué)診斷提供新視角。同時(shí)，為了驗(yàn)證模型的有效性，將依托華中師范大學(xué)“小雅”平臺(tái)采集學(xué)習(xí)數(shù)據(jù)并開展教學(xué)實(shí)踐。

1 學(xué)習(xí)投入相關(guān)研究

學(xué)習(xí)投入作為學(xué)習(xí)評(píng)估重要的觀測指標(biāo)［11］，涵蓋了行為、認(rèn)知、情感等因素［12］。張治等［13］構(gòu)建學(xué)習(xí)行為投入測量指標(biāo)，發(fā)現(xiàn)行為投入與學(xué)業(yè)成績間存在顯著關(guān)系。當(dāng)學(xué)習(xí)行為從個(gè)體行為轉(zhuǎn)向涵蓋協(xié)作與討論活動(dòng)的社會(huì)性行為，學(xué)習(xí)投入研究也面臨著從“個(gè)體—外顯特征”向“群體—內(nèi)隱特征”轉(zhuǎn)型。在早期研究中，馬志強(qiáng)等［14］發(fā)現(xiàn)社會(huì)性學(xué)習(xí)行為和情感投入、認(rèn)知投入存在顯著相關(guān)性。隨后，研究發(fā)現(xiàn)多模態(tài)數(shù)據(jù)分析能實(shí)現(xiàn)學(xué)習(xí)行為與各類投入間的量化測評(píng)。王小根等［15］基于多模態(tài)數(shù)據(jù)探索了情感投入與協(xié)作學(xué)習(xí)間的內(nèi)在規(guī)律，實(shí)現(xiàn)了學(xué)習(xí)者的情感狀態(tài)識(shí)別。田浩等［16］基于多模態(tài)表征框架量化得到協(xié)作認(rèn)知投入數(shù)值。

從多維學(xué)習(xí)投入分析出發(fā)，吳軍其等［17］從行為、認(rèn)知和情感維度構(gòu)建協(xié)作學(xué)習(xí)投入度分析模型，發(fā)現(xiàn)每一模態(tài)數(shù)據(jù)均具有與學(xué)習(xí)投入度呈相關(guān)關(guān)系的特征變量。然而，不同學(xué)習(xí)者在各維度的投入并不均衡，基于各維度的學(xué)習(xí)投入分析將更細(xì)致地表征學(xué)習(xí)者。李新等［18］將行為投入、認(rèn)知投入和社會(huì)投入納入?yún)f(xié)同學(xué)習(xí)投入表征模型，發(fā)現(xiàn)各維度間的學(xué)習(xí)投入存在一定的內(nèi)生關(guān)系。以上研究表明，學(xué)習(xí)投入測評(píng)對(duì)評(píng)估學(xué)習(xí)者學(xué)習(xí)狀態(tài)具有積極作用，當(dāng)前研究主要聚焦于多模態(tài)數(shù)據(jù)下行為投入、認(rèn)知投入、情感投入和社交投入，但在學(xué)習(xí)行為模式、多維投入層次和教學(xué)實(shí)踐探索等整體結(jié)構(gòu)性方面仍存在研究空間。

綜上所述，本文將綜合分析不同學(xué)習(xí)活動(dòng)產(chǎn)生的數(shù)據(jù)，基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)投入表征模型從學(xué)習(xí)者的不同投入維度特征劃分學(xué)習(xí)群體，輔助開展后續(xù)教學(xué)活動(dòng)。相較于以往研究而言，本文采用多特征融合的學(xué)習(xí)投入模型預(yù)測學(xué)生不同維度的投入特征，并在協(xié)作學(xué)習(xí)模式上采取分組策略研究，以期在教學(xué)實(shí)踐應(yīng)用方面有所突破。

2 多模態(tài)數(shù)據(jù)下的學(xué)習(xí)投入表征模型

本文從多維時(shí)空信息源出發(fā)，利用多模態(tài)數(shù)據(jù)互相輔助、監(jiān)督不同模態(tài)的語義信息，得到多維投入的高低特征。同時(shí)，將融合后的特征向量作為學(xué)習(xí)者的隱向量，實(shí)現(xiàn)學(xué)習(xí)投入特征分類，以提高教學(xué)診斷的細(xì)度。

2.1 多模態(tài)數(shù)據(jù)采集與預(yù)處理

本文以信息技術(shù)與物理課程整合課程為例，依托“小雅”平臺(tái)智能采集多模態(tài)數(shù)據(jù)，從參與行為、社會(huì)網(wǎng)絡(luò)、認(rèn)知、情感4 個(gè)維度構(gòu)建學(xué)習(xí)者的學(xué)習(xí)投入特征畫像，具體數(shù)據(jù)流程框架如圖1所示。

圖1 中s1為教學(xué)資源的獲取與利用，s2為信息化教學(xué)工具的運(yùn)用，s3為移動(dòng)教學(xué)模式下的教學(xué)設(shè)計(jì)，s4為小組協(xié)同模式下的教學(xué)設(shè)計(jì)，s5為基于社會(huì)化軟件的教學(xué)實(shí)踐，s6為信息化環(huán)境下的教學(xué)評(píng)價(jià)。在每次課程中，s1-s6過程均包括多個(gè)具體的學(xué)習(xí)活動(dòng)，且交織形成多模態(tài)學(xué)習(xí)行為數(shù)據(jù)。例如，信息化教學(xué)環(huán)境下的教學(xué)評(píng)價(jià)的知識(shí)點(diǎn)課程教學(xué)過程中，學(xué)習(xí)活動(dòng)包括觀看發(fā)布的視頻、提交自評(píng)和互評(píng)作業(yè)、在討論區(qū)參與發(fā)帖等。通過采集與后期分析處理多模態(tài)數(shù)據(jù)，能最大限度客觀全面地還原學(xué)生學(xué)習(xí)過程。

Fig.1 Data flow framework of multi-learning engagement feature portrait圖1 多維學(xué)習(xí)投入特征畫像的數(shù)據(jù)流程框架

本文采取Scrapy+Selenium 數(shù)據(jù)爬取方案，從“小雅”平臺(tái)上獲取靜態(tài)、動(dòng)態(tài)頁面數(shù)據(jù)，解析得到目標(biāo)元素。其中，文本資源主要包括協(xié)作學(xué)習(xí)文本、教學(xué)設(shè)計(jì)文本、在線平臺(tái)日志、調(diào)查問卷、自評(píng)互評(píng)文本；視頻資源包括教學(xué)實(shí)踐視頻和協(xié)作學(xué)習(xí)視頻。爬取數(shù)據(jù)后，通過數(shù)據(jù)清洗提高數(shù)據(jù)質(zhì)量，主要步驟為：①去除重復(fù)數(shù)據(jù)、噪音數(shù)據(jù)和臟數(shù)據(jù)；②補(bǔ)全填充缺失數(shù)據(jù)；③依據(jù)資源ID 合并資源屬性。

由于教學(xué)設(shè)計(jì)文本的語義表達(dá)相對(duì)專業(yè)、視頻語音信息的語義表達(dá)更通俗，借助視覺數(shù)據(jù)補(bǔ)充能更準(zhǔn)確地對(duì)齊多模態(tài)數(shù)據(jù)并表征視頻內(nèi)容。為此，針對(duì)視頻數(shù)據(jù)的預(yù)處理主要包括以下3 點(diǎn)：①根據(jù)教學(xué)設(shè)計(jì)文本，將視頻分割為語義相對(duì)完整的片段；②從視頻片段中抽取最能表征該片段特點(diǎn)的關(guān)鍵幀；③處理分割后的視頻片段，形成一段字幕文本。經(jīng)過數(shù)據(jù)爬取、清洗和預(yù)處理過程，將存儲(chǔ)具有語義結(jié)構(gòu)的數(shù)據(jù)，作為學(xué)習(xí)投入特征提取的基點(diǎn)。

2.2 多特征融合的學(xué)習(xí)投入模型

多特征融合的學(xué)習(xí)投入模型主要由基于Transformer［19］的文本特征提取器、基于FasterR-CNN［20］的圖像特征提取器和多模態(tài)融合組件3 個(gè)部分構(gòu)成。具體的，本文使用詞級(jí)預(yù)訓(xùn)練Transformer 提取文本語義特征生成隱層特征向量；采用FasterRCNN 檢測視頻中與信息化教學(xué)行為相關(guān)的目標(biāo)；通過多模態(tài)融合組件得到學(xué)習(xí)者特征向量并實(shí)現(xiàn)分類預(yù)測。模型整體架構(gòu)如圖2所示。

Fig.2 Multi feature fusion learning engagement model architecture圖2 多特征融合的學(xué)習(xí)投入模型架構(gòu)

2.2.1 Transformer文本特征提取器

由于學(xué)習(xí)文本數(shù)據(jù)為短文本，本文采用Transformer 提取特征。例如給定一個(gè)教學(xué)設(shè)計(jì)文本序列X={ω1，ω2，…，ωi}，其中ωi為輸入序列的詞語，i∈[1，n]，具體建模方法為：

模型輸入ωi經(jīng)過嵌入層We處理后，轉(zhuǎn)換為低維稠密的特征向量，向量維度為dmodel。采用與Transformer 原文一致的位置編碼，將初始化詞的嵌入ei和位置嵌入pi相加，通過Multi-head attention 挖掘文本信息hi。為充分挖掘文本數(shù)據(jù)到多維學(xué)習(xí)投入特征，本文對(duì)學(xué)習(xí)文本編碼的訓(xùn)練目標(biāo)是最小化網(wǎng)絡(luò)損失函數(shù)：①輸入文本信息hi，經(jīng)過平均池化后預(yù)測學(xué)習(xí)投入標(biāo)簽類目；②將輸入文本信息的15%采用隨機(jī)遮蔽處理，使用Mask 標(biāo)記替代，通過預(yù)測缺失提高語義表征能力。

2.2.2 FasterRCNN圖像特征提取器

物理教學(xué)實(shí)踐視頻由任意大小P×Q的圖像拼接而成，將關(guān)鍵幀圖像縮放到固定大小M×N后輸入特征提取網(wǎng)絡(luò)，經(jīng)過POI Pooling 得到候選區(qū)域特征圖，使用全連接層映射到固定維度。

其中，F(xiàn)v為全連接層，vj為FasterR-CNN 的卷積特征，為固定維度后的特征。

2.2.3 Attention多模態(tài)融合

將文本特征hi與圖像特征rj進(jìn)行融合，并挖掘多模態(tài)間的關(guān)聯(lián)。計(jì)算學(xué)習(xí)文本中對(duì)應(yīng)詞與圖像中對(duì)應(yīng)區(qū)域間的相關(guān)度Si，j。

其中，為hi的轉(zhuǎn)置。

由于學(xué)習(xí)活動(dòng)中的文本與關(guān)鍵幀圖像存在內(nèi)在關(guān)系，因此對(duì)齊文本語義信息與關(guān)鍵幀圖像的視覺信息。

其中，為詞的視覺信息表示為關(guān)鍵幀圖像的語義信息表示。

為保證不同量綱數(shù)值相乘的有效性，相同運(yùn)算文本模態(tài)與視頻模態(tài)中的單個(gè)分量，采用Softmax 對(duì)注意力得分進(jìn)行歸一化處理。

隨后，采用同一個(gè)投影層對(duì)拼接后的矩陣進(jìn)行投影映射。

2.2.4 分類標(biāo)簽輸出

經(jīng)過參數(shù)矩陣Fe得到學(xué)習(xí)者特征向量Uf，最大池化大小為1 ×dmodel，步長為1。將Uf作為隱藏向量經(jīng)過全連接層Ff，得到模型預(yù)測的學(xué)習(xí)投入類別。

3 實(shí)踐結(jié)果與分析

本文選取華中師范大學(xué)物理科學(xué)與技術(shù)學(xué)院近3 年390 名師范生，整合信息技術(shù)與物理課程48 752 條有效數(shù)據(jù)進(jìn)行學(xué)習(xí)投入畫像研究。

3.1 在教學(xué)診斷評(píng)估中的應(yīng)用

學(xué)習(xí)投入畫像能輔助教師監(jiān)測、了解學(xué)生學(xué)習(xí)態(tài)度和行為分布狀況，有利于教師實(shí)施教學(xué)干預(yù)，促進(jìn)學(xué)生學(xué)業(yè)成就。為便于教師教學(xué)診斷應(yīng)用，本文實(shí)現(xiàn)了學(xué)習(xí)投入特征的可視化呈現(xiàn)。同時(shí)，根據(jù)分類標(biāo)簽將學(xué)習(xí)者劃分為高投入團(tuán)結(jié)型、高投入散漫型、中投入普通型、低投入團(tuán)結(jié)型和低投入散漫型5 類。限于篇幅，本文僅以A 學(xué)習(xí)者為例展示學(xué)習(xí)投入畫像，如圖3所示。

Fig.3 Learning engagement portrait of student A圖3 A學(xué)習(xí)者的學(xué)習(xí)投入畫像

由圖3 可見，高投入團(tuán)結(jié)型群體占比12.3%，該群體善于在協(xié)作中提出問題，具備較強(qiáng)的思辯能力，教師可讓其擔(dān)任小組協(xié)作的主導(dǎo)者；高投入散漫型群體占比21.5%，該群體在協(xié)作學(xué)習(xí)中往往被動(dòng)接受信息，但個(gè)體學(xué)習(xí)行為突出，教師可引導(dǎo)其認(rèn)識(shí)協(xié)作的意義，促使學(xué)生投入?yún)f(xié)作共建；中投入普通型群體占比43.9%，該群體個(gè)性不突出，教師應(yīng)加強(qiáng)關(guān)注該類學(xué)生，激發(fā)其學(xué)習(xí)興趣，促使學(xué)生向高投入團(tuán)結(jié)型轉(zhuǎn)化；低投入團(tuán)結(jié)型群體占比9.2%，該群體有時(shí)存在學(xué)習(xí)困難，但積極參與協(xié)作，教師可實(shí)施目標(biāo)分層與作業(yè)分層，提高學(xué)生自我效能感；低投入散漫型群體占比13.1%，該群體的行為參與度與學(xué)習(xí)需求度均有所欠缺，教師應(yīng)適時(shí)采取直接教學(xué)干預(yù)和督學(xué)檢查措施。

綜上，基于學(xué)習(xí)投入畫像的診斷評(píng)估方法可幫助教師快速、精準(zhǔn)地了解學(xué)生學(xué)習(xí)投入狀況，促進(jìn)教師分類分層教學(xué)，為協(xié)作分組提供決策依據(jù)，具有一定的現(xiàn)實(shí)意義。

3.2 在協(xié)作分組策略中的應(yīng)用

學(xué)習(xí)者的學(xué)習(xí)投入特征是從多模態(tài)數(shù)據(jù)中抽象出的個(gè)人特質(zhì)?；诮M間同質(zhì)、組內(nèi)異質(zhì)的分組策略開展協(xié)同學(xué)習(xí)，能有效開展合作學(xué)習(xí)。為此，本文要求學(xué)生以5 人為單位完成一份教學(xué)設(shè)計(jì)，每組角色包括提問者、回答者、爭論者、協(xié)調(diào)者和反思者。實(shí)驗(yàn)選取40 名學(xué)生組成對(duì)照組和實(shí)驗(yàn)組各4 個(gè)。其中，對(duì)照組采取隨機(jī)分組方式；實(shí)驗(yàn)組提問者選取高投入團(tuán)結(jié)型學(xué)生，其余4 名成員分別來自其他4 個(gè)類型。為了保證基于投入特征的協(xié)作分組有效性，實(shí)驗(yàn)結(jié)束后分析8 個(gè)小組的學(xué)習(xí)效果（見圖4），然后對(duì)兩組學(xué)生開展?jié)M意度評(píng)價(jià)調(diào)查，如表1所示。

Fig.4 Learning situation analysis of differentiation team圖4 差異化小組學(xué)情統(tǒng)計(jì)

Table 1 Student satisfaction evaluation form in grouping strategy表1 學(xué)生分組滿意度評(píng)價(jià)表

由圖4、表1 可見，不同分組策略將影響協(xié)作學(xué)習(xí)效果。實(shí)驗(yàn)組中，高投入團(tuán)結(jié)型學(xué)生作為提問者充分發(fā)揮了學(xué)生主體作用；高投入散漫型和低投入團(tuán)結(jié)型學(xué)生形成優(yōu)勢互補(bǔ)，促進(jìn)了學(xué)生投入風(fēng)格的“相互強(qiáng)化”；中投入普通型和低投入散漫型學(xué)生的角色責(zé)任落實(shí)明確，參與積極性顯著提高。因此，教師基于學(xué)習(xí)投入特征進(jìn)行協(xié)作分組，采用互補(bǔ)方式劃分小組將有利于學(xué)生培養(yǎng)責(zé)任感，角色分工更明確，整體向協(xié)作精神更強(qiáng)的趨勢轉(zhuǎn)換。

4 結(jié)語

由于多模態(tài)學(xué)習(xí)數(shù)據(jù)極大豐富了學(xué)習(xí)投入的特征表示，本文提出基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)投入特征模型。隨后根據(jù)學(xué)習(xí)投入畫像進(jìn)行診斷評(píng)估，以期為教師實(shí)施個(gè)性化教學(xué)與協(xié)作分組策略提供參考，提升了學(xué)生投入水平和協(xié)作精神。

隨著信息化教學(xué)與學(xué)科知識(shí)的深度融合，下一階段將主要關(guān)注基于學(xué)習(xí)投入的認(rèn)知圖譜助力教師“以學(xué)定教”。從學(xué)習(xí)投入特征中挖掘?qū)W習(xí)目標(biāo)達(dá)成情況、學(xué)習(xí)偏好和認(rèn)知水平等屬性。對(duì)于未達(dá)成的學(xué)習(xí)目標(biāo)，利用認(rèn)知圖譜歸因分析能有效輔助教師進(jìn)行教學(xué)診斷，提升協(xié)作分組活動(dòng)的效率。