劉沛然

（西安工業(yè)大學(xué)，陜西西安 710021）

大數(shù)據(jù)、物聯(lián)網(wǎng)以及人工智能技術(shù)的興起，推動了智能教育的發(fā)展。多模態(tài)數(shù)據(jù)融合逐漸受到智能教育領(lǐng)域相關(guān)人員的重視，作為一種新型數(shù)據(jù)融合技術(shù)，不僅有效還原了教學(xué)過程全貌，還可以深層次探究教育發(fā)展規(guī)律。

1 多模態(tài)數(shù)據(jù)類型與策略

1.1 多模態(tài)數(shù)據(jù)類型

外在行為表征數(shù)據(jù)主要包括行為個體的話語、表情、身體姿態(tài)、慣性動作等。在實際研究中，常見的外在行為表征數(shù)據(jù)主要有兩種：一種是文本、語言和視頻的多模態(tài)數(shù)據(jù)；另一種是基于面部標(biāo)簽和身體姿態(tài)的多模態(tài)數(shù)據(jù)。通過對各類數(shù)據(jù)的融合分析，可以有效識別個體的行為表現(xiàn)以及心理活動[1-2]。

內(nèi)在神經(jīng)生理信息數(shù)據(jù)主要源自多模態(tài)生物識別技術(shù)的應(yīng)用，通過各種外部的智能傳感設(shè)備，研究相關(guān)主體的身體健康指標(biāo)、行為指標(biāo)等，如腦電波、激素分泌水平、心率、呼吸等。通過對此類生理信息的采集，完成對行為主體的情緒特征和心理波動情況判別。

人機交互數(shù)據(jù)主要是行為主體與系統(tǒng)、線上平臺、移動端等界面完成交互操作后形成的行為數(shù)據(jù)，如文本輸入、慣性瀏覽、壓感、電觸反饋等等[3]。利用多模態(tài)人機交互數(shù)據(jù)，可以實現(xiàn)對主體活動的有效推測。

情境感知數(shù)據(jù)主要是對個體在特定時空情境下單一特征的表述，可以利用多源異構(gòu)數(shù)據(jù)，實現(xiàn)對情境的刻畫，構(gòu)成人、機、物、環(huán)境要素的精準(zhǔn)測評[4]。

1.2 多模態(tài)數(shù)據(jù)融合策略

多模態(tài)數(shù)據(jù)主要利用信號傳輸中的數(shù)據(jù)判別以及計算機處理單元的深度學(xué)習(xí)功能，實現(xiàn)不同模態(tài)數(shù)據(jù)的綜合分析，利用不同模態(tài)數(shù)據(jù)的互補機制提取有效信息?，F(xiàn)階段，多模態(tài)數(shù)據(jù)融合的策略主要包括以下三種。

（1）數(shù)據(jù)級融合策略。將多模態(tài)數(shù)據(jù)融合成為單一特征矩陣，并輸入到分類器當(dāng)中，進行模擬訓(xùn)練，實現(xiàn)對個體特征的精準(zhǔn)識別。一般來說，數(shù)據(jù)級融合要求多個傳感器是同質(zhì)的（傳感器觀測的是同一物理量），否則需要進行尺度校準(zhǔn)。數(shù)據(jù)級融合不存在數(shù)據(jù)丟失的問題，得到的結(jié)果也較為準(zhǔn)確，但對系統(tǒng)通信的穩(wěn)定性要求較高。

（2）特征級融合策略。將不同的模態(tài)數(shù)據(jù)進行有效轉(zhuǎn)化，使數(shù)據(jù)成為高維特征表達，利用不同模態(tài)數(shù)據(jù)在高維空間的共性特征，選擇合理位置，對數(shù)據(jù)完成融合。特征級融合可大致為兩類：目標(biāo)狀態(tài)融合、目標(biāo)特性融合。

前者主要應(yīng)用于多傳感器的目標(biāo)跟蹤領(lǐng)域，后者是特征層聯(lián)合識別，即特征模式識別。

（3）決策級融合策略，根據(jù)模態(tài)數(shù)據(jù)的類型，選擇合適的分類器，進行有效數(shù)據(jù)邏輯判定，然后將每種模態(tài)分類器輸出的標(biāo)簽值，進行打分，最終融合。常用的方式包括貝葉斯規(guī)則融合、平均值融合等[5]。

決策層融合在信息處理方面具有較高的靈活性，系統(tǒng)對信息傳輸穩(wěn)定性要求較低，能夠有效地融合環(huán)境特征并做出反應(yīng)，可以有效處理不同類型信息和非同步信息。

常用的數(shù)據(jù)融合方法及特征如表1所示。通常使用的方法確定，將依照應(yīng)用環(huán)境的不同，完成選擇。由于各種技術(shù)之間的互補性，實際上常用兩種或多種方法組合的形式，完成多傳感器數(shù)據(jù)融合。

表1 常用數(shù)據(jù)融合方法

2 多模態(tài)數(shù)據(jù)融合在智能教育領(lǐng)域的應(yīng)用策略

2.1 通過多模態(tài)數(shù)據(jù)，實現(xiàn)人機交互分析

隨著智能導(dǎo)學(xué)系統(tǒng)、教育機器人等智能教育產(chǎn)品的推廣和應(yīng)用，學(xué)習(xí)過程中人機交互動作也越發(fā)頻繁，使可獲取的交互數(shù)據(jù)呈指數(shù)級增長。多模態(tài)人機交互分析能夠?qū)崿F(xiàn)對學(xué)習(xí)者的學(xué)習(xí)行為分析判定以及心理狀態(tài)的分析，進而充分了解行為人的實際意圖，以提供更為精準(zhǔn)的個性化服務(wù)。傳統(tǒng)的導(dǎo)學(xué)系統(tǒng)主要基于計算機外部設(shè)備實現(xiàn)交互動作，而在多模態(tài)交互當(dāng)中，可以將外部設(shè)備的敲擊、搖動等動作輸入數(shù)據(jù)庫基礎(chǔ)處理反饋單元，結(jié)合指壓、電觸等完成信息獲取，并在數(shù)據(jù)分析單元完成融合，經(jīng)判定后形成有效的模擬數(shù)據(jù)，從而輔助分析行為人的學(xué)習(xí)過程、學(xué)習(xí)效果等[6-7]。通過對學(xué)習(xí)過程中的身體姿態(tài)、表情、腦電以及人體神經(jīng)元的弱點反饋等數(shù)據(jù)進行匯總“觀察”，還可實現(xiàn)多模態(tài)交互。而人工錄入系統(tǒng)的統(tǒng)計數(shù)據(jù)（如自我認知、心理測評等內(nèi)容）經(jīng)在多模態(tài)框架融合后，可構(gòu)建面向?qū)W習(xí)者的情緒測評與認知分析系統(tǒng)，輔助進行定向思維引導(dǎo)。結(jié)合血壓監(jiān)測儀、腦電圖、眼動儀等，識別學(xué)習(xí)者的生物信息，以此為學(xué)習(xí)者提供符合“慣性”行為的學(xué)習(xí)方式。對傳統(tǒng)的教育機器人，可以結(jié)合智能數(shù)據(jù)應(yīng)用，構(gòu)建人臉識別、語義識別以及語言組織與學(xué)習(xí)系統(tǒng)，在完成交互動作的同時，提升“動態(tài)”興趣。采集學(xué)習(xí)者的語音、動作、特征標(biāo)簽等，使學(xué)習(xí)者在與“學(xué)習(xí)型”機器人的交流互動當(dāng)中，形成語言能力和邏輯能力提升的良性循環(huán)。

2.2 通過多模態(tài)數(shù)據(jù)，實現(xiàn)學(xué)習(xí)中情緒識別

在多模態(tài)數(shù)據(jù)融合當(dāng)中，通過自然語言處理、生物信息識別、語音識別、計算機視覺等，可詳細記錄“學(xué)習(xí)行為”過程中的心跳、眼動、語言、表情以及肢體動作等，并將此類數(shù)據(jù)進行整合，判定學(xué)習(xí)情緒，深入挖掘“學(xué)習(xí)行為”的動機、興趣點及投入情況等[8-9]。通過獲取學(xué)習(xí)中的血壓、心率、腦電信號等多模態(tài)情感數(shù)據(jù)，可以判別出好奇、無聊、期待、困惑等情緒。基于系統(tǒng)的識別判定結(jié)果，及時地發(fā)現(xiàn)問題，并給予改正。此外，通過多模態(tài)數(shù)據(jù)，也可以對學(xué)生的學(xué)習(xí)興趣自動監(jiān)測，隨時了解在學(xué)習(xí)過程中出現(xiàn)的不同程度的情緒變化，完成數(shù)據(jù)統(tǒng)計，并進行對比分析，輸出判定結(jié)果數(shù)據(jù)，再根據(jù)數(shù)據(jù)對教學(xué)方法進行調(diào)整。與傳統(tǒng)教學(xué)過程中的情緒疏導(dǎo)與心理健康評測相比，這一模式更具有客觀性和精準(zhǔn)性。

2.3 通過多模態(tài)數(shù)據(jù)，實現(xiàn)學(xué)習(xí)投入與監(jiān)測識別

學(xué)習(xí)過程中，“投入程度”作為重要的人為測評指標(biāo)，現(xiàn)階段仍無法實現(xiàn)有效量化，但是借助多模態(tài)數(shù)據(jù)融合，經(jīng)人工測評錄入以及模擬分析能夠?qū)Α巴度氤潭取蓖瓿苫A(chǔ)量化分析，結(jié)合參考標(biāo)準(zhǔn)對數(shù)據(jù)結(jié)果給予評定?？梢詫⒚娌勘砬閿?shù)據(jù)、紅外圖像數(shù)據(jù)、鼠標(biāo)點擊數(shù)據(jù)等，整合為多模態(tài)數(shù)據(jù)集，通過CNN方法，對學(xué)習(xí)過程當(dāng)中的具體參與情況，進行檢測，借助融合分析，得出學(xué)生的學(xué)習(xí)投入情況[10]。在多模態(tài)數(shù)據(jù)當(dāng)中，還可以對完整學(xué)習(xí)過程的行為投入、認知投入以及情感投入進行綜合測評，以頻譜分析或顏色（深淺）圖像將判定成果以不同形式展示，能夠更直觀地獲取“投入程度”的數(shù)據(jù)分布，實現(xiàn)外部特征信息和生理特征信息的充分融合。

此外，在多模態(tài)數(shù)據(jù)融合下，可以根據(jù)學(xué)習(xí)過程中內(nèi)在生理信息和外顯行為的結(jié)合，了解學(xué)習(xí)表現(xiàn)情況。如通過設(shè)定不同的游戲環(huán)節(jié)，構(gòu)建面部表情、眼動、點擊流等相關(guān)的多模態(tài)數(shù)據(jù)集，通過Lasso回歸模型等方式，實現(xiàn)對學(xué)習(xí)過程中技能發(fā)展情況以及任務(wù)處理能力的判定。利用學(xué)生在不同類型場合的出席次數(shù)、座位排布、注意力集中情況、課業(yè)時長等行為表現(xiàn)和交互數(shù)據(jù)，構(gòu)建多模態(tài)數(shù)據(jù)集，結(jié)合計算機系統(tǒng)的學(xué)習(xí)與分析能力，充分了解學(xué)生在混合課堂模式下可能出現(xiàn)的各類表現(xiàn)，因材施教。

3 結(jié)語

隨著社會的發(fā)展，多模態(tài)數(shù)據(jù)融合逐漸成為大數(shù)據(jù)分析和人工智能領(lǐng)域研究的重要內(nèi)容。文章在闡述的多模態(tài)數(shù)據(jù)融合的基本特征和內(nèi)容的同時，引入教育領(lǐng)域的數(shù)字化建設(shè)以及交互數(shù)據(jù)融合，對發(fā)展和研究方向進行簡要闡述，對研究多模態(tài)數(shù)據(jù)融合的應(yīng)用及發(fā)展理念具有一定的現(xiàn)實意義。