摘要：計算機視覺技術(shù)的發(fā)展為解決多媒體教學中學生的課堂學習行為分析提供了新的思路。概述了多媒體教學系統(tǒng)的構(gòu)成、計算機視覺技術(shù)的基本原理以及課堂學習行為分析的主要需求，闡述了基于計算機視覺的課堂學習行為分析系統(tǒng)的總體架構(gòu)設計、多媒體教學設備集成方案、視覺算法選擇、學習行為數(shù)據(jù)采集與預處理、學習行為特征提取與表示以及學習行為分析與評估模型構(gòu)建等關(guān)鍵技術(shù)，最后評估了該系統(tǒng)在不同教學場景下的性能表現(xiàn)。

關(guān)鍵詞：多媒體教學；行為分析；計算機視覺；特征提取

一、前言

多媒體教學系統(tǒng)集合了計算機、網(wǎng)絡、音視頻等技術(shù)，為教學活動提供了豐富、直觀、生動的教學資源和手段。課堂學習行為分析是教學的重要環(huán)節(jié)，通過觀察、記錄和分析學生學習行為，教師可以有針對性地調(diào)整教學策略。傳統(tǒng)的多媒體教學系統(tǒng)側(cè)重教學內(nèi)容的呈現(xiàn)，行為分析依賴教師的主觀觀察和經(jīng)驗判斷，存在效率低、主觀性強等問題。計算機視覺（Computer Vision）是人工智能領域的重要分支，用算法分析和理解圖像、視頻數(shù)據(jù)，感知理解現(xiàn)實世界。將計算機視覺技術(shù)應用于課堂學習行為分析，可以捕捉、跟蹤和分析學生的學習行為，從而客觀評測學生學習狀態(tài)。

二、相關(guān)技術(shù)概述

（一）多媒體教學系統(tǒng)構(gòu)成

多媒體教學系統(tǒng)是集成了計算機硬件、軟件、網(wǎng)絡通信、音視頻處理等技術(shù)的復雜系統(tǒng)，硬件部分通常由教師端計算機、學生端計算機、服務器、交換機、路由器、投影儀、電子白板、音響、攝像頭等設備組成。教師端計算機控制教學內(nèi)容的呈現(xiàn)和交互，學生端用于接收和顯示教學內(nèi)容，完成互動練習。系統(tǒng)的核心功能是處理課程管理、教學活動組織、學習行為追蹤、教學效果評估等主要業(yè)務，采用微服務架構(gòu)，各模塊之間通過RESTful API通信。網(wǎng)絡形式一般采用C/S或B/S架構(gòu)，通過局域網(wǎng)或廣域網(wǎng)架設端到端通信。本研究擬在多媒體教學系統(tǒng)中置入學習行為分析模塊，思路如圖1右側(cè)所示。

（二）計算機視覺技術(shù)原理

計算機視覺的基本原理可概括為“圖像表示－特征提?。Ｐ蛯W習－視覺推理”的連續(xù)過程。圖像表示是將圖像信號轉(zhuǎn)換為適合計算機處理的數(shù)字化形式。特征提取是關(guān)鍵步驟，目的是選擇能夠刻畫圖像視覺屬性的特征描述，可分為底層特征和高層特征兩類，模型學習是利用訓練數(shù)據(jù)集，優(yōu)化特征到語義映射的過程，利用學習到的模型執(zhí)行視覺推理，即可分析和預測新的圖像或視頻，輸出語義標簽或描述信息。

（三）課堂學習行為分析需求

從應用來看，多媒體教學的課堂學習行為分析需求包括：

1.學習專注度評估[1]

學生在課堂上的注意力投入程度，與學習效果密切相關(guān)。利用視覺分析技術(shù)，通過學生的視線追蹤、面部表情、肢體動作等信息，客觀量化學生的專注狀態(tài)，發(fā)現(xiàn)走神、瞌睡等情況。

2.學習情緒識別

基于表情識別、語音分析等技術(shù)，從學生的面部微表情、聲音語調(diào)等細節(jié)入手，實時推理學生的情緒狀態(tài)（高興、憤怒、厭惡、驚訝等）。

3.學習行為識別

學習行為反映了學生在課堂上的參與和互動方式，可進一步劃分為個體行為（聆聽、筆記、發(fā)言、舉手、練習）和社會行為（提問、討論、辯論、合作）。利用行為檢測、姿態(tài)估計、群體運動分析等技術(shù)，可以自動分析學生的課堂行為序列。

4.學習效果評價

利用學生的課堂專注度、情緒狀態(tài)、參與行為等指標，推斷其對知識點的掌握程度，還可以結(jié)合作業(yè)、測驗等過程性評價，實時診斷學生的學習困難和誤區(qū)。

三、基于計算機視覺的課堂學習行為分析技術(shù)實踐

（一）架構(gòu)設計

研究設計了基于計算機視覺的課堂學習行為分析系統(tǒng)，其架構(gòu)遵循“前端感知－邊緣計算－云端服務”的設計理念，多層解耦[2]，如圖2所示。

數(shù)據(jù)采集層部署于教區(qū)現(xiàn)場，采集的數(shù)據(jù)上傳至邊緣計算節(jié)點預處理，并通過MQTT協(xié)議將預處理后的數(shù)據(jù)實時傳輸至云端和行為分析層，在云服務支持下，數(shù)據(jù)處理層執(zhí)行清洗、同步、融合，提取學生特征，形成行為描述數(shù)據(jù)，匯總?cè)胄袨榉治鰧?，?gòu)建學生行為的時空表示模型。

（二）多媒體教學設備集成方案

教室現(xiàn)場，部署了一組由N個節(jié)點組成的邊緣計算集群，各設備通過有線或無線網(wǎng)絡與邊緣節(jié)點連接，并通過統(tǒng)一的設備描述模型（UPnP、OneM2M等）對外提供狀態(tài)信息和控制接口。邊緣節(jié)點采用Node.js開發(fā)，內(nèi)置了Redis緩存和SQLite持久化數(shù)據(jù)庫，通過Mosca搭建MQTT代理服務器，將設備的實時數(shù)據(jù)以主題（Topic）的形式發(fā)布到消息總線上，供其他節(jié)點訂閱和消費。多個邊緣節(jié)點間采用Raft一致性算法，通過選主和日志復制機制動態(tài)維護設備信息的全局視圖。教室現(xiàn)場的音視頻采集方面，綜合考慮了成像質(zhì)量、同步精度、數(shù)據(jù)帶寬等因素，最終選定如下方案。

1.視頻采集

采用4臺高清攝像機（索尼FDR-AX60）和2臺全景相機（Insta360 Pro 2），通過HDMI/USB接口分別接入4個邊緣節(jié)點。高清攝像機以30幀/秒的幀率錄制1080P RGB視頻，用于捕捉學生的細粒度表情、手勢等信息。全景相機則以8K分辨率、60幀/秒的幀率錄制360度全景視頻，用于獲取教室整體行為信息?？紤]到全景視頻數(shù)據(jù)量大，在節(jié)點本地使用FFmpeg進行H.265編碼壓縮，并通過RTMP協(xié)議推送到流媒體服務器上。

2.音頻采集

布置了1個由8個麥克風單元組成的環(huán)形陣列（ReSpeaker Mic Array v2.0），通過USB接口接入1個邊緣節(jié)點。麥克風陣列可實現(xiàn)5米半徑內(nèi)的遠場拾音，采用PDM脈沖密度調(diào)制技術(shù)，以16kHz采樣率、4通道同步錄制音頻。節(jié)點本地運行WebRTC音頻引擎，提供自動增益控制（AGC）、回聲消除（AEC）、噪聲抑制（NS）等實時音頻處理功能，并通過Opus編碼后上傳至云端。

來自不同節(jié)點的多模態(tài)數(shù)據(jù)通過Apache Pulsar分布式消息流平臺進行收集和存儲，Pulsar提供原生的Presto/Spark/Flink連接器。

（三）學習行為數(shù)據(jù)采集與預處理

1.視頻數(shù)據(jù)

利用教室前后方的RGB攝像頭和全景相機，采集教師、學生的視頻數(shù)據(jù)。對采集到的視頻流進行解碼和幀提取，然后使用視覺算法檢測學生的身份、位置、姿態(tài)、表情、手勢等信息，并結(jié)構(gòu)化存儲為幀級別的元數(shù)據(jù)記錄。為提高處理效率，采用基于自適應編碼策略動態(tài)調(diào)整視頻的編碼比特率。例如，當學生處于專注狀態(tài)時，提高編碼質(zhì)量，以獲取更多行為細節(jié)；當學生處于發(fā)呆、瞌睡等非專注狀態(tài)時，降低編碼質(zhì)量，僅作標記，以節(jié)省計算和存儲資源。

2.音頻數(shù)據(jù)

利用教室中的麥克風陣列采集老師和學生的語音數(shù)據(jù)。對多通道音頻執(zhí)行噪聲消除、混響抑制等預處理，提升音質(zhì)，然后使用聲源定位算法估計不同學生的聲音方位，使用說話人分割（Speaker Diarization）算法自動檢測和分割不同學生的語音片段。對分割后的語音片段，提取梅爾頻率倒譜系數(shù)、基音頻率等聲學特征，用于情緒識別、語音轉(zhuǎn)寫等后續(xù)分析。

3.筆跡數(shù)據(jù)

通過電子白板、互動屏等書寫設備，記錄學生在課堂練習、互動討論中的筆跡行為。重點關(guān)注學生筆跡的內(nèi)容、形狀、力度、速度等屬性，提取關(guān)鍵特征點。在筆跡識別方面，使用基于Attention的Seq2Seq模型和ConnNet等算法，在線識別手寫數(shù)學公式、化學符號，結(jié)合字符檢測和場景文本識別，提取學生書寫的文本內(nèi)容，用于語義理解和問答分析。

4.傳感器數(shù)據(jù)（非全面覆蓋，部分教區(qū)試點）

在座椅、桌面等教具上布置壓力、紅外等傳感器，采集學生的坐姿、皮膚溫度等生理和行為數(shù)據(jù)。將結(jié)構(gòu)化的傳感器數(shù)據(jù)與視頻、音頻數(shù)據(jù)進行時間同步。

（四）學習行為特征提取與表示

在對原始行為數(shù)據(jù)進行采集和預處理之后，需要進一步提取高層語義特征，刻畫學生行為的內(nèi)在模式和規(guī)律：

1.時間維度的特征

重點刻畫學生行為在時間軸上的分布、持續(xù)、頻率、周期等動態(tài)特性，度量學生參與度的趨勢變化，檢測學生專注度的突發(fā)模式。使用Fourier變換、小波分析等方法挖掘?qū)W生行為的周期性。

2.空間維度的特征

重點刻畫學生在教室空間內(nèi)的位置分布、交互模式等群體行為特征，統(tǒng)計不同區(qū)域內(nèi)學生的人數(shù)、密度等指標，分析學生的座位親密度。針對教師的行為，參考類似于籃球比賽的戰(zhàn)術(shù)分析算法[3]，挖掘教師的移動規(guī)律、授課節(jié)奏等空間行為模式。

3.語義維度的特征

重點挖掘?qū)W生筆跡、語音等內(nèi)容數(shù)據(jù)背后的情感傾向、話題分布、知識掌握等語義信息，使用Word2Vec、BERT等語言模型學習詞嵌入表示，采用了聲紋識別、情感分析、語音轉(zhuǎn)寫等技術(shù)，對學生發(fā)言、提問等語音片段進行話者分離、情緒識別和語義提取。

（五）學習行為分析與評估模型構(gòu)建

1.學習專注度評估模型

設計了一個基于多尺度時空卷積網(wǎng)絡的專注度評估模型。模型以學生的面部表情、肢體動作等行為序列為輸入，首先通過多個并行的時空卷積分支提取不同感受野的時空特征，捕捉學生行為在時間和空間上的局部和全局模式，使用通道自適應機制調(diào)節(jié)不同卷積分支的重要性，突出與專注度判別最相關(guān)的行為模式[4]，最后通過全連接層整合各尺度的時空特征，預測學生專注程度的連續(xù)值。

2.學習情緒識別模型

針對學習情緒的動態(tài)性和個體差異性，提出一個個性化注意力循環(huán)網(wǎng)絡模型，模型采用雙向LSTM作為基本單元，以學生的面部表情、語音等多模態(tài)行為序列為輸入，首先在每個模態(tài)內(nèi)部提取情感相關(guān)的時序特征，然后通過Modality Attention機制自適應地融合不同模態(tài)的情感表示，克服模態(tài)間的異構(gòu)性和冗余性，建模不同時間步上情感狀態(tài)的全局依賴，同時引入學生個人畫像信息作為Query，最后通過softmax層預測學生的情緒類別。

3.知識掌握度診斷與預測模型

以學生的歷次答題記錄和課堂行為數(shù)據(jù)為輸入，首先使用Embedding層將答題結(jié)果、知識點、學習行為等異構(gòu)信息映射到同一語義空間，采用多層編碼器提取答題序列的上下文表示和行為序列的時序表示，建模答題表現(xiàn)和學習行為之間的交互影響，動態(tài)調(diào)整兩類特征的權(quán)重，最后使用LSTM解碼器逐步生成學生對后續(xù)知識點的掌握概率。

四、行為識別準確度測試與分析

為評估課堂學習行為分析模型的性能，設計了一套定量和定性相結(jié)合的評估指標[5]：專注度評估的平均絕對誤差（MAE）、情緒識別的F1值、知識掌握度預測的AUC（Area Under Curve）值。對不同教學模式，選取了常規(guī)教學的多媒體輔助的常規(guī)課堂教學、多媒體實驗室教學、多媒體工業(yè)實訓教學、多媒體翻轉(zhuǎn)課堂教學等典型場景，分別部署系統(tǒng)進行為期一學期的常態(tài)化運行。

結(jié)果表明，模型在各類教學場景下均取得了較為理想的性能表現(xiàn)，行為識別的準確性和計算效率滿足實際應用需求。在專注度評估任務上，邀請5位有豐富教學經(jīng)驗的老師，對50名學生在4周內(nèi)的課堂表現(xiàn)進行主觀評分，作為對照組數(shù)據(jù)。將兩組數(shù)據(jù)與學生的期末考試成績進行相關(guān)性分析，可以看出，系統(tǒng)呈現(xiàn)出與學生學業(yè)績效的相關(guān)性顯著高于教師憑經(jīng)驗的主觀判斷，表明了其在專注度評估上的有效性。

五、結(jié)語

將計算機視覺技術(shù)引入多媒體教學系統(tǒng)，對學生的學習行為進行自動化、智能化分析，不僅有助于減輕教師的工作負擔，提高教學效率，而且能夠為教學決策提供更加全面、客觀的依據(jù)。盡管在實際應用中還存在一些問題，但隨著教育數(shù)據(jù)的持續(xù)積累，相信這些問題終將得到有效解決?？偟膩碚f，將計算機視覺技術(shù)應用于多媒體教學課堂學習行為分析，是教育信息化發(fā)展的必然趨勢，對于推動教育現(xiàn)代化、提升教學質(zhì)量具有重要意義。

參考文獻

[1]鄧子豪，梁艷.基于計算機視覺的課堂專注度檢測研究[J].軟件導刊，2024，23（08）：254-260.

[2]劉艷，李慶武，霍冠英，等.創(chuàng)新驅(qū)動的計算機視覺實驗教學設計及實驗系統(tǒng)研發(fā)[J].創(chuàng)新創(chuàng)業(yè)理論研究與實踐，2024，7（10）：18-23.

[3]羅偉.采摘機器人視覺圖像檢測應用研究——基于籃球動作捕捉的多媒體數(shù)據(jù)庫系統(tǒng)[J].農(nóng)機化研究，2018，40（11）：203-207.

[4]李玉榮.基于計算機視覺技術(shù)的智能化課堂管理系統(tǒng)研究[J].通信與信息技術(shù)，2024（02）：130-136.

[5]鄒送上.面向計算機視覺的深度神經(jīng)網(wǎng)絡模型優(yōu)化與應用[D].長沙：湖南大學，2023.

作者單位：泉州師范學院

責任編輯：張津平、尚丹