戴振澤　施艷　鄭少偉　郭梓文　丁王斌

摘 要：為解決傳統(tǒng)監(jiān)控系統(tǒng)耗時長，效率低，可靠性差等問題，本文基于人工智能技術(shù)，對傳統(tǒng)監(jiān)控系統(tǒng)進行改進提升，設(shè)計一個智能課堂監(jiān)控與分析系統(tǒng)。該系統(tǒng)綜合使用Java編程技術(shù)、圖像視頻處理技術(shù)、機器學(xué)習(xí)技術(shù)，對學(xué)生在課堂上的行為表現(xiàn)進行智能地識別與分析，實現(xiàn)從人工監(jiān)控到智能監(jiān)控的轉(zhuǎn)變，從而大幅提升課堂質(zhì)量管控。

關(guān)鍵詞：智能課堂；視頻監(jiān)控；人工智能

中圖分類號：TP319 文獻標(biāo)識碼：A

1 引言（Introduction）

課堂監(jiān)控系統(tǒng)是記錄和重現(xiàn)課堂教學(xué)的重要工具[1]，是一種采用跟蹤技術(shù)來記錄課堂教學(xué)活動的系統(tǒng)。

智能課堂監(jiān)控與分析系統(tǒng)的創(chuàng)建，是為了更好的提高學(xué)校對課堂教學(xué)質(zhì)量的管控的重要舉措，而傳統(tǒng)課堂監(jiān)控系統(tǒng)一般由人工監(jiān)控，用于實時監(jiān)視課堂教學(xué)情況與突發(fā)事件，無法有效的對課堂教學(xué)質(zhì)量進行評估。智能課堂監(jiān)控與分析系統(tǒng)以其全新的“主動監(jiān)控”模式，從根本上解決了傳統(tǒng)課堂監(jiān)控系統(tǒng)的完全依賴人工監(jiān)控的局限性，大幅提升了課堂監(jiān)控系統(tǒng)的工作效率，節(jié)省了人力資源。通過監(jiān)控視頻中的圖像進行自動智能分析來對監(jiān)控進行識別，分類，在此基礎(chǔ)上來分析判斷，從而完成日常管理，做出反饋。

2 智能課堂監(jiān)控現(xiàn)狀（Intelligent classroom

monitoring）

據(jù)調(diào)查顯示，很多高校的課堂監(jiān)控還停留在手工統(tǒng)計數(shù)據(jù)、手工計算分析數(shù)據(jù)的層次上，缺乏實效性的反饋。當(dāng)前很多發(fā)達國家高校也建立了相對完善的課堂監(jiān)控系統(tǒng)，對課堂教學(xué)活動進行了深入研究。

例如：澳大利亞昆士蘭大學(xué)（The University of Queensland）課堂監(jiān)控系統(tǒng)是對教師教學(xué)進行監(jiān)督，由教學(xué)委員會進行綜合加工、整理評價，并對教師進行相應(yīng)指導(dǎo)；美國耶魯大學(xué)（Yale University）課堂監(jiān)控以考察學(xué)校教學(xué)目標(biāo)、計劃、大綱、學(xué)生管理等工作，由第三方鑒定機構(gòu)進行考評；英國的圣安德魯斯大學(xué)（University of St Andrews）課堂監(jiān)控主要側(cè)重教學(xué)過程，全過程、全方位、全員性監(jiān)控評估，即教師質(zhì)量監(jiān)控評估，學(xué)生質(zhì)量監(jiān)控評估，教學(xué)效果監(jiān)控評估等[2]。

當(dāng)然，國內(nèi)高校也有課堂監(jiān)控體系，但以人工為主，對于數(shù)據(jù)采集統(tǒng)計，往往消耗數(shù)據(jù)處理時間，失去時效性，降低教學(xué)監(jiān)控效果。例如：蘇州市職業(yè)大學(xué)課堂監(jiān)控系統(tǒng)是對教師行為、學(xué)生行為、教學(xué)特色等內(nèi)容進行監(jiān)控分析，只是重點分析課堂教學(xué)，對教師監(jiān)控、對板書監(jiān)控、對多媒體教學(xué)進行監(jiān)控、對學(xué)生活動監(jiān)控，但是只能監(jiān)控而已并不能形成智能的分析系統(tǒng)，會造成評價的偏差[1]；無錫職業(yè)技術(shù)學(xué)院課堂監(jiān)控系統(tǒng)只是對“學(xué)生信息反饋”“聽評課反饋”“課堂考勤”等主要功能模塊進行整合，實現(xiàn)了教學(xué)信息實時采集、實時反饋，動態(tài)數(shù)據(jù)智能匯總，同樣也無法做出智能的評定[3]；山東技師學(xué)院課堂監(jiān)控系統(tǒng)是通過校園網(wǎng)對教學(xué)樓課堂實行有效地監(jiān)控，能夠根據(jù)需要對存儲圖像時間進行設(shè)定，實現(xiàn)實時錄像、錄像存放、回放、錄像檢索等管理。通過設(shè)計，輔導(dǎo)員可以不受時間空間的限制，方便的使用手機、電腦等終端設(shè)備對自己所帶班級進行遠程的紀(jì)律和學(xué)習(xí)督導(dǎo)[4]。但是實現(xiàn)對課堂信息的提取、基礎(chǔ)數(shù)據(jù)的匯總需要人員增添，統(tǒng)計分析可比性不強，沒有實現(xiàn)實時監(jiān)控[1]。

2.1 傳統(tǒng)視頻監(jiān)控系統(tǒng)的不足

目前視頻監(jiān)控已經(jīng)普遍存在，但往往并沒有充分發(fā)揮它實時主動監(jiān)督的作用?，F(xiàn)存的大部分視頻監(jiān)控系統(tǒng)一般都是通過兩種方法運用監(jiān)控的結(jié)果：

（1）將攝像機的拍攝的視頻記錄下來，當(dāng)突發(fā)異常事件之時，才通過回放所保存的視頻，觀察所發(fā)生的事實。但是，這時往往為時已晚，不利于進行預(yù)防和調(diào)整。

（2）把多個視頻監(jiān)控畫面集中到一個監(jiān)控室內(nèi)，通過監(jiān)控室內(nèi)數(shù)十個顯示器同時顯示各個場景畫面，以供監(jiān)控人員觀看。當(dāng)監(jiān)控人員通過顯示畫而發(fā)現(xiàn)某些異常時，人工通知相關(guān)人員前去處理。但是，據(jù)調(diào)查顯示，每小時一個人能集中注意力的時間低于20分鐘，另外由于攝像頭較多，往往每個顯示器都是輪流顯示多個攝像頭的畫面。因此，通常監(jiān)控人員平均觀看每個攝像頭的時間低于每小時5分鐘，無法有效地進行管理[5]。

龐大的視頻數(shù)據(jù)量，由人工實時監(jiān)控，所花費的代價是驚人的，效率是非常低下的?？傊b備帶有一定智能的視頻監(jiān)控系統(tǒng)已經(jīng)是很多行業(yè)的迫切要求。

2.2 智能視頻監(jiān)控系統(tǒng)的定義及其優(yōu)點

智能視頻監(jiān)控就是在不需要人工干預(yù)情況下，利用計算機視覺、數(shù)字圖像處理和視頻圖像分析的方法，對攝像機拍攝的視頻圖像序列進行自動分析，實現(xiàn)系統(tǒng)對場景中的舉動進行識別判斷。

智能視頻監(jiān)控系統(tǒng)和傳統(tǒng)的視頻監(jiān)控系統(tǒng)比較，具有很多的優(yōu)點：

（1）無限監(jiān)控。智能視頻監(jiān)控系統(tǒng)能對所監(jiān)控的畫面進行一天24小時無止息的監(jiān)控，并自動分析，提高事件分析的效率并及時反饋，可及時查看。

（2）提升準(zhǔn)度。智能視頻監(jiān)控系統(tǒng)可以借助強大的視頻處理、分析模塊，能有效地降低漏查和誤查概率。

總之，智能化一直是計算機視覺的熱點研究問題之一，也是時代發(fā)展的必然。

建設(shè)“智慧課堂”是提升教學(xué)質(zhì)量的新支點和新動力，隨著人工智能技術(shù)的迅猛發(fā)展，傳統(tǒng)視頻監(jiān)控系統(tǒng)與人工智能的結(jié)合是大勢所趨，因此發(fā)展課堂智能監(jiān)控技術(shù)也勢在必行。傳統(tǒng)課堂監(jiān)控系統(tǒng)由于海量視頻數(shù)據(jù)在人力監(jiān)控資源上的局限性，這種“被動式，忽略式”的視頻監(jiān)控模式難以滿足當(dāng)今學(xué)校對教學(xué)的管控服務(wù)。本文旨在設(shè)計一個智能課堂監(jiān)控與分析系統(tǒng)，以建設(shè)高效課堂為中心，利用最新的圖像視頻處理與機器學(xué)習(xí)技術(shù)對學(xué)生在課堂上的行為表現(xiàn)進行智能地識別與分析，讓監(jiān)控智能化，讓課堂智慧化。

3 智能課堂監(jiān)控與分析系統(tǒng)設(shè)計（Design of intelligent

classroom monitoring and analysis system）

3.1 系統(tǒng)方案總括

現(xiàn)如今，教室里安裝的視頻監(jiān)控除了對課堂教學(xué)情況進行監(jiān)控與記錄以外，并不能對其進行有效地分析，在反饋整合上沒有實現(xiàn)智能化。本文設(shè)計的智能課堂監(jiān)控與分析系統(tǒng)是一個結(jié)構(gòu)嚴(yán)謹(jǐn)，時效性強的系統(tǒng)[6]，其方案流程為：教室攝像頭定時截取課堂學(xué)生行為照片并傳入系統(tǒng)后臺，系統(tǒng)按照以時間命名的文件夾將其提取、存檔，通過樣本訓(xùn)練的方式得到符合的構(gòu)造方式，智能地對圖像進行自動識別分析，從而對數(shù)據(jù)進行整合，得出一張課堂反饋表，減少人力長時間監(jiān)控疲勞的弊端，有助于數(shù)字化校園的建設(shè)與發(fā)展，能有效的提高學(xué)校對課堂教學(xué)質(zhì)量的管控，推動“智慧課堂”的發(fā)展。設(shè)計了如圖1所示的結(jié)構(gòu)圖。

3.2 軟件結(jié)構(gòu)設(shè)計及功能簡介

系統(tǒng)軟件采用數(shù)據(jù)庫作為管理系統(tǒng)的后臺，采用Java開發(fā)工具軟件作為數(shù)據(jù)操作的前臺，是用戶和計算機交流的人-機接口管理軟件[7]。按照智能課堂監(jiān)控與分析系統(tǒng)的架構(gòu)，設(shè)計了如圖2所示的功能模塊。

由圖可知，智能課堂監(jiān)控與分析系統(tǒng)是依托監(jiān)控系統(tǒng)對學(xué)生在課堂上課行為表現(xiàn)（如睡覺、玩手機、認(rèn)真聽課等）的海量數(shù)據(jù)的采集，通過課堂行為動作識別模塊中的機器學(xué)習(xí)的方法對采集的圖像進行智能的識別與分類，并在此基礎(chǔ)上對數(shù)據(jù)進行智能的評估，實時數(shù)字化反饋學(xué)生課堂行為，不受時間空間的限制，提高信息整合能力。

（1）課堂行為監(jiān)控模塊

實時監(jiān)控是對學(xué)生課堂行為的一個提醒，能夠起到一個督促的作用。教學(xué)檢查中教務(wù)處、系部檢查人員可以不受地點限制地完成對課堂的檢查，完成對課堂狀況的判斷，可以更加如實掌握學(xué)生的課堂表現(xiàn)，對學(xué)生和學(xué)校都能有促進作用。

（2）課堂行為動作識別模塊

作為系統(tǒng)的核心模塊，該模塊顯得尤為重要。通常所說的圖像識別，是指利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標(biāo)和對象的技術(shù)。但是在實際行為圖像處理過程中，經(jīng)常會出現(xiàn)奇怪現(xiàn)象，如端正坐姿的睡覺、遮擋性的玩手機等行為都對系統(tǒng)識別有很大的影響，圖像與現(xiàn)實所出現(xiàn)的差異也在所難免，通過海量原型的比對，從而得出較為正確可靠的信息資源。

實現(xiàn)課堂行為識別的方法多樣，我們選擇的是基于人工智能行為識別的條件下利用Python進行深度學(xué)習(xí)設(shè)計、開發(fā)，封裝圖像數(shù)據(jù)庫，對其進行檢測分析，判斷學(xué)生課堂的行為舉動，通過機器學(xué)習(xí)的方法能有效地做出反饋，改進學(xué)校管理學(xué)生的模式，提升學(xué)校的教學(xué)質(zhì)量。借助計算機強大的數(shù)據(jù)處理功能，反饋出各個班級學(xué)生的上課狀態(tài)、上課風(fēng)貌，快速分析識別更準(zhǔn)確地得出數(shù)據(jù)結(jié)論，使得圖像信息數(shù)字化，從而可以更方便地理解判斷。

（3）智能評價模塊

將一節(jié)課45分鐘分為三段（每15分鐘一段），每一段進行單獨評分。設(shè)定各個時段聽課效率占比大于75%為優(yōu)秀，占比大于50%小于75%的為良好，占比小于50%的為聽課效率較差的狀況（聽課效率=認(rèn)真聽課的人數(shù)/班級總?cè)藬?shù)）。最后依據(jù)分段評分情況，按照一時段前15分鐘占比三成，二時段中間15分鐘占比四成，三時段末15分鐘占比三成的評分標(biāo)準(zhǔn)累加完成對各班該節(jié)課最后得分的評估（設(shè)一時段、二時段、三時段聽課率分別為X1、X2、X3，則最后評

分=X3*30%+X2*40%+X3*30%）。

學(xué)?？梢曰诜治鼋Y(jié)果在后期的探討中給予各個班教學(xué)更中肯的評價，也可以以此作為評優(yōu)的考核標(biāo)準(zhǔn)。

本文重點是將人工智能技術(shù)應(yīng)用于智能課堂監(jiān)控與分析系統(tǒng)中，該系統(tǒng)源于計算機視覺，融合了圖像處理技術(shù)，模式識別等技術(shù)，這些技術(shù)已經(jīng)越來越受到外界的關(guān)注。同時，利用已有的教室監(jiān)控資源，降低成本，發(fā)揮團隊和師資的強大力量去努力實現(xiàn)教育教學(xué)的可視化管理。

4 實現(xiàn)效果（Achieved results）

4.1 系統(tǒng)主界面

當(dāng)用戶啟動軟件后，進入智能課堂監(jiān)控與分析系統(tǒng)主界面，主界面設(shè)置了四個窗口（實時監(jiān)控、信息管理、數(shù)據(jù)查詢、設(shè)置），可以根據(jù)不同的需求開啟不同的窗口，如圖3所示。

4.2 實時監(jiān)控

軟件對攝像頭所監(jiān)控的數(shù)據(jù)進行同步傳輸，直接成像進入系統(tǒng)，可以隨時了解各班學(xué)生課堂表現(xiàn)，從而可以及時的做出提醒和改進，如圖4所示。

4.3 自動截圖與分類

軟件對該攝像頭下產(chǎn)生的數(shù)據(jù)進行分類并自動截圖保存至本地，系統(tǒng)可以根據(jù)圖片顯示進行管理，也可方便有據(jù)查看課堂行為，如圖5所示。

4.4 數(shù)據(jù)查詢

用戶可以選擇性地對各個年級、各個專業(yè)、各個班級進行課堂行為表現(xiàn)查詢，依據(jù)自由選擇導(dǎo)出各班的課堂結(jié)果分析，如圖7所示。

5 結(jié)論（Conclusion）

課堂教學(xué)是素質(zhì)教育的主要陣地，是教師和學(xué)生教與學(xué)活動相互的直接表現(xiàn)。課堂行為動作監(jiān)控可以全方位跟蹤學(xué)生學(xué)習(xí)，本文智能課堂監(jiān)控與分析系統(tǒng)充分結(jié)合了智能識別技術(shù)、計算機技術(shù)和網(wǎng)絡(luò)技術(shù)，為教學(xué)質(zhì)量提供真實有效的依據(jù)。本文所涉及的人工智能機器識別中的行為識別作為當(dāng)下最熱門的技術(shù)之一，應(yīng)用層面廣博。本文的研究和設(shè)計成果可以為各個高校課堂學(xué)生行為管理提供有益的借鑒和參考。但是行為識別程序在實際應(yīng)用時，識別準(zhǔn)確率還有待提高，需要進一步研究完善。

參考文獻（References）

[1] 樊凌，戴雯惠，唐寅.基于智能跟蹤的課堂教學(xué)監(jiān)控系統(tǒng)的探索與研究[C].International Conference on Education Technology & Training，2010.

[2] 黃健榮.梧州學(xué)院課堂教學(xué)質(zhì)量監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D].電子科技大學(xué)，2013.

[3] 徐金鳳，張路遙.高職院校教學(xué)質(zhì)量監(jiān)控信息化平臺的設(shè)計——以無錫職業(yè)技術(shù)學(xué)院為例[J].無錫職業(yè)技術(shù)學(xué)院學(xué)報，2017，16（3）：41-44.

[4] 李霞.校園視頻監(jiān)控系統(tǒng)的研究與實現(xiàn)[D].山東大學(xué)，2015.

[5] 袁國武.智能視頻監(jiān)控中的運動目標(biāo)檢測和跟蹤算法研究[D].云南大學(xué)，2012.

[6] 荊洲，權(quán)偉，唐杰，等.基于人臉識別的智能課堂點名系統(tǒng)[J].軟件工程，2017，20（5）：43-46.

[7] 王云良，湯慧芹，顧衛(wèi)杰.高職院校智能化課堂教學(xué)質(zhì)量監(jiān)控系統(tǒng)研究[J].軟件工程，2015（3）：28-29.

作者簡介：

戴振澤（1998-），男，本科生.研究領(lǐng)域：物聯(lián)網(wǎng)工程.

施 艷（1998-），女，本科生.研究領(lǐng)域：物聯(lián)網(wǎng)工程.

鄭少偉（1998-），男，本科生.研究領(lǐng)域：軟件工程.

郭梓文（1999-），男，本科生.研究領(lǐng)域：圖像處理.

丁王斌（1990-），男，碩士，助教.研究領(lǐng)域：軟件工程.本文通訊作者.