南京工業(yè)大學(xué)浦江學(xué)院計(jì)算機(jī)與通信工程學(xué)院 張穎慧 戴 波

隨著現(xiàn)代信息技術(shù)和人工智能的快速發(fā)展，我們生活中的方方面面都變得越來越數(shù)字化、信息化、智能化。學(xué)校教室出現(xiàn)了各種各樣的多媒體教學(xué)設(shè)備，教學(xué)方式的數(shù)字化、信息化、智能化越來越明顯，然而教師對學(xué)生在課堂上的教學(xué)評估卻始終依賴于教師本人的主觀判斷，缺乏一定的可信度。因此利用現(xiàn)代信息技術(shù)和人工智能技術(shù)，來保證課堂評估的可信度，提高課堂評估的效率，保障整個(gè)教學(xué)過程的規(guī)范化和科學(xué)化，成為一個(gè)迫切需要解決的問題。基于人臉識(shí)別的智慧課堂管理系統(tǒng)，提出了一種注意力機(jī)制，來對學(xué)生的上課專注情況進(jìn)行分析歸納。

人臉識(shí)別技術(shù)如今已進(jìn)入我們生活的方方面面，在身份識(shí)別方面運(yùn)用最為廣泛，面部表情識(shí)別技術(shù)的發(fā)展在近幾十年來也取得了很大的進(jìn)展，眨眼，轉(zhuǎn)頭，微笑，傷心，哭泣等表情都可以進(jìn)行準(zhǔn)確的識(shí)別。將人臉識(shí)別技術(shù)和面部表情識(shí)別技術(shù)進(jìn)行結(jié)合，對學(xué)生的上課情況進(jìn)行動(dòng)態(tài)的數(shù)據(jù)采集與分析，從而對學(xué)生的上課專注度進(jìn)行分析最終形成報(bào)告，可以作為教師對學(xué)生的平時(shí)成績進(jìn)行科學(xué)規(guī)范可靠的評估依據(jù)。人臉識(shí)別智慧課堂是時(shí)代發(fā)展的產(chǎn)物，是現(xiàn)代信息技術(shù)在教學(xué)課堂的創(chuàng)新應(yīng)用，教師可以根據(jù)學(xué)生上課的專注情況及時(shí)調(diào)整教學(xué)計(jì)劃，提高教學(xué)質(zhì)量。對學(xué)生的整個(gè)學(xué)習(xí)過程進(jìn)行一個(gè)科學(xué)規(guī)范的分析，從課程考勤，到教學(xué)監(jiān)督，再到成績評估，構(gòu)建了一個(gè)更加科學(xué)規(guī)范的教學(xué)模式，使得教師對學(xué)生的評估更加規(guī)范、科學(xué)和精確，極大地提高了教學(xué)效率，促進(jìn)了教學(xué)方式的創(chuàng)新和進(jìn)步。

1 系統(tǒng)相關(guān)技術(shù)

1.1 服務(wù)端開發(fā)技術(shù)

1.1.1 SpringBoot

SpringBoot是所有基于Spring開發(fā)的項(xiàng)目的起點(diǎn)，SpringBoot不是什么新的框架，而是默認(rèn)配置了很多框架的使用方式，SpringBoot整合了所有的框架。

1.1.2 Swagger

Swagger是一個(gè)用于生成、描述和調(diào)用RESTful接口的一種Web服務(wù)，把相關(guān)的信息存儲(chǔ)在它定義的描述文件里，對描述文件進(jìn)行維護(hù)便可以去更新接口文檔，以及生成各端代碼。代碼即接口文檔，接口文檔即代碼。

1.1.3 Shiro

Apache Shiro是一個(gè)靈活強(qiáng)大且易用的Java開源安全框架，可對身份驗(yàn)證、授權(quán)、密碼和會(huì)話進(jìn)行處理和管理，可以快速輕松地獲得應(yīng)用程序，包含Subject，SecurityManager和Realms三個(gè)核心組件。

1.2 客戶端開發(fā)技術(shù)

1.2.1 Vue

Vue是構(gòu)建用戶界面的漸進(jìn)式的前端框架，是互聯(lián)網(wǎng)最火的前端框架，它的核心庫只關(guān)注視圖層，響應(yīng)的數(shù)據(jù)綁定、可組合的視圖組件、虛擬DOM和聲明式渲染是Vue的核心特點(diǎn)。

1.2.2 Elementui-Antv

Antv是螞蟻金服可視化技術(shù)，提供了一套簡單便捷、專業(yè)可靠的數(shù)據(jù)可視化方案。阿里巴巴可視化技術(shù)，天貓，淘寶，支付寶，花唄均使用Antv。

1.3 模式識(shí)別技術(shù)

1.3.1 OpenCV

OpenCV是一個(gè)輕量高效的基于BSD許可發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫，可以運(yùn)行在多種操作系統(tǒng)上，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面很多算法。

1.3.2 百度AI識(shí)別平臺(tái)

百度AI識(shí)別平臺(tái)提供了全球領(lǐng)先的語音、圖像、NLP等多項(xiàng)人工智能技術(shù)，共享AI領(lǐng)域最新的應(yīng)用場景和解決方案，可以幫助各行業(yè)高效靈活地實(shí)現(xiàn)AI升級。

2 系統(tǒng)分析

2.1 功能用例分析

系統(tǒng)管理員主要有兩方面的功能，分別是信息管理和系統(tǒng)管理，信息管理包含學(xué)生管理、班級管理、教室管理、課程管理、專業(yè)管理、學(xué)院管理以及教師管理，系統(tǒng)管理包含用戶管理，用戶角色管理、角色權(quán)限管理以及系統(tǒng)日志管理。系統(tǒng)管理員用例圖如圖1所示。

圖1 系統(tǒng)管理員用例圖

教務(wù)人員主要有三方面的功能，分別是查看各類匯總的數(shù)據(jù)報(bào)告、個(gè)人中心的基本功能以及權(quán)限管理。數(shù)據(jù)報(bào)告包含學(xué)生報(bào)告、班級報(bào)告、專業(yè)報(bào)告、學(xué)院報(bào)告等，權(quán)限管理包含變更學(xué)生的基本信息如班級年級等，權(quán)限管理還包含更改教師的權(quán)限，如指定教師只能查看他所任課班級的學(xué)生信息。教務(wù)用戶用例圖如圖2所示。

圖2 教務(wù)人員用例圖

2.2 系統(tǒng)功能概述

本系統(tǒng)的主要功能包含以下幾個(gè)方面：

（1）信息管理

包含對學(xué)生、班級、專業(yè)、學(xué)院、教師、課程、課堂、教室等基本信息的管理。

（2）數(shù)據(jù)報(bào)告

對課堂上的人臉識(shí)別與監(jiān)測得到的數(shù)據(jù)進(jìn)行整理分析匯總。

（3）人像采集

包括視頻采集和圖像處理。

（4）人像標(biāo)識(shí)

包括身份標(biāo)識(shí)、疲勞標(biāo)識(shí)與情緒標(biāo)識(shí)等功能。

（5）系統(tǒng)管理

包括數(shù)據(jù)庫管理、用戶管理、用戶角色管理、角色權(quán)限管理以及系統(tǒng)日志管理等功能。

3 系統(tǒng)設(shè)計(jì)

3.1 功能需求描述

（1）信息管理

信息管理包括學(xué)生的學(xué)號、姓名、班級、專業(yè)等信息；專業(yè)的名稱、學(xué)院等信息；學(xué)院的名稱、開設(shè)專業(yè)等信息；教師的姓名、教師編號等信息；課程的名稱、課程號、上課教室、上課時(shí)間、授課教師，監(jiān)控等信息。不同的角色有不同的執(zhí)行權(quán)限，比如只有教務(wù)人員與系統(tǒng)管理員才具有增刪改的操作權(quán)限，其他角色只能查看這些信息。

（2）人像采集

人像采集包括監(jiān)控管理以及視頻流采集處理。監(jiān)控管理包括對監(jiān)控視頻的增刪查改，播放視頻等。視頻流采集處理是系統(tǒng)對教室監(jiān)控?cái)z像頭錄制的視頻進(jìn)行視頻幀的提取與處理。

（3）人像標(biāo)識(shí)

包括圖像預(yù)處理、人像檢測以及人像標(biāo)識(shí)。圖像預(yù)處理是對視頻流按照一定時(shí)間間隔進(jìn)行視頻幀的提取與處理。人像檢測是依據(jù)人臉識(shí)別算法，將攝像頭拍到的圖像與數(shù)據(jù)庫中學(xué)生的圖像進(jìn)行比對。人像標(biāo)識(shí)包括身份標(biāo)識(shí)、疲勞標(biāo)識(shí)以及情緒標(biāo)識(shí)，對人像進(jìn)行識(shí)別處理。

（4）數(shù)據(jù)報(bào)告

由系統(tǒng)進(jìn)行人像采集與標(biāo)識(shí)后，對學(xué)生的出勤、抬頭情況、疲勞程度、表情變化等課堂上產(chǎn)生的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)匯總，自動(dòng)生成一種具有高可讀性的可以根據(jù)不同單位進(jìn)行查看的報(bào)告。

3.2 功能結(jié)構(gòu)圖設(shè)計(jì)

本平臺(tái)的系統(tǒng)功能如圖3所示。

圖3 智慧課堂分析系統(tǒng)功能結(jié)構(gòu)圖

人工智能技術(shù)的不斷發(fā)展對現(xiàn)代社會(huì)產(chǎn)生了很大的影響，基于如今學(xué)校對學(xué)生的學(xué)情分析大多依賴于教師的主觀判斷，缺乏一定的可信度，因此將人工智能技術(shù)運(yùn)用到課堂上，促進(jìn)智慧課堂的發(fā)展，是非常有必要的，這將極大地提高學(xué)校管理效率，為教育現(xiàn)代化、信息化、科學(xué)化提供強(qiáng)有力的保障。