劉田田

江蘇開放大學(xué)信息與機(jī)電工程學(xué)院, 江蘇 南京 210017

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，智慧課堂在教學(xué)管理中得到廣泛的應(yīng)用。一些高校實(shí)現(xiàn)了智能的考勤管理系統(tǒng)，如指紋打卡考勤系統(tǒng)、IC卡考勤系統(tǒng)、基于Android的簽到系統(tǒng)以及人臉識(shí)別考勤機(jī)等。而目前使用的打卡機(jī)主要是通過對人體某些特質(zhì)（指紋、人臉部、虹膜）的識(shí)別進(jìn)行考勤，需要購買相應(yīng)的機(jī)器，并且需要長期的維護(hù)，簽到成本較高。

而基于大數(shù)據(jù)和云計(jì)算的快速發(fā)展，大樣本集數(shù)據(jù)深度學(xué)習(xí)挖掘成為可能。在此背景下，本文設(shè)計(jì)了基于深度學(xué)習(xí)的高?？记谙到y(tǒng)，依據(jù)大樣本進(jìn)行訓(xùn)練測試，以學(xué)生證件照片建立班級數(shù)據(jù)庫，任課教師只需一個(gè)圖像采集工具攝像頭，實(shí)時(shí)采集課堂學(xué)生圖像，或者使用手機(jī)拍攝一張學(xué)生集體照，上傳系統(tǒng)，即可完成考勤。

1 高?？记诠ぷ鳜F(xiàn)狀

當(dāng)前我國很多高?？记诠ぷ髦饕憩F(xiàn)出以下幾個(gè)方面的特點(diǎn)。

1.1處理辦法不同

現(xiàn)階段我國很多高校在考勤上主要是采用原始的點(diǎn)名方法或者是借助計(jì)算機(jī)軟件和網(wǎng)絡(luò)來實(shí)現(xiàn)點(diǎn)名與考勤的目標(biāo)。

1.2面向?qū)ο笥袆e

一部分考勤工作的主要對象群體是學(xué)生；而另一部分考勤工作主要考查的對象是高校教職工。

1.3采用方式不同

現(xiàn)階段高校現(xiàn)有的考勤系統(tǒng)主要采用的操作方式主要有以下幾個(gè)類型。

1.3.1 手工簽錄

采用此種考勤方式其實(shí)和最原始的點(diǎn)名考勤在效率上并沒有太大的改進(jìn)，只是對于后期數(shù)據(jù)統(tǒng)計(jì)分析上提供了一定程度的便利。

1.3.2 專用設(shè)備考勤

此種考勤方式需要為絕大多數(shù)的考勤目標(biāo)都配置身份信息標(biāo)識(shí)，只有這樣才能夠?yàn)樗锌赡艿氖褂谜吲鋫渥x取設(shè)備，還要為之配套相關(guān)的軟硬件以及網(wǎng)絡(luò)環(huán)境。如果采用這種大規(guī)模的系統(tǒng)替換方式只是為了考勤就有可能出現(xiàn)得不償失的結(jié)果。

1.4需求分析

1.4.1 用戶角色分析

在高校中使用考勤系統(tǒng)的主要有四個(gè)角色。第一是教師；第二角色就是學(xué)生；第三是學(xué)校內(nèi)職能部門；第四角色是系統(tǒng)管理員。

1.4.2 應(yīng)用場景分析

高校中考勤系統(tǒng)的應(yīng)用場景主要有以下幾個(gè)方面：

一是學(xué)生課堂與考試考勤。此場景中，系統(tǒng)要在限定的較短時(shí)間內(nèi)完成對本堂課或本堂考試學(xué)生身份驗(yàn)證和考勤。二是學(xué)生活動(dòng)考勤。此場景中，系統(tǒng)要在限定的時(shí)間內(nèi)完成對參加本次活動(dòng)學(xué)生身份驗(yàn)證和考勤。三是教職工日?？记凇４藞鼍爸?，考勤系統(tǒng)要能準(zhǔn)確的記錄教職工日常工作考勤。四是教職工會(huì)議與活動(dòng)考勤。此場景中，系統(tǒng)要能在限定的較短時(shí)間內(nèi)完成對參加本次會(huì)議或者活動(dòng)的教職工身份驗(yàn)證和考勤。

1.5 考勤方式

目前考勤系統(tǒng)存在的三種考勤方式中投入最少、見效最快的是文中提到的第三種通用深度學(xué)習(xí)的智能平臺(tái)配合專用軟件來實(shí)現(xiàn)。采用此方式關(guān)鍵是通用深度學(xué)習(xí)的智能平臺(tái)軟件的設(shè)計(jì)。

2 深度學(xué)習(xí)策略

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新技術(shù)，動(dòng)機(jī)在于模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，是相對簡單學(xué)習(xí)而言的。深度學(xué)習(xí)的概念由Hinton等人于2006年在頂級期刊Science上的一篇論文中提出[1]，是神經(jīng)網(wǎng)絡(luò)之后的又一突破。

從感知機(jī)誕生到神經(jīng)網(wǎng)絡(luò)的發(fā)展，再到深度學(xué)習(xí)的萌芽，機(jī)器學(xué)習(xí)的發(fā)展并非一帆風(fēng)順。20世紀(jì)80年代末期，用于人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法（BP算法）的發(fā)明給機(jī)器學(xué)習(xí)帶來了希望，掀起了基于統(tǒng)計(jì)模型的機(jī)器學(xué)習(xí)熱潮。通過BP算法，人們可以訓(xùn)練一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型，獲得統(tǒng)計(jì)規(guī)律，從而對未知事件做預(yù)測。此時(shí)的人工神經(jīng)網(wǎng)絡(luò)雖也被稱作多層感知機(jī)（Multi-layer Perceptron），但實(shí)際只含有一層隱層節(jié)點(diǎn)。20世紀(jì)90年代，支撐向量機(jī) （SVM，Support Vector Machines）、Boosting、最大熵方法（如LR，Logistic Regression）相繼被提出。這些模型的結(jié)構(gòu)基本上可以看成帶有一層隱層節(jié)點(diǎn)（如SVM、Boosting），或沒有隱層節(jié)點(diǎn)（如LR）。這些模型無論是在理論分析還是應(yīng)用中都獲得了巨大的成功。相比之下，由于理論分析的難度大，訓(xùn)練方法又需要很多經(jīng)驗(yàn)和技巧，這個(gè)時(shí)期淺層人工神經(jīng)網(wǎng)絡(luò)反而相對沉寂。至2006年，加拿大多倫多大學(xué)教授Geoffrey Hinton的文章提出深度學(xué)習(xí)概念。這篇文章有兩個(gè)主要觀點(diǎn)：一是多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；二是深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來解決，在這一文獻(xiàn)中，逐層初始化采用無監(jiān)督學(xué)習(xí)方式。

隨后，Geoffrey Hinton提出深度置信網(wǎng)（Deep Belief Net：DBN）[2]，其由一系列受限波爾茲曼機(jī)（Restricted Boltzmann Machine：RBM）[3]組成，提出非監(jiān)督貪心逐層訓(xùn)練（Layerwise Pre-Training）算法，應(yīng)用效果才取得突破性進(jìn)展，其與之后Ruslan Salakhutdinov提出的深度波爾茲曼機(jī)（Deep Boltzmann Machine：DBM）[4]重新點(diǎn)燃了人工智能領(lǐng)域?qū)τ谏窠?jīng)網(wǎng)絡(luò)（Neural Network）和波爾茲曼機(jī)（Boltzmann Machine）[5]的熱情，才由此掀起了深度學(xué)習(xí)的浪潮。從目前的最新研究進(jìn)展來看，只要數(shù)據(jù)足夠大、隱藏層足夠深，即便不加“Pre-Training”預(yù)處理，深度學(xué)習(xí)也可以取得很好的結(jié)果，反映了大數(shù)據(jù)和深度學(xué)習(xí)相輔相成的內(nèi)在聯(lián)系。雖然非監(jiān)督（如DBM方法）是深度學(xué)習(xí)的一個(gè)優(yōu)勢，而帶監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò) （Convolutional Neural Network：CNN）[6]方法目前應(yīng)用得越來越多，乃至正在超越非監(jiān)督。

目前語音識(shí)別、圖像識(shí)別和自然語言處理是深度學(xué)習(xí)算法應(yīng)用最廣泛的三個(gè)領(lǐng)域。2011年微軟推出的基于深度神經(jīng)網(wǎng)絡(luò)的語音識(shí)別系統(tǒng)，將語音識(shí)別領(lǐng)域技術(shù)框架完成改變。卷積神經(jīng)網(wǎng)絡(luò)和深度圣經(jīng)網(wǎng)絡(luò)的提出，使得圖像識(shí)別領(lǐng)域的研究取得巨大進(jìn)步，提高了圖像識(shí)別精度和在線運(yùn)行效率。而在自然語言處理方面，相比于語音和圖像識(shí)別的成功，未來還有待深入研究。

3 考勤系統(tǒng)設(shè)計(jì)

利用深度學(xué)習(xí)進(jìn)行人臉識(shí)別、圖像監(jiān)控等取得了較大的進(jìn)展。面部特征提取是指從人臉圖像中識(shí)別面部關(guān)鍵信息點(diǎn)，包括眉毛、眼睛、鼻子、嘴和下巴。例如目前流行的Viola－Jones人臉檢測框架[7]，掃描檢測人臉，利用眼睛、嘴角等征點(diǎn)進(jìn)行旋轉(zhuǎn)校正[8]，并從校正后的臉部區(qū)域中，提取能夠反映表情變化的面部特征，包括嘴、眼睛、眉毛、鼻子等典型區(qū)域的位置與形狀[9]，或臉部的全局/局部灰度特征[10]。

本文主要針對高校課堂考勤的需求，搭建一個(gè)基于學(xué)生面部圖像的數(shù)據(jù)庫，從人臉圖像中自動(dòng)提取相應(yīng)特征，并針對樣本的特點(diǎn)調(diào)整參數(shù)，識(shí)別人臉關(guān)鍵點(diǎn)，上傳待測試圖片，識(shí)別得出出勤結(jié)果。

3.1建立考勤對象數(shù)據(jù)庫

以學(xué)生標(biāo)準(zhǔn)證件照建立班級學(xué)生圖像數(shù)據(jù)庫，以兩位學(xué)號進(jìn)行命名（可根據(jù)實(shí)際情況更改）。數(shù)據(jù)庫創(chuàng)立后，以此作為樣本集，進(jìn)行面部特征的提取，為后續(xù)課堂考勤的依據(jù)。

基于當(dāng)前高校傳統(tǒng)考勤方式存在的弊端和瓶頸，設(shè)計(jì)了一個(gè)基于大數(shù)據(jù)技術(shù)，以高校深度學(xué)習(xí)的考勤系統(tǒng)為基礎(chǔ)，著眼于實(shí)現(xiàn)高校教職工“一鍵考勤”的數(shù)據(jù)庫，這一數(shù)據(jù)的存在確保了考勤結(jié)果更加及時(shí)、準(zhǔn)確，從而有效地解決了高校中傳統(tǒng)單一考勤手段所帶來的管理成本高、考勤效果差現(xiàn)象。另外，由于考勤結(jié)果與后臺(tái)考勤服務(wù)器保持實(shí)時(shí)同步，讓原有異地考勤信息采集難、報(bào)送難的問題得到了很好地解決。

高校深度學(xué)習(xí)的考勤系統(tǒng)，除了核心的考勤模塊外還能夠附加員工通訊錄的模塊，進(jìn)一步提升了單位員工間溝通聯(lián)系的便捷性和及時(shí)性，從而讓高校的考勤工作可以真正脫離紙質(zhì)電話簿和EX統(tǒng)計(jì)表，而是通過后臺(tái)服務(wù)器統(tǒng)一維護(hù)和確保單位員工考勤信息的正確性，大大節(jié)省了用戶花費(fèi)在日常通訊錄維護(hù)上的時(shí)間。

高校深度學(xué)習(xí)的考勤系統(tǒng)，除了深度學(xué)習(xí)的考勤、通訊錄等功能模塊的設(shè)計(jì)和創(chuàng)新外，還引入了一個(gè)技術(shù)亮點(diǎn)，即為了防止員工利用深度學(xué)習(xí)考勤的“無人工干預(yù)性”，而出現(xiàn)的“替人考勤”情況，系統(tǒng)在員工登錄模塊的設(shè)計(jì)和實(shí)現(xiàn)上，除了普遍的“密碼校驗(yàn)”外，還添加了“身份鑒權(quán)”的步驟，即通過將員工手機(jī)號與手機(jī)卡IMSI號綁定的方式確保所考勤即所人，從而在此基礎(chǔ)上確保了考勤結(jié)果的客觀性、真實(shí)性與有效性。

3.2面部特征提取

面部特征提取是指從人臉圖像中識(shí)別面部關(guān)鍵信息點(diǎn)，包括眉毛、眼睛、鼻子、嘴和下巴。首先是要進(jìn)行圖像的預(yù)處理，從圖片中定位出所有的人臉。

在圖片中定位出人臉后，接下來是識(shí)別人臉的關(guān)鍵特征點(diǎn)，包括眼睛、鼻子、嘴和下巴。輸出像素點(diǎn)坐標(biāo)，例如“2.jpg,62,941,211,333”，代表圖片中的一張臉，輸出的坐標(biāo)表示這張臉的上、右、下、左像素點(diǎn)的坐標(biāo)。如果一張臉識(shí)別出不止一個(gè)結(jié)果，那么意味著他和其他人長得像，針對亞洲人臉部特征，將容錯(cuò)率（tolerance）這個(gè)參數(shù)設(shè)置為0.48（默認(rèn)0.6），容錯(cuò)率越低，識(shí)別越嚴(yán)格準(zhǔn)確。

3.3考勤識(shí)別

將課堂拍攝的實(shí)時(shí)圖像導(dǎo)入系統(tǒng)，在跟數(shù)據(jù)庫中的數(shù)據(jù)圖像對比后反饋，得到考勤結(jié)果。

4 系統(tǒng)實(shí)現(xiàn)

4.1環(huán)境配置

本系統(tǒng)實(shí)現(xiàn)是在python3.3上完成，并導(dǎo)入face_recognition庫。

4.2建立班級圖像數(shù)據(jù)庫

代碼如下：

rootdir='D:\adas\面部識(shí)別素材\16軟件1班照片\'

str="this is string example....wow!!!this is really string"

tt=str.replace("is","was")

WSI_MASK_PATH='D:\sla\adas\面部識(shí)別素材\16軟件1班照片\'//存放圖片的文件夾路徑

wsi_mask_paths=glob.glob(os.path.join(WSI_MASK_PATH,'*.jpg'))

wsi_mask_paths.sort()

known_face_names=[]

known_face_encodings=[]

4.3課堂考勤實(shí)現(xiàn)

將課堂實(shí)時(shí)圖片導(dǎo)入，特征提取識(shí)別，輸出考勤結(jié)果。部分代碼如下：

frame=face_recognition.load_image_file("D:\adas\面部識(shí)別素材\IMG_5841.JPG")

small_frame=frame

rgb_small_frame=small_frame

if process_this_frame:

face_locations=face_recognition.face_locations(rgb_small_frame)

face_encodings= face_recognition.face_encodings(rgb_small_frame,face_locations)

face_names=[]

for face_encoding in face_encodings://判斷匹配與否

matches=face_recognition.compare_faces(known_fa ce_encodings,face_encoding,tolerance=0.48)

name="Unknown"

if True in matches:

first_match_index=matches.index(True)

name=known_face_names[first_match_index]

face_names.append(name)

process_this_frame=not process_this_frame

for(top,right,bottom,left),name in zip(face_locations,face_names)://上、右、下、左像素點(diǎn)坐標(biāo)

cv2.rectangle(frame,(left,top),(right,bottom),(0,0,255),2)

cv2.rectangle(frame,(left,bottom-35),(right,bottom),(0,0,255),cv2.FILLED)

font=cv2.FONT_HERSHEY_DUPLEX

cv2.putText(frame,name,(left+6,bottom-6),font,1.0,(255,255,255),1)

cv2.imwrite('D:\222.png',frame)//考勤結(jié)果

4.4 考勤結(jié)果

實(shí)踐證明，基于深度學(xué)習(xí)的考勤系統(tǒng)在實(shí)時(shí)課堂考勤中表現(xiàn)出了良好的識(shí)別速率和極高的準(zhǔn)確率，拍攝的圖片人臉不出現(xiàn)遮擋的情況下，均能夠?qū)D片進(jìn)行人臉定位并識(shí)別，準(zhǔn)確率高達(dá)95%。其中有1位同學(xué)在面部未遮擋的情況下，出現(xiàn)了人臉定位失敗的情況，這種情況需要在后續(xù)研究中進(jìn)行改進(jìn)研究。

5 結(jié)語

本文將班級學(xué)生圖像數(shù)據(jù)集作為特征提取樣本，通過改進(jìn)訓(xùn)練參數(shù)，實(shí)時(shí)采集課堂圖像進(jìn)行考勤，實(shí)踐證明該系統(tǒng)具有極高的準(zhǔn)確率?，F(xiàn)階段大數(shù)據(jù)技術(shù)在高校考勤系統(tǒng)中的應(yīng)用已經(jīng)成為了必然，這一技術(shù)的應(yīng)用對于考勤系統(tǒng)的深度學(xué)習(xí)有著重要的價(jià)值，因此也是高?？记谙到y(tǒng)未來革新的必然趨勢，因此我國許多高校計(jì)劃在建設(shè)智能考勤系統(tǒng)時(shí)增加更系統(tǒng)化的大數(shù)據(jù)分析技術(shù)，這一系統(tǒng)的數(shù)據(jù)可以與各種數(shù)據(jù)模型，學(xué)生的考勤出席數(shù)據(jù)、在線行為數(shù)據(jù)、手機(jī)定位數(shù)據(jù)、課程成績數(shù)據(jù)等相結(jié)合，為學(xué)生的學(xué)習(xí)情況進(jìn)行一個(gè)全景式的描繪除此之外，對于教職員工而言，深度學(xué)習(xí)的考勤系統(tǒng)可以在各種數(shù)據(jù)模型中將教師的科研信息數(shù)據(jù)、工資收入數(shù)據(jù)等添加到系統(tǒng)數(shù)據(jù)中，讓校方對于教職員工的晉升和豁免以及對工作場所情況有著更為清晰的判斷，同時(shí)有效避免了考勤機(jī)、指紋機(jī)等考勤方式存在的代打卡、費(fèi)用高的問題，減少了課堂考勤時(shí)間，提升了課堂效率，是高校課堂進(jìn)行信息化教學(xué)的良好工具。