陳梅

摘要：本應(yīng)用系統(tǒng)主要針對學(xué)生考試過程中的人臉信息進(jìn)行圖片采集，解析圖片得到相應(yīng)的數(shù)據(jù)信息，最后將數(shù)據(jù)可視化呈現(xiàn)，為考試結(jié)果提供輔助性參考信息。根據(jù)開發(fā)要求，本系統(tǒng)用于完成采集學(xué)生的面部信息，如表情、眼鏡以及偏向程度等，基于騰訊優(yōu)圖提供的人臉檢測與分析、人臉關(guān)鍵點(diǎn)定位與追蹤以及人臉驗(yàn)證等技術(shù)，提取出圖片中人臉的有效信息提取出圖片中人臉的有效信息來對高校機(jī)考平臺學(xué)生面部數(shù)據(jù)進(jìn)行采集分析。

關(guān)鍵詞：大數(shù)據(jù);人臉識別;圖片分析;學(xué)生面部信息

中圖分類號：TP399 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）10-0183-04

1緒論

1.1研究背景

1.1.1人臉識別的現(xiàn)狀

如今，信息技術(shù)愈發(fā)滲透我們的生活，人們越來越享受科技帶來的樂趣。云計(jì)算、物聯(lián)網(wǎng)和人工智能技術(shù)變革式發(fā)展，相關(guān)應(yīng)用百花齊放。人臉分析作為許多智能化應(yīng)用的核心環(huán)節(jié)，近幾年越來越受到學(xué)者關(guān)注，其中的關(guān)鍵技術(shù)包括人臉檢測、人臉跟蹤、人臉特征提取、特征匹配和人臉分類Ⅲ等。并且人臉識別技術(shù)在社會安全得到了廣泛的使用，如刷臉買票和刷臉安檢等。同時(shí)在醫(yī)學(xué)方面也發(fā)揮著很大的作用，如防止冒領(lǐng)養(yǎng)老保險(xiǎn)問題等。所以，人們在研究人工智能方向越來越把人臉識別技術(shù)放在重要的研究位置。

在人的大腦機(jī)制中，可以很清楚地記住并分辨出很多張人臉信息，但是要計(jì)算機(jī)去處理人臉信息卻很麻煩，因?yàn)槿四樞畔⑹菚S著年齡、光線等問題發(fā)生變化，為計(jì)算機(jī)識別的準(zhǔn)確性增加了不少難度。并且人臉具有相似度的特性，所以人臉識別算法就愈發(fā)的難以完善。如今，人臉識別技術(shù)在當(dāng)今是一個(gè)非常具有挑戰(zhàn)性并且非常值得研究的技術(shù)。

1.1.2人臉識別的應(yīng)用場景

在信息全球化的背景下，ATM機(jī)器刷臉取款、智能機(jī)器人服務(wù)以及刷臉出入逐漸成為現(xiàn)實(shí)。人臉識別技術(shù)已被炒得火熱，它正在被廣泛地應(yīng)用到各個(gè)領(lǐng)域，默默地影響著我們的生活，如智慧教育、智慧金融、智慧社保、智慧公安等諸多方面，極大程度上方便著我們的生活。

在互聯(lián)網(wǎng)中，人臉識別更是發(fā)揮了更大的優(yōu)勢，并且有很多相關(guān)的研究分析，如圖片鑒黃工作、廣告過濾工作等。但是至今還沒有一套完善的基于人臉識別技術(shù)對考試過程學(xué)生面部數(shù)據(jù)進(jìn)行采集分析與研究的解決方案，基于上述情況，本系統(tǒng)應(yīng)運(yùn)而生。

1.2研究意義

人臉識別是人類非常重要的感知能力。隨著計(jì)算機(jī)技術(shù)的發(fā)展，人類渴望賦予計(jì)算機(jī)理解情感、感知外部世界的能力，自動人臉識別技術(shù)的研究應(yīng)運(yùn)而生。人臉識別研究具有重大的理論意義和應(yīng)用價(jià)值。人臉識別研究既可以促進(jìn)心理學(xué)上對人類自身人臉識別機(jī)制的研究，也可以促進(jìn)圖像識別技術(shù)的研究，幫助實(shí)現(xiàn)人工智能。

計(jì)算機(jī)人臉識別技術(shù)也就是利用計(jì)算機(jī)分析人臉圖像，進(jìn)而從中提取出有效的識別信息，用來“辨認(rèn)”身份的一門技術(shù)。自動人臉識別利用計(jì)算機(jī)分析人臉圖像，從中提取出有效的識別信息，用來辨認(rèn)身份的一種技術(shù)嘲，各行各業(yè)將人臉識別處理技術(shù)運(yùn)用到各個(gè)領(lǐng)域中數(shù)不勝數(shù)。

另外，大學(xué)計(jì)算機(jī)上機(jī)考試將成為趨勢，它大大推進(jìn)了無紙化考試，具有環(huán)保，節(jié)省資源，操作簡單，沒有人為干擾，直接出成績，效率高，方便成績統(tǒng)計(jì)等特點(diǎn)。所以在這個(gè)比較成熟的環(huán)境下，可以通過分析學(xué)生考試過程中的行為信息來獲取相應(yīng)的參考信息給老師，來了解學(xué)生的考試情況。

基于上述情況，系統(tǒng)將基于人臉識別技術(shù)對考試過程中的人臉行為進(jìn)行分析，對識別出來的結(jié)果進(jìn)行數(shù)據(jù)整理分析，最后形成分析報(bào)表參考信息，來進(jìn)一步完善機(jī)考設(shè)施制度?；谌四樧R別對機(jī)考平臺中學(xué)生面部信息的收集分析，可以幫助老師了解學(xué)生對于該堂考試的具體情況、具有針對性的改善本學(xué)科的教學(xué)任務(wù)

1）分析學(xué)生拿到試卷時(shí)候的面部信息。在考試剛開始，通過收集學(xué)生大致瀏覽題目后所表現(xiàn)出來的如興奮、難過、沮喪等面部表情，分析出該學(xué)生的大致所想，是題目難度過難、適中還是容易等情況。

2）分析考試過程中學(xué)生的轉(zhuǎn)向情況。在考試過程中，通過收集學(xué)生面部信息，來分析出頭的轉(zhuǎn)向信息。如頭的轉(zhuǎn)向角度、轉(zhuǎn)向方向、是否依然處在攝像頭規(guī)定區(qū)域位置等來綜合分析出該學(xué)生的轉(zhuǎn)向信息。通過判斷偏向角度、偏向距離、偏向角度等來分析出學(xué)生考試行為是否正常等信息。

3）分析考試過程中學(xué)生的認(rèn)真情況。考試過程中通過拿到學(xué)生的面部信息坐標(biāo)后，分析學(xué)生一直盯著電腦屏幕的頻率以及轉(zhuǎn)向幅度等行為分析出做題認(rèn)真思考程度，認(rèn)真思考的時(shí)間曲線范圍，對待考試是否認(rèn)真等情況。

4）分析考試結(jié)束后學(xué)生看到成績時(shí)的面部信息。在學(xué)生提交考試后，一直捕捉到該學(xué)生離開座位，分析該學(xué)生在那段期間的面部信息，如高興、失望、平靜等通過圖表信息反饋出來。

5）分析考試過程學(xué)生是否中途換人。在考試過程中通過人臉對比，來分析出學(xué)生中途是否換人的情況。

6）后期擴(kuò)展。將系統(tǒng)作為實(shí)時(shí)監(jiān)控考試過程，老師直接通過管理終端就可以看到該位學(xué)生的具體情況，若發(fā)現(xiàn)異常便可以直接切換到該學(xué)生的攝像頭信息，若情況屬實(shí)，可以直接通過系統(tǒng)提示該學(xué)生。這樣便直接可以在管理終端便掌握管理一切情況。

2需求分析

2.1系統(tǒng)可行性分析

2.1.1技術(shù)可行性分析

目前在已有的人臉研究方向體系中，已經(jīng)有很多做得比較成熟的技術(shù)成果，如Face++、商湯、依圖、云從、百度人臉識別和騰訊優(yōu)圖等，并且大部分平臺已經(jīng)開放了圖片處理接口。在通過比較所有平臺接口的可用性、穩(wěn)定性以及可靠性之后，本系統(tǒng)選擇騰訊優(yōu)圖作為后臺處理圖片和信息分析的算法支撐。

騰訊優(yōu)圖開放平臺擁有世界領(lǐng)先的人臉識別技術(shù)，自研Uface深度訓(xùn)練模型技術(shù)，提供業(yè)界最好最優(yōu)的人臉識別服務(wù)，云上構(gòu)建VIP體系服務(wù)，為產(chǎn)品引入商務(wù)模式，建立智能識別的生態(tài)系統(tǒng)。騰訊優(yōu)圖在人臉檢測與識別等領(lǐng)域有著比較優(yōu)秀的能力，提供的云服務(wù)已經(jīng)可以滿足本系統(tǒng)的大部分需求，符合系統(tǒng)技術(shù)選型。

3技術(shù)選型及開發(fā)環(huán)境

3.1前端框架

3.1.1 Freemarker+5JSP

JSP是官方標(biāo)準(zhǔn)，用戶群廣，有豐富的第三方JSP標(biāo)簽庫，并且支持EL表達(dá)式，但是唯一缺點(diǎn)就是可以在JSP頁面中編寫Java代碼，如果使用不當(dāng)會破壞MVC結(jié)構(gòu)，所以本系統(tǒng)在此基礎(chǔ)上引進(jìn)了Freemarker模板引擎技術(shù)。它具有支持JSP標(biāo)簽、可以進(jìn)行復(fù)雜的運(yùn)算以及性能更佳等幾個(gè)優(yōu)勢。所以可以采用Freemarker+JSP的方式作為前端頁面的數(shù)據(jù)渲染技術(shù)。

3.2后端框架

后臺使用Java進(jìn)行編碼，Java是一種面向?qū)ο蟮木幊陶Z言，它具有支持分布式、強(qiáng)大的安全性、結(jié)構(gòu)中立性、高可移植性、性能非常出色以及支持多線程等特性。Java的一次編譯的運(yùn)行時(shí)功能使其成為跨平臺和降低成本的絕佳選擇?？偠灾?，Java語言有兩個(gè)特點(diǎn)：功能強(qiáng)大且易于使用嘲。以下是系統(tǒng)使用到的一些比較出色的Java開源框架。

3.2.1 Mybatis持久層框架

MyBatis是一個(gè)持久性框架，主要負(fù)責(zé)與數(shù)據(jù)庫進(jìn)行通信并簡化數(shù)據(jù)庫訪問的操作。它可以高度定制SQL語句，這完全避免了需要手動設(shè)置JDBC的參數(shù)的方式，簡化了配置。通過MyBatis可以編寫更為簡單的SQL語句，讓開發(fā)者不再花更多心思去拼接參數(shù)而擔(dān)心SQL注入等安全問題，達(dá)到簡單易維護(hù)的目的。

3.2.2 Shiro安全管理框架

在Java體系的安全管理框架中，比較主流的就是spring se-curity框架和Apache Shiro框架，對比兩個(gè)框架，Shiro更加輕量級，在系統(tǒng)搭建配置上更加靈活，而Spring Security顯得更為笨重，所以本系統(tǒng)選擇Shiro作為安全管理框架。Shiro作為一個(gè)安全管理框架，不僅提供了身份認(rèn)證、授權(quán)、會話以及加密等功能，還可以根據(jù)系統(tǒng)業(yè)務(wù)邏輯高效的自定義基于RBAC模型的權(quán)限框架設(shè)計(jì)，可以很方便地?cái)U(kuò)展系統(tǒng)的可用性嘲。

4系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

4.1圖片上傳邏輯

在學(xué)生考試過程中，系統(tǒng)會收集大量的學(xué)生面部圖片。而拍攝照片的工作，本系統(tǒng)采用的是調(diào)用電腦自帶的攝像頭來進(jìn)行拍照，然后將圖片處理成Base64格式，因?yàn)榫W(wǎng)頁上普通的圖片資源如果采用HTFP形式的RUL的話都會額外發(fā)送一次請求，網(wǎng)頁發(fā)送的HTTP請求次數(shù)越多，會造成頁面加載速度越慢，而采用Base64轉(zhuǎn)碼過后則可以避免這種情況。本系統(tǒng)主要用到的攝像頭插件是iquery-webcam-plugin，它將攝像頭功能進(jìn)行了封裝，可以很方便實(shí)現(xiàn)拍照上傳功能。

4.2新聞數(shù)據(jù)爬取邏輯

實(shí)現(xiàn)網(wǎng)頁信息爬取，Jsoup是一個(gè)很好用的工具，它可以通過很簡單的語法就可以很輕松地把網(wǎng)上的數(shù)據(jù)爬取下來。該框架是一個(gè)Java編寫的輕量級框架，它完全類似于iQuery的語法，提供了一套非常省力的API，可以很快地讓人熟悉該框架。在抓取網(wǎng)上新聞數(shù)據(jù)的時(shí)候后，后端進(jìn)行數(shù)據(jù)渲染。

4.3圖片處理算法

4.3.1優(yōu)圖簡介

在眾多開源項(xiàng)目中，在人臉的處理上，都是從人臉檢測、五官定位和人臉對比三個(gè)方向做研究，比較出名的開源項(xiàng)目有騰訊優(yōu)圖和中科院山世光老師開源的Seetaface人臉識別引擎。騰訊優(yōu)圖是騰訊在2012成立的實(shí)驗(yàn)室，是騰訊內(nèi)部專注于圖像處理、機(jī)器學(xué)習(xí)的團(tuán)隊(duì)，優(yōu)圖并發(fā)限制為10個(gè)每秒，并且云服務(wù)免費(fèi)，滿足本系統(tǒng)需求。故在對比眾多開源項(xiàng)目后本系統(tǒng)選擇騰訊優(yōu)圖作為圖片的處理算法。

4.3.2算法原理

騰訊優(yōu)圖在人臉檢測、五官定位和人臉對比的算法均采用了人臉識別經(jīng)典算法中的Boosting算法，該算法是一種用來提高弱分類算法準(zhǔn)確度的方法，作為一種框架算法，它在通過對樣本集的操作并獲得樣本子集后，在樣本子集上通過弱分類器算法訓(xùn)練生成基分類器，在獲得若干個(gè)基分類器后，將其加權(quán)融合，產(chǎn)生一個(gè)結(jié)果分類器。騰訊優(yōu)圖在此基礎(chǔ)上進(jìn)行的人臉識別技術(shù)方面主要是采用了傳統(tǒng)方式和深度學(xué)習(xí)相結(jié)合的兩種途徑進(jìn)行算法實(shí)現(xiàn)，優(yōu)圖的人臉識別流程圖如圖1所示。

本系統(tǒng)采用優(yōu)圖提供的人臉檢測接口、五官定位接口和人臉對比接口進(jìn)行圖片的分析處理，下面將詳細(xì)介紹幾種接口的使用方法。

5研究成果

5.1圖片庫

5.1.1基本信息查看

在系統(tǒng)生成的所有圖片中，圖片庫的功能就是整理圖片信息，以便更好地觀看圖片資源。教師可以以考試、班級、個(gè)人為單位查看所包含的圖片信息，這里面不僅分頁列出了所有的圖片信息，而且還單獨(dú)列出了每張圖片采集后的基本信息，如圖片名稱、采集時(shí)間等，也列出了人臉檢測的基本信息，如微笑程度、魅力、年輪等臉部屬性信息，以供教師可以很清晰的瀏覽。

5.1.2人臉檢測和五官定位信息采集

由瀏覽器上傳圖片后，系統(tǒng)默認(rèn)對所有圖片是沒有做任何操作的，還需要教師角色手動對圖片進(jìn)行信息的采集工作，因此圖片庫頁面提供了人臉檢測和五官定位的信息采集功能，可以對圖片進(jìn)行批量采集工作，將解析數(shù)據(jù)錄入數(shù)據(jù)庫。

5.2采集成功率

采集成功率主要是系統(tǒng)針對所有圖片的采集情況做一個(gè)匯總，這里包含了人臉檢測信息、五官定位信息、人臉對照信息的匯總。主要包括采集成功率、采集失敗率以及未采集占比情況。采集成功的標(biāo)準(zhǔn)圖片傳送到優(yōu)圖服務(wù)器后能夠返回正確的圖片數(shù)據(jù)信息，采集失敗率則是包括優(yōu)圖解析圖片失敗，返回了錯(cuò)誤的信息或者因網(wǎng)絡(luò)問題在傳輸過程中丟失了數(shù)據(jù)信息而造成的錯(cuò)誤數(shù)據(jù)，未采集圖片則就是指系統(tǒng)還沒有對圖片做任何采集工作，采集成功率效果如圖2所示。

5.3面部表情分析

面部表情分析主要是提取出人臉屬性中的表情，獲取到面部微笑程度，系統(tǒng)為其劃分區(qū)間，主要按照10為臨界點(diǎn)分為：“黯然傷神”，“半嗔半喜”，“似笑非笑”，“笑逐顏開”，“莞爾一笑”，“喜上眉梢”，“眉開眼笑”，“笑盡妖嬈”，“心花怒放”，“一笑傾城”一共10個(gè)等級，然后提取出每個(gè)區(qū)間的占比率。后臺統(tǒng)計(jì)標(biāo)準(zhǔn)為將圖片請求到優(yōu)圖的人間檢測接口，利用返回的Ex-pression字段值做一個(gè)統(tǒng)計(jì)，可以很方便地統(tǒng)計(jì)出學(xué)生在某個(gè)時(shí)間段的表情分布情況，面部表情分析效果圖如圖3所示。

5.4眼鏡分析

眼鏡分析功能主要適用于以考試、班級為單位的分析，統(tǒng)計(jì)出戴眼鏡、墨鏡以及未戴眼鏡的比例情況，統(tǒng)計(jì)出學(xué)生的眼鏡近視程度分布情況，后臺統(tǒng)計(jì)標(biāo)準(zhǔn)主要是將圖片請求到優(yōu)圖的人臉檢測接口，利用返回的Glasses字段值做一個(gè)統(tǒng)計(jì)，分析效果圖如圖4所示。

5.5面部表情走勢分析

面部表情走勢分析主要是針對個(gè)人進(jìn)行分析，還原出該學(xué)生在考試過程中的面部表情走勢，用折線圖展現(xiàn)出來。此功能區(qū)別于上面的表情分布功能，表情走勢分析可以清楚地了解到學(xué)生在那一時(shí)段的變化情況，利用此功能可以設(shè)置到如下兩個(gè)時(shí)間段：學(xué)生剛剛拿到題庫的時(shí)候和學(xué)生交卷得到成績的時(shí)候。在這兩個(gè)比較特殊的時(shí)間段，可以拿到學(xué)生諸多有效的信息，如學(xué)生剛剛拿到考題時(shí)候的那個(gè)時(shí)間段，臉部呈現(xiàn)出來的表情和他心理的是否匹配，與他心理的期望值是多少等，同理在學(xué)生交卷得到成績的時(shí)刻都可以做相同的數(shù)據(jù)統(tǒng)計(jì)，這樣教師可以根據(jù)大部分學(xué)生的情況可以了解到考題出的難易程度是否合適，學(xué)生對成績的滿意程度等做出相應(yīng)的教學(xué)整改工作。

5.6轉(zhuǎn)向情況分析

轉(zhuǎn)向情況分析主要是將學(xué)生在考試過程中的偏移情況用折線圖展現(xiàn)出來，系統(tǒng)主要將學(xué)生的位置分布在左、中、右三個(gè)位置，左邊和右邊又分為兩個(gè)臨界值，分析出學(xué)生的轉(zhuǎn)向情況，如偶爾處于臨界值則屬于正常情況，長期處于臨界值則屬于有問題，通過這樣的統(tǒng)計(jì)可以得出學(xué)生在考試過程中的一個(gè)臉部位置分布大致情況，轉(zhuǎn)向情況走勢分析圖如圖6所示。系統(tǒng)在后臺的統(tǒng)計(jì)規(guī)則是取出圖片中人臉的鼻子的x坐標(biāo)值進(jìn)行統(tǒng)計(jì)，可以進(jìn)行某一段時(shí)間的集中分析，也可以對全部時(shí)間的情況分析，通過條形圖可以很清楚地看到學(xué)生的具體轉(zhuǎn)向情況，如處于某一個(gè)臨界值位置是否過于密集等情況。

6總結(jié)

本系統(tǒng)基于Java語言技術(shù)，采用SSM框架，使用人臉檢測與分析以及人臉驗(yàn)證等技術(shù)對學(xué)生上機(jī)學(xué)習(xí)或者考試過程中的人臉信息進(jìn)行采集分析，對解析的圖片數(shù)據(jù)進(jìn)行可視化呈現(xiàn)。本系統(tǒng)將人臉識別共劃分為四個(gè)部分，分別是表情分析（劃分為10個(gè)維度）、表情走勢分析、轉(zhuǎn)向分析（左、中、右偏離度數(shù)）基于人臉識別對機(jī)考平臺學(xué)生面部信息的收集分析，可以幫助老師了解學(xué)生對于該堂考試的具體情況、具有針對性的改善本學(xué)科的教學(xué)任務(wù)以及進(jìn)一步完善機(jī)考設(shè)施制度。