摘要：近年來(lái)，人臉檢測(cè)與表情識(shí)別技術(shù)已成為多個(gè)領(lǐng)域的研究重點(diǎn)，包括智能交通、智慧醫(yī)療、線上教育等。然而，傳統(tǒng)的人臉表情識(shí)別方法存在識(shí)別率低等問(wèn)題。為突破這些難題，深入研究了卷積神經(jīng)網(wǎng)絡(luò)，基于深度學(xué)習(xí)對(duì)模型和算法進(jìn)行設(shè)計(jì)和調(diào)優(yōu)，探索出一種高效率、高準(zhǔn)確度的人臉檢測(cè)與表情識(shí)別方法，成功構(gòu)建了人臉表情識(shí)別系統(tǒng)。主要介紹基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)相關(guān)研究背景與研究意義，通過(guò)模型算法設(shè)計(jì)和參數(shù)優(yōu)化，使表情識(shí)別模型在多個(gè)訓(xùn)練集上達(dá)到了較高的識(shí)別率和準(zhǔn)確度。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；數(shù)據(jù)集；識(shí)別率

一、前言

（一）研究背景

隨著計(jì)算機(jī)科學(xué)技術(shù)的不斷發(fā)展，計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等詞條逐漸進(jìn)入了人們的視野。近年來(lái)，世界各地的計(jì)算機(jī)研究學(xué)者紛紛展開(kāi)了對(duì)人工智能深度學(xué)習(xí)領(lǐng)域的深入研究，促進(jìn)了深度學(xué)習(xí)等研究體系的不斷完善，越來(lái)越多優(yōu)秀的技術(shù)與系統(tǒng)接連被發(fā)表和開(kāi)發(fā)，并使用于各種復(fù)雜的應(yīng)用環(huán)境，人臉表情識(shí)別的研究已經(jīng)獲得了較為卓越的成果，機(jī)器對(duì)人面部表情的識(shí)別率逐漸得到了保證[1]。

面部表情是人類(lèi)表達(dá)內(nèi)心情感的重要渠道，它在人們的日常交流中無(wú)需依賴語(yǔ)言，便能夠以可視化的形式傳達(dá)信息，深刻反映人們的真實(shí)情感。早在1968年，心理學(xué)家Mehrabian就明確指出，人類(lèi)的面部表情是傳遞情感信息的最主要途徑。在社會(huì)交流中，語(yǔ)言、聲音和表情共同承載著交流信息的重任，其中，語(yǔ)言傳遞的信息量約占7%，聲音占據(jù)38%，而表情則承載了高達(dá)55%的情感信息。隨著科技的不斷進(jìn)步，高分辨率攝像頭得以廣泛普及和應(yīng)用，為人臉表情識(shí)別技術(shù)提供了堅(jiān)實(shí)的基礎(chǔ)。這一技術(shù)的廣泛使用，使得基于人臉表情識(shí)別的情感分析成為當(dāng)前研究的熱點(diǎn)領(lǐng)域。通過(guò)精準(zhǔn)捕捉和分析面部表情的細(xì)微變化，能夠更深入地理解人類(lèi)的情感世界，為諸多領(lǐng)域的研究與應(yīng)用開(kāi)辟新的路徑[2]。

（二）研究意義

在教育領(lǐng)域，高清視頻及語(yǔ)音技術(shù)的大力發(fā)展推動(dòng)了線下教學(xué)向線上APP教學(xué)的轉(zhuǎn)變。APP教學(xué)要求學(xué)生打開(kāi)攝像頭進(jìn)行人臉識(shí)別，已成為教學(xué)過(guò)程中的常態(tài)。當(dāng)APP集成了表情識(shí)別技術(shù)后，它便能實(shí)時(shí)記錄每位學(xué)生在課堂上的表現(xiàn)以及情緒變化[3]。這一創(chuàng)新不僅方便了教育者在課堂上監(jiān)督學(xué)生的學(xué)習(xí)狀態(tài)，還為教育者在課后分析教學(xué)質(zhì)量、調(diào)整教學(xué)計(jì)劃提供了有力支持。在交通駕駛領(lǐng)域，人臉表情識(shí)別技術(shù)同樣展現(xiàn)出了巨大潛力。通過(guò)在交通攝像裝置上配置這一系統(tǒng)，能夠?qū)崟r(shí)采集駕駛員的人臉圖像，并識(shí)別他們的表情，從而判斷其駕駛狀態(tài)。無(wú)論是憤怒、疲憊還是醉酒，系統(tǒng)都能迅速辨識(shí)，并在必要時(shí)提醒或強(qiáng)制停止駕駛員的駕駛行為，以確保駕駛安全，實(shí)現(xiàn)智能交通的指揮與控制。在安全生產(chǎn)領(lǐng)域，車(chē)間危險(xiǎn)機(jī)械操作員等高風(fēng)險(xiǎn)崗位的工作人員時(shí)刻面臨著生命健康安全的挑戰(zhàn)[4]。在精力疲憊等狀態(tài)下，他們可能會(huì)因操作失誤而危及自身安全或造成重大經(jīng)濟(jì)損失。針對(duì)這一問(wèn)題，企業(yè)可以引入人臉表情識(shí)別系統(tǒng)，實(shí)時(shí)監(jiān)督操作者的狀態(tài)，并在必要時(shí)發(fā)出警報(bào)，有助于規(guī)范機(jī)械操作、實(shí)現(xiàn)智能化安全生產(chǎn)，從而有效規(guī)避潛在的重大風(fēng)險(xiǎn)[5]。

二、實(shí)驗(yàn)分析

（一）實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)是在Windouws 64位系統(tǒng)，CPU實(shí)驗(yàn)環(huán)境下，基于Pytorch與Tensorflow框架下依賴Python3.6構(gòu)建的網(wǎng)絡(luò)模型，開(kāi)發(fā)工具選擇了Pycharm。FaceCNN網(wǎng)絡(luò)模型為Pytorch框架下構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型[6]，文中CNN1與CNN2網(wǎng)絡(luò)模型為基于Tensorflow框架下構(gòu)建的網(wǎng)絡(luò)模型。

（二）實(shí)驗(yàn)數(shù)據(jù)

由于短時(shí)間內(nèi)采集大量人臉表情特別困難，并且人臉部的圖像特征十分復(fù)雜，所以本次實(shí)驗(yàn)決定使用在網(wǎng)絡(luò)上公開(kāi)的由實(shí)驗(yàn)室采集的標(biāo)準(zhǔn)化人臉表情數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練與驗(yàn)證。在訓(xùn)練實(shí)驗(yàn)中，F(xiàn)er2013數(shù)據(jù)集、CK+數(shù)據(jù)集、JAFFE數(shù)據(jù)集被投入訓(xùn)練。這三種數(shù)據(jù)集組拼成了復(fù)雜、大型數(shù)據(jù)集，并在這三個(gè)數(shù)據(jù)集上進(jìn)行模型訓(xùn)練、驗(yàn)證與測(cè)試。

CK+數(shù)據(jù)集是基于Cohn-Kanda（CK）數(shù)據(jù)集上進(jìn)行拓展，并于2010年首次發(fā)布，該數(shù)據(jù)集比JAFFE數(shù)據(jù)集大很多并且可以自主免費(fèi)使用。CK+數(shù)據(jù)集采集了來(lái)自世界各地不同國(guó)家、不同種族、不同性別、不同膚色的123位實(shí)驗(yàn)者受不同外界環(huán)境影響，光照狀況各不相同的各種表情。

JAFFE數(shù)據(jù)集是一個(gè)涵蓋了7種最基本面部表情的標(biāo)準(zhǔn)化圖像集合，其中包含213張由10位日本女模特精心演繹的人臉表情圖片。這些圖像不僅展現(xiàn)了人類(lèi)情感的豐富多樣性，還為面部表情識(shí)別研究提供了寶貴的數(shù)據(jù)資源。JAFFE數(shù)據(jù)集由MichaelLyons、MiyukiKamachi與JiroGyoba三人在日本九州大學(xué)心理學(xué)系策劃拍攝并組裝數(shù)據(jù)集，JAFFE數(shù)據(jù)集7種表情分別為生氣、厭惡、開(kāi)心、驚訝、傷心、恐懼和中性。JAFFE數(shù)據(jù)集由實(shí)驗(yàn)室采集，公認(rèn)度很高。

Fer2013是一個(gè)非常龐大的數(shù)據(jù)集，包括三萬(wàn)多張48×48的灰度圖像在不同環(huán)境、不同光照甚至不同印象的人臉表情圖片，該數(shù)據(jù)集劃分了28708長(zhǎng)測(cè)試圖集，包含7種最基本的表情標(biāo)簽。Fer2013的優(yōu)點(diǎn)是易獲得、數(shù)據(jù)量足夠多，這些優(yōu)點(diǎn)對(duì)訓(xùn)練網(wǎng)絡(luò)是必要的。

由于JAFFE數(shù)據(jù)集過(guò)于小，單獨(dú)進(jìn)行模型訓(xùn)練很難達(dá)到預(yù)期的訓(xùn)練效果，在這種很小的數(shù)據(jù)集上，模型訓(xùn)練容易出現(xiàn)過(guò)度擬合，影響訓(xùn)練效果。因此，此次實(shí)驗(yàn)將Fer2013數(shù)據(jù)集、CK+數(shù)據(jù)集、JAFFE數(shù)據(jù)集這三種數(shù)據(jù)集根據(jù)標(biāo)簽融合為一個(gè)超大型數(shù)據(jù)集進(jìn)行統(tǒng)一訓(xùn)練。在完成合并之后按照7：2的比例劃分訓(xùn)練集與測(cè)試集。

（三）實(shí)驗(yàn)結(jié)果

FaceCNN算法在Fer2013數(shù)據(jù)集上單獨(dú)訓(xùn)練的效果不佳，在學(xué)習(xí)率設(shè)定為0.01時(shí)經(jīng)過(guò)70epochs左右的訓(xùn)練之后，在訓(xùn)練集最高得到88%的識(shí)別率，在測(cè)試集僅得到60%以下的識(shí)別率，如圖1所示，訓(xùn)練情況見(jiàn)表1。

FaceCNN模型在訓(xùn)練程度上已經(jīng)呈現(xiàn)收斂的狀態(tài)，說(shuō)明FaceCNN的網(wǎng)絡(luò)結(jié)構(gòu)存在著不可逆的缺點(diǎn)，但是，F(xiàn)aceCNN網(wǎng)絡(luò)結(jié)構(gòu)之中使用的BatchNormlize歸一化操作取得了一定的成果。FaceCNN在模型收斂速度上是無(wú)與倫比的，該網(wǎng)絡(luò)模型僅在70epochs左右便已經(jīng)將近擬合，相比之下，CNN1網(wǎng)絡(luò)與CNN2網(wǎng)絡(luò)在100epochs模型仍然存在輕微振蕩與提升。在CNN1網(wǎng)絡(luò)中，卷積核均為3×3的同時(shí)相較CNN2與FaceCNN模型通道數(shù)更少，可以達(dá)到減少權(quán)值量的目的。CNN1的輸入圖像大小為48×48×1，在第一層卷積層輸出67712個(gè)權(quán)值，遠(yuǎn)遠(yuǎn)小于FaceCNN的147456個(gè)參數(shù)與CNN2的135424個(gè)參數(shù)，大大加快了CNN1的訓(xùn)練速度，見(jiàn)表2。

CNN1在Fer2013數(shù)據(jù)集上訓(xùn)練的初始化參數(shù)學(xué)習(xí)率設(shè)定為0.001，優(yōu)化器選擇使用Adam，在訓(xùn)練100epochs之后，結(jié)果如圖2、圖3所示。

從曲線圖上可知CNN1在訓(xùn)練100epochs的過(guò)程中收斂程度較差，將學(xué)習(xí)率下調(diào)至0.00001之后模型開(kāi)始完全收斂，最終CNN1在Fer2013數(shù)據(jù)集上的訓(xùn)練最大識(shí)別率達(dá)到90%，測(cè)試集最大識(shí)別率達(dá)到67%，比FaceCNN模型高出10%。得益于CNN1較少的卷積核數(shù)，輸出的參數(shù)數(shù)量最少，CNN1的訓(xùn)練速度是三種模型中最快的，CNN1的網(wǎng)絡(luò)結(jié)構(gòu)相較FaceCNN結(jié)構(gòu)深度更深，對(duì)輸入圖像的深層特征提取能力更好，模型的非線性表達(dá)能力更好，模型訓(xùn)練效果也更好。

因?yàn)樵谇皟蓚€(gè)模型訓(xùn)練的情況來(lái)看，0.001的初始學(xué)習(xí)率模型收斂效果不好，訓(xùn)練效果差，所以CNN2模型的初始學(xué)習(xí)率設(shè)定為0.0001，使用更低的學(xué)習(xí)率來(lái)實(shí)現(xiàn)更好的收斂。在模型訓(xùn)練后期將學(xué)習(xí)率改為了0.000001，幫助了模型收斂。相比較前兩個(gè)模型，CNN2模型拓展了訓(xùn)練集與測(cè)試集，使用兩個(gè)較小的CK+數(shù)據(jù)集與JAFFE數(shù)據(jù)集，根據(jù)相同標(biāo)簽與Fer2013進(jìn)行融合。CNN2模型的訓(xùn)練如圖4、圖5所示。

CNN2模型采取了與前兩種模型都不同的結(jié)構(gòu)，在輸入層后加入1×1卷積層，配合上卷積層與全連接層的Relu激活函數(shù)提高了模型對(duì)于非線性表示與建模能力，能夠在一定程度上提高識(shí)別復(fù)雜人臉圖像表情的能力。使用拓展過(guò)的數(shù)據(jù)集進(jìn)行訓(xùn)練也幫助CNN2模型提高了準(zhǔn)確率，在Fer2013數(shù)據(jù)集上的識(shí)別率達(dá)到90%以上，在測(cè)試集的最高識(shí)別率達(dá)到了68.8%，比CNN1模型又提升了1%。同時(shí)，CNN2在CK+劃分的測(cè)試集上的識(shí)別率達(dá)到了94.6%，如圖6所示。

三、結(jié)語(yǔ)

隨著人工智能技術(shù)的飛速發(fā)展，基于深度學(xué)習(xí)的圖像中人臉檢測(cè)與表情識(shí)別已成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。本文在詳細(xì)闡述研究背景與意義的基礎(chǔ)上，通過(guò)實(shí)驗(yàn)分析驗(yàn)證了深度學(xué)習(xí)在人臉檢測(cè)與表情識(shí)別任務(wù)中的有效性。實(shí)驗(yàn)結(jié)果表明，深度學(xué)習(xí)模型能夠準(zhǔn)確地從復(fù)雜背景中檢測(cè)出人臉，并進(jìn)一步識(shí)別出不同的表情。未來(lái)的研究將繼續(xù)探索深度學(xué)習(xí)在人臉檢測(cè)與表情識(shí)別領(lǐng)域的更多可能性。例如，嘗試優(yōu)化模型結(jié)構(gòu)以提高識(shí)別精度，或者將該方法應(yīng)用于更廣泛的場(chǎng)景，如人機(jī)交互、安全監(jiān)控等。此外，研究也將關(guān)注深度學(xué)習(xí)與其他技術(shù)的結(jié)合，以期在人臉檢測(cè)與表情識(shí)別領(lǐng)域取得更多突破性的成果。

參考文獻(xiàn)

[1]LI L， MU X， LI S， et al. A Review of Face Recognition Technology[J/OL]. IEEE Access， 2020： 139110-139120.

[2]JIANG K， WANG Z， YI P， et al. ATMFN： Adaptive-Threshold-Based Multi-Model Fusion Network for Compressed Face Hallucination[J/OL]. IEEE Transactions on Multimedia， 2020， 22（10）： 2734-2747.

[3]QIU H， GONG D， LI Z， et al. End2End Occluded Face Recognition by Masking Corrupted Features[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022： 6939-6952.

[4]熊祝青，王興元.基于邊緣計(jì)算的人臉識(shí)別視頻傳輸系統(tǒng)設(shè)計(jì)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2023（03）：43-45.

[5]吳雯麗，陳治銘，莫梓健，等.基于FPGA卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別系統(tǒng)[J].物聯(lián)網(wǎng)技術(shù)，2023，13（02）：3-6+10.

[6]朱彥穎，賴芝岑，李凡，等.基于人臉識(shí)別的實(shí)驗(yàn)室考勤系統(tǒng)[J].物聯(lián)網(wǎng)技術(shù)，2023，13（01）：14-16.

基金項(xiàng)目：ISO+AI驅(qū)動(dòng)的線上教學(xué)質(zhì)量保障與提升體系研究（項(xiàng)目編號(hào)：DCA220448）

作者單位：首都經(jīng)濟(jì)貿(mào)易大學(xué)

■ 責(zé)任編輯：王穎振、楊惠娟