董艷花 張樹美 趙俊莉

摘要：為解決人臉被部分遮擋也能完成身份驗證的問題，提出一種基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗證方法。對人臉圖像進(jìn)行檢測分塊，將VGGNet-16三個全連接改為一個全連接，將其最后兩個最大池化層改為平均池化層，用來提取人臉塊的特征;并在PCANet的基礎(chǔ)上添加并行模塊，不僅提高網(wǎng)絡(luò)提取特征能力，而且改善了PCANet對遮擋人臉特征丟失造成判別精度不夠的缺點(diǎn)。研究結(jié)果表明，基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋人臉平均識別精度達(dá)到96.62%。

關(guān)鍵詞：新型冠狀病毒;特征提取;遮擋判別;身份驗證

中圖分類號：TP391.41

文獻(xiàn)標(biāo)志碼：A

收稿日期：2020-11-10

基金項目：

國家自然科學(xué)基金（批準(zhǔn)號：61702293， 41506198）資助。

通信作者：張樹美，女，博士，教授，主要研究方向為時滯非線性系統(tǒng)的分析與控制，圖形圖像識別與處理。E-mail： 15865578215@163.com

由于人臉圖像含有豐富的特征信息，近年來人臉識別[1-2]被廣泛應(yīng)用在身份驗證、人機(jī)交互、罪犯識別和智能視頻監(jiān)控等領(lǐng)域。但在自然真實(shí)的環(huán)境下，人臉圖像采集往往受口罩、圍巾、墨鏡等多種遮擋方式的影響，導(dǎo)致通用的目標(biāo)檢測算法遠(yuǎn)遠(yuǎn)不能滿足實(shí)際需求。國內(nèi)外研究者一直致力于有遮擋人臉有效識別問題的研究，提出許多有效的算法[3-7]。如Sun等為了提取遮擋人臉圖像魯棒的深度特征識別多張人臉圖像是否屬于同一人，先后提出DeepID（deformable deep convolutional neural network for generic object detection，DeepID）[8]、DeepID2[9]及DeepID2+[10]網(wǎng)絡(luò)結(jié)構(gòu)，通過自下往上和不同大小黑塊對人臉進(jìn)行多尺度遮擋實(shí)驗，驗證了遮擋在20%以內(nèi)，DeepID2+對遮擋人臉識別有較好的魯棒性，為處理有遮擋人臉識別提供了新思路。但DeepID、DeepID2及DeepID2+等網(wǎng)絡(luò)在人臉檢測及深度特征學(xué)習(xí)時均過度依賴大量的訓(xùn)練樣本和較多參數(shù)，所以Chan等[11]將卷積神經(jīng)網(wǎng)絡(luò)與局部二值模式（local binary patterns，LBP）的特征提取框架相結(jié)合，提出一種主成分分析的網(wǎng)絡(luò)（principal components analysis network，PCANet），通過局部零均值化預(yù)處理和PCA濾波器提取主成分特征，極大的過濾掉圖像中的遮擋特征，對遮擋人臉識別具有魯棒性?；谏鲜鲇姓趽跞四樧R別算法的研究，在保證身份驗證準(zhǔn)確度的基礎(chǔ)上，盡可能降低網(wǎng)絡(luò)復(fù)雜度，本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗證，通過VJ（Viola-Jones）算法[12]訓(xùn)練一個級聯(lián)分類器進(jìn)行人臉檢測，利用CFAN （coarse-to-fine auto-encoder networks）[13]定位人臉特征點(diǎn)實(shí)現(xiàn)人臉特征分塊，通過改進(jìn)（visual geometry group network-16，VGGNet-16）[14]對每個特征塊進(jìn)行特征提取，訓(xùn)練出對應(yīng)的人臉特征塊模型，然后通過改進(jìn)的PCANet網(wǎng)絡(luò)進(jìn)行口罩遮擋判別，最后根據(jù)特征提取及口罩遮擋判別的結(jié)果進(jìn)行口罩遮擋身份驗證。

1 基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗證

有遮擋身份驗證就是利用計算機(jī)對人臉圖像或視頻進(jìn)行人臉檢測，將遮擋信息去除，從中提取有效的識別信息?；谝延械娜四様?shù)據(jù)庫來驗證一個或多個人身份的一項技術(shù)，本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗證方法，在已有遮擋和無遮擋的數(shù)據(jù)集上，利用VJ算法進(jìn)行人臉檢測，然后利用CFAN定位人臉特征點(diǎn)。因為本文主要研究的是口罩遮擋下的身份驗證，所以根據(jù)定位的人臉特征點(diǎn)圖像將一張人臉圖像分為眼睛+眉毛、鼻子+嘴巴的特征塊，然后通過改進(jìn)的VGGNet-16對每個特征塊進(jìn)行特征提取，最后為了去除遮擋對人臉識別產(chǎn)生的不利影響，利用改進(jìn)的PCANet網(wǎng)絡(luò)進(jìn)行遮擋判別，把判別出的未遮擋人臉特征塊保留，丟棄遮擋人臉特征塊，并用零向量填充丟失的特征部分，來保證遮擋下獲得的人臉特征也能通過兩個眼睛及眉毛的特征進(jìn)行分類識別，最后分類器根據(jù)遮擋判別的結(jié)果進(jìn)行遮擋人臉識別?；谏疃壬窠?jīng)網(wǎng)絡(luò)的有遮擋身份驗證流程如圖1所示，主要分為人臉分塊、特征提取、遮擋判別及人臉分類識別四部分。

1.1 人臉分塊

本文使用VJ算法檢測人臉，對訓(xùn)練集通過水平翻轉(zhuǎn)、隨機(jī)裁剪、多尺度等方式進(jìn)行數(shù)據(jù)增強(qiáng)，利用由粗到精的自編碼網(wǎng)絡(luò)CFAN進(jìn)行人臉特征點(diǎn)定位，根據(jù)特征點(diǎn)定位的結(jié)果對圖像進(jìn)行裁剪：將圖像大小設(shè)置為260×260，以VJ算法檢測到的左右眼及眉毛、鼻子及嘴巴的關(guān)鍵點(diǎn)為中心，分別裁剪出眼睛+眉毛特征塊和鼻子+嘴巴特征塊，裁剪示例圖如圖2所示。實(shí)驗表明，每個人臉的特征塊大小調(diào)整見表1，可以保證人臉紋理特征不變性的情況下進(jìn)行便捷計算，這種分塊的裁剪方式可以將人臉具有區(qū)分度的信息全部保留下來，并將這些特征塊作為基于分塊有遮擋身份驗證的原圖輸入到后續(xù)改進(jìn)的VGGNet-16特征提取及PCANet遮擋判別中，通過人臉圖像分塊的方式在特征提取過程中減少遮擋的干擾，并提取人臉更為精細(xì)的特征，有效提高有遮擋人臉識別的效率。

1.2 人臉特征塊特征提取

近年來針對人臉識別的深度學(xué)習(xí)網(wǎng)絡(luò)模型不斷更新迭代，許多網(wǎng)絡(luò)識別干凈人臉的準(zhǔn)確度甚至超越人眼的感知能力，但基于深度學(xué)習(xí)的網(wǎng)絡(luò)模型的訓(xùn)練和調(diào)優(yōu)需要借助超大規(guī)模的數(shù)據(jù)集及強(qiáng)大的硬件平臺，所以本文需要選擇一個識別速度和分類精度都較高的神經(jīng)網(wǎng)絡(luò)用來提取人臉特征塊的特征。表2展示的是目前常用的卷積神經(jīng)網(wǎng)絡(luò)各項參數(shù)對比。從常用卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜度和分類識別精度進(jìn)行分析，可知，相對于分類識別精度較高的ResNet-101（Residual Network-101）[15]和DenseNet（Dense Convolutional Network）[16]，VGGNet-16的網(wǎng)絡(luò)層數(shù)更少且運(yùn)行速度更快;由于VGGNet-16采用16層的深層網(wǎng)絡(luò)結(jié)構(gòu)，可有效提取深層特征，相比于速度較快的AlexNet（Alex Network）[17]和SqueezeNet（Squeeze Network），VGGNet-16的分類識別精度高出10%左右，由此，本文選擇VGGNet-16作為人臉特征塊的特征提取網(wǎng)絡(luò)。為使其在較小規(guī)模的訓(xùn)練數(shù)據(jù)和有限計算能力的條件下也能有效提取人臉高層特征，且單一的人臉區(qū)塊相對于整個人臉來說需要提取的特征區(qū)域較小且更精細(xì)，本文對VGGNet-16網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)及損失函數(shù)做了微調(diào)，優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)稱為IVVGNet（Improve Visual Geometry Group Network， IVGGNet）如圖3所示。

根據(jù)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)特征提取的經(jīng)驗，網(wǎng)絡(luò)越深的層越能提取有效的特征，且VGGNet-16網(wǎng)絡(luò)通過使用3×3的卷積核和2×2的池化核不斷加深網(wǎng)絡(luò)深度進(jìn)而提升了網(wǎng)絡(luò)提取特征的性能，所以特征提取效果顯著，IVGGNet為了維護(hù)VGGNet-16底層提取特征的有效性，參照DeepID和GoogLenet（Goog Le Network）[18]網(wǎng)絡(luò)模型，由圖3可知，將VGGNet-16三個全連接層改為一個全連接層，相比于提取整張人臉特征的VGGNet-16減少了網(wǎng)絡(luò)參數(shù)量，提高該網(wǎng)絡(luò)人臉特征提取的速度。同時將全連接層前的兩個最大池化層改為3×3的平均池化層，能最大程度地保留圖像提取的特征，提高VGGNet-16提取人臉特征的能力。

表3展示了IVGGNet和VGGNet在計算量和參數(shù)量上的區(qū)別。IVGGNet網(wǎng)絡(luò)通過減少全連接層和利用平均池化層代替最大池化層，使參數(shù)量由原來的138 M減少到15 M，同時計算量從620 M減少到492 M不僅大大縮減了計算時間，而且節(jié)省了網(wǎng)絡(luò)計算量所需空間。

由于VGGNet-16采用SoftMax分類器進(jìn)行訓(xùn)練，得到的特征的類內(nèi)距離較大，將導(dǎo)致錯誤識別人臉，而Center損失函數(shù)可以增加類間距離，同時縮小類內(nèi)距離，因此本文通過SoftMax+Center損失函數(shù)來增強(qiáng)分類效果。SoftMax損失函數(shù)為

Ls= -∑mi = 1logewTyi xi+ byi∑nj = 1ewTyi xi+ byi （1）

Center損失函數(shù)為

Lc=12∑mi=1xi-cyi22（2）

SoftMax+Center損失函數(shù)為

L=LS+λLC（3）

其中，m表示mini-batch包含的樣本數(shù)量，n表示類別數(shù)， cyi表示yi個類別的特征中心，xi表示全連接層之間的特征，λ用來控制SoftMax及Center的比重。Center損失函數(shù)在訓(xùn)練過程中，逐步減少某類成員到該類的特征中心的距離，并增大其他類成員和該中心的距離，從而得到更好的分類結(jié)果。

為得到具有區(qū)分度的人臉特征，本文將兩種特征塊的訓(xùn)練數(shù)據(jù)集分別輸入到IVGGNet網(wǎng)絡(luò)模型中進(jìn)行特征提取，將分別獲得眼睛+眉毛、鼻子+嘴巴區(qū)域的人臉特征，通過這兩部分特征能夠完整地組合成一張人臉的所有特征。

1.3 基于PCANet遮擋判別

本文主要是為了解決新冠疫情下口罩遮擋時員工打卡上班的身份驗證問題，為此研究對比近年來用于遮擋人臉識別的卷積神經(jīng)網(wǎng)絡(luò)，各參數(shù)如表4所示?？芍狿CANet相比于DeepID2、DeepID2+、Inception-ResNet-v1[19]的識別率較低，但其網(wǎng)絡(luò)層數(shù)最少，結(jié)構(gòu)簡單，且對遮擋人臉識別自帶魯棒性，所以本文選擇PCANet判別輸入的人臉特征塊是否存在口罩遮擋，輸出人臉特征或有口罩遮擋兩類判別結(jié)果，實(shí)現(xiàn)對有口罩遮擋的人臉判別。

但PCANet只有兩個卷積濾波層進(jìn)行不同信息的特征表示，且該網(wǎng)絡(luò)在構(gòu)建卷積核時均是利用PCA的前k個最大的特征值對應(yīng)的特征向量來完成的，卻丟棄了剩余的特征向量。實(shí)際上，被丟棄的特征向量中也存在一部分有用的辨別信息，丟棄后會損失這部分辨別信息。所以為簡單有效的提高遮擋判別效率，并受GoogleNet網(wǎng)絡(luò)中的Inception模塊的啟發(fā)，將PCANet網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出并行卷積池化處理模塊，可以提取不同的特征并融合起來輸出給下一層。改進(jìn)的PCANet網(wǎng)絡(luò)稱為In_PCANet（Inception principal components analysis network），結(jié)構(gòu)設(shè)計如圖4所示。

該網(wǎng)絡(luò)模型設(shè)置了不同的層結(jié)構(gòu)，不同層結(jié)構(gòu)將產(chǎn)生不同的特征向量，其中并行模塊包含三個不同的并行路徑，用來分別提取三種不同的特征，并在out中進(jìn)行組合，通過實(shí)驗發(fā)現(xiàn)，并行模塊是創(chuàng)建抽象特征表示的有效方法，能夠創(chuàng)建多條不同路徑提取不同的特征，從而有效地改善對遮擋人臉特征丟失造成判別精度不夠的缺點(diǎn)，通過采用1×1或3×3的小卷積核，加強(qiáng)了對遮擋人臉特征的表征能力且大大縮短了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間。與PCANet相比，該網(wǎng)絡(luò)結(jié)構(gòu)首先通過并行結(jié)構(gòu)的三個不同路徑進(jìn)行特征提取，并將提取的特征進(jìn)行融合，然后將提取的特征送到含有K1個卷積核的卷積層中進(jìn)行零均值化及PCA濾波卷積操作，得到前K1個最大特征值所對應(yīng)的特征向量來構(gòu)建卷積核，為了保證每層映射后的特征均能重構(gòu)原圖像，在卷積操作前對樣本均做了邊緣填充，接著將得到的映射輸入到含有K2個卷積核的卷積層進(jìn)行零均值化及PCA濾波卷積操作，得到前K1×K2個最大特征值所對應(yīng)的特征向量來構(gòu)建卷積核，為獲得更強(qiáng)表達(dá)性的特征，采用Heaviside階躍函數(shù)對得到的特征進(jìn)行二值化及哈希編碼。同PCANet一樣，In_PCANet最后也是通過SVM分類器做最后的遮擋判別分類。

本文In_PCANet中的并行模塊是由卷積層、池化層和激活函數(shù)ReLU組成，并在3×3的卷積核之前采用1×1的小卷積核來實(shí)現(xiàn)降維，從而降低特征圖像的計算量。通過實(shí)驗發(fā)現(xiàn)，使用一個并行模塊可以提取充分的特征，識別率得到提高，且不會增加較多的運(yùn)算成本，而使用多個并行模塊會增加特征提取的時間，但識別率達(dá)到一定水平就不再增加，所以根據(jù)識別率和時間的最優(yōu)規(guī)劃，本文選擇使用一個并行模塊。該模塊的結(jié)構(gòu)如圖5所示。

為有效區(qū)分鼻子及嘴巴特征點(diǎn)是否存在口罩遮擋，本文將無口罩遮擋人臉的特征點(diǎn)圖像及有口罩遮擋人臉的特征點(diǎn)圖像作為遮擋判別的訓(xùn)練集，則輸入的圖像只有屬于人臉特征塊和有口罩遮擋特征塊兩種類別，因此本文在In_PCANet網(wǎng)絡(luò)的基礎(chǔ)上添加多分類器用于人臉區(qū)塊的二分類上，經(jīng)過In_PCANet的處理后只能輸出未被遮擋的人臉特征塊或有遮擋的人臉特征塊兩類判別結(jié)果。輸入圖像經(jīng)In_PCANet遮擋判別示例圖如圖6（a）、圖6（b）所示。可知，輸入眼睛+眉毛圖像及含口罩遮擋的圖像后，In_PCANet及多分類器將對輸入圖像進(jìn)行口罩遮擋判別，分別輸出其特征塊對應(yīng)眼睛+眉毛、鼻子+嘴巴及口罩遮擋的概率，通過設(shè)定每類特征塊輸出概率的閾值為90%，大于該閾值的概率為有效判別概率，然后取有效判別概率中最大的概率類別作為最終輸出判別結(jié)果的依據(jù)，如圖6（a）所示，眼睛+眉毛概率超過閾值，且其概率最高，所以判別出輸入的圖像是屬于人臉眼睛+眉毛的特征，最終判別輸出結(jié)果為人臉特征塊;而圖6（b）所示口罩遮擋的概率最高，所以判別出輸入的圖像是有遮擋的人臉圖像，最終判別輸出結(jié)果為遮擋特征塊。綜上所述，數(shù)據(jù)集通過In_PCANet及多分類器的遮擋判別網(wǎng)絡(luò)進(jìn)行分類判別，可以獲得一張完整人臉圖像中哪個特征塊被遮擋，哪個未被遮擋，為后面人臉分類識別奠定基礎(chǔ)。而整個遮擋判別網(wǎng)絡(luò)通過對輸入的人臉分塊特征圖利用In_PCANet學(xué)習(xí)適合各個特征塊的濾波器，并將多分類器完成二分類問題，也極大地降低了遮擋判別的時間復(fù)雜度，同時提高了分類效率。

1.4 身份驗證

本文結(jié)合IVGGNet對人臉特征塊的特征提取及In_PCANet對人臉特征塊的遮擋判別結(jié)果，使用最近鄰分類器對人臉特征塊進(jìn)行分類識別，將IVGGNet提取的各個未被遮擋的特征塊進(jìn)行順序拼接，最終生成一張人臉的特征如下：F=（ feye，fnose+mouse），分別表示眼睛+眉毛、鼻子+嘴巴特征塊提取的特征，然后將In_PCANet遮擋判別的遮擋特征塊丟棄，用零向量填充丟失的特征部分，保證口罩遮擋下獲得的人臉特征也能通過眼睛+眉毛的特征進(jìn)行人臉分類識別。身份驗證對測試輸入的特征塊及數(shù)據(jù)庫已存的特征塊進(jìn)行比較時，若其中一個特征塊是被零填充的，則另外一個特征塊也被置為零，利用歐式距離的方法對兩個特征塊進(jìn)行特征相似度度量，取最相似的特征表示人臉身份驗證的結(jié)果。

2 實(shí)驗結(jié)果與分析

2.1 實(shí)驗數(shù)據(jù)集

武漢大學(xué)國家多媒體軟件工程技術(shù)研究中心收集了大量口罩人臉數(shù)據(jù)集MFRD，包括經(jīng)網(wǎng)絡(luò)爬取，整理清洗和標(biāo)注處理的真實(shí)口罩人臉識別數(shù)據(jù)集和在Webface、LFW公開數(shù)據(jù)集上人工添加口罩的模擬口罩人臉識別數(shù)據(jù)集。真實(shí)口罩人臉識別數(shù)據(jù)集包含525人的5千張口罩人臉和9萬張不戴口罩人臉，分別存放在各自名字的文件夾下;模擬口罩人臉識別數(shù)據(jù)集包含1萬人的50萬張圖片，但沒有標(biāo)注參與者的名字。由于本文要實(shí)現(xiàn)身份驗證，所以采用MFRD中真實(shí)口罩人臉數(shù)據(jù)集，選擇其中100人對應(yīng)的戴口罩和不戴口罩圖片，其中不戴口罩的圖片相對充足，但圖像尺寸不統(tǒng)一或姿態(tài)多樣性不利于本文實(shí)驗的模型訓(xùn)練，且戴口罩的數(shù)據(jù)相對較少，所以需要對這100人的人臉數(shù)據(jù)進(jìn)行批量數(shù)據(jù)增強(qiáng)，通過水平翻轉(zhuǎn)、隨機(jī)裁剪、多尺度及顏色渲染等方式，最后分別得到每人300張無口罩遮擋圖片和300張戴口罩圖片用于實(shí)驗。選擇數(shù)據(jù)集的80%做訓(xùn)練集，剩余20%做測試集，數(shù)據(jù)增強(qiáng)示例圖如圖7所示。本文所有算法均在Windows10 64位操作系統(tǒng)下基于Tensorflow深度學(xué)習(xí)框架用Python語言編寫，使用CUDA10.0版本的GPU加速器，在訓(xùn)練模型時均采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化模型。

2.2 實(shí)驗結(jié)果分析

本文通過CFAN算法將人臉圖像數(shù)據(jù)集裁剪為指定的眼睛+眉毛、鼻子+嘴巴特征區(qū)塊，利用IVGGNet對特征塊進(jìn)行特征提取，然后將提取的特征輸入In_PCANet網(wǎng)絡(luò)進(jìn)行特征塊遮擋判別，最后利用最近鄰分類器實(shí)現(xiàn)人臉分類識別。為對比分析IVGGNet、VGGNet人臉識別的性能，利用數(shù)據(jù)集中100個人的6萬張干凈人臉圖像對IVGGNet、VGGNet實(shí)驗對比，獲得實(shí)驗分析如表5所示?？芍谙嗤撝导皵?shù)據(jù)集的條件下，IVGGNet人臉識別比VGGNet具有明顯的優(yōu)勢，識別準(zhǔn)確率提高了14.2%，運(yùn)行幀率也提高了1.7FPS。其主要原因在于將VGGNet16中全連接前的兩個最大池化層改為平均池化層，最大程度地保留了提取的圖像特征，進(jìn)而提高了人臉識別率;又將三個全連接層改為一個全連接層，極大地減少了網(wǎng)絡(luò)的參數(shù)量，使人臉識別速度也得到相應(yīng)的提高，進(jìn)一步驗證了IVGGNet在人臉識別上的可行性，為后續(xù)提高分塊有遮擋人臉識別效率奠定基礎(chǔ)。

由于本文在In_PCANet口罩遮擋判別時利用多分類器實(shí)現(xiàn)人臉二分類問題，且每個判別模型都保留兩個以上的人臉特征點(diǎn)進(jìn)行判別，可以在較短的時間內(nèi)達(dá)到較高的判別效果，所以在人臉特征塊及分辨率足夠充足的條件下，本文訓(xùn)練的In_PCANet網(wǎng)絡(luò)模型可以對有口罩遮擋的人臉進(jìn)行準(zhǔn)確的判別，結(jié)果如表6所示。基于In_PCANet口罩遮擋判別對眼睛+眉毛、鼻子+嘴巴都能達(dá)到98%以上的判別結(jié)果，而基于PCANet遮擋判別對特征塊的判別效率均低于97%，表明通過添加并行模塊的PCANet有利于提取人臉特征并提高識別效率，且對口罩遮擋的識別也高達(dá)96.7%，表明該方法對有遮擋人臉判別的有效性，為存在有口罩遮擋的人臉識別提供較高的判別效果，促進(jìn)戴口罩下的人臉高效率識別。

為進(jìn)一步驗證基于深度神經(jīng)網(wǎng)絡(luò)的口罩遮擋人臉識別的有效性，利用有口罩遮擋人臉數(shù)據(jù)集對IVGGNet在人臉分塊思想下進(jìn)行實(shí)驗，為對比分析，利用IVGGNet網(wǎng)絡(luò)對全局人臉進(jìn)行口罩遮擋人臉識別，并設(shè)置相同參數(shù)bach_size=16，iteration=1 200，learning_rate=0.005，epoch=300的情況下進(jìn)行模型訓(xùn)練，然后通過對后期人臉分類識別中設(shè)置閾值0.85，來判別該人臉是否是數(shù)據(jù)庫中已經(jīng)存在的人臉，大于該閾值就認(rèn)為已存在，直接識別出是誰，小于該閾值就認(rèn)為不存在，被存入數(shù)據(jù)庫中，基于分塊的IVGGNet有口罩遮擋人臉識別和基于全局的IVGGNet有口罩遮擋人臉識別效果如表7所示?？芍?，在相同閾值的控制下，基于全局的IVGGNet口罩遮擋人臉識別的效果無論是在戴口罩還是不戴口罩情況下的人臉識別都明顯低于基于人臉分塊的IVGGNet人臉識別效果，進(jìn)一步驗證了基于人臉分塊的IVGGNet有口罩遮擋人臉識別高效性。主要原因來自于人臉分塊能夠提取面部的局部特征，從感受野的范圍考慮，基于分塊的人臉識別感受野會大于基于全局的人臉識別感受野，雖然可以通過加深網(wǎng)絡(luò)層次來擴(kuò)大感受野的范圍，但將導(dǎo)致網(wǎng)絡(luò)參數(shù)增多，從而降低識別的速度;在數(shù)據(jù)有限的情況下，需要描述的特征越簡單，網(wǎng)絡(luò)參數(shù)的優(yōu)化越容易，相對于全局人臉識別，基于分塊的人臉識別可以更簡單的學(xué)習(xí)不同區(qū)域的特征，進(jìn)而提高口罩遮擋人臉識別效果。

3 結(jié)論

本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗證方法，在保證身份驗證準(zhǔn)確度基礎(chǔ)上，盡可能降低了網(wǎng)絡(luò)的復(fù)雜度。利用人臉特征塊，并結(jié)合遮擋判別結(jié)果提取的特征，對遮擋身份驗證具有較強(qiáng)的魯棒性，經(jīng)實(shí)驗表明該方法可高效識別有遮擋人臉。實(shí)驗結(jié)果表明，人臉特征塊經(jīng)過In_PCANet遮擋判別網(wǎng)絡(luò)處理后對口罩遮擋的判別率達(dá)到96.7%，對有口罩遮擋和無遮擋識別率分別為95.73%和97.52%。在相同實(shí)驗環(huán)境下，基于全局的IVGGNet有遮擋身份驗證對有口罩遮擋和無遮擋識別率分別為84.62%和91.84%，表明基于分塊的有遮擋身份驗證效果顯著，為員工上班戴口罩也能順利完成打卡任務(wù)提供了理論基礎(chǔ)，總之，基于深度神經(jīng)網(wǎng)絡(luò)的有遮擋身份驗證，不僅可以應(yīng)用在新冠疫情下人臉佩戴口罩進(jìn)行人臉識別的場景，對于平時人們不戴口罩進(jìn)行人臉識別時也同樣適用。

參考文獻(xiàn)

[1]衣柳成，魏偉波，劉小芳.基于GoogLeNet的智能錄播系統(tǒng)中站立人臉的檢測與定位[J].青島大學(xué)學(xué)報（自然科學(xué)版），2019，32（4）：91-95.

[2]李明生，趙志剛，李強(qiáng)，等.基于改進(jìn)的局部三值模式和深度置信網(wǎng)絡(luò)的人臉識別算法[J].青島大學(xué)學(xué)報（自然科學(xué)版），2019，32（4）：79-84.

[3]ZAFEIRIOU S， TZIMIROPOULOS G， PETROU M. Regularized kernel discriminant analysis with a robust kernel for face recognition and veri-fication[J].IEEE Transactions on Neural Networks and Learning Systems，2012，23（3）：526-534.

[4]LI X X， DAI D Q， ZHANG X F. Structured sparse error coding for face recognition with occlusion[J]. IEEE Transactions on Image Pro-cessing，2013，22（5）：1889-1900.

[5]WEI X， LI C T， HU Y. Robust face recognition with occlusions in both reference and query images[C]//2013IEEE Conference on Computer Vision and pattern recognition workshops（CVPRW）.Inst Super Tecnico，lisbon，PORTUGAL，2013.

[6]LI X X， LIANG R， FENG Y. Robust face recognition with occlusion by fusing image gradient orientations with markov random fields[C]//International Conference on Intelligent Science and Big Data Engineering. Springer International Publishing，2015： 431-440.

[7]周孝佳，朱允斌，張躍.基于分塊的有遮擋人臉識別算法[J].計算機(jī)應(yīng)用與軟件，2018，35（2）：183-187.

[8]SUN Y， WANG X， TANG X. Deep learning face representation from predicting 10，000 classes[C]// 27th IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Columbus， 2014： 1891-1898.

[9]SUN Y， CHEN Y， WANG X. Deep learning face representation by joint identification-verification[C]// 28th Conference on Neural Information Processing Systems （NIPS）. Montreal， 2014，27： 1988-1996.

[10] SUN Y， WANG X G， TANG X O. Deeply learned face representations are sparse， selective， and robust[C]// IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，2015：2892-2900.

[11] CHAN T H， JIA K， GAO S. PCANet：A simple deep learning baseline for image classification？[J]. IEEE Transactions on Image Processing，2015，24（12）：5017-5032.

[12] VIOLA P A， JONES M J. Rapid object detection using a boosted cascade of simple features[C]//IEEE Computer Vision and Pattern Recognition（CVPR）， 2001：511-518.

[13] ZHANG J， SHAN S G， KAN M. Coarse to fine auto-encoder networks （cfan） for real-time face alignment[J].Electronic Journal of Qualitative Theory of Diferential Equations.2014，（50）：1-15.

[14] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science，2014：1409-1556.

[15] HE K M， ZHANG X Y， REN S Q. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，2016：770-778.

[16] HUANG G， LIU Z， LAURENS V D M. Densely connected convolutional networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.2017：2261-2269.

[17] KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural networks[J]. Communications of the Acm.2017，60（6）：84-90.

[18] SZEGEDY C， LIU W， JIA Y. Going deeper with convolutions[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston，2015：1-9

[19] 徐迅，陶俊，吳瑰.基于卷積神經(jīng)網(wǎng)絡(luò)的帶遮蔽人臉識別[J].江漢大學(xué)學(xué)報（自然科學(xué)版），2019，47（3）：246-251.

Authentication with Occlusion Based on Deep Neural Network

DONG Yan-hua， ZHANG Shu-mei， ZHAO Jun-li

（School of Data Science and Software Engineering， Qingdao University， Qingdao 266071， China）

Abstract：

In order to solve the problem that authentication can be completed even if the face is partially occluded， a occlusion authentication method based on deep neural network is proposed. The face image is detected and divided into blocks， the three full connections of VGGNet-16 are changed to one full connection， and the last two maximum pooling layers are changed to average pooling layers to extract the features of the face block; and add parallel module on the basis of PCANet， which not only improves the ability of the network to extract features， but also improves the PCANet's shortcomings of insufficient discrimination accuracy due to the loss of occluded facial features. The research results show that the average recognition accuracy of occluded faces based on deep neural networks reaches 96.62%.

Keywords：

COVID-19; feature extraction; occlusion discrimination; identity verification