鄒新雷 王云

【摘要】? ? 隨著人臉識(shí)別技術(shù)的普及與應(yīng)用，用戶對于人臉識(shí)別的技術(shù)細(xì)節(jié)以及人臉識(shí)別的速度有了技術(shù)需求。對于實(shí)時(shí)非合作性質(zhì)的人臉識(shí)別，其精確度與速度經(jīng)常難以滿足用戶需求。本文設(shè)計(jì)并實(shí)現(xiàn)了一種能夠自動(dòng)識(shí)別人臉的系統(tǒng)，能篩除掉質(zhì)量不足以進(jìn)行人臉識(shí)別的人臉圖像，加快識(shí)別速度，實(shí)現(xiàn)對實(shí)時(shí)視頻的高速人臉識(shí)別。

【關(guān)鍵詞】? ? 人臉檢測? ? 機(jī)器學(xué)習(xí)? ? 人臉識(shí)別

引言：

在算法飛速發(fā)展的今天，人臉識(shí)別越來越多的普及到了我們的生活與工作中，火車站、機(jī)場的安檢，遍布城市的天眼監(jiān)控系統(tǒng)，都有人臉識(shí)別活躍的地方。在我們平日生活生產(chǎn)應(yīng)用的領(lǐng)域中，很多圖像中的人員并不會(huì)仔細(xì)正臉面對攝像頭，這就導(dǎo)致了人臉識(shí)別所需信息的不足。除此以外，光照、遮擋等環(huán)境因素也會(huì)導(dǎo)致無法采集到人臉識(shí)別所需要的信息。如果能通過機(jī)器學(xué)習(xí)的方法，篩除掉信息不足的人員，便能夠提升系統(tǒng)識(shí)別率，節(jié)省系統(tǒng)運(yùn)算空間。本文基于此目的進(jìn)行了對人臉識(shí)別系統(tǒng)的一系列設(shè)計(jì)。

一、系統(tǒng)總體設(shè)計(jì)方案

由于本系統(tǒng)的運(yùn)作路線明確，由檢測→質(zhì)量判斷→人臉識(shí)別構(gòu)成，所以初期設(shè)定了如上圖1所示的系統(tǒng)框架。但是在實(shí)際應(yīng)用中，人臉識(shí)別的耗時(shí)大概要占到80到100毫秒，也就是幀率10左右，完全不能實(shí)現(xiàn)實(shí)時(shí)識(shí)別的要求。除此之外，對同一目標(biāo)的多次檢測識(shí)別也浪費(fèi)了許多系統(tǒng)資源。

因此，考慮到檢測與質(zhì)量判斷的速度只有幾毫秒，不會(huì)影響視頻的流暢性，我們在系統(tǒng)內(nèi)加入了跟蹤的算法，重新設(shè)計(jì)了一種多線程的運(yùn)行方式，具體框架如圖2所示。

在這個(gè)方案的具體運(yùn)行路線如下：

1.對攝像頭傳輸?shù)膱D像進(jìn)行檢測，框出視頻中人員的位置;

2.根據(jù)人員框的跟蹤ID判斷，如果該ID已經(jīng)在上一幀識(shí)別過了，則顯示識(shí)別結(jié)果回到步驟1，未識(shí)別則進(jìn)入人臉質(zhì)量判斷模塊;

3.對人臉進(jìn)行質(zhì)量判斷，考察陰陽臉，光照，遮擋，正臉與攝像頭的傾斜角等因素給出質(zhì)量評分，評分低于標(biāo)準(zhǔn)則篩除該人員，回到步驟1，評分足夠則將圖像傳入人臉識(shí)別模塊;

4.人臉識(shí)別的算法模塊在另一個(gè)線程運(yùn)行（耗時(shí)為80-100ms），展示識(shí)別結(jié)果的主線程從人臉識(shí)別線程取出其標(biāo)志位，代表識(shí)別完成與否，識(shí)別未完成則在人臉顯示“識(shí)別中”，回到步驟1，識(shí)別完成則取出其識(shí)別結(jié)果展示在人臉上，回到步驟1。

二、系統(tǒng)算法技術(shù)介紹

2.1人臉檢測算法MTCNN

MTCNN，Multi-task convolutional neural network（多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)）是2016年中國科學(xué)院深圳研究院提出的用于人臉檢測任務(wù)的多任務(wù)神經(jīng)網(wǎng)絡(luò)模型，MTCNN總體可分為P-Net、R-Net、和O-Net三層網(wǎng)絡(luò)結(jié)構(gòu)。本系統(tǒng)通過編寫model.py定義了P-Net、R-Net、和O-Net的網(wǎng)絡(luò)結(jié)構(gòu)。P-Net為全卷積的網(wǎng)絡(luò)，主要包含3*3的卷積層、2*2的池化層，該網(wǎng)絡(luò)用于人臉目標(biāo)的初步檢測，將特征輸入經(jīng)過三個(gè)卷積層之后，通過一個(gè)人臉分類器判斷該區(qū)域是否是人臉。R-Net網(wǎng)絡(luò)接收P-Net的結(jié)果作為輸入，主要包含3*3、2*2的卷積層、3*3的池化層，并增加了全連接層。O-Net和R-Net的結(jié)構(gòu)類似，只是輸入尺寸為48*48，同時(shí)增加一層卷積層，以及全連接層的維度增加為256維，因此可以保留更多的圖像特征，再進(jìn)行人臉判別、人臉區(qū)域邊框回歸和人臉特征定位。所以O(shè)-Net的輸出作為最終的網(wǎng)絡(luò)模型輸出。其算法流程圖如圖3所示。

2.2人臉質(zhì)量判斷算法

人臉質(zhì)量的判斷因素眾多，本系統(tǒng)考慮的因素有：人臉姿態(tài)，人眼閉合，人臉模糊度以及人臉光照。所應(yīng)用的算法有：基于關(guān)鍵點(diǎn)的人臉姿態(tài)估計(jì)算法，基于關(guān)鍵點(diǎn)的人眼閉合檢測算法，二次模糊算法，基于深度學(xué)習(xí)的人臉遮擋檢測算法。

基于深度學(xué)習(xí)的方法通常訓(xùn)練一個(gè)深度CNN分類網(wǎng)絡(luò)或檢測網(wǎng)絡(luò)，這種方法首先通過人臉檢測定位人臉的區(qū)域，然后將人臉區(qū)域送入CNN網(wǎng)絡(luò)，輸出無遮擋或遮擋人臉的結(jié)果。本項(xiàng)目采用Yolov3進(jìn)行訓(xùn)練。

2.3人臉識(shí)別算法SeetaFace

SeetaFace，是中科院計(jì)算機(jī)所山世光老師所帶領(lǐng)的團(tuán)隊(duì)開發(fā)出來的人臉識(shí)別庫，包括人臉檢測，人臉識(shí)別以及人臉對齊三個(gè)模塊。

其中，人臉識(shí)別模塊的特征提取算法是基于卷積神經(jīng)網(wǎng)絡(luò)的，使用的是深度卷積神經(jīng)網(wǎng)絡(luò)VIPLFaceNet，這是一個(gè)包含兩個(gè)全連接層與七個(gè)卷積層的DCNN，是由2012年設(shè)計(jì)的AlexNet修改而來。與原網(wǎng)絡(luò)相比，有三處改進(jìn)：

①VIPLFaceNet將5x5的卷積核拆分為兩層3x3的卷積核，在不改變計(jì)算量的情況下加深了網(wǎng)絡(luò)的深度;

②VIPLFaceNet中每個(gè)卷積層的kernel數(shù)目和FC2層節(jié)點(diǎn)都有所減少;

③引入了FNL（Fast Normalization Layer），使得網(wǎng)絡(luò)收斂速度加快，也更具有泛化性。

以LFW數(shù)據(jù)集測試為例，VIPLFaceNet錯(cuò)誤率較原網(wǎng)絡(luò)降低了40%，訓(xùn)練時(shí)間僅為原網(wǎng)絡(luò)的20%，測試時(shí)間為60%。

其流程圖如圖4所示。

三、室內(nèi)測試結(jié)果

本系統(tǒng)在實(shí)驗(yàn)室內(nèi)進(jìn)行測試。在光照充足以及正臉面對情況下，都能準(zhǔn)確實(shí)時(shí)的識(shí)別到目標(biāo)結(jié)果，實(shí)地測試檢測結(jié)果如圖5所示。能夠準(zhǔn)確的檢測到人臉的位置，首先（1）在側(cè)臉情況下由于判斷人臉質(zhì)量不足以進(jìn)行人臉識(shí)別展示結(jié)果“ignored”，在（2）的正臉情況下準(zhǔn)確識(shí)別到我們二人的ID“wangyun”、“zouxinlei”。

四、結(jié)束語

本文設(shè)計(jì)一種非合作的人臉智能識(shí)別系統(tǒng)，該系統(tǒng)基于人臉檢測、機(jī)器學(xué)習(xí)、人臉識(shí)別等技術(shù)，利用多線程的設(shè)計(jì)思想，完成了一種準(zhǔn)確、實(shí)時(shí)的人臉識(shí)別程序，目前已在與酒仙網(wǎng)合作的智能門店項(xiàng)目中成功應(yīng)用，在門店監(jiān)控領(lǐng)域有很大的市場應(yīng)用價(jià)值。

參? 考? 文? 獻(xiàn)

[1]Chunming Wu，Ying Zhang. MTCNN and FACENET Based Access Control System for Face Detection and Recognition[J]. Automatic Control and Computer Sciences，2021，55（1）.

[2]陳飛玥，朱玉蓮，陳曉紅.多層特征融合的PCANet及其在人臉識(shí)別中的應(yīng)用[J/OL].南京師大學(xué)報(bào)（自然科學(xué)版）：1-7[2021-04-30].http：//kns.cnki.net/kcms/detail/32.1239.N.20210426.2145.006.html.

[3]胡超，李春國，楊綠溪.稀疏特征重用的人臉特征提取網(wǎng)絡(luò)[J/OL].信號(hào)處理：1-14[2021-04-30].http：//kns.cnki.net/kcms/detail/11.2406.TN.20210422.1828.029.html.