張鶴 孫瑜

摘? 要： 為了解決以往身份認(rèn)證中的人臉識(shí)別問題，提出了一種基于可見光與紅外攝像頭獲取人像差異的方式來實(shí)現(xiàn)活體人臉檢測。首先利用近紅外相機(jī)成像特性防止假臉攻擊問題，然后針對近紅外相機(jī)獲取的圖像不能利用現(xiàn)有的大量可見光照片進(jìn)行人臉匹配問題，利用擴(kuò)大近紅外圖像中檢測到的活體人臉特征框，放到可見光圖像中同坐標(biāo)位置等比例“裁剪”的方式來確定活體人臉在可見光圖像中的位置，最后對“裁剪”后的圖像進(jìn)行人臉檢測，獲取面積最大的人臉（即活體人臉）。在自建樣本庫中場景實(shí)驗(yàn)分析，所提出的方法能夠抵御假臉攻擊的同時(shí)，又能保證活體人臉檢測的準(zhǔn)確度。

關(guān)鍵詞： 雙攝像頭;活體人臉檢測;近紅外

中圖分類號(hào)： TP391.41 ???文獻(xiàn)標(biāo)識(shí)碼： A??? DOI：10.3969/j.issn.1003-6970.2020.07.010

本文著錄格式：張鶴，孫瑜. 基于雙攝像頭下的活體人臉檢測方法[J]. 軟件，2020，41（07）：51-56

Live Face Detection Method Based on Dual Camera

ZHANG He， SUN Yu^*

（School of information， Yunnan Normal University， Kunming 650000， China）

【Abstract】： The paper proposed a obtaining human image difference between visible light camera and infrared camera in order to solve the problems of face recognition in the past identity authentication. First， Use of near-infrared camera imaging characteristics to prevent false face attack. Then， for the image acquired by the near-infrared camera， the existing large number of visible light photos cannot be used for face matching， and the feature frame of the living face detected in the near-infrared image is enlarged. Then， we use the Utilizing enlarged live face feature frames detected in near-infrared images. the enlarged face coordinate information was put into the color image to be “clipped” in the same proportion as the coordinate position， and the largest face （i.e. the living face） was obtained according to the "clipped" image. Finally， In the self-built sample database， the method proposed by the scene experiment analysis under different error factors can resist the false face attack and ensure the accuracy of the living face detection.

【Key words】： Dual cameras; Face liveness detection; Near infrared

0? 引言

人臉檢測^[1]是指所有人臉在輸入圖像中的位姿、大小的過程。人臉檢測作為一項(xiàng)重要的人臉信息處理技術(shù)，成為模式識(shí)別與計(jì)算機(jī)視覺領(lǐng)域一項(xiàng)熱門的研究課題。然而人臉檢測技術(shù)容易受到外界因素的干擾，比如光照的充足情況、人體的靜態(tài)與動(dòng)態(tài)情況、是否用偽人像等^[2-3]。通過研究分析表明^[4]，其中是否用偽人像是最常見的干擾因素，所謂偽人像就是利用一些圖像或者視頻等手段來偽造成真實(shí)的活體人像，因而其實(shí)施起來比較方便，所以這也是人臉檢測所要面對的重要攻擊手段。

現(xiàn)階段活體人臉檢測所依賴的硬件設(shè)備大多基于傳統(tǒng)可見光攝像頭，主要通過人機(jī)交互方式和非人機(jī)交互的方式來進(jìn)行活體檢測。人機(jī)交互式主要通過隨機(jī)動(dòng)作的檢測、用戶的聲音檢測等來抵御假臉攻擊。例如，文獻(xiàn)[5]中提出的隨機(jī)面部表情驗(yàn)證活體人臉和文獻(xiàn)[6]中提出的視聽語音同步的活體

人臉驗(yàn)證。這一類方法雖然能夠有效的判別活體人臉，但是需要用戶的配合，導(dǎo)致用戶體驗(yàn)感差，在實(shí)際應(yīng)用中效果不理想。非人機(jī)交互的方式主要通過生命信息特征分析、顏色紋理分析、圖像質(zhì)量分析等。例如，文獻(xiàn)[7]提出面部光流估計(jì)法，通過計(jì)算臉部轉(zhuǎn)動(dòng)所產(chǎn)生的光流值，然后使用SVM進(jìn)行訓(xùn)練分類，從而到達(dá)對活體人臉的判定。該方法實(shí)用起來比較簡單，但是對于3D面具模型攻擊的抵御率不是很高。文獻(xiàn)[8]提出的動(dòng)態(tài)紋理法，通過動(dòng)態(tài)分析人臉的特征來檢測活體人臉，容易受到外界環(huán)境的影響，比如光照條件差異明顯時(shí)，人臉特征提取效果就會(huì)受到影響，所以魯棒性不高。對于可見光攝像頭在人臉活體檢測中存在的不足，近年來一些研究者提出一些新的硬件設(shè)備應(yīng)用到活體人臉檢測中，例如，文獻(xiàn)[9]利用熱成像攝像頭能夠散發(fā)熱輻射的特點(diǎn)，從而區(qū)分出活體人臉還是假臉。文獻(xiàn)[10]人利用多光譜攝像頭獲取多個(gè)波段圖像，從而抽取反射特征來抵御假臉攻擊。這些方法雖然能很好的抵御假臉攻擊，但是其成本比較昂貴，很難廣泛應(yīng)用。文獻(xiàn)[11]利用近紅外圖像的反射差異作為假臉和真臉的分類線索，然而近紅外圖像在顏色和紋理上又不如可見光圖像的豐富，導(dǎo)致很多重要面部信息提取不到。

在以上研究的基礎(chǔ)上，提出了一種基于雙攝像頭的活體人臉檢測算法，使用的兩個(gè)攝像頭中，一個(gè)攝像頭用來采集可見光圖像，另一個(gè)攝像頭為加裝濾波片的近紅外攝像頭，用來獲取850 nm波長的近紅外光線，然后利用可見光圖像和近紅外圖像中人臉差異的特點(diǎn)來抵御假臉攻擊。首先計(jì)算相鄰兩幀間近紅外和可見光圖像中人臉成像位置誤差因子范圍，將近紅外圖像中的人臉擴(kuò)大一定的倍數(shù)，擴(kuò)大的倍數(shù)根據(jù)誤差分析所得到的誤差因子決定。然后利用擴(kuò)大后的人臉坐標(biāo)信息放到可見光圖像中同坐標(biāo)位置等比例“裁剪”，從而矯正了相鄰兩幀近紅外和可見光圖像中人臉的成像誤差，提高了人臉檢測的精度;最后，采用最大臉檢測原理在可見光圖像中篩選出活體人臉，從而提高了假臉的抵御率。在自建數(shù)據(jù)庫下通過不同場景的實(shí)驗(yàn)分析表明，在抵御假臉攻擊的同時(shí)很好的保證了真臉的通過，對于短距離下的動(dòng)態(tài)人臉考勤具有很高的應(yīng)用價(jià)值。

1 ?方法設(shè)計(jì)

現(xiàn)有的活體人臉檢測方法大多基于假臉攻擊研究，在保證真臉通過的情況下從而抵御假臉攻擊。如果直接將近紅外圖像中的人臉位圖信息放到可見光圖像中等比例進(jìn)行“裁剪”，然后進(jìn)行人臉特征比對，雖然可以很好的抵御假臉的攻擊，但是由于相鄰兩幀圖像間存在位置誤差，就會(huì)導(dǎo)致活體人臉的通過率大大的下降。所以，本文實(shí)驗(yàn)研究的主要內(nèi)容是在抵御假臉攻擊的同時(shí)，又能很好的讓活體人臉通過。如圖1所示，獲取相鄰兩幀的近紅外圖像和可見光圖像，對近紅外圖像進(jìn)行人臉定位;然后分析圖像間的誤差，計(jì)算位置誤差因子，利用誤差因子對近紅外圖像中的人臉特征框進(jìn)行擴(kuò)大，并將擴(kuò)大后的人臉放入可見光圖像中同坐標(biāo)位置等比例“裁剪”。最后對“裁剪”后的圖像利用最大臉檢測原理篩選出活體人臉，放入數(shù)據(jù)庫中進(jìn)行人臉特征比對。

1.1? 人臉圖像預(yù)處理

對于人臉特征的提取和定位，國內(nèi)外很多學(xué)者提出了很多人臉檢測方法，本實(shí)驗(yàn)為了快速和準(zhǔn)確的對圖像中的多張人臉進(jìn)行定位、特征提取和人臉校準(zhǔn)，分別測試了一些比較熱門的人臉檢測算法openface^[12]、dlib庫^[13]以及開源的虹軟ArceFace算法的人臉識(shí)別精準(zhǔn)率和人臉檢測的速度，綜合考慮，本文選擇采取虹軟ArceFace算法對人臉圖像預(yù)處理，虹軟ArceFace人臉檢測技術(shù)對于強(qiáng)光、弱光等復(fù)雜環(huán)境具有良好的性能，相比于openface、dlib庫，虹軟ArceFace更適用于手機(jī)端的人臉檢測。

1.2? 誤差因子極限模型

因?yàn)閮蓚€(gè)攝像頭的位置不可能相同，并且系統(tǒng)對于每一幀圖像的提取也是相互獨(dú)立的，所以獲取的每一幀圖像存在一定的位置誤差。采用擴(kuò)大近紅外圖像中人臉位圖信息，然后放到可見光圖像中等位圖等比例“裁剪”的方式來消除誤差。然而擴(kuò)大的比例既要保證能矯正相鄰幀圖像間的位置誤差，又要保證擴(kuò)大的比例使得活體人臉面積比假臉面積大，這個(gè)比例就是誤差因子。

在ArcFace算法下得到的人臉輪廓是一個(gè)不規(guī)則圓形，如圖2所示：出于極限考慮，本實(shí)驗(yàn)選擇圓形作為誤差因子極限模型中的人臉輪廓，其中左上角半徑為r的圓形代表活體人臉模型，右下角半徑為r₀的圓形代表假臉攻擊模型，因?yàn)閿U(kuò)大人臉特征框時(shí)是以中心點(diǎn)等比例擴(kuò)大，所以讓時(shí)，此時(shí)讓正方形能夠容納兩個(gè)最大面積相等的圓形，從而求出誤差因子的最大極限。

根據(jù)上文分析：設(shè)X_NIR1為近紅外攝像頭下檢測到的人臉特征框的左上角X軸坐標(biāo);X_NIR2為人臉特征框右下角X軸坐標(biāo)，從而得出：

其中：W為誤差因子極限模型的寬，根據(jù)式（1）和式（2）的分析，當(dāng)假臉的面積無限接近于真臉的面積時(shí)，可以求出誤差因子的極限值：

其中：M為誤差因子。為了方便計(jì)算，其中約等于1.70，所以確定出誤差因子范圍為1.00<M <1.70。

1.3 ?最大臉檢測

由于擴(kuò)大了近紅外圖像中活體人臉的特征框，此時(shí)放到彩色圖像中“裁剪”，有可能需要將假臉也裁剪進(jìn)去，所以需要對彩色圖像進(jìn)行最大臉檢測處理。紅外攝像頭下檢測到的人臉特征框坐標(biāo)，如圖3（左）所示：左上角的坐標(biāo)為：（X_NIR1，Y_NIR1），右下角坐標(biāo)為：（X_NIR2，Y_NIR2）。其中（X_NIR1，Y_NIR1）大于0，X_NIR2小于總圖像的寬，Y_NIR2小于總圖像的高，根據(jù)誤差因子將近紅外圖像中的人臉區(qū)域位圖等比例擴(kuò)大M倍，則得到擴(kuò)大后的人臉區(qū)域坐標(biāo)，如圖3（右）所示：左上角坐標(biāo)為：（X¹ _NIR1，Y¹ _NIR1），右下角的坐標(biāo)為：（X¹ _NIR2，Y¹ _NIR2）。擴(kuò)大前后的人臉位圖信息對比如圖3所示。

擴(kuò)大后的人臉特征框坐標(biāo)表達(dá)式如下：

將擴(kuò)大后的人臉區(qū)域坐標(biāo)放入可見光圖像中同坐標(biāo)位置等比例“裁剪”，如圖4（左）所示，再將“裁剪”后的圖像進(jìn)行人臉檢測。然后采用最大臉檢測原理篩選出圖像中人臉面積最大的那一個(gè)，并獲取的人臉區(qū)域坐標(biāo)，所謂最大臉原理，就是采用檢測到的人臉矩形框的面積來度量人臉面積尺寸的單位，然后根據(jù)哪個(gè)人臉圖像的面積大哪個(gè)即是活體人臉，人臉面積S表達(dá)式如下：

根據(jù)式（6）選出人臉面積最大的人臉位圖信息，如圖4（右）所示：設(shè)左上角為：（X¹_VIS1，Y¹ _VIS1），右下角的坐標(biāo)為：（X¹ _VIS2，Y¹ _VIS2），此時(shí)再將最大人臉的位圖信息放入原有的可見光圖像中獲取新的人臉區(qū)域坐標(biāo)如圖5所示：左上角為：（X _VIS1，Y _VIS1），右下角的坐標(biāo)為：（X _VIS2，Y _VIS2），最后根據(jù)獲取的人臉區(qū)域坐標(biāo)提取相應(yīng)的人臉特征值放入人臉檢測模型中比對。 最大人臉的位圖信息放入原有的可見光圖像中獲取新的人臉區(qū)域坐標(biāo)表達(dá)式如下：

2? 實(shí)驗(yàn)結(jié)果及分析

文中算法實(shí)現(xiàn)了一個(gè)基于智能手機(jī)移動(dòng)端的“云南師范大學(xué)考勤簽到系統(tǒng)”的可視化界面。系統(tǒng)硬件平臺(tái)采用WSD-3131雙目視覺相機(jī)，可以獲取850nm的近近紅外圖像，幀率為30幀每秒。本地主機(jī)采用Intel core i5-6300U、8GB內(nèi)存和Windows 10操作系統(tǒng)，集成開發(fā)環(huán)境為Android studio 3.0。

2.1 ?實(shí)驗(yàn)數(shù)據(jù)庫搭建

文中算法需要對相鄰兩幀間的圖像進(jìn)行處理，在現(xiàn)有的公開數(shù)據(jù)庫中，如NUAA、CASIA-MFSD等數(shù)據(jù)庫很難滿足實(shí)驗(yàn)的要求。所以選擇在自建數(shù)據(jù)庫中進(jìn)行算法性能測試。實(shí)驗(yàn)共有68個(gè)測試對象，其中29名測試對象作為活體人臉的樣本，39名測試對象提供彩色A4紙質(zhì)彩色照片作為假臉樣本，因?yàn)檎掌?、視頻等假臉在近紅外攝像頭下的成像方式一樣，所以本文實(shí)驗(yàn)的假臉樣本皆為A4紙質(zhì)彩色照片。

2.2? 性能評價(jià)標(biāo)準(zhǔn)

為了評估算法的性能，采用4個(gè)分類有效指標(biāo)：

（1）真正例（TP），代表輸入的是真臉A而輸出也是真臉A的次數(shù)。

（2）假正例（FP），代表輸入的是真臉A而輸出不是真臉A的次數(shù)。

（3）真反例（TN），代表輸入的是假臉B而輸出也是假臉B的次數(shù)。

（4）假反例（FN），代表輸入的是假臉B而輸出不是假臉B的次數(shù)。

通過上面4個(gè)指標(biāo)組合成下列3個(gè)指標(biāo)來評價(jià)算法性能：

指標(biāo)1? 真臉通過率R，R = TP/（TP+FP），代表真臉通過的次數(shù)占真臉檢測實(shí)驗(yàn)總次數(shù)的比例。

指標(biāo)2? 假臉通過率F，F(xiàn) = FN/（TN+FN），代表假臉通過的次數(shù)占假臉檢測實(shí)驗(yàn)總次數(shù)的比例。

指標(biāo)3? 準(zhǔn)確度ACC，ACC=（TP+TN）/（TP+FP+ FN+TN），表示所有正確輸出的次數(shù)占總實(shí)驗(yàn)次數(shù)的比例。

2.3? 假臉攻擊實(shí)驗(yàn)

通過位置誤差分析，影響相鄰兩幀圖像成像誤差的主要因素是人在攝像頭前的成像面積和速度。所以本實(shí)驗(yàn)選擇靜止和運(yùn)動(dòng)兩個(gè)場景下來仿真假臉攻擊實(shí)驗(yàn)，每個(gè)場景均在室內(nèi)環(huán)境下進(jìn)行。

（1）靜止活體人臉檢測實(shí)驗(yàn)及分析

連接好攝像頭開啟活體人臉檢測系統(tǒng)，實(shí)驗(yàn)開始前將29個(gè)活體人臉信息和39張照片人臉信息同時(shí)錄入。分別在距攝像頭正向0.5 m、1.0 m、1.5 m前采集人臉面部信息來驗(yàn)證人臉在鏡頭前成像面積對算法性能的影響，每個(gè)測試對象每次拿著不同的照片在誤差因子（以0.05為步長）進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)過程如圖6（左）所示，活體對象手中拿著A4紙質(zhì)照片人臉進(jìn)行人臉驗(yàn)證。如圖6（右）所示：從別記錄中可以觀察出只有活體人臉通過，而照片人臉則通過最大臉檢測原理被“裁剪”，最后識(shí)別記錄中只顯示了活體人臉。實(shí)驗(yàn)結(jié)果如圖7和圖8所示。

通過實(shí)驗(yàn)發(fā)現(xiàn)，0.5 m下的采集距離在誤差因子之間真臉平均通過率維持在99.01%，ACC平均值為99.50%，1.0 m下的采集距離在誤差因子之間真臉平均通過率維持在98.91%，ACC平均值為99.46%，。1.5 m下的采集距離在誤差因子之間真臉平均通過率維持在98.68%，ACC平均值為99.34%。三組實(shí)驗(yàn)均在誤差因子之間假臉通過率從0%升至5%左右，出現(xiàn)“上升”的原因主要是由于誤差因子過大，出現(xiàn)了假臉比活體人臉面積大的情況。

（2）運(yùn)動(dòng)活體人臉檢測實(shí)驗(yàn)及分析

通過靜止假臉攻擊實(shí)驗(yàn)的結(jié)果分析，在誤差因子1.65之前，假臉通過率都為0，所以為了提高該場景下的實(shí)驗(yàn)效率，該場景只測試了采集距離0.5 m下的真臉通過率在誤差因子（以0.05為步長）下的變化。實(shí)驗(yàn)過程中將29名測試對象的人臉信息輸入，每個(gè)測試對象分別在鏡頭前0.5 m處勻速橫向步行進(jìn)入攝像頭可拍攝的視角內(nèi)，實(shí)驗(yàn)結(jié)果如表1所示。

通過實(shí)驗(yàn)發(fā)現(xiàn)，運(yùn)動(dòng)狀態(tài)下對相鄰兩幀間近紅外和可見光造成的位置誤差就比較大了，在誤差因子1.0下，真臉通過率值接近為0，在之間緩慢增長，最終在1.25時(shí)真臉通過率達(dá)到了100%。

通過兩組場景的實(shí)驗(yàn)對比分析，誤差因子在之間時(shí)，算法的性能較好。然而誤差因子會(huì)隨著人像采集距離的減小和人在鏡頭前運(yùn)動(dòng)速度的增加而逐漸縮小誤差因子范圍，通過對雙目攝像頭的研究對比，文中算法基本上滿足市場上所有的雙目攝像頭。

2.4 ?與現(xiàn)有方法對比

因?yàn)楸疚乃惴ú捎玫臄?shù)據(jù)庫不是公開的，所以很難跟當(dāng)下主流算法進(jìn)行比較。但是為了證明本文算法在雙攝像頭設(shè)備下的有效性，選擇了一些近兩年來和本文相近硬件設(shè)備（VIS+NIR）作為算法性能比較的參考。選擇靜態(tài)活體人臉檢測（以位置誤差消除后的平均ACC值為準(zhǔn)）的實(shí)驗(yàn)結(jié)果進(jìn)行ACC值對比，對比結(jié)果如表2所示。

其中文獻(xiàn)[14]通過計(jì)算可見光和紅外圖像中人像相關(guān)信息來抵御假臉，文獻(xiàn)[15]利用CNN學(xué)習(xí)可見光和近紅外圖像中的面部特征來抵御假臉攻擊，文獻(xiàn)[16]利用眼睛、鼻子、圖像的反射率的不同來抵御假臉。通過對比，在相同硬件設(shè)備下，本文算法的性能要優(yōu)于上述幾個(gè)算法。

3? 結(jié)論

本文提出了一種利用可見光和近紅外圖像獲取人像差異的方法來實(shí)驗(yàn)活體人臉檢測，通過擴(kuò)大近紅外圖像中的人臉位圖信息，然后放入彩色圖像中等比例“裁剪”的方法消除了相鄰兩幀間近紅外和可見光圖像的人臉成像誤差，從而提高了人臉檢測的精度，最后利用最大臉檢測原理篩選出活體人臉。通過大量的實(shí)驗(yàn)證明解決了相鄰兩幀間圖像位置誤差的問題，最終利用可見光和近紅外圖像差異的特點(diǎn)，很好了抵御假臉攻擊的問題。通過不同人像采集距離下的靜止和運(yùn)動(dòng)的活體人臉檢測實(shí)驗(yàn)分析，該方法對于短距離的動(dòng)態(tài)人臉考勤有著很大的應(yīng)用價(jià)值。下一步努力的方向是，分析連續(xù)兩幀圖像間的位置誤差，并將其關(guān)聯(lián)起來進(jìn)行人臉追蹤，從而實(shí)現(xiàn)多對多的動(dòng)態(tài)實(shí)時(shí)人臉識(shí)別。

參考文獻(xiàn)

1. 梁路宏， 艾海舟， 徐光祐， 等. 人臉檢測研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào)， 2002（05）： 449??????458.

2. Souza L， Oliveira L， Pamplona M， et al. How far did we get in face spoofing detection？[J]. Engineering Applications of Artificial Intelligence， 2018， 72（2018）： 368-381.

3. 蔣方玲， 劉鵬程， 周祥東. 人臉活體檢測綜述[J/OL]. 自動(dòng)化學(xué)報(bào)： 1-24[2019-11-30].https：//doi.org/10.16383/j.aas.c180- 829.

4. Ramachandra R， Busch C. Presentation attack detection methods for face recognition systems： A comprehensive survey[J]. ACM Computing Surveys （CSUR）， 2017， 50（1）： 1?????-8.

5. Ng E S， Chia A Y S. Face verification using temporal affective cues[C]//Proceedings of the 21st International Conference on Pattern Recognition （ICPR2012）. IEEE， 2012： 1249-1252.

6. Boutellaa E， Boulkenafet Z， Komulainen J， et al. Audiovisual synchrony assessment for replay attack detection in talking face biometrics[J]. Multimedia Tools and Applications， 2016，75（9）： 5329?????-5343.

7. Smiatacz M. Liveness measurements using optical flow for biometric person authentication[J]. Metrology and Measurement Systems， 2012， 19（2）： 257-268.

8. Pereira T D F， Komulainen J， Anjos A， et al. Face liveness detection using dynamic texture[J]. EURASIP Journal on Image and Video Processing， 2014（1）： 1-2.

9. Kant C， Sharma N. Fake face recognition using fusion of thermal imaging and skin elasticity[J]. IJCSC， 2013， 4： 65-72.

10. Raghavendra R， Raja K B， Venkatesh S， et al. Face presentation attack detection by exploring spectral signatures[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2017： 170-177.

11. Sun X， Huang L， Liu C. Context based face spoofing detection using active near-infrared images[C]//2016 23rd International Conference on Pattern Recognition （ICPR）. IEEE， 2016： 4262-4267.

12. Baltru?aitis T， Robinson P， Morency L P. Openface： an open source facial behavior analysis toolkit[C]//2016 IEEE Winter Conference on Applications of Computer Vision （WACV）. IEEE， 2016： 1-10.

13. KING D E.Dlib-ml：a machine learning toolkit[EB/OL]. [2018- 01-10]. http：//www.jmlr.org/papers/volume10/king09a/ king09a.pdf.

14. Sun X， Huang L， Liu C. Multispectral face spoofing detection using VIS–NIR imaging correlation[J]. International Journal of Wavelets， Multiresolution and Information Processing， 2018， 16（02）： 1-3.

15. Mohamed S， Ghoneim A， Youssif A. Visible/Infrared face spoofing detection using texture descriptors[C]//MATEC Web of Conferences. EDP Sciences， 2019.

16. Song L， Liu C. Face Liveness Detection Based on Joint Analysis of RGB and Near-Infrared Image of Faces[J]. Electronic Imaging， 2018（10）： 373-379.