郭 婷，張?zhí)煨?，郭詩?/p>

1.武漢工程大學電氣信息學院，湖北 武漢 430205；

2.華中科技大學圖像識別與人工智能研究所，湖北 武漢 430074

基于可見光圖像的人臉識別技術已經(jīng)趨于成熟［1-3］，但是在光照條件較差、面部進行了妝容修飾等條件下，可見光人臉識別系統(tǒng)的識別性能會大幅度下降甚至失效。由于成像機理的不同，熱紅外成像對光照條件不敏感，即使在弱光甚至無光的夜晚環(huán)境中，熱紅外成像儀依舊能捕獲人的面部熱輻射信息［4-5］。圖1（a）為自然光下的可見光圖像，圖1（b）為弱光下的可見光圖像，圖1（c）為自然光下的熱紅外圖像，圖1（d）為弱光下的熱紅外圖像。由圖1（c，d）可發(fā)現(xiàn)，熱紅外成像時基本不受外部環(huán)境光照的影響，在弱光條件下，熱紅外成像儀仍然可以拍攝出清晰的人臉熱紅外圖像。光譜信息是另外一種具有辨識度的信息［6］，是因為每個人面部的組織、血液和結構等具有個體差異性，使得不同個體面部輻射的光譜具有差異性，如圖2 所示。目前對于紅外人臉識別和光譜人臉識別的研究相對較少。Singh 等［7］利用殘差網(wǎng)絡提取微小人臉目標域的特征，實現(xiàn)了熱紅外圖像中微小人臉的識別；栗科峰等［8］提出了基于熱紅外光譜的人臉特征提取算法，人臉平均識別率達95%；馬娜［9］提出的基于Gabor 特征融合的高光譜人臉識別算法，采用了波段范圍為0.4～1.0 μm 的可見光和近紅外光譜進行人臉識別；謝志華等［10］提出了一種分塊譜帶選擇和VGG 網(wǎng)絡的高光譜人臉識別算法，實現(xiàn)了不同譜帶的深度特征的融合。

圖1 自然光（a）和弱光（b）下的可見光圖像，自然光（c）和弱光（d）下的熱紅外圖像Fig.1 Visible light images in nature irradiation（a）and low light irradiation（b），thermal infrared images in nature irradiation（c）and low light irradiation（d）

圖2 不同個體嘴唇區(qū)域光譜差異Fig.2 Spectra differences in lip region of different individuals

然而，當人面部的溫度受汗液、環(huán)境條件而發(fā)生改變時，基于熱紅外圖像的人臉識別系統(tǒng)的識別率會明顯降低。而光譜信息具有相對穩(wěn)定性，能夠為熱紅外圖像提供必要的輔助信息?，F(xiàn)有的光譜人臉識別算法在光譜范圍的選擇上局限于可見光光譜范圍和近紅外光譜范圍，均無法在夜間使用。因此，提出了一種熱紅外圖像和寬光譜信息融合的人臉識別算法，該算法能夠有效地利用熱紅外和寬光譜的互補優(yōu)勢，提升人臉識別的穩(wěn)定性和識別準確率。

1 數(shù)據(jù)庫構建

目前，基于熱紅外或基于寬光譜的人臉識別研究較少，其相關的數(shù)據(jù)集一般不公開，適合熱紅外和寬光譜融合的人臉數(shù)據(jù)集更是匱乏。鑒于此情況，本文利用實驗室的設備自建了紅外寬光譜人臉融合數(shù)據(jù)集。

1.1 熱紅外人臉圖像數(shù)據(jù)集

利用中波紅外熱像儀構建了華中科技大學中波熱紅外人臉數(shù)據(jù)集，部分數(shù)據(jù)鏈接：https：//pan.baidu.com/s/1yhB60ZJnAIsFwkbaoI4trA 提取碼：HMFD。該數(shù)據(jù)集共包含200 位志愿者（樣本）的臉部熱紅外數(shù)據(jù)，共計22 萬張圖片。人臉數(shù)據(jù)示例如圖3 所示。

圖3 HMFD 部分示例Fig.3 Some examples of HMFD

1.2 紅外寬光譜數(shù)據(jù)集

利用SR-5000N 光譜儀對熱紅外人臉數(shù)據(jù)集中志愿者的面部寬光譜數(shù)據(jù)進行采集，光譜儀如圖4 所示。寬光譜人臉數(shù)據(jù)集中主要包含左眼、右眼、鼻子以及嘴唇4 個關鍵區(qū)域的寬光譜數(shù)據(jù)，每個區(qū)域各采集500 個寬光譜樣本。該數(shù)據(jù)集所測寬光譜范圍為1.3～14.4 μm。

圖4 SR-5000N 光譜儀Fig.4 SR-5000N spectrograph

2 熱紅外圖像和寬光譜融合的人臉識別算法

算法流程如圖5 所示，首先熱紅外和寬光譜數(shù)據(jù)分上下兩層特征提取流進行輸入，熱紅外特征提取模塊負責熱紅外特征的提取，寬光譜特征提取模塊負責寬光譜特征的提取；然后將獲得的熱紅外特征和寬光譜特征輸入模態(tài)特征融合模塊，并根據(jù)設計的自適應權重融合策略實現(xiàn)兩種模態(tài)特征的融合；最后基于融合后的特征進行人臉識別。

圖5 算法流程圖Fig.5 Algorithm flowchart

2.1 熱紅外特征提取模塊

借鑒可見光人臉識別技術，選用DenseNet 模塊提取人臉的熱紅外特征。相比于其他特征提取模塊，DenseNet 具有以下優(yōu)勢：（1）能有效緩解神經(jīng)網(wǎng)絡訓練中梯度消失的問題；（2）能減少網(wǎng)絡參數(shù)的數(shù)量，提高網(wǎng)絡運行的效率；（3）模塊中的密集塊結構能實現(xiàn)網(wǎng)絡層的多重連接，加強特征的表達。

2.2 寬光譜特征提取模塊

寬光譜特征提取模塊如圖6 所示，其中1 為面部各區(qū)域原始紅外寬光譜特征向量；2 為各區(qū)域寬光譜特征提取層；3 為各區(qū)域經(jīng)過寬光譜特征提取層處理后的寬光譜特征向量。

圖6 寬光譜特征提取模塊Fig.6 Wide spectra feature extraction module

紅外寬光譜人臉數(shù)據(jù)庫中，每位志愿者的每個樣本均包含4 個關鍵區(qū)域的原始寬光譜特征數(shù)據(jù)，針對4 個關鍵特征區(qū)域Sparts 提取4 組特征向量，分別表示為：左眼特征向量SLE、右眼特征向量SRE、鼻子特征向量SN、嘴唇特征向量SM。

利用二維卷積實現(xiàn)對關鍵區(qū)域的特征向量進行壓縮重組。對每個關鍵區(qū)域進行特征壓縮可獲得 子 特 征 向 量Sparts_1∈R1×200，Sparts_2∈R1×100，Sparts_3∈R1×66。將子特征向量進行維度拼接重組得到關鍵區(qū)域的局部特征向量Sparts_New∈R1×366。

分別對人臉的左眼、右眼、鼻子以及嘴唇4 個區(qū)域同時進行上述處理，獲得左眼特征向量SLE_New、右眼特征向量SRE_New、鼻子特征向量SN_New、嘴唇特征向量SM_New，于是可得此樣本的面部寬光譜特征向量SNew=SLENew+SRE_New+SN_New+SM_New。

2.3 基于自適應權重的特征融合模塊

對于熱紅外圖像和寬光譜的協(xié)同識別，不同特征對識別任務的判別程度不盡相同。由此提出的基于自適應權重的融合策略，能夠自動學習各個特征組的注意權重，增強人臉的特征表達，提升人臉的識別性能。

如圖7 所示，此模塊的輸入為2 個組特征：熱紅外圖像特征、寬光譜特征，表示為[g1,g2]。

圖7 特征融合模塊Fig.7 Feature fusion module

組壓縮：將整個組特征編碼為1 個全局特征，并采用組全局平均池化實現(xiàn)。如對于維度為(wg,hg,cg)的組特征gi，通過組全局平均池化得到當前組的全局特征zi：

因此，對于2 個組特征可得向量Z=[z1,z2]。

組激勵：采用sigmoid 形式的門機制實現(xiàn)，可以得到各個組之間的非線性關系，圖7 中，第1 個全連接層起降維作用，采用ReLU 激活函數(shù)加入非線性因素，然后采用全連接層恢復原始的維度，最后通過sigmoid 門機制得到0～1 之間的歸一化權重向量S=[s1,s2]。

組特征重標定：將學習到的各組權重系數(shù)乘上原始組特征。歸一化權重向量S可表示各組特征的重要程度，通過對各組特征gi利用權重系數(shù)si進行重標定，可得到重新關注后的各組特征，重標定為：

其 中，si為一個 實數(shù)，函 數(shù)Fscale表示si與gi元素逐個相乘，最后可得重標定后的特征向量M=[m1,m2]，從而獲得人臉的熱紅外圖像寬光譜融合特征。

2.4 損失函數(shù)

式中，F(xiàn)i是由輸入樣本獲得的特征，Gi為輸入樣本所屬類別的類心特征，Pi為輸入樣本預測類別的類心特征。

3 實驗部分

3.1 實驗平臺及實驗參數(shù)

實驗在版本號為2020.2 的PyCharm 軟件平臺上進行，基于Ubuntu 16.04 操作系統(tǒng)，采用Pytorch 深度學習框架，選用RTX2080TiGPU。

訓練批次為200；批量大小為2；采用隨機梯度下降算法（SGD）訓練模型，設置Lr（學習率）=0.001。

3.2 評價指標

用熱紅外圖像與寬光譜數(shù)據(jù)集中的測試集評估訓練模型的精度。測試樣本中，準備同一人的不同樣本對作為正樣本，不同人的樣本對作為負樣本，以歐氏距離D(xi,xj)來評判正樣本中的正樣本對和負樣本中的樣本對是否為同一類別。正樣本對(i,j)集合記為Dsame，而負樣本對集合記為Ddiff。

在正樣本集合中，正確接受的集合部分：

其中，d表示閾值，Y(d)表示在以閾值d進行人臉驗證的過程中，兩個樣本被認為是同一個人的集合部分。同樣，錯誤接受的集合部分：

正樣本集合中正確接受的集合部分占據(jù)的比例為正確接受率（TAR，T）：

負樣本集合中錯誤接受的集合部分占據(jù)的比例為錯誤接受率（FAR，F(xiàn)）：

數(shù)據(jù)集中共采用40 人，同一人的正樣本共500 組樣本對，隨機選擇不同人的負樣本共1 000組樣本對，正、負樣本集共60 000 組樣本對。

3.3 消融實驗

為了驗證本文提出的基于自適應權重融合策略的識別算法（實驗1）的有效性，突出自適應權重的圖像光譜特征融合策略的優(yōu)勢，在人臉數(shù)據(jù)集上進行了如下實驗：

實驗1：首先利用熱紅外特征提取模塊和寬光譜特征提取模塊分別獲取人臉的熱紅外特征向量和寬光譜特征向量。然后通過基于自適應權重的特征融合模塊實現(xiàn)兩種特征向量的有效融合，最后基于融合后的特征向量完成精準的人臉識別。

特征拼接融合策略是目前比較常用且有效的一種融合策略［11］，基于圖像光譜特征拼接融合策略識別算法（實驗2）［12-14］：將實驗1 的融合策略替換為人臉的熱紅外圖像特征向量和寬光譜特征向量直接在維度方向進行拼接的融合策略。

以正確接受率和錯誤接受率來綜合評估實驗模型的性能，消融實驗結果如表1 所示。

由表1 可知，各組實驗的結果隨著閾值的改變而改變，當閾值為0.5 時，每組實驗的T和F指標基本達到最佳平衡。結果顯示在閾值為0.5 時，實驗1 獲得了96%的正確接受率，3%的錯誤接受率。而實驗2 僅實現(xiàn)了95%的正確接受率，5%的錯誤接受率。相比之下，實驗1 通過自適應分配模態(tài)特征權重，能夠在實現(xiàn)較高正確接受率的同時，保持較低的錯誤接受率，其識別性能略優(yōu)于實驗2，從而證明了本文采用的基于自適權重融合策略有效性。

表1 消融實驗結果Tab.1 Ablation experiment results

3.4 對比實驗

為了驗證本文提出的基于自適權重融合策略的識別算法的有效性。在人臉數(shù)據(jù)集上，將本文算法和基于主成分分析的紅外識別算法（實驗3）［15］進行對比。對比實驗結果如表2 所示。

表2 對比實驗結果Tab.2 Comparison of experimental results

由表2 可知，當閾值為0.5 時，兩組實驗的T和F指標基本達到最佳平衡。結果顯示在閾值為0.5時，實驗1 獲得了96%的正確接受率，3%的錯誤接受率。而實驗3 僅實現(xiàn)了95%的正確接受率，9%的錯誤接受率，從而證明了人臉的熱紅外特征在融合了寬光譜特征后，識別性能得到有效提升。

4 結 論

本文提出的一種熱紅外圖像和寬光譜融合的人臉識別算法，一方面，與現(xiàn)有的單模態(tài)人臉識別算法相比，該算法將人臉熱紅外特征和寬光譜數(shù)據(jù)信息進行融合，克服了可見光光譜和近紅外光譜信息的局限性，具備可在夜間使用的優(yōu)勢。另一方面，與期望通過不同模態(tài)信息的轉化生成，再進行識別的多模態(tài)識別算法相比，本文提出的融合算法使用了兩種模態(tài)特征共同作為識別依據(jù)，在識別精度和實現(xiàn)的便捷性方面具有優(yōu)勢。

因此，圖譜融合人臉識別算法利用熱紅外和寬光譜的互補特性，提升了人臉識別算法在復雜場景下的識別準確率和識別系統(tǒng)的穩(wěn)定性，拓寬了人臉識別的應用場景。然而，本文是將人面部4個關鍵區(qū)域的寬光譜特征單獨處理，未對不同區(qū)域特征之間的聯(lián)系進行建模，如果加以區(qū)域特征聯(lián)系建模，在未來有潛力進一步提升識別性能，這也是未來研究的重點。