摘 要：由于目前的人臉識(shí)別算法在樣本不足且有對(duì)抗干擾的人臉識(shí)別應(yīng)用場(chǎng)景中存在局限性，提出一種基于對(duì)稱網(wǎng)絡(luò)的識(shí)別算法。首先基于小樣本進(jìn)行對(duì)稱網(wǎng)絡(luò)訓(xùn)練，以獲得樣本的特征向量，確保同類樣本特征向量距離近，異類樣本特征向量距離遠(yuǎn)；然后基于樣本特征向量訓(xùn)練SVM分類器，以進(jìn)行人臉檢測(cè)；同時(shí)引入PGD攻擊算法，通過(guò)對(duì)抗攻擊獲得對(duì)抗樣本，基于對(duì)抗樣本進(jìn)行模型訓(xùn)練，提升模型的魯棒性。在ORL數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，該面向?qū)垢蓴_的小樣本人臉識(shí)別算法準(zhǔn)確率較高，優(yōu)于傳統(tǒng)單邊CNN模型的效果，能夠?qū)崿F(xiàn)樣本不足且有對(duì)抗干擾的人臉識(shí)別。

關(guān)鍵詞：對(duì)稱網(wǎng)絡(luò)；小樣本；人臉識(shí)別；對(duì)抗干擾；PGD攻擊算法；支持向量機(jī)

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2025）04-00-04

0 引 言

人臉識(shí)別目前已得到廣泛的使用。如何不斷提升算法的準(zhǔn)確率和魯棒性仍然是模式識(shí)別及機(jī)器視覺(jué)領(lǐng)域研究的熱點(diǎn)。該算法的基本原理：將二維或者三維的人臉圖像通過(guò)某種方法進(jìn)行簡(jiǎn)化的特征表達(dá)，然后運(yùn)用相關(guān)分類算法對(duì)其進(jìn)行類別劃分。如果從特征抽取角度來(lái)看，人臉識(shí)別主要包括人工設(shè)計(jì)特征與深度學(xué)習(xí)自動(dòng)表示特征2種技術(shù)路線。2種路線各有優(yōu)勢(shì)，其中前者屬于傳統(tǒng)的方法。目前仍有許多研究人員力求通過(guò)把握人臉的本質(zhì)特性，設(shè)計(jì)出能夠魯棒表達(dá)人臉的簡(jiǎn)潔特征。文獻(xiàn)[1]較好地融合了降維和稀疏描述的優(yōu)勢(shì)，達(dá)到了對(duì)人臉特征降維的目的。文獻(xiàn)[2]通過(guò)改進(jìn)局部二值模式（Local Binary Patterns， LBP），在不同灰度層內(nèi)提取人臉的LBP 特征，再通過(guò)加權(quán)融合實(shí)現(xiàn)復(fù)雜光照下的人臉識(shí)別。文獻(xiàn)[3]提出了新的Face Relighting方法，即對(duì)多種陰影進(jìn)行建模，同時(shí)保留局部人臉細(xì)節(jié)。文獻(xiàn)[4]提出了一種用于面部模板保護(hù)的模塊化體系架構(gòu)，可以與使用角距離度量的任何面部表情識(shí)別系統(tǒng)結(jié)合使用。

人工設(shè)計(jì)特征費(fèi)時(shí)費(fèi)力，需要研究人員具有高度的敏銳性，而隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，借助深度模型無(wú)監(jiān)督獲取特征表示，越來(lái)越受到研究人員的青睞。目前廣泛使用的單階段人臉識(shí)別深度框架有YOLO、SSD[5-6]，兩階段人臉識(shí)別框架（即特征抽取和目標(biāo)檢測(cè)）有R-CNN、FastR-CNN[7-8]。之后在以上模型的基礎(chǔ)上，通過(guò)不斷改進(jìn)，基于深度學(xué)習(xí)的人臉識(shí)別算法的性能也得到不斷提升，但其優(yōu)越的性能建立在不斷龐大的數(shù)據(jù)集和不斷擴(kuò)充的網(wǎng)絡(luò)深度基礎(chǔ)上，對(duì)于難以得到大量數(shù)據(jù)以及需要輕量化部署的場(chǎng)合并不適用。同時(shí)，人臉識(shí)別在很多應(yīng)用場(chǎng)景中對(duì)于容錯(cuò)性要求非常高，但在實(shí)際生產(chǎn)中，由于圖像采集時(shí)的燈光、鏡頭、圖像傳輸?shù)榷喾N設(shè)備的影響，可能采集到對(duì)抗樣本[9-10]。根據(jù)正常圖像分類梯度信息，將對(duì)抗攻擊算法生成的對(duì)抗擾動(dòng)疊加在正常圖像上可以形成對(duì)抗樣本，導(dǎo)致深度網(wǎng)絡(luò)錯(cuò)誤地推理對(duì)抗樣本的類別。所以如何基于小樣本實(shí)現(xiàn)具有一定抗攻擊能力的人臉識(shí)別算法成為當(dāng)下重要的研究課題。

本文將構(gòu)建小規(guī)模的孿生卷積，對(duì)小樣本進(jìn)行訓(xùn)練，學(xué)習(xí)穩(wěn)定的人臉特征，同時(shí)引入攻擊算法，提升人臉識(shí)別的魯棒性。

1 算法基本原理

1.1 對(duì)稱網(wǎng)絡(luò)特征提取的基本原理

對(duì)稱網(wǎng)絡(luò)是一種特殊的神經(jīng)網(wǎng)絡(luò)架構(gòu)，由2個(gè)或更多相同的子網(wǎng)絡(luò)組成，如圖1所示。每個(gè)子網(wǎng)絡(luò)接收1個(gè)輸入并提取出對(duì)應(yīng)的特征向量，然后通過(guò)度量層計(jì)算這些特征向量之間的相似性得分，在訓(xùn)練過(guò)程中，使用對(duì)比損失或三元組損失等損失函數(shù)，最小化相似輸入對(duì)的特征距離，最大化不相似輸入對(duì)的特征距離，從而自動(dòng)學(xué)習(xí)輸入之間的相似度度量[11]。子網(wǎng)絡(luò)通常由卷積層、池化層、全連接層等構(gòu)成。對(duì)于每個(gè)輸入，子網(wǎng)絡(luò)會(huì)提取出一個(gè)特征向量。在訓(xùn)練過(guò)程中，孿生網(wǎng)絡(luò)的子網(wǎng)絡(luò)會(huì)共享權(quán)重參數(shù)，反向傳播算法更新這些共享參數(shù)，使得相似輸入對(duì)的特征向量距離最小化，不相似對(duì)的特征向量距離最大化。

1.2 PGD攻擊的基本原理

PGD（Projected Gradient Descent）對(duì)抗攻擊為FGSM（Fast Gradient Sign Method）的一種迭代改進(jìn)。核心思想為通過(guò)多次迭代來(lái)逐步逼近最優(yōu)的對(duì)抗樣本，同時(shí)每次迭代都根據(jù)當(dāng)前樣本的梯度信息來(lái)更新樣本，并將更新后的樣本裁剪到規(guī)定的范圍內(nèi)。具體過(guò)程如下：

（1）初始化一個(gè)被添加對(duì)抗擾動(dòng)的樣本；

（2）計(jì)算損失函數(shù)的梯度；

（3）計(jì)算擾動(dòng)；

（4）添加并將擾動(dòng)約束在鄰域內(nèi)，得到對(duì)抗樣本；

（5）將對(duì)抗樣本輸入模型，計(jì)算新的損失函數(shù)，重復(fù)步驟（2）～步驟（4），多次迭代。

與FGSM相比，PGD攻擊通過(guò)多次迭代和裁剪操作，能夠更精確地找到誤導(dǎo)目標(biāo)模型的對(duì)抗樣本。同時(shí)，由于PGD攻擊在每次迭代中都會(huì)根據(jù)最新的梯度信息來(lái)更新樣本，因此它對(duì)于非線性模型具有更好的攻擊效果。這是因?yàn)閷?duì)于非線性模型，僅僅進(jìn)行一次迭代可能無(wú)法找到最優(yōu)的對(duì)抗方向，而多次迭代則能夠逐步逼近最優(yōu)解。

2 基于對(duì)稱網(wǎng)絡(luò)的識(shí)別算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

子圖像特征提取的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，包含2個(gè)卷積層、1個(gè)最大池化層、1個(gè)Dropout層及1個(gè)Flatten層。接受輸入（input）的第1個(gè)卷積層擁有最少32個(gè)卷積核，第2個(gè)卷積層擁有64個(gè)卷積核數(shù)，即該層輸出的特征通道數(shù)為64，其中每個(gè)卷積層都伴有ReLU層。為降低過(guò)擬合風(fēng)險(xiǎn)，加入Dropout層，最后通過(guò)Flatten層展平為1個(gè)向量。在提取圖像特征時(shí)會(huì)通過(guò)降維的方式優(yōu)化網(wǎng)絡(luò)模型，不僅能減少網(wǎng)絡(luò)參數(shù)，還有利于得到圖像高層級(jí)的語(yǔ)義信息，但網(wǎng)絡(luò)在降維的同時(shí)也丟失了低層級(jí)的像素信息，使得其在表面圖像人臉識(shí)別時(shí)不太友好，所以本文使用128維特征信息作為后續(xù)模塊的輸入，最大限度保留原有圖像的特征信息。

在上述過(guò)程中得到特征提取模塊，在此基礎(chǔ)上構(gòu)建完整的表面人臉檢測(cè)模型，如圖3所示。首先將訓(xùn)練樣本輸入到特征提取網(wǎng)絡(luò)得到訓(xùn)練特征向量，用其訓(xùn)練SVM分類器，然后將測(cè)試樣本輸入特征提取網(wǎng)絡(luò)，得到測(cè)試特征向量，再基于已訓(xùn)練好的SVM分類器進(jìn)行檢測(cè)。

2.2 損失函數(shù)

為了增強(qiáng)模型對(duì)類間樣本特征差異的敏感性，本文構(gòu)建了基于類別敏感的正負(fù)樣本對(duì)。三元數(shù)表示樣本對(duì)（a， a'， ya），a、a'表示輸入對(duì)稱網(wǎng)絡(luò)的樣本對(duì)，ya表示樣本對(duì)標(biāo)簽。當(dāng)ya=0時(shí)，表示正樣本對(duì)，即a與a'為同類別；否則表示負(fù)樣本對(duì)，即a與a'為相反類別。

由于訓(xùn)練目標(biāo)為最小化正樣本之間的差異，并擴(kuò)大負(fù)樣本之間的差異，本文設(shè)計(jì)并提出了特征一致性約束策略的模型特征提取模塊損失函數(shù)：

（1）

式中：θ表示對(duì)稱特征提取模塊的模型參數(shù)；Fa、Fa'分別表示經(jīng)特征提取模塊產(chǎn)生的特征；N表示樣本對(duì)的總數(shù)；m表示決定負(fù)樣本對(duì)距離上限的邊界值（Margin），該值根據(jù)實(shí)際情況確定；Dθ表示樣本對(duì)經(jīng)過(guò)特征提取后特征空間上的距離表達(dá)。本文在此使用歐幾里得距離公式，如式（2）所示：

（2）

這種損失函數(shù)可以很好地表達(dá)成對(duì)樣本的匹配程度，也能夠很好地用于訓(xùn)練相關(guān)模型。根據(jù)特征一致性約束公式可以發(fā)現(xiàn)，當(dāng)ya=0時(shí)，模型會(huì)更新最小化原始圖像與其對(duì)抗變體之間的距離，即最小化類內(nèi)間距；相反，當(dāng)ya=1時(shí)，且負(fù)樣本對(duì)之間的距離大于m時(shí)，損失值等于0，即模型不做優(yōu)化，而當(dāng)負(fù)樣本對(duì)之間的距離小于m時(shí)，此時(shí)模型將負(fù)樣本對(duì)的距離增大到m，即增大類間間距。

2.3 網(wǎng)絡(luò)訓(xùn)練

模型訓(xùn)練分為2個(gè)階段。首先對(duì)特征提取模塊進(jìn)行對(duì)抗訓(xùn)練，然后再對(duì)分類模塊進(jìn)行訓(xùn)練。特征提取模塊訓(xùn)練過(guò)程

如下：

（1）訓(xùn)練開(kāi)始時(shí)，將訓(xùn)練樣本設(shè)置為相同尺寸；

（2）運(yùn)用PGD算法攻擊訓(xùn)練樣本；

（3）將各類樣本打亂順序分別放入2個(gè)隊(duì)列之中；

（4）以20的batch size分批隨機(jī)讀取以上隊(duì)列中的數(shù)據(jù)，送入對(duì)稱網(wǎng)絡(luò)；

（5）經(jīng)過(guò)特征提取網(wǎng)絡(luò)提取特征向量后，計(jì)算出該批次的平均loss值，之后通過(guò)Adam自適應(yīng)梯度下降算法，更新各層的權(quán)值與偏置等參數(shù)；

（6）重復(fù)步驟（2）～步驟（4），直至達(dá)到最大訓(xùn)練輪次。

在特征提取模塊訓(xùn)練基礎(chǔ)上，基于訓(xùn)練特征向量對(duì)SVM分類模塊進(jìn)行訓(xùn)練，在此選用線性核函數(shù)。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

本文采用的ORL人臉數(shù)據(jù)庫(kù)共有400幅圖像，涉及40個(gè)人的不同表情、不同穿戴，其中每人10幅圖像。ORL人臉數(shù)據(jù)庫(kù)中原始圖像大小為112×92，實(shí)驗(yàn)中采用的圖像大小為50×50。隨機(jī)選取若干幅圖像作為訓(xùn)練樣本，其余圖像作為測(cè)試樣本，歸一化處理每一幅圖像。部分人臉樣本圖像如圖4所示。

實(shí)驗(yàn)所采用的硬件和軟件配置：CPU為17-12700K"3.6 GHz，GPU為英偉達(dá)RTX3090TI，Python版本為3.8.5。深度學(xué)習(xí)框架采用PyTorch 1.13.0搭建，操作系統(tǒng)采用Windows 10。實(shí)驗(yàn)參數(shù)中batch size為30，epoch為20，學(xué)習(xí)率為0.01。

3.2 結(jié)果與分析

將非對(duì)抗樣本集按照一定比例劃分為訓(xùn)練集和測(cè)試集，使用訓(xùn)練集分別訓(xùn)練單邊分類網(wǎng)絡(luò)（由特征提取模塊和分類模塊構(gòu)成，其中特征提取模塊與對(duì)稱網(wǎng)絡(luò)相同）及對(duì)稱網(wǎng)絡(luò)。單邊分類網(wǎng)絡(luò)具有分類模塊，可以直接使用測(cè)試集進(jìn)行人臉檢測(cè)測(cè)試；對(duì)稱網(wǎng)絡(luò)利用訓(xùn)練好的特征提取網(wǎng)絡(luò)對(duì)訓(xùn)練集和測(cè)試集進(jìn)行處理，得到對(duì)應(yīng)的訓(xùn)練特征向量集與測(cè)試特征向量集，然后利用訓(xùn)練特征向量集基于SVM進(jìn)行分類訓(xùn)練，最后利用SVM分類器計(jì)算測(cè)試特征向量集的準(zhǔn)確率（圖像分辨率為250）。非對(duì)抗樣本檢測(cè)準(zhǔn)確率見(jiàn)表1。

在未對(duì)樣本集進(jìn)行增強(qiáng)的情況下，以上訓(xùn)練樣本數(shù)量分別是120、160、200、240，相較于一般模型訓(xùn)練需要的樣本數(shù)量非常少。由表1看出，訓(xùn)練樣本數(shù)量與模型檢測(cè)準(zhǔn)確率呈正相關(guān)，即訓(xùn)練數(shù)量越大，則檢測(cè)準(zhǔn)確率越高；單邊網(wǎng)絡(luò)在低樣本情況下，準(zhǔn)確率維持在0.6左右，而對(duì)稱網(wǎng)絡(luò)通過(guò)重塑特征空間，讓相同類別樣本特征向量盡量靠近，不同類別樣本特征向量盡可能遠(yuǎn)離，為分類提供了良好的基礎(chǔ)。結(jié)果表明，對(duì)對(duì)稱網(wǎng)絡(luò)，即使在訓(xùn)練樣本數(shù)量?jī)H為120時(shí)，其檢測(cè)準(zhǔn)確率也可以達(dá)到0.742 9；當(dāng)訓(xùn)練樣本數(shù)量為240時(shí)，其檢測(cè)準(zhǔn)確率超過(guò)了0.9，遠(yuǎn)遠(yuǎn)高于單邊網(wǎng)絡(luò)。

使用對(duì)抗樣本集分別訓(xùn)練單邊分類網(wǎng)絡(luò)及對(duì)稱網(wǎng)絡(luò)。對(duì)抗樣本檢測(cè)準(zhǔn)確率見(jiàn)表2。

由表2可以看出：對(duì)抗樣本的檢測(cè)準(zhǔn)確率整體下降。其中，單邊網(wǎng)絡(luò)受影響更加明顯，同時(shí)其檢測(cè)準(zhǔn)確率與訓(xùn)練樣本數(shù)量的正相關(guān)性消失。這是因?yàn)橛?xùn)練樣本數(shù)量越多，則受到攻擊的樣本也越多，因此對(duì)網(wǎng)絡(luò)產(chǎn)生的不良影響也將越大。對(duì)稱網(wǎng)絡(luò)雖然也受到對(duì)抗樣本的影響，但當(dāng)訓(xùn)練樣本數(shù)量增加后，這種影響將變得很小。由此可見(jiàn)，對(duì)稱網(wǎng)絡(luò)抗干擾性較單邊網(wǎng)絡(luò)更強(qiáng)，具有較好的魯棒性。

4 結(jié) 語(yǔ)

本文提出了一種新的人臉識(shí)別方法。該方法使用對(duì)稱網(wǎng)絡(luò)對(duì)人臉圖像進(jìn)行識(shí)別分類。與傳統(tǒng)人臉識(shí)別方法相比，其具有以下優(yōu)勢(shì)：

（1）在傳統(tǒng)DNN網(wǎng)絡(luò)的基礎(chǔ)上引入對(duì)稱思想，使特征空間類內(nèi)間距盡可能小、類間間距盡可能大，約束網(wǎng)絡(luò)訓(xùn)練，實(shí)現(xiàn)對(duì)于干擾樣本的魯棒檢測(cè)；

（2）充分發(fā)揮對(duì)稱網(wǎng)絡(luò)可以實(shí)現(xiàn)“one shot learning”的特點(diǎn)，在不需要擴(kuò)充大量訓(xùn)練數(shù)據(jù)的前提下，可以自定義增加需要檢測(cè)的人臉數(shù)目。

未來(lái)，本文的研究將涉及復(fù)雜背景下精確的人臉定位等方面，通過(guò)進(jìn)一步優(yōu)化模型結(jié)構(gòu)，提升模型泛化能力。

注：本文通訊作者為張勝利。

參考文獻(xiàn)

[1]程鴻芳，祝軍.基于改進(jìn)的稀疏描述和降維人臉識(shí)別方法[J].綿陽(yáng)師范學(xué)院學(xué)報(bào)（自然科學(xué)版），2023，42（11）：89-96.

[2]李根，岳望.復(fù)雜光照下LBP人臉識(shí)別算法的改進(jìn)[J].信息與電腦，2023，15：106-109.

[3] HOU A， ZHANG Z， SARKIS M， et al. Towards high fidelity face relighting with realistic shadows [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN， USA： IEEE， 2021.

[4] KIM S， JEONG Y， KIM J， et al. IronMask： modular architecture for protecting deep face template [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN， USA： IEEE， 2021.

[5] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， NV， USA： IEEE， 2016： 779-788.

[6] LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multi box detector [C]// European Conference on Computer Vision. Cham： Springer， 2016： 21-37.

[7] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE， 2014： 580-587.

[8] GIRSHICK R. Fast R-CNN [C]// Proceedings of the IEEE International Conference on Computer Vision. Santiago， Chile： IEEE， 2015： 1440-1448.

[9] GOODFELLOW I， SHLENS J， SZEGEDY C. Explaining and harnessing adversarial examples [C]// Proceedings of International Conference on Learning Representations 2015 （ICLR 2015）. San Diego， California， USA： Yoshua Bengio， Yann LeCun， 2015："1-11.

[10] MADRY A， MAKELOV A， SCHMIDT L， et al. Towards deep learning models resistant to adversarial attacks [C]// Proceedings of the 6th International Conference on Learning Representations （ICLR 2018）. Vancouver， British Columbia， Canada; Yoshua Bengio， Yann LeCun， 2018： 1-28.

[11] LAKE B M， SALAKHUTDINOV R， GROSS J， et al. One shot learning of simple visual concepts [C]// Proceedings of the 33rd Annual Conference of the Cognitive Science Society. Boston， Massachusetts， USA： Cognitive Science Society， 2011： 2568-2573.