許赫庭，木特力甫·馬木提，阿力木江·艾沙，3，努爾畢亞·亞地卡爾，3，庫爾班·吾布力，3

(1.新疆大學信息科學與工程學院，新疆 烏魯木齊 830046；2.新疆大學圖書館，新疆 烏魯木齊 830046；3.新疆大學新疆多語種信息技術(shù)重點實驗室，新疆 烏魯木齊 830046)

0 引言

在社會和科技不斷發(fā)展的大時代背景下，身份鑒別技術(shù)的準確性和安全性逐漸引起人們的關注.而實用性恰恰是身份鑒別技術(shù)不可忽視的一部分.生物特征識別技術(shù)正好具備這幾種特性，因而它在近幾年身份鑒別技術(shù)的研究中變得十分熱門，其中掌紋識別所具有的便捷性和穩(wěn)定性更是當下人們所需要的，所以掌紋識別成為廣大學者的研究熱點之一.掌紋擁有更豐富且穩(wěn)定的紋理信息，它的采集方式更便捷且廉價.此外非接觸式掌紋的采集方式非常衛(wèi)生，它無接觸的采集方式受到人們的廣泛認可和喜愛，被更多人所接受.掌紋特征具有很強的分類性，該特征十分穩(wěn)定，紋理信息又十分豐富，所以非接觸式掌紋研究更具價值和意義.

相較于傳統(tǒng)方法，卷積神經(jīng)網(wǎng)絡的深度卷積層在特征提取方面有著更好的表現(xiàn).文獻[1]用在ImageNet上進行過預訓練的AlexNet提取深層特征，然后用Hausdorff距離進行匹配；Svoboda等[2]將一種判別式的損失函數(shù)引入到掌紋識別中，并使用Siamese網(wǎng)絡進行訓練，目的是區(qū)分兩個掌紋圖像是否來源于同一個人；Tarawneh等[3]使用了3個模型(VGG16、VGG19和AlexNet)提取掌紋圖像中的深層特征，最后送入SVM進行分類；Zhang等[4]使用Inception-ResNetV1模型，通過中心損失和交叉熵的組合來計算損失；Matkowski等[5]提出了EE-PRnet，該模型用于提取掌紋特征，它是一種端到端的識別模型；陸展鴻等[6]針對接觸式掌紋ROI的提取，提出了一種U-Net的神經(jīng)網(wǎng)絡結(jié)構(gòu).

目前國內(nèi)外對非接觸式掌紋的研究相對較少.這是由于非接觸式掌紋圖像的不確定因素(如采集設備、光照、手掌姿勢、采集距離、采集角度等)較多.本文提出使用深度卷積網(wǎng)絡來提取非接觸式掌紋特征的識別方法，該方法的識別性能更好，更具魯棒性.

1 相關模型和數(shù)據(jù)集介紹

1.1 本文使用的模型

1.1.1 ResNet

He等[7]提出的殘差網(wǎng)絡(ResNet)解決了隨網(wǎng)絡深度增加而導致梯度消失和梯度爆炸的問題.ResNet榮獲了2015年ImageNet比賽分類任務上的冠軍，準確率達到了95.51%，且計算效率遠超VGG.ResNet在結(jié)構(gòu)方面做出了創(chuàng)新，引入了殘差模塊(Residual Block)，如圖1所示，該模塊減少了網(wǎng)絡參數(shù)，同時增加了網(wǎng)絡的非線性表達能力.圖1(a)用于更深層次的網(wǎng)絡中(50層以上的ResNet).本文使用的ResNet18的殘差模塊如圖1(b)所示.

圖1 ResNet中的兩種殘差模塊

1.1.2 DenseNet

2016年，Huang等[8]提出了DenseNet，該模型是對ResNet中旁路通道思想延伸，它提出了一種密集連接的思想，如圖2所示.在Dense Block中，每一層的輸出都連接到后續(xù)層，讓后面的層能更好地復用前面層的特征.DenseNet改善了整個網(wǎng)絡中的梯度和信息流，更易于訓練.此外Dense Block還具有正則化的效果，它有效地降低了小數(shù)據(jù)集過擬合現(xiàn)象的發(fā)生.

圖2 密集模塊結(jié)構(gòu)

1.1.3 MobileNetV2

MobileNetV2[9]屬于輕量級網(wǎng)絡，是對MobileNetV1的改進.MobileNetV2的創(chuàng)新點是引入Inverted Residual Block(如圖3所示)和ReLU6(如圖4所示).

圖3 倒殘差模塊

圖4 ReLU6函數(shù)圖像

InvertedResidual Block是先升維再降維，其結(jié)構(gòu)像柳葉，兩邊寬中間窄.值得注意的是Inverted Residual Block中使用的卷積操作是Depthwise卷積.Depthwise卷積是從Xception網(wǎng)絡發(fā)明而來的.它首先對每個通道都進行各自卷積的操作.所以有多少個通道就用多少個過濾器.在得到新通道的特征圖后，再對這些新通道特征圖進行標準的1×1跨通道卷積操作降維，這樣大大減少了計算量.

1.1.4 RegNet

RegNet[10]的基本結(jié)構(gòu)主要由3部分組成：stem、body和head，如圖5所示.其中：stem是一個包含bn和relu的普通卷積層，卷積核大小為3×3，步長為2，卷積核個數(shù)為32.body由4個stage堆疊，每經(jīng)過一個stage都會將輸入特征矩陣縮為原來的一半.每個stage又由若干個block堆疊而成，每個stage的第一個block中存在步距為2的組卷積(主分支上)和普通卷積(捷徑分支上)，剩下的block中的卷積步長都是1，兩種block見圖6.head就是分類網(wǎng)絡中常見的分類器，由一個全局平均池化層和全連接層構(gòu)成.

(a)網(wǎng)絡；(b)主體；(c)階段i

(a)步長為1；(b)步長為2

RegNet分為RegNetX和RegNetY，兩者的區(qū)別在于RegNetY在block中的Group Conv后接了個SE(Squeeze-and-Excitation)模塊.

1.1.5 Siamese Network

Siamese Network是1993年Bromley提出來的，當時用來驗證美國支票簽名.孿生網(wǎng)絡是神經(jīng)網(wǎng)絡框架的一種.它包含有兩個分支.這兩個分支具有相同的結(jié)構(gòu)而且共享參數(shù).但這兩個分支有著不同的輸入，這兩個分支最終的輸出會被連接，并通過距離度量的方式計算這兩個分支輸入的相似度.Taigman等[11]將該網(wǎng)絡用于人臉的驗證.

本文提出的Siamese Network網(wǎng)絡模型見圖7.該模型由兩部分組成，第一部分是特征描述器，有兩個參數(shù)共享的DenseNet網(wǎng)絡構(gòu)成，見圖7(a)；第二部分是決策網(wǎng)絡，見圖7(b)，它由兩個全連接層構(gòu)成.決策網(wǎng)絡的輸入是特征描述器提取到特征差值的絕對值.

1.2 評估所使用的數(shù)據(jù)集

IITD數(shù)據(jù)集[12]的全稱為IIT Delhi Touchless Palmprint Database(Version 1.0)，IITD數(shù)據(jù)集用非接觸式的設備采集，且在室內(nèi)穩(wěn)定的環(huán)境下進行的，采集的對象是學校里的學生和工作人員，一共采集了230人的左、右手掌，即460個手掌，采集要求志愿者在規(guī)定呈像區(qū)以不同的手姿變化獲得7張圖片，志愿者均來自12～57歲年齡組.圖8是IITD數(shù)據(jù)集中不同手掌的4幅ROI圖像，用于非接觸式掌紋的識別.圖9是IITD數(shù)據(jù)集中掌紋原圖像，用于非接觸式掌紋的驗證.

圖8 IITD數(shù)據(jù)集掌紋ROI圖像

圖9 IITD數(shù)據(jù)集掌紋原圖像

Tongji數(shù)據(jù)集[13]的目標是建立一個大規(guī)模的、公共的、高質(zhì)量的數(shù)據(jù)集.此數(shù)據(jù)集總共收集了300人志愿者的掌紋圖像，共600個不同的手掌，每個手掌有20張，總共12 000幅圖像.其中的志愿者192人男性，108人女性，年齡均在20～50歲之間.圖10是Tongji數(shù)據(jù)集中不同手掌的4幅ROI圖像.

圖10 Tongji數(shù)據(jù)集掌紋ROI圖像

MPD數(shù)據(jù)集[14]的全稱是Tongji Mobile Palmprint Dataset.該數(shù)據(jù)集由手機的內(nèi)置攝像頭采集，包含了400個手掌，每個手掌40張.圖11是Tongji數(shù)據(jù)集中不同手掌的4幅ROI圖像.

圖11 MPD數(shù)據(jù)集ROI圖像

2 實驗部分

2.1 實驗設置

由于非接觸式掌紋數(shù)據(jù)集較小，又考慮到減少訓練時間，本文使用遷移學習的思想，將在ImageNet上預訓練好的模型參數(shù)遷移至本文所使用的卷積神經(jīng)網(wǎng)絡模型中.

由于IITD數(shù)據(jù)集每個掌紋的實際數(shù)據(jù)參差不齊(一般每個手掌有5～7張)，為了卷積神經(jīng)網(wǎng)絡能更好進行識別訓練，本文從IITD數(shù)據(jù)集中統(tǒng)一選取了每類包含有6張圖片的手掌，共299個手掌，1 794張手掌圖像.其中每個手掌4張用于訓練，2張用于測試.對于Tongji和MPD數(shù)據(jù)集，本文選取了全部的數(shù)據(jù).其中Tongji共12 000張圖片，600個手掌，每個手掌20張圖片，其中16張用于訓練，4張用于測試.MPD數(shù)據(jù)集共400個手掌，共16 000張掌紋圖像，每個手掌有40張，其中32張用于訓練，8張用于測試.

Siamese Network的特征描述器和決策網(wǎng)絡在IITD數(shù)據(jù)集上的訓練是分開的.特征描述器DenseNet的訓練任務是識別，使用的是IITD原圖像，共460個手掌，2 601張掌紋圖像.訓練好后特征描述器凍結(jié)該模型參數(shù)，再對決策網(wǎng)絡進行訓練.此次驗證使用的是IITD數(shù)據(jù)集2 601張原圖像，并不是掌紋ROI圖像，因為后續(xù)非接觸式掌紋驗證系統(tǒng)使用的也是掌紋原圖像(用小米10手機拍攝的，不限定環(huán)境和手勢).該網(wǎng)絡首先利用DenseNet網(wǎng)絡提取兩張掌紋圖片的特征，特征維數(shù)為1×1 024.然后將兩幅掌紋圖像的特征作差，并取絕對值，形成新的特征向量：維數(shù)還是1×1 024，并打上標簽(用以表示是否來自于同一類別).在決策網(wǎng)絡訓練的過程中，隨機從訓練集里選取兩幅非接觸式掌紋圖像，若其來自于不同類別(負樣本)，則標簽為0，否則為1(正樣本)，同時將正負樣本的比例置為1∶1.

本文實驗的配置如下：CPU處理器為Intel(R)Core(TM)i5-8300H @ 2.30 GHz；運行內(nèi)存為16 GB內(nèi)存；顯卡為NVIDIA GeForce GTX 1060；Python版本為3.7.此外本文使用了Pytorch(1.7.1)深度學習框架對卷積神經(jīng)網(wǎng)絡模型進行構(gòu)建，選取交叉熵損失和Adam優(yōu)化器對參數(shù)進行優(yōu)化更新.經(jīng)過實驗，本文選取了最適合非接觸式掌紋的學習率為5×10-5.為了更好地提取特征，將非接觸式掌紋圖像進行了縮放，卷積神經(jīng)網(wǎng)絡的輸入統(tǒng)一為224×224像素大小的圖片.通過數(shù)據(jù)增強的方式對數(shù)據(jù)集進行擴充，將隨機旋轉(zhuǎn)、翻轉(zhuǎn)、平移和裁剪等應用于動態(tài)補償不同圖像中手掌特征的差異.

2.2 實驗結(jié)果與分析

2.2.1 不同結(jié)構(gòu)CNN的識別結(jié)果

不同結(jié)構(gòu)CNN的識別結(jié)果見圖12—14.從圖12—14可以看出，RegNet在Tongji、MPD兩個數(shù)據(jù)集上的收斂速度明顯快于另外3個網(wǎng)絡.RegNet在3個數(shù)據(jù)集上的識別率均最高(見表1).

圖12 不同網(wǎng)絡在IITD上識別率隨迭代次數(shù)變化關系

圖13 不同網(wǎng)絡在Tongji上識別率隨迭代次數(shù)變化關系

圖14 不同網(wǎng)絡在MPD上識別率隨迭代次數(shù)變化關系

表1 不同結(jié)構(gòu)CNN在不同數(shù)據(jù)集上的識別率 %

2.2.2 與現(xiàn)有方法識別性能的對比

本文提出用深度卷積網(wǎng)絡提取非接觸式掌紋特征的方法在3個數(shù)據(jù)集上均有較好的識別效果，見表2—4，實驗證明了本文方法的有效性.

表2 IITD數(shù)據(jù)集現(xiàn)有方法對比 %

表3 Tongji數(shù)據(jù)集現(xiàn)有方法對比 %

表4 MPD數(shù)據(jù)集現(xiàn)有方法對比 %

3.2.3 Siamese Network非接觸式掌紋驗證方法

驗證不同于識別，驗證只是通過生物特征來判斷是否為已存有個體的身份.這只是一個二分類的問題，即輸入的生物特征跟目標特征是否屬于一個類別.在驗證問題中，通常會計算輸入特征與目標特征之間的相似度，并根據(jù)實際的訓練情況設置一個閾值.當相似度高于閾值時，表明二者是屬于同一類的，匹配成功，反之是不同類別，匹配失敗.驗證問題一般使用等誤率(Equal Error Rate，EER)作為評判標準，EER越小，表明系統(tǒng)的驗證性能越好.通過對閾值的調(diào)整，使得FAR等于FRR.此時的FRR和FAR稱為等誤率EER.

錯誤拒絕率(False Rejection Rate，F(xiàn)RR)的計算公式為

(1)

錯誤接受率(False Acceptance Rate，F(xiàn)AR)的計算公式為

(2)

其中：TTP(True Positive)是正樣本正確預測的個數(shù)；TTN(True Negative)負樣本正確預測的個數(shù)；TFN(False Negative)是正樣本錯誤預測的個數(shù)；TFP(False Positive)是負樣本錯誤預測的個數(shù).

本文提出的Siamese Network非接觸式掌紋驗證方法在IITD數(shù)據(jù)集上進行了訓練和驗證.驗證結(jié)果EER為3.461 4%，EER圖見圖15.

圖15 隨機取樣時的EER圖

導致EER較大的原因：IITD數(shù)據(jù)集中單類掌紋的樣本數(shù)太少(只有5～6張)，為了提高實用性，并沒有使用掌紋ROI圖像，而是使用原圖像進行訓練.

本文根據(jù)該非接觸式掌紋驗證方法，實現(xiàn)了一個非接觸式掌紋驗證系統(tǒng)，該系統(tǒng)可用于驗證智能手機拍攝的掌紋圖像.使用小米10手機采集掌紋圖像進行了驗證，具體實驗結(jié)果如圖16所示.在IITD數(shù)據(jù)集上選取的閾值為0.65，即相似度大于0.65則判斷這兩個圖像來源于同一手掌，低于0.65則為不同手掌.實驗說明該系統(tǒng)對自然場景下的掌紋圖像有較好的驗證結(jié)果，且對光照和手姿態(tài)具有一定的魯棒性.

圖16 小米10手機拍攝掌紋圖片的驗證結(jié)果

3 結(jié)束語

本文提出使用深度卷積網(wǎng)絡來提取非接觸式掌紋特征的識別方法，并選用了ResNet、DenseNet、MobileNetV2和RegNet 4個較為流行的卷積神經(jīng)網(wǎng)絡模型，在IITD、Tongji和MPD 3個非接觸式掌紋數(shù)據(jù)集上做了識別性能的評估實驗.結(jié)果表明，RegNet提取非接觸式掌紋特征的性能最好，且較傳統(tǒng)方法有所提高.還運用遷移學習的思想，在一定程度上提高了在小數(shù)據(jù)集上的識別率，縮短了訓練時間.提出的基于Siamese Network的非接觸式掌紋驗證方法，可以對智能手機在自然場景下采集的掌紋圖像進行驗證，對光照和手姿態(tài)具有一定的魯棒性.