于 霞, 付 琪, 薛 丹, 王健行, 武家逸, 趙鑫峰

(沈陽(yáng)工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 沈陽(yáng) 110870)

作為現(xiàn)代社會(huì)進(jìn)行個(gè)人身份驗(yàn)證的重要解決方案之一,生物特征識(shí)別可以根據(jù)個(gè)人的生理或行為特征有效地識(shí)別個(gè)人[1]。隨著研究人員對(duì)人體生物特征信息研究的逐漸深入,出現(xiàn)了許多生物識(shí)別技術(shù),如人臉、指紋、掌紋和步態(tài)識(shí)別技術(shù)等。近年來(lái),掌紋識(shí)別受到了極大關(guān)注,常被用于身份鑒別、電子控制和安全檢查[2]等。

掌紋中包含豐富的內(nèi)部特征,包括主線和皺紋及大量基于脊線和細(xì)節(jié)點(diǎn)的特征,這些特征具有永久性和特定性。此外,相較于指紋識(shí)別,掌紋識(shí)別具有更多細(xì)節(jié),同時(shí)具有用戶友好性及非接觸性等特點(diǎn)[3-4]。相較于人臉識(shí)別技術(shù),掌紋識(shí)別可以不受面部遮擋、環(huán)境光照等因素影響,并能更好地保護(hù)個(gè)人隱私,因此掌紋識(shí)別應(yīng)用于個(gè)人身份驗(yàn)證時(shí)更易于被各種用戶接受。近年來(lái)不少研究聚焦于掌紋識(shí)別技術(shù)[5]。

在掌紋識(shí)別研究中既包含對(duì)掌紋紋線進(jìn)行提取進(jìn)而識(shí)別的傳統(tǒng)方法, 也有利用神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法。 根據(jù)掌紋圖像的分類可以大致分為高分辨率掌紋識(shí)別、 低分辨率掌紋識(shí)別和三維掌紋識(shí)別方法。

劉玉珍等[6]提出結(jié)合混合濾波LBP(local binary patterns)和主成分分析PCA(principal component analysis)的特征提取,對(duì)傳統(tǒng)算法進(jìn)行改進(jìn),最后利用歐氏距離進(jìn)行匹配。岑瑤等[7-8]提出將分類正交匹配追蹤算法稀疏表示與HOG(histogram of oriented gradient)特征相融合,通過(guò)計(jì)算HOG特征矩陣與每類重構(gòu)圖像的最小殘差得到分類結(jié)果,識(shí)別率達(dá)到98%,又提出了基于MB-LBP和HOG算法分別提取紋理、邊緣特征,將2種特征串聯(lián)融合,識(shí)別率可達(dá)到99.36%。張善文等[9]提出加權(quán)自適應(yīng)CS-LBP與局部判別映射相結(jié)合的掌紋識(shí)別方法,在掌紋公開(kāi)數(shù)據(jù)集上正確識(shí)別率達(dá)到97%以上。徐海華等[10]提出應(yīng)用分塊ST(suplace type)法對(duì)掌紋圖像進(jìn)行特征提取,利用高斯濾波器對(duì)掌紋感興趣區(qū)域去除高頻噪聲,將感興趣區(qū)域圖像分成若干塊,所有子塊特征量組合成總體特征向量,利用最近鄰分類器進(jìn)行分類后識(shí)別率達(dá)到95.5%。

劉雪微等[11]提出基于CNN(convolutional neural networks)的多光譜掌紋識(shí)別方法, 利用ResNet網(wǎng)絡(luò)進(jìn)行特征提取, 融合之后利用SVM(support vector machine)進(jìn)行分類。 鄭仕偉等[12]利用AlexNet來(lái)提取掌紋特征,再送入分類器得到結(jié)果。 陳杰等[13]使用CNN直接將采集的原始圖像進(jìn)行輸入并識(shí)別,克服了傳統(tǒng)識(shí)別精度差的缺點(diǎn) 。陳虹旭等[14]將卷積神經(jīng)網(wǎng)絡(luò)引入掌紋識(shí)別中,通過(guò)利用Hausdorff距離匹配特征向量, 相比于PCA、LBP等傳統(tǒng)方法識(shí)別率更高。吳碧巧等[15]以VGG16為基礎(chǔ)網(wǎng)絡(luò), 采用投票的方式得到高分辨率掌紋圖像的準(zhǔn)確率。 李廣平等[16]提出利用殘差網(wǎng)絡(luò)技術(shù)提取掌紋特征,對(duì)掌紋進(jìn)行分類,正確分類精度達(dá)到96%。 Shao等[17]引入MoblieFaceNets的深度哈希網(wǎng)絡(luò)(DHN)來(lái)提取區(qū)分性特征, 提高了特征和匹配的效率, 同時(shí)目標(biāo)網(wǎng)絡(luò)對(duì)未標(biāo)記的目標(biāo)掌紋圖像具有自適應(yīng)性。當(dāng)前基于神經(jīng)網(wǎng)絡(luò)的掌紋識(shí)別算法研究已經(jīng)取得了一定成功,但相關(guān)研究對(duì)掌紋細(xì)微紋理特征利用率偏低, 導(dǎo)致實(shí)驗(yàn)不能取得較高的準(zhǔn)確率,迭代速度較慢, 也缺乏對(duì)基于不同樣本集的實(shí)驗(yàn)迭代和結(jié)果分析。

針對(duì)上述問(wèn)題,本文給出一種結(jié)合高效通道注意力機(jī)制的改進(jìn)殘差網(wǎng)絡(luò)模型以提高掌紋細(xì)微紋理特征利用率。該模型在ResNet 50的基礎(chǔ)上對(duì)殘差模塊進(jìn)行改進(jìn),加入卷積快速通道,減少網(wǎng)絡(luò)模型內(nèi)部計(jì)算量,減少模型訓(xùn)練迭代時(shí)間,引入高效通道注意力機(jī)制(efficient channel attention, ECA)模塊,提高了細(xì)微特征提取性能,研究對(duì)該模型進(jìn)行評(píng)估,同時(shí)將該方案與經(jīng)典機(jī)器學(xué)習(xí)掌紋識(shí)別方案進(jìn)行對(duì)比分析。實(shí)驗(yàn)結(jié)果表明ECA模塊的引入進(jìn)一步增加了掌紋感興趣區(qū)域內(nèi)細(xì)微紋理特征的利用率,且相較于傳統(tǒng)機(jī)器學(xué)習(xí)掌紋的紋理特征提取與識(shí)別方案,本文的模型能較好地實(shí)現(xiàn)基于掌紋細(xì)微紋理特征的特征提取與識(shí)別,不僅提高了識(shí)別準(zhǔn)確率還拓展了掌紋識(shí)別問(wèn)題研究思路。

1 相關(guān)理論

1.1 殘差網(wǎng)絡(luò)原理

殘差網(wǎng)絡(luò)ResNet可解決網(wǎng)絡(luò)深度增加導(dǎo)致的梯度消失和網(wǎng)絡(luò)退化問(wèn)題[18]。如在CNN網(wǎng)絡(luò)中加入XGBoost[19]、使用基于光流的CNN[20]、3DCNN[21]處理圖像數(shù)據(jù)等。殘差網(wǎng)絡(luò)經(jīng)過(guò)堆疊可以構(gòu)成一個(gè)很深的網(wǎng)絡(luò),深層神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練,殘差學(xué)習(xí)框架可以減輕網(wǎng)絡(luò)訓(xùn)練,容易優(yōu)化,可以顯著增加網(wǎng)絡(luò)深度來(lái)提高準(zhǔn)確率,很好地解決了網(wǎng)絡(luò)深度帶來(lái)的訓(xùn)練困難的問(wèn)題,它的網(wǎng)絡(luò)性能(完成任務(wù)的準(zhǔn)確度和精度)遠(yuǎn)超傳統(tǒng)網(wǎng)絡(luò)模型。

殘差網(wǎng)絡(luò)模塊分為常規(guī)型殘差網(wǎng)絡(luò)模塊和瓶頸型殘差網(wǎng)絡(luò)模塊,模塊結(jié)構(gòu)如圖1所示。一個(gè)殘差學(xué)習(xí)模塊[22]包含多個(gè)卷積層,這些卷積層對(duì)這個(gè)殘差學(xué)習(xí)模塊的輸入數(shù)據(jù)進(jìn)行變化,將輸入數(shù)據(jù)依次送入卷積層Conv、非線性激活函數(shù)層ReLU和批處理歸一化層BN,經(jīng)過(guò)多個(gè)殘差單元最后得到輸出結(jié)果。在殘差網(wǎng)絡(luò)中,當(dāng)一個(gè)構(gòu)建塊的尺寸與下一個(gè)構(gòu)建單元的尺寸不匹配時(shí),必須使用快速連接即投影快捷方式。加入shortcut結(jié)構(gòu),相當(dāng)于在每個(gè)block中又加入了上一層圖像的全部信息,一定程度上保留了更多的原始信息,同時(shí)保留了一些簡(jiǎn)單的特征用于判斷,變得省時(shí)。此外,加入shortcut結(jié)構(gòu)后相當(dāng)于一個(gè)集成模型,輸出的結(jié)果是前面各個(gè)block及其組合一起得出的?？梢园裄esNet網(wǎng)絡(luò)看成多個(gè)子網(wǎng)絡(luò)并行,是一個(gè)做了不同層次上的特征組合的中等深度的網(wǎng)絡(luò)。

(a) 常規(guī)型(b) 瓶頸型

1.2 高效通道注意力機(jī)制

注意力機(jī)制模塊被提出并廣泛應(yīng)用,基于通道注意力機(jī)制的激勵(lì)和壓縮網(wǎng)絡(luò)的SENet[23]模塊、基于空間注意力機(jī)制的SGE[24]模塊、基于通道和空間雙重注意力機(jī)制的CBAM[25]模塊等已被提出并得到廣泛應(yīng)用。相比較于以上注意力機(jī)制網(wǎng)絡(luò),高效通道注意力機(jī)制ECANet[26]網(wǎng)絡(luò)更加輕量級(jí),同時(shí)提高了特征提取性能。提出了一種不降維的局部跨通道交互策略和一種自適應(yīng)選擇一維卷積核大小的方法。

相關(guān)研究證明通道注意力機(jī)制在改善深度卷積神經(jīng)網(wǎng)絡(luò)性能方面具有巨大潛力。然而,大多數(shù)現(xiàn)有方法致力于開(kāi)發(fā)更復(fù)雜的注意力模塊以實(shí)現(xiàn)更好的性能,這不可避免地增加了模型的復(fù)雜性。例如SENet中的通道注意力模塊,在給定輸入特征的情況下,對(duì)每個(gè)通道單獨(dú)使用全局平均池化,經(jīng)過(guò)兩個(gè)全連接層,使用Sigmoid函數(shù)來(lái)生成通道權(quán)值。兩個(gè)全連接層的設(shè)計(jì)是為了捕捉非線性的跨通道交互,其中包括降維來(lái)控制模型的復(fù)雜性。降維對(duì)通道注意力預(yù)測(cè)帶來(lái)了副作用,捕獲所有通道之間的依賴是低效的,也是不必要的。而ECA模塊是一種不降維的局部跨通道交互策略,有效避免了降維對(duì)于通道注意力學(xué)習(xí)效果的影響,只涉及少量參數(shù),同時(shí)帶來(lái)明顯的性能增益。既避免了SE模塊降低維數(shù),又有效進(jìn)行跨通道交互?？缤ǖ澜换タ梢员３中阅?同時(shí)顯著降低模型復(fù)雜度。

高效通道注意力機(jī)制結(jié)構(gòu)如圖2所示,當(dāng)模塊接收到H×W×C大小的特征圖時(shí)(H為輸入圖片高度、W為輸入圖片寬度、C為輸入圖片通道數(shù)),首先在不降低維度的情況下使用全局平均池化層獲取聚合特征,通過(guò)一個(gè)可以權(quán)重共享的一維卷積進(jìn)行學(xué)習(xí),其中一維卷積涉及到超參k,就是卷積核尺寸,它代表了局部跨通道交互的覆蓋率,通過(guò)通道維度C的映射自適應(yīng)地確定,再通過(guò)激活函數(shù)Sigmoid進(jìn)行權(quán)值重分配,最后將后一個(gè)1×1×C特征圖與原特征圖進(jìn)行聚合,得到新的注意力特征圖。極大提高了模型學(xué)習(xí)注意力的性能。

圖2 高效通道注意力機(jī)制結(jié)構(gòu)Fig.2 Efficient channel attention mechanism structure

不降維的局部跨通道交互策略可以通過(guò)非線性映射自適應(yīng)一維卷積來(lái)完成信息交互。如式(1)所示。

w=σ(Ck(y))

(1)

式中:w為權(quán)重;σ表示非線性映射關(guān)系;Ck表示k個(gè)參數(shù)信息的一維卷積;y表示輸入。一維卷積的權(quán)重之間是交錯(cuò)的,即相互跨通道的,同時(shí)又是一組一組存在的,一組中權(quán)重的多少取決于卷積核k的大小。

自適應(yīng)確定k的方法如下:

(2)

式中:ψ(C)表示對(duì)通道數(shù)C進(jìn)行線性映射關(guān)系;k為內(nèi)核大小,表示跨通道交互區(qū)域;C為通道數(shù);|t|odd表示最近鄰奇數(shù);γ表示線性映射的斜率,取值為2;b為線性映射的截距,取值為1。

2 融合注意力的殘差網(wǎng)絡(luò)框架

2.1 改進(jìn)的殘差網(wǎng)絡(luò)模塊

原始網(wǎng)絡(luò)以ResNet 50為基礎(chǔ),采用殘差網(wǎng)絡(luò)中的瓶頸型殘差模塊,其殘差單元由3個(gè)卷積層依次構(gòu)成,分別是1×1、3×3、1×1, 第一層1×1卷積的作用是對(duì)通道數(shù)進(jìn)行改變,這種改變可以使第二層3×3的卷積獲得相對(duì)較低維度的輸入,進(jìn)而減少參數(shù)量,從而提高計(jì)算效率。瓶頸型結(jié)構(gòu)如圖3所示。在圖3(a)中,當(dāng)殘差單元中輸入通道數(shù)和輸出通道數(shù)不一致時(shí),需要在快速連接處加入1×1卷積、再通過(guò)批規(guī)范化改變特征圖維度。在圖3(b)中,當(dāng)殘差單元中輸入通道數(shù)和輸出通道數(shù)一致時(shí),可以直接通過(guò)快速連接進(jìn)行元素相加。

(a) 輸入輸出通道數(shù)不一致(b) 輸入輸出通道數(shù)一致

原始?xì)埐罹W(wǎng)絡(luò)在主路徑上有太多的非線性函數(shù),例如激活函數(shù)ReLU,會(huì)阻止信息傳輸,造成掌紋細(xì)微紋理特征不能被有效識(shí)別,所以通過(guò)在網(wǎng)絡(luò)結(jié)構(gòu)中加入一些條件來(lái)控制BN和ReLU的位置達(dá)到優(yōu)化網(wǎng)絡(luò)信息傳輸效率,進(jìn)而提高掌紋細(xì)微紋理特征利用率。

由于ReLU激活函數(shù)在負(fù)數(shù)部分恒為0,會(huì)導(dǎo)致一些神經(jīng)元無(wú)法激活,因此使用LeakyReLU函數(shù)替代原始的ReLU函數(shù),LeakyReLU具有ReLU激活函數(shù)的所有優(yōu)點(diǎn),同時(shí)能夠解決神經(jīng)元死亡的問(wèn)題。

原始的ResNet 50有4組大模塊,每組分別為3、4、6、3的小模塊,每個(gè)小模塊里有3個(gè)卷積,本文將每組中的殘差模塊分為開(kāi)始模塊、中間模塊和結(jié)束模塊。

在開(kāi)始模塊中尾部的BN不做LeakyReLU,并對(duì)原始Conv Block中的投影快捷方式進(jìn)行改進(jìn),在1×1的卷積之前添加3×3的最大池化層,步長(zhǎng)為2,目的是將所有像素信息考慮進(jìn)去,提高信息的利用率,如圖4所示。

圖4 改進(jìn)殘差網(wǎng)絡(luò)中的開(kāi)始模塊Fig.4 Start module in improved residual network

每組分別包含1、2、4、1個(gè)中間模塊,開(kāi)始模塊尾部的BN不做LeakyReLU,可以作為中間模塊的輸入標(biāo)準(zhǔn)化處理,故中間模塊的第一個(gè)BN被消除,如圖5(a)所示。第2、3組不只有一個(gè)中間模塊,接在中間模塊后的模塊在卷積前做批標(biāo)準(zhǔn)化和激活函數(shù)LeakyReLU,記做Intermediate×Block,如圖5(b)所示。2種中間模塊尾部都不做批標(biāo)準(zhǔn)化處理,也不添加激活函數(shù)LeakyReLU。這種改進(jìn)方案不會(huì)增加模型的復(fù)雜性,同時(shí)會(huì)提高信息的利用效率,解決信息損失和信息流動(dòng)的問(wèn)題。本文將改進(jìn)模塊之后的網(wǎng)絡(luò)記做MNet。

(a) 改進(jìn)殘差網(wǎng)絡(luò)中的第1組(b) 改進(jìn)殘差網(wǎng)絡(luò)中的第2、3組

在結(jié)束模塊的主線位置添加了BN和LeakyReLU,作為投影快捷方式支線信息的數(shù)據(jù)分布處理和非線性處理,提高模型的學(xué)習(xí)能力,如圖6所示。

圖6 改進(jìn)殘差網(wǎng)絡(luò)中的結(jié)束模塊Fig.6 End module in improved residual network

2.2 框架結(jié)構(gòu)

SENet、CBAM等方法雖然可以獲得更好的性能,但是會(huì)產(chǎn)生參數(shù)量較大的問(wèn)題。為了克服性能與復(fù)雜度權(quán)衡的悖論,選擇在改進(jìn)的殘差網(wǎng)絡(luò)的基礎(chǔ)上添加ECA模塊,添加ECA的模塊分別為Start ECA Block、Intermediate ECA Block、Intermediate×ECA Block和End ECA Block。網(wǎng)絡(luò)總體框架結(jié)構(gòu)如圖7所示,輸入經(jīng)過(guò)數(shù)據(jù)處理的掌紋圖片,通過(guò)7×7卷積核進(jìn)行卷積、批標(biāo)準(zhǔn)化、激活函數(shù)操作提取全局信息,去除原始ResNet50中的最大池化后,直接通過(guò)4組殘差高效注意力機(jī)制模塊,經(jīng)過(guò)訓(xùn)練后得到圖像的高層次特征,其中經(jīng)過(guò)48次卷積和16次注意力訓(xùn)練操作,最后經(jīng)過(guò)全局平均池化、Dropout層、全連接層,利用SoftMax函數(shù)進(jìn)行分類操作。添加Dropout層的主要作用是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中防止模型過(guò)擬合,更改網(wǎng)絡(luò)層的概率參數(shù),使得網(wǎng)絡(luò)隨機(jī)丟棄一些隱層神經(jīng)元。

圖7 網(wǎng)絡(luò)總體框架結(jié)構(gòu)Fig.7 Overall network framework structure

3 實(shí)驗(yàn)、優(yōu)化與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

掌紋數(shù)據(jù)集分為接觸式掌紋數(shù)據(jù)集和非接觸式掌紋數(shù)據(jù)集,接觸式掌紋數(shù)據(jù)集是由專業(yè)采集設(shè)備獲取的掌紋圖像或通過(guò)固定手掌位置的設(shè)備采集到的掌紋圖像組成,具有分辨率高的特點(diǎn)。隨著科學(xué)技術(shù)的不斷發(fā)展,智能手機(jī)的拍照功能不斷優(yōu)化,可以實(shí)現(xiàn)不需要特殊設(shè)備就可以進(jìn)行手掌圖片采集,非接觸式掌紋數(shù)據(jù)集更加適合科研人員構(gòu)建數(shù)據(jù)集,具有方便快捷、成本低的特點(diǎn),尤其可有效防止由接觸帶來(lái)的衛(wèi)生問(wèn)題,但是分辨率還需提升。

3.1.1 公開(kāi)掌紋數(shù)據(jù)集選取

本文采用4個(gè)公開(kāi)掌紋數(shù)據(jù)集用于實(shí)驗(yàn)對(duì)比,PolyU II[27]是香港理工大學(xué)采集的公開(kāi)數(shù)據(jù)集,采集方式為接觸式采集,數(shù)據(jù)集包含386個(gè)手掌,一共包含7 752張圖像。TJU[28]是由同濟(jì)大學(xué)采集的掌紋數(shù)據(jù)集,采集方式為非接觸式,數(shù)據(jù)集包含600個(gè)手掌共12 000張圖像。IITD[29]數(shù)據(jù)集由印度新德里理工學(xué)院的460名志愿者提供的2 601張非接觸方式采集到的手部圖像組成。CASIA[30]數(shù)據(jù)集由中國(guó)科學(xué)院自動(dòng)化研究所創(chuàng)建,采用非接觸式方式進(jìn)行采集,共包含624名志愿者提供的5 502張掌紋圖像。

3.1.2 自建非接觸掌紋數(shù)據(jù)集

自建掌紋數(shù)據(jù)集采用非接觸方式,圖像均由智能手機(jī)拍攝,不限制手機(jī)型號(hào),背景采集分為單一背景和復(fù)雜背景,采集手勢(shì)為四指并攏,方向朝上,大拇指向外自然張開(kāi),手部位置允許有一定平移,構(gòu)建的掌紋圖像庫(kù)共采集200個(gè)人的手掌圖片,其中左右手分為兩組,單個(gè)手掌采集20張圖像,共有400個(gè)不同手掌的8 000張掌紋圖像。經(jīng)預(yù)處理歸一化為1 600×1 200像素的圖像,采集的手掌圖像如圖8所示。經(jīng)過(guò)圖像灰度處理、提取掌紋感興趣區(qū)域得到224×224像素的掌紋圖像。

圖8 自建掌紋數(shù)據(jù)集樣例Fig.8 Example of self built palmprint dataset

3.2 評(píng)估指標(biāo)

在評(píng)估模型時(shí)采用準(zhǔn)確率(accuracy)、召回率(recall)、綜合評(píng)價(jià)(F-measure)3種評(píng)估指標(biāo)。其中TP是正確預(yù)測(cè)的樣本,FP是其他類別被判定為當(dāng)前類別的樣本,FN是當(dāng)前類別被錯(cuò)誤判定為其他類別的樣本,TN是其他類別樣本被判定為其他類別樣本,P是模型預(yù)測(cè)為正樣本的正確個(gè)數(shù)除以模型預(yù)測(cè)為正樣本的總數(shù),準(zhǔn)確率、召回率、綜合評(píng)價(jià)的計(jì)算公式可分別由式(3)～式(5)表示。

3.3 參數(shù)設(shè)置與優(yōu)化

在模型訓(xùn)練過(guò)程中,對(duì)模型參數(shù)進(jìn)行預(yù)設(shè)置,設(shè)置批處理大小為32,迭代次數(shù)為50,正則化系數(shù)為0.01,初始學(xué)習(xí)率為0.01,因?yàn)殡S機(jī)梯度下降法(stochastic gradient descent, SGD)可能會(huì)被困在某些鞍點(diǎn),所以在訓(xùn)練中使用自適應(yīng)優(yōu)化算法代替SGD優(yōu)化算法。

為了計(jì)算輸入和目標(biāo)之間的損失,在反向傳播期間將成對(duì)的掌紋圖像輸入網(wǎng)絡(luò)中,交叉熵公式定義為式(6)。

(6)

交叉熵能夠衡量同一個(gè)隨機(jī)變量中的兩個(gè)不同概率分布的差異程度,在機(jī)器學(xué)習(xí)中表示為真實(shí)概率分布與預(yù)測(cè)概率分布之間的差異。交叉熵的值越小,模型預(yù)測(cè)效果就越好。交叉熵在分類問(wèn)題中常與SoftMax相結(jié)合,SoftMax將輸出的結(jié)果進(jìn)行處理,使其多個(gè)分類的預(yù)測(cè)值和為1,再通過(guò)交叉熵來(lái)計(jì)算損失。

3.4 算法對(duì)比

基礎(chǔ)模型對(duì)比實(shí)驗(yàn)采用準(zhǔn)確率作為評(píng)估標(biāo)準(zhǔn)對(duì)模型性能進(jìn)行定量評(píng)估。將ResNet 18、ResNet 50、ResNet 101在4種公開(kāi)掌紋數(shù)據(jù)集上進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果見(jiàn)表1。

表1 基礎(chǔ)模型準(zhǔn)確率對(duì)比實(shí)驗(yàn)結(jié)果Table 1 Results of comparison experiments on accuracy of basic models 單位: %

將3種網(wǎng)絡(luò)ResNet 18、ResNet 50、ResNet 101的模型存儲(chǔ)空間進(jìn)行對(duì)比,模型存儲(chǔ)空間如表2所示。可以看出存儲(chǔ)空間越大模型復(fù)雜度越高、收斂速度越慢,ResNet 18雖然存儲(chǔ)空間最少、收斂速度最快,但只在PolyU II數(shù)據(jù)集上取得了最好的準(zhǔn)確率,ResNet 50和ResNet 18相比雖然在存儲(chǔ)空間上有所增加,但在TJU和IITD數(shù)據(jù)集上取得了最好的準(zhǔn)確率,ResNet 101在CASIA數(shù)據(jù)集上取得了最好的準(zhǔn)確率,但是較ResNet 50準(zhǔn)確率提升并不明顯,并且增加了存儲(chǔ)空間,導(dǎo)致迭代時(shí)間過(guò)長(zhǎng),不滿足掌紋識(shí)別快速、高效的要求。綜上所述,本文基礎(chǔ)網(wǎng)絡(luò)選用ResNet 50,通過(guò)對(duì)該基礎(chǔ)網(wǎng)絡(luò)的改進(jìn)提高迭代速度,提升準(zhǔn)確率。

表2 基礎(chǔ)網(wǎng)絡(luò)模型存儲(chǔ)空間Table 2 Basic network model storage space 單位: MB

為了驗(yàn)證本文給出的ECA-MNet網(wǎng)絡(luò)模型的優(yōu)越性,與多種經(jīng)典網(wǎng)絡(luò)模型進(jìn)行對(duì)比,表3列舉了不同模型對(duì)公開(kāi)掌紋數(shù)據(jù)集進(jìn)行識(shí)別分類所得準(zhǔn)確率、召回率、綜合評(píng)價(jià)值?？梢钥闯鲈赗esNet 50的基礎(chǔ)上改進(jìn)的殘差網(wǎng)絡(luò)(MNet)準(zhǔn)確率高于原始網(wǎng)絡(luò),證明對(duì)殘差模塊的改進(jìn)提高了模型的精度,進(jìn)而在改進(jìn)的殘差網(wǎng)絡(luò)(MNet)中添加SE、ECA兩種注意力機(jī)制模塊,添加注意力機(jī)制模塊后準(zhǔn)確率均有提升。但添加SE模塊使得模型存儲(chǔ)空間增加,進(jìn)而導(dǎo)致收斂速度變慢,存儲(chǔ)空間變化情況如表4所示。

表3 不同模型的分類準(zhǔn)確率Table 3 Classification accuracy for different models 單位: %

綜上,通過(guò)對(duì)比可以看出本文給出的ECA-MNet網(wǎng)絡(luò)在TJU、IITD、CASIA三個(gè)掌紋數(shù)據(jù)集的識(shí)別準(zhǔn)確率優(yōu)于其他經(jīng)典網(wǎng)絡(luò)模型,其他評(píng)價(jià)指標(biāo)均有不同提升。在PolyU II掌紋數(shù)據(jù)集的識(shí)別準(zhǔn)確率、召回率、綜合評(píng)價(jià)、運(yùn)行時(shí)間較原始網(wǎng)絡(luò)有所提升。

為了驗(yàn)證注意力模塊在訓(xùn)練過(guò)程中是否對(duì)掌紋圖片感興趣區(qū)域進(jìn)行識(shí)別優(yōu)化,采用注意力機(jī)制熱力圖進(jìn)行了可視化,可視化結(jié)果如圖9所示。通過(guò)對(duì)比可以發(fā)現(xiàn),添加注意力機(jī)制后,能更集中地識(shí)別到掌紋圖片感興趣區(qū)域,起到提高識(shí)別準(zhǔn)確率的效果。

(a) 原始圖片(b) ResNet(c) MNet(d) SE-MNet(e) ECA-MNet

為了驗(yàn)證本文給出的ECA-MNet網(wǎng)絡(luò)模型的泛化性,表5列舉了4種模型對(duì)自建掌紋數(shù)據(jù)集進(jìn)行識(shí)別分類所得準(zhǔn)確率、召回率、綜合評(píng)價(jià)?？梢钥闯鯡CA-MNet在自建數(shù)據(jù)集上仍能獲得較好的準(zhǔn)確率,驗(yàn)證了該模型具有很好的泛化性。

表5 不同模型對(duì)自建掌紋數(shù)據(jù)集識(shí)別結(jié)果Table 5 Comparison of visualization effects between adopting attention module and original network module 單位:%

經(jīng)過(guò)100次迭代訓(xùn)練,EAC-MNet與其他模型相比,收斂速度最快,分類精度最高,運(yùn)行時(shí)間最短。在注意力機(jī)制模塊通過(guò)全局平均池化將2維通道特征實(shí)現(xiàn)低維嵌入,通道特征給每個(gè)通道賦予不同權(quán)重,將特征分清主次,分清重點(diǎn)去學(xué)習(xí)。在網(wǎng)絡(luò)改進(jìn)模塊通過(guò)全連接層構(gòu)建網(wǎng)絡(luò)內(nèi)部關(guān)聯(lián)性,使用LeakyReLU激活函數(shù)增加網(wǎng)絡(luò)非線性特征,提高模型的泛化能力。Sigmoid函數(shù)將輸出結(jié)果歸一化至[0, 1]。

4 結(jié) 語(yǔ)

本文給出了一種基于高效通道注意力機(jī)制的改進(jìn)殘差網(wǎng)絡(luò)掌紋識(shí)別。在原始ResNet 50的基礎(chǔ)上對(duì)殘差模塊進(jìn)行改進(jìn),在提高了掌紋細(xì)節(jié)信息的利用率的同時(shí),節(jié)省了計(jì)算時(shí)間,解決了傳統(tǒng)方法中又參數(shù)量大帶來(lái)的訓(xùn)練時(shí)間長(zhǎng)的問(wèn)題,經(jīng)過(guò)18次迭代,MNet在自建掌紋數(shù)據(jù)集上識(shí)別準(zhǔn)確率達(dá)到97.52%;在此基礎(chǔ)上,引入高效通道注意力機(jī)制,在16個(gè)殘差模塊內(nèi)部添加ECA模塊,改進(jìn)學(xué)習(xí)率,并且進(jìn)行梯度優(yōu)化。實(shí)驗(yàn)得到ECA-MNet較現(xiàn)有模型在TJU、IITD、CASIA三種公開(kāi)掌紋數(shù)據(jù)集分類精度最高,在PolyU II公開(kāi)掌紋數(shù)據(jù)集識(shí)別準(zhǔn)確率達(dá)到98.69%,在自建掌紋數(shù)據(jù)集上識(shí)別準(zhǔn)確率達(dá)到98.21%。可以滿足實(shí)際應(yīng)用中對(duì)于掌紋識(shí)別準(zhǔn)確率的要求。