馮起良,韓叢英,2?,趙彤,2

(1 中國科學(xué)院大學(xué)數(shù)學(xué)科學(xué)學(xué)院,北京 100049;2 中國科學(xué)院大數(shù)據(jù)挖掘與知識管理重點(diǎn)實(shí)驗(yàn)室,北京 100190) (2021年12月6日收稿; 2022年2月28日收修改稿)

隨著計算機(jī)技術(shù)、物聯(lián)網(wǎng)技術(shù)、智能設(shè)備的逐漸普及,傳統(tǒng)的身份認(rèn)證方式易丟失、易復(fù)制、易冒用,在諸多場景下已經(jīng)不能滿足現(xiàn)實(shí)需求。生物特征識別技術(shù)是基于生物特征進(jìn)行身份認(rèn)證的,比傳統(tǒng)的身份認(rèn)證方式更安全可靠。常見的能夠用于身份認(rèn)證的生物特征包括生理特征(指紋、掌紋、虹膜、DNA、靜脈、人臉等)和行為特征(聲音、步態(tài)等)。指紋因?yàn)榫哂形ㄒ恍?、持久性、普遍性以及易于采集等特點(diǎn),在眾多生物特征中占據(jù)優(yōu)勢地位[1-2]。經(jīng)過不斷的技術(shù)革新,自動指紋識別系統(tǒng)已經(jīng)在刑事偵查、法庭科學(xué)、安全檢查和金融支付等領(lǐng)域有著廣泛應(yīng)用。尤其在刑事偵查和法庭科學(xué)領(lǐng)域,隨著指紋采集條件逐漸完善,億萬級的指紋圖像數(shù)據(jù)采集、預(yù)處理、特征提取、特征比對已經(jīng)成為現(xiàn)實(shí)。指紋圖像質(zhì)量直接影響指紋鑒定結(jié)論的準(zhǔn)確性和可靠性,關(guān)乎有效證據(jù)的形成和刑事案件的偵破。好的指紋圖像質(zhì)量評價算法不僅有助于指紋專家對指紋進(jìn)行分析和鑒定,還能夠提升自動指紋識別系統(tǒng)(automatic fingerprint identification system,AFIS)的性能:有助于減少設(shè)備資源消耗、緩解數(shù)據(jù)處理的壓力、縮短任務(wù)執(zhí)行時間、提高指紋匹配算法的準(zhǔn)確率等。因此,指紋圖像質(zhì)量評價算法的研究一直是指紋領(lǐng)域?qū)＜覍W(xué)者關(guān)注的熱點(diǎn)。

1 指紋圖像質(zhì)量評價

有關(guān)指紋圖像質(zhì)量的研究,最早可追溯到20世紀(jì)90年代。Bolle等[3]根據(jù)方向場的強(qiáng)度分割出有效區(qū)域與無效區(qū)域,并計算二者面積占比來評估指紋圖像質(zhì)量。Shen等[4]使用Gabor濾波的方法區(qū)分有無明顯方向特征的指紋小塊并以此計算質(zhì)量分值。這些算法參考的特征因子過于單一,而且對復(fù)雜背景的指紋圖像質(zhì)量評價缺乏魯棒性,容易受噪聲影響。2004年,美國國家標(biāo)準(zhǔn)與技術(shù)研究院(National Institute of Standards and Technology,NIST)研發(fā)出NIFQ1.0[5]指紋圖像質(zhì)量評價算法。該算法依靠傳統(tǒng)的指紋特征提取算法提取11個特征因子,將正則化后的指紋匹配分?jǐn)?shù)作為監(jiān)督信息訓(xùn)練感知機(jī)分類網(wǎng)絡(luò),最終將指紋質(zhì)量分為5個等級。但該算法無法提供高精度的質(zhì)量分?jǐn)?shù),因此適用場景受到極大限制。隨著ISO/IEC29794系列標(biāo)準(zhǔn)文獻(xiàn)[6-8]對生物特征樣本質(zhì)量的明確,NIST進(jìn)一步研發(fā)出NFIQ2.0[9]指紋圖像質(zhì)量評價算法。但該算法仍然部分延續(xù)NFIQ1.0的實(shí)現(xiàn)思路,即依靠傳統(tǒng)的指紋特征提取算法提取特定的特征因子,然后利用傳統(tǒng)的機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)質(zhì)量分類。雖然NFIQ2.0算法可以提供高精度的評估分?jǐn)?shù)(0～100分),也符合ISO相關(guān)標(biāo)準(zhǔn)基本要求[7-8],并受到國內(nèi)外專家學(xué)者的廣泛關(guān)注,但是該方法仍然缺乏評價指紋圖像局部區(qū)域質(zhì)量的能力,而此項能力對于刑事偵查和法庭科學(xué)的指紋鑒定任務(wù)是極為重要的。另外,NFIQ2.0算法相關(guān)報告中提供的案例指紋的質(zhì)量分?jǐn)?shù)與指紋專家的質(zhì)量評價結(jié)果存在較大偏差,其分?jǐn)?shù)存在畸高、畸低和不合理下滑的現(xiàn)象。近年來,國內(nèi)外關(guān)于指紋圖像質(zhì)量的研究不斷有新方法被提出。2016年,Li等[10]針對不同曲率的指紋區(qū)域提取不同的特征因子,提出一種混合的指紋圖像質(zhì)量評價方法。2019年,Richter等[11]推薦一種基于污點(diǎn)噪聲(smudge noise)的指紋圖像質(zhì)量評價方法,并在部分公開數(shù)據(jù)集上有突出表現(xiàn)。2020年,Chen等[12]針對移動設(shè)備傳感器獲取的部分指紋圖像,提出融合紋理和幾何特征的混合指紋圖像評價方法。2021年,Agarwal和Bansal[13]結(jié)合脊線清晰度特征、紋理特征和細(xì)節(jié)點(diǎn)特征提出針對現(xiàn)場指紋(latent fingerprint image)的圖像質(zhì)量評價方法。2021年,Hendre等[14]通過對比已有的多種質(zhì)量評價方法對部分采集指紋的評價能力,認(rèn)為現(xiàn)有的方法中 NFIQ2.0算法和基于Gabor濾波的方法能夠?qū)Σ糠植杉讣y進(jìn)行有效的低質(zhì)量檢測。近年來對指紋圖像質(zhì)量評價問題的研究大多延續(xù)傳統(tǒng)圖像處理和機(jī)器學(xué)習(xí)的方法,盡管在一些數(shù)據(jù)集上能夠有效降低指紋匹配算法拒識率(false non-match rate,FNMR),但仍然缺乏對指紋圖像局部區(qū)域質(zhì)量的評價能力。

從文獻(xiàn)來看,目前國際較為通用的指紋圖像質(zhì)量評價算法是NFIQ2.0算法。在我國,現(xiàn)有的國家標(biāo)準(zhǔn)[15-17]在指紋數(shù)據(jù)交換格式中定義了圖像質(zhì)量域,但還沒有解釋和定義評價指紋圖像質(zhì)量的方法,相應(yīng)的評價策略仍主要參考美國的NIST_NFIQ算法[5,9]及ISO/IEC-29794標(biāo)準(zhǔn)[6-8],因此本文主要針對NFIQ2.0算法實(shí)施對比實(shí)驗(yàn)。

深度學(xué)習(xí)技術(shù)尤其是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)在指紋領(lǐng)域的應(yīng)用已有先例。2016年,江璐等[18]提出基于卷積神經(jīng)網(wǎng)絡(luò)的指紋紋型分類算法。2017年,Qin等[19]提出基于全卷積神經(jīng)網(wǎng)絡(luò)的多尺度奇異點(diǎn)檢測算法。2018年,Li等[20]提出基于卷積神經(jīng)網(wǎng)絡(luò)的現(xiàn)場指紋增強(qiáng)方法,Liu等[21]對指紋奇異點(diǎn)檢測問題提出基于Faster-RCNN的新思路。2020年,Zhou等[22]基于卷積神經(jīng)網(wǎng)絡(luò)提出兩階段的快速細(xì)節(jié)點(diǎn)特征提取算法,Liu等[23]基于深度學(xué)習(xí)技術(shù)提出對齊指紋匹配算法。這說明深度學(xué)習(xí)尤其是CNN的方法在解決指紋領(lǐng)域問題方面有很好的前景,因此本文嘗試將CNN的方法應(yīng)用于指紋圖像質(zhì)量評價算法的設(shè)計中。一般而言,CNN的深度越深,特征提取能力越強(qiáng),但會導(dǎo)致訓(xùn)練難度增加和計算資源過度消耗。2016年,He等[24]提出殘差學(xué)習(xí)的網(wǎng)絡(luò)模型,有效解決了訓(xùn)練深層CNN的難題。同年,Huang等[25]提出的DenseNet網(wǎng)絡(luò)模型能夠在參數(shù)更少、計算成本更小的情況下,實(shí)現(xiàn)比前者更優(yōu)的性能。

針對刑事偵查和法庭科學(xué)領(lǐng)域指紋圖像鑒定的應(yīng)用場景,本文將指紋圖像質(zhì)量評價問題拓展到二維質(zhì)量空間上,學(xué)習(xí)指紋專家對紋線局部區(qū)域的質(zhì)量感知策略,提出一種基于視覺感知模型的指紋圖像質(zhì)量評價算法。首先介紹算法的整體框架;接著準(zhǔn)備訓(xùn)練數(shù)據(jù)、構(gòu)建和訓(xùn)練CNN感知分類網(wǎng)絡(luò),目的是使CNN網(wǎng)絡(luò)學(xué)習(xí)指紋專家對紋線局部區(qū)域的質(zhì)量感知策略,這是本文算法在訓(xùn)練階段的核心任務(wù);然后給出感興趣區(qū)域(region of interest,ROI)提取算法和高斯賦權(quán)模型;最后結(jié)合ROI區(qū)域提取算法、CNN感知分類網(wǎng)絡(luò)和高斯賦權(quán)模型完成基于視覺感知模型的指紋圖像質(zhì)量評價算法設(shè)計。本文在二維空間中對指紋圖像局部區(qū)域的質(zhì)量分布進(jìn)行表示,這符合刑事偵查和法庭科學(xué)領(lǐng)域指紋鑒定應(yīng)用場景的需求。為了驗(yàn)證本文算法的合理性,本文從質(zhì)量分值合理性、質(zhì)量空間表達(dá)合理性、指紋匹配算法拒識率FNMR指標(biāo)3個方面做出實(shí)驗(yàn)分析。

2 視覺感知模型

指紋圖像質(zhì)量評價問題可以描述為2個映射過程,如下所示

(1)

其中:w、h分別是圖像的寬和高;fs是從w×h的圖像空間到標(biāo)量分?jǐn)?shù)的映射,表示對指紋圖像整體的評價過程;fq是從圖像空間到二維質(zhì)量空間的映射,體現(xiàn)了對指紋圖像局部區(qū)域質(zhì)量評價?，F(xiàn)有的指紋圖像質(zhì)量評價問題的相關(guān)文獻(xiàn)均僅是研究指紋圖像整體的質(zhì)量評價問題(即研究fs的映射問題),缺少對fq的探索研究。事實(shí)上,fs、fq并非兩個獨(dú)立的映射過程,即指紋圖像局部區(qū)域質(zhì)量鑒定可以為指紋圖像整體質(zhì)量評價提供依據(jù)。這意味著可以在統(tǒng)一的基礎(chǔ)模型中實(shí)現(xiàn)fs、fq兩個指紋圖像質(zhì)量評價的映射過程。本文從仿生學(xué)的角度出發(fā),分析指紋專家對指紋圖像質(zhì)量的評價過程,并設(shè)計出同時實(shí)現(xiàn)fs、fq兩個指紋圖像質(zhì)量評價任務(wù)的指紋圖像質(zhì)量評價算法。

指紋專家通過視覺感知行為對指紋圖像質(zhì)量做出評價是其視覺神經(jīng)系統(tǒng)高度復(fù)雜的活動過程。在此過程中,指紋專家首先快速定位指紋圖像的ROI區(qū)域,然后對ROI局部區(qū)域在主觀意識的指導(dǎo)下進(jìn)行細(xì)致分析。前者快速定位ROI區(qū)域是受指紋圖像內(nèi)容驅(qū)動的自底而上的視覺關(guān)注模式;后者對紋理局部區(qū)域的細(xì)致分析是在主觀意識命令下的自頂而下的視覺關(guān)注模式。視覺感知結(jié)論的形成還需要指紋專家視覺神經(jīng)系統(tǒng)內(nèi)在的推導(dǎo)機(jī)制,即指紋專家視覺神經(jīng)系統(tǒng)并非直接去理解進(jìn)入眼睛的視覺信號,而是會根據(jù)大腦中的先驗(yàn)知識來推導(dǎo)預(yù)測其視覺內(nèi)容。

本文模擬指紋專家對指紋圖像的視覺感知質(zhì)量評價過程,提出基于視覺感知模型的指紋圖像質(zhì)量評價算法。該算法以原始指紋圖像為輸入,最終輸出指紋圖像的整體質(zhì)量分?jǐn)?shù)和二維質(zhì)量空間分布。在該模型中,模擬指紋專家自底而上的視覺關(guān)注模式,設(shè)計ROI區(qū)域提取算法引導(dǎo)視覺感知模型關(guān)注指紋圖像的紋理區(qū)域;模擬指紋專家自頂而下的視覺關(guān)注模式,以視覺窗口采樣的方式對指紋圖像進(jìn)行細(xì)致分析;訓(xùn)練CNN感知分類網(wǎng)絡(luò),學(xué)習(xí)指紋專家大腦中對指紋圖像局部質(zhì)量認(rèn)知的先驗(yàn)知識,以模擬指紋專家對指紋局部區(qū)域做出質(zhì)量評價的推導(dǎo)決策機(jī)制。此外,設(shè)計高斯賦權(quán)模型,模擬指紋專家對不同指紋區(qū)域特征重要性的一般認(rèn)知規(guī)律,使得本文視覺感知模型對指紋圖像質(zhì)量評價的推導(dǎo)決策機(jī)制更加匹配指紋專家對指紋圖像質(zhì)量的視覺感知原理。視覺感知模型質(zhì)量評價算法與指紋專家視覺感知質(zhì)量評價對應(yīng)過程如圖 1所示。

算法具體實(shí)施分為視覺感知模型的訓(xùn)練階段和預(yù)測階段。在訓(xùn)練階段,主要設(shè)計CNN感知分類網(wǎng)絡(luò)算法,通過數(shù)據(jù)驅(qū)動的方式引導(dǎo)CNN網(wǎng)絡(luò)學(xué)習(xí)專家對指紋圖像局部紋理質(zhì)量感知的先驗(yàn)知識,以使得本文視覺感知模型在預(yù)測階段能夠模擬指紋專家對指紋圖像局部紋理質(zhì)量評價的神經(jīng)推導(dǎo)機(jī)制。預(yù)測階段,設(shè)計ROI區(qū)域提取算法,提取指紋圖像的紋理區(qū)域,并以視覺窗口采樣的方式生成CNN感知分類網(wǎng)絡(luò)的預(yù)測數(shù)據(jù),并通過訓(xùn)練完成的CNN網(wǎng)絡(luò)參數(shù)獲得預(yù)測數(shù)據(jù)的分類結(jié)果。最終既可以將預(yù)測結(jié)果進(jìn)行坐標(biāo)回溯生成指紋圖像的二維質(zhì)量空間分布,也可以結(jié)合高斯賦權(quán)模型生成指紋圖像的質(zhì)量分?jǐn)?shù)。視覺感知模型質(zhì)量評價算法具體實(shí)施框架如圖 2所示。

2.1 訓(xùn)練階段

2.1.1 訓(xùn)練數(shù)據(jù)

本文數(shù)據(jù)來源于國內(nèi)某省刑偵十指指紋數(shù)據(jù),共計7 000枚指紋圖像。從中隨機(jī)選取6 500枚指紋圖像用作準(zhǔn)備訓(xùn)練數(shù)據(jù),另外500枚指紋圖像用于質(zhì)量空間分布合理性驗(yàn)證。首先組織指紋專家對6 500枚指紋圖像實(shí)施視覺感知質(zhì)量標(biāo)記實(shí)驗(yàn),即專家對指紋圖像局部紋理區(qū)域做出質(zhì)量好、質(zhì)量中等和質(zhì)量差的質(zhì)量判定,為CNN感知分類網(wǎng)絡(luò)的訓(xùn)練提供監(jiān)督信息。

形狀不規(guī)則的大面積質(zhì)量標(biāo)記區(qū)域不能體現(xiàn)自頂而下的視覺感知模式,且不利于CNN感知分類網(wǎng)絡(luò)的訓(xùn)練,因此需要設(shè)定統(tǒng)一尺寸的視覺感知窗口對專家質(zhì)量標(biāo)記區(qū)域進(jìn)行采樣。若設(shè)定視覺感知窗口尺寸過小,會導(dǎo)致單位窗口內(nèi)只有單條紋線或沒有紋線,從而無法提供用來進(jìn)行質(zhì)量評價的依據(jù);若設(shè)定視覺感知窗口尺寸過大,與專家細(xì)致分析局部紋理的視覺感知過程相悖。對于分辨率為500 dpi的指紋圖像,紋線周期一般為10～12個像素,因此為確保單位視覺感知窗口內(nèi)存在2條以上的指紋紋線,同時便于引導(dǎo)模型細(xì)致分析指紋圖像局部紋理,本文設(shè)定32像素×32像素的視覺感知窗口在專家標(biāo)記的質(zhì)量區(qū)域內(nèi)進(jìn)行采樣,所得采樣圖像作為CNN感知分類網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。為進(jìn)一步增廣訓(xùn)練數(shù)據(jù)集,設(shè)定16像素的采樣間隔,并在(-30°,+30°)范圍內(nèi)對采樣視覺感知窗口進(jìn)行隨機(jī)旋轉(zhuǎn)。最終共計將305 667枚采樣所得指紋小塊用于CNN感知網(wǎng)絡(luò)訓(xùn)練。按專家質(zhì)量標(biāo)記信息,將指紋小塊分為3個類別(Class a,Class b,Class c ):

Class a:質(zhì)量好的指紋小塊,紋線清晰,基本無噪聲;Class b:質(zhì)量中等的指紋小塊,紋線模糊,有噪聲但經(jīng)過處理基本可恢復(fù);Class c:質(zhì)量差的指紋小塊,無明顯紋線信號特征的區(qū)域,完全不可用。3種類別指紋圖像小塊質(zhì)量差異對比示意圖,見圖 3。

進(jìn)一步按照8∶1∶1的比例,將305 667枚指紋圖像小塊隨機(jī)分成訓(xùn)練集(244 533枚,Class a:81 503,Class b:122 215,Class c:40 815)、測試集(30 566枚,Class a: 10 200,Class b:15 283,Class c:5 083)和驗(yàn)證集(30 568枚,Class a: 10 189,Class b:15 213,Class c:5 166),作為CNN訓(xùn)練、測試和驗(yàn)證的數(shù)據(jù)。

2.1.2 CNN感知分類網(wǎng)絡(luò)

CNN結(jié)構(gòu)機(jī)制與人類視覺系統(tǒng)對圖像的認(rèn)知原理具有先天的相似性,并且CNN應(yīng)用于圖像領(lǐng)域已得到廣泛認(rèn)可。本文設(shè)計CNN感知分類網(wǎng)絡(luò)模擬專家視覺感知指紋圖像局部紋理質(zhì)量的推導(dǎo)機(jī)制,并以專家質(zhì)量標(biāo)記的數(shù)據(jù)驅(qū)動網(wǎng)絡(luò)學(xué)習(xí)專家質(zhì)量感知的先驗(yàn)知識。

CNN感知分類網(wǎng)絡(luò)的輸入尺寸與訓(xùn)練數(shù)據(jù)的采樣窗口尺寸(32像素×32像素)保持一致。一般而言,越深層的CNN網(wǎng)絡(luò)非線性表達(dá)能力越強(qiáng),可以學(xué)習(xí)更復(fù)雜的變換,從而可以模擬更復(fù)雜的神經(jīng)推導(dǎo)機(jī)制。但隨著網(wǎng)絡(luò)深度的增加,網(wǎng)絡(luò)參數(shù)量也隨之增加,容易帶來模型難以訓(xùn)練和過擬合問題。理論上從感受野的角度,2個3×3的卷積核等同于1個5×5的卷積核,3個3×3的卷積核等同于1個7×7的卷積核;從參數(shù)的角度,2個或3個3×3小尺寸卷積核參數(shù)量(分別是18,27)比單個5×5和7×7卷積核的參數(shù)量(分別是25,49)要少得多。因此,本文在網(wǎng)絡(luò)設(shè)計中,采用3×3 和1×1兩種小尺寸的卷積核構(gòu)建深層感知分類網(wǎng)絡(luò)既可以盡可能地減少訓(xùn)練參數(shù)量,又可以保持深層網(wǎng)絡(luò)的優(yōu)勢。

本文設(shè)計的CNN感知分類網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)如圖 4所示。圖 4(a)說明網(wǎng)絡(luò)主體結(jié)構(gòu)和特征維度變化,圖 4(b)說明網(wǎng)絡(luò)主體的關(guān)鍵子結(jié)構(gòu)。其中3×3 Conv和1×1 Conv分別表示卷積核為3和1的卷積層。BN+LRELU是BatchNorm層和LRELU非線性激活函數(shù)的簡化表示;VPG(×N)表示是由N個VPU構(gòu)成的子結(jié)構(gòu),其中VPU是由卷積層、激活函數(shù)、批正則化層構(gòu)成的基礎(chǔ)結(jié)構(gòu)單元;REDU是由核為2×2(k=2),步長為2(s=2)的最大值池化(max pool)層和1×1 Conv為主要構(gòu)成的特征降維子結(jié)構(gòu)。AMP表示自適應(yīng)最大池化(adaptive max pool)層,作用是將c個通道特征圖采用非極大值抑制的池化方法降維為c維的特征向量;FC表示全連接層。CNN感知分類網(wǎng)絡(luò)最終輸出一個3維向量,經(jīng)過softmax歸一化指數(shù)激活函數(shù)(未在網(wǎng)絡(luò)中標(biāo)注)可以代表CNN感知分類網(wǎng)絡(luò)將輸入預(yù)測為3個質(zhì)量類別的概率。

在每個VPU中,本文設(shè)計3×3 Conv加強(qiáng)網(wǎng)絡(luò)對特征圖不同空間位置的感知能力,設(shè)計1×1 Conv實(shí)現(xiàn)跨通道的視覺信息組合,進(jìn)一步將VPU輸出固定為12個特征通道,并與輸入尺寸(w×h)保持一致,便于多層VPU之間的特征融合。簡單的VPU線性疊加無法融合多層次的視覺感知信息,且會導(dǎo)致網(wǎng)絡(luò)難以得到有效的訓(xùn)練。因此本文在網(wǎng)絡(luò)主體的不同階段,分別引入3、6、12個VPU組成的VPG。每個VPG內(nèi)部采用特征復(fù)用的方式連接VPU,即VPG內(nèi)部前面各級VPU的特征輸出以特征通道維度拼接的方式作為下一級VPU的輸入,并以此類推。網(wǎng)絡(luò)深度的增加使得卷積層提取的特征圖更加全局和抽象,但特征空間也急劇膨脹。本文在VPG之間引入REDU結(jié)構(gòu)的目的是以非極大值抑制的方法選擇典型突出特征并將特征圖尺寸(w×h)縮小1/2,同時利用1×1 Conv整合通道信息并進(jìn)一步將特征圖通道數(shù)減少1/2。REDU結(jié)構(gòu)既可以有效減少計算資源的消耗,又可以進(jìn)一步選擇出有代表性的視覺特征。在網(wǎng)絡(luò)中,BatchNorm層和LRELU分段線性激活函數(shù)能夠加快網(wǎng)絡(luò)收斂速度,同時緩解訓(xùn)練過程中梯度消失和爆炸的現(xiàn)象。圖4(b)詳細(xì)說明了VPG、VPU、REDU和BN+LRELU的關(guān)鍵結(jié)構(gòu)。

2.1.3 網(wǎng)絡(luò)訓(xùn)練

本文所用硬件實(shí)驗(yàn)環(huán)境為Intel(R) Core(TM) i9-10900KF CPU、32 G內(nèi)存、Nvidia RTX3090顯卡。軟件環(huán)境為Python3.8、Pytorch1.9。

專家標(biāo)記的6 500枚刑偵指紋圖像中3種不同質(zhì)量區(qū)域的面積分布差別很大,導(dǎo)致經(jīng)過視覺感知窗口采樣生成的訓(xùn)練樣本存在嚴(yán)重的樣本不均衡問題。在生成的305 667枚訓(xùn)練樣本中,Class b的樣本數(shù)量遠(yuǎn)遠(yuǎn)大于Class a、Class c的樣本數(shù)量(a∶b∶c?1∶2∶1),如果不加干涉地直接用于網(wǎng)絡(luò)訓(xùn)練容易導(dǎo)致網(wǎng)絡(luò)無法學(xué)習(xí)到有效的視覺特征,網(wǎng)絡(luò)更傾向于將輸入預(yù)測為Class b。為解決樣本不均衡問題對CNN感知分類網(wǎng)絡(luò)的影響,在訓(xùn)練過程設(shè)定交叉熵分類損失函數(shù),并對不同類別訓(xùn)練樣本所得的計算損失設(shè)置不同的權(quán)重(Wa∶Wb∶Wc?2∶1∶2),相對增強(qiáng)a、c兩類樣本在分類損失函數(shù)中提供的損失信息,從而提高CNN感知分類網(wǎng)絡(luò)的分類準(zhǔn)確率。

設(shè)yi,i=1,2,3 表示CNN感知分類網(wǎng)絡(luò)輸出每個維度的值。ci,i=1,2,3表示網(wǎng)絡(luò)輸入數(shù)據(jù)對應(yīng)的真實(shí)類別標(biāo)簽,取值為0或1。并設(shè)w1=Wa,w2=Wb,w3=Wc。則網(wǎng)絡(luò)預(yù)測輸入為每個類別的概率、訓(xùn)練過程分類損失的計算如下

(2)

(3)

進(jìn)一步,采用Kingma和Ba[26]提出的Adam優(yōu)化器作為網(wǎng)絡(luò)權(quán)重參數(shù)的更新策略。在訓(xùn)練過程中,設(shè)定Adam一階矩的指數(shù)衰減率β1=0.9,二階矩的指數(shù)衰減率為β2=0.99。

此外,采用多階段的學(xué)習(xí)率衰減策略,設(shè)定初始學(xué)習(xí)率l=0.01,衰減間隔為100個訓(xùn)練周期(epoch),衰減率為0.1。隨著迭代次數(shù)增加,網(wǎng)絡(luò)分類準(zhǔn)確率先上升后趨于穩(wěn)定,損失先下降后趨于穩(wěn)定,說明網(wǎng)絡(luò)權(quán)重參數(shù)在逐漸收斂。最終經(jīng)過300 epoch,模型在驗(yàn)證集上的預(yù)測準(zhǔn)確率達(dá)到96.4%。隨著訓(xùn)練過程迭代周期數(shù)增加,在驗(yàn)證集上CNN感知分類網(wǎng)絡(luò)的損失和預(yù)測準(zhǔn)確率的收斂情況如圖5所示。

進(jìn)一步將訓(xùn)練好的CNN感知分類網(wǎng)絡(luò)在測試數(shù)據(jù)集上測試最終得到96.2%的平均預(yù)測準(zhǔn)確率,這說明該模型得到了有效訓(xùn)練,沒有過擬合和欠擬合的現(xiàn)象。

2.2 預(yù)測階段

2.2.1 ROI區(qū)域提取算法

本文需要快速引導(dǎo)視覺感知模型的注意力關(guān)注到指紋圖像的紋理區(qū)域,以近似模擬專家視覺感知過程的自底而上視覺關(guān)注模式。值得注意的是,任何有效的ROI區(qū)域提取算法都可嵌入本文視覺感知模型的框架中,本文僅在算法2.1中就一種可行的ROI區(qū)域提取算法進(jìn)行說明。一般而言,指紋圖像的ROI區(qū)域比背景和噪聲區(qū)域具有明顯的局部方向性,可以作為判別ROI區(qū)域的依據(jù)。在算法設(shè)計中,首先使用直方圖均衡化算法[27]提高圖像對比度,然后對增強(qiáng)后的指紋圖像計算其方向可靠性強(qiáng)度[28],得到強(qiáng)度分布矩陣r。然后,最大類間方差法[29]計算r的最佳分割閾值并完成初步分割。進(jìn)一步,對初步分割結(jié)果進(jìn)行形態(tài)學(xué)處理[27]以抑制面積較小的邊界噪聲區(qū)域和連通距離較近的目標(biāo)區(qū)域。最后,為了保 證ROI區(qū)域的提取結(jié)果能夠近似保留指紋形態(tài),利用凸包檢查[30]算法保留面積最大的凸包區(qū)域作為最終所得ROI區(qū)域。在具體實(shí)現(xiàn)中,借助OpenCV圖像處理算法庫,并盡可能地將迭代計算過程轉(zhuǎn)換成二維卷積和矩陣Hadamard乘積以提高算法的執(zhí)行效率。以FVC2000[31]Db1 中兩幅的指紋圖像為例,ROI區(qū)域提取效果如圖 6所示。

算法2.1 ROI區(qū)域提取算法輸入:指紋圖像灰度值矩陣I,并做如下初始化: K3×3=ones(3),K7×7=ones(7),K9×9=ones(9)sobelx=10-120-210-1é?êêêù?úúú,sobely=121000-1-2-1é?êêêù?úúú1: 直方圖均衡化I(灰度增強(qiáng)),結(jié)果記為I′。2: Sobel算子對I′做二維卷積運(yùn)算(☉表示),計算I′在x,y方向的梯度矩陣Sx、Sy:Sx=sobelx☉I′,Sy=sobely☉I′3: 計算Sx、Sy之間的Hadamard乘積(表示):XX=SxSx,XY=SxSy,YY=SySy4:K3×3分別對XX、XY、YY進(jìn)行二維卷積:Gxx=K3×3☉XX,Gxy=K3×3☉XY,Gyy=K3×3☉YY5: 計算方向可靠性矩陣:r=sqrt((Gxx-Gyy)(Gxx-Gyy)+4GxyGxy))/(Gxx+Gyy)6: 最大類間方差法對r進(jìn)行閾值分割,大于閾值的位置灰度值設(shè)為255,否則設(shè)為0,所得二值分割矩陣記為Ib。7: 以K7×7為結(jié)構(gòu)元對Ib進(jìn)行形態(tài)學(xué)開運(yùn)算,再以K9×9為結(jié)構(gòu)元對Ib進(jìn)行形態(tài)學(xué)閉運(yùn)算,所得結(jié)果記為Im。8: 對Im進(jìn)行凸包檢查,并填充最大面積的凸包區(qū)域灰度值為255,其他區(qū)域灰度值設(shè)為0,所得結(jié)果為IR。輸出:ROI區(qū)域提取結(jié)果IR(灰度值為255的區(qū)域)。

2.2.2 高斯賦權(quán)模型

不同的指紋采集區(qū)域在指紋鑒定過程中不具有同等重要性,低質(zhì)量的指紋中心區(qū)域往往要比低質(zhì)量的指紋邊緣區(qū)域損失更多的有價值特征是指紋專家的一般性先驗(yàn)認(rèn)知。依據(jù)對指紋局部特征重要性衰減分布認(rèn)知的一般規(guī)律,提出自適應(yīng)圖像尺寸的高斯賦權(quán)模型,對不同位置的指紋局部質(zhì)量預(yù)測結(jié)果適配合理的權(quán)值,從而提高最終評估分值的合理性。如下所示

(4)

式中:w0、h0分別等于圖像的寬度和高度,σw=w0/3,σh=h0/3,w∈[0,2w0),h∈[0,2h0) 。

由式(4)可以得到特征重要性權(quán)值矩陣G。以300像素×300像素的圖像為例,得到G的權(quán)值分布情況如圖 7所示。

2.2.3 視覺感知模型的質(zhì)量評價算法

利用ROI區(qū)域提取算法模擬專家快速定位指紋紋理區(qū)域的自底而上視覺關(guān)注模式,然后設(shè)定32像素×32像素的視覺感知窗口對ROI區(qū)域進(jìn)行采樣,以模擬專家主動視覺注意指紋局部紋理的自頂而下視覺關(guān)注模式。前述CNN感知分類的網(wǎng)絡(luò)構(gòu)建和訓(xùn)練過程使得CNN感知分類網(wǎng)絡(luò)獲得模擬專家對指紋圖像局部紋理進(jìn)行質(zhì)量感知的能力,可以對局部視覺感知窗口的指紋圖像紋理做出質(zhì)量預(yù)測。進(jìn)一步,本文設(shè)計高斯賦權(quán)模型以模擬指紋專家對指紋局部特征重要性衰減認(rèn)知的一般規(guī)律。將ROI區(qū)域內(nèi)每個視覺感知窗口的指紋圖像小塊輸入CNN感知分類網(wǎng)絡(luò),經(jīng)過前向傳播得到質(zhì)量預(yù)測結(jié)果,再經(jīng)過高斯賦權(quán)模型的適配權(quán)重,可以計算指紋圖像整體質(zhì)量分?jǐn)?shù)。進(jìn)一步,將CNN感知分類網(wǎng)絡(luò)的預(yù)測結(jié)果進(jìn)行坐標(biāo)回溯和統(tǒng)計分析,可以得到指紋圖像質(zhì)量的二維空間分布。具體算法設(shè)計見算法2.2。指紋圖像質(zhì)量的二維空間分布可視效果如圖8所示。

算法2.2 質(zhì)量分值與二維空間分布預(yù)測算法輸入:原始指紋圖像Iw←I的寬度,h←I的高度,M=A=Q=zeros((w,h))1: 算法2.1提取I的ROI區(qū)域,輸出IR。2: XB=0,YB=0,SB=03: fori=0∶1∶hdo4: for j=0∶1∶wdo5: if IR[i,j]==255then6: YB+=i,XB+=j,SB+=17: end if8: end for9: end for10: XC=XB/SB,YC=YB/SB11: XO=XC-w/2,YO=YC-h/212: SSum=0,S=013: fori=0∶16∶hdo14: forj=0∶16∶w do15: Bij=I[i:i+32,j:j+32]16: RBij=sum(IR[i:i+32,j:j+32])/25517: r=h/2+i-YO,c=w/2+j-XO18: GW(Bij)=sum(G[r:r+32,c:c+32])/1024 #G是特征重要性權(quán)值矩陣19: ifRBij<0.75 then20: SSum+=GW(Bij)21: else22: _,idx=max(CNN(Bij)) #CNN 預(yù)測23: CBij()=3-idx24: S+=GW(Bij)C(Bij)25: SSum+=3GW(Bij)26: M[i:i+32,j:j+32]+=C(Bij)27: A[i:i+32,j:j+32]+=128: end if29: end for30: end for31: S=S/SSum×10032: Q=M/A # M和A矩陣對應(yīng)元素相除33: 進(jìn)步對Q進(jìn)行閾值分割,Q≥2.5標(biāo)記為白色,2.5>Q≥1.5標(biāo)記為藍(lán)色,1.5>Q≥1標(biāo)記為紅色,其它位置標(biāo)記為黑色。可以得到質(zhì)量二維空間分布Q的可視效果。(閾值可根據(jù)實(shí)際需要調(diào)整)輸出:指紋圖像質(zhì)量分?jǐn)?shù)S; 指紋圖像質(zhì)量二維空間分布Q。

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 質(zhì)量分值合理性分析

本文針對NFIQ2.0算法關(guān)于FVC2000 Db1/Db3、FVC2002[32]Db1公開數(shù)據(jù)集的測試指紋圖像案例,分別給出 NFIQ2.0算法質(zhì)量評分和視覺感知模型質(zhì)量評價算法質(zhì)量評分,進(jìn)一步給出本文算法對每幅指紋圖像二維質(zhì)量空間分布的評價結(jié)果,如圖9所示。

國家公安部物證鑒定中心的指紋專家認(rèn)為原有NFIQ2.0算法存在明顯不合理的評分估值。比如:圖 9(a)、9(b)兩幅指紋圖像存在捺印采集不全的質(zhì)量缺陷,會導(dǎo)致在刑事偵查等部分指紋應(yīng)用場景下存在漏比風(fēng)險,因此NFIQ2.0算法評分估值偏高(分別是91、81分),而本文的方法給出的評分估值(分別是77、71分)相對合理;圖9(c)～9(h)指紋圖像并不存在質(zhì)量上的顯著性差異,而NFIQ2.0算法給出的質(zhì)量分?jǐn)?shù)存在明顯下滑的現(xiàn)象(分別是:71、61、51、41、31、21分),這種不合理的分?jǐn)?shù)分布,不僅無法與專家視覺感知指紋圖像質(zhì)量的評價結(jié)果相匹配,而且很難被眾多的指紋采集民警所理解和認(rèn)同,如果以此評分估值作為指導(dǎo)法庭科學(xué)指紋檢驗(yàn)和違法犯罪人員指紋采集的質(zhì)量指標(biāo),合理性存疑。反觀本文算法給出的質(zhì)量分?jǐn)?shù)分布更加合理(分別是84、81、78、74、60、56分),且從指紋圖像二維質(zhì)量空間分布圖可以直觀驗(yàn)證本文算法對指紋圖像局部區(qū)域質(zhì)量評價的合理性;圖9(i)、9(j)兩幅指紋圖像,在刑事偵查的應(yīng)用場景下存在明顯的應(yīng)用價值,而NFIQ2.0算法給出明顯的畸低質(zhì)量分?jǐn)?shù)(分別是11、1分),這會導(dǎo)致大量有鑒定價值的指紋數(shù)據(jù)被排除。反觀本文算法給出的質(zhì)量分?jǐn)?shù)更加合理(分別是40、45分)。

本文算法提供的指紋圖像質(zhì)量空間分布,將單一的質(zhì)量評估分?jǐn)?shù)分散到二維空間中表達(dá),從而可以清楚地定位指紋的低質(zhì)量區(qū)域,方便指紋采集和AFIS有針對性的優(yōu)化。因此,無論從質(zhì)量評分估值合理性角度還是質(zhì)量空間分布的直觀性角度,本文的方法都具有很強(qiáng)的優(yōu)越性。

3.2 質(zhì)量空間表達(dá)合理性分析

本文首次將指紋圖像質(zhì)量評價問題拓展到二維質(zhì)量空間上,現(xiàn)有文獻(xiàn)并未找到相似算法,因此無法進(jìn)行橫向?qū)Ρ葘?shí)驗(yàn)。為說明本文算法在二維質(zhì)量空間中對指紋圖像質(zhì)量評價結(jié)果的合理性,將2.1.1節(jié)中所提及的剩余500枚指紋圖像進(jìn)行專家質(zhì)量感知標(biāo)記,測試本文視覺感知模型算法與專家視覺感知的質(zhì)量評估結(jié)果在二維空間上的一致性。

本次共組織15名專家進(jìn)行有重復(fù)的質(zhì)量標(biāo)記實(shí)驗(yàn),具體從500枚指紋圖像中進(jìn)行有放回的采樣,每次抽取其中200枚指紋圖像交給其中一名指紋專家進(jìn)行標(biāo)記,共計重復(fù)采樣15次,也即平均每枚指紋圖像有6名指紋專家進(jìn)行視覺感知標(biāo)記。為排除專家個體的視覺感知偏差,將有3次以上專家視覺感知結(jié)果一致的區(qū)域視為確定性區(qū)域,記為C3,其他區(qū)域統(tǒng)一視為不確定區(qū)域。在指紋應(yīng)用場景中,一般認(rèn)為Class a和Class b區(qū)域都為指紋圖像的有效區(qū)域,其對指紋鑒定過程存在有價值的信息,Class c區(qū)域?yàn)闊o效區(qū)域,基本不存在任何有價值的特征信息。因此,從特征有無價值的角度出發(fā),將Class a和 Class b合并作為有效區(qū)域,Class c作為無效區(qū)域。統(tǒng)計500枚指紋圖像中本文算法預(yù)測和專家標(biāo)記有效性一致的區(qū)域面積(都為有效或都為無效)占確定性區(qū)域C3總面積的比例,以此作為衡量本文算法預(yù)測與專家視覺感知結(jié)果的一致性程度。最終統(tǒng)計計算結(jié)果為99%,說明本文的感知模型與專家的視覺感知結(jié)果具有高度一致性。

本文算法預(yù)測與專家視覺感知一致性實(shí)驗(yàn)可視化結(jié)果如圖 10所示。其中紅色區(qū)域?yàn)槟Ｐ皖A(yù)測為無效(Class c)的區(qū)域,白色區(qū)域?yàn)槟Ｐ皖A(yù)測為有效(Class a、 Class b)的區(qū)域;黃色區(qū)域?yàn)镃3中專家標(biāo)記為無效的區(qū)域,藍(lán)色區(qū)域?yàn)镃3中專家標(biāo)記為有效的區(qū)域。從圖中可以看出,藍(lán)色區(qū)域基本落入白色區(qū)域,黃色區(qū)域基本落入紅色區(qū)域,從而直觀地驗(yàn)證了本文模型與專家視覺感知結(jié)果的一致性。

3.3 FNMR指標(biāo)分析

在AFIS系統(tǒng)中,質(zhì)量較差的指紋圖像更容易造成FNMR的升高,有效地排除低質(zhì)量指紋,會導(dǎo)致FNMR下降。因此,隨著低質(zhì)量指紋排除率上升,FNMR的下降情況對比是質(zhì)量評價算法效果的指標(biāo)之一。在此實(shí)驗(yàn)中,使用基于細(xì)節(jié)點(diǎn)特征的開源指紋算法庫NBIS[33]在FVC2000 Db1/Db3、NIST SD4[34]3個指紋庫上進(jìn)行指紋匹配,其中的MINDTCT算法用于特征提取,BOZORTH3算法用于特征匹配,并設(shè)定匹配閾值為45分。因此,在45分的固定匹配分?jǐn)?shù)閾值下,FNMR以下式定義

FNMR=P(TPMS<45|TP),

(5)

其中TP表示同一根手指采集的真實(shí)指紋對,TPMS表示真實(shí)指紋對的匹配分?jǐn)?shù)(此處為BOZORTH3所得分值)。相同的低質(zhì)量指紋排除率,FNMR的值越低說明指紋質(zhì)量評價算法越有效。

視覺感知模型質(zhì)量評價算法與NFIQ2.0算法分別排除低質(zhì)量指紋帶來的FNMR下降情況如圖11所示。結(jié)果表明,FVC2000 Db1的數(shù)據(jù)集上本文算法和NFIQ2.0算法互有勝負(fù),在FVC2000 Db3數(shù)據(jù)集和NIST SD4數(shù)據(jù)集上本文算法比NFIQ2.0算法更有優(yōu)勢。盡管NBIS是基于細(xì)節(jié)點(diǎn)的指紋算法庫,且NFIQ2.0算法直接將細(xì)節(jié)點(diǎn)相關(guān)特征作為質(zhì)量評估的關(guān)鍵特征,而本文視覺感知模型并沒有直接將這種匹配特征(細(xì)節(jié)點(diǎn))作為質(zhì)量評估依據(jù),但在此對比實(shí)驗(yàn)中本文算法仍然比NFIQ2.0算法有優(yōu)異表現(xiàn)。

圖1 視覺感知模型質(zhì)量評價算法與專家視覺感知質(zhì)量評價對應(yīng)過程Fig.1 The corresponding process of visual perception model quality evaluation algorithm and expert visual perception quality evaluation

圖2 視覺感知模型質(zhì)量評價算法具體實(shí)施框架Fig.2 The implementation framework of visual perception model quality evaluation algorithm

圖3 不同質(zhì)量類別的指紋圖像小塊Fig.3 Fingerprint image blocks of different quality classes

圖4 CNN感知分類網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 CNN perception classification network structure

圖5 驗(yàn)證數(shù)據(jù)集上模型預(yù)測損失和準(zhǔn)確率曲線Fig.5 Model prediction loss and accuracy curve on validation data set

圖6 ROI區(qū)域提取效果Fig.6 Extraction effect of ROI region

圖7 高斯賦權(quán)模型權(quán)重分布Fig.7 Weight distribution of Gaussian weighting model

圖9 視覺感知模型質(zhì)量評價算法與NFIQ2.0算法關(guān)于質(zhì)量評價分?jǐn)?shù)的對比Fig.9 The comparison of quality evaluation score between visual perception model quality evaluation algorithm and NFIQ2.0 algorithm

圖10 視覺感知模型質(zhì)量評價算法與專家視覺感知結(jié)果的一致性Fig.10 The consistency of visual perception model quality evaluation algorithm with the expert visual perception results

圖11 視覺感知模型質(zhì)量評價算法與NFIQ2.0算法關(guān)于FNMR指標(biāo)的對比實(shí)驗(yàn)Fig.11 Comparison experiment of visual perception model quality evaluation algorithm with NFIQ2.0 algorithm on FNMR index

4 結(jié)論

本文提出基于視覺感知模型的指紋圖像質(zhì)量評價算法,包括設(shè)計ROI提取算法模擬指紋專家快速定位指紋紋理區(qū)域自底而上的視覺關(guān)注模式,設(shè)計32像素×32像素的視覺感知采樣窗口模擬指紋專家關(guān)注局部紋理自頂而下的視覺關(guān)注模式,設(shè)計CNN感知分類網(wǎng)絡(luò)和高斯賦權(quán)模型模擬指紋專家對指紋圖像質(zhì)量視覺感知過程的神經(jīng)推導(dǎo)機(jī)制。進(jìn)一步,從質(zhì)量分值合理性分析、質(zhì)量二維空間分布合理性分析和FNMR指標(biāo)分析3個角度驗(yàn)證本文算法的優(yōu)越性。

本文主要貢獻(xiàn)包括:提供更加合理的指紋圖像質(zhì)量評分算法;將指紋圖像質(zhì)量評價問題拓展到二維質(zhì)量空間上,對于刑事偵查和法庭科學(xué)領(lǐng)域的指紋鑒定任務(wù)有較高的應(yīng)用價值;從模擬指紋專家視覺感知的角度設(shè)計指紋圖像質(zhì)量評價算法,所得質(zhì)量評價分?jǐn)?shù)和二維質(zhì)量空間分布結(jié)果更容易被指紋專家所理解和認(rèn)同,可以作為指紋入庫采集的質(zhì)量衡量參照;FNMR指標(biāo)分析的結(jié)果表明,本文算法對于提高AFIS性能也具有優(yōu)異表現(xiàn);本文脫離現(xiàn)有指紋圖像質(zhì)量評價算法設(shè)計思路,無需依賴傳統(tǒng)特征提取算法,而是利用CNN提取指紋局部紋理的視覺感知特征,進(jìn)而從局部到整體地完成質(zhì)量評價。

本文從指紋專家視覺感知指紋圖像質(zhì)量原理的原理出發(fā)設(shè)計指紋圖像質(zhì)量評價算法,實(shí)驗(yàn)表明,該算法無論是指紋圖像質(zhì)量整體評價的分?jǐn)?shù)還是二維質(zhì)量空間分布均和指紋專家的質(zhì)量評價一致,且能夠有效降低FNMR。不過對于少部分背景復(fù)雜的指紋圖像,本文ROI區(qū)域提取結(jié)果存在一定偏差,所以后續(xù)會嘗試設(shè)計更加有效的ROI區(qū)域提取算法。此外,我們將進(jìn)一步關(guān)注對現(xiàn)場遺留指紋的質(zhì)量評定,爭取將本文算法改進(jìn)泛化到用于解決現(xiàn)場遺留指紋的質(zhì)量評定問題。