◆朱立軍 李俊佳

基于特征模板的外指節(jié)紋特征提取方法

◆朱立軍 李俊佳

（沈陽(yáng)化工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 遼寧 110000）

本文在光照和手背膚色差異的影響下，針對(duì)難以從不固定手背中定位和提取外指節(jié)紋紋理ROI（感興趣區(qū)域）這一問(wèn)題，提出了基于特征模板的外指節(jié)紋特征提取方法。首先，設(shè)計(jì)了一種自適應(yīng)校正手背圖像方法，根據(jù)手下端等距像素累計(jì)最多的角度值作為旋轉(zhuǎn)角度，快速準(zhǔn)確地完成了圖像歸一化校正。然后，對(duì)圖像進(jìn)行預(yù)處理，再通過(guò)sobel算子提取出手背輪廓，將所提取的手背輪廓利用凸包算法定位指尖點(diǎn)，根據(jù)指尖點(diǎn)以及手形特征矢量的關(guān)系確定外指節(jié)紋區(qū)域。最后利用設(shè)計(jì)的特征模板提取出外指節(jié)紋紋理特征。實(shí)驗(yàn)結(jié)果表明，提出的方法能在所建立的數(shù)據(jù)庫(kù)中自適應(yīng)提取出外指節(jié)紋紋理。

手形校正；外指節(jié)紋特征提??；卷積；凸包算法；索伯算子；霍夫變換；拉東變換；canny算子

在當(dāng)今信息化時(shí)代，生物識(shí)別技術(shù)已經(jīng)普遍應(yīng)用且技術(shù)較為成熟，指節(jié)紋分為外側(cè)指節(jié)紋和內(nèi)側(cè)指節(jié)紋（手心指節(jié)紋），其紋理是由遠(yuǎn)指節(jié)骨，中節(jié)指骨和近節(jié)指骨的指關(guān)節(jié)活動(dòng)形成的。內(nèi)側(cè)指節(jié)紋的方向單一且紋理特征更加清晰，在采集時(shí)內(nèi)側(cè)可與掌紋使用相同的采集設(shè)備，所以內(nèi)側(cè)指節(jié)紋更容易與手形和掌紋等特征融合構(gòu)成多特征融合的生物識(shí)別系統(tǒng)[1-3]，目前將內(nèi)側(cè)指節(jié)紋與其他生物特征融合作為身份識(shí)別較為成熟但沒(méi)有廣泛研究[4-5]。外指節(jié)紋較內(nèi)指節(jié)紋紋理豐富，其作為單一生物特征能夠達(dá)到較高的識(shí)別精度。2005年Woodard等首次提出指背指節(jié)紋識(shí)別算法[6]，2010年Zhang等人建立了FKP數(shù)據(jù)庫(kù)，提出了一種有效的FKP識(shí)別算法來(lái)提取FKP圖像的局部凸方向圖，為基于指背表面的生物識(shí)別系統(tǒng)提供了實(shí)用的解決方案[7]。到目前為止主要公開(kāi)的手背指節(jié)紋數(shù)據(jù)庫(kù)有PolyU-FKP、HKPU-CHD、HKPU-CFK、HT Delhi-FK、THU-FVFDH[8]，所公開(kāi)數(shù)據(jù)庫(kù)采集的圖像僅手指部分，無(wú)包含手掌的手背。近年將外指節(jié)紋和手指靜脈結(jié)合作為身份識(shí)別進(jìn)行研究迅速發(fā)展起來(lái)[9-12]，也研發(fā)了可同時(shí)采集靜脈和指節(jié)紋的裝置。但無(wú)論是公開(kāi)的外指節(jié)紋數(shù)據(jù)庫(kù)還是將外指節(jié)紋和其他生物特征融合作為身份識(shí)別認(rèn)證，沒(méi)有從不固定的完整手背中提取出外指節(jié)紋進(jìn)行研究。且手背膚色存在偏色現(xiàn)象，利用HSV模型對(duì)手背的手形進(jìn)行提取時(shí)很難確定閾值將手形和背景分離，加大了手背手形提取的難度[13]，而指節(jié)紋的ROI提取是根據(jù)手形輪廓上定位的指跟和指尖點(diǎn)來(lái)確定的，間接加大了外指節(jié)紋特征提取難度。

針對(duì)以上問(wèn)題，本文首先設(shè)計(jì)一種校正方法，對(duì)采集的手背圖像進(jìn)行自適應(yīng)歸一化校正，然后利用設(shè)計(jì)的特征模板將外指節(jié)紋ROI紋理提取出來(lái)，具體外指節(jié)紋特征提取流程圖如圖1所示。

圖1 外指節(jié)紋特征提取流程圖

1 圖像校正

手背校正的目的是規(guī)范化手背圖像，受光照、膚色和手背擺放位置不同以影響，手形難以提取，從而增加外指節(jié)紋定位難度。傳統(tǒng)對(duì)指節(jié)紋定位，在預(yù)處理后通過(guò)角點(diǎn)定位分割四指進(jìn)行中線提取，對(duì)手指進(jìn)行旋轉(zhuǎn)定位指節(jié)紋區(qū)域[14]，每個(gè)手指都要重復(fù)以上操作，加大了定位時(shí)間。針對(duì)以上問(wèn)題，本文提出一種手背校正圖像方法，根據(jù)手背下端累計(jì)出現(xiàn)最多的角度值為校正角度，對(duì)圖像進(jìn)行統(tǒng)一自適應(yīng)校正，再對(duì)外指節(jié)紋定位。

端點(diǎn)判斷公式：

角度值的計(jì)算公式為：

旋轉(zhuǎn)方向：

Hough變換和Radon變換的校正原理類似[15]，近些年，Radon變換和Hough變換普遍應(yīng)用在圖像校正領(lǐng)域[16]，Hough變換和Radon變換校正圖像都是要經(jīng)過(guò)預(yù)處理，提取圖像輪廓邊緣進(jìn)行校正[17]，而手背的預(yù)處理過(guò)程復(fù)雜需要較多時(shí)間，Radon變換應(yīng)用在灰度圖像上，而本方法和Hough變換直接應(yīng)用在二值圖像上，僅需對(duì)前景或者背景像素進(jìn)行處理，因此本方法所需的校正時(shí)間最少。其次，因手輪廓形狀并不是直線，是角度變化復(fù)雜不定的曲線，利用Hough變換和Radon變換校正手背圖像會(huì)有偏差。為證明本文方法的優(yōu)越性，隨機(jī)抽取圖庫(kù)中同一人的五個(gè)手背圖像，與Hough變換和Radon變換進(jìn)行校正對(duì)比，實(shí)驗(yàn)結(jié)果表明本方法在校正后能夠得到理想校正結(jié)果，即得到水平放置的手背圖像，在時(shí)間消耗和校正精準(zhǔn)穩(wěn)定性上優(yōu)于以上兩個(gè)校正算法，具體校正時(shí)間對(duì)比如表1所示，校正對(duì)比結(jié)果如圖2所示。

表1 校正時(shí)間對(duì)比表

校正方法校正平均時(shí)間 Radon5.9s Hough3.8s 本文校正方法1.4s

圖2 不同方法校正對(duì)比圖

2 外指節(jié)紋定位

首先對(duì)圖像進(jìn)行預(yù)處理，然后利用sobel算子提取手背輪廓，再通過(guò)凸包算法得到手的特征點(diǎn)，根據(jù)手形的特征矢量確定手指外指節(jié)紋區(qū)域。具體外指節(jié)紋特征提取流程如圖3所示。

圖3 外指節(jié)紋特征提取流程圖

2.1 圖像預(yù)處理

外指節(jié)紋是手背最穩(wěn)定且具有唯一性的紋理區(qū)域，因手背膚色的差異，難以確定閾值將手背與背景分割，其次手的擺放位置不同，手背與攝像頭光的反射也不同，因此外指節(jié)紋的預(yù)處理過(guò)程更為復(fù)雜。

本文的預(yù)處理過(guò)程如下：首先，對(duì)圖像轉(zhuǎn)二值化，將明暗翻轉(zhuǎn)后的二值圖像進(jìn)行形態(tài)學(xué)減噪，填充空洞。然后，利用sobel算子設(shè)定閾值對(duì)手背輪廓進(jìn)行提取。因光照造成手背不同程度的反光，提取的輪廓可能有輪廓斷點(diǎn)以及輪廓內(nèi)部有噪聲情況出現(xiàn)，為了解決上述問(wèn)題，最后對(duì)所提取的輪廓圖進(jìn)行8鄰域邊緣跟蹤。具體手背輪廓提取圖如圖4所示。

圖4 手背輪廓提取圖

2.2 外指節(jié)紋區(qū)域定位

由于校正旋轉(zhuǎn)角度不同，為了不丟失手背信息，系統(tǒng)給予一個(gè)寬松的環(huán)境去匹配圖像，保證校正后的圖像了包含全手背圖像，但也導(dǎo)致了校正后圖像大小也不同。為了保證定位外指節(jié)紋區(qū)域精準(zhǔn)和裁截ROI尺寸相同，本文結(jié)合校正后手形特點(diǎn)和幾何結(jié)構(gòu)特征對(duì)外指節(jié)紋ROI進(jìn)行定位。

最后，根據(jù)校正后手形特點(diǎn)和手形特征矢量確定外指節(jié)紋ROI。因校正后手指均為水平，將中指指尖點(diǎn)橫坐標(biāo)向右平移3/16固定距離，縱坐標(biāo)向上垂直平移1/16，得到外指節(jié)紋切割區(qū)域左上角點(diǎn)(1+3/16,1+3/16)。ROI尺寸選取不能過(guò)大也不能過(guò)小，過(guò)大因指縫邊緣以及汗毛等其他干擾過(guò)多，增大識(shí)別的誤檢率，過(guò)小丟失外指節(jié)紋紋理特征，從而造成紋理丟失。理想的ROI尺寸是包含且僅包含紋理線條區(qū)域[19]，因此從該左上角點(diǎn)出發(fā)向右水平切割1/8，向下垂直切割3/32矩形區(qū)域，得到恒定矢量的長(zhǎng)1/8寬3/32外指節(jié)紋區(qū)域，從而自適應(yīng)完成外指節(jié)紋ROI區(qū)域定位和尺寸歸一化。具體外指節(jié)紋ROI的選取過(guò)程和定位結(jié)果如圖5所示。

圖5 外指節(jié)紋定位圖

3 外指節(jié)紋特征提取

若直接對(duì)灰度圖像轉(zhuǎn)二值提取紋理特征，因灰度分布不同且紋理比較復(fù)雜，難以提取特征。為了突出外指節(jié)紋紋理，首先，本文設(shè)計(jì)算法遍歷手部，定位手輪廓的上下坐標(biāo)點(diǎn)，使得手內(nèi)部紋理區(qū)域?yàn)?，手外部以及手內(nèi)無(wú)紋理區(qū)域?yàn)?，得到手背的模型區(qū)域。然后，利用本文制定的特征卷積模板對(duì)空間像素進(jìn)行卷積提取手背紋理特征，經(jīng)過(guò)卷積模板處理后的圖像（，）等于輸入圖像（，）和處理過(guò)程（，）的卷積[20]。

將手背圖像經(jīng)過(guò)模板對(duì)圖像進(jìn)行卷積處理，提取出手背紋理特征。該特征提取方法適用所有擺放狀態(tài)的手部紋理特征提取，具體手背紋理如圖6所示。

圖6 手背紋理圖

最后，根據(jù)上文外指節(jié)紋的定位自適應(yīng)裁截指節(jié)紋紋理區(qū)域，為了提取出較高質(zhì)量的指節(jié)紋ROI紋理，消除手背光照汗毛等噪聲，再對(duì)所提取的外指節(jié)紋ROI紋理進(jìn)行紋理細(xì)化。細(xì)化利用形態(tài)學(xué)8鄰域移除較小連通對(duì)象，本文將面積小于30的連通對(duì)象移除，得到清晰的外指節(jié)紋ROI紋理特征。

為了客觀證明本方法的優(yōu)勢(shì)和有效性，直接對(duì)切割外指節(jié)紋區(qū)域進(jìn)行二值化設(shè)定閾值提取指節(jié)紋紋理，可以看到效果并不是很理想。canny算子相較其他檢測(cè)算子為二階差分算子求邊緣，從而可以突出圖像的紋理結(jié)構(gòu)可以檢測(cè)出弱邊緣紋理，但因外指節(jié)紋ROI紋理和噪聲復(fù)雜，利用canny算子[21]提取外指節(jié)紋特征效果也不理想。而利用本文的方法能夠?qū)⑼庵腹?jié)紋ROI紋理特征清晰提取出來(lái)，具體本文方法和其他方法提取外指節(jié)紋特征的對(duì)比實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 外指節(jié)紋ROI紋理圖

4 實(shí)驗(yàn)

4.1實(shí)驗(yàn)條件

本課題應(yīng)用的編程軟件為Matlab。圖庫(kù)建立方法：在可見(jiàn)光CCD攝像機(jī)下采集40個(gè)人的手背，每個(gè)人采集10張不同傾斜程度的完整手背圖像，共400幅手背圖像，采集時(shí)無(wú)定位栓且手的擺放具有自由性，拇指隨意擺放四指并攏平放在采集板上，攝像機(jī)與采集板平行，具體采集情況如圖8所示。

圖8 采集手背情況

4.2實(shí)驗(yàn)結(jié)果

為驗(yàn)證按本文方法能夠自適應(yīng)將同一人的不同手背圖像的指節(jié)紋ROI紋理成功提取，現(xiàn)隨機(jī)從圖庫(kù)中抽取同一人的五張手背圖像，實(shí)驗(yàn)結(jié)果證明了本方法提取外指節(jié)紋ROI的穩(wěn)定和精準(zhǔn)，具體實(shí)驗(yàn)結(jié)果如圖9所示。

圖9 自適應(yīng)提取外指節(jié)紋ROI紋理圖

4.3 實(shí)驗(yàn)結(jié)果分析

由于校正手背受很多因素干擾，所以不能保證校正后手背完全水平，會(huì)有微毫傾斜偏差，導(dǎo)致外指節(jié)紋ROI區(qū)域略有不同，是不可避免的，本文與角點(diǎn)定位中線提取定位提取指節(jié)紋ROI區(qū)域結(jié)果比較穩(wěn)定很多。其次將外指節(jié)紋ROI區(qū)域轉(zhuǎn)二值有很多噪聲，在除噪和細(xì)化紋理部分，有些紋理的斷線和毛刺是不可避免的，希望在識(shí)別前可以將此問(wèn)題完善，達(dá)到盡可能獲取完美的外指節(jié)紋紋理。

5 結(jié)束語(yǔ)

本文通過(guò)根據(jù)手部下端確定旋轉(zhuǎn)角度自適應(yīng)完成了手背圖像的校正，再利用凸包完成了外指節(jié)紋的定位，克服了光照強(qiáng)度等外因?qū)е峦庵腹?jié)紋的紋理不清晰以及定位復(fù)雜問(wèn)題。接下來(lái)的工作就是對(duì)外指節(jié)紋進(jìn)行識(shí)別。但手背的生物特征其實(shí)除了手形、外指節(jié)紋還有手背靜脈，當(dāng)前，能夠?qū)⑹直踌o脈和其他手部特征融合起來(lái)同步采集的裝置并不多，也沒(méi)有將整個(gè)手背作為研究對(duì)象并進(jìn)行生物特征融合識(shí)別。希望未來(lái)將手背手形的宏觀信息、外指節(jié)紋和手背靜脈進(jìn)行多模態(tài)生物識(shí)別，提高識(shí)別精度。除了對(duì)多模態(tài)生物識(shí)別的期望，在外指節(jié)紋的紋理特征方面，針對(duì)斷線的連接、毛刺去除小孔填充等紋理細(xì)節(jié)問(wèn)題也需研究者進(jìn)行研究。

[1]于霞，王瑋.內(nèi)指節(jié)紋識(shí)別方法研究[J].信息與電腦（理論版），2020，32（08）：115-117.

[2]Le-qing Zhu，San-yuan Zhang. Multimodal biometric identification system based on finger geometry， knuckle print and palm print[J]. Pattern Recognition Letters，2010，31（12）.

[3]Shuyi Li，Haigang Zhang，Yihua Shi，Jinfeng Yang. Novel Local Coding Algorithm for Finger Multimodal Feature Description and Recognition[J]. Sensors，2019，19（9）：

[4]陸勁挺，賈偉，葉慧，等.指節(jié)紋識(shí)別綜述[J].模式識(shí)別與人工智能，2017，30（07）：622-636.

[5]李溫溫，王吉彬.基于PCA的指節(jié)紋圖像全局特征提取與識(shí)別[J].吉林大學(xué)學(xué)報(bào)（信息科學(xué)版），2019，37（01）：75-79.

[6]Damon L. Woodard，Patrick J. Flynn. Finger surface as a biometric identifier[J]. Computer Vision and Image Understanding，2005（3）：100.

[7]Lin Zhang，Lei Zhang，David Zhang，Hailong Zhu. Online finger-knuckle-print verification for personal authentication[J]. Pattern Recognition，2010（7）：43.

[8]張帆. 基于指節(jié)紋的身份識(shí)別方法研究[D].西安理工大學(xué)，2019.

[9]Wenming Yang，Xiaola Huang，F(xiàn)ei Zhou，Qingmin Liao. Comparative competitive coding for personal identification by using finger vein and finger dorsal texture fusion[J]. Information Sciences，2014，268.

[10]徐偉. 一種指靜脈指節(jié)紋重合識(shí)別系統(tǒng)[P]. 上海市：CN111046807A，2020-04-21.

[11]楊金鋒，李常福.手指多模態(tài)特征圖像姿態(tài)同步采集系統(tǒng)設(shè)計(jì)[J].中國(guó)民航大學(xué)學(xué)報(bào)，2020，38（01）：54-59.

[12]李家年. 基于卷積神經(jīng)網(wǎng)絡(luò)的指部雙模態(tài)識(shí)別方法研究[D].黑龍江大學(xué)，2021.

[13]顧理，莊鎮(zhèn)泉，萬(wàn)淑超，等.手形識(shí)別中的手形提取方法[J].計(jì)算機(jī)仿真，2005（07）：128-132.

[14]李溫溫，劉富，高雷.基于手指骨架提取的手形識(shí)別方法[J].中南大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，47（03）：777-783.

[15]張德豐.matlab數(shù)字圖像處理[M].北京：機(jī)械工業(yè)出版社，2012：178-180.

[16]郝澤興，郭改枝.基于改進(jìn)Canny算子和Hough變換的表格圖像校正方法[J].內(nèi)蒙古師范大學(xué)學(xué)報(bào)（自然科學(xué)漢文版），2020，49（05）：433-441.

[17]李彥會(huì)，黃中華，許欣，等.基于Hough變換的傾斜圖像校正技術(shù)[J].湖南工程學(xué)院學(xué)報(bào)（自然科學(xué)版），2019，29（03）：30-32.

[18]董茜. 手形特征提取與識(shí)別方法研究[D].沈陽(yáng)工業(yè)大學(xué)，2010.

[19]苑瑋琦，張波，常樂(lè)，等.基于矢量加權(quán)線檢測(cè)算子的虹膜環(huán)狀線條檢測(cè)[J].儀器儀表學(xué)報(bào)，2017，38（06）：1378-1389.

[20]敬忠良.肖剛.李振華.圖像融合-理論與應(yīng)用[M].北京：高等教育出版社，2007：18-20.

[21]張聰聰，牟莉.基于機(jī)器視覺(jué)的圖像邊緣檢測(cè)算法研究[J].國(guó)外電子測(cè)量技術(shù)，2020，39（12）：80-85.