宋天舒, 沈文忠, 晁靜靜

(上海電力學(xué)院 電子與信息工程學(xué)院, 上海 200090)

隨著生物特征識別的廣泛應(yīng)用,虹膜識別因其優(yōu)勢受到了前所未有的關(guān)注。相關(guān)的測試報告指出,虹膜識別是最精確的生物特征識別手段,而且虹膜的紋理非常穩(wěn)定[1-2]。同時,整個虹膜識別的過程是無侵犯的,這個特性在很多場景的應(yīng)用中具有非常重要的意義[3]。精確、穩(wěn)定、無侵犯這3個特性使得虹膜識別具有廣闊的應(yīng)用前景,因此研究人員提出了多種方法[4-8]將虹膜識別應(yīng)用于現(xiàn)實生活。虹膜識別的第一步是實現(xiàn)虹膜圖像的精確分割。這需要精確定位瞳孔邊緣、虹膜邊緣、眼瞼、睫毛以及其他一些干擾因素。由于瞳孔和虹膜的形狀接近圓形,很多方法都能較好地定位瞳孔外圓和虹膜外圓。但是對于眼瞼的定位,尤其是上眼瞼的定位,卻非常困難,這是因為眼瞼周圍有著分布復(fù)雜的睫毛、光斑、陰影以及其他干擾,例如各種類型的雙眼皮、化妝產(chǎn)生的眼線、涂抹的睫毛膏等。上眼瞼普遍存在于虹膜圖像中,而且經(jīng)常遮擋著很大部分的虹膜區(qū)域。如果眼瞼的定位不準(zhǔn)確,將會在下一步的虹膜編碼過程中產(chǎn)生大量的噪聲。

傳統(tǒng)方法都是基于像素間的梯度來實現(xiàn)的,而梯度很容易受到噪聲的干擾,很難取得好的效果。即使沒有干擾,不同的圖像紋理也會有不同的梯度,即便是在單一的數(shù)據(jù)庫里,圖像的梯度也可能十分復(fù)雜,更不要說將這些方法應(yīng)用于不同設(shè)備、不同人群、不同場景下采集到的多種數(shù)據(jù)庫里。因此,單一的固定策略很難應(yīng)對各種不同的場景和復(fù)雜的情形,需要一種自適應(yīng)的策略來進(jìn)行眼瞼定位。文獻(xiàn)[9-11]將Adaboost和Haar-like特征應(yīng)用于眼瞼的定位。但這些方法仍存在一些問題,例如模型需要利用Canny算子進(jìn)行預(yù)處理,還需要進(jìn)行去噪聲的后處理,在困難場景下的表現(xiàn)不盡如人意;分類器的最終表現(xiàn)嚴(yán)重依賴于特征,設(shè)計好的特征非常困難,而Haar-like特征無法應(yīng)對眾多復(fù)雜的場景。

近年來,深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Networks,DCNs)在圖像領(lǐng)域[12-16]得到了廣泛應(yīng)用。 DCNs非常善于提取特征,能夠在復(fù)雜的模式識別任務(wù)(如目標(biāo)分類、定位、檢測)中取得重大的突破。2016年,DCNs首次應(yīng)用于虹膜分割的研究中[17],其他基于DCNs進(jìn)行虹膜識別的研究[18-23]出現(xiàn)在2017年,但上述研究中并沒有針對眼瞼的定位問題進(jìn)行深入探討。文獻(xiàn)[22-23]研究了可見光下的圖像,而虹膜識別需要近紅外光,在近紅外光下虹膜區(qū)域才會出現(xiàn)明顯的紋理,尤其是針對可見光下虹膜顏色較深的亞洲人。文獻(xiàn)[17-21]采用全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks,FCNs)分割虹膜區(qū)域,FCNs[24]在2014年被提出,并應(yīng)用于分割任務(wù)中。FCNs分割圖像時需要像素級別的精確標(biāo)注,但這些標(biāo)注大多很難獲得。由于FCNs自身的采樣結(jié)構(gòu),導(dǎo)致定位的邊緣不夠精細(xì)。

在上眼瞼區(qū)域,由于睫毛等因素的干擾,得到的效果并不理想,因此本文提出了一種新的方法進(jìn)行眼瞼的精確定位。首先利用DCNs給出眼瞼的關(guān)鍵點,然后采用二次曲線進(jìn)行擬合,得到眼瞼的精確位置。這種方法僅需要標(biāo)注幾個關(guān)鍵點,相比于FCNs,可以大大減少工作量,且在很多復(fù)雜的場景下可以取得很好的效果。

1 深度卷積網(wǎng)絡(luò)模型和眼瞼精確定位方法

1.1 深度卷積網(wǎng)絡(luò)模型

在計算機(jī)視覺中,有3個基本任務(wù),從易到難依次為分類、定位、檢測。研究人員提出了很多有名的目標(biāo)檢測框架[14],但這些框架只給出了包含目標(biāo)的矩形框。

眼瞼的定位問題更像是一個圖像的語義分割問題,矩形框并不能滿足需要。因此,一個最簡單的思路就是直接借助于滑動窗口將定位任務(wù)轉(zhuǎn)化為分類問題,并給出關(guān)鍵點,如圖1所示。

圖1 滑動窗口示意

由圖1可見,利用滑動窗口,眼瞼關(guān)鍵點的定位問題轉(zhuǎn)化為分類問題。對每個窗口進(jìn)行二分類,若窗口被分類為眼瞼區(qū)域,則將此窗口的中心點定義為眼瞼關(guān)鍵點候選點。通過不斷進(jìn)行實驗測試,根據(jù)定位精度對比結(jié)果,最終選定適用于眼瞼關(guān)鍵點分類的深度卷積網(wǎng)絡(luò)模型(EyelidNet),如圖2所示。

圖2 EyelidNet網(wǎng)絡(luò)模型

1.2 眼瞼精確定位方法

利用EyelidNet分類滑動窗口獲取候選點。對于圖2所示的EyelidNet網(wǎng)絡(luò),每一個48×48的滑動窗口,經(jīng)過網(wǎng)絡(luò)推理后都會返回一個二分類的結(jié)果。若屬于眼瞼的類,則窗口中心點記為眼瞼候選點。另外,不需要對水平和垂直方向上的每個像素進(jìn)行滑動窗口檢測。為了減少定位時間,滑動窗口垂直方向步長取4像素,水平方向步長取35像素,即可取得很好的效果。定位結(jié)果如圖3所示。

圖3(a)為實際檢測過程中,EyelidNet網(wǎng)絡(luò)直接給出的眼瞼候選點,可以看出,網(wǎng)絡(luò)直接給出的候選點過于冗余。本文對垂直方向上的若干候選點進(jìn)行平均操作,得到了最終的眼瞼關(guān)鍵點,如圖3(b)所示。

圖3 定位結(jié)果示例

對于圖3(b)給出的關(guān)鍵點坐標(biāo),采用最小二乘法進(jìn)行二次曲線擬合,得到圖3(c)中所示的拋物線。這條拋物線即代表需要定位的眼瞼。當(dāng)然,直接在圖3(a)的基礎(chǔ)上進(jìn)行擬合也能得到與圖3(c)幾乎相同的曲線,但去除冗余之后更便于人為地觀察定位誤差。因此本文進(jìn)行了取平均的操作。

1.3 確定定位精度的度量標(biāo)準(zhǔn)

現(xiàn)有的虹膜識別文獻(xiàn)中很少有對眼瞼定位方法的單獨論述,也沒有建立統(tǒng)一的標(biāo)準(zhǔn)來度量眼瞼定位的精準(zhǔn)程度,往往是人工直接評估某一張圖像定位是否準(zhǔn)確。文獻(xiàn)[8]是唯一給出具體的評估眼瞼定位標(biāo)準(zhǔn)的文獻(xiàn)。該算法在歸一化的矩形中評估定位的誤差,在虹膜識別中完成定位后需要將虹膜區(qū)域進(jìn)行歸一化,以適應(yīng)瞳孔的擴(kuò)張和圖像尺寸的不同。本文采用一般的歸一化方法,以瞳孔圓的圓心為圓心按順時針方向?qū)⒑缒に诘沫h(huán)形區(qū)域展開成512×64的矩形,展開后的結(jié)果如圖4所示。

從圖4可以看出,眼瞼定位的誤差體現(xiàn)在錯誤接受區(qū)域和錯誤拒絕區(qū)域,其中黑色區(qū)域為正確定位的區(qū)域。將錯誤接受率記作Far,錯誤拒絕率記作Frr,錯誤定位率記作Flr,結(jié)合實際眼瞼區(qū)域占比(記作Ter)來評估定位的準(zhǔn)確性。如果將錯誤拒絕區(qū)域的面積記作Afr,錯誤接受區(qū)域的面積記作Afa,正確定位的區(qū)域面積記為Atl,展開后圖像的總面積記作Atotal,則可以得到

圖4 虹膜區(qū)域歸一化后的定位誤差示意

(1)

2 結(jié)果與討論

本文所用的所有虹膜圖像,均來自中國科學(xué)院開源的虹膜圖像數(shù)據(jù)庫(CASIA Iris Image Database)。訓(xùn)練和測試數(shù)據(jù)共7 000張,每張圖像都標(biāo)注了5個點。其中,訓(xùn)練數(shù)據(jù)共5 000張,全部來自Casia-Iris-V4-Thousands。測試數(shù)據(jù)共2 000張,其中1 000張來自Casia-Iris-V4-Thousands,500張來自Casia-Iris-V3-Lamp,另外500張來自Casia-Iris-V2-Device1。本文采用5%作為閾值,若某張圖像錯誤率大于5%,則認(rèn)為此圖像定位不準(zhǔn)確。在V4,V3,V2 3個庫中錯誤定位的樣本數(shù)分別為2個、7個、15個,準(zhǔn)確率分別為99.8%,98.6%,97.0%。

下面分析影響定位誤差的因素。本文推測定位的誤差可能受到Ter和瞳孔半徑與虹膜半徑的比例Prr的影響,因此將Ter和Prr從小到大等分成9個區(qū)間,計算每個區(qū)間內(nèi)的平均定位誤差率Mflr,得到的結(jié)果如圖5和圖6所示。

圖5 不同數(shù)據(jù)庫圖像的Ter對誤差的影響

從圖5和圖6可以看出,隨著Ter和Prr的增加,Mflr顯著增加。因此,對于大瞳孔或眼瞼遮擋嚴(yán)重的圖像,定位誤差容易增大。究其原因,一是由于進(jìn)行了歸一化操作,將虹膜所在的環(huán)形區(qū)域展開成矩形時,相對于遠(yuǎn)離瞳孔的區(qū)域,靠近瞳孔的區(qū)域拉伸得更為嚴(yán)重,提高了該區(qū)域的面積占比;二是在一般情況下,隨著Ter的增加,橫軸方向上眼瞼的固有長度也會增加,對于相同的縱向定位誤差,自然就會出現(xiàn)更大的總體定位誤差,這一原理如圖7所示。

從圖7可以看出,如果考慮標(biāo)注帶來的人為誤差,則這些圖像可以被認(rèn)為是正確的分類圖像。

圖6 不同數(shù)據(jù)庫圖像的Prr對誤差的影響

采用不同的閾值可以得到不同的準(zhǔn)確率。不同閾值Tthres下得到的準(zhǔn)確率Aacc,以及與文獻(xiàn)[8]所得出的準(zhǔn)確率對比如圖8所示。

從圖8可以看出,本文算法的準(zhǔn)確率遠(yuǎn)高于文獻(xiàn)[8]的準(zhǔn)確率。當(dāng)閾值為5%時,文獻(xiàn)[8]的準(zhǔn)確率只有55.0%,而本文算法的準(zhǔn)確率可以達(dá)到97.0%,98.6%,99.8%。由于文獻(xiàn)[8]采用的是Canny算子,容易受到各種噪聲干擾的影響,泛化能力差,因此效果不太理想。本文采用了特征提取能力更為強(qiáng)大的深度神經(jīng)網(wǎng)絡(luò),特征的抗干擾能力和泛化能力都很強(qiáng),即便是一些困難樣本也能準(zhǔn)確定位。部分定位效果如圖9所示。

由圖9可以看出,本文算法在多種干擾下均可以得到較好的定位結(jié)果。本文的神經(jīng)網(wǎng)絡(luò)都是在Casia-Iris-V4-Thousands中訓(xùn)練的,但也能夠很好地泛化到Casia-Iris-V3-Lamp和Casia-Iris-V2-Device1中,充分證明了本方法具有高準(zhǔn)確率和強(qiáng)泛化能力。

圖7 Ter和Prr對Flr的影響示意

圖8 本文結(jié)果和文獻(xiàn)[8]結(jié)果的比較

圖9 本文算法的部分定位效果

4 結(jié) 語

本文提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的上眼瞼定位算法,利用滑動窗口和EyelidNet網(wǎng)絡(luò)獲取精確的眼瞼關(guān)鍵點,并利用二次曲線進(jìn)行擬合得到眼瞼輪廓線。采用嚴(yán)格的標(biāo)準(zhǔn)對定位后的圖像進(jìn)行歸一化處理,并進(jìn)行誤差分析。結(jié)果表明,本算法具有高準(zhǔn)確率和強(qiáng)泛化能力,對于部分困難樣本仍能精確定位,準(zhǔn)確率達(dá)到97.0%以上。