蔡懷宇,史 玉 ,婁世良,汪 毅,陳文光,陳曉冬
(1. 天津大學(xué) 精密儀器與光電子工程學(xué)院 光電信息技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,天津 300072;2. 上海美沃精密儀器股份有限公司,上海 200237)
目前,全球范圍內(nèi)視覺(jué)健康問(wèn)題嚴(yán)峻[1]:視力損傷或失明人數(shù)高達(dá)22億人以上,其中至少10億人的視力損傷問(wèn)題本可預(yù)防或尚待解決。有效的眼科疾病檢測(cè)對(duì)眼部疾病的預(yù)防和治療具有重要作用。臨床常用的眼科疾病檢測(cè)儀器,如:光學(xué)相干層析成像儀(Optical Coherence Tomography,OCT)[2-4]、眼底相機(jī)[5-6]等在檢測(cè)之前,首先需要將儀器成像光軸對(duì)準(zhǔn)瞳孔中心點(diǎn),以保證光源發(fā)出的光經(jīng)瞳孔入射到被檢測(cè)者眼內(nèi)。在實(shí)際操作中,盡管醫(yī)護(hù)人員可通過(guò)手動(dòng)調(diào)整實(shí)現(xiàn)對(duì)準(zhǔn),但是手動(dòng)對(duì)準(zhǔn)對(duì)操作者的熟練度和被檢測(cè)者的配合度均有一定的要求,較為繁瑣耗時(shí)。因此,自動(dòng)化人眼對(duì)準(zhǔn)顯得尤為重要[7]。自動(dòng)化人眼對(duì)準(zhǔn)裝置利用瞳孔定位算法獲取瞳孔中心點(diǎn)坐標(biāo),進(jìn)而借助步進(jìn)電機(jī)實(shí)現(xiàn)成像光軸與瞳孔中心的對(duì)準(zhǔn),具有實(shí)時(shí)、高效、操作簡(jiǎn)單等特點(diǎn)。其中,瞳孔定位算法的性能對(duì)定位結(jié)影響最大,因此研究快速、準(zhǔn)確、不受噪聲和測(cè)量條件(如:局部反射光斑、眼瞼眼睫毛遮擋、離焦模糊)影響的瞳孔定位算法具有重要實(shí)用價(jià)值。
根據(jù)識(shí)別原理,可將瞳孔定位算法分為基于數(shù)據(jù)的方法和基于知識(shí)的方法[8]。兩種方法的根本區(qū)別在于瞳孔中心點(diǎn)的判斷準(zhǔn)則是否需要根據(jù)先驗(yàn)知識(shí)進(jìn)行制定?;跀?shù)據(jù)的方法不依靠先驗(yàn)知識(shí),而是通過(guò)對(duì)足夠數(shù)量的樣本進(jìn)行學(xué)習(xí),獲取人眼特征,完成人眼定位。常用的方法有支持向量機(jī)(Support Vector Machine,SVM)[9-11],卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[12-13],AdaBoost(adaptive boosting)[14-17]等。其中,基于Harr特征的AdaBoost人眼檢測(cè)算法應(yīng)用較為廣泛。該算法利用積分圖和級(jí)聯(lián)結(jié)構(gòu),對(duì)一定數(shù)量人眼樣本的Harr特征進(jìn)行統(tǒng)計(jì)學(xué)習(xí),定位人眼區(qū)域[17],其能夠極大地改善人眼檢測(cè)方法的定位精度和定位速度?;跀?shù)據(jù)的方法對(duì)圖像質(zhì)量要求不高,但是這類(lèi)方法需要大量訓(xùn)練樣本,訓(xùn)練過(guò)程復(fù)雜,并且定位結(jié)果精度較低,只適用于粗略的人眼定位研究,無(wú)法滿足紅外眼科疾病檢測(cè)設(shè)備的精度要求。
基于知識(shí)的方法依據(jù)先驗(yàn)知識(shí)制定判斷準(zhǔn)則,指導(dǎo)人眼定位。這種方法的定位結(jié)果更為準(zhǔn)確,在精確的人眼定位中廣泛使用。瞳孔的灰度信息[18-20]、邊緣信息[21-24]、形狀信息[25-30]是常用的判斷準(zhǔn)則。Vranceanu等人利用人眼的灰度信息,采用灰度投影函數(shù)定位人眼區(qū)域[18],該方法計(jì)算量小但是定位精度較低。張宏薇等人研究了一種改進(jìn)的基于Hough變換圓檢測(cè)的瞳孔識(shí)別算法[21],該算法通過(guò)限定檢測(cè)的半徑范圍,利用Hough變換得到最佳擬合圓,實(shí)現(xiàn)瞳孔中心點(diǎn)定位。該算法解決了傳統(tǒng)Hough變換算法計(jì)算量大、實(shí)時(shí)性差的問(wèn)題,但是當(dāng)圖像數(shù)據(jù)集發(fā)生變化時(shí),需要重新設(shè)置半徑參數(shù),算法的人工依賴(lài)度高。Loy等人提出了一種快速?gòu)较驅(qū)ΨQ(chēng)變換算法[25],該算法實(shí)質(zhì)上是對(duì)Hough變換的改進(jìn),通過(guò)將映射空間從參數(shù)空間轉(zhuǎn)化為數(shù)字圖像,有效降低了算法的變換維度,解決了Hough變換由于參數(shù)空間維度過(guò)高造成算法復(fù)雜度增加,難以滿足實(shí)時(shí)性的問(wèn)題。并由Yan等人首次應(yīng)用到瞳孔中心點(diǎn)的檢測(cè)中[26],實(shí)現(xiàn)了較好的瞳孔定位效果。但是直接利用該算法進(jìn)行瞳孔中心點(diǎn)檢測(cè)存在兩個(gè)不足:算法在大面積范圍內(nèi)搜索,計(jì)算成本高;算法的相關(guān)參數(shù)需要人工設(shè)置,自適應(yīng)性差。
考慮到人眼對(duì)紅外光感知較弱且紅外圖像對(duì)比度較高,因此,多數(shù)眼科疾病檢測(cè)設(shè)備均采用紅外相機(jī)對(duì)瞳孔進(jìn)行實(shí)時(shí)監(jiān)控。在紅外眼科疾病檢測(cè)設(shè)備完成了機(jī)械頭架粗對(duì)準(zhǔn)和對(duì)人眼的軸向調(diào)焦后,由于檢測(cè)過(guò)程存在眨眼、晃動(dòng)等生理現(xiàn)象,導(dǎo)致人眼圖像仍會(huì)存在離焦模糊現(xiàn)象,這就要求瞳孔定位算法對(duì)輕微的離焦模糊具有一定的魯棒性。另外,因?yàn)楸粰z測(cè)者之間的個(gè)體差異明顯以及紅外眼科疾病檢測(cè)設(shè)備自動(dòng)對(duì)準(zhǔn)成像需求,定位算法還需要具有實(shí)時(shí)性好,精確度高,魯棒性強(qiáng),并且具備自適應(yīng)性。
綜合以上情況,在多種非理性情況下,為了使紅外眼科疾病檢測(cè)設(shè)備實(shí)現(xiàn)實(shí)時(shí)高效自動(dòng)化的人眼定位,本文提出了一種改進(jìn)的徑向?qū)ΨQ(chēng)變換的瞳孔中心點(diǎn)定位算法。首先利用灰度積分投影法融合最大類(lèi)間方差法對(duì)圖像進(jìn)行二值化處理,完成瞳孔區(qū)域和冗余信息區(qū)域間的粗分割,并結(jié)合多團(tuán)塊篩選條件提取出只包含瞳孔的感興趣區(qū)域(ROI),以減小算法全局性大范圍搜索成本。然后,根據(jù)ROI的最小外接矩形和瞳孔區(qū)域間的幾何關(guān)系,結(jié)合灰度級(jí)形態(tài)學(xué)線性濾波,確定搜索半徑范圍,降低算法的人工依賴(lài)度。通過(guò)在ROI上運(yùn)行改進(jìn)后的徑向?qū)ΨQ(chēng)變換算法,有效修正了傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法計(jì)算復(fù)雜度高、自適應(yīng)性差的缺陷,實(shí)現(xiàn)了快速、高效的瞳孔中心點(diǎn)定位。該算法在提高定位速度的同時(shí)保證了定位精度,對(duì)噪聲有良好的魯棒性,可以滿足多種紅外眼科疾病檢測(cè)設(shè)備的瞳孔定位算法要求,亦可輔助紅外眼科疾病檢測(cè)設(shè)備實(shí)現(xiàn)人眼結(jié)構(gòu)成像。
徑向?qū)ΨQ(chēng)變換算法是以廣義對(duì)稱(chēng)變換為基礎(chǔ)發(fā)展而來(lái)的一種基于梯度信息的目標(biāo)檢測(cè)算子。該算法根據(jù)被檢測(cè)區(qū)域的梯度幅值信息和梯度方向信息構(gòu)造出評(píng)價(jià)區(qū)域?qū)ΨQ(chēng)性的新指標(biāo)—徑向?qū)ΨQ(chēng)度,再采用投票的方式計(jì)算被檢測(cè)區(qū)域中每一點(diǎn)在給定的搜索半徑n處的徑向?qū)ΨQ(chēng)度。隨著搜索半徑n的遞增,具有徑向?qū)ΨQ(chēng)特點(diǎn)的目標(biāo)區(qū)域在對(duì)稱(chēng)中心處可以累加到較大的徑向?qū)ΨQ(chēng)度,從而完成目標(biāo)區(qū)域的檢測(cè)。
對(duì)于輸入圖像I中每個(gè)點(diǎn)P,都可以在其梯度正負(fù)方向上得到正投影點(diǎn)P+ve和負(fù)投影點(diǎn)P?ve。正負(fù)投影點(diǎn)都在以P為中心、以n為半徑的圓上。正投影點(diǎn)P+ve為P點(diǎn)在梯度正方向所指向的點(diǎn),負(fù)投影點(diǎn)P?ve為梯度負(fù)方向所指向的點(diǎn),對(duì)應(yīng)的兩點(diǎn)的計(jì)算公式為:
其中g(shù)表示圖像I的梯度矩陣,g(p)表示P點(diǎn)的梯度向量[gx,gy],||g(p)||表示P點(diǎn)的梯度幅值;n表示搜索半徑;round表示對(duì)所求值進(jìn)行四舍五入。
根據(jù)上述的像素點(diǎn)投影關(guān)系,可以通過(guò)計(jì)算梯度幅值映射矩陣Mn和梯度方向映射矩陣On統(tǒng)計(jì)投影點(diǎn)的累加特性,對(duì)應(yīng)的計(jì)算公式為:
其中公式(3)表示在梯度方向映射矩陣On中對(duì)P點(diǎn)的正負(fù)投影點(diǎn)位置分別+1,?1,代表圖像中每一點(diǎn)P投影到該點(diǎn)的像素?cái)?shù)目;公式(4)表示在梯度幅值映射矩陣Mn中對(duì)P點(diǎn)的正負(fù)投影點(diǎn)位置分別+||g(p)||, ?||g(p)||,代表圖像中每一點(diǎn)P在該點(diǎn)處幅值的累加。
為了從梯度的方向信息和幅值信息兩方面同時(shí)反映圖像的徑向?qū)ΨQ(chēng)特性,需要計(jì)算圖像I的徑向?qū)ΨQ(chēng)度貢獻(xiàn)矩陣Sn,對(duì)應(yīng)的計(jì)算公式為:
其中α表示徑向控制參數(shù),可以根據(jù)不同的需求設(shè)定不同的參數(shù)值,一般設(shè)定α=2;“*”表示卷積;An是二維高斯卷積核,表示對(duì)徑向?qū)ΨQ(chēng)度貢獻(xiàn)矩陣Sn進(jìn)行高斯濾波,抑制噪聲的干擾,核尺寸為標(biāo)準(zhǔn)差為0.1·n。
最后將所有搜索半徑下的徑向?qū)ΨQ(chēng)度貢獻(xiàn)矩陣Sn進(jìn)行累加平均,計(jì)算出最大的徑向?qū)ΨQ(chēng)度S[i,j]所對(duì)應(yīng)的坐標(biāo),確定對(duì)稱(chēng)中心。
可以看出,徑向?qū)ΨQ(chēng)變換非常適用于檢測(cè)對(duì)稱(chēng)區(qū)域。而在人眼圖像中,瞳孔區(qū)域具有高度對(duì)稱(chēng)性,并且從瞳孔區(qū)域到鞏膜區(qū)域,灰度值有明顯的遞增性,表明在瞳孔和虹膜的邊界處有良好的梯度特性。因此,通過(guò)徑向?qū)ΨQ(chēng)變換算法可以方便地定位瞳孔中心。但是一般情況下,人眼圖像存在大面積的平滑區(qū)域及反射光斑區(qū)域。其中,平滑區(qū)域灰度變化均勻,梯度幅值小,對(duì)徑向?qū)ΨQ(chēng)度的貢獻(xiàn)較小,卻會(huì)大大增加算法的時(shí)間成本。而反射光斑區(qū)域和瞳孔區(qū)域類(lèi)似,具有明顯的徑向?qū)ΨQ(chēng)性,且相比于瞳孔區(qū)域,徑向?qū)ΨQ(chēng)度更高,會(huì)對(duì)瞳孔中心點(diǎn)的定位精度產(chǎn)生較大的影響。另外,傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法的搜索半徑范圍n需要人工設(shè)置,文獻(xiàn)[25-29]中,都是測(cè)試人員依據(jù)經(jīng)驗(yàn)進(jìn)行人工設(shè)置。然而,人眼的瞳孔大小存在個(gè)體差異性,如果測(cè)試人員根據(jù)經(jīng)驗(yàn)設(shè)置搜索半徑范圍,可能存在范圍設(shè)置過(guò)大或設(shè)置過(guò)小的問(wèn)題,特別是對(duì)于瞳孔區(qū)域沒(méi)有采集完整的情況,測(cè)試人員可能需要進(jìn)行多次參數(shù)設(shè)置。這在很大程度上增加了算法的計(jì)算量和人工復(fù)雜度,無(wú)法滿足瞳孔定位算法實(shí)時(shí)性、自適應(yīng)性的要求。
本文首先利用灰度積分投影融合最大類(lèi)間方差的方法對(duì)人眼圖像進(jìn)行粗分割,并結(jié)合多團(tuán)塊篩選條件提取出只包含瞳孔的ROI,有效避免了算法由于大范圍運(yùn)算導(dǎo)致的計(jì)算成本高、易受噪聲干擾等問(wèn)題。然后根據(jù)ROI的最小外接矩形和瞳孔區(qū)域間的幾何關(guān)系,結(jié)合灰度級(jí)形態(tài)學(xué)線性濾波,完成了半徑范圍的設(shè)置,實(shí)現(xiàn)了參數(shù)自適應(yīng)。最后,在設(shè)置的搜索半徑內(nèi)對(duì)ROI進(jìn)行最大徑向?qū)ΨQ(chēng)度計(jì)算,完成瞳孔中心點(diǎn)定位。算法流程如圖1所示。
圖1 算法總流程圖Fig. 1 Flow chart of the improved pupil location algorithm
為了避免人眼圖像中大量冗余信息(如:大面積的平滑區(qū)域以及其他具有徑向?qū)ΨQ(chēng)特點(diǎn)的區(qū)域)對(duì)后續(xù)定位的影響,需要對(duì)人眼圖像進(jìn)行ROI分割,以便提高瞳孔定位的實(shí)時(shí)性、準(zhǔn)確性??紤]到反射光斑主要位于虹膜和鞏膜區(qū)域,因此本文將瞳孔確定為ROI。
最大類(lèi)間方差法是一種基于全局的圖像分割算法,該算法的優(yōu)點(diǎn)在于不需要人為設(shè)置參數(shù),計(jì)算量小。但是如果直接利用該方法分割人眼圖像,反射光斑區(qū)域往往會(huì)作為目標(biāo)區(qū)域被提取出來(lái)。這主要是由于反射光斑區(qū)域和其他區(qū)域間差別較大,導(dǎo)致分割閾值極易受反射光斑影響,造成感興趣的瞳孔區(qū)域提取失敗。而灰度積分投影法反映的是圖像不同區(qū)域的灰度均值情況,因此可以有效確定出反射光斑、虹膜、鞏膜等所在區(qū)域,從而避免其對(duì)分割閾值的影響。為了正確提取ROI,本文首先采用灰度積分投影融合最大類(lèi)間方差的方法對(duì)人眼圖像進(jìn)行粗分割,再利用多團(tuán)塊篩選條件提取出只包含瞳孔的ROI,具體處理過(guò)程如下。
利用灰度積分投影法對(duì)人眼圖像每行、每列的灰度值求和,可以得到豎直、水平投影曲線,分別如圖2(a)、2(b)所示??梢钥闯鐾讌^(qū)域的投影值在豎直方向和水平方向上均小于各自投影曲線的平均值?;诖?,以水平投影平均值、豎直投影平均值為閾值對(duì)原圖進(jìn)行分割,可以去除人眼圖像中的部分噪聲區(qū)域,粗分割結(jié)果如圖2(c)所示。根據(jù)人眼圖像灰度特點(diǎn):瞳孔區(qū)域灰度值最低、虹膜次之、鞏膜最高,對(duì)粗分割圖像使用最大類(lèi)間方差進(jìn)行二值化,結(jié)果如圖2(d)所示。
由圖2(d)可知,經(jīng)過(guò)灰度積分投影和最大類(lèi)間方差法處理后,人眼圖像中仍然存在多個(gè)團(tuán)塊:瞳孔區(qū)域所在團(tuán)塊,冗余信息所在團(tuán)塊。其中冗余信息所在團(tuán)塊多由所受光照較暗的眼角區(qū)域、灰度值存在陡降變化的虹膜鞏膜交界區(qū)域形成。在形狀上,表現(xiàn)為點(diǎn)狀、三角狀和呈對(duì)角的弧線狀,點(diǎn)狀團(tuán)塊的面積(所含的像素點(diǎn)數(shù)目)小于1 000,與瞳孔區(qū)域所在團(tuán)塊的面積相差懸殊。三角狀和呈對(duì)角的弧線狀團(tuán)塊與瞳孔區(qū)域所在團(tuán)塊面積相當(dāng),但瞳孔團(tuán)塊相對(duì)于其最小外接矩形的占有率遠(yuǎn)大于三角狀團(tuán)塊、弧線狀團(tuán)塊。各團(tuán)塊的占有率計(jì)算公式為:
其中SBlock表示團(tuán)塊的面積,SRectangle表示團(tuán)塊最小外接矩形的面積。
圖2 人眼圖像ROI分割示意圖。(a)豎直投影曲線對(duì)照?qǐng)D;(b)水平投影曲線對(duì)照?qǐng)D;(c)粗分割圖像;(d)二值化圖像Fig. 2 Schematic diagram of ROI segmentation of a human eye image. (a) Vertical projection curve contrast diagram; (b) horizontal projection curve contrast diagram; (c) coarse segmentation image; (d)binary image
基于瞳孔和冗余信息所在團(tuán)塊間的數(shù)值關(guān)系,建立多團(tuán)塊篩選條件,如下:
(1)計(jì)算各團(tuán)塊的面積,去除面積小于1 000的團(tuán)塊。
(2)判斷團(tuán)塊的個(gè)數(shù),如果團(tuán)塊個(gè)數(shù)等于1,則該團(tuán)塊就是包含瞳孔的團(tuán)塊,繼續(xù)執(zhí)行步驟(4)。如果團(tuán)塊個(gè)數(shù)大于1,則需要進(jìn)行步驟(3)做進(jìn)一步的判斷。
(3)計(jì)算各團(tuán)塊相對(duì)于其最小外接矩形的占有率。選擇占有率最高的團(tuán)塊做為包含瞳孔的團(tuán)塊,繼續(xù)執(zhí)行步驟(4)。
(4)將只包含瞳孔的團(tuán)塊作為蒙版,與人眼圖像進(jìn)行數(shù)值運(yùn)算,獲取人眼圖像的ROI。
(5)提取ROI的邊緣區(qū)域,設(shè)置算法的梯度閾值th=0.2max(||g(p)||)。僅考慮梯度值高于閾值的像素點(diǎn)的投影關(guān)系,忽略ROI平滑區(qū)域的貢獻(xiàn)。
針對(duì)傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法自適應(yīng)性差的問(wèn)題,本文提出對(duì)ROI做最小外接矩形結(jié)合灰度級(jí)形態(tài)學(xué)線性濾波的方法。應(yīng)用幾何學(xué)知識(shí),可以得到ROI最小外接矩形的長(zhǎng)、寬和瞳孔半徑之間的幾何關(guān)系,進(jìn)而基于這一關(guān)系設(shè)置搜索半徑范圍。但是當(dāng)睫毛對(duì)人眼存在遮擋時(shí),這種方法便會(huì)存在較大誤差。睫毛的灰度值與瞳孔相近,ROI的分割結(jié)果存在3種情況:只包含瞳孔區(qū)域;包含瞳孔和睫毛的連通區(qū)域;包含瞳孔被睫毛過(guò)度分割區(qū)域。在后兩種情況中,ROI分割結(jié)果受睫毛影響存在提取過(guò)多或過(guò)少的問(wèn)題,導(dǎo)致利用幾何關(guān)系進(jìn)行參數(shù)設(shè)置時(shí)出現(xiàn)嚴(yán)重誤差,進(jìn)而影響定位精度,結(jié)果見(jiàn)圖3。
需要標(biāo)明的是,這一點(diǎn)極其重要,他在一定程度上回應(yīng)了上一個(gè)部分提出的必然性難題。對(duì)人類(lèi)理性來(lái)說(shuō),因果性存在于時(shí)間序列當(dāng)中,囿于這一點(diǎn),自由意志才是與上帝預(yù)知相矛盾。實(shí)際上,神的領(lǐng)域在永恒當(dāng)中,所以神意根本不像人一樣被限定在時(shí)間序列。既然“永恒當(dāng)下”敉平了人類(lèi)時(shí)間的三個(gè)向度——過(guò)去現(xiàn)在未來(lái),那么因果序列在神意那里便完全失效。這也呼應(yīng)到前文對(duì)神意與命運(yùn)關(guān)系的辨析,整個(gè)邏輯顯得十分縝密。
圖3 受睫毛遮擋的ROI提取示意圖。(a)樣本1圖像;(b)樣本1二值化圖像;(c)樣本1的ROI圖像;(d)樣本2圖像;(e)樣本2的二值化圖像;(f)樣本2的ROI圖像,圖像源于數(shù)據(jù)庫(kù)CASIA-IrisV4Fig. 3 Schematic diagram of ROI extraction when pupil was obscured by eyelashes. (a) Image of sample 1;(b) binarization image of sample 1; (c) ROI image of the sample 1; (d) image of sample 2; (e) binarization image of sample 2; (f) ROI image of sample 2,images are derived from the CASIA-IrisV4 database
為了解決睫毛遮擋對(duì)參數(shù)設(shè)置的影響,本文采用線性灰度級(jí)形態(tài)學(xué)濾波對(duì)人眼圖像進(jìn)行處理?;叶燃?jí)形態(tài)學(xué)運(yùn)算是二值形態(tài)學(xué)運(yùn)算的擴(kuò)展,基本操作有腐蝕運(yùn)算和膨脹運(yùn)算。人的眼睫毛是線狀,且通常分布在±45°范圍之內(nèi)。基于此,設(shè)置線性結(jié)構(gòu)元素如圖4(a)所示,利用構(gòu)造的線性結(jié)構(gòu)元素對(duì)人眼圖像進(jìn)行腐蝕-膨脹操作。對(duì)于ROI圖像中包含瞳孔和睫毛連通區(qū)域的情況,在人眼圖像中表現(xiàn)為睫毛大部分落在虹膜區(qū)域內(nèi),只有尖部的小部分落在瞳孔區(qū)域,如圖3(a)所示。這種情況經(jīng)過(guò)膨脹操作后,睫毛區(qū)域的每個(gè)像素點(diǎn)經(jīng)過(guò)最大值濾波,該點(diǎn)像素值被設(shè)置為結(jié)構(gòu)元素區(qū)域內(nèi)的最大值,通常為虹膜區(qū)域的像素值。而對(duì)于ROI圖像中瞳孔被睫毛過(guò)度分割的情況,在人眼圖像中表現(xiàn)為睫毛大部分都落在瞳孔區(qū)域,如圖3(d)所示。經(jīng)過(guò)腐蝕操作后,睫毛區(qū)域的每個(gè)像素點(diǎn)經(jīng)過(guò)最小值濾波,該點(diǎn)像素的值被設(shè)置為結(jié)構(gòu)元素區(qū)域內(nèi)的最小值,通常為瞳孔區(qū)域的像素值。對(duì)人眼圖像采用線性灰度級(jí)形態(tài)學(xué)濾波后,ROI只包括瞳孔區(qū)域,如圖4(b)、4(c)所示。
圖4 結(jié)合灰度級(jí)形態(tài)學(xué)濾波的ROI提取示意圖。(a)線性結(jié)構(gòu)元素;(b)樣本1的ROI圖像;(c)樣本2的ROI圖像Fig. 4 Schematic diagram of ROI extraction combined with grayscale morphological filtering. (a) Linear structural element; (b) ROI image of sample 1;(c) ROI image of sample 2
得到去除睫毛干擾的ROI后,采取對(duì)ROI做最小外接矩形的方式,設(shè)置搜索半徑范圍。由于人眼圖像存在采集不完整的現(xiàn)象,所以ROI的最小外接矩形存在3種情況,如圖5所示。
圖5 ROI的最小外接矩形示意圖Fig. 5 Schematic diagrams of minimum circumscribed rectangles of the ROI
利用幾何學(xué)知識(shí),通過(guò)最小外接矩形的長(zhǎng)寬比,確定搜索半徑范圍。設(shè)置搜索半徑的規(guī)則如下:
令最小外接矩形的長(zhǎng)寬比ratio=round,搜索步長(zhǎng)為1,搜索半徑范圍為[radii?3,radii+3]。 當(dāng)ratio≥0.90時(shí),采集的人眼圖像基本完整,如圖5(a)所示,當(dāng)0.50<ratio≤0.90時(shí),采集的人眼圖像不完整,但采集的瞳孔區(qū)域占整個(gè)瞳孔區(qū)域的面積超過(guò)一半,如圖5(b)所示,;當(dāng)ratio≤0.50時(shí),采集的人眼圖像不完整,且采集的瞳孔區(qū)域占整個(gè)瞳孔區(qū)域的面積小于一半,如圖5(c)所示,
在設(shè)置的搜索半徑范圍內(nèi),計(jì)算ROI的徑向?qū)ΨQ(chēng)度,可以避免算法進(jìn)行大面積、大范圍的搜索,從而實(shí)現(xiàn)快速、高效、自動(dòng)的瞳孔定位。首先確定合適的搜索半徑范圍;再計(jì)算ROI邊緣區(qū)域中每個(gè)搜索半徑下的梯度幅值映射矩陣Mn、梯度方向映射矩陣On以 及徑向?qū)ΨQ(chēng)度貢獻(xiàn)矩陣Sn。最后對(duì)不同搜索半徑下的徑向?qū)ΨQ(chēng)度貢獻(xiàn)矩陣Sn累加求平均,獲取最大徑向?qū)ΨQ(chēng)度對(duì)應(yīng)的坐標(biāo),將其作為瞳孔的中心點(diǎn)坐標(biāo)并根據(jù)不同搜索半徑下的最大徑向?qū)ΨQ(chēng)度確定瞳孔半徑。為了解決瞳孔中心點(diǎn)不在圖像采集區(qū)域內(nèi)導(dǎo)致算法失效的情況,本文在使用徑向?qū)ΨQ(chēng)變換算法時(shí),對(duì)統(tǒng)計(jì)投影點(diǎn)累加特性的各個(gè)矩陣的四周均進(jìn)行了最大搜索半徑的填充,從而滿足算法迭代過(guò)程的空間需求。
為了驗(yàn)證本文算法的有效性,利用計(jì)算機(jī)硬件配置為Intel Core i5-6300HQ CPU,主頻為2.3 GHz,4 GB內(nèi)存,實(shí)驗(yàn)平臺(tái)為MATLAB R2016b進(jìn)行實(shí)驗(yàn)。利用實(shí)驗(yàn)室自研的瞳孔自動(dòng)化對(duì)準(zhǔn)裝置采集人眼圖像,實(shí)驗(yàn)包括了CCD相機(jī)反射像明顯、離焦模糊、眼瞼睫毛遮擋嚴(yán)重等情況,圖像大小為752 pixel×480 pixel,結(jié)果如圖6(彩圖見(jiàn)期刊電子版)所示。圖6(a)~6(d)中紅色框標(biāo)注的區(qū)域?yàn)镽OI區(qū)域。瞳孔中心定位結(jié)果如圖6(e)~6(h)所示,其中紅色十字(圖中和綠色十字重合)表示人工標(biāo)定的瞳孔中心點(diǎn)(由專(zhuān)家手動(dòng)標(biāo)注,取多次標(biāo)注的平均值),綠色十字表示算法標(biāo)定的瞳孔中心點(diǎn),白色圓圈為算法標(biāo)定的瞳孔邊界。從提取的ROI圖像來(lái)看,灰度積分投影融合最大類(lèi)間方差方法有效提取出了瞳孔區(qū)域,ROI的灰度值范圍為[0, 50],邊界灰度值范圍為[30, 50],滿足感興趣的瞳孔-虹膜邊界灰度值范圍,為后續(xù)定位打下了基礎(chǔ)。從定位結(jié)果圖像來(lái)看,本文算法對(duì)存在各類(lèi)噪聲的人眼圖像的定位結(jié)果與人工標(biāo)定的中心點(diǎn)基本重合,說(shuō)明本文算法具有較高的定位精度,對(duì)噪聲有良好的魯棒性,適用于多種情況下的瞳孔中心點(diǎn)定位。
此外,本文算法考慮了瞳孔中心不在圖像采集區(qū)域內(nèi)的定位情況,彌補(bǔ)了目前瞳孔中心定位算法研究的空白。本文算法對(duì)于瞳孔區(qū)域采集不
完整圖像的定位結(jié)果如圖7(彩圖見(jiàn)期刊電子版)所示,由于瞳孔區(qū)域沒(méi)有被完全采集,所以在定位結(jié)果圖像的四周進(jìn)行了填充,便于顯示算法的標(biāo)記結(jié)果。從圖中可以看出,算法對(duì)于不完整瞳孔區(qū)域邊界的標(biāo)定基本與真實(shí)邊界吻合,定位精度較高。實(shí)驗(yàn)結(jié)果顯示,本文算法可以對(duì)瞳孔區(qū)域不小于30%的人眼圖像進(jìn)行定位。
圖6 (a)~(d)為瞳孔定位結(jié)果圖;(e)~(h)為人眼圖像定位結(jié)果Fig. 6 (a)~(d) Pupil positioning; (e)~(h) localization of human eye
圖7 不完整瞳孔區(qū)域圖像的定位結(jié)果圖。(a)~(d)人眼圖像; (e)~(h)定位結(jié)果Fig. 7 Incomplete pupil area image positioning. (a)~(d)Images of human eye; (e)~(h) localization of human eye
為驗(yàn)證本文算法的定位效果,將該算法與同樣基于投票思想的利用圖像梯度信息的傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法[26]、基于梯度均值的定位算法[30]進(jìn)行對(duì)比。將3種方法應(yīng)用于60幅實(shí)驗(yàn)室搭建的瞳孔自動(dòng)化對(duì)準(zhǔn)裝置采集的人眼圖像,部分實(shí)驗(yàn)圖像的對(duì)比結(jié)果如圖8(彩圖見(jiàn)期刊電子版)所示。其中,紅色十字為人工標(biāo)記的瞳孔中心點(diǎn),綠色十字、藍(lán)色十字、黃色十字依次為上述3種算法定位的瞳孔中心點(diǎn),白色圓圈為算法標(biāo)定的瞳孔邊界。
為了定量比較3種算法性能,使用定位時(shí)間和定位誤差對(duì)人眼圖像的定位結(jié)果進(jìn)行量化分析。定位誤差反映的是人工標(biāo)定的瞳孔中心和算法標(biāo)定的瞳孔中心之間的歐氏距離,其值越小表明算法的定位精度越高。本文考慮到人工標(biāo)定的平均誤差為8.424 pixel,因此設(shè)置當(dāng)算法的定位誤差在8 pixel內(nèi)時(shí),認(rèn)為算法定位準(zhǔn)確。算法對(duì)比結(jié)果見(jiàn)表1。
圖8 3種定位算法結(jié)果對(duì)比Fig. 8 Comparison of localization results by three different algorithms
表1 3種算法的精確度和實(shí)時(shí)性比較Tab. 1 Comparison of accuracy and real-time performance of three algorithms
通過(guò)比較3種算法的定位結(jié)果,可以看出本文算法和基于梯度均值的定位算法確定的瞳孔中心點(diǎn)非常接近人工標(biāo)定的中心點(diǎn)位置,但是傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法出現(xiàn)了較大的偏差。這主要是由于圖像中除了具有徑向?qū)ΨQ(chēng)特點(diǎn)的瞳孔外,還存在反射光斑、眼瞼等其他具有徑向?qū)ΨQ(chēng)特點(diǎn)的區(qū)域,并且這些區(qū)域邊緣處梯度值高,相比于瞳孔區(qū)域,徑向?qū)ΨQ(chēng)度貢獻(xiàn)更高,從而對(duì)瞳孔的定位結(jié)果產(chǎn)生影響,導(dǎo)致定位精度降低。而基于梯度均值的定位算法通過(guò)后處理,去除了高梯度值區(qū)域,有效避免了眼瞼、反射光斑等噪聲對(duì)瞳孔定位的影響。但是算法復(fù)雜度較高,實(shí)時(shí)性不好。
本文采取ROI分割、搜索半徑范圍設(shè)置對(duì)傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法進(jìn)行了改進(jìn),由表1可知,本方法的平均定位時(shí)間為0.366 s,平均定位誤差為6.318 pixel,與采集的人眼圖像的瞳孔區(qū)域相比,平均定位誤差比例為1.63%。從表1可以看出,相比于傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法,本文方法的定位精度提高了16倍,定位時(shí)間減少了92%,表明本文算法在保證高精度瞳孔定位的同時(shí),具有較高的速度??梢詽M足眼科應(yīng)用對(duì)于瞳孔定位算法實(shí)時(shí)性好、魯棒性強(qiáng)、精確度高并且具有自適應(yīng)性的要求。
為了進(jìn)一步驗(yàn)證本文方法的適用性,采用CASIA-IrisV4數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)。CASIA-IrisV4數(shù)據(jù)庫(kù)的圖像都是在近紅外光照射下或者在合成光照射下采集的,特點(diǎn)是存在睫毛遮擋、瞳孔尺度不一、反射光斑位于瞳孔區(qū)域內(nèi)且有明顯對(duì)稱(chēng)性,圖像大小為320 pixel×280 pixel。選取200張圖像進(jìn)行實(shí)驗(yàn)。部分實(shí)驗(yàn)結(jié)果圖像如圖9(彩圖見(jiàn)期刊電子版)所示??梢钥闯霰疚乃惴▽?duì)各種情況下的瞳孔都能實(shí)現(xiàn)精確定位。而傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法的定位結(jié)果受反射光斑影響明顯,這主要是由于該算法在確定對(duì)稱(chēng)中心時(shí)需要對(duì)整幅圖像在較大半徑范圍內(nèi)進(jìn)行搜索,而圖像中紅外照明光源的反射光斑位于瞳孔區(qū)域內(nèi),且形狀表現(xiàn)出明顯的對(duì)稱(chēng)性,因此反射光斑區(qū)域成為算法徑向?qū)ΨQ(chēng)度的主要貢獻(xiàn)區(qū)域,進(jìn)而導(dǎo)致傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法定位結(jié)果出現(xiàn)較大誤差。
圖9 3種算法在CASIA-IrisV4數(shù)據(jù)庫(kù)的定位結(jié)果Fig. 9 Comparison of localization results by three different algorithms in CASIA-IrisV4 database
采用定位準(zhǔn)確率、定位時(shí)間對(duì)3種算法的適用性進(jìn)行客觀評(píng)價(jià)。定位準(zhǔn)確率的含義是如果算法的定位誤差在8 pixel以?xún)?nèi),則認(rèn)為算法對(duì)于該圖像的定位結(jié)果是準(zhǔn)確的。實(shí)驗(yàn)結(jié)果如表2所示,可以看出,相比傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法和基于梯度均值的定位算法,本文方法的定位準(zhǔn)確率更高,說(shuō)明本文方法適用于大多數(shù)個(gè)體的瞳孔定位。
表2 3種算法適用性比較Tab. 2 Comparison of applicability of three algorithms
本文根據(jù)紅外眼科疾病檢測(cè)設(shè)備對(duì)于眼部對(duì)準(zhǔn)成像的需求,提出了一種基于徑向?qū)ΨQ(chēng)變換的瞳孔中心點(diǎn)定位算法。首先利用灰度積分投影結(jié)合最大類(lèi)間方差對(duì)人眼圖像進(jìn)行粗分割,并通過(guò)多團(tuán)塊篩選條件,完成了對(duì)人眼圖像的ROI分割。再根據(jù)ROI的最小外接矩形和瞳孔區(qū)域間的幾何關(guān)系,并結(jié)合灰度級(jí)形態(tài)學(xué)線性濾波,減小了睫毛遮擋對(duì)參數(shù)設(shè)置的影響,確定了搜索半徑范圍。最后,利用改進(jìn)的徑向?qū)ΨQ(chēng)變換算法進(jìn)行瞳孔中心點(diǎn)定位。
實(shí)驗(yàn)證明,本文算法的定位誤差在8 pixel以?xún)?nèi),平均定位時(shí)間為0.366 s。相較于傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法,定位精度提高了16倍,定位時(shí)間減少了92%??梢钥闯?,本文算法有效修正了傳統(tǒng)徑向?qū)ΨQ(chēng)變換算法計(jì)算成本高、自適應(yīng)性差、易受其他具有徑向?qū)ΨQ(chēng)特點(diǎn)的噪聲區(qū)域(如反射光斑、眼皮)干擾的缺陷。另外,由實(shí)驗(yàn)結(jié)果可知本文算法適用于離焦模糊、睫毛遮擋、反射像明顯等噪聲嚴(yán)重的人眼圖像定位,并且對(duì)于瞳孔中心不在圖像采集區(qū)域內(nèi)的情況也依然適用。該算法基本滿足紅外眼科疾病檢測(cè)設(shè)備對(duì)于自動(dòng)定位對(duì)準(zhǔn)裝置的要求,有助于輔助多種紅外眼科疾病檢測(cè)設(shè)備高效精確地進(jìn)行眼組織成像。但目前,本文算法對(duì)于一些出現(xiàn)瞳孔變形的病眼的定位性能仍有待進(jìn)一步研究,在以后的研究中會(huì)考慮在算法中加入變形程度判定模塊,進(jìn)而采用多方法定位來(lái)提升變形瞳孔的定位效果。