宛 楠,張 義
(1.皖南醫(yī)學(xué)院 醫(yī)學(xué)信息學(xué)院,安徽 蕪湖 241002;2.皖南醫(yī)學(xué)院 健康大數(shù)據(jù)挖掘與應(yīng)用研究中心,安徽 蕪湖 241002;3.安徽工程大學(xué),安徽 蕪湖 241000)
眼底疾病的早期發(fā)現(xiàn)和治療對(duì)臨床醫(yī)生及時(shí)遏止患者致盲過程具有重要意義。在眾多的眼底疾病中,視網(wǎng)膜病變(Diabetic Retinopathy, DR)是糖尿病慢性并發(fā)癥之一[1]。我國是糖尿病大國,因DR致盲的工作人數(shù)逐年上升,而據(jù)國際衛(wèi)生組織預(yù)測[2],2025年DR在糖尿病患者的占有比例將超過30%。
視網(wǎng)膜病變的發(fā)現(xiàn)一般需要臨床醫(yī)生對(duì)視網(wǎng)膜圖像進(jìn)行分析和診斷,而由于客觀設(shè)備(例如:眼底攝像、熒光造影術(shù))的局限,捕獲的視網(wǎng)膜圖像質(zhì)量較差,眼底血管輪廓難以分辨,雜散噪聲幅度較高,這些不利因素會(huì)導(dǎo)致對(duì)視網(wǎng)膜相關(guān)疾病的錯(cuò)誤診斷。因此,視網(wǎng)膜圖像在進(jìn)行分析之前需要進(jìn)行圖像增強(qiáng)。
目前,常見的視網(wǎng)膜圖像增強(qiáng)方法包括冪次變換(Power Transformation, PT)、指數(shù)變換(Exponential Transformation, ET)、有限對(duì)比度自適應(yīng)直方圖均衡化(Contrast-Limited Adaptive Histogram Equalization,CLAHE)、非銳化掩膜濾波器(Unsharp Masking Filter, UMF)、單尺度視網(wǎng)膜(Single Scale Retinex, SSR)和多尺度視網(wǎng)膜(Multiple Scale Retinex, MSR)。
冪次變換可以根據(jù)取值不同的調(diào)節(jié)因子[3],對(duì)圖像進(jìn)行灰度調(diào)整,其調(diào)節(jié)函數(shù)平滑,且調(diào)節(jié)效果明顯。圖像的動(dòng)態(tài)范圍非線性拉伸可采用指數(shù)變換[3],例如:針對(duì)灰度值偏小的部分進(jìn)行壓縮,而針對(duì)灰度值偏大的部分則進(jìn)行拉伸。采用直方圖均衡化的圖像增強(qiáng)方法時(shí),會(huì)將圖像中的噪聲點(diǎn)灰度值都統(tǒng)計(jì)到直方圖中,從而使得增強(qiáng)后的圖像噪聲加強(qiáng),峰值信噪比降低。為解決這一問題,王紅茹等首先利用直方圖均衡化進(jìn)行增強(qiáng)[4],而后將圖像劃分不同的子塊,每個(gè)子塊均采用有限對(duì)比度的自適應(yīng)直方圖均衡化算法進(jìn)行限幅增強(qiáng),抑制了噪聲幅值,然而顏色失真很大。非銳化掩膜濾波器需要選擇好需要突出的高頻成分[5],并壓抑低頻成分,這就使得卷積后的圖像細(xì)節(jié)和邊緣突出,而包含在邊緣內(nèi)部的區(qū)域部分則沒有加強(qiáng),最后通過融合即獲得增強(qiáng)后的圖像,然而,由于噪聲也屬于高頻成分,且噪聲分布隨機(jī),因而如果噪聲發(fā)生在平坦區(qū)域內(nèi),則其會(huì)得到較大提升,從而在區(qū)域內(nèi)形成偽邊緣。
近年來,大量的視網(wǎng)膜(Retinex)算法層出不窮的提出,并不斷地應(yīng)用到視網(wǎng)膜圖像增強(qiáng)過程中。陳琛等嘗試將SSR模型中的高斯濾波核更改為均值核[6],并將其擴(kuò)展到視覺三通道中,形成改進(jìn)的MSR算法,最后通過實(shí)例驗(yàn)證了該算法的有效性,然而,算法并沒有有效的壓抑噪聲,使得所得結(jié)果不甚理想。鮑蓉等設(shè)想增加不同類型的濾波器以便有效地控制噪聲信號(hào)[7],因而提出了將三邊濾波器替換高斯濾波器,所構(gòu)造的新型Retinex算法確實(shí)在一定程度上對(duì)圖像中的高亮部分和黑暗部分的邊緣有所增強(qiáng),然而由于三邊濾波器中的參數(shù)過多,使得增強(qiáng)效果難于控制。為了能將一致性指標(biāo)應(yīng)用到圖像增強(qiáng)效果,劉育紅等在圖像保真度框架(包含信息熵保真度、組成成分保真度和顏色保真度)約束下[8],將帶顏色恢復(fù)的MSR算法應(yīng)用到圖像增強(qiáng)過程中,獲得了良好的增強(qiáng)效果,然而在保真度方面并非魯棒。
針對(duì)以上論述中視網(wǎng)膜算法的缺陷,本文提出一種混合灰度變換Retinex算法。算法將從SSR算法出發(fā),對(duì)照射分量和反射分量分別進(jìn)行灰度變換,確定加權(quán)比例后進(jìn)行混合變換,而后將其推廣到MSR算法。
受人類的視覺生理機(jī)制的啟發(fā),蘭德提出了以顏色恒常性為基礎(chǔ)的Retinex理論[9],它的本質(zhì)在于從圖像中分離出目標(biāo)的反射分量,并將其作為目標(biāo)本源輸出,避免了因光照不同、干擾帶來的視覺錯(cuò)覺。后期提出的SSR模型[10],通過一系列的論證,采用了符合“中心-環(huán)繞”特性的高斯函數(shù)作為卷積函數(shù)對(duì)灰度圖像進(jìn)行增強(qiáng)。近年來,SSR模型的拓展模型MSR也獲得了廣泛研究[11]。下面將簡略闡述SSR及MSR的基本理論。
設(shè)圖像I(x,y)中任一像素點(diǎn)的數(shù)值為i,則對(duì)圖像進(jìn)行SSR增強(qiáng)的過程可以描述為:
(1)
其中,增強(qiáng)后的像素值為r;ε為任意小的正數(shù);*代表卷積操作;G為高斯環(huán)繞函數(shù):
(2)
(3)
實(shí)際上,單尺度視網(wǎng)膜算法僅有尺度參數(shù)σ可控,這一參數(shù)在動(dòng)態(tài)范圍調(diào)節(jié)和顏色恒常性之間很難折中,因而針對(duì)彩色圖像處理時(shí),可以根據(jù)通道的不同選擇不同的尺度參數(shù)參與卷積,最后通過權(quán)值分配后進(jìn)行合并操作。其相應(yīng)的描述為:
(4)
一般情況下,研究者們利用多尺度Retinex算法增強(qiáng)圖像時(shí),對(duì)圖像進(jìn)行對(duì)數(shù)變換來區(qū)分照射分量與反射分量,但是這樣往往忽視了光照部分。所以本文加入了混合灰度變換函數(shù),其數(shù)學(xué)表達(dá)式為:
(5)
其中D表示圖像的動(dòng)態(tài)范圍,按8位灰度圖像定義,D一般取為256。λ為光照分量與陰影分量的協(xié)調(diào)參數(shù),其值可定義如下
(9)
其中M為像素點(diǎn)的總數(shù),Ω為像素位置集合,S+(x,y)和S-(x,y)為光照分量與陰影分量在坐標(biāo)(x,y)位置的局部標(biāo)準(zhǔn)差。
根據(jù)以上的推導(dǎo)和分析,HGTR算法可以描述為:
Step 1:源圖像進(jìn)行SSR增強(qiáng);
Step 2:將增強(qiáng)后的圖像進(jìn)行三通道(如:R、G、B)分離,分別進(jìn)行以下處理;
Step 3:利用大津法將光照部分和陰影部分區(qū)域劃分出來;
Step 4:利用公式(6)—(9)進(jìn)行計(jì)算,以便獲得混合灰度變換函數(shù);
Step 5:利用公式(5)獲得加權(quán)后不同通道的合并圖像;
實(shí)驗(yàn)中的計(jì)算機(jī)硬件平臺(tái)為酷睿i7-6500U,16GBDDR3L內(nèi)存,軟件中操作系統(tǒng)為Win10,仿真應(yīng)用軟件為MatlabR2016a。為檢驗(yàn)算法的有效性,實(shí)驗(yàn)圖像數(shù)據(jù)來自三個(gè)圖像數(shù)據(jù)庫,即:STARE: STructured Analysis of the Retina、FIRE: Fundus Image Registration Dataset和ALOI: Amsterdam Library of Object Images,以下將在實(shí)驗(yàn)過程中再做介紹。
為了對(duì)圖像增強(qiáng)效果有具體的認(rèn)知和度量,本文采用了常用的4種客觀評(píng)價(jià)指標(biāo)[12],即峰值信噪比(PSNR)、信息熵、清晰度和結(jié)構(gòu)相似度(SSIM)。圖像間的均方誤差定義如下:
(10)
其中m和n分別為圖像的高和寬;Xij和Yij分別表示源圖像和參考圖像中第i行、第j列的像素值。PSNR的定義如下:
(11)
其中η為像素的位長;PSNR的單位是分貝(db),其值越大,失真越小。圖像信息熵的定義為:
(12)
圖像信息熵越大,則其信息量越大,即紋理或細(xì)節(jié)越豐碩。圖像的清晰度定義為:
(13)
式中參數(shù)的含義與式(10)相同。由定義可知,圖像的清晰度是圖像中細(xì)節(jié)和邊緣的度量指標(biāo),其值越大說明圖像越清晰。圖像的結(jié)構(gòu)相似度定義為[13]:
圖1 圖像增強(qiáng)效果對(duì)比(第一行中圖像分別為源圖像、PT、ET和CLAHE,第二行中圖像分別為UMF、SSR、MSR和HGTR)
(14)
其中:
式中,σX和σY分別表示兩幅圖像的方差;μX和μY分別表示它們的均值;σXY表示圖像間的協(xié)方差;C1、C2和C3均為小常數(shù),保證分母不為零。
STARE圖像數(shù)據(jù)庫是由加州大學(xué)圣地亞哥分校提供,并由美國國立衛(wèi)生研究院資助的。數(shù)據(jù)庫中存有大量的視網(wǎng)膜圖像,而這些圖像均被很多專家根據(jù)各自經(jīng)驗(yàn)診斷并出具報(bào)告,以便供給醫(yī)學(xué)圖像研究使用。本文所提到的各種算法在這個(gè)圖像數(shù)據(jù)庫中均已實(shí)驗(yàn),下圖為其中一幅源圖像經(jīng)過各種算法增強(qiáng)后得到的結(jié)果。
從圖1可以看出,PT和CLAHE所得到的圖像效果一般,ET、SSR和MSR得到的效果較差,其中ET因源圖像中心區(qū)域較亮,所以受參數(shù)控制而壓抑了其增強(qiáng)效果,SSR和MSR的部分增強(qiáng)效果明顯,但右下角出現(xiàn)大量的綠色光暈現(xiàn)象,使得圖像增強(qiáng)效果變差,UMF的增強(qiáng)效果良好,但在平坦區(qū)有較多的噪聲,本文所提出的HGTR的增強(qiáng)效果最好,且噪聲分量很小。依照4中客觀性指標(biāo)進(jìn)行計(jì)算,可以獲得表1中數(shù)據(jù)。
從表1的前4種指標(biāo)可以看出,HGTR算法相較其他算法具有明顯的優(yōu)勢(shì),而且算法的耗時(shí)不多,易于實(shí)現(xiàn)實(shí)時(shí)化處理。為檢測算法的有效性,本文還選用了FIRE數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)。FIRE數(shù)據(jù)庫來自于塞薩洛尼基的亞里士多德大學(xué)帕佩佐治醫(yī)院的39名患者的視網(wǎng)膜圖像,其中包含129張視網(wǎng)膜圖像,這些圖像的分辨率均為2912x2912像素,是用Nidek AFC-210 fundus相機(jī)獲得的。
表1 4種客觀性圖像質(zhì)量評(píng)價(jià)指標(biāo)及運(yùn)行時(shí)間對(duì)比
表2 4種客觀性圖像質(zhì)量評(píng)價(jià)指標(biāo)及運(yùn)行時(shí)間對(duì)比
圖2 圖像增強(qiáng)效果對(duì)比(第一行中圖像分別為源圖像、PT、ET和CLAHE,第二行中圖像分別為UMF、SSR、MSR和HGTR)
圖3 HGTR算法對(duì)不同色溫圖像的增強(qiáng)(第一行中圖像色溫分別2175 K、2250 K、2325 K、2400 K、2475 K、2550 K、2625 K、2675 K、2750 K、2850 K、2975 K和3075 K)
由對(duì)STARE和FIRE兩種數(shù)據(jù)庫中的圖像進(jìn)行測試,我們得到了一致的結(jié)論,從以上的主客觀圖像增強(qiáng)的結(jié)果可以說明,本文所提算法具有良好的有效性。
彩色圖像增強(qiáng)過程需要考慮算法與色偏的關(guān)系。為此,我們選擇了ALOI數(shù)據(jù)庫進(jìn)行測試。ALOI中的色溫測試集每種測試圖包含12幅子圖像[14],可以從圖3的第一行看出它們的色溫(單位為開爾文,簡計(jì)為K)存在區(qū)別。
從圖3可以看出HGTR增強(qiáng)算法對(duì)于色偏的圖像增強(qiáng)存在較小的偏差,具有較好的魯棒性。為了具體說明,本文采用客觀性測量的方法,用增強(qiáng)后的色偏對(duì)比數(shù)值進(jìn)行評(píng)估。考慮到色差計(jì)算的方便性,可以將圖像均轉(zhuǎn)換到Y(jié)CbCr空間中,則圖像色溫估計(jì)值可按L2范數(shù)定義為:
(18)
假定原始圖像和增強(qiáng)圖像的色溫估計(jì)值分別為Koriginal和Kenhanced,則相對(duì)色偏可定義為:
(19)
采用不同的算法分別對(duì)具有不同色溫的圖像進(jìn)行增強(qiáng)后,計(jì)算圖像數(shù)據(jù)可得色溫偏差對(duì)比表,詳見表3中所示。
表3 圖像增強(qiáng)算法的色偏對(duì)比表
由表3的數(shù)據(jù)可以看出,采用原始的SSR和MSR算法色偏值很大,主要的原因在于這兩種算法對(duì)無顏色的黑色區(qū)域的圖像增強(qiáng)程度過高,因而在進(jìn)行三通道合并后的數(shù)值偏大。同時(shí),可以看出,本文提出的混合灰度變換Retinex算法對(duì)色偏的控制低于3%,這主要得益于算法對(duì)不同的灰度采用了不同的比例控制因子。
本文以SSR為基礎(chǔ),將混合灰度變換過程加入其中,提出一種新型的圖像增強(qiáng)算法。首先通過基本的SSR算法獲得反射分量,在反射分量的基礎(chǔ)上用大津法區(qū)分光照部分和陰影部分,而后通過加權(quán)調(diào)節(jié)各通道的灰度圖像的增強(qiáng)幅值,達(dá)到對(duì)彩色圖像增強(qiáng)的效果。經(jīng)由仿真實(shí)驗(yàn)可以得出,HGTR算法對(duì)視網(wǎng)膜圖像增強(qiáng)效果較佳,而且對(duì)色偏圖像的增強(qiáng)具備良好的魯棒性。
本文的視網(wǎng)膜圖像數(shù)據(jù)庫來自于公開數(shù)據(jù)集中,進(jìn)一步,為了減少造影劑對(duì)人體的傷害,擬從實(shí)際的臨床過程中獲取圖像數(shù)據(jù),繼而將本文的算法應(yīng)用到臨床。