葉曉杰,趙巨峰,2,公曉麗,2,朱禮堯,崔光茫

(1.杭州電子科技大學(xué)電子信息學(xué)院,浙江 杭州 310018; 2.杭州電子科技大學(xué)射頻電路與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室,浙江 杭州 310018)

1 引 言

隨著經(jīng)濟(jì)的發(fā)展,如何實(shí)時監(jiān)控海洋等水面環(huán)境成為保障安全、發(fā)展海洋經(jīng)濟(jì)的重要一環(huán)。由于海面復(fù)雜環(huán)境的影響,尤其是大范圍濃厚水霧等惡劣天氣影響,紅外成像的目標(biāo)對比度急劇下降。硬件器件受限,只能依賴復(fù)原增強(qiáng)技術(shù)提升對比,為探測識別奠定基礎(chǔ)。

為了提升圖像的視覺效果,便于觀察或機(jī)器識別,需要對紅外圖像進(jìn)行增強(qiáng)[1]。近年來,研究紅外圖像增強(qiáng)的算法很多,包括直方圖均衡化(Histogram Equalization,HE)[2]、對比度自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)增強(qiáng)[3]、分層圖像增強(qiáng)、子帶分解多尺度的圖像增強(qiáng)[4]、頂帽變換(Multi Scale &Top-Hat,MSTH)圖像增強(qiáng)[5]、基于雙峰高斯函數(shù)規(guī)定化的變分增強(qiáng)[6]等。劉軼彤等通過Kinect立體相機(jī)獲取紅外圖像的深度信息,根據(jù)景深來分離船舶目標(biāo)區(qū)域和背景區(qū)域,通過設(shè)定初始閾值,進(jìn)行冗余灰度壓縮、冪指數(shù)拉伸和直方圖均衡,實(shí)現(xiàn)了紅外圖像的增強(qiáng)[7]。曹慧等采用類似可見光去霧的暗原色算法提高了紅外圖像對比度[8],凸顯細(xì)節(jié)信息,并提高了信噪比。平臺直方圖均衡化方法是通過選取合適的平臺閾值來抑制對紅外圖像中背景和噪聲的過度增強(qiáng),但閾值選取依賴經(jīng)驗(yàn),限制了算法的應(yīng)用[9]。為了更好凸顯圖像中的目標(biāo),將脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)分割和模糊集理論相結(jié)合,也可實(shí)現(xiàn)紅外圖像的增強(qiáng)[10]。

為將紅外復(fù)原增強(qiáng)方法應(yīng)用于實(shí)際系統(tǒng),一是效率要求,即運(yùn)行速度快,參數(shù)適應(yīng)性強(qiáng)；二是效果要求,即增強(qiáng)效果好。統(tǒng)籌相關(guān)算法的優(yōu)勢與不足,本文提出一種水面環(huán)境下的紅外圖像增強(qiáng)算法,效果好,速度快,參數(shù)適應(yīng)性強(qiáng)。該方法在分析水面環(huán)境紅外成像退化機(jī)理的基礎(chǔ)上,結(jié)合暗通道先驗(yàn)[11]粗略估計(jì)透過率,結(jié)合邊緣權(quán)重分析估計(jì)精細(xì)透過率與路徑輻射,針對性地增強(qiáng)細(xì)節(jié)亮度,快速提升降質(zhì)紅外圖像的視覺效果。

2 基本理論與輻射分析

在水面環(huán)境下成像,一方面是來自于場景與物體的輻射Eradiation；由于水汽的影響,路徑輻射能量Epath也相對較大。因此,紅外傳感器獲取的能量Esensor可以表示為:

Esensor=Eradiation+Epath

(1)

一方面,場景輻射隨著傳輸距離而迅速衰減。根據(jù)衰減規(guī)律,到達(dá)傳感器的輻射結(jié)果為:

(2)

E0(λ)是場景在波段λ1～λ2上的輻射;τ(λ)是大氣透過系數(shù);D表示場景各處到相機(jī)的實(shí)際距離。為運(yùn)算方便,用波段均值E0代替波段的積分均值,用大氣平均透過率T代替e-τ(λ)D積分。E0為場景本身的輻射,即我們待求的原始輻射。

另一方面,路徑輻射隨著實(shí)際距離D的增大而增大。距離積分得到有效路徑輻射:

Epath=I∞(1-e-τ(λ)D)=I∞(1-T)

(3)

式中,當(dāng)D無窮大時,T=0,路徑輻射最大即I∞,它代表大氣的光強(qiáng)程度。

結(jié)合公式(1)～(3),原始輻射E0可推導(dǎo)得到:

(4)

為防止病態(tài),分母趨近于0時,一般由較小的常數(shù)代替。從原理上看,Esensor、E0都是輻射,而通常所獲取的是紅外的灰度圖像,因此最佳的策略是先對相機(jī)進(jìn)行輻射標(biāo)定。在近似情況下,可用圖像代替輻射。因此,上式中,Esensor即觀測圖像,E0即待求清晰圖。若能較好獲取I∞與T,即可實(shí)現(xiàn)增強(qiáng)獲取原始清晰圖像。

3 結(jié)合邊緣分析與參數(shù)估計(jì)的紅外增強(qiáng)

3.1 紅外圖的邊緣分析

水面紅外圖像中,景物是有限的局部區(qū)域,利用邊緣矩陣M可以分析局部區(qū)域的灰度狀況。M一般在N×N窗口內(nèi)計(jì)算,對像素(x,y)處的Mxy有:

(5)

(6)

α可以決定M中值的范圍,其具體可由下式確定:

(7)

n=c-c×s

(8)

由此獲取的M矩陣,可以歸一化到[0,1],表征灰度相對強(qiáng)弱變化的程度。

3.2I∞與T的估計(jì)

為防止零星噪點(diǎn)的影響,在M>th(閾值)的對應(yīng)區(qū)域,搜尋觀測圖像的前5個最大值的平均值作為I∞值。一方面由于局部方差是N×N窗口內(nèi)的,克服了噪點(diǎn)的影響,另一方面,觀測當(dāng)前圖c的灰度值較大值也分布于M值較大的附近,可以有效防止盲目搜尋。

對透過率T的求解,借鑒可見光暗通道去霧透過率的求解方式,使用局部區(qū)域的最小值的相關(guān)函數(shù),來表征透射率。于是,某N×N鄰域內(nèi)的透過率為:

(9)

公式的透過率t是粗糙的,N×N鄰域內(nèi)都是相同的,需要像素級別上的細(xì)化。對于水面環(huán)境下的紅外圖像,感興趣的目標(biāo)或者像素是有限的,細(xì)化的過程中,只需要對那些潛在目標(biāo)區(qū)域進(jìn)行更好的細(xì)化,而其他區(qū)域相對平滑即可。這里,使用結(jié)合邊緣矩陣M的導(dǎo)向?yàn)V波細(xì)化,其細(xì)化在r×r的局部空間內(nèi)操作,在任何像素(x,y)處,有透過率:

(10)

式中,Kxy即濾波器;對于此變異公式的導(dǎo)向?yàn)V波輸入,包括c以及經(jīng)邊緣矩陣約束的粗糙透過率(Mt),由此可獲得適合此應(yīng)用場景的較為精細(xì)的透過率圖。導(dǎo)向?yàn)V波的具體解釋可參見文獻(xiàn)[12]。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)說明

本實(shí)驗(yàn)采用的臺式機(jī)配置為雙核CPU(1.7 GHz),運(yùn)行平臺為Matlab R2010b。采用了三幅圖(圖1)來驗(yàn)證算法的效果,并且選用了三種常用及出色的紅外圖像增強(qiáng)算法進(jìn)行對比,包括直方圖均衡化法(HE)[2],對比度自適應(yīng)直方圖均衡化法(CLAHE)[3]和頂帽變換法(MSTH)[5]。圖2～4是本文方法與三種對比方法對圖1進(jìn)行紅外增強(qiáng)后的視覺效果比較。

圖1 原始紅外圖像實(shí)例

圖2 用四種方法的算法對圖1

圖3 用四種方法的算法對圖1(b)進(jìn)行紅外 圖像增強(qiáng)后的比較示意圖

圖4 用四種方法的算法對圖1(c)進(jìn)行紅外 圖像增強(qiáng)后的比較示意圖

4.2 主觀評價

圖像質(zhì)量評價的方式包含人眼主觀評價和算法客觀評估。通常,主觀評價為最佳方式。

圖1(a)是一艘輪船的紅外圖像,圖2(a),(b),(c)和(d)分別是用本文算法、HE方法、CLAHE方法和 MSTH方法的增強(qiáng)結(jié)果。通過觀察,HE方法和CLAHE方法導(dǎo)致了較多區(qū)域的過度增強(qiáng),引入了噪聲,視覺效果甚至比原圖更差；而圖2(d)中視覺效果相對更好,但圖2(a)視覺效果最佳,實(shí)現(xiàn)了輪船目標(biāo)特征區(qū)域增強(qiáng)及背景雜波、噪聲抑制的平衡,這說明本文算法在紅外圖像增強(qiáng)方面的優(yōu)勢。

圖1(b)是水面環(huán)境中有兩艘艦船的紅外圖,艦船比較模糊,不易分辨。圖3(a),(b),(c)和(d)分別為本文算法、HE方法、CLAHE方法和 MSTH方法的增強(qiáng)結(jié)果。圖3(b)中幾乎看不到艦船,視覺效果不佳；圖3(c)中CLAHE方法增大了整幅圖的亮度,無法確定目標(biāo)區(qū)域；圖3(d)的主觀評價比圖3(b)和(c)高,然而,與其他效果圖相比,圖3(a)中艦船這一目標(biāo)區(qū)域更亮,達(dá)到了更好的視覺效果,主觀評價更好。

圖1(c)是兩艘游艇的紅外圖,海中的兩艘游艇非常模糊。圖4(a),(b),(c)和(d)是四種方法的增強(qiáng)視覺圖。從圖4(b)中可以看出一些圖像信息,但圖像整體偏亮,對比度低,較難分辨目標(biāo)信息；圖4(c)中目標(biāo)區(qū)域無法得到有效增強(qiáng)；圖4(d)的視覺效果好,但背景上出現(xiàn)了較為明顯的偽信息；相比之下,圖4(a)中游艇這一目標(biāo)區(qū)域更亮,雜波與噪聲得到相對抑制,說明本文算法比HE、CLAHE和MSTH等方法更能有效實(shí)現(xiàn)紅外圖像的增強(qiáng)。

從圖1～4的視覺效果角度觀察,HE、CLAHE方法不能有效地增強(qiáng)這些紅外圖像,非目標(biāo)區(qū)域被過度增強(qiáng),其視覺效果與原始圖像相比甚至變差；MSTH方法的主觀評價比HE方法和CLAHE方法高,但有時會引入背景雜波；本文方法能夠有效增強(qiáng)目標(biāo)區(qū)域,抑制背景雜波,視覺效果更佳。

4.3 客觀評價方法

客觀評價方法使用模糊線性指標(biāo)(LIF)方法[13-14],該方法廣泛應(yīng)用于圖像增強(qiáng)的客觀評價。LIF的度量標(biāo)準(zhǔn)γ指標(biāo)定義為:

(11)

(12)

其中,f(x,y)和max(f)表示(x,y)處的灰度值和圖像f的最大灰度值;W、H即f的寬度、高度。γ值越小說明增強(qiáng)質(zhì)量越好。圖2～4都用γ值進(jìn)行了評估,表1列出了四種算法的γ指標(biāo)值。根據(jù)表1,三幅原圖的γ值是最大的,說明四種算法都能增強(qiáng)原圖；其中本文算法的γ值最小,表明本文算法在紅外圖像增強(qiáng)上的優(yōu)勢。

表1 對圖2～4的結(jié)果使用LIF方法計(jì)算的γ指標(biāo)

此外,運(yùn)行速度是衡量圖像算法性能的重要指標(biāo)之一。實(shí)驗(yàn)中,圖像的尺寸大約為256×210,四種方法的處理時間如表2所示。由表2可知,本文方法和HE方法及CLAHE方法的處理時間相近,遠(yuǎn)遠(yuǎn)小于MSTH方法。但HE方法和CLAHE方法的主、客觀評價差。

根據(jù)實(shí)驗(yàn)結(jié)果可以看出,本文方法主客觀評價一致,都比HE方法、CLAHE方法和MSTH方法高,計(jì)算速度快,效率高。因此,本文方法總體表現(xiàn)最為優(yōu)異。

表2 使用四種方法對圖2～4進(jìn)行計(jì)算的時間 (單位:秒)

5 總 結(jié)

本文提出了一種基于大氣傳輸模型及加入權(quán)重分析的紅外圖像增強(qiáng)方法。通過輻射理論分析獲得了原始場景關(guān)于透射率與路徑輻射光的函數(shù)表達(dá)；通過暗通道先驗(yàn)、邊緣權(quán)重分析與導(dǎo)向?yàn)V波,獲取精細(xì)透過率；并在邊緣分析基礎(chǔ)上,確定了路徑輻射。觀測實(shí)驗(yàn)證明本文增強(qiáng)結(jié)果的潛在目標(biāo)區(qū)域的局部對比好,突出了邊緣與紋理特征。相比于其他方法,此方法對于在水面環(huán)境下的紅外增強(qiáng)有著許多的優(yōu)點(diǎn):權(quán)重的分析增強(qiáng)模型極大地提高了視覺效果；算法運(yùn)行速度快,實(shí)時性較好。

在今后的研究中,一是參數(shù)自動化,即更加注重于如何自動設(shè)置參數(shù)來達(dá)到最好的實(shí)驗(yàn)效果；二是進(jìn)一步的提升運(yùn)行速度,比如綜合光路、加速算法等思路進(jìn)行開拓。

[1] LIU Rang, WANG Dejiang,JIA Ping,et al.Overview on small target detection technology in infrared image[J].Laser & Optoelectronics Progress,2016,(5):050004.(in Chinese)

劉讓,王德江,賈平,等.紅外圖像弱小目標(biāo)探測技術(shù)綜述[J].激光與光電子學(xué)進(jìn)展,2016,(5):050004.

[2] J A Stark. Adaptive image contrast enhancement using generalizations of histogram equalization[J].IEEE Transactions on Image Processing,2000,9(5):889-896.

[3] S Mohan, M Ravishankar.Modified contrast limited adaptive histogram equalization based on local contrast enhancement for mammogram images[J].Mobile Communication and Power Engineering Communications in Computer and Information Science 2013,296:397-403.

[4] ZHOU Yuren, GENG Aihui,WANG Ying,et al.Contrast enhanced fusion of infrared and visible images[J].Chinese Journal of Lasers,2014,41(9):0909001.(in Chinese)

周渝人,耿愛輝,王瑩,等.基于對比度增強(qiáng)的紅外與可見光圖像融合[J].中國激光,2014,41(9):0909001.

[5] X Bai, F Zhou,B Xue.Image enhancement using multi scale image features extracted by top-hat transform[J].Optics & Laser Technology,2012,44(2)：328-336.

[6] ZHAO Wenda, ZHAO Jianm,ZHAO Fan,et al.Variable infrared image enhancement of bimodalgaussian function specification[J].Chinese Journal of Lasers,2014,41(3):0309002.

趙文達(dá),趙建,趙凡,等.雙峰高斯函數(shù)規(guī)定化的變分紅外圖像增強(qiáng)[J].中國激光,2014,41(3):0309002.

[7] LIU Yitong. Enhancement algorithm of infrared images based on Kinect and histogram equalization[J].Ship Science and Technology,2015,37(3):173-176.(in Chinese)

劉軼彤.基于Kinect和直方圖均衡化的紅外圖像增強(qiáng)算法[J].艦船科學(xué)技術(shù) 2015,37(3):173-176.

[8] CAO Hui,ZHANG Baohui,CHEN Lei,et al.Research of infrared images enhancement technique based on pseudo dark channel prior[J].Infrared Technology,2016,38(6):476-480.(in Chinese)

曹慧,張寶輝,陳磊,等.基于偽暗原色的紅外增強(qiáng)技術(shù)研究[J].紅外技術(shù),2016,38(6):476-480.

[9] K Liang, Y Ma,Y Xie,et al.A new adaptive contrast enhancement algorithm for infrared images based on double plateaus histogram equalization[J].Infrared Physics & Technology,2012,55(4):309-315.

[10] SU Juan, LI Bing,WANG Yanzhao.Infrared image enhancement based on PCNN segmentation and fuzzy set theory[J].Acta Optica Sinica,2016,36(9):0910001.(in Chinese)

蘇娟,李冰,王延釗.結(jié)合PCNN分割和模糊集理論的紅外圖像增強(qiáng)[J].光學(xué)學(xué)報,2016,36(9):0910001.

[11] K He, J Sun,X Tang.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[12] K He, J Sun,X Tang.Guided image filtering[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

[13] J Zhao, Y Chen,H Feng,et al.Fast image enhancement using multi-scale saliency extraction in infrared imagery[J].Optik-International Journal for Light and Electron Optics,2014,125(15):4039-4042.

[14] A Kaufmann, D L Swanson.Introduction to the theory of fuzzy subsets[M].New York:Academic Press,1975.