汪 忱，張寶輝，王 虹，李中文

?

基于視覺顯著區(qū)域的紅外圖像增強算法研究

汪 忱1，張寶輝2，王 虹1，李中文2

（1. 南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，江蘇 南京 210094；2. 北方夜視科技集團有限公司南京研發(fā)中心，江蘇 南京 211106）

人眼對于感興趣區(qū)域的視覺關(guān)注度更高，為了實現(xiàn)對相關(guān)區(qū)域的圖像增強，本文提出了基于視覺顯著區(qū)域的紅外圖像增強算法。本算法通過去霧預(yù)處理使圖像在檢測時獲取更加完整的顯著性區(qū)域，再對該區(qū)域采用分層差分表達理論，把高層的差分向量換算到低層，最終計算顯著性區(qū)域的差分向量以及圖像的全局變換函數(shù)，實現(xiàn)圖像增強。實驗結(jié)果表明，本文算法對顯著性區(qū)域的增強效果明顯，合理地突出了顯著性區(qū)域，增強圖像的同時對原圖邊緣細節(jié)的保持能力很好。

視覺顯著性；分層差分表達理論；紅外圖像增強；去霧

0 引言

由于紅外成像具有環(huán)境適應(yīng)性強、隱蔽性好、抗干擾能力強等優(yōu)點，被廣泛應(yīng)用于監(jiān)控、偵查和醫(yī)療等軍民領(lǐng)域，但由于自身硬件設(shè)備的限制和環(huán)境的干擾，圖像的成像質(zhì)量不高，通常表現(xiàn)為視覺效果模糊、對比度低、細節(jié)和紋理缺乏。因此對紅外圖像進行增強處理是必不可少的[1]。

常見的圖像增強方法可分為空域增強和頻域增強兩大類，其中空域增強算法有灰度變換和直方圖均衡化（Histogram Equalization，HE）以及各種基于此改進的算法，如平臺直方圖增強（Plateau Histogram Equalization，PHE）、對比度受限的直方圖均衡化（Contrast Limited Adaptive Histogram Equalization ，CLAHE）等；頻域增強算法主要有小波變換、基于對數(shù)運算的Retinex算法等[2]。直方圖均衡化算法簡單快捷，但其在增強目標(biāo)細節(jié)的同時也增強了圖像中噪聲的對比度，會使增強后的圖像灰度級減少，出現(xiàn)較大的噪聲；平臺直方圖均衡化設(shè)置了上下限平臺，對細節(jié)有所增強，但其本質(zhì)還是直方圖均衡化，同樣會導(dǎo)致部分區(qū)域出現(xiàn)過增強現(xiàn)象[3]。

對于一幅場景來說，人眼通常會被這個場景中某些與周圍環(huán)境有一定差異性的局部所吸引，這些局部對于這個場景來說就屬于顯著性區(qū)域。如果能夠在考慮人眼視覺特性的基礎(chǔ)上進行增強處理，那么對圖像處理結(jié)果的主觀質(zhì)量和客觀評價無疑會有明顯的提高[4]。視覺顯著區(qū)域檢測一般分為兩類，一種是自下而上的區(qū)域檢測，該模型不需要人的主觀認(rèn)識或習(xí)慣進行引導(dǎo)；另一種是自上而下的區(qū)域檢測，該模型考慮了人的視覺任務(wù)以及人在不同場景下對目標(biāo)的感知。1998年的itti模型[5]以及本文采用的顯著性濾波（Saliency Filters，SF）算法都是屬于自下而上模型，相比自上而下的模型處理速度會快很多。本文提出一種針對視覺顯著性區(qū)域的圖像增強算法，先通過SF算法檢測出圖像中的顯著性區(qū)域，再結(jié)合該區(qū)域和非顯著性區(qū)域的圖像信息得到全局函數(shù)，增強圖中的顯著性目標(biāo)。

1 本文算法思路

在實際觀測過程中，人眼對感興趣的區(qū)域關(guān)注度更高，在計算機視覺中一般稱之為顯著性區(qū)域[6]。為了實現(xiàn)對顯著性區(qū)域的有效增強，本文采用一種基于顯著性區(qū)域紅外圖像增強算法。該算法首先檢測圖像中的顯著性區(qū)域，然后分析該區(qū)域的差分信息，計算差分向量并對其進行高斯濾波，再把得到的差分向量與非顯著性區(qū)域的向量加權(quán)融合得到圖像的變換函數(shù)，重建后實現(xiàn)對顯著性區(qū)域的增強。由于紅外探測器接收鏡頭自身問題以及外界各種物體所產(chǎn)生的散射等影響，造成紅外圖像表面會出現(xiàn)“霧”一樣的現(xiàn)象，表面有霧的紅外圖像會出現(xiàn)視覺效果模糊、對比度低等缺點，導(dǎo)致顯著性檢測準(zhǔn)確度降低，因此本文對圖像進行去霧預(yù)處理，再檢測其顯著性區(qū)域。全文算法模型如圖1所示。

圖1 本文算法流程圖

具體可分為4個部分：紅外圖像預(yù)處理、顯著性區(qū)域檢測、顯著性區(qū)域差分向量計算和獲取、全圖灰度映射。

1.1 紅外圖像預(yù)處理

本文結(jié)合偽暗通道與大氣散射模型[8]，建立如下紅外去霧模型：

1()＝1()1()＋1(1－1()) (2)

重新定義大氣散射模型中的參數(shù)：1()為未進行去霧處理的紅外圖像；1()為去霧處理后的紅外圖像；1()為紅外光的透射率；1為環(huán)境大氣光值。

同時對1()和1()進行偽暗通道處理得：

根據(jù)式(1)可知去霧后場景區(qū)域的偽暗通道值min(())近似為0。進而可以得到透射率1()：

根據(jù)式(2)推導(dǎo)出最終去霧后的圖像為：

式中：0是為了防止1()過小，導(dǎo)致1()偏大，從而設(shè)置的一個閾值。由于紅外圖像是單通道灰度圖，僅按照參考文獻中取偽暗通道中亮度前1%的像素會導(dǎo)致取值過少，不能很好的表達全圖，因此本文取亮度前3%的像素，對應(yīng)原圖灰度值中最大的作為1的值。

1.2 顯著性區(qū)域檢測

SF算法顯著性區(qū)域檢測是把圖像的一些低層特征（如亮度，顏色，方向，形狀等）分別表示出來，屬于一種基于對比度濾波的顯著性區(qū)域檢測算法，分為4個步驟：抽象分割，元素唯一性，元素空間分布以及顯著性分配[9]。

在CIELab空間下，SF算法利用鄰近聚類法進行分割，將圖像中局部相似的區(qū)域聚合，稱之為元素，把一幅圖像由像素級變換成元素級。接著對于已分割好的圖像進行元素唯一性計算，單個元素與其他元素差異越大，U值越大，那么其顯著性也就越高。背景的顏色一般分布在圖像的各個部分，而前景的顏色會集中在少數(shù)的幾個部位。設(shè)第個元素的空間分布頻率為D，如果該元素在圖像上出現(xiàn)的頻率小，說明其顯著性比較高，只有當(dāng)該元素的唯一性大且元素的空間分布頻率小，才會被認(rèn)為其屬于顯著性區(qū)域。通過前兩步得到的U和D，將這兩個顯著性特征值歸一化，融合得到每個元素的最終顯著性S，由于空間分布值D的區(qū)分度更高，SF算法將D放在指數(shù)位置：

S＝U×exp(－×D) (6)

最后，把圖像由元素級變換回像素級，利用高斯濾波計算每個像素的顯著性：

圖2將SF算法與itti算法對顯著區(qū)域檢測效果對比，可見SF算法在邊緣保持方面比itti算法好很多，顯著區(qū)域的輪廓基本保持。對圖像去霧后再用SF算法檢測，可以將更多細節(jié)部分的邊緣突顯出來，檢測更加完善。

圖2 不同算法檢測顯著性區(qū)域的結(jié)果

1.3 顯著性區(qū)域差分向量計算和獲取

接著對顯著區(qū)域進行差分向量分析統(tǒng)計[10]，以8位圖像為例，＝[0;1; …;255]表示將輸入圖像中的灰度級映射到輸出圖像中的x的變換函數(shù)。假設(shè)圖像中一對相鄰的像素灰度值為和＋1，被映射到輸出圖像上灰度級為x和x＋1，則第層的差分向量d定義式為：

變換函數(shù)和差分變量d的關(guān)系結(jié)構(gòu)如圖3所示，令(,＋1)為輸入圖像中灰度值為和＋1的相鄰像素對的數(shù)量，(,＋1)越大表示這對相鄰灰度級在圖像中出現(xiàn)越頻繁，因此，可以通過增大d的值來突出圖像的對比度，對于每一層來說，d和(,＋1)是成正比例的：

d＝(,＋1) (9)

式中：為第層一個歸一化常量，定義式為：

根據(jù)各層的差分直方圖可以計算出d，再通過層與層之間的關(guān)系，建立如下線性方程：

＝(11)

本文考慮金字塔結(jié)構(gòu)中層與各層的內(nèi)在聯(lián)系，選取固定層作為基層，并將其他層的差分向量轉(zhuǎn)換到基層上[11]。然而，這種方法對基層的選擇要求嚴(yán)格，如果基層選擇過高，會導(dǎo)致舍棄的低層過多，丟失部分信息，經(jīng)過大量紅外圖像實驗表明，當(dāng)基層選擇第二層時，僅舍棄第一層的數(shù)據(jù)，留下有效的差分信息與原始圖像的最為接近，最終丟失信息不明顯且增強效果最好。聯(lián)系式(8)可得其他各層與第二層的轉(zhuǎn)換公式為：

由于基層選擇的是第二層，只用解一次線性方程就能得到所需要的總體差分向量，即只需要解22＝2，用線性方程表示即為：

通過計算上式，可得總體差分變量y。由于式(7)中的(,＋1)通常隨著層數(shù)的變高而變得更加稀疏，當(dāng)取值較大時，d會變成僅由大多數(shù)零和幾個高峰組成的稀疏解。這會使增強圖像出現(xiàn)像傳統(tǒng)HE算法中噪聲放大和對比度過度拉伸的情況，為了消除這個問題，本文對y進行一次高斯濾波：

式中：*代表卷積運算，g是層的高斯核，本文對該高斯核窗口大小取7，標(biāo)準(zhǔn)差取2。

1.4 全圖灰度映射

是通過對顯著性區(qū)域進行差分信息分析統(tǒng)計得到的，是針對顯著性區(qū)域的差分向量，為了防止非顯著性區(qū)域出現(xiàn)過度增強，本文定義一個非顯著性差分向量為1，即由255個1組成的差分向量，再對加權(quán)并與其相加，得到總體差分向量為：

式中：在本文中取定值0.15。

最后，累加總體差分變量求得全局變換函數(shù)，進行全局灰度變換：

其中令0＝0。

2 實驗結(jié)果和算法對比

為驗證本文算法的實用性，引入直方圖均衡化、對比度受限的直方圖均衡化和分層差分表達理論（Layered Difference Representation，LDR）算法分別從客觀評價標(biāo)準(zhǔn)和主觀視覺兩個方面與之對比。同時采用邊緣保持指數(shù)（Edge Preservation Index，EPI）[12]、局部對比度（Local Contrast，LC）[13]作為圖像的客觀評價標(biāo)準(zhǔn)，EPI代表增強圖像對原圖像邊緣的保持能力，EPI值越大表示該算法對原圖像的邊緣細節(jié)保持能力越好，其函數(shù)公式為：

式中：A，C分別代表原圖像的像素點和增強后的圖像像素點；AN，CN表示A,C相鄰像素點的灰度值；局部對比度是將圖像分為若干個×的尺寸相等的區(qū)域，然后計算各區(qū)域的累加值，其函數(shù)定義式為：

式中：(,)為區(qū)域局部對比度。

圖4 第一組不同增強算法比較

圖5 第二組不同增強算法比較

表1 圖4、圖5的客觀評價指標(biāo)比較

由表1可以清晰地看出，HE、CLAHE、LDR三種算法在邊緣保持能力方面遠沒有本文算法好。同時從顯著性區(qū)域與整體對比度方面來看，CLAHE對如圖4的近景增強效果略好，而HE和LDR兩種算法沒有能夠?qū)@著區(qū)域與整體的對比度提高，本文算法有效地提高了顯著區(qū)域局部對比度，把顯著區(qū)域從背景中突出。

圖4、圖5為各算法結(jié)果圖，其中顯著性區(qū)域圖為去霧后顯著性檢測得到的。經(jīng)過HE算法處理后的圖像，會出現(xiàn)部分區(qū)域增強過度，如圖4左下角和圖5右側(cè)的玻璃墻區(qū)域，導(dǎo)致了部分區(qū)域細節(jié)丟失。CLAHE是對HE進行改進，有效限制了輸出圖像的全局對比度，再對局部采取對比度增強，對區(qū)域細節(jié)的增強效果良好，但是其本質(zhì)還是HE算法原理，在對目標(biāo)區(qū)域增強的同時，會出現(xiàn)對背景的過度增強，如天空區(qū)域等，整體的視覺效果不好。LDR通過統(tǒng)計圖像中灰度差，并放大出現(xiàn)頻率大的灰度差，有效地增強了圖像中的細節(jié)部分，但是由于LDR算法在計算差分向量時沒有考慮層與層之間的聯(lián)系，變換函數(shù)會受到高層差分向量轉(zhuǎn)換的影響，導(dǎo)致部分細節(jié)增強出現(xiàn)偏差，如圖4中右下角和左下角區(qū)域，圖5中遠處建筑物中的部分細節(jié)。本文算法對檢測到的顯著性區(qū)域進行分層差分表達，增強顯著性區(qū)域的細節(jié)信息，同時保持非顯著性區(qū)域的整體特征，得到的增強圖像，顯著性區(qū)域細節(jié)增強效果好，且與非顯著性區(qū)域?qū)Ρ让黠@，很好地突出了視覺性顯著性區(qū)域的特征。圖6為更多圖像的算法效果對比。

3 總結(jié)

為了突出視覺顯著性區(qū)域，并對其進行有效的增強處理，使增強后的圖像更加適合人眼觀測。本文提出了一種基于顯著性區(qū)域檢測的紅外圖像增強算法，該算法利用去霧模型對圖像預(yù)處理，使顯著性區(qū)域在檢測時更加完整；再對檢測出的顯著性區(qū)域采用分層差分表達算法統(tǒng)計分析，將高層差分向量向低層進行換算，計算出顯著性區(qū)域的差分變量，并與保持非顯著性區(qū)域特征的向量相加得到全圖差分變量，進而求得全局變換函數(shù)，最終實現(xiàn)圖像增強。經(jīng)過實驗對比，本文算法對圖像的處理更適合人眼觀測，有效地對顯著性區(qū)域進行細節(jié)增強，同時在增強圖像的過程中很好地保持了原圖的細節(jié)邊緣。

圖6 各種算法增強結(jié)果

Fig.6 Enhanced results of various algorithms

[1] 陳錢. 紅外圖像處理技術(shù)現(xiàn)狀及發(fā)展趨勢[J]. 紅外技術(shù), 2013, 35(6): 311-318.

CHEN Qian. The Status and Development Trend of Infrared Image Processing Technology[J]., 2013, 35(6): 311-318.

[2] 張立強. 紅外圖像增強技術(shù)發(fā)展研究[J]. 艦船電子工程, 2013, 33(3): 17-19.

ZHANG Liqiang.Development of the Infrared Image Enhancement Technology[J]., 2013, 33(3): 17-19.

[3] 郭師虹. 空域紅外圖像增強方法的研究[D]. 西安: 西安建筑科技大學(xué), 2005.

GUO Shihong. Study of Infrared Image Enhancement Methods Based on Spatial Domain[D].Xi'an: Xi'an University of Architecture and Technology, 2005.

[4] 于天河, 郝富春, 康為民, 等. 紅外圖像增強技術(shù)綜述[J]. 紅外與激光工程, 2007, 36(z2): 335-338.

YU Tianhe, HAO Fuchun, KANG Weimin, et al.Summarization on the infrared image enhancement technology[J]., 2007, 36(z2): 335-338.

[5] L. Itti, C. Koach, Niebur. A model of saliency-based attention for rapid scence analysis[J]., 1988, 20(11): 1254-1259.

[6] 陳曦. 基于特征點最小凸包與對比度的顯著性檢測算法研究[D]. 重慶: 重慶大學(xué), 2015.

CHEN Xi.Salient Region Detection Algorithm Based on Minimum Convex Hull of Feature Points and Contrast[D]. Chongqing: Chongqing University, 2015.

[7] He K, Sun J, Tang X. Single Image Haze Removal Using Dark Channel Prior[C]//2013,, 2009: 1956-1963.

[8] Nayar S K, Narasimhan S G. Vision in bad weather[C]//, 1999(2): 820-827.

[9] F. Perazzi, P. Krahenbuhl, Y. pritch, et al. Saliency Filters: Contrast Based Filtering for Salient Region Detection[C]//, 2012, 157(10): 733-740.

[10] Lee C, Lee C, Kim C S. Contrast enhancement based on layered difference representation of 2D histograms[J].2013, 22(12): 5372-84.

[11] 耿愛輝, 萬春明, 李毅, 等. 基于分層差分表達理論的圖像視覺增強[J]. 電子與信息學(xué)報, 2017, 39(4): 922-929.

GENG Aihui, WAN Chunming, LI Yi, et al. Image Visual Enhancement Based on Layered Difference Representation[J]., 2017, 39(4): 922-929.

[12] 張微, 孫蓉樺, 章孝燦. 基于改進的小波軟閾值法的SAR圖像去噪[J]. 遙感信息, 2004(4): 4-6.

ZHANG Wei, SUN RongHua, ZHANG XiaoCan.Noise Removal of SAR Image Based on Improved Wavelet Soft-Thresholding Method[J]., 2004(4): 4-6.

[13] 李毅, 張云峰, 張強, 等. 基于去霧模型的紅外圖像對比度增強[J]. 中國激光, 2015, 42(1): 306-314.

Li Yi, Zhang Yunfeng, Zhang Qiang, et al. Infrared Image Contrast Enhancement Based on Haze Remove Method[J].2015, 42(1): 306-314.

Research on Infrared Image Enhancement AlgorithmBased on Visual Saliency

WANG Chen1，ZHANG Baohui2，WANG Hong1，LI Zhongwen2

(1.,,210094,; 2.,.,,211106,)

The human eye has a higher degree of visual acuity for regions of interest. In order to enhance such regions in images, this paper proposes an algorithm of infrared image enhancement based on visual saliency. First, the de-fog algorithm detects a more complete salient region in the image. Then, the theory of layered difference representation is applied to the region, and the difference vector of the upper layer is applied o the lower layer. Finally, the vector of the salient region and the global transform function of the image are calculated to obtain the enhanced image. The experimental results show that the proposed method not only highlights the salient region reasonably well, but also enhances it. The method also maintains the boundary of the original image during enhancement.

visual saliency，layered difference representation，infrared image enhancement，De-fog

TP391

A

1001-8891(2017)09-0835-06

2017-06-17；

2017-08-29.

汪忱（1993-），男，安徽合肥人，工程碩士，主要從事圖像處理方面研究。E-mail：sanyuewang@163.com