唐道發(fā)，李展，林曉兵，葉志航

（1.暨南大學(xué)信息科學(xué)與技術(shù)學(xué)院計(jì)算機(jī)科學(xué)系，廣東廣州510632；2.暨南大學(xué)天體測(cè)量、動(dòng)力學(xué)和空間科學(xué)研究中法聯(lián)合實(shí)驗(yàn)室，廣東廣州510632）

霧霾圖像恢復(fù)增強(qiáng)系統(tǒng)研究*

唐道發(fā)1，2，李展1，2，林曉兵1，2，葉志航1，2

（1.暨南大學(xué)信息科學(xué)與技術(shù)學(xué)院計(jì)算機(jī)科學(xué)系，廣東廣州510632；2.暨南大學(xué)天體測(cè)量、動(dòng)力學(xué)和空間科學(xué)研究中法聯(lián)合實(shí)驗(yàn)室，廣東廣州510632）

為了增強(qiáng)霧霾圖片的視覺(jué)效果，得到清晰的圖片，同時(shí)也為了給研究人員提供一個(gè)去霧算法比較分析的工具，構(gòu)建并實(shí)現(xiàn)了一個(gè)集圖像預(yù)處理、去霧、超分辨重建和質(zhì)量評(píng)估為一體的霧霾圖像處理系統(tǒng)。系統(tǒng)采用了多種圖像處理方法對(duì)圖像進(jìn)行處理，其中去霧技術(shù)和超分重建技術(shù)是系統(tǒng)的核心技術(shù)。測(cè)試表明，系統(tǒng)可以有效改善霧霾圖像的質(zhì)量和分辨率，同時(shí)通過(guò)圖像質(zhì)量評(píng)估為算法比較提供了依據(jù)。

去霧；超分辨重建；圖像質(zhì)量評(píng)估；系統(tǒng)軟件

0　引言

近年來(lái)，我國(guó)的霧霾問(wèn)題日益突出。霧霾不僅對(duì)人們的身體健康有害，而且霧霾天氣下所采集的圖像會(huì)導(dǎo)致顏色失真，清晰度降低，對(duì)比度下降［1］，遠(yuǎn)處物體模糊不清等一系列問(wèn)題。此外，在許多圖像處理應(yīng)用領(lǐng)域，例如視頻監(jiān)控、交通監(jiān)控［2］、衛(wèi)星遙感［3］、車牌檢測(cè)［4］都對(duì)處理圖像的質(zhì)量有一定的要求。霧霾引起圖像降質(zhì)，使這些應(yīng)用系統(tǒng)的性能急劇下降。然而已知的圖像處理軟件一般只采用灰度拉伸、銳化、濾波去噪和對(duì)比度亮度調(diào)整等技術(shù)，主要是針對(duì)圖像的特效和尺寸的變換。無(wú)法從本質(zhì)上去除或消弱霧霾，改善圖像質(zhì)量。

圖像去霧成為當(dāng)前計(jì)算機(jī)視覺(jué)系統(tǒng)中一個(gè)研究熱點(diǎn)［5］。國(guó)內(nèi)外研究者們相繼提出了很多行之有效的去霧算法。McCartney［6］對(duì)各種天氣狀況下的大氣懸浮粒子的形狀、半徑大小和分布情況進(jìn)行深入研究，提出了大氣散射模型。Tan［7］通過(guò)最大化局部對(duì)比度來(lái)達(dá)到去霧的效果，但該方法僅關(guān)注提高客觀對(duì)比度，沒(méi)有從物理上求解場(chǎng)景反射率，復(fù)原后的圖像顏色往往會(huì)失真。Fattal［8］等人利用數(shù)據(jù)統(tǒng)計(jì)發(fā)現(xiàn)局部區(qū)域的場(chǎng)景透射率為定值，因此利用獨(dú)立成分分析求得常向量透射率。但是這種方法是基于顏色統(tǒng)計(jì)，無(wú)法處理濃霧下的圖像和灰度圖像，也會(huì)導(dǎo)致所估算出來(lái)的透射率不準(zhǔn)。Tarel［9］利用中值濾波的方法對(duì)大氣散射函數(shù)進(jìn)行估計(jì)，最后經(jīng)過(guò)色度調(diào)和獲得恢復(fù)圖像，不過(guò)中值濾波算法并不是很好的保留景物邊緣細(xì)節(jié)信息的濾波算法，會(huì)造成顏色失真，易引起Halo效應(yīng)。He［10］等人在09年CVPR上提出了一種暗通道先驗(yàn)算法。根據(jù)無(wú)霧圖像的暗通道數(shù)據(jù)接近于0，再通過(guò)最小濾波算法來(lái)對(duì)大氣模型函數(shù)進(jìn)行估計(jì)，最后通過(guò)模型還原出原圖像。這種算法對(duì)于后來(lái)的去霧算法有較大的影響，后人大多是基于He的算法來(lái)進(jìn)行改進(jìn)。張仁斌、李興興、夏宏麗［11］在14年在暗通道先驗(yàn)的基礎(chǔ)上提出基于景深的快速去霧算法，利用景深信息估計(jì)大氣散射模型，得到邊緣突變景深關(guān)系比，再優(yōu)化傳輸圖，利用雙邊濾波對(duì)景物邊緣進(jìn)行處理，取得較好的效果。這些算法可以從一定程度上去除圖像中的霧霾效應(yīng)，但往往局限于某一種或一類算法的應(yīng)用，不是一個(gè)較為完整的圖像處理系統(tǒng)或者應(yīng)用軟件。

本文研究并構(gòu)建了一個(gè)基于超分重建的霧霾圖像恢復(fù)增強(qiáng)系統(tǒng)IHRRS（Image Haze Removal and Recovery System）。系統(tǒng)的主要特點(diǎn)體現(xiàn)在：①IHRRS集合了多種新近去霧算法，同時(shí)對(duì)圖像序列采用超分辨率重建技術(shù)重建圖像細(xì)節(jié)，可以從本質(zhì)上改善圖像的質(zhì)量和分辨率;②系統(tǒng)集成了圖像預(yù)處理、圖像去霧、超分辨重建、質(zhì)量評(píng)估，四個(gè)可單獨(dú)或聯(lián)合處理圖像的功能模塊，既針對(duì)霧霾圖像恢復(fù)也用于去霧算法的研究和比較,是一個(gè)實(shí)用性較強(qiáng)、功能較完整的軟件系統(tǒng)。

1　IHRRS系統(tǒng)設(shè)計(jì)

IHRRS系統(tǒng)由圖像預(yù)處理、圖像去霧、超分辨率重建、質(zhì)量評(píng)估四個(gè)功能模塊組成，系統(tǒng)總體框架如圖1所示。圖像預(yù)處理模塊可實(shí)現(xiàn)對(duì)圖像的對(duì)比度大小調(diào)整、灰度拉伸和圖像銳化、圖像去噪等圖像增強(qiáng)的基本功能。

圖1　IHRRS系統(tǒng)總體框架圖

圖像去霧模塊分為單幅去霧和圖像序列去霧兩個(gè)子模塊。單幅去霧子模塊實(shí)現(xiàn)了基于Prewitt邊緣檢測(cè)的暗通道算法和矩形窗口可變暗通道算法，并集成了幾種常用的暗通道算法以進(jìn)行算法對(duì)比分析；圖像序列去霧子模塊則通過(guò)結(jié)合超分重建技術(shù)對(duì)多幀圖像進(jìn)行去霧得到高分辨率去霧圖像。

超分辨率重建模塊通過(guò)選擇參考幀，對(duì)圖像進(jìn)行配準(zhǔn)，使用基于像素可信度的超分辨率重建算法，對(duì)圖像序列進(jìn)行超分處理，生成較高分辨率的圖像。該模塊可為圖像去霧模塊圖像序列的去霧提供多幅超分處理，提高生成圖像的分辨率。

質(zhì)量評(píng)估為無(wú)參考圖像的評(píng)估，通過(guò)采集圖像的對(duì)比度σ2、信息熵H、平均梯度GMG這三個(gè)指標(biāo)的值對(duì)圖像進(jìn)行對(duì)比分析和質(zhì)量評(píng)估。

2　IHRRS系統(tǒng)各功能模塊的實(shí)現(xiàn)

2.1圖像預(yù)處理

圖像預(yù)處理模塊通過(guò)對(duì)圖像的對(duì)比度調(diào)整、灰度拉伸、圖像銳化和去噪對(duì)圖像進(jìn)行增強(qiáng)，既可單獨(dú)調(diào)用，也可作為圖像去霧模塊的去霧預(yù)處理部分。首先采用直方圖均衡化進(jìn)行灰度增強(qiáng)，然后采用自適應(yīng)噪聲識(shí)別去噪、巴特沃茲帶阻濾波器、自適應(yīng)中值濾波等多種算法對(duì)圖像進(jìn)行去噪處理。

2.2圖像去霧

圖像去霧模塊分為單幅圖像去霧和圖像序列去霧。系統(tǒng)實(shí)現(xiàn)了四種基于暗通道先驗(yàn)的去霧算法，如表1所示，在用戶選擇去霧算法后，算法參數(shù)可由用戶手動(dòng)輸入或系統(tǒng)自動(dòng)計(jì)算。這幾種算法的去霧過(guò)程如圖2所示。實(shí)驗(yàn)表明，采用迭代的方法多次調(diào)用單幅去霧模塊可以取得更優(yōu)的視覺(jué)效果。基于暗通道的去霧算法原理可用公式（1）表示如下：

其中I（x）表示有霧圖像，A表示整體的大氣光強(qiáng)，t（x）表示霧霾中的傳輸率，t0為待輸入的參數(shù)，J（x）表示復(fù)原后的圖像，也是最終想要得到的圖像。

表1　單幅圖像去霧算法

圖2　暗通道去霧算法的去霧過(guò)程

圖像序列的去霧過(guò)程如圖3所示。在用戶選擇好去霧算法和超分算法后，系統(tǒng)先調(diào)用單幅去霧算法對(duì)圖像序列逐一進(jìn)行去霧處理，然后對(duì)去霧后的圖像序列進(jìn)行配準(zhǔn)和超分辨率重建得到高分辨率圖像，最后將超分后的圖像再進(jìn)行一次去霧處理，得到一幅具有高分辨率的去霧圖像。

圖3　圖像序列的去霧流程

2.3超分辨率重建

超分辨率重建模塊處理流程如圖4所示。圖像序列的配準(zhǔn)采用SIFT特征匹配及RANSAC算法消除誤配，超分重建采用基于像素可信度的算法。讀入低分辨率圖像后，選擇參考幀，調(diào)用配準(zhǔn)算法生成相應(yīng)的變換參數(shù)，然后調(diào)用超分重建算法對(duì)多幅低分辨率圖像的信息進(jìn)行融合，得到具有較高分辨率的圖像。

圖4　超分模塊處理流程

2.4質(zhì)量評(píng)估

質(zhì)量評(píng)估模塊既可以對(duì)比去霧前后的量化指標(biāo)，也可以用于比較不同算法的去霧結(jié)果。對(duì)霧霾圖像或序列進(jìn)行去霧處理后，可調(diào)用質(zhì)量評(píng)估模塊對(duì)恢復(fù)圖像進(jìn)行評(píng)估。模塊根據(jù)圖像信息分析計(jì)算，得到圖像的對(duì)比度、信息熵H、平均梯度GMG這三個(gè)指標(biāo)，對(duì)比去霧前的輸入圖像獲得去霧效果的評(píng)價(jià)。同時(shí)，還可以利用這三個(gè)指標(biāo)對(duì)不同去霧算法進(jìn)行量化比較和分析。圖像對(duì)比度、信息熵H、平均梯度GMG三個(gè)指標(biāo)的計(jì)算公式如下：

其中I（i，j）表示圖像的像素灰度值，m×n為圖像的像素大小，μ表示整幅圖像的灰度均值，L表示圖像的最大灰度級(jí)，Hr表示圖像中r的灰度級(jí)所出現(xiàn)的像素個(gè)數(shù)。

3　IHRRS系統(tǒng)的測(cè)試與分析

IHHRS系統(tǒng)在Intel(R)Core(TM)i3-3301M 2.40GHz CPU、4G內(nèi)存和64位Win7操作系統(tǒng)的環(huán)境中測(cè)試，開(kāi)發(fā)平臺(tái)是Matlab R2009b。系統(tǒng)主界面如圖5所示，該圖是IHRRS系統(tǒng)的圖像預(yù)處理模塊。

圖5　IHRRS系統(tǒng)主界面

界面的導(dǎo)航欄分別是四個(gè)功能模塊的按鈕。最左邊用于加載和保存圖片，同時(shí)顯示加載出來(lái)的圖像列表和要保存的圖像列表。右邊是系統(tǒng)的主體顯示區(qū)域，用于所選模塊的參數(shù)輸入以及圖片顯示，其中左邊圖像框顯示輸入圖像，右邊則顯示處理后的輸出圖像。

圖6　單幅城市遠(yuǎn)景圖像的迭代去霧

圖6顯示了一幅有霧的城市遠(yuǎn)景圖像采用基于prewitt邊緣檢測(cè)的暗通道算法，并經(jīng)過(guò)多次迭代處理的去霧效果圖。實(shí)驗(yàn)表明，對(duì)一般的濃霧圖像進(jìn)行兩到三次去霧迭代處理就可以得到比較理想的效果。從圖6可以看出，每一次迭代都對(duì)圖像中的霧霾效應(yīng)有明顯的改善，三次迭代后去霧效果顯著。

在圖像序列的去霧實(shí)驗(yàn)中，對(duì)5幅操場(chǎng)遠(yuǎn)景圖進(jìn)行去霧處理和分辨率增強(qiáng)。先對(duì)序列中的每幀圖像去霧，然后融合5幅圖像進(jìn)行兩倍超分辨率重建，最后再對(duì)重建圖像去霧進(jìn)一步改善圖像清晰度。圖7顯示了去霧和分辨率增強(qiáng)后的結(jié)果，對(duì)比圖像序列中的原參考圖像，處理后的圖像視覺(jué)效果有了明顯的改善。

圖7　結(jié)合超分辨率來(lái)處理具有濃霧的效果

圖像質(zhì)量評(píng)估模塊使用表格的形式顯示無(wú)參考圖像的量化指標(biāo)計(jì)算結(jié)果，如圖8所示，為去霧效果的比較提供參考。

圖8　量化指標(biāo)對(duì)比表格

表格的上下兩行分別是處理前和處理后的圖像的量化指標(biāo)對(duì)比，由圖8可以看出，處理后的圖像的平均梯度值有了明顯的增加，而灰度值和信息熵也有了增加。

4　結(jié)束語(yǔ)

論文設(shè)計(jì)開(kāi)發(fā)的霧霾圖像恢復(fù)增強(qiáng)系統(tǒng)IHRRS可應(yīng)用到很多實(shí)際場(chǎng)景，包括對(duì)去霧和超分算法的研究和測(cè)試。系統(tǒng)針對(duì)霧霾污染的圖像，采用多種去霧和超分重建方法進(jìn)行恢復(fù)和增強(qiáng)，結(jié)合圖像預(yù)處理和圖像質(zhì)量評(píng)估模塊，為去霧算法的研究提供了一個(gè)測(cè)試和比較的平臺(tái)。實(shí)驗(yàn)表明，IHRRS系統(tǒng)能明顯消除或減少圖像中的霧霾效應(yīng)，改善圖像質(zhì)量和分辨率。

［1］嵇曉強(qiáng).圖像快速去霧與清晰度恢復(fù)技術(shù)研究［D］.長(zhǎng)春：中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，2013.

［2］周志宇，汪亞明，黃文清.計(jì)算機(jī)視覺(jué)在交通監(jiān)控中的應(yīng)用［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用.2003,（1）:51-53.

［3］梁天全，趙強(qiáng)，孫曉兵，等.霧霾天氣條件下偏振遙感圖像復(fù)原研究［J］.武漢大學(xué)學(xué)報(bào),2014,39（2）:244-247.

［4］張濤，王劍魁，張國(guó)山，等.霧霾天氣車牌識(shí)別系統(tǒng)圖像預(yù)處理算法［J］.山東理工大學(xué)學(xué)報(bào).2015,28（1）:15-19.

［5］郭璠，蔡自興，謝斌，等.圖像去霧技術(shù)綜述與展望［J］.計(jì)算機(jī)應(yīng)用，2010,30（9）:2417-2421.

［6］McCartney E J.Optics Of The Atmosphere:Scattering By Molecules And Particles[M].New York:John Wiley and Sons,1976:23-32.

［7］Tan R T.Visibility in bad weather from a single image[C]//Proceeding of IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Alaska,USA:IEEE Computer Society,2008:1-8.

［8］Fattal R.Single image dehazing[J].ACM Transactions on Graphics, 2008,27(3):1-9.

［9］Tarel J P,Hauti N.Fast visibility restoration from a single color or gray level image(C)//proceedings of the 12th IEEE International Conference On Computer Vision Kyoto,Japan:IEEE,2009.2201-2208.

［10］He K,Sun J,Tang X.Single image haze removal using dark channel prior[C]//proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR).Miami,FL,USA: IEEE Computer Society,2009:1956-1963.

［11］張仁斌，李興興，夏宏麗.基于景深的單幅圖像去霧算法［J］.計(jì)算機(jī)工程.2014，40（2）：237-239.

［12］樊娜，李晉惠.圖像邊緣檢測(cè)的Prewitt算子的改進(jìn)算法［J］.西安工業(yè)學(xué)院學(xué)報(bào)，2005,25（1）:37-44.

［13］李展，張慶豐，孟小華，等．多分辨率圖像序列的超分辨率重建［J］．自動(dòng)化學(xué)報(bào)，2012，38（11）:1804-1814．

［14］Lowe D G.Distinctive image features from scale-invariant keypoints [J]．International Journal of Computer Vision，2004，60(2):91-110．

［15］Fischler M A，Bolles R C．Random sample consensus:A paradigm for model fitting with applications to image analy-sis and automated cartography[J]．Communications of the ACM，1981，24(6):381-395．

唐道發(fā)（1995-），男，本科在讀，研究方向?yàn)閳D像處理及計(jì)算機(jī)應(yīng)用技術(shù)；李展（1979-），女，副教授，博士，研究方向?yàn)閳D像處理及高精度天體測(cè)量；林曉兵（1995-），男，本科在讀，研究方向?yàn)閳D像處理及計(jì)算機(jī)應(yīng)用技術(shù)；葉志航（1995-），男，本科在讀，研究方向?yàn)閳D像處理及計(jì)算機(jī)應(yīng)用技術(shù)。

大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目“基于超分辨率的霧霾圖像處理”（201510559035）；廣東省自然科學(xué)基金“基于超分辨率重建的地面觀測(cè)天文圖像增強(qiáng)方法”（2014A030313374）；國(guó)家自然科學(xué)基金“星系圖像的超分辨率重建算法研究”（11403008）；國(guó)家自然科學(xué)基金“天然衛(wèi)星的CCD觀測(cè)與精準(zhǔn)定位關(guān)鍵技術(shù)的研究”（11273014）