摘? 要:隨著計算機(jī)技術(shù)和硬件能力的提高,計算機(jī)視覺處理系統(tǒng)已廣泛應(yīng)用于各類場景中,霧霾等惡劣天氣下獲取的圖像會影響后續(xù)圖像的處理,進(jìn)一步導(dǎo)致計算機(jī)視覺處理系統(tǒng)性能的降低,因此提高降質(zhì)圖像的質(zhì)量具有重要意義。文章給出一種結(jié)合圖像增強(qiáng)和圖像復(fù)原的處理算法,算法能在不同尺度的殘差圖像上和基礎(chǔ)層上分別進(jìn)行處理,達(dá)到保留圖像細(xì)節(jié)和去霧的目的,并且具有高可控靈活性。
關(guān)鍵詞:去霧;大氣散射模型;圖像增強(qiáng)
中圖分類號:TP391? ? ? ? ?文獻(xiàn)標(biāo)識碼:A文章編號:2096-4706(2022)02-0096-05
Abstract: With the improvement of computer technology and hardware capabilities, computer vision processing system has been widely used in all kinds of scenes, the images obtained in bad weather such as fog and haze will affect the subsequent image processing and further reduce the performance of computer vision processing system. Therefore, it is of great significance to improve the quality of degraded images. This paper presents a processing algorithm combining image enhancement and image restoration. The algorithm can process the residual images of different scales and the basic layer respectively, so as to preserve the image details and remove the fog, and has high controllable flexibility.
Keywords: defogging; atmospheric scattering model; image enhancement
0? 引? 言
計算機(jī)視覺系統(tǒng)的飛速發(fā)展,對圖像質(zhì)量提出的要求越來越高。在戶外采集到的圖像質(zhì)量極易受到惡劣天氣的影響。當(dāng)在霧霾條件下時,大氣中懸浮粒子的直徑遠(yuǎn)遠(yuǎn)大于天氣晴朗時懸浮粒子的直徑,因此物體表面的反射光受到懸浮粒子的散射和吸收,導(dǎo)致圖像采集設(shè)備獲取到的圖像質(zhì)量差、清晰度低等,嚴(yán)重影響了圖像的后續(xù)處理。因此去霧算法受到研究者們的廣泛關(guān)注。
去霧算法主要分為基于圖像增強(qiáng)、基于圖像恢復(fù)和基于機(jī)器學(xué)習(xí)的去霧算法[1]?;谠鰪?qiáng)的算法從圖像特征出發(fā),把霧對圖像的影響看成是噪聲,使用增強(qiáng)算法提高圖像的對比度、清晰度等,同時抑制噪聲的影響,達(dá)到去霧的目的。主要的算法有直方圖均衡化、Retinex算法、同態(tài)濾波和小波變換等,但是由于此類算法沒有考慮到降質(zhì)圖像形成的物理因素,一般去霧效果很有限?;趫D像恢復(fù)的去霧算法考慮降質(zhì)圖像形成的物理模型,以大氣散射模型為基礎(chǔ),通過先驗知識或前提假設(shè)等求取模型中的未知參數(shù),然后對模型進(jìn)行反演推算,最后求出無霧圖像。這類算法的難點在于模型中未知參數(shù)的準(zhǔn)確估計,其中由于基于多幅圖像的算法需要額外的輸入,使得其應(yīng)用推廣受限,因此,基于單幅圖像的去霧算法獲得了人們廣泛的研究。隨著計算機(jī)硬件能力的提高,機(jī)器學(xué)習(xí)快速發(fā)展,研究者們也將機(jī)器學(xué)習(xí)應(yīng)用于去霧領(lǐng)域中,基于大量圖像數(shù)據(jù)集,訓(xùn)練網(wǎng)絡(luò)表示有霧和無霧圖像之間的直接或間接映射,此類算法的去霧效果普遍較好,但需要提前準(zhǔn)備好大量的數(shù)據(jù)集。
本文基于保邊分解將圖像分為基礎(chǔ)層和不同尺度的細(xì)節(jié)層,對細(xì)節(jié)層進(jìn)行增強(qiáng)處理,對基礎(chǔ)層進(jìn)行去霧處理,采用圖像分解將不同尺度的細(xì)節(jié)信息捕獲在對應(yīng)的細(xì)節(jié)層中,根據(jù)實際要求調(diào)整每個細(xì)節(jié)層的增強(qiáng)幅度,具有較高的可控性。本文算法不僅能很好地保留重要的輪廓等細(xì)節(jié)信息和進(jìn)行去霧處理,也能有效抑制噪聲的增強(qiáng)。
1? 本文的算法
1.1? 大氣散射模型
在圖像處理領(lǐng)域,通常用以下模型描述圖像在霧霾等惡劣天氣條件下形成的物理過程。該模型由McCartney[2]等人首先提出,主要包括了直接衰減模型和環(huán)境光模型兩部分,模型表達(dá)式為:
1.3? 算法流程
首先,利用引導(dǎo)濾波分解算法將輸入圖像分解為一個基礎(chǔ)層和多個尺度的細(xì)節(jié)層。其次,在細(xì)節(jié)層上進(jìn)行圖像增強(qiáng)處理,在基礎(chǔ)層進(jìn)行去霧處理。最后合成基層和細(xì)節(jié)層得到結(jié)果圖。如圖1所示。
1.3.1? 圖像保邊分解
為了得到不同尺度的殘差圖像且避免恢復(fù)圖像時產(chǎn)生偽影,采用引導(dǎo)濾波進(jìn)行圖像分解。首先,使用不同尺度的引導(dǎo)濾波生成一系列逐漸平滑的序列圖像。其次,構(gòu)建包含一個base層和k-1個殘差細(xì)節(jié)層的圖像多尺度分解(k代表尺度)。base層包含圖像的大致結(jié)構(gòu)信息,細(xì)節(jié)層則代表逐漸變大的尺度上的細(xì)節(jié)信息。對于輸入的圖像g,u1,…,uk-1代表逐漸平滑的圖像序列。平滑尺度最大的圖像作為base層b,相鄰逐漸平滑圖像的差值作為細(xì)節(jié)層di,即:di=ui-1-ui。其中,i=1,…,k,u0=g。對于不同的有霧圖像,霧對圖像的影響程度也不同,則圖像所需的分層數(shù)目也不同,每幅有霧圖像所需的分層數(shù)為:
其中,levels表示圖像所需分層數(shù),ρ表示霧對圖像的影響程度。霧對圖像的影響程度越大,需要分層數(shù)目也就越多,但分層數(shù)目過大也會造成不必要的計算浪費和圖像失真,因此將分層數(shù)量控制在2到5之間。由于受到霧的影響,圖像像素亮度會整體偏亮,其亮度分布相較于無霧時的分布會出現(xiàn)偏移,圖像的偏度可表示亮度分布偏移的程度,因此可用偏度ρ表示圖像受到霧的影響程度,其表達(dá)式為:
其中,xi表示圖像像素,avg表示圖像像素均值,N表示圖像像素數(shù)量,ε表示圖像標(biāo)準(zhǔn)差。
1.3.2? 細(xì)節(jié)層圖像增強(qiáng)
對于細(xì)節(jié)層來說,線性增強(qiáng)是一種簡單有效的方法,但線性映射在增強(qiáng)圖像細(xì)節(jié)的同時也會放大其中不必要的噪聲,因此基于文[4]構(gòu)造出非線性階段映射函數(shù),其中處于首尾兩端區(qū)域的像素使用線性映射,處于中間區(qū)域的像素使用sigmoid函數(shù)映射,由于映射函數(shù)經(jīng)過,和三點,其中為像素均值, width為sigmoid函數(shù)映射范圍,因此增強(qiáng)函數(shù)為:
其中,s決定映射函數(shù)的強(qiáng)度,width的作用是防止光暈的產(chǎn)生和大梯度邊緣的過度銳化偽影?;谖墨I(xiàn)[4],有較多細(xì)節(jié)信息的圖層其尺度應(yīng)該較小,映射范圍應(yīng)該較大;有較少細(xì)節(jié)信息的圖層應(yīng)恰好相反。
1.3.3? 基礎(chǔ)層圖像去霧
He[5]等人通過對戶外大量無霧圖像的數(shù)據(jù)分析,發(fā)現(xiàn)在絕大多數(shù)戶外無霧圖像(不包含天空)的任意塊中,總存在著一些像素,他們的一個或幾個顏色通道的強(qiáng)度值很低,甚至趨近于0,即暗通道先驗理論,用數(shù)學(xué)公式表示為:
其中,c為RGB顏色通道,J dark為無霧圖像的暗通道圖,Ω(x)是以像素點x為中心的窗口。對散射模型的兩邊同時求取暗通道圖再進(jìn)行變換,可求得透射率,其表達(dá)式為:
其中,ω是為了讓遠(yuǎn)處的景物具有真實感而引入的少量霧氣,一般取為0.98。大氣光值取在暗通道圖中亮度最大的像素在原圖中的對應(yīng)亮度值。將大氣光值和投射圖帶入散射模型中,即可求解出對應(yīng)的無霧圖像。暗通道先驗理論在去霧領(lǐng)域是一個里程碑,但同時此類算法也存在一些局限性。在基于暗通道先驗的算法中由于使用了基于塊的最小值操作,導(dǎo)致邊緣區(qū)域的信息會丟失,造成該區(qū)域的透射率估計不準(zhǔn)確,造成圖像的邊緣溢出和偽影。同時暗通道先驗在天空區(qū)域即大片亮區(qū)域失效,估計出的透射率偏大,導(dǎo)致光暈效應(yīng)。雖然用引導(dǎo)濾波優(yōu)化了透射率,但仍存在一些問題。
從另一角度看求取暗通道圖像可看成是對最小顏色通道圖像的一次壓縮,采用平滑的函數(shù)曲線代替能減少信息損失。正弦函數(shù)處于y=x函數(shù)下方,兩者相距不遠(yuǎn),且函數(shù)上升速度逐漸變小,可用正弦函數(shù)求取有霧圖像的暗通道圖像,其數(shù)學(xué)表達(dá)式為:
1.3.4? 估計全局大氣光
基于文獻(xiàn)[9],采用四分法求取基層圖像的大氣光值,即將圖像均分為四份,求取每份的亮度均值,選擇亮度值最大的區(qū)域再重復(fù)以上操作,直至區(qū)域的大小到達(dá)閾值即停止,選擇在此區(qū)域中亮度值最大的像素作為大氣光值的候選點。
1.3.5? 得到結(jié)果圖像
2? 算法實驗
2.1? 實驗結(jié)果
選取圖2中(a)列兩幅有霧圖像,經(jīng)過計算,兩幅有霧圖像均分為4層,即三層細(xì)節(jié)層和一層基礎(chǔ)層,用于分層濾波的引導(dǎo)濾波參數(shù)為:scale_smooth=[1e-4,1e-3,1e-2。基礎(chǔ)層使用第二章中改進(jìn)的去霧算法;每層細(xì)節(jié)層使用不同尺度的增強(qiáng)函數(shù),增強(qiáng)函數(shù)中的參數(shù)取為:width=[0.5,0.6,0.7],s=[40,30,20]。其每層圖像的處理結(jié)果如圖2所示。
將論文改進(jìn)算法與基于文獻(xiàn)[5,10,11,12]算法的處理結(jié)果效果圖進(jìn)行比較,如圖3所示。
2.2? 客觀評價
為了從客觀程度上反映算法修復(fù)修復(fù)程度的高低,引入了SSIM、PSNR以及SSEQ指標(biāo),指標(biāo)的值越高表明算法的修復(fù)效果越好,比較結(jié)果如表1所示。
圖像去霧領(lǐng)域比較常用的評估方法是由Hautière[13]提出的基于可見邊的對比度增強(qiáng)評估方法,該方法主要采用三個評價指標(biāo):新增可見邊比e,可見邊的規(guī)?;荻染岛惋柡秃诎紫袼攸c百分比σ。該評估方法認(rèn)為在增強(qiáng)算法在不過增強(qiáng)或丟失圖像細(xì)節(jié)信息的同時應(yīng)恰當(dāng)?shù)卦鰪?qiáng)對比度,在指標(biāo)數(shù)據(jù)上表現(xiàn)為e和的值越高,σ值越小,圖像去霧效果就越好。表2顯示了圖2中各種去霧算法處理結(jié)果對應(yīng)的量化指標(biāo)。
從表1和表2中可以看出,本文算法的評價指標(biāo)較好,在圖像恢復(fù)和細(xì)節(jié)保持上效果較好,證明了本文算法的優(yōu)越性。
3? 結(jié)? 論
本文根據(jù)圖像受霧影響的不同程度利用保邊分解將圖像分為多尺度細(xì)節(jié)層和基礎(chǔ)層,使用增強(qiáng)函數(shù)對細(xì)節(jié)層進(jìn)行不同尺度的增強(qiáng)。對基礎(chǔ)層使用改進(jìn)的去霧算法,使用更加平滑的函數(shù)求取有霧和無霧圖像的暗通道圖,然后帶入模型中反演推算出基礎(chǔ)層的無霧圖像。最后將基礎(chǔ)層和細(xì)節(jié)層融合得到結(jié)果圖像。通過對不同層次圖像的處理,在保持圖像邊緣的同時也有一定的去霧效果。實驗證明,該算法能在較短的時間內(nèi)取得較為明顯的去霧效果。同時也希望能對算法有更好的改進(jìn)。
參考文獻(xiàn):
[1] 張征.面向室外監(jiān)控場景的天氣分類與低質(zhì)圖像增強(qiáng)技術(shù)研究 [D].北京:北京郵電大學(xué),2018,(2):113.
[2] MCCARTNEY E J. Optics of the Atmosphere:Scattering by Molecules and Particles [J].Physics Today,1977,30(5):76.
[3] HE K M,SUN J,TANG X O. Guided Image Filtering [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.
[4] TALEBI H,MILANFAR P. Fast Multi-layer laplacian Enhancement [J].IEEE Transactions on Computational Imaging,2016,2(4):496-509.
[5] He K M,Sun J,Tang X O. Single Image Haze Removal Using Dark Channel Prior [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12):2341-2353.
[6] BAIG N,RIAZ M M,GHAFOOR A,et al. Image Dehazing Using Quadtree Decomposition and Entropy-Based Contextual Regularization [J].IEEE Signal Processing Letters,2016,23(6):853-857.
[7] WANG J B,LU K,XUE J,et al. Single Image Dehazing Based on the Physical Model and MSRCR Algorithm [J].IEEE Transactions on Circuits and Systems for Viedo Technology,2018,28(9):2190-2199.
[8] Sun W. A new single-image fog removal algorithm based on physical model [J]. Optik,2013,124(21):4770-4775.
[9] KIM J H,JANG W D,SIM J Y,et al. Optimized contrast enhancement for real-time image and video dehazing [J].Journal of Visual Communication and Image Representation,2013,24(3):410-425.
[10] ZHU Q S,MAI J M,SHAO L. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior [J].IEEE Transactions on Image Processing,2015:24(11):3522-3533.
[11] BERMAN D,TREIBITZ T,AVIDAN S. Non-local Image Dehazing [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Las Vegas:IEEE,2016:1674-1682.
[12] REN W Q,MA L,ZHANG J W,et al. Gated Fusion Network for Single Image Dehazing [C]//2018IEEE/CVF Conference on Computer Vision and Pattern Recognition,Salt Lake City:IEEE,2018:3253-3261
[13] HAUTIERE N,TAREL J P,AUBERT D,et al. Blind Contrast Enhancement Assessment By Gradient Ratioing At Visible Edges [J/OL].Image Analysis & Stereology,2008:1-8.[2021-11-22].http://perso.lcpc.fr/hautiere.nicolas/pdf/2007/hautiere-ics07.pdf.
作者簡介:楊洋(1996.03—),女,漢族,四川大竹人,研究生在讀,研究方向:圖像處理與合成。