張偉， 高賽博， 李子軒， 宮鵬， 伍文華 (哈爾濱工程大學(xué) 水下機器人技術(shù)重點實驗室，黑龍江 哈爾濱 150001)

近年來，水下無人航行器技術(shù)發(fā)展迅速，應(yīng)用于海底環(huán)境監(jiān)測、海底地形探測、水下管道檢查等領(lǐng)域，這些海洋探索依賴于先進的水下探測技術(shù)，其中水下圖像處理是其中重要的一部分，但水下的浮游生物、可見顆粒物等物質(zhì)會對太陽光有吸收和散射作用[1]，針對不同波長的太陽光水的吸收程度不同，其中水對紅色光的吸收作用最強，水下圖像多呈藍綠色調(diào)，與陸地上的圖像相比水下圖像會存在顏色畸變、對比度低、噪聲大等問題，因此水下圖像增強對于水下圖像的信息恢復(fù)、質(zhì)量提升有重要意義[2]。水下圖像增強技術(shù)分為基于物理模型的方法和基于非物理模型的方法2種[3]，基于非物理模型的方法不考慮水下圖像退化的物理過程，經(jīng)典方法是基于Retinex的增強方法[4]，融合對比度和顏色校正的方法[5]，這類方法通常是直接改變像素值，容易發(fā)生過度校正和過飽和?；谖锢砟Ｐ偷姆椒▽λ鲁上襁^程建模，文獻[6]利用水下圖像的散射模型對水下圖像增強，因其需要對背景光預(yù)先標(biāo)定而不適用于背景光變化的水下場景。He等[7]提出的針對空氣中有霧圖像的暗通道去霧方法(dark channel prior，DCP)可應(yīng)用于水下圖像，但由于水下光的散射和吸收傳統(tǒng)暗通道方法作用不明顯。謝昊伶等[8]利用波長和散射系數(shù)的關(guān)系分別估計了三通道的透射率，通過導(dǎo)向濾波細(xì)化透射率，但該方法需獲得相機的拍攝深度，限制了其實際應(yīng)用。湯忠強等[9]改進了DCP方法，通過亮暗通道的視差估計背景光和透射率。以上均是基于物理模型的方法，在先驗信息的基礎(chǔ)上估計模型參數(shù)，反向計算出未退化的水下圖像。在圖像去霧中，He等[7]提出了暗通道先驗構(gòu)建透射率的方法；Park等[10]提出利用熵信息和保真率結(jié)合的方式構(gòu)建霧天透射率；Zhu等[11]提出利用亮度和飽和度之差構(gòu)建透射率。

借鑒霧天圖像增強的分析方法，本文對水下渾濁圖像直接進行分析?？紤]物理模型法增強圖像會獲得更好的效果，同時減少模型參數(shù)估計帶來的復(fù)雜程度，本文對水下渾濁圖像直接進行分析?？紤]物理模型法增強圖像會獲得更好的效果，同時減少模型參數(shù)估計帶來的復(fù)雜程度，本文提出的水下圖像增強方法僅通過單幅圖像，不需要模型先驗參數(shù)就能實現(xiàn)水下渾濁圖像的自適應(yīng)增強，以恢復(fù)水下圖像損失的細(xì)節(jié)，實現(xiàn)水下渾濁圖像清晰化。

1 水下視覺成像模型建立

水下圖像受光照不足、亮度不均、水體的散射和吸收、懸浮顆粒物等因素的影響損失了很多信息，針對水下的特殊環(huán)境，Jaffe-McGlamery定義的水下光傳播經(jīng)典模型[12]，到達相機的光是前向散射、后向散射和直接光三部分的線性疊加，前向散射是水下物體的反射光又經(jīng)散射的光，后向散射是環(huán)境光被水中的顆粒、生物等散射后進入相機的光，直接光是相機直接接受到的光。在距離較短時可以忽略前向散射，用直接光和后向散射近似描述到達相機的總光：

An(x,λ)=A∞(λ)(1-e-α(λ)x)

(1)

式中：x為光傳播距離；A∞(λ)為背景光；λ為波長；α(λ)為由于吸收和散射的總的衰減系數(shù)。場景直接光散射Ad(x,λ)可以表示為：

Ad(x,λ)=J0(λ)e-α(λ)x

(2)

式中：x表示傳播的距離；λ表示波長；為由于吸收和散射的總的衰減系數(shù)；J0(λ)是未被水下環(huán)境衰減的光，就是需要被恢復(fù)的清晰圖像。水下攝像機成像模型為：

I=Ad(x,λ)+An(x,λ)=J0(λ)e-α(λ)x+

A∞(λ)(1-e-α(λ)x)

(3)

近距離下，認(rèn)為水對光的吸收和散射作用相同，將α視為常數(shù)，忽略波長的影響，水下成像模型為：

I=J0e-αx+A∞(1-e-αx)=J0t(x)+A∞(1-t(x))

(4)

式中t(x)為透射率。將等式兩邊對距離x求導(dǎo)，可得：

(5)

當(dāng)背景光大于自然光，光強隨距離增加而減小且衰減速度越來越慢，當(dāng)背景光小于自然光，光強隨距離增加而增加且增加速度越來越慢，符合人眼觀察到的水下圖像景深越深場景越模糊大的特點。

2 圖像增強算法設(shè)計

依據(jù)式(4)，進行移項可得水下圖像復(fù)原公式：

(6)

式中：A∞為背景光；t(x)為透射率。式(6)可以得到增強后的水下場景清晰圖像。隨著相機離物體距離的增加，觀察到的信息越少，圖像越模糊，通過一些評價指標(biāo)如熵、平均梯度、逼真度等可以量化水下圖像的信息。

2.1 背景光估計

文獻[7-9]將傳統(tǒng)的暗通道先驗去霧方法改進后估計水下圖像背景光用于水下圖像復(fù)原，但暗通道先驗去霧方法是基于一種統(tǒng)計規(guī)律，水下圖像的統(tǒng)計規(guī)律和空氣中圖像有差異。本文針對水下圖像的特性對背景光的大小進行分析，利用水下圖像的局部區(qū)域熵信息估計背景光。

通過式(5)和前文的分析，水下物體模糊的一部分原因為景深的增加，景深增加帶來了更嚴(yán)重的吸收、散射、顏色畸變等問題，背景光的區(qū)域景深最大因而信息也最少，視覺上看起來是最模糊的，用熵來衡量水下圖像的信息，局部區(qū)域信息熵越大證明信息越多。后向散射帶來的水下圖像的模糊主要是因為距離遠的物體在光的傳播過程中造成了熵大的衰減，用熵描述景深為：

(7)

式中P(i)某個灰度在該圖像中出現(xiàn)的概率，可由灰度直方圖計算。

對圖2的背景光進行估計，在計算信息熵前先將圖像分成互不重疊的小塊，局部區(qū)域塊的大小會影響最后的估計結(jié)果。本文選取4組不同的局部區(qū)域塊尺寸(5×5，20×20，35×35，50×50)，按區(qū)域塊統(tǒng)計熵，不同尺寸區(qū)域塊的熵統(tǒng)計圖如圖3所示。

圖2 水下原始圖像Fig.2 Underwater original image

圖3 不同尺寸熵統(tǒng)計結(jié)果Fig.3 Entropy statistical results of different block sizes

根據(jù)圖3的熵統(tǒng)計結(jié)果可知，水下圖像不同區(qū)域塊信息熵的大小隨景深而變化，熵和光在水下的吸收和散射程度密切相關(guān)。觀察4種分塊尺寸的熵值圖，分塊大小為50×50的熵值圖較模糊，由于分塊過大已經(jīng)不能完整地描述景深，局部區(qū)塊大小為5×5的熵統(tǒng)計圖因為區(qū)塊選取過小又弱化了水下散射和熵值的相關(guān)性，使相同景深下物體的不同細(xì)節(jié)熵值有較大差異(例如潛水員衣服上的細(xì)節(jié))，故局部區(qū)域塊尺寸為20×20，35×35能較好地描述景深，綜合對景深的細(xì)化處理和算法的快速性，本文選取的局部區(qū)域塊大小為35×35。

利用局部區(qū)域塊大小為35×35的熵值圖估計背景光，參照熵對水下信息的表述能力，熵值越大代表圖像的信息越多，景深越小，而背景光區(qū)域出現(xiàn)在景深較大處，相對于整幅圖像熵值最低，因此選取熵值較低的20%的區(qū)域作為估計背景光的候選區(qū)域，在候選區(qū)域中選擇出現(xiàn)頻率最高的灰度作為水下圖像的背景光，這樣就能在候選區(qū)域中降低誤判的可能性，提高背景光估計的準(zhǔn)確性。

具有較低強度的前20%的熵統(tǒng)計圖如圖4所示，原圖中此區(qū)域為水體背景，由此可以看出本方法估計背景光較為合理，背景光候選區(qū)域的灰度直方圖如圖5所示，選取出現(xiàn)頻率最高的灰度值作為背景光，數(shù)值為122。

圖4 具有較低強度的前20%熵的統(tǒng)計量Fig.4 Statistics of the first 20% entropy with higher intensity

圖5 具有較低強度的前20%熵的直方圖統(tǒng)計Fig.5 Histogram statistics of the first 20% entropy with higher intensity

2.2 透射率估計

假設(shè)水下圖像局部區(qū)域透射率連續(xù)不變且水下圖像的真實場景與透射率無關(guān)，為準(zhǔn)確估計水下圖像的局部透射率，本文根據(jù)圖像的平均梯度和圖像的逼真度提出了一個代價函數(shù)。圖像的局部區(qū)域清晰度可以用梯度衡量，具有最大平均梯度的局部區(qū)域?qū)?yīng)局部最佳透射率，衡量圖像的平均梯度的代價函數(shù)為：

(8)

由式(6)復(fù)原后的清晰圖像可能會出現(xiàn)失真的像素，即像素值大于255或小于0，在計算平均梯度之前通過閾值處理先去除掉一些失真像素，當(dāng)像素大于255時上界取255，當(dāng)像素小于0時取下界0。逼真度為：

(9)

(10)

式中：δ(p)表示在透射率為r時當(dāng)前區(qū)域塊內(nèi)沒有失真的像素占總像素的比例。δ(p)越小圖像的逼真度越低，δ(p)越大失真像素比例越小，圖像的逼真度越高，圖像增強的效果越好。因此需最大化代價函數(shù)以獲得好的圖像增強效果。綜合水下圖像清晰度和逼真度兩方面，計算透射率的代價函數(shù)為：

ffinal(r)=fgradient(r)·ffidelity(r)

(11)

計算該代價函數(shù)的最大值可計算出最佳透射率，透射率為：

r=argmax(ffinal(r))

(12)

如圖6所示，圖中顯示了ffidelity(r)、fgradient(r)和ffinal(r)的結(jié)果，最佳透射率為最大化ffinal(r)所對應(yīng)的結(jié)果，透射率為0.48。

圖6 最優(yōu)透射率計算函數(shù)Fig.6 The graph of the function for calculating the optimal transmission

2.3 細(xì)化透射率

通過計算可以得到局部區(qū)域的透射率，由于透射率是分塊計算的，所以在區(qū)塊的連接處透射率圖不夠連續(xù)，恢復(fù)出的水下圖像在塊的連接處也會出現(xiàn)塊效應(yīng)，因此需要減弱透射圖區(qū)塊邊緣的影響，利用改進的最改進加權(quán)最小二乘的保邊濾波算法細(xì)化透射圖。未改進的最小二乘保邊濾波算法為[12]：

(13)

(14)

式中：wx(g)為原圖像經(jīng)高斯濾波后x方向梯度值；wy(g)為原圖像經(jīng)高斯濾波后y方向梯度值。改進后的最小二乘保邊濾波算法可通過增大λ平滑透射圖的區(qū)塊邊緣，同時也能起到增強原圖邊緣細(xì)節(jié)的作用，但λ過大也會削弱不同局部塊之間透射率的差異，需在合理范圍內(nèi)。

改進后的最小二乘保邊濾波算法細(xì)化前后的透射圖如圖7所示，從圖中可以看出未處理前的透射圖局部區(qū)塊連接處不夠平滑，細(xì)化后的透射圖局部區(qū)塊間平滑過渡，物體的邊界也被增強。

圖7 細(xì)化前后的透射圖像Fig.7 Transmission image before and after refining

2.4 圖像復(fù)原自適應(yīng)調(diào)節(jié)

通過2.3節(jié)方法計算出背景光和透射率可以用于圖像增強，但在進行透射率計算時設(shè)計的代價函數(shù)權(quán)衡了圖像細(xì)節(jié)和圖像失真，仍然存在一些失真的像素，為解決此問題設(shè)計自適應(yīng)調(diào)節(jié)因子μ，經(jīng)式(6)計算出增強后的圖像為J0，統(tǒng)計增強圖像中相對于原始圖像像素的失真比μ，設(shè)計新的圖像復(fù)原為：

(15)

式中：A∞為背景光；t(x)為透射率；μ是原始像素失真比。

該自適應(yīng)調(diào)節(jié)方法可以減少圖像復(fù)原后部分像素的失真情況。算法總體流程如圖8。

圖8 算法整體流程Fig.8 Algorithm overall flow chart

3 圖像增強算法實驗結(jié)果

為了驗證本文所提算法的有效性，本為選取水下灰度圖像作為測試圖像，按照本文方法進行圖像增強，計算客觀評價指標(biāo)驗證所提算法的有效性，并與傳統(tǒng)暗通道先驗去霧算法和文獻[6]所提方法進行比較。

3.1 客觀評價指標(biāo)

圖像的客觀評價方法主要有2種，一種是全參考，一種是無參考，本文采用全參考評價，可視化邊角比率[13]。可視化邊角比率是增強圖像中恢復(fù)的可見邊與原始圖像中可見邊的比率，對于水下的圖像，由于光的吸收和散射效應(yīng)等問題而丟失了一些可見邊，采用這個度量可以衡量給定圖像增強方法所帶來的可見邊數(shù)量以及圖像細(xì)節(jié)的改變，僅僅計算增強圖像的可見邊并不能反映算法的有效性，系數(shù)e為：

(16)

式中：nr是增強圖像Ir中可見邊的數(shù)目；n0是原始圖像I0中可見邊的數(shù)目,圖像中的邊可以定義為找到一組連接像素的2個相鄰區(qū)域之間的邊界，如果e>1則圖像的可視邊緣增加，這里使用的邊緣檢測算法是Sobel邊緣檢測器。e的值可以評估該方法恢復(fù)在I0中不可見但在Ir中不可見的邊的能力。

對于非周期目標(biāo)，其可見度與發(fā)光對比度相關(guān)，其定義為：

(17)

式中：ΔL是目標(biāo)和背景的亮度差；Lt是目標(biāo)亮度；Lb是背景的亮度。當(dāng)目標(biāo)和背景之間的亮度差是閾值亮度差ΔLthreshold時，目標(biāo)以高概率被感知，目標(biāo)的可見性水平可通過以下比率量化：

(18)

式中：Cactual為實際對比度；Cthreshold為閾值處的對比度。

在閾值處，目標(biāo)的可見性水平為：

(19)

對于復(fù)雜圖像計算ΔLthreshold并不簡單，有必要檢測和分割多個目標(biāo)對象，這對于復(fù)雜對象的圖像是十分困難的。為了評估圖像增強算法的性能不需要分割圖像，對于可見邊緣的每個像素，計算恢復(fù)圖像和原始圖像梯度的比率：

(20)

式中：ΔIr是恢復(fù)圖像中的梯度；ΔI0是原始圖像中的梯度。

圖9 不同方法恢復(fù)的可見邊Fig.9 Corresponding visible edge maps of the recovered images

(21)

結(jié)構(gòu)相似性理論從高層次上模擬人眼視覺系統(tǒng)的整體功能，因此對結(jié)構(gòu)信息的度量可以作為圖像感知質(zhì)量的近似，文獻[14]提出了結(jié)構(gòu)相似度指數(shù)SSIM，但傳統(tǒng)的SSIM指數(shù)存在一些缺點，本文采用改進的SSIM算法，計算基于結(jié)構(gòu)信息提取的SIExt指數(shù)作為圖像增強的評價指標(biāo)。

3.2 實驗效果比較

表1 不同場景下的參數(shù)結(jié)果Table 1 Coefficient e, compared on four images

圖10 不同算法的圖像增強效果Fig.10 Image enhancement with different algorithms

在場景2中，DCP方法的暗背景幾乎隱藏了后方的對象，地面上的細(xì)小物體周圍均存在光暈，對于目標(biāo)過多的圖像DCP方法明顯會帶來較多光暈，本文所提方法并不存在此問題。在場景3中DCP方法左上角的對象十分模糊，本文所提方法很好地復(fù)原了原始圖像中的該部分。場景4中雖然目標(biāo)輪廓的光暈不明顯，但是位于中間和右側(cè)的對象幾乎看不到任何細(xì)節(jié)，從e參數(shù)也可以看出場景4的可見邊數(shù)目相比原圖沒有增加反而減少，雖然對比度相差不大，但是由于可見邊的丟失使得視覺效果遠不如本文所提方法。

該方法能夠評估基于視覺描述的圖像增強算法的性能，但是并不能評價圖像增強算法的保真度，只測量對象的可見性。相應(yīng)地，計算基于結(jié)構(gòu)信息提取的圖像質(zhì)量評價，在頻域不同頻率的成分對圖像信息起到了不同的作用，局部區(qū)域的基本灰度等級主要由低頻成分決定，中頻部分影響著圖像的結(jié)構(gòu)，高頻部分構(gòu)成圖像的一些邊緣細(xì)節(jié)。并且同一頻率成分，能量越大,重要程度越大，視覺注意力也就越大，基于以上分析，本文將結(jié)構(gòu)信息解釋為圖像中能量足夠大的中高頻成分。SIExt各部分參數(shù)設(shè)置如下：wl=0.1，ws=0.8，wn=0.1，表2給出了SIExt評價結(jié)果。

表2 不同場景SIExt結(jié)果Table 2 The SIExt compared on four images

從實驗結(jié)果獲得的數(shù)據(jù)可以看到本文所提方法的結(jié)構(gòu)相似性優(yōu)于DCP方法，在場景2中，DCP方法的結(jié)構(gòu)相似性優(yōu)于本文方法。中頻成分是人眼所能感知的主要成分，是圖像中最重要的頻率成分，故結(jié)構(gòu)信息系數(shù)設(shè)置為最大，根據(jù)文獻[8]的結(jié)論，SIExt在各分量取不同權(quán)重時變化并不敏感，故基于結(jié)構(gòu)信息提取的圖像質(zhì)量評價準(zhǔn)則更好地驗證了前文的結(jié)論。

本文對文獻[6]中的圖像進行處理，計算標(biāo)定后的背景光和透射率，將本文方法與文獻[6]方法、暗通道先驗去霧算法[9](DCP)比較，實驗結(jié)果如表3和圖11所示。

圖1 水下光散射模型Fig.1 Underwater light scattering model

表3 不同方法的參數(shù)比較Table 3 Coefficient e, compared on different algorithms

圖11 不同算法的圖像增強效果Fig.11 Image enhancement with different algorithms

4 結(jié)論

1) 本文所提出的算法合理地估計了水下圖像的背景光和透射率，通過實驗對比分析，有良好的效果，恢復(fù)圖像丟失的可見邊，提升了水下圖像對比度。

2) 解決了水下渾濁圖像失真的問題，恢復(fù)了場景信息。算法有更廣泛的適用性，針對陸地上的霧天圖像可考慮應(yīng)用本文算法去霧。在未來的研究中，可對散射模型研究和改進。

3) 本文算法建立在忽略前向散射的模型基礎(chǔ)上，若能較準(zhǔn)確地建立前向散射模型，可以更好地解決光照不均勻的問題，增強算法的普適性。