楊愛萍 鄭 佳 王 建② 何宇清

?

基于顏色失真去除與暗通道先驗的水下圖像復(fù)原

楊愛萍*①鄭 佳①王 建①②何宇清①

①(天津大學(xué)電子信息工程學(xué)院 天津 300072)②(國家海洋技術(shù)中心 天津 300112)

水下圖像成像過程與霧天圖像雖然類似，但因水對光的選擇性吸收和光的散射作用，水下圖像存在顏色衰減并呈現(xiàn)藍(綠)色基調(diào)，傳統(tǒng)的去霧方法用于水下圖像復(fù)原時效果欠佳。針對這類方法出現(xiàn)的缺點，該文根據(jù)先去除顏色失真后去除背景散射的思路，提出一種新的水下圖像復(fù)原方法。結(jié)合光在水中的衰減特性，提出適用于水下圖像的顏色失真去除方法，并利用散射系數(shù)與波長的關(guān)系修正各通道透射率；另外，該文改進的背景光估計方法可有效避免人工光源、白色物體、噪聲等影響。實驗結(jié)果證明，該文方法在恢復(fù)場景物體原本顏色和去除背景散射方面效果良好。

圖像處理；顏色失真；背景散射；暗通道先驗；透射率

1 引言

近些年來，水下圖像在海洋能源勘探、海洋環(huán)境監(jiān)測與保護、海洋軍事等領(lǐng)域應(yīng)用廣泛，但在水下環(huán)境獲取的圖像會嚴重退化，難以用于后續(xù)視覺分析和判斷。由于水對光的選擇性吸收和介質(zhì)散射，使得水下圖像顏色失真并呈現(xiàn)藍(綠)色基調(diào)，降低了圖像的對比度，且因介質(zhì)散射中的背景散射致圖像呈現(xiàn)霧狀模糊，減小了場景的可見范圍。此外，水下環(huán)境拍攝常使用人工光源，導(dǎo)致圖像存在亮斑，且水下圖像還存在噪聲等問題[1]。

本文針對水下圖像特點，根據(jù)先去除顏色失真后去除背景散射影響的思路，提出一種新的水下圖像復(fù)原方法，能較好地處理水下圖像的顏色失真、背景散射導(dǎo)致的模糊等問題，且無需提前得知圖像的拍攝環(huán)境參數(shù)，運行速度快。主要工作包括：根據(jù)背景光與水下光學(xué)特性參數(shù)之間的關(guān)系，提出適合于水下圖像的顏色失真去除方法；利用散射系數(shù)與波長之間的關(guān)系，對每個顏色通道的透射率進行修正，以得到更好的圖像復(fù)原效果；改進背景光估計方法，能夠更好地切合水下圖像的特性，盡量避免人工光源、白色物體和噪聲對估計結(jié)果的影響。

圖1 水下圖像成像模型

2 水下圖像成像模型

2.1 水的光學(xué)特性

水對光的作用主要包括吸收和散射。吸收與介質(zhì)的折射率有關(guān)，散射則是由水中的懸浮顆粒和水分子導(dǎo)致。根據(jù)Lambert-Beer經(jīng)驗定律，光在介質(zhì)中傳播是呈指數(shù)衰減的。假設(shè)介質(zhì)是均勻的，其透射率可以表示為

假設(shè)是在各向同性、均勻的介質(zhì)中，則總的衰減系數(shù)可以分解成吸收系數(shù)與散射系數(shù)之和，

2.2水下圖像成像模型

根據(jù)文獻[9,10]的介紹，相機接收的光可以表示為3個分量的和，如圖1所示。圖中給出了光從光源發(fā)出到被相機接收的傳播過程，本文不考慮人工光源對成像的影響。3個分量分別為：(1)直接分量：物體的反射光在傳播過程中沒有被散射的部分。(2)前向散射分量：物體的反射光在傳播過程中發(fā)生小角度散射的部分。(3)背景散射分量：環(huán)境光經(jīng)懸浮顆粒散射后被相機接收的部分。最后相機接收的光強表示為

背景散射分量不同于直接分量和前向散射分量，它并不來源于場景物體的反射，而是環(huán)境光經(jīng)散射后被相機接收的部分，表示為

由此，可得到水下圖像成像模型：

如果假設(shè)場景與相機的距離不大，那么前向散射帶來的模糊影響可以忽略，式(7)可以簡化為

3 基于暗通道先驗的水下圖像復(fù)原

3.1 暗通道先驗

文獻[11]針對室外無霧圖像提出暗通道先驗：在大多數(shù)非天空區(qū)域的圖像局部域中，某些像素總會有至少一個彩色通道具有非常低的強度值，甚至趨近于0，即

3.2基于暗通道先驗的水下圖像復(fù)原

如前所述，水下圖像與霧天圖像都會因介質(zhì)散射導(dǎo)致低對比度和低可見度，二者成像模型類似。另外，場景中都存在物體的陰影、彩色物體或表面以及暗色物體或表面，滿足暗通道先驗的成立條件。因此，理論上可以采用圖像去霧的方法去除水下圖像的背景散射。

但是水下不同于大氣環(huán)境，水對光的選擇性吸收導(dǎo)致不同波長的光衰減程度不一樣，波長越長衰減越嚴重。經(jīng)散射作用后，不同于霧天中的白色，水下圖像呈現(xiàn)藍(綠)色基調(diào)。水下環(huán)境使得根據(jù)式(9)得到的水下圖像的暗通道值可能偏小，影響背景光估計和背景散射去除。

為了避免上述問題，不少學(xué)者利用G, B兩個顏色通道來估計暗通道[12,13]。由式(8)可得

將估計得到的透射率和背景光代入式(8)，得到復(fù)原的水下圖像：

恢復(fù)的圖像往往還存在顏色失真等問題，因此還需要進行顏色校正。

4 基于顏色失真去除和透射率修正的水下圖像復(fù)原

根據(jù)式(10)，式(11)得到的暗通道值和透射率會存在如下問題：首先，由于缺少R通道信息，估計的暗通道值可能偏大，影響背景光估計；其次，將得到的透射率作為全局的透射率估計，沒有考慮不同顏色的光衰減特性不同。引起上述兩個問題的主要原因是水對光的選擇性吸收導(dǎo)致顏色衰減和散射帶來的藍(綠)色基調(diào)。因此本文提出一種新的水下圖像復(fù)原思路：先去除水下圖像中的顏色失真，使得處理后的水下圖像能夠盡量相似于在大氣中拍攝的圖像，再利用圖像去霧的方法去除背景散射的影響。

基于以上思路，本文方法主要包括3部分：(1)顏色失真去除；(2)透射率修正；(3)背景光估計。

4.1顏色失真去除

呈現(xiàn)藍(綠)色基調(diào)的水下圖像可以看成是在藍(綠)色燈光下拍攝的圖像，估計光源顏色就能去除藍(綠)色基調(diào)。由理想的朗伯特反射模型可知，場景中物體表面上某一點顏色可通過在整個可見光范圍內(nèi)對光源的分布、反射面的反射率以及相機感光系數(shù)的乘積再積分得到，

Shade of Gray算法是基于Gray World假設(shè)提出的，該假設(shè)認為：場景中所有物體表面的平均反射是無色差的，即

根據(jù)式(14)，式(15)，光源的估計為

Shade of Gray算法對在大氣中拍攝的，因光源導(dǎo)致顏色失真的圖像處理效果良好。但在水下環(huán)境獲取的圖像衰減程度要比在大氣中嚴重的多，該算法并不能很好地校正顏色失真。

由此，針對水下圖像兩種顏色失真的處理方法為：(1)通過求各通道顏色衰減因子，對因介質(zhì)導(dǎo)致的顏色衰減進行補償；(2)將圖像中的藍(綠)色基調(diào)看做光源顏色，利用Shade of Gray算法估計光源顏色后去除。

Shade of Gray算法已經(jīng)發(fā)展為比較成熟的方法，各通道衰減因子的求取在于場景景深以及水的衰減系數(shù)估計。文獻[16]指出，水下圖像的全局背景光與散射系數(shù)成正比，與衰減系數(shù)成反比：

文獻[17]通過采集大量數(shù)據(jù)，得到水的散射系數(shù)與波長的關(guān)系：

由此，可以近似求出各通道的衰減因子。藍色光衰減程度最低，可將藍色光作為參照，求出紅色光與綠色光相對于藍色光的衰減比：

假設(shè)藍色光的衰減僅與景深有關(guān)，結(jié)合暗通道先驗，場景的景深可以通過式(22)確定：

結(jié)合式(16)，式(17)，式(19)~式(25)得

4.2透射率修正

經(jīng)過顏色校正后的水下圖像，其藍(綠)色基調(diào)問題得到改善，因衰減導(dǎo)致的顏色失真也得到了補償。式(8)可以修改為

4.3 背景光估計

上述介紹中均假設(shè)背景光已知，本節(jié)將詳細介紹背景光的估計方法。本文算法需要兩次背景光估計，一是需要估計原圖像的背景光以確定各通道衰減系數(shù)比和，用于后續(xù)的顏色失真去除；二是估計圖像的背景光，代入式(32)得到最終的復(fù)原圖像。因此，背景光估計在本文算法中非常關(guān)鍵。

根據(jù)式(12)估計的背景光易受到場景中白色物體的影響，使得估計值偏大，復(fù)原后的圖像背景亮度過大，掩蓋了圖像細節(jié)。且水下圖像的拍攝往往需要人工光源的輔助，令水下圖像整體亮度偏大，進一步影響背景光的估計。

背景光應(yīng)選自場景無窮遠處，景深越大，背景散射造成的影響越大，透射率越小。假設(shè)無窮遠處的背景散射是均勻的，對透射率圖分塊，背景光取自均值和標準差均最小的透射率塊，對應(yīng)到原圖像，通過對各通道值求平均得到背景光。這樣能夠避免噪聲和白色物體對估計結(jié)果的影響。此外，在第一次分塊操作中，只對透射率圖的上半部分分塊，去除人工光源影響最大的近景，保證估計結(jié)果的準確性。本文對背景光的估計步驟如下：

(1)取透射率圖的上半部分；

(3)將最后得到的均值最小、變化不大的透射率塊對應(yīng)到原始圖像中，對該圖像塊各通道求均值，得到最后的背景光。

4.4本文算法

本文算法基于先去除顏色失真，再去除背景散射影響的思路，利用背景光與水下光學(xué)特性參數(shù)之間的關(guān)系，結(jié)合Shade of Gray方法去除水下圖像中的顏色失真，并修正各顏色通道的透射率估計，求得最終的復(fù)原圖像。這種新的水下圖像復(fù)原的算法如表1所示。

表1

5 實驗結(jié)果及分析

為了說明本文算法的有效性，首先與帶色彩恢復(fù)的多尺度視網(wǎng)膜增強算法(MSRCR算法)進行對比。MSRCR算法作為圖像增強算法，具有色彩增強、顏色恒常性、邊緣增強等特點。通過與該算法的比較，能夠展現(xiàn)本文算法在顏色校正與可見度增強方面的性能。如圖2，圖3所示，MSRCR算法雖然能很好地恢復(fù)圖像細節(jié)，擴大場景中的可見范圍，但是所恢復(fù)的圖像泛白，色彩失真嚴重。相比之下本文算法復(fù)原的水下圖像，物體顏色鮮艷，且較好地去除霧狀模糊，遠處的礁石細節(jié)清晰可見，視覺效果更自然。

圖2 MSRCR算法與本文算法處理效果對比(圖像1)

圖3 MSRCR算法與本文算法處理效果對比(圖像2)

為了進一步論證本文算法的有效性，將與文獻[6-8]中的復(fù)原算法進行對比。由于相關(guān)文獻作者未提供原始程序代碼，因此本文只與作者在文獻中提供的實驗結(jié)果進行比較，并采用3種衡量標準來判斷算法的性能：一是色偏檢測；二是對比度計算；三是圖像結(jié)構(gòu)變化。

為了使計算的顏色差異與人眼感知的差異一致，本文在CIE Lab顏色空間檢測色偏情況和計算對比度。

彩色圖像的色偏不僅與圖像色度的均值相關(guān)，也與圖像色度的分布特性相關(guān)。針對這兩點特性，本文采用文獻[18]的方法比較各算法顏色恢復(fù)性能，計算得到的值越大，表示圖像色偏越嚴重。

文獻[19]提出的質(zhì)量評價準則可用于比較具有不同動態(tài)范圍的圖像。該準則利用人眼視覺系統(tǒng)對3類結(jié)構(gòu)變化敏感的特點來判斷測試圖像相對于參考圖像的失真情況，并分別用3種顏色表示：可見對比度的丟失(綠色)，不可見對比度的放大(藍色)和可見對比度的極性反轉(zhuǎn)(紅色)。顏色越深說明該處結(jié)構(gòu)變化的可能性越高。

如圖4所示，本文算法恢復(fù)的圖像視覺效果明顯優(yōu)于文獻[6]的算法。圖4(c)依然存在嚴重的背景散射影響且圖像顏色偏黃，而圖4(d)視覺效果良好。在客觀評價上，圖4(d)的對比度值明顯高于圖4(a)和圖4(c)，色偏值低于圖4(a)和圖4(c)。在兩種算法的結(jié)構(gòu)變化示意圖中，不難看到圖4(h)的藍色覆蓋范圍要大于圖4(g)，且?guī)缀醪淮嬖诰G色和紅色區(qū)域，進一步說明本文方法的優(yōu)勢。在細節(jié)放大圖中可詳細比較兩種算法的優(yōu)劣。

在圖5和圖6中，本文算法分別與文獻[7]和文獻[8]的算法進行對比，無論是從主觀視覺還是從客觀質(zhì)量評價方面，都更具優(yōu)越性。

本文提出的水下圖像成像模型忽略了人工光源的影響，在實際情況中，人工光源的存在會嚴重影響水下光學(xué)特性參數(shù)的估計。但在實驗對比中發(fā)現(xiàn)，本文算法復(fù)原效果良好，并沒有出現(xiàn)預(yù)料中的因人工光源存在導(dǎo)致背景光估計過大而掩蓋圖像細節(jié)的現(xiàn)象，圖像亮度也在可接受的范圍內(nèi)。文獻[7]的算法包含人工光源的檢測與去除，本文算法與之對比結(jié)果如圖7所示。圖7(d)的對比度值低于圖7(c)的原因是圖像亮度大。

圖4 本文算法與文獻[6]所提算法處理效果對比

圖5 本文算法與文獻[7]所提算法處理效果對比

圖6 本文算法與文獻[8]所提算法處理效果對比

圖7 本文算法與文獻[7]所提算法處理效果對比

6 結(jié)束語

因其特殊的成像環(huán)境，水下圖像存在顏色衰減和藍(綠)色基調(diào)這兩種顏色失真，簡單利用暗通道先驗估計的透射率不準確，使得大多數(shù)基于該原理的水下圖像復(fù)原方法效果不理想。本文提出一種新的算法，根據(jù)水下光學(xué)特性先去除顏色失真，可更準確估計透射率；然后利用散射系數(shù)與波長的關(guān)系修正各通道透射率，用于復(fù)原圖像；改進的背景光估計方法可有效避免人工光源、噪聲、白色物體等影響。大量實驗結(jié)果表明了本文算法在恢復(fù)場景物體原本顏色和去除背景散射方面的有效性。

本文為了簡化問題的求解過程忽略人工光源與前向散射對成像的影響。但是實際情況中，利用人工光源照明使得圖像亮度增加，像素強度變化緩慢，由此估計的透射率偏大，景深估計不準確，此外前向散射的影響也會隨著景深的增加而增大。因此當(dāng)處理有人工光源照明且景深較大的水下圖像時，算法的處理效果不太理想。在未來的研究中，我們將考慮這兩個因素的影響，并尋求合適的解決方法。

[1] Schettini R and Corchs S. Underwater image processing: state of the art of restoration and image enhancement methods[J]., 2010(1), 2010: 1-14.

[2] Ancuti C, Ancuti C O, Haber T,.. Enhancing underwater images and videos by fusion[C]. IEEE Conference on Computer Vision and Pattern Recognition, Providence, USA, 2012: 81-88.

[3] Fu Xue-yang, Zhuang Pei-xian, Huang Yue,.. A retinex- based enhancing approach for single underwater image[C]. IEEE International Conference on Image Processing, Paris, 2014: 4572-4576.

[4] 張問一, 胡東輝, 丁赤飚. 基于Goldstein濾波器的SAR海洋圖像增強方法[J]. 電子與信息學(xué)報, 2012, 34(9): 2263-2267.

Zhang Wen-yi, Hu Dong-hui, and Ding Chi-biao. Enhancement of SAR ocean image based on Goldstein filter[J].&, 2012, 34(9): 2263-2267.

[5] Hou W L, Gray D J, Weidemann A D,.. Automated underwater image restoration and retrieval of related optical properties[C]. IEEE International Geoscience and Remote Sensing Symposium, Barcelona, 2007: 1889-1892.

[6] Stephan T, Frühberger P, Werling S,.. Model based image restoration for underwater images[C]. SPIE Optical Metrology 2013. International Society for Optics and Photonics, Munich, 2013: 87911F-87911F-9.

[7] Chiang J Y and Chen Ying-Ching. Underwater image enhancement by wavelength compensation and dehazing[J]., 2012, 21(4): 1756-1769.

[8] Li Yu-Jie, Lu Hui-min, Zhang Li-feng,.. Real-time visualization system for deep-sea surveying[J]., 2014, 2014: 1-10.

[9] Jaffe J S. Computer modeling and the design of optimal underwater imaging systems[J]., 1990, 15(2): 101-111.

[10] Jaffe J S. Underwater optical imaging: the past, the present, and the prospects[J]., 2014, 40(3): 683-700.

[11] He Kai-ming, Sun Jian, and Tang Xiao-ou. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353.

[12] Guo Jun-kai, Sung Chia-chi, and Chang Herng-hua. Improving visibility and fidelity of underwater images using an adaptive restoration algorithm[C]. IEEE OCEANS 2014, Taipei, China, 2014: 1-6.

[13] Wen Hao-cheng, Tian Yong-hong, Huang Tie-jun,.. Single underwater image enhancement with a new optical model[C]. IEEE International Symposium on Circuits and Systems, Beijing, 2013: 753-756.

[14] He Kai-ming, Sun Jian, and Tang Xiao-ou. Guided image filtering[J]., 2013, 35(6): 1397-1409.

[15] Henke B, Vahl M, and Zhou Zhi-liang. Removing color cast of underwater images through non-constant color constancy hypothesis[C]. IEEE International Symposium on Image and Signal Processing and Analysis, Trieste, 2013: 20-24.

[16] Zhao Xin-wei, Jin Tao, and Qu Song. Deriving inherent optical properties from background color and underwater image enhancement[J]., 2015, 94(2): 163-172.

[17] Gould R W, Arnone R A, and Martinolich P M. Spectral dependence of the scattering coefficient in case 1 and case 2 waters[J]., 1999, 38(12): 2377-2383.

[18] Li Fang, Wu Jin-yong, Wang Yi-ke,.. A color cast detection algorithm of robust performance[C]. IEEE International Conference on Advanced Computational Intelligence, Nanjing, 2012: 662-664.

[19] Aydin T O, Mantiuk R, Myszkowski K,.. Dynamic range independent image quality assessment[J]., 2008, 27(3): 1-10.

Underwater Image Restoration Based on Color Cast Removal and Dark Channel Prior

Yang Ai-ping①Zheng Jia①Wang Jian①②He Yu-qing①

①(,,300072,)②(,300112,)

The imaging process of the underwater image is similar to the haze image. However, the dehazing methods fail when used in the underwater image restoration because of the color attenuation and blue (green) color tone, caused by the selective absorption of water and light scattering. Thus, this paper proposes a new approach for underwater images restoration based on the idea of removing backscattering after the color cast removal. Due to the attenuation of light in water, a color cast removal approach is proposed. The relationship between scattering coefficient and wavelength is used to obtain a more accurate transmission estimation for each color channel. In addition, an improved algorithm for background light estimation is presented, which can effectively avoid the influence of artificial light, white object and noise. Experimental results demonstrate the effectiveness of the proposed method in restoring the original color of the scene and removing the backscattering.

Image processing; Color cast; Backscattering; Dark channel prior; Transmission map

TP391

A

1009-5896(2015)11-2541-07

10.11999/JEIT150483

2015-04-28；改回日期：2015-07-20；

2015-08-28

楊愛萍 yangaiping@tju.edu.cn

國家自然科學(xué)基金(61372145, 61472274, 61201371)

The National Natural Science Foundation of China (61372145, 61472274, 61201371)

楊愛萍： 女，1977年生，副教授，研究方向為視覺計算、壓縮感知理論和應(yīng)用等.

鄭 佳： 女，1991年生，碩士生，研究方向為水下圖像處理等.

王 建： 男，1976年生，講師，研究方向為彩色圖像處理、惡劣天氣/環(huán)境條件下的圖像復(fù)原、生物特征識別等.

何宇清： 男，1973年生，講師，研究方向為數(shù)字圖像處理、模式識別等.