楊愛萍，趙美琪，宋曹春洋，王金斌

?

基于色調映射和暗通道融合的弱光圖像增強

楊愛萍，趙美琪，宋曹春洋，王金斌

(天津大學電氣自動化與信息工程學院，天津 300072)

針對陰天或夜晚等弱光條件下拍攝的圖像具有亮度低、對比度低和細節(jié)模糊等問題，提出了一種基于色調映射和暗通道融合的弱光圖像增強方法．首先，根據弱光及其反轉圖像的特點，提出面向弱光圖像的透射率估計方法，進而獲得場景深度信息，并將其融入色調映射函數設計；同時利用暗通道圖像區(qū)分光源區(qū)域，以修正色調映射函數參數，使其能夠根據場景深度自適應調整圖像亮度；另一方面，增強后的暗通道圖可有效突出圖像的細節(jié)信息，將經過色調映射后的V通道圖像和暗通道圖進行加權融合，得到最后的增強結果．實驗結果表明，本文方法不僅顯著改善圖像亮度、增強對比度、恢復出更多的圖像細節(jié)，還能有效去除塊效應和暈輪偽影，視覺效果理想．

圖像增強；深度信息；色調映射；暗通道；融合

陰天或夜晚等弱光條件下拍攝圖像時，由于周圍環(huán)境光照不足，拍攝到的圖像存在大量的暗區(qū)，亮度和對比度較低，造成大量細節(jié)丟失，難以得到感興趣的信息．因此，弱光圖像增強具有重要的研究意義．

目前常用的弱光圖像增強方法主要有兩類：基于物理模型的方法和非物理模型方法．非物理模型方法主要有直方圖均衡化、Retinex方法、色調映射等．直方圖均衡化方法[1]能提高圖像的亮度，但細節(jié)信息恢復效果不佳．Retinex方法[2-4]基于人類視覺系統(tǒng)特性，通過平滑操作估計照射分量進而得到反映圖像細節(jié)信息的反射光分量，并進行對比度拉伸；其缺點是對于存在較多亮區(qū)和暗區(qū)的圖像難以估計照射分量，增強效果差，且顏色失真嚴重．Drago等[5]提出一種色調映射方法，將圖像從RGB空間轉換到YUV空間，然后在表征圖像光照的Y空間進行映射，提高圖像的整體亮度；但是該映射函數中參數固定，不能根據圖像亮度自適應調整增強程度；同時由于圖像整體亮度偏低，僅根據像素強度設計映射函數，容易導致噪聲被放大．Zhou等[6]提出基于全局亮度提高和局部對比度增強(overall brightness and local contrast adaptive enhancement，OBLCAE)算法；但是該方法在計算局部均方差的過程中時間復雜度較大，整體亮度增強效果不佳，且對夜間圖像處理時導致噪聲放大.該類方法計算簡單、增強效果較好，但是由于缺乏對景深信息的估計，不能有效改善景深較大處場景的對比度和色彩．針對非物理模型方法的不足，Dong等[7]根據弱光反轉圖像和白天條件下霧天圖像之間的相似性，基于大氣散射模型，通過去霧[8]方法對弱光圖像增強，但是該方法導致增強后的圖像存在塊效應．

針對目前弱光圖像增強方法的缺陷，本文將基于物理模型的方法和非物理模型方法相結合，通過估計深度信息，設計自適應色調映射函數，基于色調映射和暗通道融合方法增強弱光圖像．首先針對弱光圖像的特點，改進暗原色先驗計算方法，估計場景透射率，進而得到圖像的深度信息；同時利用暗通道圖像區(qū)分光源特性，設計自適應色調映射函數，對V通道進行亮度增強；并且由于增強后的暗通道圖能有效突出細節(jié)信息，最后將增強后的V通道圖像和暗通道圖進行加權融合．

1?基于暗原色先驗的弱光圖像增強

1.1?基于暗原色先驗的圖像去霧

大氣散射模型[9-10]描述了霧天圖像的退化過?程，即

?(1)

?(2)

由式(2)可得有霧圖像透射率

?(3)

以及去霧后的圖像

?(4)

1.2?基于暗原色先驗的弱光圖像增強

研究發(fā)現，弱光圖像的反轉圖像和霧天圖像非常相似，因此可以通過圖像去霧的方法來增強弱光圖像[7,11]．

?(5)

代入式(4)，得到反轉后的弱光圖像的去霧圖像

?(6)

2?基于色調映射的圖像增強

色調映射利用映射函數對圖像中的每個像素的灰度值進行映射，將其變換為接近于正常光照下的灰度值．Drago等[5]提出一種色調映射函數，取得了較好的增強效果，函數表達式為

?(7)

?(8)

?(9)

3?本文算法

傳統(tǒng)的基于非物理模型的圖像增強方法沒有考慮圖像的景深信息，增強后的圖像在景深較大處對比度和色彩處理效果較差．同時已有的色調函數參數固定，并不能根據圖像的不同區(qū)域自適應調整增強程度，且某些算法亮度增強效果不理想，細節(jié)信息模糊.

針對上述問題，本文結合圖像成像物理模型，估計場景深度信息，同時利用暗通道圖像區(qū)分光源區(qū)域，設計自適應色調映射函數；并將映射后的V通道圖像和暗通道圖進行加權融合，提出基于色調映射和暗通道融合的弱光圖像增強方法．

3.1?面向弱光圖像的深度估計

在無霧條件下，有些圖像區(qū)域(如天空、白云等明亮區(qū)域)3通道值很大，并不滿足暗原色先驗，根據He等[8]的方法估計得到的透射率偏小，導致復原圖像顏色失真[12]．由于弱光圖像反轉后含有大片明亮區(qū)域，其并不滿足暗原色先驗假設，因此，本文首先對透射率估計方法進行改進．

(10)

?(11)

?(12)

3.2?色調映射函數改進及V通道增強

獲得場景深度后，將其用于色調映射函數改進，使設計得到的色調映射函數能夠根據圖像局部結構自適應調整圖像亮度，提高景深較大處圖像的對比度和亮度．

由圖2可知，對于像素較低的暗區(qū)，直接采用式(8)進行映射，容易導致過增強，且放大噪聲．本文將式(8)修改為

?(13)

?(14)

?(15)

?(16)

因此，設計自適應參數為

?(17)

基于自適應色調映射對V通道進行亮度增強為

?(18)

圖3?不同參數下色調映射結果

3.3?基于色調映射的暗通道圖像增強

圖4?灰度圖與暗通道圖

因此，本文基于色調映射方法對點暗通道圖進行增強，增強后的點暗通道圖整體亮度有所提高，且能有效突出圖像的細節(jié)信息，如圖5(d)所示．映射公?式為

?(19)

3.4?V通道和暗通道加權融合

?(20)

4?本文算法流程

綜上，本文根據弱光圖像及其反轉圖像特點，提出面向弱光圖像的深度估計，并將深度信息用于色調映射函數設計；同時利用暗通道圖區(qū)分光源區(qū)域，以改進色調映射函數參數，使能根據圖像深度自適應調整圖像亮度；最后將增強后的V通道圖像和暗通道圖加權融合以獲得豐富的圖像細節(jié)．具體算法流程如下．

步驟2?由式(10)計算改進后圖像的透射率，并進行局部自適應維納濾波．

步驟3?由式(12)求出深度信息并進行歸一化．

步驟4?由式(15)區(qū)分光源區(qū)域．

步驟5?由式(17)計算圖像的自適應參數．

步驟6?由式(18)對V通道色調映射增強亮度．

步驟7?由式(19)對暗通道圖色調映射突出細節(jié).

步驟8?由式(20)對增強后的V通道和暗通道加權融合，并進行雙邊濾波．

步驟9?由HSV空間轉到RGB空間，得到最終的增強圖像．

結束

5?實驗與結果分析

5.1?主觀評價

為了驗證本文所提算法的有效性，首先與文獻[6]基于OBLCAE的算法進行對比．圖7為夜晚帶有人工光源圖像的增強結果，可以看出OBLCAE算法可有效改善圖像整體亮度，但是在光源區(qū)域增強程度較大，細節(jié)信息丟失．相比之下，本文算法得到的圖像亮度顯著提高，細節(jié)信息更加豐富，近景光源區(qū)域增強效果自然．

圖7?OBLCAE和本文算法增強結果

為進一步驗證本文算法的性能，將所提算法與目前典型的多尺度retinex(multi-scale retinex，MSR)算法、OBLCAE算法[6]以及文獻[7]提出的基于去霧模型的增強算法進行對比，并給出各方法增強效果．選取House、Sunset、Carport、Highway和Shop進行圖像增強．其中，House為白天弱光圖像，Sunset為傍晚弱光圖像，Carport為有強光源的夜間圖像，Highway為有弱光源的夜間圖像，Shop為無光源的夜間圖像，幾種算法的增強結果如圖8～圖12所示．可以看出，MSR算法亮度增強程度有限，且圖像容易產生顏色失真；OBLCAE算法[6]雖然能提升圖像的亮度和增強細節(jié)信息，但是其增強后圖像整體亮度偏低，在邊緣處存在明顯的暈輪偽影，尤其在處理夜間圖像時，噪聲較大；基于去霧的弱光圖像增強算?法[7]雖然能較好地提高圖像整體亮度，但在景深變化處塊效應嚴重；相比之下，本文對不滿足暗原色先驗的亮區(qū)進行透射率補償并利用維納濾波優(yōu)化，得到更加準確的深度信息，能有效地去除塊效應和暈輪偽影；通過弱光圖像的亮度信息和深度信息設計參數對V通道圖像進行自適應色調映射，提高弱光圖像的亮度；由于暗通道圖像能準確反映當前像素與周圍像素的關系，對暗通道圖像增強，使圖像恢復更多的細節(jié)信息；在此基礎上將二者進行融合，所提算法能有效提高圖像亮度的同時可恢復更多圖像細節(jié)，增強對比度，視覺效果理想．

圖8?圖像House采用不同方法的增強結果

圖9?圖像Sunset采用不同方法的增強結果

圖10?圖像Carport采用不同方法的增強結果

圖11?圖像Highway采用不同方法的增強結果

5.2?客觀評價

為了從客觀方面進行評價，現計算3種性能評價指標：信息熵、平均亮度和平均梯度．信息熵反映圖像中包含信息量的多少，信息熵越大表明圖像包含更多的信息量；平均亮度反映圖像的整體亮度，影響人眼從圖像中獲取信息的容易程度，平均亮度越高，視覺效果越好；平均梯度反映圖像細節(jié)信息的豐富程度，平均梯度越大，圖像細節(jié)越豐富，圖像紋理特征越明顯，圖像越清晰．

表1為幾種典型算法下，對5幅弱光圖像處理后各指標計算結果．可以看出，本文方法與其余方法相比，圖像的平均亮度較高，說明本文方法能有效提升圖像的整體亮度，原因是使用了自適應色調映射函數對圖像增強；信息熵和平均梯度都基本高于其他方法，說明本文方法能恢復更多的圖像細節(jié)．

圖12?圖像Shop采用不同方法的增強結果

表1?不同方法相關指標比較

Tab.1?Comparison of relevant indexes of different methods

6?結?語

本文提出一種基于色調映射和暗通道融合的弱光圖像增強算法．首先根據弱光圖像及其反轉圖像特點，給出面向弱光圖像的深度估計方法，并將其用于色調映射函數設計；同時利用暗通道圖區(qū)分光源區(qū)域，以修正色調映射函數參數；基于改進的色調映射函數分別對V通道和暗通道圖像進行自適應增強，并將二者進行加權融合得到最終增強結果．實驗結果表明，本文方法可顯著改善圖像亮度、增強對比度、恢復出更多的圖像細節(jié)，視覺效果理想．

［1］ Chen S D，Ramli A R. Preserving brightness in histogram equalization based contrast enhancement techniques[J].，2004，14(5)：413-428.

［2］ Rahman Z，Jobson D J，Woodell G A. Multi-scale retinex for color image enhancement[C]//. Lausanne，Switzerland，1996：1003-1006.

［3］ Wang Wen，Li Bo，Zheng Jin，et al. A fast multi-scale retinex algorithm for color image enhancement[C]//. New Jersey，USA，2008：80-85.

［4］ Jin X. Image enhancement based on selective retinex fusion algorithm[J].，2012，7(6)：1187-1194.

［5］ Drago F，Myszkowski K，Annen T，et al. Adaptive loga-rithmic mapping for displaying high contrast scenes [J].，2010，22(3)：419-426.

［6］ Zhou Zhigang，Sang Nong，Hu Xinrong. Global brightness and local contrast adaptive enhancement for low illumination color image[J].，2014，125(6)：1795-1799.

［7］ Dong Xuan，Wang Guan，Pang Yi，et al. Fast efficient al-gorithm for enhancement of low lighting video[J].，2011，10(7)：1-6.

［8］ He Kaiming，Sun Jian，Tang Xiaoou. Single image haze removal using dark channel prior[J].，2011，33(12)：2341-2353.

［9］ Narasimhan S G，Nayar S K. Vision and the atmosphere [J].，2002，48(3)：233-254.

［10］ Kratz L，Nishino K. Factorizing scene albedo and depth from a single foggy image[C]//. Kyoto，Japan，2009：1701-1708.

［11］ Jiang X，Yao H，Zhang S，et al. Night video enhancement using improved dark channel prior[C]//Melbourne，Australia，2013：553-557.

［12］ 蔣建國，侯天峰，齊美彬. 改進的基于暗原色先驗的圖像去霧算法[J]. 電路與系統(tǒng)學報，2011，16(2)：7-12.

Jiang Jianguo，Hou Tianfeng，Qi Meibin. Improved algorithm on single image haze removal using dark channel prior[J].，2011，16(2)：7-12(in Chinese).

［13］ Anderes E. Robust adaptive wiener filtering[C]//. Quebec，Canada，2012：3081-3084.

［14］ Zhu Q，Mai J，Shao L，et al. A fast single image haze removal algorithm using color attenuation prior[J].，2015，24(11)：3522-3533.

［15］ Narasimhan S G，Nayar S K. Contrast restoration of weather degraded images[J].，2003，25(6)：713-724.

(責任編輯：王曉燕)

Low-Light Image Enhancement Based on Tone Mapping and Dark Channel Fusion

Yang Aiping，Zhao Meiqi，Song Caochunyang，Wang Jinbin

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

Images captured at night or under low light conditions have the problems of low intensity，low contrast and blurring of details．This paper proposed a new low-light image enhancement method based on tone mapping and dark channel fusion．Firstly，an improved transmission estimation method was presented to obtain the depth information by using the statistics characteristics of low light image and its inversion．Then，the tone mapping function was designed by incorporating the scene depth．In addition，the pixel-wise dark channel was used to recognize the light source region with the purpose of modifying the parameter of the tone mapping function，and so the image brightness can be adjusted adaptively．In order to preserve more image details，the pixel-wise dark channel was enhanced and fused with the enhanced V-channel image to get the final results．Experimental results show that the proposed method not only improves the image brightness and contrast with more details，but also removes block effects and halo artifacts with ideal visual effects.

image enhancement；depth information；tone mapping；dark channel；fusion

10.11784/tdxbz201704044

TP751.1

A

0493-2137(2018)07-0768-09

2017-04-14；

2017-11-30.

楊愛萍（1977—），女，博士，副教授.

楊愛萍，yangaiping@tju.edu.cn.

國家自然科學基金資助項目(61372145，61472274，61771329).

the National Natural Science Foundation of China(No.,61372145，No.,61472274 and No.,61771329).