黎秀玉，夏海英，宋樹祥

(廣西師范大學電子工程學院，廣西桂林541004)

?

一種改進的單幅圖像散焦模糊去反射算法

黎秀玉，夏海英，宋樹祥

(廣西師范大學電子工程學院，廣西桂林541004)

單幅圖像去反射是計算機視覺領域中一個非常有意義的課題。針對單幅圖像散焦模糊去反射算法不能有效地去除某些局部區(qū)域內(nèi)不滿足梯度相對平滑假設的反射光問題，本文提出一種改進的基于單幅圖像散焦模糊去反射算法，通過引入一種修正機制，從而克服原算法在處理這些區(qū)域所產(chǎn)生的色彩失真。通過對自然場景下和人工合成帶有反射光圖像進行測試，實驗結果表明，與單幅圖像散焦模糊去反射算法相比，改進后的算法去反射效果更好，增強了原去反射算法的魯棒性。

相對平滑；去反射；修正機制；散焦模糊

0 引言

物體的反射是現(xiàn)實生活中一種常見的現(xiàn)象，由于其反射作用會導致戶外視頻系統(tǒng)捕獲的圖像顏色和對比度嚴重退化，妨礙圖像后續(xù)處理的基本信息提取，極大地限制和影響了戶外視頻系統(tǒng)的功能，例如：視頻監(jiān)控系統(tǒng)、目標跟蹤、無人機偵查、高速公路視覺監(jiān)視系統(tǒng)等，其對圖像分割、識別和匹配等也會產(chǎn)生重要影響。因此，如何降低或去除反射對圖像的影響成為計算機視覺領域的研究熱點。

目前，對于圖像的去反射算法主要分為三大類[1]：第一類是基于極化分析方法去反射；第二類是基于多幅圖像去反射；第三類是基于單幅圖像去反射。Nayar等[2]通過極化過濾器調(diào)出同一場景的最大和最小極化角度，運用極化信息和顏色信息來去除圖像中的高光。Sato和Klinker[3]在同一個移動光源的照射下獲得一系列的圖像，通過分析圖像序列的顏色來估計反射光。Yang等[4]通過在同一光源下不同位置采集相同場景的多幅圖像，并且假設采集的圖像的光源色度是一致的，以此來估計光源色度和去除圖像中的高光。這些方法都取得了較好的效果，但是這些算法都需要多幅圖像，在很多的情況下很難獲取同一場景的多幅圖像，極大地限制了它們的應用范圍。

為此，研究者們提出了單幅圖像去反射方法，更加符合實際應用。如Levin和Weiss利用梯度信息來檢測和人工標記反射區(qū)域[5]。Jia等[6]利用顏色信息對高光進行檢測，并采用全變分對圖像進行修補的方法去反射。王祎墦等[7]在亮度空間應用顯著性模型來實現(xiàn)高光區(qū)域的自動檢測和標記，綜合利用圖像的鄰域和邊緣信息，對標記的高光區(qū)域進行自適應修復，去除圖像中的高光。孫欣欣等[8]提出了最佳分析窗口的概念，在最佳分析窗口的基礎上，分析窗口中像素的亮度、色彩及位置信息組成五維特征向量，從而估計出全局漫反射色度，并以此檢測圖像中的高光像素，實現(xiàn)對高光的去除。Shen等[9]利用亮度比例和色度空間的聚類方法來實現(xiàn)去反射。盧桂榮等[10]利用最大漫反射色度存在著局部平滑這一性質(zhì)，使用雙邊濾波器對色度的最大取值進行傳播與擴散，從而完成整幅圖像高光去除。馬吉權等[11]提出了一種利用表面形態(tài)分布信息檢測圖像高光的方法。但這些算法比較復雜且計算量大。

Li提出了一種單幅圖像散焦模糊去反射算法，模型簡單且計算量小，對一般的戶外圖像取得很好的去反射效果[12]。但是在某些局部的區(qū)域沒有滿足梯度相對平滑的假設，導致去反射后的圖像里還會有部分反射光的存在。針對以上問題，本文通過引入一種修正機制對Li的模型進行改進，實現(xiàn)對某些局部區(qū)域不滿足相對平滑假設的反射光的去除。

1 單幅圖像散焦模糊去反射算法原理

1.1 基于梯度相對平滑的單幅圖像分解

首先，一幅圖像描述為以下形式：

I=L1+L2，

(1)

式中I表示觀測到的圖像，L1和L2是2個相互聯(lián)系的圖像層。圖像的形成模型將一幅圖像f定義為每個像素點上的反射分量R與入射分量L的乘積，即：

f=RL。

(2)

由此可知，為了實現(xiàn)對單幅圖像進行分離就需要能夠正確地估算出反射分量R和入射分量L，對(2)式兩邊取對數(shù)：

logf=logR+logL。

(3)

進一步將式子簡化為與式(1)相同的表達形式：

I=LB+LR。

(4)

式中LR表示反射圖像層，LB表示獲取的清晰圖像層。

根據(jù)相機成像原理可知，只有那些恰好落在感光器件位置上面的物體才可以清晰地成像，而其他位置上的物體的像都是模糊的。Schechner等人[13]根據(jù)這一原理對圖像層LB進行聚焦獲得清晰圖像，而反射圖像層LR由于散焦作用變模糊。為了便于研究反射光的去除，我們根據(jù)前面描述的理論將一幅清晰不帶反射光圖像LB與一幅進行高斯模糊后帶反射光的圖像LR進行人工合成一幅圖像，其數(shù)學表達式為：I=LB+LR×h，其中h是高斯濾波器[12]。從定義可看出LB是清晰的，而LR是模糊的，也就是說LR圖像層要比LB圖像層平滑。自然圖像與人工合成圖像的不同圖像層的梯度直方圖如圖1和圖2所示，參見文獻[12]。

圖1 自然圖像的分解Fig.1 Decomposition of natural image

從圖1與圖2可以看出，自然圖像和人工合成圖像中梯度值大的比較集中分布在R與LB圖像層里，梯度值小的大部分分布在L和LR×h。

1.2 兩圖層的梯度概率模型

根據(jù)Levin和Weiss提出的梯度稀疏先驗[7]，本文利用兩圖像層的梯度信息建立概率模型。假設L2比較光滑，并且梯度大的像素歸屬于L1圖像層，反之，則歸屬于L2圖像層。L1和L2對應的概率表達式如式(5)所示：

圖2 人工合成圖像的分解Fig.2 Decomposition of artificially synthesized image

(5)

其中x表示梯度值，z是歸一化因子，σ1和σ2是2個高斯濾波器的參數(shù)，ε是一個很小的數(shù)，防止對P1的概率趨于0。

為了實現(xiàn)2個圖像層的分離，需將對兩者的概率最大化運算轉(zhuǎn)化為對它們?nèi)∝搶?shù)的最小值，得到下面的式子：

(6)

式中的C1和C2是一個常數(shù)。將-logP1(x)簡化成類似于-logP2(x)的形式為[14]：

假設2個圖像層是相互獨立并且它們的輸出也是相互獨立時，采用一階和二階濾波器對圖像進行濾波，則對-logP(L1，L2)進行最小化操作后得到：

(7)

將L2=I-L1代入式(7)，可以得到關于L1的目標函數(shù)：

s.t.lbi≤(L1)i≤ubi。

(8)

其中(L1)i∈[lbi，ubi]是L1圖像層的像素值取值范圍。

(9)

式中β是一個加權系數(shù)，隨著β的值越大，式(9)與式(8)等價，本文中β的取值范圍為β∈(210，220)。式(9)是關于L1的一元二次方程，對其進行二維快速傅里葉變換(2DFFT)得到L1的最優(yōu)值：

(10)

其中*表示復數(shù)共軛，分母中τ=10-16是增加算法的魯棒性，F(xiàn)表示傅里葉變換，F(xiàn)-1表示傅里葉的反變換,具體的優(yōu)化過程可參考文獻[12]。

1.3 單幅圖像散焦模糊去反射

基于前面的假設，對人工合成的I=LB+LR×h類型的圖像進行分解，h是一個二維高斯函數(shù)的卷積核(其中σ=5)。根據(jù)式(8)可以得到關于LB的目標函數(shù)：

s.t. 0≤(LB)i≤Ii。

(11)

根據(jù)前面描述的優(yōu)化算法可將LB從原圖像分離出來，即可得到一幅清晰無反射光的圖像層，達到去反射的目的，由(I-LB)可得到反射圖像層LR。

2 算法的改進

通過大量實驗可知，在一幅圖像的某些局部區(qū)域中并未滿足LR要比LB光滑這一假設，導致有少部分的反射光留在了LB圖像層里。這些區(qū)域的色彩就會背離原圖像，影響圖像的視覺效果。為了解決這一問題，在原算法的基礎上進行改進，提高算法的魯棒性。假設一幅圖像為：

I=LR1+LB1，

(12)

式中的LR1、LB1分別是Li算法中已經(jīng)分解出來的2個圖像層。對式(12)進行修改得：

I=αLR1+βLB2，

(13)

其中的α、β是一個常數(shù)，LB2是LB1改進后的無反射圖像層。將式(13)進一步化解為：

(14)

式(14)右邊第一項(I-LR1)代表原算法中的LB1，第二項k(I-ωLR1)表示一個修正因子，用于對LB1進行改善。

將式(12)代入式(14)，可得如下式子：

LB2=I-LR1+k(LB1+LR1-ωLR1)=I-(1-k)LR1+k(LB1-ωLR1)，

(15)

式中的k、ω均為常數(shù)。當k=0時，LB2=LB1,與原算法一致，當k、ω都不為0時，則k(LB1-ωLR1)是對原去反射圖像層的一種修正。這種修正體現(xiàn)在兩個方面：第一，在原算法去反射的過程中，如果反射光沒有完全被包含在反射圖像層LR1中的話，就會有少部分反射光留在了LB1圖像層里，而這一修正項得到的結果正好可以消除反射光，獲得一幅近似LB1的較暗圖像；第二，大部分單幅圖像去除反射層后(即LB1)都會顯得比較暗，影響視覺效果，添增這一修正項可以增強LB1的對比度。通過對k、ω取適當?shù)闹?，就會使得去反射后的圖像質(zhì)量得到較大的改善。

3 實驗結果和分析

本次實驗是在一臺處理器為Intel(R)Core(TM)i5CPU，主頻3.2GHz，內(nèi)存4.0GB，操作系統(tǒng)WindowsXP專業(yè)版32位SP3 的PC機進行圖像處理，使用的軟件是matlab7.0版本。分別采用Li的原算法和本文改進算法對自然圖像和人工合成圖像進行實驗，實驗結果如圖3、4所示。

圖3 自然圖像去反射效果對比圖Fig.3 The comparison of reflection removal with natural image

圖3(a)中I是自然場景下的圖像，從圖3的A組圖像(b)和(d)可以看出兩者的效果幾乎無差別。當圖像滿足了Li算法的假設時，反射光被正確地分解到LR1里，因而2種方法的輸出結果基本一致。從B組圖像(b)和(d)中采用矩形框標記的部分可以看出，改進的算法得到的圖像更符合人眼的視覺特性，大大地改善了視覺效果。

圖4 人工合成圖像去反射效果對比圖Fig.4 The comparison of reflection removal withartificially synthesized image

圖4中兩組圖像I是人工合成的圖像，A組和B組的(b)圖像LB1中用矩形框標記的區(qū)域內(nèi)還有部分反射光沒有去除，經(jīng)過改進算法的處理后，在(d)圖中兩組圖像相應位置的反射光減少了，提高了圖像的質(zhì)量。

本文通過利用均值、平均梯度、標準差和信息熵來對圖像進行客觀評價。表1和表2分別表示對圖3和圖4的各項客觀評價指標的對比數(shù)據(jù)。

表1 對圖3各項客觀評價指標的對比

從表1可以看出，對于圖3中的兩組圖像得到的數(shù)據(jù)來說，本文改進算法的均值、平均梯度、標準差和信息熵都高于Li算法得到的指標值，除了圖3中B組圖的標準差。這是因為圖像注重對比度提升的同時，出現(xiàn)了少許顏色的失真。

表2 對圖4的各項客觀評價指標對比

從表2可以看出，對于圖4中的A組圖得到的數(shù)據(jù)來說，Li算法得到圖像的平均梯度高于本文改進的算法，且信息熵也略高于本文改進算法，而在均值和標準差都低于本文改進的算法。對于圖4中B組圖得到的數(shù)據(jù)來說，本文改進算法的各項客觀評價指標值都高于Li算法得到的指標值。

總之，從4組實驗的結果可以看出，相較于原算法，改進后的算法更能夠有效地去除反射，恢復出來的圖像視覺效果更佳。

4 結論

本文對單幅圖像散焦模糊去反射進行理論分析，指出了其不足之處并引入一種修正機制對其進行改進。通過實驗證明，改進的算法更有效地去除反射，改善了圖像的視覺效果。不足之處是在對某些圖像有效地去除反射的同時也導致圖像顏色失真，未來將進一步對圖像色彩進行有效地恢復。

[1] 張瀟云，鄒北驥，向遙,等. 彩色和等色圖像的非監(jiān)督反射分量分離[J].信號處理,2014(9):1007-1018.

[2] NAYAR S K，F(xiàn)ANG X S，BOULT T. Removal of specularities using color and polarization[C]// Proceedings of 1993 IEEE Computer Society Conference on. Computer Vision and Pattern Recognition. New York: IEEE,1993:583-590.

[3] SATO Y,IKEUCHI K. Temporal-color space analysis of reflection[J]. Journal of the Optical Society of America A,2001,11(11):2990-3002.

[4] YANG Qingxiong，WANG Shengnan，NARENDRA A,et al. A Uniform framework for estimating illumination chromaticity，correspondence，and specular reflection[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society,2011,20(1):53-63.

[5] LEVIN A，WEISS Y.User assisted separation of reflections from a single image using a sparsity prior using a sparsity prior[J].TPAMI,2007,29(9):1647-1654.

[6] JIA Danbing，LI Naimin，LI Chunjie，et al. Reflection removal of tongue image via total variation-based image inpainting[C]//2010 International Conference on E-Product E-Service and E-Entertainment (ICEEE). Zhengzhou: IEEE，2010:1-4.

[7] 王祎璠，姜志國，史駿,等. 顯著性檢測指導的高光區(qū)域修復[J].中國圖像圖形學報,2014,19(3)393-400.

[8] 孫欣欣，徐舒暢，盧滌非. 基于最佳分析窗口的高光檢測[J].計算機工程與設計,2007,28(6):1469-1472.

[9] 王湘暉，曾明. 基于視覺感知的圖像增強質(zhì)量客觀評價算法[J].光電子：激光,2008,19(2):258-262.

[10] 盧桂榮，湯景凡，姜明. 基于快速雙邊濾波的圖像高光去除研究[J].計算機工程與應用,2014(10):176-179.

[11] 馬吉權,馬培軍,蘇小紅. 基于表面形態(tài)分布的單幅灰度圖像高光檢測[J].計算機研究與發(fā)展,2011，48(1):169-175.

[12] LI Yu，BROWN M S. Single image layer separation using relative smoothness[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus: IEEE, 2014:2752-2759.

[13] SCHECHNER Y Y，KIRYATI N，BASRI R. Separation of transparent layers using focus[J]. International Journal of Computer Vision,2001,39(1):25-39.

[14] LI Xu，ZHENG Shicheng，JIA Jiaya. Unnatural L0 sparse representation for natural image deblurring [C]// IEEE Conference on Computer Vision & Pattern Recognition. Oregon: IEEE, 2013:1107-1114.

[15] 李志欣，陳宏朝，吳璟莉,等. 基于概率主題建模的圖像語義學習與檢索[J]. 廣西師范大學學報(自然科學版)，2012，30(3):125-134.

(責任編輯 王龍杰)

An Improved Single Image Reflection Removal with Defocus Blur

LI Xiuyu，XIA Haiying，SONG Shuxiang

(College of Electronic Engineering，Guangxi Normal University，Guilin Guangxi 541004,China)

Reflection removal of single image is a very meaningful issue in the area of computer vision. An improved method is proposed to overcome the weakness that single image reflection removal with defocus blur algorithm can not remove the reflection in the local area where the assumption that two layers have different smoothness is violated.By including correction mechanism and adaptive efforts to reflection，the improved algorithm can effectively eliminate color distortion of the image. With tests of natural scene and artificially synthesized images with reflected light，the results show that，compared with the original method，the improved method more effectively removes reflect light and enhances the robustness.

relative smoothness；reflection removal；correction mechanism；defocus blur

10.16088/j.issn.1001-6600.2016.03.005

2016-02-20

國家星火計劃重點項目(2015GA790002)

宋樹祥(1970—)，男，湖南雙峰人，廣西師范大學教授，博士。E-mail: songshuxiang@gxnu.edu.cn

TP391

A

1001-6600(2016)03-0032-07