張德發(fā)，肜 麗

(1.臺(tái)州職業(yè)技術(shù)學(xué)院計(jì)算機(jī)工程系，浙江臺(tái)州 318000;2.信陽農(nóng)林學(xué)院計(jì)算機(jī)科學(xué)系，河南信陽 464000)

0 引言

一般情況下，由于受光學(xué)限制，很難直接用現(xiàn)有的相機(jī)捕捉到高質(zhì)量圖像。一種可能的方法是捕捉多張同一場(chǎng)景的圖像，然后合成所需要的圖像。這種圖像處理的方式叫做“協(xié)同圖像處理”。通過協(xié)同圖像處理方法，圖像的質(zhì)量在許多方面得以提高。例如，由多張低分辨率的圖像可以合成一張高分辨率的圖像［1］，對(duì)多張同場(chǎng)景、不同曝光度、低動(dòng)態(tài)范圍圖像的合成可以提高圖像的動(dòng)態(tài)范圍［2］。

除此之外，協(xié)同圖像處理還可以增強(qiáng)圖像的內(nèi)容。同一場(chǎng)景在不同的光照條件下呈現(xiàn)的效果也不盡相同，不同光照條件下捕捉到的一組多光源圖像比單張圖像能提供對(duì)場(chǎng)景更詳盡的描述。文獻(xiàn)［3］開發(fā)了一種可以通過一組場(chǎng)景圖像生成一個(gè)圖像的交互式工具。這種方法可以對(duì)場(chǎng)景輪廓進(jìn)行精確描繪，但它不能重現(xiàn)真實(shí)的場(chǎng)景，輸出圖像看起來更像一幅畫而不是一張照片。文獻(xiàn)［4］提出了用梯度域法把不同光照下捕獲的圖像組合起來。文獻(xiàn)［5］通過使用最大梯度法構(gòu)建輔助層，可以有效地把所有輸入信息結(jié)合起來，但同時(shí)在陰影邊緣通常有較大的梯度，導(dǎo)致不同圖像的陰影邊緣也被包含在輔助層。如何去除細(xì)節(jié)層中陰影邊緣引起的大梯度便成為一個(gè)具有挑戰(zhàn)性的問題。文獻(xiàn)［6］中指出陰影可能會(huì)掩蓋住某些有用的細(xì)節(jié)，需要進(jìn)一步研究如何提高陰影區(qū)的亮度，使陰影區(qū)的細(xì)節(jié)更加清晰可見。文獻(xiàn)［7］提出了一個(gè)細(xì)節(jié)增強(qiáng)框架，該框架使用雙邊濾波器把輸入圖像分解。文獻(xiàn)［8］中該多尺度雙邊濾波器的使用可以對(duì)細(xì)節(jié)進(jìn)行細(xì)致操作。然而由于輸出圖像混雜著陰影，所以合成圖像有時(shí)候看起來并不自然。

本文提出了一種基于內(nèi)容的協(xié)同圖像處理方法，生成包含多光源輸入圖像的詳盡信息的合成圖像，合成的圖像比任何一個(gè)輸入圖像提供更詳盡的場(chǎng)景描述。該方法首先使用最大梯度法構(gòu)建輔助層，提出一個(gè)新的有效的陰影檢測(cè)方法解決了細(xì)節(jié)層中由陰影邊緣導(dǎo)致的大梯度問題;然后研究了從輔助圖像里提取出細(xì)節(jié)層的方法;除細(xì)節(jié)層外，提出了構(gòu)造能夠呈現(xiàn)大量場(chǎng)景特性的基礎(chǔ)層的方法;在得到基礎(chǔ)層后，研究了通過基礎(chǔ)層和細(xì)節(jié)層來生成合成新圖像的方法。與之前的處理方法相比，本文的方法不僅增強(qiáng)了曝光區(qū)域已有的細(xì)節(jié)，而且還給輸入圖像填充了更多細(xì)節(jié)，尤其是在陰影區(qū)域。因此，采用這種方法合成的圖像看起來更自然。

1 協(xié)同圖像處理算法

1.1 梯度場(chǎng)的建立

由于陰影邊緣通常存在大梯度，所以▽Ymax不可避免地會(huì)包含陰影邊緣的梯度。為了去除陰影邊緣導(dǎo)致的偽跡，檢測(cè)陰影位置和細(xì)化陰影邊緣像素周圍的梯度場(chǎng)也是必要的［9］。由于采用了多光源圖像，故設(shè)計(jì)一個(gè)聯(lián)合陰影檢測(cè)方案。為簡(jiǎn)單起見，本文采用基于直方圖分割算法來獨(dú)立檢測(cè)每個(gè)圖像的陰影位置。模型顏色空間的一幅圖像，其R比例圖定義為

(2)式中，Q(x，y)為圖像(x，y)像素處的飽和度。

在比例圖中，本影區(qū)的值較大，而亮區(qū)的值較小。然后用兩級(jí)分割算法將比例圖映射到不同區(qū)域。在第一階段的分割中，用來在整個(gè)直方圖中找到一個(gè)閾值T，將本影區(qū)和其他區(qū)域分離開［10］。根據(jù)文獻(xiàn)［7］，閾值T應(yīng)該使函數(shù)取最大值

經(jīng)過第一階段的分割后，圖像被分為暗區(qū)和亮區(qū)。但在半影區(qū)，這是對(duì)應(yīng)的半透明區(qū)，仍包含在亮區(qū)。因此，需要第二階段分割檢測(cè)半影區(qū)的位置。在第二階段中，分割算法應(yīng)用于直方圖［0，T］之間，這樣就可以獲得另一個(gè)閾值。然后，直方圖的比例圖分割成3個(gè)區(qū)域，暗影區(qū)域［T，255］，半影區(qū)［)，和亮區(qū)［0)。則可以根據(jù)分割結(jié)果得到輸入圖像的一個(gè)蒙板，如圖1所示。梯度的像素在陰影邊緣附近，將被設(shè)置為0。因此，第二大梯度將被用于(1)式來建立梯度場(chǎng)▽Ymax。

圖1 陰影檢測(cè)算法的處理結(jié)果Fig.1 Processing result of shadow detection algorithm

1.2 細(xì)節(jié)層的提取

梯度場(chǎng)建立后，期望包含輸入圖像所有細(xì)節(jié)的輔助圖像U，可以由如下最優(yōu)化問題［11］生成

(4)式中，▽U(x，y)為輔助圖像在(x，y)像素處的灰度梯度。

由于本文所提到的方法是用來增強(qiáng)圖像的細(xì)節(jié)而不是輪廓信息，U中的小細(xì)節(jié)與大特性需要分離。為了簡(jiǎn)單起見，在對(duì)數(shù)域完成以上分離。

(5)式中，L(x，y)，Ld(x，y)，Lb(x，y)分別等于log(U)，log(Ub)，log(Ud)，其中 Ub，Ud分別表示大特性和細(xì)節(jié)。

用如下的二次函數(shù)來實(shí)現(xiàn)L(x，y)的分解

1.3 基礎(chǔ)層的建立

(9)式中，η是亮化的強(qiáng)度，默認(rèn)值為0.5，η越小，暗區(qū)就越亮。值得注意的是，提高暗區(qū)的亮度將會(huì)使整個(gè)圖像的對(duì)比度降低。

(10)式中，μ控制圖像的整體亮度，默認(rèn)值為0.36。

1.4 圖像合成

構(gòu)建細(xì)節(jié)層后，根據(jù) (8)式中定義的細(xì)節(jié)層和(10)式中定義的基礎(chǔ)層，最終的合成圖為

(11)式中，θ控制細(xì)節(jié)的增強(qiáng)強(qiáng)度，默認(rèn)值為1.5。用戶可以通過改變?chǔ)鹊闹祦韺?shí)現(xiàn)細(xì)節(jié)的調(diào)整。隨θ增大，細(xì)節(jié)將變銳化。反之，圖像將變得模糊。

2 仿真分析

本實(shí)驗(yàn)采用Visual C++6.0實(shí)現(xiàn)上述方法。所使用的 PC機(jī)，其 CPU為酷睿 2E4300、主頻為2.0 GHz、顯存為1 GByte。實(shí)驗(yàn)所使用的所有圖片均來自實(shí)驗(yàn)室環(huán)境下實(shí)地拍攝的自然場(chǎng)景。

通過測(cè)試多組多光源圖像得到的大量實(shí)驗(yàn)結(jié)果，對(duì)本文所述方案進(jìn)行了驗(yàn)證。

為了滿足不同用戶的喜好，本文的方法允許用戶通過改變?chǔ)戎祦斫换ナ娇刂萍?xì)節(jié)增強(qiáng)的強(qiáng)度。圖2為不同θ值對(duì)應(yīng)的增強(qiáng)效果圖。

圖2 不同θ值對(duì)應(yīng)的增強(qiáng)效果圖Fig.2 Different values ofθcorresponding enhancement effect

陰影檢測(cè)方案的效果如圖3所示。圖3a沒有應(yīng)用陰影檢測(cè)方案，易見花瓣上有一些偽跡。這些線是由輸入圖像的陰影邊緣引起的，并且這些線條使花看起來有些雜亂。圖3b則是使用陰影檢測(cè)方案生成的。

圖3 有無陰影檢測(cè)的處理效果對(duì)比Fig.3 Treatment effect comparison

現(xiàn)在把本文的方法和文獻(xiàn)［4］中的方法作對(duì)比。文獻(xiàn)［4］中也采用了梯度域法采集輸入圖像的信息。文獻(xiàn)［4］中應(yīng)用了一個(gè)線性方程來調(diào)整輸入圖像的不同光照。但文獻(xiàn)［4］中的方法更適合大特性的融合，它不能對(duì)細(xì)節(jié)進(jìn)行細(xì)膩化。如圖4所示，本文的結(jié)果包含了更多的細(xì)節(jié)。

圖4 文獻(xiàn)［4］與本文算法的處理效果對(duì)比Fig.4 Treatment effect comparison of［4］and this algorithm

此外，文獻(xiàn)［4］沒有考慮輸入圖像的陰影信息。所以圖4a中可以看到明顯的偽跡。在圖5中，本文的結(jié)果與文獻(xiàn)［7］中提到的另一種協(xié)作圖像處理方法作對(duì)比。文獻(xiàn)［7］中每一個(gè)輸入圖像都被分解成細(xì)節(jié)層和基礎(chǔ)層，然后所有的細(xì)節(jié)層被結(jié)合起來。輸入圖像的基礎(chǔ)層也被加權(quán)求和。用戶可以通過調(diào)整分配給每個(gè)基礎(chǔ)層的權(quán)重系數(shù)來控制輸出圖像的陰影位置和強(qiáng)度。對(duì)用戶來說，往往難以使輸入圖像雜亂的陰影有序化，如圖5a所示。

通過文獻(xiàn)［7］的方法和本文的方法結(jié)果的比較，可以看出2種方法都有效地合成了一幅含有豐富內(nèi)容的圖像。這2種方法都可以使暗影區(qū)丟失的細(xì)節(jié)再填充。但是本文的方法可以避免輸出圖像中含有雜亂陰影，并得到了一個(gè)比文獻(xiàn)［7］更加自然的結(jié)果。此外，本文的方法可以在無任何交互調(diào)整下自動(dòng)合成輸入圖像。這讓本文的方法比文獻(xiàn)［7］更易使用。

圖5 文獻(xiàn)［7］與本文算法的處理效果對(duì)比Fig.5 Treatment effect comparison of［7］and this algorithm

除了協(xié)同圖像處理算法，本文的方法也和傳統(tǒng)的細(xì)節(jié)增強(qiáng)算法—直方圖均衡化［15］作了比較，結(jié)果如圖6所示。直方圖均衡化的原則是放大高對(duì)比度的直方圖的區(qū)域，壓縮低對(duì)比度的區(qū)域。暗影區(qū)通常是圖像的一小部分，因此，直方圖均衡化可能導(dǎo)致暗影區(qū)細(xì)節(jié)的丟失。相反，本文的方法在增強(qiáng)局部與其他區(qū)域?qū)Ρ鹊耐瑫r(shí)，也可以重填暗影區(qū)丟失的細(xì)節(jié)。

圖6 局部直方圖均衡化算法與本文算法的處理效果對(duì)比Fig.6 Treatment effect comparison of local histogram equalization algorithmand and this algorithm

3 結(jié)論

本文提出了一個(gè)新的協(xié)同圖像處理方案，通過對(duì)一組同場(chǎng)景不同光照下捕捉的圖像的合成，產(chǎn)生一個(gè)內(nèi)容豐富細(xì)致的圖像。在輸入圖像捕捉時(shí)，由于光照位置和強(qiáng)度的變化，曝光不足的區(qū)域是不同的。一個(gè)圖像由陰影所隱藏的細(xì)節(jié)可能在其他圖像中顯現(xiàn)。輸入圖像組合后，將構(gòu)造一個(gè)包含所有輸入圖像信息的細(xì)節(jié)層。將細(xì)節(jié)層與由一個(gè)輸入圖像生成的基礎(chǔ)層復(fù)合，所有輸入圖像的細(xì)節(jié)在合成圖里都會(huì)被顯示出來。仿真結(jié)果已經(jīng)證明本文的方法可以重現(xiàn)暗影區(qū)丟失的細(xì)節(jié)，同時(shí)增強(qiáng)了現(xiàn)有的細(xì)節(jié)。相對(duì)于輸入圖像，輸出圖像仍保持較高的保真度，看上去也非常自然清晰。但是該方法復(fù)雜度要遠(yuǎn)高于各文獻(xiàn)中的算法，使得處理的實(shí)時(shí)性變差。如何優(yōu)化算法、提高處理的實(shí)時(shí)性是下一步研究的重點(diǎn)，由于目前尚沒有能客觀評(píng)價(jià)處理結(jié)果的評(píng)價(jià)函數(shù)和量化指標(biāo)，因此，有效的評(píng)價(jià)函數(shù)也需要進(jìn)一步加以研究和完善。實(shí)際上，由于周圍環(huán)境多變的復(fù)雜性以及拍攝中視角動(dòng)態(tài)變化的影響，因此，還需進(jìn)一步研究多目視覺或者其他多信息融合的協(xié)同圖像處理算法。

［1］LERTRATTANAPANICH S，BOSE N K.High Resolution Image Formation From Low Resolution Frames Using Delaunay Triangulation［J］.IEEE Transactions on Image Processing，2002，11(12):1427－1441.

［2］DEBEVEC P E，MALIK J.Recovering high dynamic range radiance maps from photographs［C］//ACM SIGGRAPH 2008 classes.NewYork，USA:ACM，2008:31.

［3］AKERS D，LOSASSO F，KLINGNER J，et al.Conveying shape and features with image－based relighting［C］//Proceedings of the 14th IEEE Visualization 2003(VIS'03).［s.l.］:IEEE Computer Society，2003:46.

［4］RASKAR R，ILIE A，YU J.Image fusion for context enhancement and video surrealism［C］//ACM SIGGRAPH 2005 Courses.NewYork，USA:ACM，2005:4.

［5］朱立新，王平安，夏德深.基于梯度場(chǎng)均衡化的圖像對(duì)比度增強(qiáng)［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2007，19(12):1546－1552.

ZHU Lixin，WANG Pingan，XIA Deshen.Image Contrast Enhancement by Gradient Field Equalization［J］.Journal of Computer－aided Design ＆ Computer Graphics，2007，19(12):1546－1552.

［6］關(guān)雪梅.邊緣檢測(cè)算法在圖像處理中的應(yīng)用研究［J］.信息與電腦，2009，10:061.

GUAN Xuemei.Edge Detection Algorithm in Image Processing［J］.Information and Computer，2009，10:061.

［7］TOET A.Multiscale contrast enhancement with applications to image fusion［J］.Optical Engineering，1992，31(5):1026－1031.

［8］GERONIMO J S，HARDIN D P，MASSOPUST P R.Fractal functions and wavelet expansions based on several scaling functions［J］.Journal of Approximation Theory，1994，78(3):373－401.

［9］FATTAL R，AGRAWALA M，RUSINKIEWICZ S.Multiscale shape and detail enhancement from multi－light image collections［J］.ACM Trans Graph，2007，26(3):51.

［10］張笑微，王月琴.基于灰度圖像的陰影檢測(cè)算法［J］.兵工自動(dòng)化，2007，26(7):45－47.

ZHANG Xiaowei，WANG Yueqin.Shadow Detection Algorithm in Gray Degree Image［J］.Ordnance Industry Automation，2007，26(7):45－47.

［11］TSAIV JD.A Comparative Study on Shadow Compensation of Color Aerial Images in Invariant Color Models［J］.IEEE Transactions on Geoscience and Remote Sensing，2006，44(6):1661－1671.

［12］李彩花，胡曉平，李亞芹.圖像處理中濾波器及邊緣檢測(cè)算法的實(shí)驗(yàn)與研究［J］.機(jī)電工程技術(shù)，2008，37(9):47－49，98.

LICaihua，HU Xiaoping，LIYaqin.Experiment and Research on Edge Detection and Filter in the Course of Image Processing［J］.Mechanical＆ Electrical Engineering Technology，2008，37(9):47－49，98.

［13］KIM Joung Youn，KIM Lee Sup，HWANG Seung Ho.An Advanced Contrast Enhancement Using Partially Overlapped Sub－block Histogram Equalization ［J］.IEEE Transactions on Circuits and Systems for Video Technology，2001，11(4):475－484.

［14］OTSU N.A Threshold Selection Method from Gray－Level Histograms［J］.IEEE Transactions on Systems，Man，and Cybernetics，1979，9(1):62－66.

［15］黃微，傅利琴，王琛.基于梯度域的保紋理圖像陰影去除算法［J］.計(jì)算機(jī)應(yīng)用，2013，33(8):2317－2319.

HUANGWei，F(xiàn)U Liqin，WANG Chen.Shadow removal algorithm within texture image based on gradient field［J］.Computer Applications，2013，33(8):2317－2319.

(編輯:王敏琦)