李衛(wèi)中，易本順，邱　康，彭　紅

(1 武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072；2 湖北工程學(xué)院 物理與電子信息工程學(xué)院，湖北 孝感 432000；3 地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079)

?

細(xì)節(jié)保留的多曝光圖像融合

李衛(wèi)中1，2，易本順1，3 *，邱康1，彭紅1

(1 武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072；2 湖北工程學(xué)院 物理與電子信息工程學(xué)院，湖北 孝感 432000；3 地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079)

針對(duì)傳統(tǒng)的多曝光圖像融合算法存在的細(xì)節(jié)丟失嚴(yán)重和鬼影現(xiàn)象，提出了一種細(xì)節(jié)保留的多曝光圖像融合算法。該算法首先計(jì)算曝光序列的3個(gè)特征指標(biāo)：圖像細(xì)節(jié)、曝光亮度和色彩信息，其中圖像細(xì)節(jié)通過(guò)引導(dǎo)濾波計(jì)算，曝光亮度的權(quán)值由高斯方程分配，而曝光序列的色彩信息用色彩飽和度表示。然后，利用差分圖和鄰域相關(guān)系數(shù)檢測(cè)多曝光序列中運(yùn)動(dòng)物體，利用3個(gè)特征指標(biāo)和運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果分別計(jì)算靜態(tài)場(chǎng)景和動(dòng)態(tài)場(chǎng)景的融合權(quán)值圖。為了消除噪聲的影響，采用遞歸濾波器來(lái)修正融合權(quán)值圖。最后，采取加權(quán)融合的方式得到融合圖像。選取10組不同的曝光序列，分別從主觀和客觀兩方面與6種傳統(tǒng)的融合算法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，本文算法保留了豐富的細(xì)節(jié)信息，呈現(xiàn)出了更加生動(dòng)自然的現(xiàn)實(shí)場(chǎng)景，并且有效去除了由運(yùn)動(dòng)物體產(chǎn)生的鬼影現(xiàn)象，效果優(yōu)于其他比較算法，在靜態(tài)場(chǎng)景和動(dòng)態(tài)場(chǎng)景的曝光融合中都取得了好的效果。

多曝光圖像；圖像融合；圖像細(xì)節(jié)；引導(dǎo)濾波；鬼影

1　引　言

普通數(shù)碼相機(jī)成像的動(dòng)態(tài)范圍一般為2～3個(gè)數(shù)量級(jí)，而現(xiàn)實(shí)場(chǎng)景的亮度變化范圍高達(dá)8～10個(gè)數(shù)量級(jí)[1]，遠(yuǎn)遠(yuǎn)超過(guò)了CCD/CMOS成像設(shè)備所能捕捉的動(dòng)態(tài)范圍[2-4]。因此利用普通的數(shù)碼相機(jī)很難完整地捕捉現(xiàn)實(shí)場(chǎng)景的所有信息，例如:短曝光圖像只能捕捉到明亮區(qū)域的場(chǎng)景細(xì)節(jié)，而長(zhǎng)曝光圖像往往只能呈現(xiàn)較暗區(qū)域的場(chǎng)景細(xì)節(jié)[5-6]。為了完美地呈現(xiàn)現(xiàn)實(shí)場(chǎng)景的所有細(xì)節(jié)信息，可以用數(shù)碼相機(jī)拍攝一系列同一場(chǎng)景不同曝光亮度的圖像，然后利用多曝光圖像融合技術(shù)合成一幅反映現(xiàn)實(shí)場(chǎng)景所有信息的圖像。

近年來(lái)，國(guó)內(nèi)外的許多學(xué)者在多曝光圖像融合方面展開(kāi)了研究。周曉波等[7]提出了基于圖像分塊的多曝光圖像融合算法，但該方法容易產(chǎn)生塊效應(yīng)。付爭(zhēng)方等[8]提出了基于S曲線的多曝光圖像融合算法，但該方法只能在一定程度上改善融合效果。Mertens等[9]提出了基于金字塔的多曝光圖像融合算法，該方法獲得了較好的融合效果，但丟失了較亮區(qū)域和較暗區(qū)域的細(xì)節(jié)信息。Shen等[10]提出了基于改進(jìn)金字塔的多曝光圖像融合算法，較好地保留了細(xì)節(jié)信息，但增加了算法的運(yùn)算復(fù)雜度。Bruce[11]提出了基于局部熵的多曝光圖像融合算法，該算法較好地保留了場(chǎng)景細(xì)節(jié)，但全局對(duì)比度低且色彩退化嚴(yán)重。Vanmali等[12]利用高斯方程實(shí)現(xiàn)了一種低復(fù)雜度的多曝光圖像融合算法，該算法雖然有效地降低了計(jì)算復(fù)雜度，但場(chǎng)景細(xì)節(jié)丟失嚴(yán)重并且顏色失真明顯。而且以上算法均適合于靜態(tài)場(chǎng)景的多曝光圖像融合，如果場(chǎng)景中存在運(yùn)動(dòng)物體，融合結(jié)果將產(chǎn)生嚴(yán)重的鬼影現(xiàn)象。國(guó)內(nèi)外的很多學(xué)者對(duì)消除鬼影現(xiàn)象進(jìn)行了研究。Gallo等[13]利用RANSAC(RANdom Sample Consensus)過(guò)程有效消除了鬼影，但卻產(chǎn)生了色彩失真和塊效應(yīng)。Li等[14]利用直方圖均衡化和中值濾波檢測(cè)運(yùn)動(dòng)物體，該算法一定程度上減少了鬼影現(xiàn)象，但不能完全消除鬼影。Oh等[15]利用矩陣秩最小理論檢測(cè)運(yùn)動(dòng)物體，雖然能有效減少運(yùn)動(dòng)物體對(duì)融合結(jié)果的影響，但算法的運(yùn)算復(fù)雜度高。Liu等[16]利用圖像的尺度不變特征變換(SIFT)實(shí)現(xiàn)多曝光圖像融合，有效地保留了細(xì)節(jié)信息，但不能完全消除鬼影現(xiàn)象。

為了更好地消除運(yùn)動(dòng)物體的鬼影現(xiàn)象，本文提出了一種細(xì)節(jié)保留的多曝光圖像融合算法。首先計(jì)算圖像的3個(gè)特征指標(biāo)：圖像細(xì)節(jié)、曝光亮度和色彩信息；然后利用差分圖和鄰域相關(guān)系數(shù)進(jìn)行運(yùn)動(dòng)物體檢測(cè)；根據(jù)特征指標(biāo)和運(yùn)動(dòng)物體檢測(cè)結(jié)果計(jì)算權(quán)值圖并利用遞歸濾波對(duì)權(quán)值圖進(jìn)行修正；最后采用加權(quán)融合的方式得到融合圖像。該算法在靜態(tài)場(chǎng)景和動(dòng)態(tài)場(chǎng)景的曝光融合中都能產(chǎn)生較好的融合結(jié)果。

2　曝光融合

本文的算法不僅適用于靜態(tài)場(chǎng)景，而且適用于動(dòng)態(tài)場(chǎng)景。該算法主要由圖像特征指標(biāo)計(jì)算、運(yùn)動(dòng)物體檢測(cè)、權(quán)值圖計(jì)算以及加權(quán)融合等4個(gè)步驟組成。

2.1特征指標(biāo)計(jì)算

針對(duì)靜態(tài)場(chǎng)景融合的特點(diǎn)，選擇圖像細(xì)節(jié)、曝光亮度和色彩信息3個(gè)特征指標(biāo)來(lái)計(jì)算曝光融合的權(quán)值。

2.1.1圖像細(xì)節(jié)

(1)

(2)

2.1.2曝光亮度

人的視覺(jué)系統(tǒng)觀察到的細(xì)節(jié)信息多少與圖像的曝光亮度有直接關(guān)系，曝光亮度合適的圖像能呈現(xiàn)出豐富的紋理細(xì)節(jié)和色彩信息，而欠曝光或者過(guò)曝光區(qū)域則幾乎不能傳遞任何細(xì)節(jié)信息。因此，在曝光融合過(guò)程中，應(yīng)該對(duì)曝光合適的像素分配較大的權(quán)值，而對(duì)欠曝光或者過(guò)曝光區(qū)域的像素分配很小的權(quán)值。具體為：首先將原序列轉(zhuǎn)換成灰度圖并作歸一化處理，然后根據(jù)各像素的曝光亮度，利用高斯方程為每個(gè)像素分配相應(yīng)的權(quán)值，同時(shí)排除欠曝光或過(guò)曝光區(qū)域像素對(duì)融合結(jié)果的影響，其權(quán)值分配方程為：

(3)

2.1.3色彩信息

色彩信息是衡量圖像質(zhì)量的重要指標(biāo)，飽和的色彩能讓圖像看起來(lái)更加生動(dòng)。本文采用色彩飽和度來(lái)衡量圖像的色彩信息，其計(jì)算過(guò)程為：

(4)

2.2運(yùn)動(dòng)物體檢測(cè)

(5)

(6)

(7)

(8)

(9)

2.3計(jì)算權(quán)值圖

為了保留更多的場(chǎng)景細(xì)節(jié)以及豐富的色彩信息，同時(shí)消除運(yùn)動(dòng)物體對(duì)融合結(jié)果的影響，將圖像特征指標(biāo)與運(yùn)動(dòng)檢測(cè)結(jié)果加權(quán)相乘得到權(quán)值圖，即：

(10)

(11)

2.4加權(quán)融合

由于權(quán)值圖在處理過(guò)程中容易引入噪聲，為了消除噪聲的影響，以便得到精確的權(quán)值圖，需要對(duì)權(quán)值圖進(jìn)行濾波處理。遞歸濾波是一種實(shí)時(shí)的邊緣保持濾波器，已廣泛用于圖像和視頻處理[19]。將權(quán)值圖進(jìn)行遞歸濾波處理能有效濾除噪聲，從而得到精確平滑的權(quán)值圖Wk。 其處理過(guò)程如式(12)所示：

(12)式中RF(·)表示遞歸濾波操作。得到精確的權(quán)值圖后，通過(guò)加權(quán)融合得到最后的融合圖像F，即：

(13)

3　實(shí)驗(yàn)結(jié)果與分析

所有的實(shí)驗(yàn)都是在Intel i5處理器(3.5 GHz， 64位)，4 G內(nèi)存的PC平臺(tái)上利用MATLAB (R2012a)編程完成。分別在靜態(tài)場(chǎng)景和動(dòng)態(tài)場(chǎng)景對(duì)多組曝光序列進(jìn)行了測(cè)試，并將本文算法與Mertens等[9]、Bruce[11]、Gallo等[13]、Li等[14]、Oh等[15]以及Liu等[16]提出的算法進(jìn)行了比較分析。

實(shí)驗(yàn)過(guò)程中對(duì)算法的相關(guān)參數(shù)進(jìn)行了設(shè)置。為了獲得圖像的細(xì)節(jié)，引導(dǎo)濾波的濾波半徑和平滑系數(shù)分別取r=5和ε=0.1。遞歸濾波器的空間參數(shù)和值域參數(shù)分別設(shè)為σs=80和σr=3。大量的測(cè)試顯示，當(dāng)門(mén)限值T1=0.15、T2=0.85，同時(shí)選擇9×9鄰域時(shí)，可以精確地檢測(cè)運(yùn)動(dòng)物體。

3.1靜態(tài)場(chǎng)景的測(cè)試與分析

圖1(彩圖見(jiàn)期刊電子版)和圖2(彩圖見(jiàn)期刊電子版)分別為不同的多曝光序列融合結(jié)果以及局部細(xì)節(jié)圖。在圖1中，Mertens算法呈現(xiàn)出了較好的全局對(duì)比度以及豐富的色彩，但較亮區(qū)域的細(xì)節(jié)有所損失(如圖1(b)中的教堂天窗的細(xì)節(jié)部分不夠清晰)。Li算法呈現(xiàn)出了較好的全局對(duì)比度，但較亮區(qū)域的天窗細(xì)節(jié)損失嚴(yán)重。Bruce提出的算法導(dǎo)致融合后的圖像亮度較暗，整體對(duì)比度較低，色彩不夠鮮艷，天花板左側(cè)部分細(xì)節(jié)損失嚴(yán)重。Liu算法呈現(xiàn)出了較好的對(duì)比度，但天窗區(qū)域的周邊比較模糊。本文算法呈現(xiàn)出了較好的視覺(jué)效果，同時(shí)保留了豐富的場(chǎng)景細(xì)節(jié)，如教堂頂部的天窗和左右兩側(cè)的天花板呈現(xiàn)出的細(xì)節(jié)更加清晰，色彩更加自然。

在圖2中，Mertens算法呈現(xiàn)出了較好的全局對(duì)比度和色彩飽和度，但局部對(duì)比度低，塔體部分較暗，塔體細(xì)節(jié)損失嚴(yán)重。與Mertens算法相比，Li算法和Bruce算法一定程度上保留了塔體的細(xì)節(jié)，但這兩種方法都呈現(xiàn)出了一定的顏色退化現(xiàn)象，例如花草的顏色不夠鮮艷，并且場(chǎng)景細(xì)節(jié)也不夠清晰。Liu算法可較好地保留細(xì)節(jié)，但與本文算法相比，色彩稍顯暗淡(如圖2(e)中草坪上花朵的顏色)。本文算法展現(xiàn)出了較好的對(duì)比度和色彩飽和度，清晰地呈現(xiàn)了場(chǎng)景的細(xì)節(jié)(如圖2(f)中塔體的細(xì)節(jié))，并且色彩更加鮮艷、真實(shí)，視覺(jué)效果好。

(a)輸入的Memorial多曝光序列

(b)Mertens(c)Li(d)Bruce(e)Liu(f)Proposed method

圖1Memorial圖像序列曝光融合結(jié)果

Fig.1Exposure fusion results of Memorial sequence

(a)輸入的Tower多曝光序列

(b)Mertens(c)Li(d)Bruce(e)Liu(f)Proposed method

圖2Tower圖像序列曝光融合結(jié)果

Fig.2Exposure fusion results of Tower sequence

3.2動(dòng)態(tài)場(chǎng)景的測(cè)試與分析

圖3(彩圖見(jiàn)期刊電子版)、圖4(彩圖見(jiàn)期刊電子版)和圖5(彩圖見(jiàn)期刊電子版)分別為曝光序列Arch、Sculpture garden和Puppet的測(cè)試結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出，Mertens算法雖然呈現(xiàn)出了較好的對(duì)比度和色彩飽和度，但產(chǎn)生了嚴(yán)重的鬼影(如圖3(b)和圖4(b)中的行人，圖5(b)中的橄欖球)。 Gallo的算法能有效消除鬼影現(xiàn)象，但引入了塊效應(yīng)(如圖3(c)中走廊邊緣的地板)和顏色扭曲失真(如圖3(c)中柱子底部方框區(qū)域以及圖4(c)中的方框區(qū)域)。Li的算法一定程度上減少了鬼影，但仍然存在鬼影現(xiàn)象(如圖3(d)和圖4(d)中的行人以及圖5(d)中的橄欖球)。Liu算法和Oh算法在很大程度上減少了鬼影現(xiàn)象，但仔細(xì)觀察仍然可以發(fā)現(xiàn)鬼影存在(如圖4(e)中的行人以及圖5(e)和圖5(f)中的橄欖球)。相比之下，本文算法能有效消除鬼影現(xiàn)象并較好地保留場(chǎng)景細(xì)節(jié)，視覺(jué)效果好。

(a)輸入的Arch多曝光序列

(b)Mertens(c)Gallo(d)Li(e)Liu(f)Oh(g)Proposed method

圖3Arch圖像序列曝光融合結(jié)果

Fig.3Exposure fusion results of Arch sequence

(a)輸入的Sculpture garden多曝光序列

(b)Mertens(c)Gallo(d)Li

(e)Liu(f)Oh(g) Proposed method

圖4Sculpture garden圖像序列曝光融合結(jié)果

Fig.4Exposure fusion results of Sculpture garden sequence

(a)輸入的Puppet多曝光序列

(b)Mertens(c)Gallo(d)Li

(e)Liu(f)Oh(g)Proposed method

圖5Puppet圖像序列曝光融合結(jié)果

Fig.5Exposure fusion results of Puppet sequence

3.3客觀評(píng)價(jià)

采用信息熵和圖像清晰度[20]兩項(xiàng)客觀指標(biāo)評(píng)價(jià)算法的性能。信息熵用來(lái)衡量圖像包含的信息量多少，信息熵越大，則圖像的信息量越大，表明其保留的細(xì)節(jié)越豐富，計(jì)算方法如式(14)所示：

(14)

式中pz為灰度圖中像素z的概率。

圖像的清晰度利用圖像的平均梯度來(lái)描述，其值越大表示圖像所包含的微小細(xì)節(jié)越豐富，表現(xiàn)為圖像越清晰，其計(jì)算公式為：

(15)

式中zr，c表示位于第r行第c列的像素灰度值，R和C分別表示輸入圖像的行數(shù)和列數(shù)。

選取多組不同場(chǎng)景的多曝光序列，分別計(jì)算信息熵和圖像清晰度兩項(xiàng)指標(biāo)，測(cè)試結(jié)果如表1和表2所示。從測(cè)試結(jié)果可以看出，在大多數(shù)情況下，本文算法要優(yōu)于其它的對(duì)比算法，即本文算法保留了更多的場(chǎng)景細(xì)節(jié)。

表1　圖像信息熵評(píng)價(jià)結(jié)果

表2　圖像清晰度評(píng)價(jià)結(jié)果

3.4計(jì)算效率

表3給出了4種多曝光圖像融合算法的計(jì)算效率對(duì)比結(jié)果，所對(duì)比的4種算法都采用MATLAB編程實(shí)現(xiàn)，所有的運(yùn)行時(shí)間都是在Intel i5處理器(3.5 GHz， 64位)，4 G內(nèi)存的PC平臺(tái)上運(yùn)行得到。從對(duì)比結(jié)果可以看出，本文算法的計(jì)算效率明顯優(yōu)于Liu和Oh的算法，與Li提出的快速曝光融合算法相當(dāng)。

表3計(jì)算效率對(duì)比

Tab.3Comparison of computation efficiency

(second)

4　結(jié)　論

本文提出了一種具有較好細(xì)節(jié)保留特點(diǎn)的多曝光圖像融合算法。利用圖像的特征指標(biāo)計(jì)算權(quán)值圖，同時(shí)消除運(yùn)動(dòng)物體對(duì)融合結(jié)果的影響，以避免產(chǎn)生鬼影現(xiàn)象。選取10組不同的曝光序列，分別從主觀和客觀兩方面對(duì)算法進(jìn)行比較分析，實(shí)驗(yàn)結(jié)果表明本文算法很好地保留了亮區(qū)和暗區(qū)細(xì)節(jié)信息，呈現(xiàn)出了更加生動(dòng)自然的現(xiàn)實(shí)場(chǎng)景，并且有效去除了由運(yùn)動(dòng)物體產(chǎn)生的鬼影現(xiàn)象。本文算法優(yōu)于6種比較算法，在靜態(tài)場(chǎng)景和動(dòng)態(tài)場(chǎng)景都產(chǎn)生了更好的融合效果。

[1]CHAURASIYA R K， RAMAKRISHNAN K R. High dynamic range imaging [C].IEEEInternationalConferenceonCommunicationSystemsandNetworkTechnologies(CSNT)，2013: 83-89.

[2]QIAN X， YU H， CHEN S，etal.. A high dynamic range CMOS image sensor with dual-exposure charge subtraction scheme [J].IEEESensorsJournal， 2015， 15(2): 661-662.

[3]武星星， 劉金國(guó)， 周懷得，等. 制冷對(duì)電子倍增CCD相機(jī)成像質(zhì)量的影響[J].光學(xué) 精密工程， 2015， 23(10增): 528-532.

WU X X， LIU J G， ZHOU H D，etal.. Influence of cooling on imaging quality of EMCCD camera [J].Opt.PrecisionEng.，2015， 23(10Suppl.): 528-532. (in Chinese)

[4]劉慧， 劉學(xué)斌， 陳小來(lái)，等. 基于驅(qū)動(dòng)時(shí)序控制CCD曝光時(shí)間的設(shè)計(jì)與實(shí)現(xiàn)[J].紅外與激光工程， 2015，44(S1): 199-204.

LIU H， LIU X B， CHEN X L，etal.. Design and implementation of CCD exposure time control based on driver timing [J].InfraredandLaserEngineering， 2015，44(S1): 199-204. (in Chinese)

[5]WANG T H， CHIU C W， WU W C，etal.. Pseudo multiple exposure based tone fusion with local region adjustment [J].IEEETransactionsonMultimedia， 2015， 17(4): 470-484.

[6]呂偉振， 劉偉奇， 魏忠倫，等. 基于DMD的高動(dòng)態(tài)范圍成像光學(xué)系統(tǒng)設(shè)計(jì)[J].紅外與激光工程， 2014，43(4): 1167-1171.

LV W ZH， LIU W Q， WEI ZH L，etal.. Design of high dynamic range imaging optical system based on DMD [J].InfraredandLaserEngineering， 2014，43(4): 1167-1171. (in Chinese)

[7]周曉波，程海龍，賈琦. 圖像分塊融合算法速度優(yōu)化處理研究[J].北京交通大學(xué)學(xué)報(bào)， 2014， 38(5): 33-36.ZHOU X B， CHENG H L; JIA Q. Optimization of image block fusion algorithm in speed [J].JournalofBeijingJiaotongUniversity， 2014， 38(5): 33-36.(in Chinese)

[8]付爭(zhēng)方，朱虹，薛杉，等.基于Sigmoid函數(shù)擬合的多曝光圖像直接融合算法[J].儀器儀表學(xué)報(bào)，2015，36(10):2321-2329.

FU ZH F，ZHU H， XUE SH，etal..Direct fusion algorithm for multi exposed images based on Sigmoid function fitting [J].ChineseJournalofScientificInstrument，2015，36(10):2321-2329.(in Chinese)

[9]MERTENS T， KAUTZ J， VANREETH F. Exposure fusion: a simple and practical alternative to high dynamic range photography [J].ComputerGraphicsForum，2009， 28(1): 161-171.

[10]SHEN J B， ZHAO Y， YAN S C，etal.. Exposure fusion using boosting Laplacian pyramid [J].IEEET.Cybernetics， 2014， 44(9): 1579-1590.

[11]BRUCE N D B. ExpoBlend: information preserving exposure blending based on normalized log-domain entropy [J].Computers&Graphics， 2014， 39: 12-23.

[12]VANMALI A V， DESHMUKH S S， GADRE V M. Low complexity detail preserving multi-exposure image fusion for images with balanced exposure [C].IEEENationalConferenceonCommunications， 2013: 1-5.

[13]GALLO O， GELFAND N， CHEN W C，etal.. Artifact-free high dynamic range imaging [C].IEEEInternationalConferenceonComputationalPhotography(ICCP)， 2009: 1-7.

[14]LI S， KANG X. Fast multi-exposure image fusion with median filter and recursive filter [J].IEEETransactionsonConsumerElectronics， 2012， 58(2): 626-632.

[15]OH T H， LEE J Y， TAI Y W，etal.. Robust high dynamic range imaging by rank minimization [J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2015， 37(6): 1219-1232.

[16]LIU Y， WANG Z. Dense SIFT for ghost-free multi-exposure fusion [J].JournalofVisualCommunicationandImageRepresentation， 2015， 31(8): 208-224.

[17]HE K， SUN J， TANG X. Guided image filtering [J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2013， 35(6): 1397-1409.

[18]JINNO T， OKUDA M. Multiple exposure fusion for high dynamic range image acquisition [J].IEEETransactionsonImageProcessing， 2012， 21(1): 358-365.

[19]GASTAL E S L， OLIVEIRA M M. Domain transform for edge-aware image and video processing [J].ACMTransactionsonGraphics， 2011， 30(4): 1-11.

[20]金偉其， 賈曉婷， 高紹姝，等.彩色融合圖像的質(zhì)量主觀評(píng)價(jià)[J].光學(xué) 精密工程，2015，23(12):3465-3471.

JIN W Q， JIA X T， GAO SH SH，etal.. Subjective evaluation of quality for color fusion images [J].Opt.PrecisionEng.， 2015， 23(12): 3465-3471. (in Chinese)

李衛(wèi)中(1983-)，男，湖北孝感人，博士研究生，2005年、2008年于中國(guó)地質(zhì)大學(xué)分別獲得學(xué)士、碩士學(xué)位，現(xiàn)為武漢大學(xué)電子信息學(xué)院博士研究生，主要從事光學(xué)圖像及多媒體信息處理方面的研究。E-mail: weizhong@whu.edu.cn

易本順(1965-)，男，湖北武漢人，教授， 博士生導(dǎo)師，中國(guó)通信學(xué)會(huì)高級(jí)會(huì)員，1986年、1989年和1996年于華中理工大學(xué)分別獲得工學(xué)學(xué)士、碩士和博士學(xué)位，主要從事多媒體信息處理以及無(wú)線通信網(wǎng)絡(luò)方面的研究。E-mail: yibs@whu.edu.cn

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Detail preserving multi-exposure image fusion

LI Wei-zhong1，2， YI Ben-shun1，3*， QIU Kang1， PENG Hong1

(1.SchoolofElectronicInformation，WuhanUniversity，Wuhan430072，China；2.SchoolofPhysicsandElectronicInformationEngineering，HubeiEngineeringUniversity，Xiaogan432000，China；3.CollaborativeInnovationCenterforGeospatialTechnology，Wuhan430079，China)*Correspondingauthor，E-mail：yibs@whu.edu.cn

A detail preserving multi-exposure image fusion algorithm was proposed to address the problem of the loss of visual details and ghost artifacts in traditional multi-exposure images. Firstly， three image features， image details， exposure brightness and color information，were calculated. In which，the image details were obtained by using a guided filter， the each exposure intensity was weighted by a Gaussian function and the color information was measured by color saturation. Then， the difference maps and correlation coefficients were used to detect the motion objects in dynamic scenes and the focused weight map of static and dynamic scenes were calculated respectively by using feature indexes and detection results. In order to remove the noise effect， a recursive filter was used to correct the focused weight image， and the focused image was obtained by a pixel-by-pixel weighted sum of the input images. Ten kinds of multi-exposure image sequences were tested in the experiments and obtained results were compared with that of six kinds of traditional methods. The experimental results demonstrate that the proposed algorithm exhibits good visual appearance and preserves more details. It also effectively removes ghost artifacts in dynamic scenes. It concludes that the proposed algorithm is better than 6 classical methods and it produces desirable images in both static scenes and dynamic scenes.

multi-exposure image; image fusion; image detail; guided filter; ghost artifact

2016-05-04；

2016-07-02.

國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61471272)

1004-924X(2016)09-2283-10

TP391.4

A

10.3788/OPE.20162409.2283