晏玲

摘 ?要： 針對(duì)重曝光過程中欠曝光像素點(diǎn)對(duì)周圍像素點(diǎn)產(chǎn)生干擾，導(dǎo)致高動(dòng)態(tài)范圍（High dynamic range， HDR）圖像產(chǎn)生偽影的現(xiàn)象，提出顧及欠曝光的亮度映射HDR圖像生成方法。具體步驟為：（1）欠曝光分類。利用L2正則化邏輯非線性回歸算法訓(xùn)練出欠曝光像素點(diǎn)的分類器。（2）對(duì)圖像進(jìn)行重曝光。非欠曝光區(qū)域使用線性擬合得到的亮度映射函數(shù)重新曝光，欠曝光區(qū)域利用長曝光區(qū)域進(jìn)行補(bǔ)償。（3）生成HDR圖像。利用重曝光后圖像的飽和度，對(duì)比度，曝光度和亮度信息生成權(quán)重圖，再加權(quán)融合生成HDR圖像。實(shí)驗(yàn)表明，該方法有效抑制合成圖像的偽影，與已有方法相比，在清晰度、顏色協(xié)調(diào)性、邊緣保持以及運(yùn)行時(shí)間上都有較大提高。

關(guān)鍵詞：?高動(dòng)態(tài)范圍;亮度映射;欠曝光像素點(diǎn);權(quán)重圖;偽影抑制

中圖分類號(hào)： TP391????文獻(xiàn)標(biāo)識(shí)碼：?A????DOI：10.3969/j.issn.1003-6970.2020.02.048

【Abstract】： According to the artifacts in high dynamic range （HDR） images caused by the interference of under-exposed pixels on surrounding pixels during re-exposure process， The HDR Image Generation Method Considering Under-exposed Brightness Mapping is proposed. The Method is as follows： （1） Classification of under-exposed pixels. The?L2?regularized logistic regression method is used to train the classifier of under-exposed pixels. （2） Re-exposure of image. The non-underexposed area is re-exposed by the brightness mapping function obtained by linear fitting， and the under-exposed area is compensated by the long exposure area. （3） Generation of HDR image. The information of saturation， contrast， exposure and luminance are used to construct weight maps. The experiment shows that the method can suppress the artifacts of synthetic images and improve image sharpness， color coordination， edge preservation and runtime effectively compared with the existing methods.

【Key words】：?High dynamic range?（HDR）;?Brightness mapping; Unexposed pixel point; Weight graph; Suppression of artifact

0??引言

動(dòng)態(tài)范圍是指最大亮度值與最小亮度值的比值，真實(shí)場景的動(dòng)態(tài)范圍遠(yuǎn)超過相機(jī)能捕獲的范 ?圍[1-2]。因此，使用相機(jī)進(jìn)行拍攝時(shí)，場景的細(xì)節(jié)信息丟失嚴(yán)重。HDR圖像記錄更高動(dòng)態(tài)范圍場景的信息，有較豐富的色彩信息、更高的對(duì)比度，讓捕獲到的場景信息更接近真實(shí)場景[3]。

HDR圖像的獲取分為兩種，一種是通過恢復(fù)相機(jī)的響應(yīng)函數(shù)來獲得HDR圖像，Debevec等人[4]率先提出利用多曝光圖像估計(jì)相機(jī)的響應(yīng)函數(shù)，來重建目標(biāo)場景的輻照度。Grossberg等人[5]提出利用不同曝光圖像的直方圖來估計(jì)相機(jī)的響應(yīng)函數(shù)。都琳等人[6]提出使用PCA標(biāo)定相機(jī)響應(yīng)函數(shù)模型，使用少量的采樣點(diǎn)進(jìn)行插值來獲得相機(jī)響應(yīng)函數(shù)，該類方法得到的高動(dòng)態(tài)范圍圖像質(zhì)量較高，但算法復(fù)雜度較高，時(shí)間代價(jià)高。另一種是避免恢復(fù)相機(jī)響應(yīng)函數(shù)來生成HDR圖像。陳闊等人[7]提出一種快速曝光融合算法。Mertens等人[8]提出基于拉普拉斯金字塔的圖像融合算法。張淑芳等人[9]提出采用主成分分析與梯度金字塔的圖像融合生成HDR圖像算法。RafalMantiuk等人[10]根據(jù)HVS模型調(diào)整圖像亮度值。Wang等人[11]提出基于局部區(qū)域調(diào)整的偽曝光色調(diào)融合方法。該類方法運(yùn)行時(shí)間較短，但顏色易失真，在亮度范圍變化較大時(shí)容易產(chǎn)生偽影。以上兩類方法均存在在運(yùn)行效率和運(yùn)行結(jié)果精度上達(dá)不到平衡的問題。

為了以較高的運(yùn)行效率實(shí)現(xiàn)更高的精度，本文基于第二類方法，采用顧及短曝光圖像中欠曝光像素點(diǎn)的分類模型策略來抑制圖像融合過程中在亮暗突變區(qū)域產(chǎn)生的偽影現(xiàn)象，以較高的效率獲取效果更好的HDR圖像。首先，使用正則化非線性邏輯回歸算法訓(xùn)練出欠曝光像素點(diǎn)的分類器，識(shí)別欠曝光區(qū)域和非欠曝光區(qū)域。并以短曝光圖像為基礎(chǔ)，使用線性擬合的亮度映射函數(shù)對(duì)非欠曝光區(qū)域進(jìn)行重新曝光，欠曝光區(qū)域使用分區(qū)機(jī)制進(jìn)行處理，然后利用重曝光圖像的對(duì)比度、亮度、曝光度和飽和度信息生成權(quán)重圖，最后對(duì)權(quán)重圖進(jìn)行圖像融合生成HDR圖像，實(shí)驗(yàn)結(jié)果表明該方法能展現(xiàn)更多真實(shí)場景的細(xì)節(jié)信息，有效抑制明暗亮度變化較大的過渡區(qū)域產(chǎn)生的偽影，而且算法較簡單，運(yùn)行時(shí)間較短。

1 ?對(duì)欠曝光亮度映射獲取HDR圖像

利用不同曝光圖像序列中的欠曝光區(qū)域，進(jìn)行分區(qū)機(jī)制處理獲得具有相同曝光時(shí)間的圖像，進(jìn)行處理得到權(quán)值圖，加權(quán)融合生成HDR圖像。具體步驟如下：

（1）圖像重曝光。利用欠曝光區(qū)域的特征訓(xùn)練分類器進(jìn)行圖像中的欠曝光像素點(diǎn)的檢測，再根據(jù)像素點(diǎn)之間的相互影響，使用分區(qū)機(jī)制進(jìn)行重曝光處理，基本過程如圖1（a）所示。

（2）圖像融合。利用曝光時(shí)間相同的圖像，進(jìn)行處理得到權(quán)值圖，加權(quán)融合生成HDR圖像，基本過程如圖1（b）所示。

1.1??圖像重曝光

1.1.1??亮度映射模型

HDR圖像生成需將圖像重新曝光。重曝光主要有兩種：輻照度重建法與亮度映射法。輻照度重建法利用同場景不同曝光度的低動(dòng)態(tài)范圍圖像的圖像信息推算出像相機(jī)響應(yīng)函數(shù)，通過響應(yīng)函數(shù)的逆運(yùn)算得到輻照度，進(jìn)行重曝光。亮度映射法通過建立短、長曝光圖像的映射關(guān)系對(duì)圖像進(jìn)行重曝光。為避免相機(jī)響應(yīng)函數(shù)的求解，提高算法效率，本文采用亮度映射法對(duì)圖像進(jìn)行重曝光。

相機(jī)成像原理可用相機(jī)響應(yīng)函數(shù)表示[12-15]，相機(jī)的曝光量等于輻照度與曝光時(shí)間的乘積，則不同曝光圖像像素值與相機(jī)獲得的曝光量之間的關(guān)系如下：

1.1.2 ?顧及欠曝光的圖像重曝光

圖像分為過曝光區(qū)域、曝光良好區(qū)域和欠曝光區(qū)域[16]。短曝光圖像中的欠曝光區(qū)域存在信息不足、像素點(diǎn)之間相互影響的問題，導(dǎo)致重曝光的圖像在亮暗突變區(qū)域易產(chǎn)生偽影現(xiàn)象。為消除亮暗突變區(qū)域的偽影現(xiàn)象，本文對(duì)短曝光圖像中的欠曝光區(qū)域進(jìn)行檢測，分區(qū)估計(jì)處理。

對(duì)短曝光圖像中的欠曝光區(qū)域檢測時(shí)，提取短曝光圖像欠曝光區(qū)域的HSV和Lab色彩空間中的顏色特征、修正飽和度特征、亮度特征和邊沿鄰域特征，采用3*3的鄰域窗口提取欠曝光區(qū)域訓(xùn)練樣本的特征向量并對(duì)其進(jìn)行歸一化，利用正則化邏輯非線性回歸算法對(duì)其訓(xùn)練得到分類器，正則化代價(jià)函數(shù)為：

圖?2（a）、（b）、（c）、（d）分別為陳闊、Mertens、張淑芳、本文方法對(duì)Church圖像集生成的HDR圖像。圖?2（a）天窗紋理較清晰，側(cè)窗偽影不明顯，但圖像整體存在明顯的顏色失真問題。圖2（b）擁有豐富的色彩和較高的對(duì)比度，但在天窗紋理丟失嚴(yán)重，

側(cè)窗偽影嚴(yán)重。圖?2（c）天窗紋理細(xì)節(jié)部分丟失，側(cè)窗存在偽影現(xiàn)象。圖?2（d）圖像整體具有較好的對(duì)比度，不存在顏色失真，天窗保留原有的色彩信息而且細(xì)節(jié)紋理清晰，側(cè)窗有輕微偽影。

圖?3（a）、（b）、（c）、（d）分別為陳闊、Mertens、張淑芳、本文方法對(duì)Hotel圖像集生成的HDR圖像。圖3（a）頂窗有輕微偽影現(xiàn)象，窗外樹枝信息不清晰。圖3（b）顏色更鮮明，失去自然感，頂窗外樹枝模糊，偽影嚴(yán)重。圖3（c）圖像整體泛灰，對(duì)比度較低，頂窗外樹枝細(xì)節(jié)信息較模糊。圖3（d）擁有更高的對(duì)比度和豐富的色彩信息，頂窗外樹枝信息細(xì)節(jié)保留完整且清晰，偽影不明顯。

圖?4（a）、（b）、（c）、（d）分別為陳闊、Mertens、張淑芳、本文方法對(duì)White House圖像集生成的HDR圖像。圖4（a）正門的紋理較清晰，建筑物招牌周圍偽影不明顯，但中間建筑存在顏色失真問題。圖?4（b）對(duì)比度較強(qiáng)，但正門細(xì)節(jié)信息丟失嚴(yán)重，建筑物招牌周圍存在偽影現(xiàn)象。由圖?4（c）可知，正門細(xì)節(jié)信息保留完整，但整體顏色偏灰，建筑物招牌偽影現(xiàn)象不明顯。圖?4（d）正門細(xì)節(jié)信息保留完整，建筑物招牌偽影不明顯，對(duì)比度增高，顏色豐富。

由此可知，陳闊的方法在光亮區(qū)域部分細(xì)節(jié)丟失，能夠有效抑制偽影，但整體對(duì)比度較低，圖像整體存在明顯的顏色失真問題。Mertens的方法擁有豐富的色彩和較高的對(duì)比度，但是在光線較亮的區(qū)域細(xì)節(jié)丟失嚴(yán)重，存在偽影問題。張淑芳的方法在細(xì)節(jié)保持和偽影抑制問題上相較于Mertens的方法呈現(xiàn)出更好的效果，但存在顏色失真的問題。本文方法有效抑制偽影問題，圖像整體具有較好的對(duì)比度，細(xì)節(jié)保留較完整，不存在顏色失真。

2.2 ?HDR圖像的客觀評(píng)價(jià)

根據(jù)清晰度[17-20]、顏色協(xié)調(diào)性[21]和圖像邊緣信息[22]進(jìn)行圖像客觀質(zhì)量評(píng)價(jià)，如表1所示。為了進(jìn)一步說明主觀評(píng)價(jià)與客觀評(píng)價(jià)的一致性，對(duì)Church、Hotel、White House三組HDR圖像進(jìn)行均值和標(biāo)準(zhǔn)差分析，如圖5所示。

如表1所示，Church、Hotel、White House三組HDR圖像結(jié)果表明，在清晰度方面，本文方法相較于張淑芳、Mertens、陳闊的方法有較高的值，表明本文方法具有較強(qiáng)的細(xì)節(jié)保持能力;在顏色協(xié)調(diào)性方面，本文方法最高，張淑芳次于Mertens，陳闊最低，說明本文方法具有較高的對(duì)比度和較豐富的顏色，給人更自然、真實(shí)的視覺效果;在圖像邊緣信息方面，本文方法最高，陳闊次于張淑芳，Mertens最低，說明本文方法邊緣信息保留更好，存在的偽影更少。

如圖5（a）、（b）所示，在Church圖像集中，相較于陳闊、Mertens、張淑芳的方法，本文方法的均值更接近255/2，且標(biāo)準(zhǔn)差較高，生成的HDR圖像具有更高的均衡度。在Hotel圖像集中，相較于陳闊、Mertens、張淑芳的方法，本文方法生成的HDR圖像亮度適中且均勻。在White House圖像集中，由于是夜晚場景，整體均值相對(duì)較低，本方法有較高標(biāo)準(zhǔn)差，生成的HDR圖像具有更多的圖像信息。

2.3??運(yùn)行效率對(duì)比

實(shí)驗(yàn)使用的電腦為64?bit的操作系統(tǒng)，處理器為Intel（R） Core（TM） i5-4210U CPU @ 1.70?GHz，內(nèi)存大小為4.00?GB。使用的軟件為VS 2013。對(duì)以上三組實(shí)驗(yàn)在運(yùn)行時(shí)間上進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果見表2。

如表2所示，Mertens使用拉普拉斯金字塔進(jìn)行圖像融合，該方法復(fù)雜度較高，運(yùn)行速度較慢，陳闊和張淑芳的方法復(fù)雜度較低，運(yùn)行速度較快， ??本文方法因避免求相機(jī)響應(yīng)函數(shù)，能迅速生成HDR圖像。

3??結(jié)束語

對(duì)于圖像融合過程中亮暗突變區(qū)域存在偽影的問題，本文提出對(duì)短曝光圖像的欠曝光區(qū)域重曝光的分區(qū)處理方法，避免求解相機(jī)響應(yīng)函數(shù)，訓(xùn)練分類器識(shí)別圖像欠曝光區(qū)域，并在重曝光過程中利用長曝光圖像對(duì)圖像的欠曝光區(qū)域進(jìn)行修正。根據(jù)重曝光圖像的飽和度，亮度，曝光度和對(duì)比度計(jì)算權(quán)重圖，加權(quán)融合生成HDR圖像。本文方法能夠有效抑制圖像偽影，生成更均衡化的圖像，在清晰度、顏色協(xié)調(diào)和邊緣信息保留上有一定的提高，且方法簡便，運(yùn)行較快。進(jìn)一步研究將針對(duì)動(dòng)態(tài)多曝光圖像進(jìn)行，在該方法基礎(chǔ)上尋找有效手段抑制一定范圍內(nèi)的運(yùn)動(dòng)導(dǎo)致的HDR圖像偽影。

參考文獻(xiàn)

李衛(wèi)中， 易本順， 邱康， 彭紅. 細(xì)節(jié)保留的多曝光圖像融合[J]. 光學(xué)精密工程， 2016， 24（09）： 2283-2292.

朱恩弘， 張紅英， 吳亞東， 霍永青. 單幅圖像的高動(dòng)態(tài)范圍圖像生成方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2016， 28（10）： 1713-1722.

張淑芳， 劉孟婭， 韓澤欣， 郭志鵬. 基于Retinex增強(qiáng)的單幅LDR圖像生成HDR圖像方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2018， 30（06）： 1015-1022.

DEBEVEC PE， MALIK J. ＼lRecovering high dynamic range radiance maps from photographs[C]//ACM SIGGRAPH 97， [S.I.]： ACM， 1997： 369-378.

Grossberg M D， Nayar S K. Determining the camera response from images： whatisknowable[J]. Pattern Analysis and Machine Intelligence， IEEE Transaction on， 2003， 25（11）： 1455-1467.

都琳， 孫華燕， 張廷華， 王帥. 基于PCA的相機(jī)響應(yīng)函數(shù)模型標(biāo)定算法[J]. 紅外與激光工程， 2016， 45（10）： 251-259.

陳闊， 馮華君， 徐之海， 李奇， 陳躍庭. 細(xì)節(jié)保持的快速曝光融合[J]. 浙江大學(xué)學(xué)報(bào)（工學(xué)版）， 2015， 49（06）： 1048-1054.

Mertens T， Kautz J， van Reeth F. Exposure fusion： a simple andpractical alternative to high dynamic range photo graphy[J]. Computer Graphics Forum， 2009， 28（1）： 161-171.

張淑芳， 丁文鑫， 韓澤欣， 劉孟婭， 郭志鵬. 采用主成分分析與梯度金字塔的高動(dòng)態(tài)范圍圖像生成方法[J]. 西安交通大學(xué)學(xué)報(bào)， 2018， 52（04）： 150-157.

RafalMantiuk， ScottDaly， LouisKerofsky. Display adaptive tone mapping[J]. ACM Transactions on Graphics （TOG）， 2008， 27（3）.

Wang T H， Chiu C W， Wu W C， et al. Pseudo-multiple- expo-sure-based tone fusion with local region adjustment[J]. IEEE Transactions on Multimedia， 2015， 17（4）： 470-484.

舒妮， 陳孝威. HDRI合成中新的相機(jī)響應(yīng)曲線算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2012， 33（03）： 1032-1036.

顧正暉. 相機(jī)響應(yīng)函數(shù)恢復(fù)的差分方法[J]. 新型工業(yè)化， 2013， 3（01）： 15-22.

張永梅， 田越， 李波. 基于小波變換的自適應(yīng)圖像融合算法[J]. 高技術(shù)通訊， 2010， 20（02）： 111-116.

段海濱， 羅松柏， 李昊， 周國哲. 一種基于蟻群聚類的多模板圖像邊緣融合方法[J]. 高技術(shù)通訊， 2009， 19（01）： 45-49.

A. ArdeshirGoshtasby. Fusion of multi-exposure images[J]. Image and Vision Computing， 2005， 23（6）.

張小利， 李雄飛， 李軍. 融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J]. 自動(dòng)化學(xué)報(bào)， 2014， 40（02）： 306-315.

劉哲， 李秀云， 楊子鵬， 董雪. 智能識(shí)別視頻圖像質(zhì)量分析系統(tǒng)在平安城市的應(yīng)用[J]. 軟件， 2017， 38（08）： 220-225.

曹妍， 陳偉， 徐森. 圖像去噪方法研究與仿真[J]. 軟件， 2015， 36（4）： 33-36

劉鑫淼， 康朝紅， 薛樂樂. 基于ICA的遙感圖像去噪融合研究[J]. 軟件， 2015， 36（7）： 53-56

金偉其， 賈曉婷， 高紹姝， 馬國利， 潘定平， 劉佳妮. 彩色融合圖像的質(zhì)量主觀評(píng)價(jià)[J]. 光學(xué)精密工程， 2015， 23（12）： 3465-3471.

高紹姝， 金偉其， 王嶺雪， 路陸， 駱媛. 基于顏色協(xié)調(diào)性的典型場景彩色融合圖像顏色質(zhì)量評(píng)價(jià)[J]. 北京理工大學(xué)學(xué)報(bào)， 2012， 32（10）： 1054-1060.