白本督， 范九倫

(西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

高動(dòng)態(tài)范圍成像最小包圍曝光方法

白本督， 范九倫

(西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

針對(duì)當(dāng)前相機(jī)包圍曝光成像集合冗余信息多的問(wèn)題，提出一種高動(dòng)態(tài)范圍成像最小包圍曝光獲取方法。該方法依據(jù)目標(biāo)相機(jī)的可捕獲曝光集合構(gòu)造相機(jī)響應(yīng)函數(shù)，從而建立曝光集合與響應(yīng)函數(shù)的映射。然后通過(guò)遍歷的方法尋找涵蓋目標(biāo)場(chǎng)景動(dòng)態(tài)范圍的最小包圍曝光集合。對(duì)典型的高動(dòng)態(tài)范圍逆光場(chǎng)景的實(shí)驗(yàn)表明，所提方法可有效的減少包圍曝光方式捕獲圖像的數(shù)量，從而降低高動(dòng)態(tài)范圍多曝光方式成像的總體捕獲時(shí)間。

高動(dòng)態(tài)范圍成像；輻射度；包圍曝光

當(dāng)前的數(shù)字成像設(shè)備單次曝光成像的動(dòng)態(tài)范圍遠(yuǎn)低于人類(lèi)視覺(jué)的可視動(dòng)態(tài)范圍(包括專(zhuān)業(yè)級(jí)單反相機(jī)，專(zhuān)業(yè)監(jiān)控設(shè)備，個(gè)人手持終端等)。由于其單次曝光可獲得圖像的動(dòng)態(tài)范圍有限，稱(chēng)為低動(dòng)態(tài)范圍成像設(shè)備。為了精確捕獲高動(dòng)態(tài)范圍場(chǎng)景，近20年來(lái)，研究者提出了許多方法來(lái)擴(kuò)展相機(jī)的動(dòng)態(tài)范圍[1-5]。采用單臺(tái)相機(jī)多次曝光的手段進(jìn)行高動(dòng)態(tài)范圍成像的合成是目前被廣泛采用的手段[6-10]。迄今為止，大量的高動(dòng)態(tài)范圍成像研究工作致力于解決如何更好的合成一組通過(guò)多曝光方式獲得的低動(dòng)態(tài)范圍圖像，而如何獲取一組有效的低動(dòng)態(tài)范圍圖像則較少關(guān)注。2003年，Grossberg & Nayar提出一種通過(guò)合理選擇多次曝光的組合，構(gòu)造高動(dòng)態(tài)范圍相機(jī)響應(yīng)函數(shù)的想法[11]，并給出了最優(yōu)曝光組合目標(biāo)函數(shù)，但并未給出求解方法。2006年，Malley給出了一種簡(jiǎn)單的自動(dòng)多次曝光獲取方法[12]，該方法實(shí)現(xiàn)了高動(dòng)態(tài)范圍成像多次曝光的程序化自動(dòng)實(shí)現(xiàn)，但仍然是基于常規(guī)的多曝光獲取方法。2008年，Barakat等人提出一種最小曝光包圍集合高動(dòng)態(tài)范圍圖像獲取方法[13]。但是該方法需要對(duì)目標(biāo)場(chǎng)景預(yù)捕獲，從而獲得目標(biāo)場(chǎng)景動(dòng)態(tài)范圍。并且，其動(dòng)態(tài)范圍的獲取基于RGB三獨(dú)立通道亮度信息的交集，會(huì)導(dǎo)致獲取的目標(biāo)場(chǎng)景動(dòng)態(tài)范圍誤差大，計(jì)算復(fù)雜。

本文提出一種最小包圍曝光高動(dòng)態(tài)范圍圖像獲取方法，并給出了一種簡(jiǎn)單有效的最小包圍曝光集合迭代求解法。

1 包圍曝光

目前，數(shù)字成像設(shè)備單次曝光成像的動(dòng)態(tài)范圍很有限。復(fù)雜場(chǎng)景，如戶(hù)外，逆光等條件下，目標(biāo)場(chǎng)景的動(dòng)態(tài)范圍往往超出當(dāng)前相機(jī)單次曝光的可捕獲動(dòng)態(tài)范圍。適當(dāng)?shù)脑O(shè)置曝光補(bǔ)償量，可獲得一組涵蓋目標(biāo)場(chǎng)景動(dòng)態(tài)范圍的單次曝光圖像，即包圍曝光。而相機(jī)的最大可捕獲動(dòng)態(tài)范圍等于獲取的一組單次曝光最低光輻射度至最高光輻射度的涵蓋范圍。

實(shí)際相機(jī)的可捕獲動(dòng)態(tài)范圍往往由相機(jī)的可獲得曝光級(jí)數(shù)“stops”決定。一般而言，曝光取決于多個(gè)因素，包括光圈大小、快門(mén)時(shí)間、ISO設(shè)置、鏡頭焦距、具體的鏡頭口徑等。由于最終的曝光取決于成像傳感器接收入射光的能量Q，即

A≡EAΔt，

其中E表示入射光輻射度，A表示成像傳感器面積，Δt表示曝光時(shí)間。因此，為便于討論，可簡(jiǎn)化曝光參數(shù)表示為快門(mén)速度一個(gè)參數(shù)。比如，若快門(mén)速度以1/100s，1/50s，1/25s成倍遞增方式遞進(jìn)，則從1/1 000s到15s需要大約14stops。

相機(jī)曝光補(bǔ)償量通常以EV計(jì)，EV值每增加或減少1.0，相當(dāng)于攝入的光線量增加或減少一倍。因此增加或減少1EV等同于上述快門(mén)速度增加或減少一倍時(shí)間。不同相機(jī)的補(bǔ)償間隔可以以1/2EV和1/3EV的單位來(lái)調(diào)節(jié)，則相應(yīng)可獲得的曝光級(jí)數(shù)“stops”也相應(yīng)增加。

假定某成像系統(tǒng)具有n+1級(jí)曝光級(jí)數(shù)，可表示為

Q={Q0,Q1,…,Qn}。

若Q以增量曝光方式排序，則對(duì)于任意j>i，Qj在成像傳感器上將獲得比Qi更多的入射光。

此時(shí)，相機(jī)可捕獲輻射度范圍為

基于以上描述，圖1是相機(jī)設(shè)定為曝光Qi時(shí)的相機(jī)響應(yīng)曲線圖。其中縱坐標(biāo)表示相機(jī)的可記錄像素值(8位)，橫坐標(biāo)表示相機(jī)的可捕獲光輻射度。

圖1 單次曝光相機(jī)響應(yīng)曲線

圖2解釋低動(dòng)態(tài)范圍成像系統(tǒng)如何通過(guò)多曝光方式增加動(dòng)態(tài)范圍。圖中畫(huà)出了相機(jī)的可記錄像素值以及相對(duì)應(yīng)的曝光設(shè)置下的目標(biāo)場(chǎng)景光輻射度。圖中每一條曲線代表該曝光設(shè)定下的相機(jī)響應(yīng)曲線。曝光設(shè)置越大，成像傳感器接收越多的入射光。以至于可偵測(cè)光輻射度下移，從而允許更多的欠飽和暗區(qū)被捕獲。同樣的，更低的曝光設(shè)置可用于捕獲目標(biāo)場(chǎng)景中更亮的區(qū)域。對(duì)于給定的成像系統(tǒng)，所有曝光可捕獲范圍ei組成一組相互交錯(cuò)的區(qū)間。而該成像系統(tǒng)總的可捕獲范圍esys等于各子曝光捕獲范圍的綜合。

圖2 多曝光高動(dòng)態(tài)范圍成像原理

通常相機(jī)包圍曝光可獲得的曝光設(shè)置的數(shù)量和密度大于目標(biāo)場(chǎng)景的需求。因此，實(shí)際場(chǎng)景拍攝僅需要相機(jī)可獲得曝光包圍集合中的一個(gè)子集。

2 最小包圍曝光算法

對(duì)于給定的低動(dòng)態(tài)范圍成像系統(tǒng)，以多曝光合成的手段進(jìn)行高動(dòng)態(tài)范圍成像，為了保證目標(biāo)場(chǎng)景被完整記錄，常規(guī)方法是以包圍曝光的方式獲取一組涵蓋目標(biāo)場(chǎng)景動(dòng)態(tài)范圍的低動(dòng)態(tài)范圍圖像。如圖2所示，包圍曝光方式獲取的低動(dòng)態(tài)范圍圖像集合存在動(dòng)態(tài)范圍上的相互交錯(cuò)。而動(dòng)態(tài)范圍的相互交錯(cuò)表明這些低動(dòng)態(tài)范圍圖像集合包含冗余信息。

丁達(dá)仍舊趴在地上一動(dòng)不動(dòng)。在他體內(nèi)，壺天曉和鏡心羽衣癱軟在向?qū)业淖紊?，一邊設(shè)法恢復(fù)精力，一邊等待同伴創(chuàng)造奇跡。他們搭建的感應(yīng)網(wǎng)絡(luò)依然十分穩(wěn)定，因此，同伴的行蹤他倆都一清二楚，這無(wú)疑是個(gè)好勢(shì)頭。壺天曉已把自己最新的經(jīng)驗(yàn)庫(kù)通過(guò)感應(yīng)網(wǎng)絡(luò)分享給了藍(lán)藍(lán)，他相信這個(gè)已有他大部分經(jīng)驗(yàn)庫(kù)的機(jī)器人有能力在地面上保護(hù)幽之谷的居民，并狙擊飛鼠小分隊(duì)。

最小包圍曝光算法的主要目的就是尋求一個(gè)最小包圍曝光組合，從而盡可能的減少包圍曝光冗余。這個(gè)最小包圍曝光集合是包圍曝光集合的子集。

對(duì)于給定的成像系統(tǒng)，其可獲得的包圍曝光集合Q={Q0,Q1,…,Qn}是確定的。采用已公開(kāi)的相機(jī)響應(yīng)函數(shù)求解方法[14-15]，可求得該成像系統(tǒng)于曝光設(shè)置Qi時(shí)輻射度范圍ei、系統(tǒng)整體可捕獲輻射度范圍esys。將包圍曝光集合中的Qi與求得的ei建立映射表用于查表。

輸入 包圍曝光輻射度集合

esys={e0,e1,…,en}

以及相應(yīng)的曝光設(shè)置集合

Q={Q0,Q1,…,Qn}。

輸出 最小包圍曝光集合

M={M0,M1,…,Mn}。

初始化 添加最小曝光至解集合

curr = 0;

for i = 0 : n+1

Mresult=Qi;

curr =i ;

else return

迭代求解

while curr <= n+1 do

next = next +1;

result = result +1;

Mresult=Qnext;

curr =curr +1;

圖3是以上算法描述的一個(gè)實(shí)例，假定系統(tǒng)具有7級(jí)曝光設(shè)置，該成像系統(tǒng)曝光集合

Q={Q0,Q1,Q3,Q4,Q5,Q6}。

算法首先依據(jù)已測(cè)得的目標(biāo)場(chǎng)景的最小輻射度，確定適合目標(biāo)場(chǎng)景的初始曝光設(shè)置。算法初始化時(shí)從系統(tǒng)最長(zhǎng)曝光設(shè)置Q0開(kāi)始迭代，至Q1結(jié)束，找到目標(biāo)場(chǎng)景初始曝光設(shè)置Q1，添加至最小曝光集合Mresult。

然后算法從Q1開(kāi)始遍歷迭代，尋找具有最小交錯(cuò)區(qū)間的Qi加入最小曝光集合Mresult。比如經(jīng)過(guò)一次迭代后，包圍曝光集合中的Q2被剔除，Q3被選中加入最小曝光集合Mresult。重復(fù)以上過(guò)程直至迭代結(jié)束。輸出結(jié)果最小曝光集合

Mresult={Q1,Q3}。

圖3 最小曝光包圍算法示例圖

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)

為了驗(yàn)證文中提出最小包圍曝光算法的有效性，使用Cannon 700D作為成像捕獲平臺(tái)，并通過(guò)實(shí)驗(yàn)的方法獲得相機(jī)響應(yīng)函數(shù)如圖4所示。響應(yīng)函數(shù)的中部區(qū)域是線性的，底部受制于相機(jī)的暗電流噪聲和成像時(shí)間，而頂部受制于成像傳感器(CMOS)的飽和電平。選用的相機(jī)平臺(tái)具有14位RAW格式成像精度，單次曝光可捕獲像素值從0到16 384。實(shí)際上，由于底部暗電流噪聲與頂部飽和電平的影響，響應(yīng)函數(shù)線性區(qū)域在32～14 000之間。對(duì)應(yīng)于快門(mén)時(shí)間30 ～1/4 000 s。因此，平臺(tái)的有效可捕獲動(dòng)態(tài)范圍約7個(gè)數(shù)量級(jí)。

圖4 成像實(shí)驗(yàn)平臺(tái)相機(jī)響應(yīng)函數(shù)

3.2 結(jié)果分析

采用上述實(shí)驗(yàn)平臺(tái)針對(duì)典型的高動(dòng)態(tài)范圍逆光場(chǎng)景，從1/4 000s至30s以1/2單位遞進(jìn)捕獲包圍曝光圖像18幅，如圖5中(a-r)所示。目標(biāo)場(chǎng)景跨越動(dòng)態(tài)范圍約為7個(gè)數(shù)量級(jí)。采用本文所述最小包圍曝光算法，則僅需3幅即可獲得涵蓋目標(biāo)場(chǎng)景動(dòng)態(tài)范圍的最小包圍曝光集合，圖5(d)、圖5(i)和圖5(o)的曝光時(shí)間分別為1/500s，1/15s和4s。

(a) 1/4 000s (b) 1/2 000s (c) 1/1 000s

(d) 1/500s (e) 1/250s (f) 1/125s

(g) 1/60s (h) 1/30s (i) 1/15s

(j) 1/8s(k) 1/4s(l) 0.5s

(m) 1s (n) 2s (o) 4s

(p) 8s (q) 15s (r) 30s

為進(jìn)一步說(shuō)明問(wèn)題，將包圍曝光的18幅圖像與自動(dòng)單次曝光圖像(1/15s)以及最小包圍曝光3幅圖像制作相應(yīng)的光輻射映射散列點(diǎn)圖，如圖6(a-c)所示。

(a) 包圍曝光 (b) 自動(dòng)單次曝光 (c) 最小包圍曝光

圖6 圍曝光方式、單次曝光、最小包圍曝光可捕獲光輻射度散列點(diǎn)對(duì)比

比較包圍曝光與自動(dòng)單次曝光可捕獲光輻射散列點(diǎn)圖可見(jiàn)，包圍曝光有效的擴(kuò)充了單次曝光的可捕獲動(dòng)態(tài)范圍。比較包圍曝光與最小包圍曝光散列點(diǎn)圖可見(jiàn)，兩者具有相同的可捕獲光輻射度范圍，但最小包圍曝光集合由于去除了包圍曝光的冗余信息，具有更好的一致性。

4 結(jié)論

提出一種應(yīng)用于高動(dòng)態(tài)范圍場(chǎng)景的最小包圍曝光圖像捕獲算法。該方法采用測(cè)光表或相機(jī)內(nèi)置測(cè)光器直接獲取目標(biāo)場(chǎng)景最亮和最暗亮度，從而獲得目標(biāo)場(chǎng)景動(dòng)態(tài)范圍，避免了由RGB三獨(dú)立通道獲取亮度信息導(dǎo)致的誤差大，計(jì)算復(fù)雜的不足。實(shí)驗(yàn)結(jié)果表明本文所提算法可有效的減少當(dāng)前廣泛采用的包圍曝光方式捕獲圖像的數(shù)量，從而降低高動(dòng)態(tài)范圍多曝光方式成像的總體捕獲時(shí)間，減少存儲(chǔ)空間。并且，所述算法可嵌入當(dāng)前的成像設(shè)備，包括手持設(shè)備、監(jiān)控成像設(shè)備、商業(yè)相機(jī)等，從而彌補(bǔ)傳統(tǒng)包圍曝光手段冗余信息多，曝光補(bǔ)償量主要依賴(lài)經(jīng)驗(yàn)，不宜控制的不足。

[1] Reinhard E, Ward G P, Wang B, et al. High Dynamic Range Imaging: Acquisition, Display and Image-based Lighting[M]. San Mateo: Morgan Kaufmann, 2005.

[2] Nayar S, Mitsunaga T. High dynamic range imaging: Spatially varying pixel exposures[C]//IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE, 2000: 472-479.

[3] Aggarwal M, Ahuja N. Split aperture imaging for high dynamic range[J]. International Journal of Computer Vision, 2004,58(1): 7-17.

[4] Kang S B, Uyttendaele M, Winder S, et al. High dynamic range video[C]//ACM SIGGRAPH 2003 Papers. New York : Association for Computing Machinery, 2003: 319-325.

[5] Michael D T, Chris K, Nora T, et al. A Vesatile HDR Video Production System[C]//Proceedings of ACM SIGGRAPH 2011. United States: Association for Computing Machinery, 2011:410-411.

[6] Jinno T, Okuda M. Multiple Exposure Fusion for High Dynamic Range Image Acquisition[J]. IEEE Transactions on Image Processing, 2012, 21(1):358-365.

[7] Moumene M E, Nourine R, Ziou D. Generalized Exposure Fusion Weights Estimation[C]//Canadian Conference on Computer and Robot Vision. Montreal : IEEE Computer Society , 2014:71-76.

[8] Li S, Kang X. Fast multi-exposure image fusion with median filter and recursive filter[J]. IEEE Transactions on Consumer Electronics, 2012, 58(2):626-632.

[9] Zhang W, Cham W. Reference-guided exposure fusion in dynamic scenes[J]. Journal of Visual Communication & Image Representation, 2012, 23(3):467-475.

[10] 伍世虔, 李政國(guó). 高動(dòng)態(tài)范圍成像[J]. 西安郵電大學(xué)學(xué)報(bào), 2013,18(2):1-13.

[11] Grossberg M D, Nayar S K. High Dynamic Range from Multiple Images: Which Exposures to Combine?[C]//Proc Iccv Workshop on Color & Photometric Methods in Computer Vision, France: IEEE Computer Society, 2003:1-8.

[12] O’Malley S M. A Simple, Effective System for Automated Capture of High Dynamic Range Images[C]//IEEE International Conference on Computer Vision Systems. IEEE Computer Society, 2006:15-22.

[13] Barakat N, Hone A N, Darcie T E. Minimal-Bracketing Sets for High-Dynamic-Range Image Capture[J]. IEEE Transactions on Image Processing, 2008, 17(10):1864-1875.

[14] Debevec P E, Malik J. Recovering High Dynamic Range Radiance Maps from Photographs[C]//Proceedings of Annual Conference on Computer Graphics.[S.I.]:Interactive Techniques Acm Press, 1997:369-378.

[15] Grossberg M D, Nayar S K. Determining the Camera Response from Images: What Is Knowable?[J]. Transactions on Pattern Analysis & Machine Intelligence, 2003, 25(11):1455-1467.

[責(zé)任編輯:孫書(shū)娜]

Minimal exposure bracketing algorithm for high dynamic range imaging

BAI Bendu, FAN Jiulun

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunication, Xi’an 710121, China)

Due tothe existing redundant information in the conventional high dynamic scene capturing with multi-exposure, a minimal exposure bracketing set algorithm for computing minimum number of exposure sets for accurately capturing HDR scenes is presented in this paper. In this method the camera response function is generated based on the exposure bracketing sets of the target camera, and the mapping between the exposure set and the response function is therefore established. The minimum number of exposures is achieved by a simple exhaustive search. Experiments show that this minimal exposure bracketing algorithm can provide minimization of HDR acquisition time and storage requirement.

high dynamic range imaging(HDRI)，irradiance，exposure bracketing

2015-04-28

公安部技術(shù)研究計(jì)劃重點(diǎn)資助項(xiàng)目(2014JSYJA018)；陜西省教育廳科學(xué)研究計(jì)劃資助項(xiàng)目(12JK0731)

白本督 (1972-)，男，博士，講師，從事圖形圖像處理研究。E-mail：baibendu@xupt.edu.cn 范九倫(1964-)，男，博士，教授，博導(dǎo)，從事圖像處理、信息安全研究。E-mail：jiulunf@xupt.edu.cn

10.13682/j.issn.2095-6533.2015.05.008

TN911.74

A

2095-6533(2015)05-0043-05