賀 理，陳 果，郭 宏，金偉其

（1.北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081；2.91216 部隊(duì)，遼寧 葫蘆島 125000）

0 引言

現(xiàn)實(shí)世界自然場(chǎng)景晝夜光照動(dòng)態(tài)范圍高達(dá)108∶1以上[1]，傳統(tǒng)的成像和顯示器件的動(dòng)態(tài)范圍都難以適應(yīng)如此大的自然場(chǎng)景光照變化。為此，高動(dòng)態(tài)范圍（high dynamic range，HDR）成像和顯示技術(shù)應(yīng)運(yùn)而生，成為當(dāng)前國(guó)內(nèi)外研究的重要方向。當(dāng)前，低照度CMOS、電子倍增EMCCD 等新型成像器件已延拓到夜間環(huán)境，當(dāng)場(chǎng)景存在局部燈光（如：城市照明光、各類指示燈光、探照燈光等）時(shí)，成像系統(tǒng)往往出現(xiàn)“局部飽和”或其他區(qū)域曝光不足的所謂“燈下黑”現(xiàn)象，造成較亮及較暗區(qū)域的場(chǎng)景細(xì)節(jié)信息丟失。

HDR圖像通常通過(guò)兩幅或多幅不同曝光度達(dá)到低動(dòng)態(tài)范圍（low dynamic range，LDR）圖像融合獲得。例如使用單臺(tái)相機(jī)通過(guò)多次曝光獲取多幅同一場(chǎng)景不同曝光度的LDR圖像，并通過(guò)融合策略獲得HDR圖像[2-4]，從而捕獲HDR 場(chǎng)景圖像，但這種方法僅適用于靜態(tài)場(chǎng)景成像，對(duì)于動(dòng)態(tài)場(chǎng)景由于分時(shí)曝光，融合圖像中的運(yùn)動(dòng)目標(biāo)易出現(xiàn)“鬼影”。雖然采用多個(gè)成像系統(tǒng)同步采集同一個(gè)場(chǎng)景的方法[5-6]可避免場(chǎng)景目標(biāo)運(yùn)動(dòng)造成的鬼影現(xiàn)象，但相對(duì)成本較高，系統(tǒng)體積較大。近年來(lái)，通過(guò)單一相機(jī)在一幀曝光周期內(nèi)取不同的兩個(gè)積分時(shí)間進(jìn)行兩次采樣獲得雙曝光圖像技術(shù)得到發(fā)展，可避免運(yùn)動(dòng)目標(biāo)的“鬼影”現(xiàn)象，例如長(zhǎng)春辰芯公司的GSENSE 400BSI 雙通道低照度CMOS 探測(cè)器在單通道輸出模式大約具有60 dB的動(dòng)態(tài)范圍，通過(guò)雙通道輸出則可拓展到90 dB的動(dòng)態(tài)范圍。另外，也有基于單幅LDR圖像延拓出HDR圖像的方法研究[7-9]，其通過(guò)拓展或增強(qiáng)單幅圖像獲得成像場(chǎng)景的動(dòng)態(tài)范圍提升。例如，2005年Reinhard等[10]根據(jù)人眼視覺(jué)細(xì)胞響應(yīng)機(jī)理提出了S形映射曲線拓展方法，相比于線性曲線和Gamma 曲線，具有增強(qiáng)高光、陰影和重要的中間亮度區(qū)域?qū)Ρ榷鹊男Ч?015年Wang 等[9]利用反S形映射曲線，將一幅正常曝光的圖像轉(zhuǎn)化為模擬的多幅不同曝光度圖像，進(jìn)而通過(guò)圖像融合從而獲得更大的動(dòng)態(tài)范圍。這類方法主要針對(duì)正常曝光圖像的拓展，且設(shè)置參數(shù)較多，不適用于過(guò)度曝光或欠曝光圖像的動(dòng)態(tài)范圍拓展，且存在場(chǎng)景較亮或較暗區(qū)域的細(xì)節(jié)丟失嚴(yán)重，生成HDR圖像效果低于多曝光圖像融合效果的現(xiàn)象；對(duì)于不同積分時(shí)間圖像的HDR融合，傳統(tǒng)基于相機(jī)響應(yīng)函數(shù)的融合方法需考慮積分時(shí)間等參數(shù)，生成的HDR圖像細(xì)節(jié)受到圖像壓縮、色調(diào)映射等因素的影響。因此，基于像素級(jí)多尺度圖像融合方法受到人們關(guān)注，傳統(tǒng)的多尺度圖像融合方法主要有基于圖像金字塔的拉普拉斯金字塔（Laplacian pyramid,LP）[11]、基于小波變換的雙樹(shù)復(fù)小波變換（dual-tree complex wavelet transform,DTCWT）[12]、基于幾何學(xué)的Curvelet 變換（Curvelet transform,CVT）[13]等方法，這些方法能夠較好保留圖像的特征信息，但未充分考慮不同曝光圖像像素值對(duì)融合結(jié)果的影響。另一種基于曝光適度評(píng)價(jià)的融合方法（well-exposedness assessment,WEA）[14]，利用對(duì)圖像分成b×b大小的分塊，試圖通過(guò)有限次采樣分析不同曝光圖像像素值的亮暗變化，估算出場(chǎng)景中每個(gè)像素值的最佳曝光適度下的像素值，但是這種融合結(jié)果受分塊尺寸影響較大。

針對(duì)上述問(wèn)題，本文利用基于GSENSE 400BSI雙通道低照度CMOS相機(jī)，研究利用簡(jiǎn)化的反S形映射曲線拓展夜間場(chǎng)景成像動(dòng)態(tài)范圍，并在充分考慮不同曝光圖像像素值對(duì)融合結(jié)果影響的前提下采用多尺度圖像融合的方法，以在低照度動(dòng)態(tài)場(chǎng)景下獲取更佳的HDR 成像質(zhì)量。

1 雙通道低照度CMOS相機(jī)及其成像

1.1 雙通道低照度CMOS相機(jī)

基于長(zhǎng)光辰芯光電技術(shù)有限公司 GSENSE 400BSI 低照度CMOS 器件，實(shí)驗(yàn)研制了雙通道低照度CMOS相機(jī)（如圖1），在HDR 模式下可同時(shí)采集多種場(chǎng)景不同曝光級(jí)數(shù)下的雙通道圖像。相機(jī)探測(cè)器規(guī)模2048×2048，幀頻24 fps，單通道圖像動(dòng)態(tài)范圍60 dB。表1給出了探測(cè)器各曝光級(jí)數(shù)對(duì)應(yīng)的增益倍數(shù)。

圖1 GSENSE 400BSI 探測(cè)器（左）及研制的雙通道低照度CMOS相機(jī)（右）Fig.1 The GSENSE 400BSI detector(left) and the developed dual-channel low-light-level CMOS camera(right)

表1 各曝光級(jí)數(shù)對(duì)應(yīng)的增益倍數(shù)Table1 Gain multiples for each exposure level

1.2 雙通道曝光圖像的選取

通常，相機(jī)需進(jìn)行曝光光圈、曝光時(shí)間、ISO 等參數(shù)設(shè)置。本文雙通道低照度CMOS相機(jī)的曝光參數(shù)可簡(jiǎn)化為曝光時(shí)間，圖像像素灰度值取決于相機(jī)入射光能量E與曝光時(shí)間Δt的乘積：

式中：B為圖像像素灰度值；f為相機(jī)響應(yīng)函數(shù)（camera response function，CRF）。

假定成像系統(tǒng)具有n＋1級(jí)曝光級(jí)數(shù)并以增量曝光方式排序，分別定義Eimin和Eimax為曝光級(jí)數(shù)為i時(shí)，成像系統(tǒng)最低和最高可獲取的場(chǎng)景光輻射度。場(chǎng)景中任何光輻射度高于Eimax的區(qū)域?qū)⒂洖檫^(guò)曝光區(qū)，任何光輻射度低于Eimin的區(qū)域?qū)⒂洖榍菲毓鈪^(qū)。相機(jī)在曝光級(jí)數(shù)i時(shí)可獲取光輻射度范圍εi＝(Eimin,Eimax)。圖2是曝光級(jí)數(shù)i時(shí)的相機(jī)響應(yīng)曲線，其中縱坐標(biāo)表示相機(jī)獲得的像素值（8位），橫坐標(biāo)表示相機(jī)拍攝的場(chǎng)景光輻射度。

圖2 曝光級(jí)數(shù)i時(shí)相機(jī)CRFFig.2 The CRF on exposure level i

圖3給出實(shí)驗(yàn)用相機(jī)各個(gè)曝光增益編號(hào)對(duì)應(yīng)可獲取的光輻射度范圍，可以看出：與文獻(xiàn)[15]不同，GSENSE 400BSI的增益編號(hào)與增益倍數(shù)不是單調(diào)的；在幀曝光周期內(nèi)增益倍數(shù)越大，傳感器積分時(shí)間越長(zhǎng)，能夠捕獲更暗區(qū)域細(xì)節(jié)信息，反之增益倍數(shù)小可獲取場(chǎng)景中更亮區(qū)域細(xì)節(jié)信息。因此，對(duì)于低照度HDR 場(chǎng)景成像應(yīng)用背景，為了最大限度獲取場(chǎng)景的較亮區(qū)域和較暗區(qū)域的場(chǎng)景細(xì)節(jié)，減少冗余信息，選擇低照度高動(dòng)態(tài)場(chǎng)景選取0級(jí)和7級(jí)曝光級(jí)數(shù)作為HDR融合圖像源，即曝光級(jí)數(shù)0級(jí)獲取場(chǎng)景的較亮區(qū)域細(xì)節(jié)信息，曝光級(jí)數(shù)7級(jí)獲取場(chǎng)景的較暗區(qū)域細(xì)節(jié)信息。

圖3 相機(jī)各曝光級(jí)數(shù)對(duì)應(yīng)的動(dòng)態(tài)范圍Fig.3 The dynamic range corresponding to each exposure level of the camera

2 雙通道低照度CMOS相機(jī)HDR融合方法

2.1 雙通道曝光圖像動(dòng)態(tài)范圍的拓展

Wang 等[9]對(duì)一幅曝光圖像采用了反S形映射曲線方程進(jìn)行變換，引入了多個(gè)變換參數(shù)。本文借鑒反S形映射拓展成像范圍的思想，并進(jìn)一步對(duì)映射處理的圖像引入反Gamma 校正增強(qiáng)和制定動(dòng)態(tài)范圍拓展原則，由低照度CMOS相機(jī)輸出的兩幅LDR圖像進(jìn)行自適應(yīng)動(dòng)態(tài)范圍拓展，實(shí)現(xiàn)低照度HDR 成像。

簡(jiǎn)化的反S形映射曲線方程變換：

式中：Bw為生成的擴(kuò)展圖像的像素值；B(i,j)為輸入圖像在像素(i,j)處的歸一化像素值；η為控制生成拓展圖像平均像素值水平因子；Bsmax是常數(shù)，實(shí)驗(yàn)中被設(shè)置為382.5。

引入圖像拓展程度系數(shù)k，k＝1時(shí)定義為輸入圖像拓展的初始圖像，上拓展時(shí)k＝2,3…；下拓展時(shí)k＝1/2,1/3…。并通過(guò)對(duì)實(shí)際圖像實(shí)驗(yàn)，定義了圖像拓展系數(shù)k與調(diào)整參數(shù)η的關(guān)系近似為η＝0.2k。圖4給出不同拓展系數(shù)k時(shí)的圖像映射曲線圖?？梢钥闯觯汉?jiǎn)化的反S形曲線能保持中間范圍像素值的條件下，對(duì)兩端欠曝光區(qū)域和過(guò)曝光區(qū)域的動(dòng)態(tài)范圍進(jìn)行有效的拉伸。

圖4 不同k值對(duì)應(yīng)的簡(jiǎn)化反S形曲線圖Fig.4 The simplified inverse s-shaped curves corresponding to different k values

使用式(2)分別對(duì)采集的雙通道圖像進(jìn)行動(dòng)態(tài)范圍拓展：對(duì)高曝光圖像采用上拓展（Up,模擬增加曝光時(shí)間），對(duì)低曝光圖像采用下拓展（Down,模擬減少曝光時(shí)間），得到曝光度由高到低的圖像序列，依次定義為圖像T1、T2、T3、T4。為了確保拓展圖像與輸入圖像像素值處于同一數(shù)量級(jí)，且能夠最大限度模擬不同曝光程度的圖像效果，對(duì)經(jīng)過(guò)簡(jiǎn)化的反S形映射處理圖像使用反Gamma 校正（γ＝2.2）。以單臺(tái)相機(jī)通過(guò)多次曝光獲取LDR圖像序列為例（如圖5所示），圖像依據(jù)曝光度由高到低編號(hào)為1#，4#，將2#和3#圖像假設(shè)作為雙通道采集圖像T2和T3，分別應(yīng)用反S形映射對(duì)圖像兩端欠曝光區(qū)域和過(guò)曝光區(qū)域的動(dòng)態(tài)范圍進(jìn)行拉伸，然后使用反Gamma 校正規(guī)范像素值范圍，確保處理圖像能夠在8 bit 顯示器有效顯示。

圖5 動(dòng)態(tài)范圍拓展流程Fig.5 Dynamic range expansion process

通過(guò)雙通道圖像動(dòng)態(tài)范圍拓展方法，獲得的T1～T4的模擬不同曝光圖像序列與原曝光圖像序列直觀對(duì)比效果較為一致，說(shuō)明了方法對(duì)圖像動(dòng)態(tài)范圍拓展的有效性，獲得的圖像不僅符合增加/降低探測(cè)器積分時(shí)間的規(guī)律，更符合以往構(gòu)建多曝光圖像序列的經(jīng)驗(yàn)，同時(shí)引入噪聲少，有利于后續(xù)圖像的融合。對(duì)于實(shí)驗(yàn)平臺(tái)采集的圖像，為了合理確定拓展系數(shù)k，在輸入圖像中按直方圖分布設(shè)置4個(gè)區(qū)域R1、R2、R3、R4，分別用圖像總像素?cái)?shù)的0.25、0.50、0.75 作為圖像分塊像素值，分別為B0.25、B0.50、B0.75，如圖6所示。

設(shè)像素值z(mì)的像素?cái)?shù)為nz，z出現(xiàn)的概率為：

式中：n為一幅圖像的總像素?cái)?shù)。

以z為上限的累計(jì)概率為：

圖6 依據(jù)直方圖分塊方法Fig.6 Histogram segmentation method

可以看出，這3個(gè)劃分像素值對(duì)應(yīng)3個(gè)累計(jì)概率prlow、prmiddle、prmax。如果prz小于prlow，則這些像素位于R1 區(qū)域；如果prz大于prlow，小于prmiddle，則這些像素位于R2 區(qū)域；如果prz大于prmiddle，小于prmax，則這些像素位于R3區(qū)域；如果prz大于prmax，則這些像素位于R4區(qū)域。拓展原則為：圖像T1相對(duì)于圖像T2在R1區(qū)域像素?cái)?shù)比值不大于0.1，圖像T4相對(duì)于圖像T3在R4 區(qū)域的像素?cái)?shù)比值不大于0.1，通過(guò)取最優(yōu)值的方法確定圖像拓展系數(shù)k值，進(jìn)而得到所需要的動(dòng)態(tài)范圍拓展圖像。

2.2 動(dòng)態(tài)范圍拓展后圖像融合

選擇圖像T3作為基準(zhǔn)圖像，按上節(jié)方法劃定R1、R2、R3、R4四塊作用于新的圖像序列，分別使用高斯模型估算出最佳曝光適度下的像素值，然后利用權(quán)重函數(shù)得到各圖像的權(quán)重，最終使用拉普拉斯金字塔的多分辨率方法融合圖像。

高斯模型為：

式中：GRi,Ti為使用高斯模型計(jì)算得到的Ti圖像Ri分塊像素值的高斯分布；BRi,Ti為T(mén)i圖像Ri分塊像素值；為T(mén)i圖像的中值像素值。各中值像素值為：

式中：N為滿足條件的像素?cái)?shù)。為保證較理想的人眼視覺(jué)感受像素值取值應(yīng)在0.5附近，估算的最佳曝光適度下的像素值取0.5與中值像素值的加權(quán)和：

式中：uTi代表Ti圖像的最佳曝光適度下的像素值；β為權(quán)重平衡參數(shù)，實(shí)驗(yàn)中取值0.5。最終得到Ti圖像融合權(quán)重：

對(duì)圖像權(quán)重進(jìn)行歸一化：

將動(dòng)態(tài)范圍拓展后的4 幅圖像分別進(jìn)行拉普拉斯金字塔分解，將式(9)得到的4幅權(quán)重圖進(jìn)行高斯金字塔分解，分別得到不同分辨率的圖像和權(quán)重圖。記圖

像Ti的第l層拉普拉斯金字塔分解為L(zhǎng){Ti}l，記權(quán)重W?Ti的第l層高斯金字塔分解為得到融合式：

最后，將金字塔L{R}l進(jìn)行拉普拉斯逆變換，得到最終的HDR融合圖像R。

3 拓展與融合成像實(shí)驗(yàn)及其結(jié)果分析

雙通道CMOS相機(jī)對(duì)室內(nèi)低照度高動(dòng)態(tài)場(chǎng)景（1#場(chǎng)景）在各曝光級(jí)數(shù)的圖像如圖7所示。實(shí)驗(yàn)環(huán)境照度標(biāo)注在曝光級(jí)數(shù)為7級(jí)的圖像上（下同）。對(duì)選用曝光級(jí)數(shù)0級(jí)和曝光級(jí)數(shù)7級(jí)增益圖像，使用本文的動(dòng)態(tài)范圍拓展方法進(jìn)行處理。

圖71 #場(chǎng)景采集各曝光級(jí)數(shù)圖像Fig.7 Eight exposure level imagesin scene 1#

如圖8(a)所示，分別為對(duì)場(chǎng)景1雙通道采集圖像動(dòng)態(tài)范圍上拓展和下拓展處理圖像，拓展系數(shù)k分別為4和1/6。為了說(shuō)明動(dòng)態(tài)范圍拓展效果，使用累計(jì)直方圖估計(jì)曝光時(shí)間倍率的方法[16]，取像素值映射曲線在像素值0處的斜率，分別估算出動(dòng)態(tài)拓展圖像相對(duì)于原圖像的曝光積分時(shí)間倍率為2.01和1/2.40。本文簡(jiǎn)化曝光參數(shù)為積分時(shí)間一個(gè)參數(shù)，根據(jù)多曝光高動(dòng)態(tài)范圍成像原理，得到動(dòng)態(tài)范圍拓展后各個(gè)曝光級(jí)數(shù)可捕獲光輻射度范圍的關(guān)系如圖8(b)所示，該方法可以對(duì)采集的雙通道圖像的動(dòng)態(tài)范圍起到明顯拓展作用，降低了因基于兩幅LDR圖像生成HDR圖像帶來(lái)動(dòng)態(tài)范圍偏低的影響。

相同的方法分別獲得2#～6#場(chǎng)景的雙通道圖像及其拓展圖像，2#場(chǎng)景在暗室中使用LED 臺(tái)燈作為高亮目標(biāo)，3#場(chǎng)景在室外利用路燈、燈字牌作為高亮目標(biāo)，4#場(chǎng)景在室外將屋內(nèi)照明作為高亮目標(biāo)，5#場(chǎng)景在室外利用白熾燈作為高亮目標(biāo)，6#場(chǎng)景在室外利用路燈、車(chē)燈作為高亮目標(biāo)，如圖9所示。為了驗(yàn)證該實(shí)驗(yàn)平臺(tái)的HDR 成像特點(diǎn)，避免因多次曝光圖像融合造成“鬼影”問(wèn)題，3#～6#場(chǎng)景是對(duì)動(dòng)態(tài)場(chǎng)景采集圖像。圖中前兩列是利用實(shí)驗(yàn)平臺(tái)采集的曝光級(jí)數(shù)0級(jí)和7級(jí)的圖像，后兩列是對(duì)雙通道圖像動(dòng)態(tài)范圍拓展后獲得的圖像。各場(chǎng)景的拓展系數(shù)及估算曝光倍率見(jiàn)表2。

圖8 場(chǎng)景1#采集圖像動(dòng)態(tài)范圍拓展Fig.8 Dynamic range expansion of images in scene 1#

對(duì)雙通道圖像動(dòng)態(tài)范圍拓展后分別使用LP 法、CVT 法、WEA 法和本文方法進(jìn)行的融合結(jié)果如圖10所示。相比于圖9的雙通道圖像可以看出：融合算法得到的HDR圖像在較亮和較暗區(qū)域的細(xì)節(jié)信息可見(jiàn)性提升明顯，這說(shuō)明圖像動(dòng)態(tài)范圍拓展是有意義的；LP 法和CVT 法因采用多尺度融合策略，能較好保留圖像中細(xì)節(jié)特征，但未充分考慮不同曝光圖像中像素值對(duì)融合結(jié)果的影響，最終融合效果不太理想；WEA法通過(guò)曝光適度評(píng)價(jià)確定各曝光圖像融合權(quán)重，但因采用單分辨率融合策略，在低照度場(chǎng)景下對(duì)過(guò)曝光區(qū)域效果不理想；本文方法在通過(guò)曝光適度評(píng)價(jià)確定各曝光圖像融合權(quán)重的同時(shí)，采用多尺度拉普拉斯金字塔融合策略，較好保證了欠曝光區(qū)域和過(guò)曝光區(qū)域的成像效果。

實(shí)驗(yàn)表明：對(duì)雙通道圖像動(dòng)態(tài)范圍拓展，能夠降低因基于兩幅LDR圖像融合帶來(lái)動(dòng)態(tài)范圍偏小的影響，本文融合方法能夠更好地凸顯過(guò)曝光和欠曝光區(qū)域的細(xì)節(jié)信息，使圖像視覺(jué)效果更加自然。

圖9 各場(chǎng)景圖像采集及拓展Fig.9 Images acquisition and expansion

表2 各場(chǎng)景的拓展系數(shù)k 及估算曝光倍率Table2 The expansion ratio kand estimated exposure ratio of each scene

在客觀評(píng)價(jià)方面，對(duì)各場(chǎng)景圖像融合結(jié)果分別采用均值、信息熵和邊緣相關(guān)融合質(zhì)量指數(shù)Q，QW，QE（The fusion quality index,The weighted fusion quality index,The edge-dependent fusion quality index）進(jìn)行的評(píng)價(jià)結(jié)果如表3所示（各指標(biāo)中最優(yōu)數(shù)值用黑體標(biāo)出）。均值反映圖像亮度的平均水平[17]，數(shù)值越大，圖像亮度平均水平越大；圖像信息熵反映圖像包含的平均信息量[17]，即圖像灰度分布的聚集特征；邊緣相關(guān)融合質(zhì)量指數(shù)是將結(jié)構(gòu)相似理論引出圖像融合質(zhì)量評(píng)價(jià)所提出的3 項(xiàng)評(píng)價(jià)指標(biāo)[18]。從表3可以看出，本文方法在像素均值和信息熵方面占有較大優(yōu)勢(shì)，在邊緣相關(guān)融合質(zhì)量方面數(shù)值指標(biāo)較為接近。

4 結(jié)論

針對(duì)當(dāng)前使用單臺(tái)相機(jī)多次曝光和基于單幅LDR圖像獲取HDR圖像存在的問(wèn)題，本文基于GSENSE400 BSI型號(hào)傳感器提出使用兩幅不同曝光量圖像的場(chǎng)景高動(dòng)態(tài)范圍圖像融合方法。考慮兩幅圖像僅能捕獲場(chǎng)景有限的動(dòng)態(tài)范圍，通過(guò)對(duì)圖像虛擬曝光進(jìn)一步拓展圖像的動(dòng)態(tài)范圍。除此之外，本文在圖像融合時(shí)，通過(guò)估算最佳曝光適度下的像素值生成權(quán)重圖，并采用多分辨率的金字塔分解方式，使得生成的HDR圖像效果更好，能夠較好解決低照度動(dòng)態(tài)場(chǎng)景中HDR圖像融合問(wèn)題。

圖10 各場(chǎng)景HDR圖像融合結(jié)果Fig.10 HDR image fusion results of each scene

表3 融合結(jié)果評(píng)價(jià)指標(biāo)Table3 Evaluation of fusion result