陳 鋒，張聞文，虞文俊，陳 錢，顧國華

基于小波變換的EMCCD微光圖像融合算法

陳 鋒，張聞文*，虞文俊，陳 錢，顧國華

（南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，南京210094）

由于增益水平的不同，電子倍增電荷耦合器件圖像所顯現(xiàn)的圖像內(nèi)容不同，且圖像動態(tài)范圍極窄、對比度低、圖像整體偏暗或模糊發(fā)白。為了提高微光圖像動態(tài)范圍及對比度，采用將不同增益水平的微光圖像進行融合的算法，即先獲取兩組同場景但增益不同的微光圖像，再對小波分解后的微光圖像選擇不同的融合規(guī)則，最后通過小波變換實現(xiàn)圖像融合，得到了高質(zhì)量的融合圖像，并取得了融合圖像的信息熵、標(biāo)準(zhǔn)差、平均梯度等性能指標(biāo)數(shù)據(jù)。結(jié)果表明，該融合算法能使得融合后的圖像同時包含低亮度景物和高亮度景物，達到了增大微光圖像的動態(tài)范圍及對比度的目的，有效改善了微光圖像的質(zhì)量。

圖像處理；微光圖像融合算法；小波變換；電子倍增電荷耦合器件倍增增益

引 言

電子倍增電荷耦合器件（electron multiplying charge coupled device，EMCCD）是近幾年發(fā)展起來的一種微光成像器件，與普通CCD不同之處在于它的讀出寄存器和輸出放大器間放置了全固態(tài)倍增寄存器以實現(xiàn)輸出電信號的增益放大。相比像增強型電荷耦合器件（intensified charge coupled device，ICCD）和電子轟擊電荷耦合器件（electron bombardment charge coupled device，EBCCD）等夜視型CCD，其結(jié)構(gòu)更緊湊、壽命更長。由于其高量子效率、靈敏度和信噪比等特性使其在低照度的微光成像領(lǐng)域具有很大的優(yōu)勢。目前雖然全世界已有數(shù)十家相機生產(chǎn)商能夠提供EMCCD相機，但是核心技術(shù)主要掌握在E2V和TI公司手上。兩家公司的產(chǎn)品也各有特色。TI公司的EMCCD芯片在曝光速度上更勝一籌。而E2V公司的EMCCD芯片在噪聲控制上更有優(yōu)勢［1］。

目前國內(nèi)外在微光圖像處理方面的主要手段有直接對微光圖像進行濾噪增強［2］以及將微光圖像與紅外圖像等其它傳感器圖像進行圖像融合［3］，其目的都是為了提升目標(biāo)識別率及成像質(zhì)量，并盡量使其滿足人眼的觀察需求。在微光圖像濾噪增強方面，主要通過各種濾波算法進行圖像處理，針對不同噪聲選取不同的濾波方案。但由于微光圖像的動態(tài)范圍非常窄、圖像對比度差、亮度低，因此單純對微光圖像本身進行處理往往達不到提升圖像目標(biāo)識別率的目的。另一個手段就是將微光圖像與紅外圖像進行融合，通過兩者融合來改善成像系統(tǒng)質(zhì)量。該方法能有效提升圖像的互信息，增加圖像的信息容量。但由于不同傳感器圖像在光譜、灰度和分辨率等方面存在很多差異和局限，因此融合前需要對源圖像進行配準(zhǔn)處理，處理方法復(fù)雜。EMCCD具有增益大小可調(diào)節(jié)的優(yōu)勢，在設(shè)置好最佳工作模式后［4］，通過調(diào)節(jié)增益大小可以改善微光系統(tǒng)成像。但不同增益水平下，圖像的表現(xiàn)各不相同，比如低增益圖像的灰度集中在灰度值較小的區(qū)域，圖像整體偏暗，對比度低；而高增益圖像的灰度值集中在灰度值較大的區(qū)域，圖像亮度高，增益增大后會使得圖像飽和，從而使得圖像整體發(fā)白模糊。微光圖像的動態(tài)范圍都很小，灰度分布過度集中且不均衡，當(dāng)對不同增益的微光圖像直接進行灰度拉伸時，不僅不能有效擴大動態(tài)范圍，且直接處理后的效果會使得圖像整體信息更不明顯。因此，本文中基于EMCCD增益大小可調(diào)節(jié)特性，提出一種改進的小波變換融合算法，將不同增益水平的微光圖像進行融合，該方法是直接將單一傳感器下同場景不同增益的微光圖像進行融合，因此不需要進行圖像的配準(zhǔn)設(shè)置，方法簡便快捷，融合后的微光圖像能同時顯示低亮度和高亮度景物，圖像動態(tài)范圍、整體亮度及對比度都得到了提升，且能保留圖像的邊緣信息。

1 微光系統(tǒng)成像理論

1.1EMCCD成像過程

典型的幀轉(zhuǎn)移型EMCCD由成像區(qū)、存儲區(qū)、讀出寄存器、倍增寄存器和輸出寄存器五大部分組成［5］。

如圖1所示，可以把EMCCD的工作過程概括如下：（1）在積分周期內(nèi)，成像區(qū)將光子轉(zhuǎn)化成電荷；（2）成像區(qū)電荷轉(zhuǎn)移到存儲區(qū)；（3）存儲區(qū)電荷轉(zhuǎn)移到讀出寄存器；（4）讀出寄存器電荷轉(zhuǎn)移到倍增寄存器，并在其中使電子倍增；（5）倍增后的電荷通過低噪聲讀出放大器轉(zhuǎn)換成電壓輸出。

Fig.1 EMCCD’s working process

1.2EMCCD的倍增增益

在微光條件下成像需要調(diào)節(jié)EMCCD的增益才能進行。EMCCD與普通CCD相比，其多了一組額外的像素讀出寄存器，稱為倍增寄存器。倍增寄存器的結(jié)構(gòu)與讀出寄存器類似，但是其中一相電極被一對電極取代，第1個電極加直流電壓，第2個電極由高電壓時鐘驅(qū)動。如圖2右半部分。這樣兩個電極間的電勢差形成強電場，使轉(zhuǎn)移到該電極下的信號電荷與硅晶格發(fā)生碰撞電離，激發(fā)出新電子，實現(xiàn)了信號電荷的倍增。

Fig.2 EMCCD’s read register and waveform of time sequence signal

圖2中左邊的電極屬于傳統(tǒng)寄存器結(jié)構(gòu)部分，右邊電極是倍增寄存器結(jié)構(gòu)部分。在傳統(tǒng)讀出寄存器中H1，H2，H3是標(biāo)準(zhǔn)的時鐘電極，由讀出脈沖驅(qū)動，幅值約為10V。而在倍增寄存器中，H2電極被低直流偏壓（low direct current bias voltage，LDCBV）電極HLDCBV和高壓時鐘電極（high voltage clock pole，HVCP）HHVCP取代，H1和H3仍然是標(biāo)準(zhǔn)時鐘電極。在HLDCBV和HHVCP之間的兩個電極之間存在強電場，當(dāng)電信號輸出到這里時發(fā)生電離碰撞，激發(fā)出新的電子空穴對，該過程在每一個增益級中反復(fù)，從而實現(xiàn)了信號電荷的倍增。

一般通過設(shè)置倍增寄存器的偏置電壓來控制EMCCD的實際增益大小。實驗中使用的EMCCD增益大小是通過一個8位的電子倍增數(shù)模轉(zhuǎn)換器（digital to analog converter，DAC）來調(diào)節(jié)的。數(shù)模轉(zhuǎn)換器的調(diào)節(jié)范圍在0～255之間。其中0代表增益禁止，此時EMCCD相當(dāng)于普通相機；當(dāng)DAC值在1～255之間時，表示增益開放，每個數(shù)值對應(yīng)一個實際增益值。因為實際倍增增益等于倍增寄存器的輸出信號與輸入信號的比值，在實驗中先設(shè)定一個參考光強度，接著測定在增益禁止和增益開放時EMCCD的輸出信號強度，再分別減去相應(yīng)無光照時的背景圖像信號強度，就能計算出EMCCD的實際增益G，設(shè)增益禁止時輸出信號強度是Ioff，增益開放時每個DAC增益值x對應(yīng)一個輸出信號強度I（x），相應(yīng)的無光照情況下增益禁止和增益開放時的圖像信號強度分別為Boff和B（x），則實際增益G可表示為［6］：

式中，G是EMCCD的實際增益；Ioff是增益禁止時輸出信號強度；I（x）為每個DAC增益值x對應(yīng)的一個輸出信號強度。

一般在無光照輸入時采集的信號強度遠小于正常光照的強度，所以Boff以及B（x）可以忽略不計，則（1）式可簡化為下式：

1.3EMCCD微光成像系統(tǒng)實驗裝置

微光圖像的采集過程如圖3所示，其中核心器件是EMCCD。通過調(diào)節(jié)EMCCD的增益，來實現(xiàn)不同增益下的微光成像。

Fig.3 Low-light-level imaging system components

2 融合算法

圖像融合是以圖像信息形式來表達的一種數(shù)據(jù)融合形式，它是根據(jù)一定算法將不同傳感器或者同一傳感器在不同時間或不同參量設(shè)置下攝取的圖像數(shù)據(jù)進行綜合處理，最終得到1幅便于人眼或計算機分析的融合圖像。其優(yōu)勢就是將各類圖像數(shù)據(jù)的優(yōu)點集合在融合后的圖像中，從而為后續(xù)工作如圖像識別、特征分析等提供便利［7］。目前最常用且發(fā)展最成熟的融合算法是像素級圖像融合算法。像素級圖像融合算法又分為空間域融合和頻域融合。相比空間域融合算法，頻域融合算法具有更好的細節(jié)描述能力，可以彌補空間域融合算法在細節(jié)表達能力上的不足?；谛〔ㄗ儞Q的融合算法屬于頻域圖像融合算法中的一種，相比較空間域融合算法，其具有良好的空間方向選擇性以及多分辨率分析的優(yōu)勢［8］。它是先對源圖像在不同頻率上進行多尺度分解，得到不同頻率層的子圖像，然后采用不同的融合規(guī)則對不同頻率層上的子圖像進行處理，最后進行重構(gòu)得到最終的融合圖像?；谛〔ㄗ儞Q的圖像融合主要過程如圖4所示［9］。

Fig.4 Wavelet transformation process

由于微光圖像對比度低、灰度分布過于集中、動態(tài)范圍窄的特點，應(yīng)當(dāng)先對微光圖像進行灰度拉伸和濾波預(yù)處理后再進行圖像融合。常用的預(yù)處理手段包括線性拉伸、直方圖均衡、設(shè)計低通濾波進行濾噪處理［10-11］等。由于EMCCD在低增益時圖像體現(xiàn)景物的整體范圍，但邊緣模糊、對比度低。高增益時圖像的邊緣細節(jié)明顯，亮度高，但相應(yīng)在低增益時清晰的區(qū)域因增益變大而模糊發(fā)白，且整體顆粒噪聲點增多。因此，對低增益條件下獲得的微光圖像要進行灰度的線性拉伸，對高增益條件下的微光圖像要進行濾波處理?；叶染€性拉伸可采用最常用的直方圖均衡，效果明顯且實現(xiàn)快捷。EMCCD的圖像噪聲分布一般符合混合泊松-高斯分布，一般的空間域濾波器，比如均值濾波器、中值濾波器的效果不明顯，采用維納濾波器的濾噪效果較好，但細節(jié)保留能力不足。參考文獻［11］中給出的一種基于小波半軟閾值的濾波算法，其濾噪效果好、細節(jié)保留能力強，且圖像濾波后的最小均方誤差和峰值信噪比均優(yōu)于中值濾波和維納濾波。因此，采用該濾波算法對高增益下的微光圖像進行濾波處理。在上述預(yù)處理過后再進行圖像融合，可以達到較好的融合效果。關(guān)于小波變換融合算法，其主要過程是先對預(yù)處理過的源圖像進行小波分解，圖像將被分解成1個低頻部分和3個不同尺度、不同方向的高頻部分。圖像中的大部分信息都包含在低頻部分，高頻部分主要是圖像在不同尺度和不同方向上的細節(jié)特征信息。將一幅圖像經(jīng)過小波變換得到的高低頻的小波系數(shù)，這些系數(shù)中絕對值較大的對應(yīng)著圖像中類似邊緣一類的比較顯著的特征信息，而分解后的尺度系數(shù)確定了圖像的輪廓特征。同時在圖像融合過程中，融合規(guī)則的選取直接關(guān)系到融合后的效果好壞。因此需要根據(jù)不同頻率分層選取相應(yīng)的融合規(guī)則。

本文中的算法流程如圖5所示。

Fig.5 Algorithm flow diagram

算法的具體步驟為：（1）分別對低增益微光圖像a和高增益微光圖像b進行預(yù)處理，即進行灰度拉伸和濾波處理，得到預(yù)處理后的源圖像A和源圖像B；（2）對預(yù)處理后得到的源圖像A和源圖像B進行多尺度小波分解，分別得到一個低頻系數(shù)fI（x，y）和3個不同尺度、不同方向的高頻系數(shù)hi，I（x，y）。其中下標(biāo)I＝A，B，分別表示預(yù)處理后的兩幅圖像A和圖像B；下標(biāo)i＝h，v，d分別表示水平、垂直和對角線3個方向；A圖像的低頻子帶系數(shù)為fA（x，y），B圖像的低頻系數(shù)為fB（x，y），相應(yīng)的高頻子帶系數(shù)為fi，A（x，y）和hi，B（x，y）；（3）針對不同的頻率分層選取不同的融合規(guī)則［12-13］。

對低頻子帶的融合規(guī)則常采用的方法有比如選取當(dāng)中一幅源圖像經(jīng)小波分解后的低頻系數(shù)或者選取兩幅源圖像小波分解后的低頻系數(shù)的均值。本文中選取后一種方法，即選取兩幅圖像的小波分解系數(shù)的平均值，計算公式如下：

式中，下標(biāo)F代表融合圖像F；fF（x，y）為融合圖像F的最低頻子帶系數(shù)。

對高頻子帶的融合規(guī)則，選用局部區(qū)域標(biāo)準(zhǔn)偏差規(guī)則。選定的區(qū)域大小選3×3。具體的相應(yīng)系數(shù)計算公式如下：

式中，下標(biāo)F，A，B分別表示融合圖像F以及預(yù)處理圖像A和圖像B；hi，F(xiàn)（x，y）為融合圖像F對應(yīng)的高頻小波系數(shù)值，hi，A（x，y）為源圖像A第i方向上高頻子帶點（x，y）位置上的高頻系數(shù)值；hi，B（x，y）為源圖像B第i方向上高頻子帶點（x，y）位置上的高頻系數(shù)值；Di，A（x，y）表示源圖像A第i方向上高頻子帶以（x，y）為中心的方差；Di，B（x，y）表示源圖像B第i方向上高頻子帶以（x，y）為中心的方差。

其中區(qū)域方差的計算公式如下［14］：

式中，D為3×3區(qū)域內(nèi)像素灰度方差；xm，n表示3× 3區(qū)域內(nèi)（m，n）位置處的像素灰度值；x－是當(dāng)前3×3區(qū)域內(nèi)的像素灰度平均值。最后將求得的各高低頻小波系數(shù)fF（x，y），hh，F(xiàn)（x，y），hv，F(xiàn)（x，y），hd，F(xiàn)（x，y）進行小波逆變換，得到重構(gòu)出的融合圖像F。

3 融合結(jié)果分析

為了驗證本文中算法的正確性和有效性，分別選取兩組在不同夜視照度下且增益大小不同的微光圖像進行融合實驗，并將本文中的融合算法與加權(quán)融合算法進行了比較。將圖6～圖9分為第1組，而將圖10～圖13分為第2組。其中，圖6是增益為80的微光圖片，圖7是增益為210的微光圖片，加權(quán)融合法圖像如圖8所示，本文中的算法融合后的圖像見圖9；圖10是增益為50的微光圖片，圖11是增益為180的微光圖片，加權(quán)融合法圖像見圖12，本文中的算法融合后的圖像見圖13。將兩組各自的源圖像與融合圖像相比較，可以發(fā)現(xiàn)本文中的算法融合后的圖像灰度分布均勻、動態(tài)范圍擴大，圖像看起來層次感更強，對比度也明顯提升，且景物輪廓和邊緣細節(jié)都得到了增強。下面是兩組的具體對比情況。

Fig.6 Low-light-level image with 80 gain value

Fig.7 Low-light-level image with 210 gain value

Fig.8 The first group image of weighted fusion

Fig.9 The first group image using fusion algorithm of this article

Fig.10 Low-light-level image with 50 gain value

兩組圖像分別在不同的夜視光照條件下拍攝。在第1組中圖6是低增益水平下的微光圖像，圖片中山坡上的樹木只能看清大概的輪廓范圍，邊緣細節(jié)不清晰且整幅圖像亮度低，對比度差。而圖7是高增益水平下的微光圖像，圖像亮度高，山坡上的樹木邊緣清晰，但部分區(qū)域已因增益變高而發(fā)白，如圖中汽車區(qū)域已由于過渡增益而模糊發(fā)白。基于本文中的算法融合后的圖像如圖9所示，圖像不僅整體亮度變高、對比度提升，圖像的動態(tài)范圍也得到了擴大，且邊緣細節(jié)信息也得到保留。相比加權(quán)融合法得到的圖像（見圖8），本文中的融合算法不會凸顯圖像的噪聲，對圖像灰度的差異性適應(yīng)能力較強。第2組的情況也是這樣。

Fig.11 Low-light-level image with 180 gain value

Fig.12 The second group image of weighted fusion

Fig.13 The second group image using fusion algorithm of this article

接著從信息熵、均值、標(biāo)準(zhǔn)差以及平均梯度進行了融合圖像的質(zhì)量評價［15］。信息熵是衡量圖像信息豐富程度的一個重要指標(biāo)，圖像的信息熵越大，則表示融合圖像所包含的信息越豐富，融合質(zhì)量越好。均值是反應(yīng)圖像亮度的一個指標(biāo)，均值越大，說明圖像整體亮度越大。標(biāo)準(zhǔn)差反映圖像像素數(shù)據(jù)的離散程度，標(biāo)準(zhǔn)差越大，圖像就越清晰，反之，圖像就越模糊。平均梯度反映圖像灰度變化率的大小，用來衡量圖像的相對清晰度。平均梯度越大，圖像層次越多，因此圖像也就越清晰。

下面是加權(quán)融合算法和本文中算法的融合指標(biāo)數(shù)據(jù)。在表1中序號1和序號2是兩組不同場景圖的實驗情況，分別列舉了兩組不同場景圖像的融合數(shù)據(jù)，其中在序號1和序號2的fusion image一欄中，左右兩個數(shù)據(jù)分別對應(yīng)加權(quán)融合算法的指標(biāo)數(shù)據(jù)和本文中融合算法的指標(biāo)數(shù)據(jù)。

Table1 Comparison of image fusion indicators between weighted fusion and the algorithm of this article

通過上面的融合結(jié)果的演示以及融合參量對比，可以發(fā)現(xiàn)融合圖像的各個數(shù)據(jù)指標(biāo)均優(yōu)于融合前的圖像數(shù)據(jù)指標(biāo)。對于加權(quán)融合法它比較快捷方便，但對圖像中的噪聲點比較敏感。它適合融合灰度差異較小的圖像，對于灰度差異較大的圖像融合時，會凸顯圖像的噪聲，不利于進一步的目標(biāo)識別。而本文中的基于小波變換的融合算法在分解級數(shù)較少時，融合速度較快，并具有更好的方向選擇性和圖像重構(gòu)能力，且圖像邊緣信息能得到保留。

4 結(jié) 論

EMCCD微光圖像在增益較低時圖像對比度低、邊緣模糊，只能看清景物的整體輪廓；而增益變高后圖像的邊緣細節(jié)明顯，但部分區(qū)域因增益變大而模糊發(fā)白。針對微光圖像在不同增益水平下的特點，對基于小波變換的圖像融合算法做了提升改進，將不同增益水平的微光圖像進行融合，實驗結(jié)果表明，融合后的微光圖像各參量指標(biāo)得到了提升，圖像既包含低亮度景物也包含高亮度景物，圖像的整體亮度、對比度以及動態(tài)范圍得到了擴大，達到了增強圖像質(zhì)量的目的。

［1］ ZHANG C L，CHEN Q，ZHOU B B.Recent progress toward ultrasensitivity EMCCD［J］.Infrared Technology，2007，29（4）：192-195（in Chinese）.

［2］ LIU Y，GAO X H.New algorithm for night vision image enhancement processing［J］.Infrared and Laser Engineering，2006，35（s4）：172-173（in Chinese）.

［3］ TIAN S.Key technologies of infrared and low-level-light image real-time fusion［D］.Nanjing：Nanjing University of Science and Technology，2010：15-34（in Chinese）.

［4］ ZHANGW W，CHEN Q.Optimum operation mode based on noise characteristics of electron multiplying CCD［J］.Optics and Precision Engineering，2008，16（10）：1977-1981（in Chinese）.

［5］ HAN L，XIONGP.The analysis of operating principle and performance of EMCCD［J］.Sensor World，2009，15（5）：24-28（in Chinese）.

［6］ LUO L.Research on EMCCD’s noise analysis and testing technology［D］.Nanjing：Nanjing University of Science and Technology，2010：28-34（in Chinese）.

［7］ LIU R R.Design and implementation of image fusion and enhancement processing system under low-light condition［D］.Beijing：Beijing Jiaotong University，2010：30-45（in Chinese）.

［8］ HU G，LIU Z，XU X P，et al.Research and recent development of image fusion at pixel level［J］.Application Research of Computers，2008，25（3）：650-655（in Chinese）.

［9］ FANW T.The research of image fusion technology based on wavelet transform［D］.Kaifeng：Henan University，2010：29-33（in Chinese）.

［10］ XUW C，HUANGW，LIY F，et al.Application of low-pass filtering and gray adjusting to image enhancement［J］.Laser＆Infrared，2012，42（4）：458-462（in Chinese）.

［11］ ZOU P.Research on EMCCD noise parameter estimation and filtering algorithm［D］.Nanjing：Nanjing University of Science and Technology，2012：36-42（in Chinese）.

［12］ TAO B J，WANG JR，XU JP.Study on image fusion based on different fusion rules of wavelet transform［J］.Infrared Technology，2006，28（7）：431-434（in Chinese）.

［13］ YUW J，GU G H，YANGW.Fusion algorithm of infrared polarization images based on wavelet transform［J］.Laser Technology，2013，37（3）：289-292（in Chinese）.

［14］ LIU B.The design and implementation of infrared and low-level-light image fusion night vision system based on wavelet［D］.Shanghai：Shanghai Jiaotong University，2008：32-38（in Chinese）.

［15］ WANG Y H，TAO Z X.Overview of quality evaluationmethods of fused infrared and visible images［J］.Infrared，2012，33（6）：7-10（in Chinese）.

Fusion algorithm of EMCCD’s low-light-level images based on wavelet transform

CHENFeng，ZHANG Wenwen，YU Wenjun，CHENQian，GUGuohua
（College of Electronic Engineering and Optoelectronic Technology，Nanjing University of Science and Technology，Nanjing 210094，China）

Because of different gain，the image content displayed by the electron multiplying charge coupled device（EMCCD）was different and the image had low contrast and narrow dynamic range.Meanwhile，the overall image was dark，fuzzy and whitish.An image fusion algorithm based on wavelet transform was put forward to apply into low-light-level images with different gain levels.Firstly，two groups of low-light-level images were acquired in the same scene with different gain level.Secondly，proper fusion rules were chosen based on low-light-level image’s characteristics after wavelet transform.Finally，the images were fused by wavelet transform，high quality fusion image and the performance data of fusion image，such as entropy，standard deviation，average gradient were obtained.Results show that the fusion algorithm based on wavelet transform can make the fusion image with both low and high brightness scenery and enlarge the image’s dynamic range and contrast.The image quality is effectively improved.

image processing；fusion algorithm of low-light-level image；wavelet transform；electron multiplying charge coupled device multiplication gain

TN911.73

A

10.7510／jgjs.issn.1001-3806.2014.02.003

1001-3806（2014）02-0155-06

核心電子器件、高端通用芯片及基礎(chǔ)軟件產(chǎn)品資助項目（2013ZX01005001）；武器裝備預(yù)研基金資助項目（40405030202）；南京理工大學(xué)“紫金之星”基金資助項目；江蘇省自然科學(xué)基金資助項目（BK20131354）

陳 鋒（1988-），男，碩士研究生，主要研究方向為光電成像探測及圖像處理。

*通訊聯(lián)系人。E-mail：zhangww＠m(xù)ail.njust.edu.cn

2013-07-04；

2013-07-17