申小禾 劉晶紅 楚廣生

?

基于直方圖分析的航空攝像機(jī)自動(dòng)調(diào)光方法研究

申小禾①②劉晶紅*①楚廣生①

①(中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所 長(zhǎng)春 130033)②(中國(guó)科學(xué)院大學(xué) 北京 100049)

航空攝像機(jī)在空中對(duì)地面進(jìn)行拍攝，拍攝場(chǎng)景復(fù)雜，傳統(tǒng)的灰度平均值法在一些如有干擾點(diǎn)或背景與目標(biāo)灰度差別大的場(chǎng)景下曝光會(huì)不正確，丟失圖像信息，為了解決這些問(wèn)題，該文在根據(jù)圖像灰度信息的調(diào)光算法以及硬件實(shí)現(xiàn)方面進(jìn)行了相關(guān)研究。首先根據(jù)當(dāng)前幀圖像的灰度直方圖中灰度級(jí)為0和255附近的信息進(jìn)行初調(diào)；然后根據(jù)圖像直方圖及其卷積和，搜索其中的峰值區(qū)域并確定圖像的不感興趣區(qū)域(包含的灰度級(jí)單一，信息量少的區(qū)域)；接著根據(jù)這些區(qū)域占整幅圖像的比重，由權(quán)值分配曲線為其分配不同的權(quán)值；最后計(jì)算加權(quán)后的灰度平均值，并將其作為反饋量控制下一幀的調(diào)光。實(shí)驗(yàn)結(jié)果表明，在普通場(chǎng)景下能夠準(zhǔn)確曝光，在暗背景和亮背景場(chǎng)景下，相比傳統(tǒng)方法使圖像感興趣區(qū)域信息熵提高10%以上。此方法能適用于多種場(chǎng)景，滿足航空攝像機(jī)對(duì)復(fù)雜場(chǎng)景自動(dòng)調(diào)光的需求。

圖像處理；航空攝像機(jī)；灰度直方圖；加權(quán)平均值；自動(dòng)調(diào)光

1 引言

現(xiàn)代航空成像探測(cè)系統(tǒng)在偵察過(guò)程中，從空中對(duì)地面進(jìn)行拍攝，拍攝的場(chǎng)景復(fù)雜，存在很多的干擾因素，使得在成像探測(cè)過(guò)程中會(huì)出現(xiàn)曝光不足或曝光過(guò)度的情況發(fā)生。曝光不足或曝光過(guò)度都嚴(yán)重影響成像的質(zhì)量，使拍攝的圖像丟失信息，失去圖像的完整性[1]。

隨著電子技術(shù)的發(fā)展，基于數(shù)字圖像的自動(dòng)調(diào)光方法成為目前自動(dòng)調(diào)光的重要方法。自動(dòng)調(diào)光就是攝像機(jī)自動(dòng)對(duì)所拍攝的場(chǎng)景進(jìn)行曝光，獲得理想的圖像。攝像機(jī)通過(guò)自動(dòng)調(diào)節(jié)來(lái)控制曝光的參數(shù)有：光圈大小、曝光時(shí)間以及信號(hào)增益[2,3]。光圈大小和曝光時(shí)間用于調(diào)節(jié)接收到的光能量，信號(hào)增益用于對(duì)電信號(hào)進(jìn)行放大。自動(dòng)調(diào)光技術(shù)就是通過(guò)捕獲圖像特性參數(shù)與參考值進(jìn)行比較和分析，建立圖像特性參數(shù)與調(diào)光參數(shù)之間的映射關(guān)系，將映射的調(diào)整值反饋至調(diào)光控制系統(tǒng)。工程中主要應(yīng)用的調(diào)光方法為灰度平均值法，即將圖像灰度平均值作為反饋量，通過(guò)調(diào)節(jié)光闌大小和曝光時(shí)間長(zhǎng)短，使得圖像平均值在合理的范圍內(nèi)。這種方法適用于場(chǎng)景亮度均勻，沒(méi)有干擾的情況，但在實(shí)際拍攝的過(guò)程中，經(jīng)常出現(xiàn)背景與目標(biāo)的亮度差異較大的情況，這種方法不能對(duì)其很好地調(diào)光。為了使調(diào)光方法能適應(yīng)更多的場(chǎng)景，國(guó)內(nèi)外學(xué)者對(duì)其進(jìn)行了很多研究。例如，文獻(xiàn)[4]將圖像平均分為若干小塊，對(duì)圖像行與列搜索出連續(xù)亮度區(qū)域，得到場(chǎng)景中的主體與背景，根據(jù)兩者對(duì)比度對(duì)目標(biāo)亮度進(jìn)行補(bǔ)償，但對(duì)于圖像中主體與背景邊界不明顯的情況不能做出判斷；文獻(xiàn)[5]比較分區(qū)后各區(qū)域與全局圖像熵的大小，劃分感興趣區(qū)域與不感興趣區(qū)域，并由此分配權(quán)重，提高了自動(dòng)曝光的準(zhǔn)確性，圖像熵的計(jì)算復(fù)雜度高，不利于硬件實(shí)現(xiàn)；文獻(xiàn)[6]細(xì)分圖像場(chǎng)景，對(duì)通過(guò)普通調(diào)光方法效果不好的場(chǎng)景，提出了相應(yīng)的調(diào)光方法，針對(duì)性強(qiáng)；文獻(xiàn)[7]，文獻(xiàn)[8]提出將圖像分為6個(gè)區(qū)域，制定模糊規(guī)則，為每個(gè)區(qū)域分配不同的權(quán)值計(jì)算加權(quán)灰度平均值，這種方法因?yàn)榉謪^(qū)固定，不能隨場(chǎng)景的變化而變化，有一定的局限性。

本文針對(duì)航空?qǐng)D像的特點(diǎn)，提出了首先統(tǒng)計(jì)圖像灰度信息，初步調(diào)光，使得得到的圖像沒(méi)有溢出現(xiàn)象，然后根據(jù)單位門(mén)序列與直方圖做卷積和運(yùn)算，得到的峰值對(duì)應(yīng)不感興趣區(qū)域，再根據(jù)不感興趣區(qū)域所占比重分配不同權(quán)值，將加權(quán)后的灰度平均值作為反饋量控制調(diào)光，使圖像達(dá)到最佳曝光狀態(tài)。這種方法能在不同的場(chǎng)景下，劃分出不同的不感興趣區(qū)域，分配不同的權(quán)值，適應(yīng)性強(qiáng)。

2 調(diào)光方法

2.1 曝光原理介紹

圖像亮度與當(dāng)前曝光量之間的關(guān)系：

其中，為當(dāng)前圖像亮度，為常量，表明此時(shí)場(chǎng)景的照明條件，為周?chē)h(huán)境的亮度，為相機(jī)增益，為曝光時(shí)間，/#為鏡頭的光圈數(shù)。攝像機(jī)在工作時(shí)，對(duì)場(chǎng)景進(jìn)行連續(xù)拍攝，前后兩幀圖像相隔時(shí)間短，和的變化可以忽略不計(jì)，圖像亮度只與當(dāng)前光圈數(shù)和曝光時(shí)間有關(guān)。

2.2 圖像形成模型

2.3 初調(diào)

圖像的灰度直方圖反映圖像中各個(gè)灰度級(jí)分布的情況，圖1中(a), (b), (c)為對(duì)同一場(chǎng)景進(jìn)行拍攝的3幅圖像，從左向右分別為曝光不足，曝光適度和曝光過(guò)度的圖像，圖1中(d), (e), (f)分別為(a), (b), (c)的灰度直方圖，橫坐標(biāo)表示灰度值，縱坐標(biāo)表示

圖1 同一場(chǎng)景不同曝光量圖片及直方圖對(duì)比

圖像中每個(gè)灰度值的像素個(gè)數(shù)。

從圖1中可以看出，曝光過(guò)度的照片，灰度值在0附近處的像素?cái)?shù)量很少，而灰度值在255附近的像素?cái)?shù)量很多，尤其在灰度值為255時(shí)，此時(shí)的圖像在灰度級(jí)高的區(qū)域有明顯的溢出現(xiàn)象，此區(qū)域內(nèi)的信息有丟失，曝光不足的照片灰度值主要集中于灰度值較低的區(qū)域，不能全面地反映出場(chǎng)景中的信息，曝光適度的圖像灰度直方圖的分布均勻。

對(duì)同一場(chǎng)景進(jìn)行拍攝，不同的曝光條件會(huì)使圖像的灰度級(jí)分布差異很大，如果直接根據(jù)此時(shí)的圖像進(jìn)行處理，在曝光條件不良的情況下，圖像不能完全反應(yīng)拍攝場(chǎng)景中的信息，會(huì)出現(xiàn)判別失誤。根據(jù)圖像信息控制調(diào)光是在圖像曝光基本正常的條件下進(jìn)行的，即灰度值在0和255附近沒(méi)有溢出的條件下。所以首先根據(jù)圖像灰度直方圖判別圖像是否有溢出現(xiàn)象。

檢測(cè)灰度值在0和255附近的像素?cái)?shù)量和，其中

在直方圖沒(méi)有溢出的情況下，和以及和應(yīng)滿足式(5)，式(6)條件之一：

條件式(5)表示灰度直方圖兩側(cè)有像素分布，但分布的像素?cái)?shù)量很少，小于常量。條件式(6)表示灰度直方圖兩側(cè)沒(méi)有像素分布。如不滿足以上兩種條件，當(dāng)=0且很大時(shí)，表明在灰度值低時(shí)有溢出，需增加快門(mén)的曝光時(shí)間；當(dāng)=0且很大時(shí)，表明在灰度值高時(shí)有溢出，需減小快門(mén)的曝光時(shí)間。

對(duì)不同場(chǎng)景不同曝光情況的上百幅圖像直方圖統(tǒng)計(jì)分析得到，曝光不足的圖像直方圖在0附近的灰度值較大，而曝光過(guò)度的圖像在灰度值為255處的數(shù)值非常大，有溢出的現(xiàn)象。為了使直方圖在兩側(cè)都沒(méi)有溢出的現(xiàn)象，需要滿足式(7)條件，在灰度值0附近的像素?cái)?shù)小于定值且灰度值為255的像素?cái)?shù)小于定值，即

2.4 直方圖分析

如圖2所示，圖2(b)為圖2(a)歸一化灰度直方圖，橫坐標(biāo)為灰度級(jí)，縱坐標(biāo)()為每個(gè)灰度級(jí)的像素?cái)?shù)占整幅圖像像素總數(shù)的比重。直方圖峰值區(qū)域?yàn)樵趫D像直方圖中一定寬度范圍內(nèi)，其像素?cái)?shù)量遠(yuǎn)大于其他等寬范圍內(nèi)的像素?cái)?shù)量的區(qū)域，如圖2(b)中的,和附近區(qū)域。信息熵是不確定性的一種度量，信息熵大表示包含的信息量大，冗余信息少，反之亦然，其公式如式(8)所示，

其中，()表示圖像信息熵，表示圖像的灰度集合，表示圖像的灰度級(jí)(=255),表示灰度值為出現(xiàn)的頻率。圖2(b)中區(qū)域相比于和區(qū)域陡峭且狹窄，包含的灰度級(jí)少但數(shù)量多，由式(8)可知，區(qū)域的熵值較小，冗余信息多。

人類視覺(jué)系統(tǒng)的特性是關(guān)注高復(fù)雜度區(qū)域，盡可能多地從圖像中獲取信息。感興趣區(qū)域?yàn)榘叶燃?jí)豐富的高復(fù)雜區(qū)域，即直方圖中的平坦區(qū)域灰

圖2 示例圖像及其直方圖和卷積和圖

度值對(duì)應(yīng)的圖像區(qū)域，其對(duì)信息熵的貢獻(xiàn)大；不感興趣區(qū)域?yàn)榘叶燃?jí)單一的低復(fù)雜區(qū)域，即直方圖中的陡峭區(qū)域灰度值對(duì)應(yīng)的圖像區(qū)域，其對(duì)信息熵的貢獻(xiàn)小。為了使調(diào)光更合理，本文通過(guò)直方圖信息搜索出不感興趣區(qū)域灰度值，即直方圖中陡峭峰值區(qū)域的灰度值范圍，然后將其對(duì)應(yīng)到圖像的具體區(qū)域，減少不感興趣區(qū)域?qū)φ{(diào)光的影響。

單位門(mén)序列與歸一化后的直方圖進(jìn)行卷積和操作[9]，可以找出直方圖中陡峭的峰值區(qū)域，計(jì)算方法如式(9)所示，

其中，表示灰度值，()表示灰度值為的像素個(gè)數(shù)占全部像素的比重，P為門(mén)序列的寬度。P需要預(yù)先設(shè)定，大量實(shí)驗(yàn)表明，在圖像灰度級(jí)為256時(shí)，P設(shè)為10可以使后期處理能得到滿意的效果，圖2(c)即P為10時(shí)得到的圖2(b)的卷積和圖，橫坐標(biāo)為灰度級(jí)，縱坐標(biāo)為卷積和P。卷積和P中的每個(gè)凸極點(diǎn)對(duì)應(yīng)直方圖中的一個(gè)峰值區(qū)域，從得到的峰值區(qū)域中選取陡峭的峰值區(qū)域，判斷為不感興趣區(qū)域，若無(wú)，則場(chǎng)景中無(wú)不感興趣區(qū)域。

搜索不感興趣區(qū)域灰度值流程如下：

(1)得到圖像歸一化直方圖；

(2)搜索歸一化直方圖中是否存在大于0.01的峰值，若不存在，則圖像中無(wú)不感興趣區(qū)域，流程結(jié)束；若存在，進(jìn)行步驟(3)；

(3)得到直方圖的卷積和圖，搜索卷積和圖中是否存在大于0.1的峰值，若不存在，則圖像中無(wú)不感興趣區(qū)域；若存在，進(jìn)行步驟(4)；

(4)統(tǒng)計(jì)卷積和圖峰值數(shù)量，若>2，進(jìn)行步驟(5)；若，標(biāo)記較大的峰值點(diǎn)，進(jìn)行步驟(6)；

(6)將標(biāo)記的卷積和峰值點(diǎn)與步驟(2)中得到的直方圖峰值點(diǎn)比較，若灰度值相差大于P，則判定圖像無(wú)不感興趣區(qū)域，流程結(jié)束；若灰度值相差小于或等于P，則標(biāo)記此峰值點(diǎn)，進(jìn)行步驟(7)；

(7)檢測(cè)步驟(6)中得到的峰值寬度，若>20，則圖像中無(wú)不感興趣區(qū)域，流程結(jié)束；若，則此峰值區(qū)域?qū)?yīng)不感興趣區(qū)域灰度范圍，流程結(jié)束。

2.5 不感興趣區(qū)域

得到了不感性興趣區(qū)域灰度范圍后，下一步就是將其對(duì)應(yīng)到圖像中的具體區(qū)域。如果只從像素級(jí)進(jìn)行判別，影響圖像特征完整性。對(duì)原圖像進(jìn)行尺度變換，對(duì)原圖像的第級(jí)近似金字塔圖像像素依次進(jìn)行判別。不宜選得過(guò)高或過(guò)低，過(guò)高，圖像中一些特征信息體現(xiàn)就不明顯；過(guò)低，又會(huì)降低特征的完整性。經(jīng)過(guò)層層近似的圖像剛好小于20×20時(shí)，能滿足以上條件。本文所對(duì)應(yīng)在工程中應(yīng)用的攝像機(jī)分辨率為1024×768，考慮以上原因，同時(shí)考慮硬件實(shí)現(xiàn)時(shí)存儲(chǔ)方便，變換后的圖像總像素?cái)?shù)小于256(即)，選取為6，判斷不感興趣區(qū)域，能得到滿意的效果，即將原圖像變換為16×12，如圖3所示。

圖3 不感興趣區(qū)域搜索舉例

標(biāo)記出來(lái)的近似金字塔像素點(diǎn)對(duì)應(yīng)原圖像中的區(qū)域即為不感興趣區(qū)域，不同場(chǎng)景下，不感興趣區(qū)域的大小會(huì)有所不同。當(dāng)不感興趣區(qū)域在圖像中占的比重較小時(shí)，不感興趣區(qū)域的灰度值與整體平均值相差很多，其多為干擾點(diǎn)，此時(shí)應(yīng)為其分配較小(接近0)的權(quán)值；隨著不感興趣區(qū)域的增大，當(dāng)不感興趣的區(qū)域在圖像中占的比重較大(接近于1)時(shí)，其多為包含低頻信息的背景，與圖像的形成模型式(2)中的入射分量有很大關(guān)聯(lián)，大范圍的不感興趣區(qū)域光的反射量占整個(gè)場(chǎng)景的比重很大，影響整幅圖像的形成，如還為其分配較小的權(quán)值，將會(huì)導(dǎo)致不正常曝光。所以隨著不感興趣區(qū)域占的比重的增大，為其分配的權(quán)值也應(yīng)增大。使用一個(gè)Sigmoid函數(shù)作為分配權(quán)值的函數(shù)，表達(dá)式為

權(quán)值分配曲線如圖4所示，橫坐標(biāo)為不感興趣區(qū)域占整幅圖像的比重，縱坐標(biāo)為分配的權(quán)值大小。

加權(quán)灰度值可由式(11)得到：

圖4 權(quán)值分配曲線

(11)

其中，p為第個(gè)像素的權(quán)值，r為第個(gè)像素值，192為近似金字塔圖像總像素?cái)?shù)(即16×12)。將得到的加權(quán)灰度值作為反饋量，控制曝光系統(tǒng)，實(shí)現(xiàn)自動(dòng)調(diào)光。

3 算法硬件實(shí)現(xiàn)

自動(dòng)調(diào)光算法通過(guò)對(duì)當(dāng)前幀圖像亮度信息的分析來(lái)控制下一幀的曝光條件，實(shí)時(shí)性要求高。FPGA(現(xiàn)場(chǎng)可編程門(mén)陣列)具有可重復(fù)編程，實(shí)時(shí)性好和體積小的特點(diǎn)，滿足航空攝像機(jī)對(duì)體積與實(shí)時(shí)性的要求，所以選取FPGA作為硬件平臺(tái)。

算法在FPGA中的實(shí)現(xiàn)需要由以下幾個(gè)功能模塊組成：(1)RGB轉(zhuǎn)換為亮度；(2)乒乓操作模塊；(3)直方圖統(tǒng)計(jì)及卷積和統(tǒng)計(jì)；(4)判斷直方圖溢出；(5)計(jì)算近似圖像；(6)尋找峰值區(qū)域；(7)不感興趣區(qū)域搜索并分配權(quán)值，計(jì)算加權(quán)后平均值。FPGA的整體功能框圖如圖5所示。在ISE自帶的仿真工具ISIM環(huán)境下仿真。

下面對(duì)主要功能模塊進(jìn)行介紹：

圖5自動(dòng)調(diào)光算法硬件實(shí)現(xiàn)框架圖

(1)RGB轉(zhuǎn)換為亮度：根據(jù)轉(zhuǎn)換公式=0.299×R+0.578×G+0.114×B, FPGA不能處理小數(shù)，所以將式中右側(cè)小數(shù)全部擴(kuò)大1024倍，再將得到的向右移10位即得灰度值。

(2)乒乓操作及分塊模塊：要對(duì)圖像進(jìn)行分塊，對(duì)于數(shù)據(jù)流形式的圖像，需要先將數(shù)據(jù)存入RAM中，從RAM中再選擇數(shù)據(jù)。如將整幅圖像存入一個(gè)RAM，會(huì)造成空間的浪費(fèi)，因?yàn)橐獙D像分為64×64的小塊，采用乒乓緩存操作的方法，使用兩個(gè)單口RAM，每個(gè)RAM的容量為64×1024，通過(guò)控制每塊RAM的輸入輸出，使得數(shù)據(jù)流連續(xù)輸出。乒乓操作示意圖如圖6所示。

對(duì)在乒乓操作中存入RAM的數(shù)據(jù)按分塊后的數(shù)據(jù)流讀出，例如在第1行讀入64個(gè)數(shù)據(jù)后，讀出的地址轉(zhuǎn)到第2行，即從RAM中的第1024個(gè)數(shù)據(jù)開(kāi)始讀入，在讀入的過(guò)程中累加數(shù)據(jù)，讀入64行數(shù)據(jù)后，第1塊讀入結(jié)束，同時(shí)得出這一塊的平均值，依此類推，可以得到各塊的平均值，將每塊的平均值存入一塊新RAM中，用于與閾值比較。

圖6 乒乓操作示意圖

(3)直方圖和卷積及統(tǒng)計(jì)模塊：采用256個(gè)邏輯單元，每單元為20位的RAM對(duì)直方圖和卷積并進(jìn)行統(tǒng)計(jì)，在讀取像素?cái)?shù)據(jù)后，直方圖RAM的地址與讀入像素灰度值相同，對(duì)時(shí)鐘進(jìn)行4分頻處理，在第1個(gè)時(shí)鐘內(nèi)讀取直方圖RAM的數(shù)據(jù)，即之前統(tǒng)計(jì)該灰度值的數(shù)量，在第2個(gè)時(shí)鐘內(nèi)進(jìn)行加1處理，第3個(gè)時(shí)鐘輸入加1后的數(shù)值，第4個(gè)時(shí)鐘輸出數(shù)據(jù)。

在對(duì)一幀圖像全部統(tǒng)計(jì)完后，控制直方圖RAM按地址從小到大輸出直方圖，輸出過(guò)程中得到卷積和，并檢索直方圖數(shù)據(jù)的極值點(diǎn)和卷積和的極大值點(diǎn)及其所處的灰度值，并使用RAM分別存儲(chǔ)這些極大值點(diǎn)和它們的灰度值。直方圖與卷積模塊示意圖如圖7所示。在FPGA實(shí)現(xiàn)的過(guò)程中，直方圖統(tǒng)計(jì)和卷積化是整個(gè)流程的最重要的環(huán)節(jié)。

(4)尋找峰值模塊：將得到的符合一定條件的極

圖7 直方圖及卷積和統(tǒng)計(jì)示意圖

大值點(diǎn)的RAM按序輸出，根據(jù)2.4節(jié)中搜索不感興趣區(qū)域的步驟，檢測(cè)是否存在不感興趣區(qū)域，若有，存儲(chǔ)峰值范圍的兩端灰度值，作為閾值；若無(wú)，直接輸出整幅圖像灰度平均值。

(5)權(quán)值分配模塊：獲取第6級(jí)圖像金子塔，將存儲(chǔ)其像素值的RAM按地址由小到大輸出，將平均值在閾值范圍內(nèi)的數(shù)值標(biāo)記為1，不在閾值范圍內(nèi)的標(biāo)記為0，并將標(biāo)記為1和0的平均值分別累加，統(tǒng)計(jì)1的個(gè)數(shù)，即為不感興趣區(qū)域的塊數(shù)。使用FPGA每次計(jì)算權(quán)值分配函數(shù)耗時(shí)長(zhǎng)，使用查找表能解決這一問(wèn)題。FPGA不能進(jìn)行浮點(diǎn)運(yùn)算，將查找表中的權(quán)值都預(yù)先擴(kuò)大1024倍，再將計(jì)算后的加權(quán)平均值左移10位，即得最終反饋值。

仿真實(shí)驗(yàn)中圖像像素時(shí)鐘為50 MHz，處理1024×768的圖像一幀，需要15.76 ms，滿足實(shí)時(shí)性要求。

4 實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)中采用加拿大生產(chǎn)的PT1000-CL采集盒采集圖像，采集的圖像為RGB彩色圖像，圖像寬度為1024像素，高度為768像素，采用Xilinx公司的Spartan系列的XC3S50A芯片對(duì)圖像數(shù)據(jù)進(jìn)行處理得到加權(quán)后灰度平均值，由控制電路板IC-3CCD控制調(diào)光，圖8為本文提出的自動(dòng)調(diào)光系統(tǒng)結(jié)構(gòu)框圖。

圖8 自動(dòng)調(diào)光系統(tǒng)結(jié)構(gòu)框圖

鏡頭對(duì)場(chǎng)景進(jìn)行成像，CCD將得到的光信號(hào)轉(zhuǎn)換為電信號(hào)輸入到硬件電路中，在FPGA中對(duì)圖像的數(shù)據(jù)進(jìn)行處理，得到反饋量對(duì)光圈大小和CCD積分時(shí)間進(jìn)行控制，實(shí)現(xiàn)自動(dòng)調(diào)光。經(jīng)由圖像采集盒將得到的圖像輸出到顯示設(shè)備上顯示得到的圖像。

在實(shí)驗(yàn)室環(huán)境下進(jìn)行拍攝，將本文提出的方法與傳統(tǒng)灰度平均值方法進(jìn)行對(duì)比，圖9、圖10和圖11為不同場(chǎng)景下的效果對(duì)比圖。圖(a)為傳統(tǒng)方法得到的圖像，圖(b)為圖(a)中方框內(nèi)的局部放大圖，圖(c)為使用本文方法得到的圖像，圖(d)為圖(c)中方框內(nèi)的局部放大圖。圖9為亮背景情況下效果對(duì)比圖，圖10為普通場(chǎng)景下效果對(duì)比圖，圖11為暗背景情況下效果對(duì)比圖。它們的平均灰度值，加權(quán)灰度值及感興趣區(qū)域灰度值見(jiàn)表1。

圖9 亮背景效果對(duì)比圖

圖10 普通場(chǎng)景效果對(duì)比圖

圖11 暗背景效果對(duì)比圖

表1 數(shù)據(jù)對(duì)比表

圖

灰度平

均值

加權(quán)平

均值

感興趣區(qū)域

平均值

感興趣區(qū)域

信息熵

9(a)

178.7324

149.1761

140.8024

5.3602

9(c)

208.5421

195.7409

155.9762

6.2085

10(a)

96.5113

-

-

7.3540

10(c)

145.4567

-

-

7.7591

11(a)

121.3436

157.0169

175.4727

6.0677

11(c)

98.5241

120.7252

171.0507

6.8438

傳統(tǒng)方法將整幅圖像灰度平均值作為反饋量，控制調(diào)光，在亮背景下，整體圖像灰度值適中時(shí)，得到的圖像中感興趣區(qū)域曝光不足，表現(xiàn)出此區(qū)域亮度偏低，圖像信息不完整，同時(shí)不適合人眼觀看；反之亦然。本文使用加權(quán)的灰度值作為反饋值，其中感興趣區(qū)域被賦予較大的權(quán)值，能夠改善傳統(tǒng)方法存在的問(wèn)題。在普通場(chǎng)景下能夠正確曝光，在此場(chǎng)景下灰度直方圖中不存在陡峭的峰值區(qū)域，不存在感興趣區(qū)域與不感興趣區(qū)域之分，表1中10(a)與10(c)無(wú)對(duì)應(yīng)數(shù)據(jù)。

表1為圖9、圖10和圖11的對(duì)比數(shù)據(jù)，從中可以看出，在亮背景下，感興趣區(qū)域的信息熵提高了15.8%，普通場(chǎng)景信息熵提高了5.5%，暗背景下感興趣區(qū)域的信息熵提高了12.8%。

5 結(jié)論

本文通過(guò)對(duì)圖像直方圖信息的分析，提出了一種針對(duì)復(fù)雜場(chǎng)景，尤其是背景與目標(biāo)亮度差別較大場(chǎng)景的自動(dòng)調(diào)光方法。本文方法首先根據(jù)圖像直方圖信息先進(jìn)行初調(diào)，使得圖像灰度直方圖兩側(cè)沒(méi)有溢出，保證曝光基本正常，然后劃分圖像的感興趣區(qū)域和不感興趣區(qū)域，將調(diào)光的重點(diǎn)放在感興趣區(qū)域上，減小了干擾點(diǎn)和無(wú)關(guān)背景區(qū)域?qū)φw灰度平均值的影響，從而改變曝光量，使得曝光更合理，提高了圖像質(zhì)量，尤其是圖像感興趣區(qū)域的圖像質(zhì)量。實(shí)驗(yàn)數(shù)據(jù)顯示此方法對(duì)背景與目標(biāo)灰度差別大的場(chǎng)景得到的圖像感興趣區(qū)域灰度適中，感興趣區(qū)域的信息熵提高了10%以上。隨著場(chǎng)景的變化，得到的感興趣區(qū)域也隨之變化，場(chǎng)景適應(yīng)性強(qiáng)，滿足航空攝像機(jī)對(duì)復(fù)雜場(chǎng)景自動(dòng)調(diào)光的需求。

[1] 陶會(huì)鋒, 楊華, 王一程, 等. 可調(diào)強(qiáng)光對(duì)可見(jiàn)光 CCD 攝像系統(tǒng)成像過(guò)程的干擾研究[J]. 紅外與激光工程, 2014, 43(5): 1605-1609.

TAO Huifeng, YANG Hua, WANG Yicheng,Study on interference to imaging process of visible CCD camera by adjustable light[J]., 2014, 43(5): 1605-1609.

[2] 黃輝. 可見(jiàn)光相機(jī)調(diào)光調(diào)焦圖像處理算法研究[D]. [碩士論文], 中國(guó)科學(xué)院光電技術(shù)研究所, 2014.

HUANG Hui. Research of automatic exposure and autofocus image processing algorithm for visible light camera[D]. [Master dissertation], Insititue of Optics and Electrics, Chinese Academy of Sciences, 2014.

[3] 郭惠楠. 彩色數(shù)字相機(jī)成像系統(tǒng)的關(guān)鍵性技術(shù)研究[D]. [博士論文], 中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所, 2014.

GUO Huinan. Research on key technology of digital camera imaging system[D]. [Ph.D dissertation], Xi’an Institute of Optics & Precision Mechanics, Chinese Academy of Sciences, 2014.

[4] LIANG Jiayi, QIN Yajie, and HONG Zhiliang. An auto- exposure algorithm for detecting high contrast lighting conditions[C]. 7th International Conference on ASIC, Gulin, China, 2007: 275-278. doi: 10.1109/ICASIC. 2007. 4415733.

[5] 楊作廷, 阮萍, 翟波. 基于圖像熵的高動(dòng)態(tài)范圍場(chǎng)景的自動(dòng)曝光算法[J]. 光子學(xué)報(bào), 2013, 42(6): 742-746. doi:10.3788/ gzxb20134206.0742.

YANG Zuoting, RUAN Ping, and ZHAI Bo. Auto-exposure algorithm for scenes with high dynamic range based on image entropy[J]., 2013, 42(6): 742-746. doi: 10.3788/gzxb20134206.0742.

[6] 王成艷, 劉晶紅, 楚廣生, 等. 圖像場(chǎng)景區(qū)分與航空攝像機(jī)自動(dòng)調(diào)光方法研究[J]. 液晶與顯示, 2013, 28(6): 948-954. doi:10. 3788/YJYXS2013 2806.0948.

WANG Chengyan, LIU Jinghong, CHU Guangsheng,Scene distinguish and aerial camera auto-dimming[J]., 2013, 28(6): 948-954. doi:10.3788/YJYXS2013 2806.0948.

[7] 周杰. 基于多區(qū)域分割及模糊邏輯的自動(dòng)曝光方法[D]. [碩士論文], 上海交通大學(xué), 2007.

ZHOU Jie. Auto-exposure method bases on image segmentations and fuzzy logic[D]. [Master dissertation], Shanghai Jiao Tong University, 2007.

[8] WANG Zefeng, YANG Lei, HUANG Jijiang,. The investigation of automatic exposure under extreme light[C]. The International Conference on Photonics and Optical Engineering (icPOE 2014), Xi’an, 2014, 94491W-1-94491W-5. doi: 10.1117/12.2074827.

[9] 楊海濤, 常義林, 王靜, 等. 一種基于亮度直方圖的自動(dòng)曝光控制方法[J]. 光學(xué)學(xué)報(bào), 2007, 27(5): 841-846.

YANG Haitao, CHANG Yilin, WANG Jing,. A new automatic exposure algorithm for video cameras using luminance histogram[J]., 2007, 27(5): 841-846.

[10] 劉志國(guó), 劉晶紅. 機(jī)載可見(jiàn)光攝像機(jī)調(diào)光方法研究[J]. 液晶與顯示, 2011, 26(2): 249-254. doi: 10.3788/YJYXS20112602. 0250.

LIU Zhiguo and LIU Jinghong. Automatic exposure algorithm for airborne visible light camera[J]., 2011, 26(2): 249-254. doi: 10.3788/ YJYXS20112602.0250.

[11] BüRKER M, R?BINGC, and LENSCH H P A. Exposure control for HDR video[J].,,, 2014, 9138(5): 1-12. doi: 10.1117/12.2051127.

[12] TORRES J and MENéNDEZ J M. Optimal camera exposure for video surveillance systems by predictive control of shutter speed, aperture and gain[J].-, 2015, 9400(S): 1-14. doi: 10.1117/12. 2083182.

[13] 郭惠楠, 曹劍中, 周祚峰, 等. 彩色數(shù)字相機(jī)快速自動(dòng)曝光方法[J]. 光學(xué)學(xué)報(bào), 2013, 33(10): 1011003-1-1011003-7. doi: 10.3788/AOS 201333.1011003.

GUO Huinan, CAO Jianzhong, ZHOU Zuofeng,. Fast automatic exposure approach for color digital camera[J]., 2013, 33(10): 1011003-1-1011003-7. doi: 10.3788/AOS201333.1011003.

[14] 焦繼超, 趙保軍, 唐林波, 等. 基于光照和幀間預(yù)測(cè)的空間圖像曝光控制算法[J]. 光學(xué)學(xué)報(bào), 2010, 30(2): 382-387. doi: 10.3788/AOS2010 3002.0382.

JIAO Jichao, ZHAO Baojun, TANG Linbo,Exposure algorithm for space image based on light and inter prediction[J]., 2010, 30(2): 382-387. doi: 10.3788/AOS20103002.0382.

[15] 張雷, 丁亞林, 張洪文, 等. 基于單簾快門(mén)的數(shù)字相機(jī)調(diào)光系統(tǒng)[J]. 光學(xué)精密工程, 2013, 21(5): 1265-1271. doi: 10.3788/ OPE.20132105. 1265.

ZHANG Lei, DING Yalin, ZHANG Hongwen,Adjustable exposure system for digital camera based on single curtain type shutter[J]., 2013, 21(5): 1265-1271. doi: 10.3788/OPE. 20132105.1265.

[16] 黃輝, 周進(jìn). 基于現(xiàn)場(chǎng)可編程門(mén)陣列的CCD相機(jī)自動(dòng)調(diào)光[J].光學(xué)精密工程, 2014, 22(2): 426-433. doi: 10.3788/OPE. 20142202.0426.

HUANG Hui and ZHOU Jin. Auto-exposure for CCD camera based on FPGA[J]., 2014, 22(2): 426-433. doi: 10.3788/OPE.20142202.0426.

[17] SHIM Inwook, LEE Joon-young, and KWEON Inso. Auto- adjusting camera exposure for outdoor robotics using gradient information[C]. 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2014), Chicago, 2014, 1011-1017. doi: 10.1109/IROS.2014.6942682.

[18] GONZALEZ R C and WOODS R E. Digital Image Processing[M]. Second Edition, Beijing, Publishing House of Electronics Industry, 2007: Second Chapter.

申小禾： 女，1990年生，博士生，主要從事航空可見(jiàn)光攝像機(jī)自動(dòng)調(diào)光方面的研究.

劉晶紅： 女，1967年生，研究員，博士生導(dǎo)師，主要從事機(jī)載光電成像與測(cè)量方面的研究.

Foundation Items: The National 863 Program of China (2008AA121803), Funds of Key Laboratory of Airborne Optical Imaging and Measurement, Chinese Academy of Sciences (2012MS06)

Auto Exposure Algorithm for Aerial Camera Based on Histogram Statistics Method

SHEN Xiaohe①②LIU Jinghong①CHU Guangsheng①

①(Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China)②(University of Chinese Academy of Sciences, Beijing 100049, China)

The aerial camera takes photographs from sky. Conventional auto exposure algorithms can not be suitable for some special scenes such as the background is bright or dark and few strong interference points exist. Unsuitable exposure causes information losing in images. In order to solve this problem, an algorithm based on gray value is proposed. Firstly, it regulates the exposure preliminarily using the information of the histogram near 0 and 255. Then it obtains the regions of no interest in the image through the convolution of the histogram and weighted different proportion for the regions according to their area in the entire image. Finally, the weighted average is computed, which is regarded as the feedback controlling exposure. Experimental results indicate that image entropy of regions of interest increased more than 10% in dark or bright background. This method is suitable for many scenes, and meets the demands of the aerial camera.

Image processing; Aerial camera; Histogram; Weighted average; Auto exposure

TP391.41

A

1009-5896(2016)03-0541-08

10.11999/JEIT150530

2015-05-06；改回日期：2015-12-02；網(wǎng)絡(luò)出版：2016-01-14

劉晶紅 liu1577@126.com

國(guó)家863高科技研究發(fā)展計(jì)劃(2008AA121803)，中國(guó)科學(xué)院航空光學(xué)成像與測(cè)量重點(diǎn)實(shí)驗(yàn)室基金(2012MS06)