林慶帆， 李釗杰， 劉 穎， 李 娜

(1.新加坡矽景有限公司， 新加坡 179098， 新加坡； 2.西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

監(jiān)控視頻圖像過曝光區(qū)域檢測(cè)

林慶帆1,2， 李釗杰2， 劉 穎2， 李 娜2

(1.新加坡矽景有限公司， 新加坡 179098， 新加坡； 2.西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

提出一種融合多種特征的圖像過曝光區(qū)域檢測(cè)算法。利用像素的亮度特征和顏色特征，并新引入亮顏特征和邊界鄰域特征來構(gòu)成特征向量，用L2正則化邏輯非線性回歸方法對(duì)訓(xùn)練樣本的特征向量進(jìn)行訓(xùn)練，得到最優(yōu)分類器模型。對(duì)實(shí)驗(yàn)圖像進(jìn)行過曝光區(qū)域檢測(cè)，結(jié)果顯示，相較于亮度閾值法和基于亮度和顏色特征的常規(guī)檢測(cè)方法，引入新特征后的改進(jìn)算法檢測(cè)出的過曝光范圍區(qū)域連通性更好。

過曝光檢測(cè);L2正則化邏輯非線性回歸; 連通性; 特征提取

監(jiān)控?cái)z像機(jī)在黑暗環(huán)境下拍攝的車輛圖像往往存在過曝光現(xiàn)象[1]，導(dǎo)致車牌等信息丟失。為了對(duì)過曝光問題進(jìn)行處理，通常的做法是先用HDR(High Dynamic Range)算法[2-4]獲取同一場(chǎng)景多幅不同曝光值的圖像，再利用圖像配準(zhǔn)技術(shù)[5]，使多幅圖像中的不同曝光值的同一像素得到配準(zhǔn)融合，最后再通過色調(diào)映射技術(shù)[6]將圖像映射到LDR(Low Dynamic Range)圖像。該做法需要多幅同一場(chǎng)景圖像[2,7]，攝取的HDR圖像中過曝光區(qū)域的信息還可能會(huì)丟失。

針對(duì)交通監(jiān)控中的過曝光問題，攝像機(jī)可根據(jù)車輛由遠(yuǎn)及近時(shí)所檢測(cè)到的過曝光程度適時(shí)調(diào)整光圈大小，從而在源頭上防止過曝光的產(chǎn)生，為此，實(shí)現(xiàn)攝像機(jī)所拍攝圖像中過曝光區(qū)域的檢測(cè)尤為關(guān)鍵。

對(duì)圖像過曝光區(qū)域的檢測(cè)方法有亮度閾值法和LC算法[1]。亮度閾值法的缺陷在于將非過曝光區(qū)域也檢測(cè)為過曝光區(qū)域，出現(xiàn)過度檢測(cè)的問題。LC算法檢測(cè)的過曝光點(diǎn)不夠集中，沒有形成整塊連通的過曝光區(qū)域，不利于監(jiān)控?cái)z像機(jī)對(duì)過曝光的檢測(cè)。

為克服上述方法中存在的問題，本文擬給出一種融合多種特征的L2正則化邏輯非線性回歸(FLA)算法，即引入圖像過曝光區(qū)域的亮顏特征和邊界鄰域特征，借助L2正則化邏輯非線性回歸算法，對(duì)過曝光圖像訓(xùn)練樣本進(jìn)行特征提取，并通過訓(xùn)練得到分類器模型，用以實(shí)現(xiàn)對(duì)圖像過曝光的檢測(cè)。

1 圖像過曝光檢測(cè)算法設(shè)計(jì)

對(duì)圖像中的過曝光區(qū)域進(jìn)行檢測(cè)，首先要對(duì)過曝光區(qū)域進(jìn)行特征提取，再對(duì)提取的特征訓(xùn)練并得到分類器模型，最后利用所給模型實(shí)現(xiàn)圖像過曝光檢測(cè)。具體算法設(shè)計(jì)分為兩部分。

第一部分是分類器訓(xùn)練算法，要求訓(xùn)練圖像中的每個(gè)像素點(diǎn)都已標(biāo)記，訓(xùn)練樣本由LC算法生成，并且訓(xùn)練樣本中過曝光點(diǎn)標(biāo)記為1，非過曝光點(diǎn)標(biāo)記為0。將輸入訓(xùn)練圖像轉(zhuǎn)換到CIE-Lab彩色空間[8]，分別生成輸入訓(xùn)練圖像的灰度信息L圖和顏色信息a圖和b圖，如圖1所示。提取特征并進(jìn)行歸一化處理，之后用L2正則化邏輯非線性回歸方法訓(xùn)練，得出分類器模型。算法流程如圖2所示。

圖1 RGB空間轉(zhuǎn)換為CIE-Lab空間

圖2 分類器訓(xùn)練算法流程

第二部分是利用第一部分求得的分類器模型對(duì)待檢測(cè)圖像中過曝光點(diǎn)和非過曝光點(diǎn)進(jìn)行分類，最終實(shí)現(xiàn)對(duì)圖像中過曝光區(qū)域的檢測(cè)。輸出的實(shí)驗(yàn)圖像結(jié)果圖中過曝光區(qū)域用黑色標(biāo)注，算法流程如圖3所示。

圖3 圖像過曝光檢測(cè)算法流程

1.1 特征提取

FLA算法涉及圖像像素點(diǎn)的4個(gè)特征：亮度特征、顏色特征[9]、亮顏特征和邊界鄰域特征。以L(i,j)表示像素點(diǎn)(i,j)的亮度特征值。顏色特征值表示為

C(i,j)=‖c(i,j)‖2。

其中‖·‖2表示2范數(shù)的平方，而

c(i,j)=[a(i,j),b(i,j)]T，

a(i,j)為該像素點(diǎn)的a顏色信息，b(i,j)為b顏色信息。

圖像的亮顏特征是基于像素點(diǎn)的顏色特征與亮度特征的乘積。圖像過曝光區(qū)域的特征不是亮度特征和顏色特征之間“或”的關(guān)系，而是兩個(gè)特征共同作用即“與”的關(guān)系，顏色特征與亮度特征的乘積正是“與”關(guān)系的體現(xiàn)，因此亮顏特征能更好地描述圖像過曝光區(qū)域特征。圖像中像素點(diǎn)(i,j)的亮顏特征為

F(i,j) =L(i,j)×C(i,j)。

圖像的邊界鄰域特征是基于某中心像素點(diǎn)鄰域內(nèi)各像素點(diǎn)(包括中心像素點(diǎn))亮度特征的平均值。根據(jù)韋伯定理[10]及人眼視覺習(xí)慣，過曝光區(qū)域呈區(qū)域性，單個(gè)過曝光像素點(diǎn)和非過曝光像素點(diǎn)不易被察覺，是無用信息。邊界鄰域特征可利用邊界的顏色特征消除單個(gè)過曝光點(diǎn)和非過曝光點(diǎn)，從而保證整個(gè)過曝光區(qū)域在人視覺感知上的整體性和緊湊性。

在鄰域窗口為3×3的情況下，設(shè)中心像素點(diǎn)P0的鄰域如圖4所示，則圖像邊界鄰域特征的提取可描述如下。

步驟1邊界顏色閾值設(shè)為T=60，計(jì)數(shù)器C初始值為0，P0的鄰域特征值(灰度值)V初始值設(shè)為0。鄰域像素點(diǎn)以Pi(i=1,2,…,8)表示。

步驟2若i<9，計(jì)算Pi的顏色信息a值和b值與中心像素點(diǎn)P0的a值和b值之差的絕對(duì)值之和，并記為D，執(zhí)行步驟3；否則，轉(zhuǎn)到步驟4。

步驟3若Pi的D值小于T，則令

V=V+L(Pi)，C=C+1，i=i+1。

其中L(Pi)是Pi的亮度特征值；若Pi的D值不小于T，僅令i=i+1。轉(zhuǎn)至步驟2。

步驟4取P0的邊界鄰域特征值為

P1P2P3P4P0P5P6P7P8

圖4 中心點(diǎn)及其鄰域

1.2 特征歸一化處理

FLA算法中4個(gè)特征指標(biāo)的量綱和數(shù)量級(jí)不同，直接利用原始特征數(shù)據(jù)進(jìn)行計(jì)算，就會(huì)過分突出量值特別大的特征，對(duì)分類造成影響[11]，為了充分利用各特征對(duì)分類的整體作用，有必要先對(duì)原始特征數(shù)據(jù)進(jìn)行歸一化處理。

假設(shè)基于像素點(diǎn)的特征向量

F=(f1,f2,f3,f4),

訓(xùn)練集中的像素點(diǎn)Qi(i=1,2,…,m)對(duì)應(yīng)的特征向量為

Fi=(fi,1,fi,2,fi,3,fi,4)。

對(duì)訓(xùn)練集中所有像素點(diǎn)的第j個(gè)特征分量

fj=(f1,j,f2,j, …,fm,j),

計(jì)算其均值

并按

對(duì)fi,j進(jìn)行歸一化。其中

1.3 分類器模型

用L2正則化邏輯回歸算法對(duì)歸一化后的特征值進(jìn)行訓(xùn)練。相比于邏輯回歸方法[12-13]，通過增加L2正則項(xiàng),可更精確地?cái)M合歸一化后的特征，從而解決過擬合問題，保證圖像過曝光區(qū)域4個(gè)特征的有效性[14]。通過訓(xùn)練求得L2正則化邏輯回歸算法對(duì)圖像過曝光區(qū)域檢測(cè)的分類器模型。

L2正則化邏輯回歸模型可以直接預(yù)測(cè)圖像中某像素點(diǎn)是否是過曝光點(diǎn)的發(fā)生概率?；貧w模型可表述為

回歸模型參數(shù)θ和輸入特征向量Xi分別為

θ=(θ0,θ1,θ2,θ3,θ4)T,
Xi=(1,xi1,xi2,xi3,xi4)T,

xij表示第i個(gè)像素點(diǎn)的第j個(gè)特征。

考慮圖像過曝光點(diǎn)的二值分類。設(shè)容量為m的訓(xùn)練樣本集

其中yi∈{0,1}為標(biāo)簽變量，當(dāng)yi=1時(shí)，相應(yīng)像素點(diǎn)為過曝光點(diǎn)，否則為非過曝光點(diǎn)。樣本隸屬于過曝光點(diǎn)的后驗(yàn)概率為

P{yi=1|Xi;θ}=hθ(Xi)。

為保證邏輯回歸模型代價(jià)函數(shù)是沒有局部最優(yōu)解的全局收斂凸函數(shù)，在代價(jià)函數(shù)中應(yīng)用對(duì)數(shù)似然函數(shù)，再根據(jù)Q去估計(jì)θ。

邏輯回歸模型代價(jià)函數(shù)為

為解決邏輯回歸模型對(duì)訓(xùn)練數(shù)據(jù)過擬合的問題，提高邏輯回歸模型的穩(wěn)定性，在上式中加入對(duì)邏輯回歸模型系數(shù)的懲罰項(xiàng)，得到L2正則化的邏輯回歸模型代價(jià)函數(shù)

其中λ為正則項(xiàng)因子，通過它控制對(duì)模型參數(shù)θ的懲罰力度，避免訓(xùn)練數(shù)據(jù)過擬合。

利用基于內(nèi)點(diǎn)映射牛頓理論[15]的優(yōu)化算法，使代價(jià)函數(shù)J(θ)全局收斂，求出最優(yōu)模型參數(shù)向量θ，得到分類回歸模型hθ(Xi)。當(dāng)hθ(Xi)>0.5時(shí)[16]，可以判別圖像中相應(yīng)像素點(diǎn)為過曝光點(diǎn)，否則為非過曝光點(diǎn)。

2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)用圖包括9幅白天圖片和7幅夜晚圖片，其中9幅白天圖片皆與文獻(xiàn)[1]所用相同。實(shí)驗(yàn)在Intel Core i3-2310M 2.1 GHz, 2GB, Windows 7, Matlab R2009a環(huán)境下進(jìn)行。

2.1 窗口實(shí)驗(yàn)

分別選取大小為3×3、5×5、7×7、9×9的窗口，觀察窗口大小對(duì)FLA算法的影響，并通過對(duì)比分析以獲得有利于檢測(cè)效果的量佳窗口。

取FLA算法的模型參數(shù)

θ= (0.3, 0.1, 0.2, 0.4, 0.5)T,

取正則項(xiàng)因子λ=1，訓(xùn)練樣本點(diǎn)全部選自白天圖片，總共樣本數(shù)為143 351個(gè)。隨機(jī)選出一幅圖片為例，其實(shí)驗(yàn)結(jié)果如圖5所示，圖中過曝光區(qū)域用黑色標(biāo)注。

圖5 窗口大小不同時(shí)的實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果顯示，當(dāng)窗口大小為5×5時(shí)，檢測(cè)出的過曝光檢測(cè)區(qū)域更加緊湊，形成整塊連通區(qū)域，并且單個(gè)無用的過曝光點(diǎn)被有效減少，檢測(cè)效果符合人眼的視覺習(xí)慣。在其他窗口下，圖像右下邊線圈中標(biāo)注的過曝光區(qū)域中有非過曝光區(qū)域沒有被標(biāo)注出來。當(dāng)窗口大小為5×5時(shí)，圖像右下邊線圈中的過曝光區(qū)域沒有包含非過曝光區(qū)域，其他過曝光區(qū)域中獨(dú)立的過曝光點(diǎn)或非過曝光點(diǎn)也被有效減少并形成整體，因此，F(xiàn)LA算法可考慮選擇5×5的窗口大小。

2.2 算法對(duì)比

對(duì)比分析FLA算法與亮度閾值法和LC算法的實(shí)驗(yàn)結(jié)果。FLA算法回歸模型參數(shù)θ及訓(xùn)練樣本與前述窗口實(shí)驗(yàn)相同，窗口大小選取5×5。

針對(duì)圖5(a)的實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 針對(duì)竹圖的3種算法對(duì)比

另一組實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 針對(duì)花圖的3種算法對(duì)比

實(shí)驗(yàn)顯示，F(xiàn)LA算法在正則項(xiàng)因子λ=14時(shí)的效果最佳，檢測(cè)到的過曝光區(qū)域既保持空間均勻性和整體性，也沒有出現(xiàn)過度標(biāo)注問題，而亮度閾值法則存在過度標(biāo)注的問題。另外，F(xiàn)LA算法能適應(yīng)不同場(chǎng)景和背景亮度的圖像，而亮度閾值法則需對(duì)每幅不同場(chǎng)景和背景亮度的圖像調(diào)整亮度閾值，操作繁瑣。

FLA算法在正則項(xiàng)因子λ=1時(shí)與與LC算法所檢測(cè)到的過曝光區(qū)域是一致的，不過在對(duì)多幅不同場(chǎng)景和背景亮度圖像進(jìn)行統(tǒng)一訓(xùn)練時(shí)，LC算法需要調(diào)整3個(gè)參數(shù)來判斷調(diào)整過曝光檢測(cè)效果，操作繁瑣不易掌握，而FLA算法只需調(diào)整正則項(xiàng)因子，操作相對(duì)簡(jiǎn)單。此外，當(dāng)正則項(xiàng)因子選取其他值時(shí)，F(xiàn)LA算法要優(yōu)于LC算法。

2.3 實(shí)際應(yīng)用

將FLA算法應(yīng)用于車輛過曝光檢測(cè)。取正則項(xiàng)因子λ=14，夜晚訓(xùn)練樣本點(diǎn)數(shù)共為3 353 856個(gè)。針對(duì)夜晚交通車輛過曝光檢測(cè)的實(shí)驗(yàn)結(jié)果如圖8所示，其中過曝光區(qū)域標(biāo)注為深灰色。

(a) 遠(yuǎn)距與近距原圖

(b) 過曝光區(qū)域標(biāo)注

實(shí)驗(yàn)結(jié)果顯示，F(xiàn)LA算法對(duì)夜晚車輛較遠(yuǎn)和較近時(shí)的過曝光現(xiàn)象檢測(cè)已基本實(shí)現(xiàn)，且對(duì)過曝光區(qū)域的整體性和緊湊性保持較好，獨(dú)立的過曝光或非過曝光點(diǎn)較少。

3 結(jié)語

融合亮度特征、顏色特征、亮顏特征以及邊界鄰域特征，基于L2正則化邏輯回歸，得出一種圖像過曝光檢測(cè)算法。該算法相比于亮度閾值法和LC算法，對(duì)圖像中同一塊過曝光區(qū)域的檢測(cè)能做到更加緊實(shí)，并形成連通整體性的過曝光檢測(cè)區(qū)域，單個(gè)無用的過曝光點(diǎn)更少，符合人眼對(duì)圖像過曝光區(qū)域的視覺感知，也有利于監(jiān)控?cái)z像機(jī)對(duì)過曝光現(xiàn)象的檢測(cè)。由于訓(xùn)練算法內(nèi)部實(shí)現(xiàn)復(fù)雜度較高，每次訓(xùn)練運(yùn)行時(shí)間較長(zhǎng)，因此分類器訓(xùn)練算法還需進(jìn)一步優(yōu)化。

[1] Guo Dong, Cheng Yuan, Zhuo Shaojie, et al. Correcting over-exposure in photographs[C]//Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco:IEEE,2010:515-521.

[2] Debevec P E, Malik J. Recovering high dynamic range radiance maps from photographs[C]//Proceedings of Computer Graphics Annual Conference: SIGGRAPH 97 Conference. Los Angeles: ACM Press, 1997:369-378.

[3] Kang S B, Uyttendaele M, Winder S, et al. High dynamic range video[J]. ACM Transactions on Graphics,2003,22(3):319-325.

[4] Heo Y S, Lee K M, Lee S U, et al. Ghost-free high dynamic range imaging[C]//Proceedings of 10th Asian Conference on Computer Vision. Queenstown: Springer Verlag, 2010: 486-500.

[5] Yao S.Robust subpixel image registration of different-exposed images[J].Electronics Letters,2010,46(18):1270-1271.

[6] Reinhard E, Stark M, Shirley P, et al. Photographic tone reproduction for digital images[J].ACM Transactions on Graphics,2002,21(3):267-276.

[7] Mertens T, Kautz J, Van R F. Exposure fusion[C]//Proceedings of 15th Pacific Conference on Computer Graphics and Applications. Maui HI:IEEE,2007:382-390.

[8] Gonzalez R C, Woods R E, Eddins S L. 數(shù)字圖像處理的MATLAB實(shí)現(xiàn)[M].2版.阮秋琦,譯.北京：清華大學(xué)出版社,2011：224-225.

[9] 劉穎,范九倫,李宗,等.現(xiàn)勘圖像數(shù)據(jù)庫(kù)檢索技術(shù)實(shí)例探討[J].西安郵電大學(xué)學(xué)報(bào),2015,20(3)：1-20.

[10] 胡安洲.主客觀一致的圖像感知質(zhì)量評(píng)價(jià)方法研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué),2014:30-32.

[11] 王麗亞.圖像的特征提取和分類[D].西安：西安電子科技大學(xué),2006:5-8.

[12] 許金鳳.L1正則化logistic回歸在財(cái)務(wù)預(yù)警模型中的應(yīng)用[D].南昌：華東交通大學(xué),2010:16-21.

[13] 劉遵雄,鄭淑娟,秦賓,等.L1正則化Logistic回歸在財(cái)務(wù)預(yù)警中的應(yīng)用[J].經(jīng)濟(jì)學(xué),2012,29(2)：107-110.

[14] 趙謙,孟德宇,徐宗本.L_(1/2)正則化Logistic回歸[J].模式識(shí)別與人工智能,2012,25(5):722-728.

[15] Coleman T F, Li Y. On the convergence of reflective Newton methods for large-scale nonlinear minimization subject to bounds[J]. Mathematical Programming,1994,67(2):189-224.

[16] Andrew Y N. L1vs. L2regularization, and rotateonal invariance[C]//Proceedings of the 21th International Conference on Machine Learning. Banff: ACM Press, 2004:934-941.

[責(zé)任編輯:瑞金]

Over-exposed region detection in surveillance video

LIN Qingfan1,2, LI Zhaojie2, LIU Ying2, LI Na2

(1.Siliconvision Private Limited, Singapore 179098, Singapore;2.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

An over-exposed region detection learning algorithm which uses multiple image features is proposed in this paper. In this algorithm pixel’s brightness and color features, as well as novel features of light-chrominance and boundary neighborhood are used to construct the feature vector. TheL2regularized logistic regression method is used to obtain the optimal classifier model. Experimental results show that compared to the direct intensity threshold method and other method based on brightness and color features, the detected over-exposed regions by the proposed algorithm are better in terms of regions connectivity.

over-exposed region detection,L2regularized logistic regression, connectivity, feature extraction

2015-01-08

國(guó)家自然科學(xué)基金資助項(xiàng)目(61202183);陜西省國(guó)際科技合作計(jì)劃資助項(xiàng)目(2013KW04-05);陜西省國(guó)際科技合作與交流計(jì)劃資助項(xiàng)目(2015KW-014)

林慶帆(1969-)，男，博士，教授，從事視頻編解碼研究。E-mail:linqingfan@yahoo.com.sg李釗杰(1991-)，男，碩士研究生，研究方向?yàn)殡娮优c通信工程。E-mail: 1220356492@qq.com

10.13682/j.issn.2095-6533.2015.06.002

TP391

A

2095-6533(2015)06-0005-05