蔣先剛 張盼盼 范自柱

(華東交通大學理學院, 南昌, 330013)

火焰顏色及動態(tài)特征的選擇和探測方法

蔣先剛 張盼盼 范自柱

(華東交通大學理學院, 南昌, 330013)

在一般光照前提下對火焰的時空、顏色等特征進行選擇時,為了找到適應火焰區(qū)域探測的最佳特征，在不同顏色特征中使用PCA特征選擇方法對各顏色通道特征進行降維,然后使用Relief特征選擇方法確定動態(tài)和顏色特征的最佳分類組合特征順序，最后使用協(xié)方差矩陣對各特征的分類貢獻效率進行驗證。實驗過程中為了比較分析采用了3組融合特征，實驗結果表明通過Relief和PCA特征選擇方法得到的融合特征在火災監(jiān)控系統(tǒng)中表現(xiàn)出較好的識別精度和較高的運行效率。

彩色空間模型；火焰探測；Relief特征選擇；協(xié)方差算子

引 言

森林火災會對森林造成巨大的破壞，隨著計算機技術的不斷發(fā)展，基于圖像視覺的火災探測技術逐步得到應用[1]?；谝曨l圖像的火焰自動檢測是預防火災經(jīng)濟有用的方法?；诨鹧骖伾目勺冃?，使用合理的彩色模型來定義其顏色特征顯得很重要?；鹧娴奶綔y方法中已有成功使用RGB，YUV,CIE Lab,HSV,HIS和CMYK等顏色特征[2]的實例。用動態(tài)特征(使用背景減法確定)和顏色特征對火焰區(qū)域進行分析也是一種行之有效的方法。為達到火災探測目的，B.Ugur Toreyin等[3]提出使用隱馬爾可夫模型構造火焰模型，但是初級的模型構造較耗時，不適合視頻火災探測。文獻[4]試驗了用機器學習和協(xié)方差矩陣的方法探測火災技術，但考慮到協(xié)方差特征的選擇對后面的試驗結果產(chǎn)生了比較大的影響，仍需選擇能較好分辨火焰和非火焰區(qū)域的特征。Miranda[5]在火焰探測中使用特征選擇并獲得了很好的效果，但并沒有進行分類識別試驗。因為火焰與非火焰區(qū)域顏色特征的不確定性，所以采用合理的特征選擇方法得到較優(yōu)的分類特征組合對最后的分類顯得尤為重要。為了提高火焰歸類模型的適應性，本文主要研究在多種顏色空間的顏色通道信息和動態(tài)模型下運動特征的選擇方法，最后獲得用較少的特征集獲取較高的識別率和更少的誤識率的結果。

1 火焰特征提取方法

1.1 圖像顏色空間和動態(tài)屬性各分量分布

圖1(a)為含白色天空、偏黃色地面、暗綠色樹林、草地和包含火焰區(qū)域的野外視界圖像，該圖像包含火焰正樣本和非火焰負樣本兩部分，它們在不同的彩色模型空間具備不同的可區(qū)分度。彩色模型主要包括RGB彩色空間、yCrCb空間、HSV空間和CYMK空間[6]，圖1(b～l)為各顏色空間中顏色特征分量分布，從圖中可以看出，HSV顏色空間的S和V通道對火焰區(qū)域具備較好的區(qū)分性，CYMK的M，Y和yCrCb彩色空間的Cr和Cb分量能對火焰區(qū)域表達出特異性，圖1(m)反映空域在X方向的變化性，圖1(n)反映區(qū)域在時序上的變化性。

圖1 視頻圖像中各顏色與動態(tài)特征分量圖像構成Fig.1 Feature vector distribution of a video frame image

在顏色和運動特征選擇過程中，樣本如果處于兩類超邊界上，則具備比其他樣本更高的特征空間可分性，且會使數(shù)據(jù)平衡性和對稱性更好。

1.2 各顏色空間各通道特征的PCA變換方法

將圖像在各顏色空間的多個顏色通道進行主成分分析，選取和獲得最具分辨力的3個主要顏色通道，可實現(xiàn)特征間的更佳線性結合。如對RGB空間各變量、HSV空間各通道，CYMK空間各分量等采用PCA算法提取的主成分顏色通道信息提取過程如下。

獲取圖像中的R，G，B；Y，M，K；H，S，V和y，Cr，Cb通道數(shù)據(jù)，按此順序分別將每個通道數(shù)據(jù)按列排列方式形成歸一化處理的數(shù)據(jù)，由其中m行和n列的圖像轉換為圖像矩陣變?yōu)镮，I=[I1,I2,…，I12]mn，計算I的協(xié)方差矩陣，并求其特征值λi和特征向量ωi，得到的特征值為(0.009，0.003，0.008，4.160，6.471，1.4E-16，0，0.108，1.156，0.0005，0.081，0.001)，這反映對原包含火焰區(qū)域圖像本質的體現(xiàn)程度，數(shù)據(jù)說明M，Y，V和S分量對圖像具備更強的表現(xiàn)力[5]，Cr比Cb具備更大的區(qū)分性，而K，H具備較少的可區(qū)分性。如篩選出λi中3個較大特征值作為主要特征值，將其與相應主成分顏色通道分量相乘取平均值，從而得到PCA融合圖像:IPCA=(λ5M+λ4Y+λ9V)/3，PC1分量圖基本表達了PCA融合圖像的主要結構和亮度分布，火焰區(qū)域的PC1和PC2包含亮度分布的V以外，還包含紅色和藍色變化分布M，K，這使得火焰區(qū)域的PC1和PC2更大。對圖像1(a)進行PCA變換，得到由與前4個主元PC1～PC4對應的較大特征分量構成的變換函數(shù)關系為

(1)

圖1(k)、圖1(l)顯示式(1)的PCA融合IPCA和PC1能反映圖像的基本亮度區(qū)別。圖2為原始圖像中正(實線) 樣本(像素)、負(虛線) 樣本(像素)取直方圖的分布比較，X軸為特征值范圍(0到1)，Y軸為像素數(shù)量(3 000)，所有數(shù)據(jù)都采用歸一化處理，正負樣本在第一主元PC1，?tI、CYMK空間的Y和M都很好地呈現(xiàn)出峰值交錯的雙峰分布，這表明這些特征對正負樣本具備很好的可區(qū)分性，反之H和R特征不具備峰值交錯的雙峰分布，它們基本沒有區(qū)分性。

圖2 正負樣本不同特征的直方圖分布Fig.2 Histogram of different features of the positive and negative sample

在RGB空間中，圖3分別表示正(綠色球表示)、負(黑色球表示)樣本在不同投影平面的分布, 這些圖表明在RGB空間的各分量線性相關，正負樣本在空間分布和各特征投影上都有一定的重疊性，聚類中心與類內(nèi)各樣本的分布較分散。在主元空間中，圖3(e)，(f)，(g)和(h)表明各類樣本在各個平面上的分布，主元各變量由式(1)的前3個主元構成計算得到，用藍色表示正樣本分布而紅色表示負樣本分布。從圖3(h)可見樣本在PC1上具備更大的可分析性，將PC2_PC3平面上類似直線的藍紅區(qū)域向與之垂直的PC1上延展樣本分布，即PC1實際上基本反映了正、負樣本的分布和類型區(qū)別，各聚類中心與類內(nèi)各樣本的分布都比較集中。圖2的原始樣本散布曲線和圖3的各顏色通道的分布情況基本一致，Relief特征選擇方法可以得到相同的結果。

圖3 正負樣本在不同變換空間的分布Fig.3 Sample distribution under different transformation spaces

1.3 基于Relief的特征區(qū)分性序列的產(chǎn)生方法

用Relief算法可保留對火焰的正確判斷起到關鍵作用的幾個奇異性特征，并去除與分類不相關的干擾因素。Relief算法可以為各個特征賦予相對應的權重，最后對權重進行排序，權重大的特征對最后分類越有利?；驹硎鞘紫葧τ柧殬颖具M行標識類別；每次從一類中隨機選取一個樣本R，從該類的樣本訓練集中選出近鄰樣本k個，然后從不同類的樣本訓練集中也選出k個近鄰樣本，一般情況下取k=3～5，按式(2)更新每個特征的權重[7]。

(2)

式(2)中的第2個分項是兩個樣本R1和R2在特征fi上的差，即式(3)，Hj(C)表示和R同類的第j個樣本，Mi(C)表示在不同類中的第j個樣本。

(3)

對類似于圖1(a)的20張野火區(qū)域圖像取均值計算統(tǒng)計，通過人工和計算機分割可得到火焰正樣本和非火焰負樣本兩大類像素集，對這些已標注像素集的各特征經(jīng)Relief算法計算而得到對火焰區(qū)域分類貢獻的序列如表1所示。

由表1可知，PCA的第一主分量能很好地表達火焰區(qū)域顏色特征，HSV顏色空間的各通道線性無關，通道V能表現(xiàn)出火焰區(qū)域的差異性。前9個特征首先被選擇，從16號特征起，權重開始特別小。雖然組成火焰的像素顏色都偏紅色，PC1的權重大小表明特征G分量與PCA第一主元相關性更大。Y,M分量具備對火焰區(qū)域的差異性呈現(xiàn)，故其權重較大，火焰區(qū)域的空域變化程度由兩個方向的一階導數(shù)確定，具備一定的重要性。?tI表示幀間積累的亮度變化值，這確定了火焰區(qū)域的時域動態(tài)性。

表1 火焰顏色和運動各特征重要性序列

1.4 動態(tài)特征的選擇

火焰的顏色特征和動態(tài)特征的融合特征能很好地反映火焰的特異性。為了得到動態(tài)特征，本文采用幀間差分方法。如圖1(m)中的Ix(x,y,i)顯示區(qū)域在空域X向的邊緣特性，采用圖1(n)中的?tI表示亮度在幀間的時頻動態(tài)特性。

1.5 基于協(xié)方差的特征相關性驗證和特征組合

協(xié)方差矩陣表達火焰的顏色和動態(tài)特征。每兩個特征間的關聯(lián)情況表現(xiàn)在非對角線上的元素[8-9]，每個特征方差大小在對角線上。圖4為正負樣本各特征協(xié)方差算子的比較圖[10]，其中圖4(a)，(b)為包括含運動火焰區(qū)域的協(xié)方差矩陣分布，圖4(c)，(d)含輕微運動的非火焰區(qū)域的協(xié)方差矩陣分布。

圖4 基于空域和時域特征的火焰和非火焰區(qū)域協(xié)方差的分布與比較Fig.4 Distribution and comparison diagram of the covariance operator of spatial and temporal feature of flame and non-flame

火焰區(qū)域幀間運動的?tI方差值都中等偏大，反映空域變化的Ix，Iy方差及與?tI的相關各值也都中等偏大，Cr具備較大的方差，M方差值及與?tI的相關值都比較大?；鹧婧头腔鹧鎱^(qū)域的R，G，B和H分量的協(xié)方差算子差別不大?；鹧鎱^(qū)域的協(xié)方差算子的這些特征表現(xiàn)都與PCA方法和Relief方法得到的分析基本一致。通過采用協(xié)方差矩陣左上角算子組成特征集，經(jīng)過支持向量機(Support vector machine, SVM)訓練，構成分類器模型。

2 基于特征組合的火焰區(qū)域探測實驗和分析

火焰特征分析和探測系統(tǒng)的軟件開發(fā)環(huán)境為Delphi 7,火焰探測實驗的相關視頻圖像選自于網(wǎng)站http://signal.ee.bilkent.edu.tr/VisiFire/和來自森林火災監(jiān)控現(xiàn)場的視頻。為了比較分析而采用3組融合特征，Φ1組合引入了通常采用的RGB顏色空間和分類貢獻權重較小的H特征，Φ2組合在Φ1的基礎上引入對火焰分類貢獻權重處于前面的飽和度S取代色度H，Φ3則兼顧了CYMK空間的M分量，HSV空間的V分量，主分量分析的第一主分量PC1， 和對火焰區(qū)域有特異性表達的yCrCb空間的Cr分量。

(4)

(5)

(6)

整個區(qū)域首先用初選方法檢索出候選窗口區(qū)域，即按式(7～9)分析出基本包含火焰顏色和運動像素的時空塊[11]。

(7)

(8)

(9)

式中：M,N為搜索區(qū)域的長寬，k為時空塊中的幀數(shù)，當運動塊的運動像素累計達到一定閥值時則被選擇為候選火災區(qū)域。表2給出了采用不同特征組合和分類方法時火焰識別率和檢測時間性能的比較結果[12]。圖5的第一列為是野外火焰的原圖，圖5(b)為在時頻上變化且呈紅色色調的候選火災區(qū)域，圖5(c)為特征序列Φ1+SVM的探測結果，圖5(d)為Φ3+SVM的探測結果，這說明Φ3特征組合能更加體現(xiàn)出顏色和運動特征，明顯減少了火焰區(qū)域的誤識率。

圖5 采用顏色與動態(tài)特征組合的火焰區(qū)域檢測的結果Fig.5 Detected flame region results by using color and dynamic feature assemble

特征組合與分類正檢率幀/%誤檢率幀/%運行時間/s(每100幀)不加遴選加遴選SVM-RBF+Φ192.10.095.31.71SVM-RBF+Φ297.20.045.21.73SVM-RBF+Φ399.80.0122.310.20

3 結束語

在火焰的檢測過程中，顏色和動態(tài)特征組合對測試結果有很重要的作用，其特征的原始數(shù)據(jù)分布、Relief計算和主元分析都反映了各個特征對區(qū)域檢測分類貢獻的基本一致性，協(xié)方差算子作為全局性分布特性的綜合描述，它既可用來檢驗各特征對分類的作用，也可直接作為集成的融合特征，通過特征空間變換和合理選擇方法得到的特征具備良好而快捷的表達性，應用本文提出的特征組合方法的火焰探測系統(tǒng)具備較高的魯棒性和實時性。

[1] 蔣先剛，丘赟立，熊娟.基于CMYK空間的火災區(qū)域粒子群優(yōu)化快速定位方法[J].數(shù)據(jù)采集與處理,2013,28(3),324-329.

Jiang Xiangang,Qiu Yunli,Xiong Juan.Fast flame region orientation method based on CMYK color space via particle swarm optimization[J].Journal of Data Acquisition and Processing, 2013,28(3),324-329.

[2] Yu Chunyu, Fang Jun, Wang Jinjun, et al. Video fire smoke detection using motion and color features[J]. Fire Technology,2010,46(3):651-663.

[3] Toreyin B U, Dedeoglu Y, Cetin A E. Flame detection in video using hidden Markov models[C]∥ Proceedings of the IEEE International Conference on Image Processing (ICIP)．[S.l.]：IEEE，2005:1230-1233.

[4] Habiboglu Y H, Gunay O, Cetin A E. Real-time wildfire detection using correlation descriptors[C]∥19th European Signal Processing Conference． Barcelona, Spain：[s.n.], 2011, 894- 898.

[5] Miranda G, Lisboa A， Vieira D, et al. Color feature selection for smoke detection in videos [C]∥Industrial Informatics (INDIN), 12th IEEE International Conference. Porto Aleger:[s.n.]，2014,31-36.

[6] Celik T, Demirel H. Fire detection in video sequences using a generic color model[J]. Fire Safety Journal,2009,44(2):147-158.

[7] 王露，龔光紅.基于ReliefF+MRMR特征降維算法的多特征遙感圖像分類[J].中國體視學與圖像分析,2014,19(3):250-255.

Wang Lu, Gong Guanghong.Multiple features remote sensing image classification based on combining ReliefF and mRMR[J]. Chinese Journal of Stereology and Image Analysis,2014,19(3):250-255.

[8] Tuzel O, Porikli F,Meer P.Region covarianee: A fast descriptor for detection and classification [C]∥Proceeding of 9th European Conference on Computer Vision． Graz,Austria：[s.n.]，2006,589-600.

[9] Porikli F, Tuzel O, Meer P. Covariance tracking using model update based on lie algebra[C]∥ IEEE Conference on Computer Vision and Pattern Recognition. New York:[s.n.],2006,728-735.

[10] Angayarkkani K, Radhakrishnan N. An intelligent system for effective forest fire [J]. International Journal of Computer Science and Information Security, 2010, 7 (1): 202-208.

[11] Byoung C K. Wildfire smoke detection using temporal-spatial features and random forest classifiers[J]. Optical Engineering,2012,51(1):61-68.

[12] Ha C, Jeon G, Jeong J. Vision-based smoke detection algorithm for early fire recognition in digital video recording system[C]∥Proceedings of International Conference on Signal-Image Technology and Internet-based Systems. Dijon,French：IEEE Computer Society Press, 2011, 209-212.

Feature Selection and Flame Detection Method Based on Color and Motion in Video

Jiang Xiangang, Zhang Panpan, Fan Zizhu

(School of Science,East China Jiaotong University, Nanchang, 330013, China)

When selecting method of flame′s colors and spatial-temporal features in general illumination in order to find the best feature adapting to the detection of the flame area, PCA feature selection method is used to reduce characteristics of each color channel in different color characteristics. The Relief feature selection method is used to determine the optimal classification for these candidate color and moving subsets. Moreover, contribution ratio of discrimination of all selected colors and moving features is validated by covariance matrix. In the course of the experiment, three sets of fusion features are used for analysis. Experimental results show that the flame detection system based on selected color and moving feature has higher accuracy and recognition efficacy.

color space model; flame detection; Relief feature selection; covariance matrix

國家自然科學基金(61262031,61263032)資助項目。

2015-09-09；

2016-01-13

TP391.41

A

蔣先剛(1958-)，男，教授，研究方向：數(shù)字圖像處理與模式識別，電子郵箱：jxg_2@tom.com。

張盼盼(1990-)，女，碩士研究生，研究方向：數(shù)字圖像處理與模式識別。

范自柱(1975-)，男，副教授，研究方向：數(shù)字圖像處理與模式識別。