王能

摘要 ：在煙霧視頻監(jiān)控技術(shù)中，針對(duì)煙霧識(shí)別算法中特征提取計(jì)算量大、特征選擇單一的問題，提出了一種基于關(guān)鍵幀與多特征融合的煙霧識(shí)別算法。首先結(jié)合主成分分析（PCA）和聚類算法對(duì)視頻進(jìn)行關(guān)鍵幀采樣，減少視頻幀間的冗余信息，然后建立煙霧視頻的靜態(tài)特征HOG、動(dòng)態(tài)特征LBP-TOP模型，將這兩種特征送入極限學(xué)習(xí)機(jī)（ELM）中進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，該算法能夠有效剔除視頻幀間的冗余圖像幀，提高了煙霧識(shí)別算法的正確率和識(shí)別效率。

關(guān)鍵詞 ：煙霧檢測(cè);主成分分析;極限學(xué)習(xí)機(jī);圖像識(shí)別

中圖分類號(hào)： TP18? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）21-0180-02

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

火在我們?nèi)祟惖纳钪袩o處不在，在帶給我經(jīng)濟(jì)效益的同時(shí)也帶了人生財(cái)產(chǎn)嚴(yán)重?fù)p失的問題。因此火災(zāi)的預(yù)防和報(bào)警受到多方重視[1，2]。傳統(tǒng)的火災(zāi)探測(cè)器是基于傳感器技術(shù)，火災(zāi)的漏報(bào)、誤報(bào)時(shí)有發(fā)生。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展和提高，基于視覺特征的火災(zāi)探測(cè)成為火災(zāi)監(jiān)測(cè)的重要研究方向。煙霧是火災(zāi)發(fā)生早期的主要特征，如果能采用視頻技術(shù)快速準(zhǔn)確的檢測(cè)到火災(zāi)煙霧，對(duì)于火災(zāi)的早期預(yù)警有著相當(dāng)重要的意義。

基于煙霧的視覺特征，研究人員已經(jīng)取得一些研究成果。Fujiwara等人[3]采用分形理論提取煙霧的自相似分形特征，在圖像中搜索煙霧目標(biāo)。ChenT H 等人[4]結(jié)合RGB顏色模型和 HIS 顏色模型中I分量進(jìn)行了火災(zāi)煙霧識(shí)別，其方法是基于火災(zāi)煙霧顏色一般為灰色。Yuan[5]提出了一種基于局部二值模式（LBP）和局部二值模式方差（LBPV）金字塔多尺度特征的煙霧檢測(cè)算法，實(shí)現(xiàn)基于紋理特征的煙霧檢測(cè)。Tung等人[6]提出一種4階段視頻煙霧檢測(cè)算法。但這些方法都具有一定的局限性，在復(fù)雜場(chǎng)所下檢測(cè)性能會(huì)有一定程度下降。

煙霧檢測(cè)是一個(gè)復(fù)雜的過程，針對(duì)視頻幀間存在大量冗余幀導(dǎo)致識(shí)別算法中提取特征計(jì)算量大的問題，提出一種基于關(guān)鍵幀與多特征融合的煙霧識(shí)別算法。為驗(yàn)證算法的有效性，利用真實(shí)煙霧視頻集對(duì)視頻煙霧識(shí)別算法進(jìn)行了驗(yàn)證，結(jié)果表明本文提出的基于關(guān)鍵幀與多特征融合的煙霧識(shí)別算法提高了煙霧識(shí)別的準(zhǔn)確率和擴(kuò)充了其適應(yīng)范圍。

1 算法綜述

首先采用自底向上的注意模型[3]，利用煙霧顏色分布規(guī)律采用非線性增強(qiáng)方法增強(qiáng)煙霧亮度圖像，得到煙霧顯著區(qū)域;接著利用Hornt-Schunck稀疏光流算法[8]計(jì)算出運(yùn)動(dòng)前景，排除疑似煙霧干擾物，進(jìn)行顯著圖的分割獲得完整的煙霧區(qū)域;然后提取視頻幀的顏色特征信息并運(yùn)用主成分分析法（PCA）處理圖像特征，降低特征維數(shù);最后結(jié)合PCA和聚類在煙霧視頻關(guān)鍵幀的基礎(chǔ)上分別提取煙霧視頻的靜態(tài)特征HOG和動(dòng)態(tài)特征LBP-TOP，將這兩種特征輸入極限學(xué)習(xí)機(jī)（ELM）進(jìn)行判別。

2 疑似煙霧提取

由于煙霧處于緩慢運(yùn)動(dòng)的狀態(tài)，顏色分布為灰白色到白色，使得分割及其困難。在視頻圖像處理中，用非線性增強(qiáng)方法減少煙霧的色彩分布不均勻性干擾，使變換后的圖像盡可能地抑制其他非煙霧區(qū)域。使用近似人類視覺的Lab顏色空間來描述視頻煙霧區(qū)域。該顏色空間模型由像素亮度 （L）和a、b倆顏色通道組成，L分量來描述視頻煙霧的細(xì)節(jié)。在實(shí)驗(yàn)過程中，圖像中一些灰度干涉也被加強(qiáng)。如圖1（b）中左上角與煙霧相似顏色區(qū)域也得到增強(qiáng)。為解決此問題，構(gòu)造運(yùn)動(dòng)能量估計(jì)函數(shù)[9]來判斷煙霧區(qū)域的可能性。

圖1展示了煙霧視頻的對(duì)比圖。相比與圖1（b）中的增強(qiáng)圖像，圖1（c）展示的運(yùn)動(dòng)能量圖，由于大部分靜態(tài)背景被抑制而顯然能更精確地顯示出煙霧區(qū)域。最后使用最大類間方差法[6]對(duì)原視頻圖1（a）進(jìn)行煙霧區(qū)域分割獲得可疑分割結(jié)果圖1（d）。顯然，分割結(jié)果圖在各種復(fù)雜背景下，均顯示了完整的煙霧區(qū)域。

3 基于PCA和聚類的關(guān)鍵幀提取

（1）幀信息提?。菏紫忍崛∫曨l幀的圖像特征作為重要分類依據(jù)，本文選用不受圖像旋轉(zhuǎn)和平移變化影響的顏色直方圖方法[11]獲取視頻幀的顏色特征。

（2）關(guān)鍵幀提?。涸讷@取視頻幀顏色特征信息后，運(yùn)用PCA主成分分析獲取圖像的主要特征降低特征維數(shù)，對(duì)PCA處理后的視頻幀用k均值聚類方法聚類。K均值聚類是從大量的數(shù)據(jù)對(duì)象中隨機(jī)選擇k個(gè)對(duì)象作為初始聚類中心，根據(jù)計(jì)算幀間的相似程度對(duì)數(shù)據(jù)對(duì)象進(jìn)行分類，最后選擇不同類別的類中心對(duì)應(yīng)的視頻幀作為該類別的關(guān)鍵幀。

（3）計(jì)算幀間視頻相似度：幀間相似度指兩個(gè)視頻幀的相似程度，其計(jì)算方法根據(jù)不同的處理對(duì)象而不同。本文中，利用歐氏距離表示兩個(gè)視頻幀之間的相似度。設(shè)PCA處理后的兩個(gè)視頻幀和，倆幀圖像的歐式距離為：

（4）視頻幀聚類：首先，獲取k幀圖像作為初始的聚類簇中心;其次，計(jì)算當(dāng)前幀[Xi]與k個(gè)聚類簇中心的歐式距離，求得最小距離Dmin，如果Dmin小于設(shè)定的閾值T，則判定該視頻幀屬于距離它最近的簇中心的類別，否則當(dāng)前幀[Xi]不屬于任何一個(gè)簇，而是單獨(dú)屬于一個(gè)簇。然后重新計(jì)算聚類簇中心。

基于多特征融合的煙霧識(shí)別

（1）—靜態(tài)特征提取

獲取煙霧視頻的m個(gè)關(guān)鍵幀[X′={X′1，X′2，...，X′m}]之和，采用加權(quán)的方式融合這m個(gè)關(guān)鍵幀的特征。需要利用PCA處理這些關(guān)鍵幀得到的特征值，由PCA選取主要特征的方式可得，特征值的大小決定其對(duì)應(yīng)的特征的重要程度，特征值越大，對(duì)應(yīng)特征越重要，因此求每個(gè)關(guān)鍵幀中的特征值之和[{λ′1，λ′2，...，λ′m}]，那么第i個(gè)關(guān)鍵幀[Xi′]對(duì)應(yīng)的權(quán)重為：

從這個(gè)權(quán)重計(jì)算公式可以看出來，關(guān)鍵幀[Xi′]的特征值[λi′]越大，也就是該關(guān)鍵幀包含的煙霧圖像信息越多，那么它所獲得的權(quán)值越大。求得關(guān)鍵幀對(duì)應(yīng)權(quán)值后，利用式 對(duì)這m個(gè)關(guān)鍵幀加權(quán)求和，那么第j段煙霧視頻得到的靜態(tài)特征[X″j]。

（2）動(dòng)態(tài)特征提取

由于只使用靜態(tài)特征無法全面準(zhǔn)確的描述煙霧信息，從而會(huì)影響最終煙霧識(shí)別效果。為此，本文引入動(dòng)態(tài)紋理特征來表述視頻中煙霧的動(dòng)態(tài)特性。

LBP-TOP 是 LBP 從二維空間到三維空間的拓展，在LBP-TOP中，引入了T這一變量，它存在有三個(gè)正交平面，即XY， XT 和 YT 三個(gè)方向是相互正交的。對(duì)于一段圖像序列來說，給出三個(gè)正交平面的紋理圖，XY 就是我們正常看到的圖像，XT 是每一行沿著時(shí)間軸掃描而過的紋理，YT 是每一列沿著時(shí)間軸掃描而過的圖像。簡單來說，我們可以在這三個(gè)平面都提取 LBP 特征，然后把三個(gè)平面的 LBP 特征連接起來，就是 LBP-TOP。 如圖2所示：

由于LBP-TOP在三個(gè)正交面上都提取了LBP特征，特征維數(shù)是只提取圖像LBP特征的三倍，這樣帶來了大量的計(jì)算量，因此，本文不再對(duì)視頻所有幀提取LBP-TOP特征，而是在獲取的關(guān)鍵幀基礎(chǔ)上來提取LBP-TOP特征，這樣不僅減少了計(jì)算的復(fù)雜度，而且保留了煙霧視頻中能表征煙霧特征的關(guān)鍵信息。

4 實(shí)驗(yàn)仿真與分析

本文在基于Matlab R2015b，IntelI CoreI i3-4170 CPU@3.70GHz 4.00GB RAM的實(shí)驗(yàn)環(huán)境進(jìn)行算法仿真。與傳統(tǒng)的煙霧識(shí)別算法HSV+ELM和HOG+SVM做對(duì)比，最后用靈敏度與準(zhǔn)確度來評(píng)價(jià)分類性能。實(shí)驗(yàn)對(duì)比結(jié)果如表1所示。

靈敏度（Se），反映了所有真實(shí)事件被正確檢測(cè)出來的比例。準(zhǔn)確度（Ac），反映了所有事件被正確檢測(cè)出來的比例。其公示表示如下：

其中，[TP]表示真陽性，即正確類別被正確地檢測(cè)的數(shù)量;[FP]表示假陽性，即其他類別被錯(cuò)誤檢測(cè)成指定類別的數(shù)量;[TN]表示真陰性，即其他類別被正確檢測(cè)的數(shù)量;[FN]表示假陰性，即指定類別被錯(cuò)誤檢測(cè)成其他類別的數(shù)量。

從表1實(shí)驗(yàn)結(jié)果上來看，本文用到的基于關(guān)鍵幀與多特征融合的煙霧識(shí)別算法相較于另兩種傳統(tǒng)的煙霧識(shí)別算法提高了煙霧圖像識(shí)別準(zhǔn)確率。雖然單一特征識(shí)別方法較本文用到的煙霧識(shí)別方法度快，但是煙霧圖像識(shí)別正確率不能滿足火災(zāi)檢測(cè)要求。本文方法由于提取的關(guān)鍵幀數(shù)量多帶來更多的計(jì)算量，因此關(guān)鍵幀個(gè)數(shù)的選擇根據(jù)具體應(yīng)用來選擇。

5 總結(jié)

火災(zāi)煙霧圖像識(shí)別問題一直是備受關(guān)注的熱點(diǎn)問題，針對(duì)目前煙霧識(shí)別算法特征選擇單一，選擇的特征維數(shù)過高導(dǎo)致大量的計(jì)算問題，提出了一種基于關(guān)鍵幀與多特征融合的煙霧識(shí)別算法，在結(jié)合PCA和聚類在煙霧視頻關(guān)鍵幀的基礎(chǔ)上分別提取煙霧視頻的靜態(tài)特征HOG和動(dòng)態(tài)特征LBP-TOP，將兩種特征送入ELM訓(xùn)練，用于煙霧識(shí)別。在收集整理的煙霧圖像集上，本文提出的算法能夠有效地提高圖像中煙霧檢測(cè)的準(zhǔn)確度，同時(shí)能夠較好滿足煙霧圖像實(shí)時(shí)性要求。

參考文獻(xiàn)：

[1] 桑培勇. 居民小區(qū)無線火災(zāi)報(bào)警系統(tǒng)的研究與設(shè)計(jì)[D].安徽理工大學(xué)，2014.

[2] Toulouse T， Rossi L， Celik T， et al. Automatic fire pixel detection using image processing： a comparative analysis of rule-based and machine learning-based methods[J]. Signal， Image and Video Processing， 2016， 10（4）：647-654.

[3] LI X， Research and Application of Several Key Technologies of Significance Object Detection Algorithms[D].University of Electronic Science and Technology，2018.

[4] Chen T H， Wu P H， Chiou Y C.An early fire-detection method based on image processing[C]//Proceedings of International Conference on Image Processing，2004（ICIP04）.[S.I]：IEEE，2004：1707-1710.

[5] 袁潔，袁偉，賈陽，等. 一種基于紋理特征的主動(dòng)紅外煙霧識(shí)別方法[J]. 安全與環(huán)境學(xué)報(bào)， 2015（8）.

[6] ?ETIN A E， DIMITROPOULOS K， GOUVERNEUR B， et al. Video fire detection–Review [J]. Digital Signal Processing， 2013， 23（6）： 1827-43.

[7] 蘭紅，周偉，齊彥麗.動(dòng)態(tài)背景下的稀疏光流目標(biāo)提取與跟蹤[J].中國圖象圖形學(xué)報(bào)，2016，21（06）：771-780.

[8] [62]Han F， Yao H F， Ling Q H. An improved evolutionary extreme learning machine based on particle swarm optimization[J]. Neurocomputing， 2013， 116：87-93.

【通聯(lián)編輯：唐一東】