曹毅超 吳澤鵬 周宇飛 魏書精 封曉強(qiáng)

（1.南京恩博科技有限公司，江蘇 南京 210007； 2.廣東省森林培育與保護(hù)利用重點(diǎn)實(shí)驗(yàn)室/廣東省林業(yè)科學(xué)研究院， 廣東 廣州 510520）

圖1 林火視頻監(jiān)控系統(tǒng)捕獲到的典型早期森林火災(zāi)圖像Fig.1 Typical early forest fire image from forest fire video surveillance

森林火災(zāi)是一種突發(fā)性強(qiáng)、破壞性高、處置困難的自然災(zāi)害。近年來(lái)，受全球氣候變化與人類活動(dòng)的影響，森林防火行業(yè)面臨著愈發(fā)嚴(yán)峻的考驗(yàn)，對(duì)森林火災(zāi)識(shí)別技術(shù)提出了新的需求與挑戰(zhàn)[1-3]。基于林火視頻監(jiān)控系統(tǒng)的火災(zāi)監(jiān)測(cè)方式以其報(bào)警時(shí)效性強(qiáng)、穩(wěn)定可靠、信息靈活多樣等獨(dú)特的優(yōu)勢(shì)，在森林火災(zāi)檢測(cè)中占據(jù)著重要的位置。林火視頻監(jiān)控系統(tǒng)涉及了計(jì)算機(jī)視覺、嵌入式、模式識(shí)別等技術(shù)[4-5]。近年來(lái)，隨著大數(shù)據(jù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)為代表的人工智能技術(shù)在語(yǔ)音識(shí)別、計(jì)算機(jī)視覺、推薦系統(tǒng)等領(lǐng)域得到成功應(yīng)用，人工智能在算法、模型、架構(gòu)等方面取得了巨大進(jìn)展。以深度學(xué)習(xí)為代表的人工智能技術(shù)也為森林火災(zāi)識(shí)別提供了新的思路。作為林火視頻監(jiān)控系統(tǒng)核心構(gòu)件的森林火災(zāi)識(shí)別算法近年來(lái)受到研究人員的廣泛關(guān)注[6]。

云臺(tái)相機(jī)非常適合大面積監(jiān)控，它們可以被設(shè)置為自動(dòng)巡檢模式中，自動(dòng)掃描識(shí)別預(yù)定的位置。本文提出了一種利用云臺(tái)攝像機(jī)檢測(cè)森林火災(zāi)的新方法。圖1 顯示了由林火視頻監(jiān)控相機(jī)捕獲的典型森林火災(zāi)初期煙霧的圖片。早期森林火災(zāi)由于樹木遮擋和地形緣故，通常以煙霧為主要特征。因此，森林火災(zāi)監(jiān)測(cè)系統(tǒng)的核心是對(duì)燃燒造成的煙霧進(jìn)行識(shí)別。針對(duì)煙霧的識(shí)別，研究人員已經(jīng)做了大量的嘗試，研究重點(diǎn)在于描述煙霧的特征。

現(xiàn)有的煙霧探測(cè)方法可分為兩類：基于圖像的煙霧探測(cè)[7-9]和基于視頻的煙霧探測(cè)[10-11]。一般的煙霧檢測(cè)算法通常結(jié)合運(yùn)動(dòng)檢測(cè)、特征提取和分類方法?；趫D像的煙霧檢測(cè)方法通常在幀間信息上是獨(dú)立的，即不會(huì)利用上下文信息?；谝曨l的方法通常不僅分析單幀圖像的空間特征，而且提取幀間的時(shí)間特征。在某些場(chǎng)景下，我們很難得到穩(wěn)定可靠的連續(xù)圖像序列，這時(shí)候基于單幀的檢測(cè)方法是一種很好的選擇。Tian 等人[7]最近提出用凸優(yōu)化的方法對(duì)圖像子塊進(jìn)行分類。Yuan 等人[12]提出了一種融合三種直方圖特征和四種密度特征的雙映射框架，將邊緣方向直方圖、邊緣強(qiáng)度直方圖和LBP 直方圖、邊緣強(qiáng)度分布密度、LBP 位密度、顏色密度和飽和度密度等特征結(jié)合起來(lái)進(jìn)行煙霧檢測(cè)。Yuan 等人[9],也提出了一種結(jié)合LBP 特征、KPCA 和GPR 的煙霧檢測(cè)方法進(jìn)一步以提高識(shí)別模型的魯棒性。李巨虎等人[13]采用分塊LBP 直方圖特征結(jié)合LPQ 直方圖直方圖特征，來(lái)降低森林火災(zāi)識(shí)別的誤報(bào)率。近年來(lái)，深度學(xué)習(xí)在圖像分類和目標(biāo)檢測(cè)方面取得了巨大的成功，也有研究人員嘗試使用深度歸一化卷積神經(jīng)網(wǎng)絡(luò)（DNCNN）來(lái)實(shí)現(xiàn)特征的自動(dòng)提取和分類[8]。然而，運(yùn)動(dòng)特征是煙火的本質(zhì)特征之一。當(dāng)人眼從視頻中分辨煙霧時(shí)，動(dòng)態(tài)特征往往被用作關(guān)鍵的參考信息。如果能夠有效利用視頻序列中的煙火動(dòng)態(tài)特征信息，將有助于進(jìn)一步提升模型精度。Dimitropoulos 等人[9]提出了一種用于多維動(dòng)態(tài)紋理分析的高階線性動(dòng)力系統(tǒng)（H-LDS）描述方法。也有研究者將深度學(xué)習(xí)應(yīng)用到森林煙火檢測(cè)中。Lin 等人[11]提出了一種基于Faster RCNN[13]和3DCNN[15]的檢測(cè)框架。然而，該算法因?yàn)橛?jì)算量較大，實(shí)際應(yīng)用的成本較高。

本文的研究重點(diǎn)在于候選序列的分類。主要?jiǎng)?chuàng)新點(diǎn)如下：本文提出一種用于森林火災(zāi)識(shí)別的深度學(xué)習(xí)序列框架；本文采用了基于塊的檢測(cè)方案，使用卷積神經(jīng)對(duì)候選塊提取空間特征，使用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)序列提取動(dòng)態(tài)特征；通過(guò)在大量實(shí)際監(jiān)控視頻數(shù)據(jù)集上的對(duì)比測(cè)試，證明了本文提出的方法取得了最好的識(shí)別精度和魯棒性。

1 研究方法及流程

本文使用前景檢測(cè)算法從視頻中提取運(yùn)動(dòng)區(qū)域的序列,為了擴(kuò)大煙霧的識(shí)別范圍（有效地獲取運(yùn)動(dòng)像素周圍的參考信息）和定位，本文采用了基于塊的檢測(cè)方案。針對(duì)森林火災(zāi)煙霧識(shí)別中的候選圖像序列分類問(wèn)題，提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的森林火災(zāi)識(shí)別方法。圖2 展示了本文方法的流程圖。

圖2 識(shí)別方法流程Fig.2 Flow chart of the proposed method

本文所提出的識(shí)別模型框架如圖3 所示，其包括靜態(tài)特征提取網(wǎng)絡(luò)和時(shí)序網(wǎng)絡(luò)兩部分，其中時(shí)序網(wǎng)絡(luò)通過(guò)循環(huán)神經(jīng)單元進(jìn)行構(gòu)建。其中空間特征提取網(wǎng)絡(luò)依次提取單幀圖像的空間特征，時(shí)序網(wǎng)絡(luò)從時(shí)間域?qū)臻g特征進(jìn)行融合，學(xué)習(xí)輸入序列的動(dòng)態(tài)特征，最終對(duì)輸入序列做出分類。

1.1 空間特征提取網(wǎng)絡(luò)

CNN 已經(jīng)在多種計(jì)算機(jī)視覺任務(wù)中取得了優(yōu)異的成績(jī)。其中Inception 是常用的通用主干模型[16]。研究人員后續(xù)還提出了改進(jìn)的Inception V2[16]和Inception V3[18]。本文中使用在ImageNet上預(yù)訓(xùn)練的Inception V3 作為主干網(wǎng)絡(luò)，進(jìn)行空間特征的提取。Inception V3 是一個(gè)精心設(shè)計(jì)的網(wǎng)絡(luò)模型，其中將5×5 卷積分解為兩個(gè)3×3 卷積運(yùn)算，以提高計(jì)算速度；并且將N×N 卷積分解為1×N 和N×1 卷積的組合，將空間卷積分解為不對(duì)稱卷積，進(jìn)一步提高模型性能。在模型優(yōu)化時(shí)使用了Batch-Normalization 和標(biāo)簽平滑等正則化方式。

本文中，我們將InceptionV3 模型中的avg_pool 層作為空間特征的輸出層。該層的輸出維度為2048 維，隨后會(huì)將每幀圖像提取得到的2048維空間特征輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中提取動(dòng)態(tài)特征。

1.2 時(shí)序網(wǎng)絡(luò)的設(shè)計(jì)

循環(huán)神經(jīng)網(wǎng)絡(luò)是前向神經(jīng)網(wǎng)絡(luò)的一種擴(kuò)展，其特點(diǎn)在于模型增加了隱含層的有向環(huán)結(jié)構(gòu)，用于對(duì)序列數(shù)據(jù)進(jìn)行時(shí)序建模。循環(huán)神經(jīng)網(wǎng)絡(luò)前向計(jì)算時(shí)，對(duì)于每個(gè)輸入狀態(tài)都會(huì)結(jié)合當(dāng)前模型中的隱含狀態(tài)進(jìn)行輸出，其當(dāng)前時(shí)刻的狀態(tài)是根據(jù)上一時(shí)刻的狀態(tài)和當(dāng)前時(shí)刻的輸入來(lái)決定。從其結(jié)構(gòu)特點(diǎn)可以看出，循環(huán)神經(jīng)網(wǎng)絡(luò)是處理這類序列數(shù)據(jù)最自然的網(wǎng)絡(luò)結(jié)構(gòu)。本文中，空間特征提取網(wǎng)絡(luò)提取了高維抽象的空間特征，按時(shí)間順序排列輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中。

圖3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的多幀識(shí)別模型Fig.3 Sequence recognition model based on recurrent neural network

圖4 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意Fig.4 Structure of recurrent neural network

如圖4 所示，左側(cè)的循環(huán)神經(jīng)網(wǎng)絡(luò)相比一般的全連接神經(jīng)網(wǎng)絡(luò)，在隱含層上增加了有向環(huán)ahW的循環(huán)計(jì)算。其中黑色的塊代表時(shí)間維度一個(gè)步長(zhǎng)的延遲。每個(gè)步長(zhǎng)的輸入信號(hào) xt結(jié)合上一時(shí)刻的隱含層狀態(tài) at，最終通過(guò)全連接層和softmax層得到分類結(jié)果。對(duì)于圖4 所示的循環(huán)神經(jīng)網(wǎng)絡(luò)，按照時(shí)間順序展開后，輸入信號(hào) xt是按照時(shí)間與隱含層狀態(tài) at和輸出狀態(tài) yt一一對(duì)應(yīng)。對(duì)模型評(píng)估時(shí)，可以逐個(gè)時(shí)間步的輸出計(jì)算損失。

圖5 循環(huán)神經(jīng)單元的結(jié)構(gòu)Fig.5 Structure of recurrent neural network unit

其中，(Wxh)N×K是連接K 個(gè)輸入節(jié)點(diǎn)和N 個(gè)隱含節(jié)點(diǎn)的權(quán)重矩陣。(Wah)N×N是連接( t－ 1)時(shí)刻N(yùn) 個(gè)隱含節(jié)點(diǎn)到t 時(shí)刻N(yùn) 個(gè)隱含節(jié)點(diǎn)的權(quán)重矩陣。(Wah)N×N是循環(huán)神經(jīng)網(wǎng)絡(luò)中的關(guān)鍵步驟，保證了當(dāng)前信息與之前狀態(tài)的信息融合。（at）N×1是激活后的隱含層狀態(tài)向量。（ot）L×1為輸出節(jié)點(diǎn)的狀態(tài)向量，經(jīng)softmax 計(jì)算后轉(zhuǎn)換為輸出標(biāo)簽向量()L×1。本文研究的森林火災(zāi)識(shí)別是序列分類問(wèn)題，因此最終類別數(shù)L 為2，對(duì)應(yīng)發(fā)生火災(zāi)和不發(fā)生火災(zāi)的概率。

1.3 時(shí)序網(wǎng)絡(luò)的訓(xùn)練方法

對(duì)于循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化，可由反向傳播推廣得到。模型對(duì)于不同的輸入序列，會(huì)產(chǎn)生相應(yīng)的預(yù)測(cè)概率，通過(guò)損失函數(shù)對(duì)輸出進(jìn)行評(píng)價(jià)后，由反向傳播算法計(jì)算誤差并對(duì)模型參數(shù)進(jìn)行優(yōu)化。與一般前向計(jì)算的神經(jīng)網(wǎng)絡(luò)區(qū)別在于，循環(huán)神經(jīng)網(wǎng)絡(luò)需要考慮時(shí)間維度的反向傳播，因此該優(yōu)化算法也被稱為稱為隨時(shí)間反向傳播(Back Propagation Through Time，BPTT)。對(duì)于圖4 所示的網(wǎng)絡(luò)結(jié)構(gòu)，最終需要優(yōu)化的參數(shù)有aoW 、ob 、ahW 、hb 和xhW 5 個(gè)參數(shù)矩陣。對(duì)于本文的分類問(wèn)題，可以使用經(jīng)典的交叉熵?fù)p失函數(shù)進(jìn)行評(píng)估。與一般的分類任務(wù)相比，本文增加了時(shí)間維度，因此可以逐個(gè)時(shí)間點(diǎn)地統(tǒng)計(jì)損失函數(shù)：

2 對(duì)比實(shí)驗(yàn)設(shè)置

2.1 數(shù)據(jù)集

據(jù)本文調(diào)研，目前還沒有公開的大規(guī)模森林火災(zāi)數(shù)據(jù)集進(jìn)行模型訓(xùn)練和測(cè)試。我們建立了一個(gè)大規(guī)模的森林火災(zāi)煙霧視頻數(shù)據(jù)集，采集了大量真實(shí)的早期森林火災(zāi)視頻來(lái)創(chuàng)建我們的數(shù)據(jù)集，所有視頻都是從1920×1080 的森林火災(zāi)監(jiān)控系統(tǒng)中采集的。模型的輸入是由VIBE[19]前景檢測(cè)算法從原始視頻中截取的299×299 大小的煙霧候選塊序列。在林火視頻監(jiān)控系統(tǒng)中，對(duì)前景區(qū)域大于一定閾值的子塊進(jìn)行采樣，本文中選擇5FPS 的采樣頻率。序列樣本圖如圖6 所示。

數(shù)據(jù)集中序列總數(shù)為2 000 個(gè)，其中含煙序列1 000 個(gè)，非煙序列1 000 個(gè)。每個(gè)序列的長(zhǎng)度為20 幀，圖像分辨率為299×299，每秒5 幀。為了進(jìn)行訓(xùn)練和測(cè)試，數(shù)據(jù)集80%作為訓(xùn)練集，20%作為測(cè)試集。數(shù)據(jù)集的詳細(xì)信息如表1 所示。

按照樣本預(yù)測(cè)類別和真實(shí)類別的差異，可將樣本分為真陽(yáng)性(True Positive, TP)、假陽(yáng)性(False Positive, FP)、真陰性(True Negative, TN)和假陰性(False Negative, FN)四類。具體分類如下：真陽(yáng)性：正樣本被正確判別為有煙火；

假陽(yáng)性：負(fù)樣本被錯(cuò)誤判別為有煙火；

真陰性：負(fù)樣本被正確判別為無(wú)煙火；

假陰性：正樣本被錯(cuò)誤判別為無(wú)煙火；

序列二分類模型性能可用真陽(yáng)性率(True Positive Rate, TPR)， 真 陰 性 率(True Negative Rate, TNR)和準(zhǔn)確率(Accuracy Rate, AR)幾個(gè)指標(biāo)進(jìn)行評(píng)估。TPR 主要用于評(píng)估對(duì)于森林火災(zāi)的捕獲率，TNR 主要用于評(píng)估對(duì)于正常非火災(zāi)樣本的識(shí)別能力，AR 表示模型的綜合識(shí)別能力。3 個(gè)評(píng)價(jià)指標(biāo)的計(jì)算公式如下：

圖6 林火識(shí)別任務(wù)中的序列樣本Fig.6 Sequence samples in forest fire recognition task

表1 序列數(shù)據(jù)集構(gòu)成Tab.1 Composition of sequence dataset

2.2 模型訓(xùn)練與優(yōu)化

本文實(shí)驗(yàn)在Intel Core i5-6500 和NVIDIA GTX1080的工作站上進(jìn)行。本文所提出的模型基于Keras 實(shí)現(xiàn)。在大多數(shù)文獻(xiàn)中，研究人員通常是基于單幀圖像計(jì)算模型精度。在我們的工作中，模型的識(shí)別精度是基于序列進(jìn)行統(tǒng)計(jì)的，因?yàn)楸疚乃岱椒ㄊ轻槍?duì)序列圖像進(jìn)行識(shí)別。

本文所提出的識(shí)別模型包括靜態(tài)特征提取網(wǎng)絡(luò)和時(shí)序網(wǎng)絡(luò)兩部分。在第一階段，我們使用Adam 算法對(duì)Inception V3 模型進(jìn)行訓(xùn)練優(yōu)化，使用0.000 01 的學(xué)習(xí)率和32 的batchsize。我們將Inception V3 模型最后的分類器修改為二分類的全連接層后，對(duì)預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)。在第二個(gè)階段，將avg_pool 層的輸出作為每幀圖像的空間特征輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。我們使用RMSprop 算法對(duì)時(shí)序網(wǎng)絡(luò)部分進(jìn)行訓(xùn)練優(yōu)化，同樣使用0.000 01 的學(xué)習(xí)率和32 的batchsize。

3 結(jié)果與分析

本節(jié)對(duì)比實(shí)驗(yàn)前，首先使用測(cè)試集挑選了最合適的參數(shù)，包括學(xué)習(xí)率、節(jié)點(diǎn)數(shù)等。為了驗(yàn)證本文模型的有效性，我們將本文的模型與多種方法進(jìn)行了對(duì)比。其中包括單幀的Inception V3[18]深度學(xué)習(xí)方法，3DCNN[15]多幀深度學(xué)習(xí)方法和傳統(tǒng)煙火識(shí)別方法[20]。

從表2 可知，我們提出的基于循環(huán)神經(jīng)網(wǎng)絡(luò)的識(shí)別方法實(shí)現(xiàn)了96.3%的識(shí)別精度，97.0%的正類識(shí)別率和95.5%的負(fù)類識(shí)別率。本文所提的方法在測(cè)試集上整體優(yōu)于單幀深度模型、3DCNN和[20]中的方法。實(shí)驗(yàn)結(jié)果表明，通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)提取動(dòng)態(tài)特征后，相比Inception V3[18]模型識(shí)別精度提升了2.2 個(gè)百分點(diǎn)。算法在保證較高的煙霧捕獲率同時(shí)，也能有效過(guò)濾非煙霧的圖像序列。該實(shí)驗(yàn)結(jié)果驗(yàn)證了本文的設(shè)想，通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)確實(shí)提高了卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)于煙霧動(dòng)態(tài)特征的識(shí)別能力。

4 結(jié)論與討論

林火監(jiān)控視頻的場(chǎng)景復(fù)雜，圖像中的干擾因素眾多。傳統(tǒng)的煙火識(shí)別算法通常對(duì)疑似的煙霧區(qū)域提取特定的特征后，對(duì)特征進(jìn)行分類識(shí)別?；谝?guī)則的識(shí)別方法為手工挑選的特征選取閾值和規(guī)則，對(duì)目標(biāo)進(jìn)行判別；基于學(xué)習(xí)的方法則通過(guò)分類器對(duì)特征進(jìn)行識(shí)別。煙霧作為一種隨機(jī)的湍流運(yùn)動(dòng)現(xiàn)象，受林區(qū)天氣、地形等因素影響，外觀差異較大且存在一定的透明度，人工挑選的特征常常鑒別力不足，泛化能力較低。

近年來(lái)以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)得到快速發(fā)展，本文嘗試通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)單幀局部圖像進(jìn)行特征提取?；贗nception V3 的深度學(xué)習(xí)模型，通過(guò)在ImageNet 數(shù)據(jù)集上的預(yù)訓(xùn)練，擁有比傳統(tǒng)特征提取算法更魯棒的特征提取能力。為了對(duì)算法模型進(jìn)行訓(xùn)練與測(cè)試，本文建立了一個(gè)大規(guī)模的森林火災(zāi)煙霧視頻數(shù)據(jù)集來(lái)對(duì)算法進(jìn)行評(píng)估。

從單幀圖像中識(shí)別煙火目標(biāo)面臨的另一個(gè)挑戰(zhàn)是單幀圖像缺乏煙火的運(yùn)動(dòng)信息，然而運(yùn)動(dòng)特征是煙火的本質(zhì)特征之一。因此本文進(jìn)一步探究了通過(guò)循環(huán)設(shè)計(jì)網(wǎng)絡(luò)學(xué)習(xí)動(dòng)態(tài)特征，設(shè)計(jì)了一種針對(duì)序列圖像的森林火災(zāi)識(shí)別方法。識(shí)別模型包括空間特征提取網(wǎng)絡(luò)和時(shí)序網(wǎng)絡(luò)兩個(gè)部分。其中以Inception V3 為主干網(wǎng)絡(luò)用來(lái)對(duì)每幀疑似圖像提取靜態(tài)特征，以循環(huán)神經(jīng)單元為基礎(chǔ)構(gòu)建的時(shí)序網(wǎng)絡(luò)對(duì)靜態(tài)特征融合與分析，學(xué)習(xí)序列圖像中的動(dòng)態(tài)特征。時(shí)序網(wǎng)絡(luò)通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的有向環(huán)設(shè)計(jì)，賦予了模型學(xué)習(xí)與表示時(shí)間序列的能力。通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)提取煙火動(dòng)態(tài)特征后，本文提出的多幀識(shí)別模型相比于Inception V3 的單幀識(shí)別模型，精度提升了2.2 個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果證明了本文模型設(shè)計(jì)的合理性。

表2 數(shù)據(jù)集上的測(cè)試結(jié)果Tab.2 Test results on dataset %

未來(lái)我們會(huì)對(duì)算法的特征提取和時(shí)序融合部分進(jìn)一步展開研究，如使用空間和時(shí)間注意力機(jī)制進(jìn)一步提升模型對(duì)于煙火目標(biāo)的關(guān)注度。