徐 莉，符 祥，段 賓

(南昌航空大學(xué)軟件學(xué)院，江西 南昌 330063)

1 引言

森林作為陸地上極為重要的生態(tài)系統(tǒng)，不僅提供了豐富多彩的產(chǎn)品，而且營(yíng)造出了優(yōu)美的環(huán)境，維持著地球上的生態(tài)平衡，發(fā)揮著強(qiáng)大的經(jīng)濟(jì)和生態(tài)效益，構(gòu)成了人類(lèi)生存與發(fā)展的基本性支撐。森林中最常見(jiàn)的危害是森林火災(zāi)，森林火災(zāi)不僅會(huì)對(duì)林業(yè)環(huán)境造成巨大危害[1]，而且還對(duì)人類(lèi)的生命財(cái)產(chǎn)造成巨大威脅。因此，對(duì)森林火災(zāi)的監(jiān)測(cè)和預(yù)警十分重要。

早期的森林火災(zāi)識(shí)別，技術(shù)主要采用感光傳感器、感煙傳感器、感溫傳感器等來(lái)識(shí)別森林火災(zāi)。張軍國(guó)等人[2]構(gòu)建了一種基于ZigBee無(wú)線傳感器網(wǎng)絡(luò)的森林火災(zāi)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)，該系統(tǒng)的傳感器節(jié)點(diǎn)采集監(jiān)測(cè)林區(qū)的溫度、濕度等數(shù)據(jù)，通過(guò)采用簇-樹(shù)形式的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)將采集到數(shù)據(jù)發(fā)送給監(jiān)控中心的計(jì)算機(jī)，然后進(jìn)行分析處理。李光輝等人[3]提出了一種基于無(wú)線傳感器網(wǎng)絡(luò)的森林火災(zāi)監(jiān)測(cè)預(yù)警系統(tǒng)框架及其實(shí)現(xiàn)方案。但是，該類(lèi)方法因?yàn)閭鞲衅髦圃斐杀尽㈧`敏度、應(yīng)用場(chǎng)合限制等多方面的原因，有很多的局限性，如傳感器適用于室內(nèi)等較封閉的環(huán)境，不適用于開(kāi)闊區(qū)域，必須要靠近火源，否則難以得到具體數(shù)據(jù)；在檢測(cè)火災(zāi)的過(guò)程中，不能提供可視的現(xiàn)場(chǎng)信息；紅外線及其它的高精度傳感器，成本較高，且靈敏度太高反而引起過(guò)多的錯(cuò)誤檢測(cè)。

隨著高清攝像機(jī)、數(shù)字圖像處理技術(shù)的不斷發(fā)展，基于圖像型的森林火災(zāi)識(shí)別方法已經(jīng)得到快速發(fā)展，這類(lèi)方法依據(jù)火焰的顏色、紋理、形狀等特征，對(duì)火災(zāi)進(jìn)行識(shí)別。Premal C E等人[4]提出了一種基于YCbCr顏色模型的森林火災(zāi)識(shí)別方法，定義了四個(gè)規(guī)則來(lái)分類(lèi)火災(zāi)像素。兩個(gè)規(guī)則用于分割火焰區(qū)域，另兩個(gè)規(guī)則分割高溫火焰中心區(qū)域。這種方法顯示出更高的正確率和更低的虛警率。Kumarguru Poobalan等人[5]設(shè)計(jì)了一種將顏色和邊緣檢測(cè)相結(jié)合去進(jìn)行分割候選火災(zāi)區(qū)域的方法，利用RGB顏色模型來(lái)檢測(cè)火的顏色，利用sobel邊緣檢測(cè)來(lái)檢測(cè)火勢(shì)的增長(zhǎng)，最后將這兩者結(jié)合起來(lái)分割火災(zāi)候選區(qū)域，將其應(yīng)用于森林火災(zāi)識(shí)別取得了不錯(cuò)的效果。Rui Chen等人[6]采用Lab 、YCbCr顏色空間和kmeans聚類(lèi)算法來(lái)進(jìn)行森林火災(zāi)識(shí)別，該算法具有高度的穩(wěn)定性和實(shí)時(shí)性。Han Xian Feng等人[7]提出了一種基于高斯混合模型和多色特征的視頻火災(zāi)檢測(cè)方法，主要利用了火的運(yùn)動(dòng)特征和顏色信息，通過(guò)高斯混合模型的背景減法來(lái)從視頻流中提取運(yùn)動(dòng)對(duì)象，然后結(jié)合RGB、HSI和YUV顏色空間獲得可能的火災(zāi)區(qū)域，最后結(jié)合上面得到的結(jié)果來(lái)識(shí)別準(zhǔn)確的火災(zāi)區(qū)域。相對(duì)于基于傳感器的森林火災(zāi)識(shí)別方法，基于圖像的森林火災(zāi)識(shí)別可提供直觀的現(xiàn)場(chǎng)信息，且識(shí)別效果有較明顯的提升，但上述基于圖像的火災(zāi)識(shí)別方法非常依賴(lài)于人工特征的設(shè)計(jì)，人工特征選取得合理，則識(shí)別的效果較好，但要想選取好的特征往往需要專(zhuān)業(yè)的知識(shí)和經(jīng)驗(yàn)；同時(shí)，這類(lèi)方法泛化性較差，一般針對(duì)的場(chǎng)景單一，當(dāng)在復(fù)雜背景的森林場(chǎng)景下或場(chǎng)景變化較大時(shí)，識(shí)別精度就會(huì)下降。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)已經(jīng)成功地應(yīng)用到圖像分類(lèi)[8-10]、人臉識(shí)別[11-13]、目標(biāo)檢測(cè)[14，15]等領(lǐng)域中，基于深度學(xué)習(xí)的識(shí)別方法，主要是利用深度特征強(qiáng)大的表征能力，解決傳統(tǒng)人工構(gòu)造特征方法的不足，實(shí)現(xiàn)端到端的識(shí)別。Zhang等人[16]提出了一種級(jí)聯(lián)CNN森林火災(zāi)分類(lèi)器，首先通過(guò)全局圖像級(jí)分類(lèi)器檢測(cè)整個(gè)圖像，如果檢測(cè)到火，則跟隨補(bǔ)丁分類(lèi)器以檢測(cè)火的精確位置，獲得較好的效果，但是用到的森林火災(zāi)數(shù)據(jù)量較小，其泛化能力需進(jìn)一步提高。Muhammad等人[17]提出了一種用于監(jiān)視視頻的火災(zāi)探測(cè)CNN架構(gòu)，通過(guò)微調(diào)GoogleNet[18]的模型進(jìn)行早期火焰檢測(cè)。實(shí)驗(yàn)結(jié)果表明了該架構(gòu)的有效性，但該模型有100層，參數(shù)量非常大。為了有效利用煙霧運(yùn)動(dòng)的時(shí)間和空間信息，Hu等人[19]提出一種深度卷積長(zhǎng)遞歸神經(jīng)網(wǎng)絡(luò)，并將深度卷積長(zhǎng)遞歸神經(jīng)網(wǎng)絡(luò)與光流方法相結(jié)合，實(shí)現(xiàn)對(duì)開(kāi)放空間環(huán)境下火災(zāi)的實(shí)時(shí)監(jiān)測(cè)。該類(lèi)方法由于容易受煙霧變化的干擾，在一些場(chǎng)景中無(wú)法進(jìn)行很好地識(shí)別。傅天駒等人[20]針對(duì)小樣本林火識(shí)別問(wèn)題，提出并設(shè)計(jì)了一種用于復(fù)雜背景下森林火災(zāi)識(shí)別的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)驗(yàn)結(jié)果表明該方法與傳統(tǒng)方法相比，具備較高的正確率。

本文針對(duì)森林火災(zāi)圖像樣本缺乏、傳統(tǒng)基于圖像的森林火災(zāi)識(shí)別方法的泛化性較差等問(wèn)題，提出了一種基于圖像生成和卷積特征融合的復(fù)雜背景森林火災(zāi)識(shí)別方法。這種方法可以直接從火災(zāi)和非火災(zāi)圖像的原始像素中自動(dòng)學(xué)習(xí)特征，實(shí)現(xiàn)端到端的識(shí)別，無(wú)需手工設(shè)計(jì)和提取特征。通過(guò)使用生成對(duì)抗技術(shù)生成火災(zāi)圖像、手工收集復(fù)雜背景火災(zāi)圖像及增加高度相似的反例圖像，得到復(fù)雜的火災(zāi)圖像集，進(jìn)一步了提高網(wǎng)絡(luò)的泛化性。

2 基于圖像風(fēng)格遷移技術(shù)擴(kuò)充森林火災(zāi)樣本

2.1 生成對(duì)抗網(wǎng)絡(luò)

2014年Goodfellow等[21]提出了一個(gè)生成對(duì)抗網(wǎng)絡(luò)(GAN)的框架模型，GAN通常由生成器(generator，G)和判別器(discriminator，D)組成。生成器的目的是生成假的樣本來(lái)欺騙判別器，使判別器無(wú)法判斷樣本是真實(shí)的還是生成的，判別器主要是來(lái)判別生成器送來(lái)的樣本是真實(shí)的還是生成的。對(duì)抗生成網(wǎng)絡(luò)成功的關(guān)鍵是：通過(guò)對(duì)抗損失促使生成器生成的圖像在原則上無(wú)法與真實(shí)圖像區(qū)分開(kāi)來(lái)。GAN在許多任務(wù)上都取得了較好的效果，比如圖像生成[22，23]、圖像編輯[24]、圖像修復(fù)[25]。但是在一些現(xiàn)實(shí)任務(wù)中GAN生成樣本的質(zhì)量還未能達(dá)到要求，為解決該問(wèn)題并進(jìn)一步提高生成效果的性能，近幾年來(lái)研究者們提出了許多GAN的變體，比如DCGAN[26]、InfoGAN[27]和CycleGAN[28]。

針對(duì)訓(xùn)練樣本不足和正負(fù)樣本不均衡問(wèn)題，本文使用圖像風(fēng)格遷移GAN網(wǎng)絡(luò)，生成更多火災(zāi)圖像樣本，提高識(shí)別網(wǎng)絡(luò)的性能。

2.2 基于圖像風(fēng)格遷移GAN網(wǎng)絡(luò)擴(kuò)充森林火災(zāi)樣本

針對(duì)訓(xùn)練樣本不足和正負(fù)樣本不均衡問(wèn)題，采用圖像風(fēng)格遷移GAN網(wǎng)絡(luò)來(lái)擴(kuò)充森林火災(zāi)樣本，最終的目的是將森林火災(zāi)圖片的火災(zāi)區(qū)域，遷移到森林無(wú)火的圖片中。算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，首先將X域真實(shí)圖片x，通過(guò)生成器GX轉(zhuǎn)化為Y域圖片G(x)，然后把G(x)通過(guò)映射函數(shù)F進(jìn)行圖片重構(gòu)，得到重構(gòu)圖片F(xiàn)(G(x))，接著將G(x)與真實(shí)圖片y送入到判別器DY進(jìn)行判斷真?zhèn)?，最終得到完整的單向GAN。若單純的使用單向的GAN，映射G可能將所有X域的圖像都映射到Y(jié)空間的同一張圖片，使單一的損失無(wú)效化。因此，整個(gè)生成過(guò)程由兩個(gè)單向GAN組成，同理，將圖1中的X域和Y域交換，得到另一個(gè)單向GAN。從域X生成域Y，再?gòu)腨生成回X，循環(huán)往復(fù)，實(shí)現(xiàn)圖片間的風(fēng)格遷移。兩個(gè)單向GAN的對(duì)抗損失分別如式(1)和式(2)所示

LGAN(G，DY，X，Y)=EyPdata(y)[logDY(y)]+

ExPdata(x)[log(1-DY(G(x)))]

(1)

LGAN(F，DX，Y，X)=Ex～Pdata(x)[logDX(x)]+

EyPdata(y)[log(1-DX(F(y)))]

(2)

為防止學(xué)習(xí)到的映射G與F相互矛盾，采用一致性損失如式(3)所示。

Lcyc=Ex～Pdata(x)[‖F(xiàn)(G(x)-x‖1]+

Ey～Pdata(y)[‖G(F(y)-y‖1]

(3)

所以，GAN的最終目標(biāo)函數(shù)如式(4)所示。

L(G，F(xiàn)，DX，DY)=LGAN+LGAN(F，DX，Y，X)+λLcyc(G，F(xiàn))

(4)

其中，X和Y分別代表兩個(gè)域，x和y為兩個(gè)域中的樣本，G為從域X到域Y的映射函數(shù)，F(xiàn)為從域Y到域X的映射函數(shù)，DX和DY為判別器，λ調(diào)整一致性損失的權(quán)重。

圖1 單向GAN網(wǎng)絡(luò)結(jié)構(gòu)圖

如圖2所示，圖中第一行圖2(a)是森林無(wú)火圖片，第二行圖2(b)是通過(guò)風(fēng)格遷移GAN網(wǎng)絡(luò)得到的森林火災(zāi)圖片，可以看出不管是在火災(zāi)區(qū)域、火焰顏色還是火焰紋理等方面，生成的森林火災(zāi)圖片均有很高的質(zhì)量。針對(duì)生成圖像多樣性差的問(wèn)題，由于本文的目標(biāo)是將火災(zāi)圖像遷移至森林圖像中，而不是完全生成森林火災(zāi)圖像，因輸入的是多種場(chǎng)景下的森林圖片，多樣性好，所以通過(guò)風(fēng)格遷移GAN網(wǎng)絡(luò)得到的森林火災(zāi)圖片的多樣性可滿足實(shí)驗(yàn)需求。

圖2 風(fēng)格遷移GAN網(wǎng)絡(luò)生成的森林火災(zāi)圖片

3 基于卷積特征融合的復(fù)雜背景森林火災(zāi)識(shí)別

3.1 基于卷積特征融合的森林火災(zāi)識(shí)別模型

由于森林圖像背景復(fù)雜、火焰外形多變、類(lèi)似的干擾因素多，如城市燈光、夕陽(yáng)、晨曦等條件下的森林圖片與森林火災(zāi)極其相似，如何在上述復(fù)雜條件下，保證森林火災(zāi)識(shí)別的魯棒性，需要提高特征的表達(dá)能力。將森林火災(zāi)圖像的深度卷積特征進(jìn)行可視化處理，如圖3所示，深層卷積注重目標(biāo)的語(yǔ)義信息，如圖Conv4和Conv5層，突出表達(dá)了火焰區(qū)域，但是經(jīng)過(guò)多次卷積、池化等操作后，特征圖變得較?。粶\層卷積層如圖Conv1和Conv2層，具有較大特征圖，更注重目標(biāo)的細(xì)節(jié)信息(如邊緣、紋理特征)。對(duì)于不同背景的圖像，這些特征具有通用性，因此，深層和淺層卷積特征的融合，可兼顧細(xì)節(jié)和語(yǔ)義信息，從而幫助網(wǎng)絡(luò)模型取得較好的效果，且具有較好的泛化性。因此，對(duì)于復(fù)雜背景下的森林火災(zāi)圖像，本文采用特征融合的方式進(jìn)行森林火災(zāi)識(shí)別。網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示，主要分為兩部分：森林火災(zāi)圖像預(yù)處理、多層特征的融合與識(shí)別。將預(yù)處理后的圖像輸入至在ImageNet上預(yù)訓(xùn)練好的VGG-16模型中，提取不同卷積層的特征，然后進(jìn)行特征融合，最后基于融合特征進(jìn)行森林火災(zāi)識(shí)別。

圖3 卷積特征可視化

3.2 森林火災(zāi)預(yù)處理階段

目前森林火災(zāi)數(shù)據(jù)庫(kù)還不成熟，從現(xiàn)有數(shù)據(jù)庫(kù)和手工收集到的森林火災(zāi)圖片，存在分類(lèi)錯(cuò)誤、重復(fù)和分辨率不一致等問(wèn)題，需要預(yù)處理以提高算法的性能。如圖5(a)，是從現(xiàn)有森林火災(zāi)視頻數(shù)據(jù)庫(kù)中提取到的圖片，實(shí)際并不是森林火災(zāi)圖片；圖5(b)，是手工收集的森林火災(zāi)圖片，雖然標(biāo)簽是森林火災(zāi)圖片，但實(shí)際是人工繪畫(huà)，并不是真實(shí)的森林火災(zāi)圖片，不符合要求；圖5(c)整幅圖片全部為火災(zāi)區(qū)域；圖5(d)和(e)，是從手工收集的森林火災(zāi)圖片，但是圖5(d)和(e)兩幅圖片完全一樣，需要?jiǎng)h除重復(fù)的圖片；圖5(f)是一張較正常的森林火災(zāi)圖片。所以本文首先對(duì)從現(xiàn)有數(shù)據(jù)庫(kù)和手工收集到的森林火災(zāi)圖片進(jìn)行了嚴(yán)格篩選，篩選出符合條件的森林火災(zāi)圖片。

圖4 基于卷積特征融合的森林火災(zāi)識(shí)別模型

圖5 篩選前的森林火災(zāi)圖片

由于現(xiàn)有數(shù)據(jù)庫(kù)中的森林火災(zāi)圖片、手工收集的森林火災(zāi)圖片和使用GAN技術(shù)生成的森林火災(zāi)圖片分辨率各不相同，同時(shí)也為了使得每張森林火災(zāi)圖像通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生相同的特征維度，進(jìn)而進(jìn)行森林火災(zāi)識(shí)別，所以需對(duì)篩選后的圖像進(jìn)行大小歸一化。本文采用雙線性插值法將圖像縮放至304×304，歸一化效果如圖6所示。

圖6 圖像歸一化

圖7 卷積特征融合的過(guò)程

3.3 多層卷積特征的融合

利用由ImageNet預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)VGG-16模型，學(xué)習(xí)森林火災(zāi)圖像，得到不同層次的卷積特征，針對(duì)復(fù)雜背景下的森林火災(zāi)，通過(guò)融合不同卷積層特征，來(lái)增強(qiáng)特征圖的語(yǔ)義及細(xì)節(jié)信息，更有助于提高森林火災(zāi)的識(shí)別率。本文驗(yàn)證了僅用單層特征及分別融合不同層特征時(shí)的識(shí)別效果。本文卷積特征融合過(guò)程，以融合conv4＿3與conv5＿3層為例，如圖7所示。首先對(duì)conv5＿3進(jìn)行反卷積運(yùn)算，得到其分辨率是conv5＿3兩倍的conv5＿3＿deconv，與conv4＿3分辨率相同。為了得到更豐富的特征，分別對(duì)conv5＿3＿deconv與conv4＿3進(jìn)行卷積運(yùn)算，得到conv5＿3＿c與conv4＿3＿c，然后進(jìn)行element-sum操作得到Fusion＿conv4＿3＿c＿conv5＿3＿c，element-sum操作是指將兩張大小相等的特征圖中相同位置的元素值相加，而其維度不發(fā)生改變。

4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)所采用的計(jì)算機(jī)環(huán)境是Intel(R) Xeon(R) CPU L5640 主頻2.27GHz，GeForce GTX 1080顯卡，8G內(nèi)存，操作系統(tǒng)為Ubuntu16.04，在Python3.5環(huán)境下進(jìn)行編譯，使用基于GPU版本的Tensorflow1.4和Keras2.0深度學(xué)習(xí)框架。

4.1 數(shù)據(jù)集

本文建立的數(shù)據(jù)集包括森林火災(zāi)圖像及反例圖像，其中森林火災(zāi)場(chǎng)景、火焰類(lèi)型、火焰面積多樣，反例圖像與森林火災(zāi)相似度較高，由此形成復(fù)雜背景森林火災(zāi)數(shù)據(jù)集。森林火災(zāi)圖像主要由三部分組成，第一部分來(lái)自于20個(gè)大小不同的森林火災(zāi)視頻片段，從這些視頻片段提取到500張森林火災(zāi)圖像；第二部分是手工收集的森林火災(zāi)圖片，通過(guò)篩選處理最終保留下來(lái)5000張森林火災(zāi)圖片；第三部分是通過(guò)圖像風(fēng)格遷移GAN網(wǎng)絡(luò)生成的森林火災(zāi)圖片，共得到4500張森林火災(zāi)圖片。數(shù)據(jù)集部分圖像如圖8所示，圖8(a)是由視頻片段得到的森林火災(zāi)圖片，圖8(b)是從手工收集到的森林火災(zāi)圖片，由圖8(b)可以看出，收集到的森林火災(zāi)圖片包含不同的場(chǎng)景、不同的火焰顏色以及不同面積大小的火災(zāi)區(qū)域；圖8(c)是通過(guò)GAN網(wǎng)絡(luò)風(fēng)格遷移得到的森林火災(zāi)圖片。

圖8 森林火災(zāi)數(shù)據(jù)集

本文實(shí)驗(yàn)用到的樣本反例圖像，主要來(lái)自于AI Challenger 全球AI挑戰(zhàn)賽中的場(chǎng)景比賽以及Places2 場(chǎng)景圖像數(shù)據(jù)集[29]，在兩類(lèi)數(shù)據(jù)集下的森林場(chǎng)景中，篩選出10000張復(fù)雜背景的無(wú)火森林圖片。樣本反例包含了大量干擾因素，如圖9所示，圖9(a)是春、秋天場(chǎng)景下的森林圖片，圖9 (b)是霧天下的森林圖片，圖9(c)是天空云的圖片，圖9(d)是城市燈光下、夕陽(yáng)下及晨曦下的森林圖片，這些圖片與森林火災(zāi)圖片極其相似，可驗(yàn)證算法對(duì)復(fù)雜背景下森林火災(zāi)識(shí)別的性能。

圖9 不同場(chǎng)景下的森林圖片

4.2 評(píng)價(jià)指標(biāo)

為全面衡量模型的性能，本文實(shí)驗(yàn)使用了3個(gè)模型評(píng)價(jià)指標(biāo)[30]：準(zhǔn)確率(Accuracy Rate，AR)、檢測(cè)率(Detection Rate，DR)、虛警率(False Alarm Rate，F(xiàn)AR)。計(jì)算公式如式(5)、(6)、(7)所示

(5)

(6)

(7)

其中TP、TN、FP、FN 分別表示真陽(yáng)性、真陰性、假陽(yáng)性和假陰性。AR體現(xiàn)的是模型的預(yù)測(cè)結(jié)果與真實(shí)檢測(cè)結(jié)果的符合程度，DR反映了被正確判定的正例占總的正例的比重，而FAR反映的是反例樣本判為正例樣本在所有反例中占的比重。如果一個(gè)模型能達(dá)到高AR、高DR、低FAR，就認(rèn)為這個(gè)模型具有較好的識(shí)別能力。

實(shí)驗(yàn)過(guò)程中，首先，將訓(xùn)練集、驗(yàn)證集圖像輸入森林火災(zāi)識(shí)別網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。經(jīng)過(guò)訓(xùn)練階段，得到訓(xùn)練好的模型。在測(cè)試階段，將測(cè)試集中的圖像輸入至訓(xùn)練好的模型中，完成特征的提取及融合。最后，將預(yù)測(cè)的標(biāo)簽與真實(shí)的標(biāo)簽做對(duì)比，計(jì)算準(zhǔn)確率、檢測(cè)率、虛警率。

4.3 實(shí)驗(yàn)結(jié)果與分析

1)風(fēng)格遷移GAN網(wǎng)絡(luò)生成樣本的有效性驗(yàn)證

為了驗(yàn)證通過(guò)GAN技術(shù)得到的樣本用于森林火災(zāi)識(shí)別算法時(shí)的有效性，共進(jìn)行了3次實(shí)驗(yàn)：實(shí)驗(yàn)1選用4000張真實(shí)森林火災(zāi)圖片和4000張樣本反例作為訓(xùn)練集，無(wú)生成圖片；實(shí)驗(yàn)2選用4000張真實(shí)森林火災(zāi)圖片、1000張風(fēng)格遷移生成的森林火災(zāi)樣本和5000張樣本反例作為訓(xùn)練集；實(shí)驗(yàn)3選用4000張真實(shí)森林火災(zāi)圖片、2000張風(fēng)格遷移生成的森林火災(zāi)樣本和6000張樣本反例作為訓(xùn)練集。三次實(shí)驗(yàn)測(cè)試時(shí)都選用1000張真實(shí)森林火災(zāi)圖像和1000張樣本反例；后兩次實(shí)驗(yàn)中，為了保持正例和反例的一致性，在增加生成圖像的同時(shí)，也增加了同樣數(shù)目的反例圖像。為了驗(yàn)證通過(guò)GAN技術(shù)得到的樣本用于森林火災(zāi)識(shí)別算法時(shí)的有效性，該對(duì)比實(shí)驗(yàn)基于經(jīng)典AlexNet網(wǎng)絡(luò)進(jìn)行，實(shí)驗(yàn)結(jié)果如表1所示。

由表1可以看出，實(shí)驗(yàn)2和實(shí)驗(yàn)3在AR、AR、FAR三個(gè)指標(biāo)上優(yōu)于實(shí)驗(yàn)1，表明通過(guò)增加遷移生成的森林火災(zāi)樣本有助于提高森林火災(zāi)識(shí)別效果；該對(duì)比實(shí)驗(yàn)基于經(jīng)典AlexNet網(wǎng)絡(luò)進(jìn)行，說(shuō)明通過(guò)增加遷移生成的森林火災(zāi)樣本，可提高現(xiàn)有識(shí)別算法的性能。

表1 增加遷移得到的森林火災(zāi)圖像用于識(shí)別時(shí)結(jié)果對(duì)比

2) 不同層卷積特征融合對(duì)森林火災(zāi)識(shí)別的效果比較

將本文建立的數(shù)據(jù)集按照3：1：1 的比例隨機(jī)分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，具體分布情況如表2所示。

表2 森林火災(zāi)數(shù)據(jù)集數(shù)據(jù)分布情況

為了探究多層卷積特征融合對(duì)復(fù)雜背景下森林火災(zāi)識(shí)別結(jié)果的影響，在表2所示的森林火災(zāi)數(shù)據(jù)集上，分別提取森林火災(zāi)網(wǎng)絡(luò)模型中的Conv1＿2、Conv3＿3、Conv4＿3和Conv5＿3層特征，根據(jù)第2節(jié)介紹的融合方式，對(duì)不同層的卷積特征進(jìn)行融合，然后進(jìn)行火災(zāi)識(shí)別，結(jié)果如表3所示。

由表3可知，使用多層特征融合時(shí)的識(shí)別效果，優(yōu)于僅用單層特征時(shí)的效果；Conv1＿2、Conv3＿3和Conv5＿3三層特征進(jìn)行融合的結(jié)果最優(yōu)，優(yōu)于Conv3＿3、Conv4＿3和Conv5＿3三層特征融合的結(jié)果，兩者的區(qū)別主要是將前者的Conv1＿2換成了后者的Conv4＿3，由圖3可知，相對(duì)于Conv4＿3層，Conv1＿2更接近底層，包含了更多的細(xì)節(jié)信息，兩者在同時(shí)使用Conv5＿3表達(dá)語(yǔ)義信息的條件下，融合更多的細(xì)節(jié)信息，可提高識(shí)別效果。

表3 融合不同層卷積特征時(shí)的識(shí)別結(jié)果

3) 與其它深度學(xué)習(xí)模型的比較

在表2所示的森林火災(zāi)數(shù)據(jù)集上，將本文模型與ZFNet、ResNet、InceptionV3[31]和DenseNet四種模型進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4 所示。從表4可以看出，在與其它深度卷積神經(jīng)網(wǎng)絡(luò)模型的對(duì)比中，DR指標(biāo)與DenseNet模型相近，但是本文方法在AR、FAR兩個(gè)指標(biāo)上表現(xiàn)的更好，表明了本文模型的有效性。

表4 本文模型與其它深度卷積神經(jīng)網(wǎng)絡(luò)模型效果對(duì)比

4) 與其它基于深度學(xué)習(xí)的森林火災(zāi)識(shí)別模型的對(duì)比

表5 與其它基于深度學(xué)習(xí)的森林火災(zāi)識(shí)別方法的對(duì)比

文獻(xiàn)[20]針對(duì)小樣本林火識(shí)別率低問(wèn)題，提出一種參數(shù)替換的方法，在表2所示的森林火災(zāi)數(shù)據(jù)集上，與文獻(xiàn)[20]中的方法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表5所示。從表5可知，在與其它基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行森林火災(zāi)識(shí)別方法的對(duì)比中，基于相同的數(shù)據(jù)集，本文模型在AR、DR以及FAR評(píng)價(jià)指標(biāo)上均取得最優(yōu)，表明了本文模型在復(fù)雜背景下，取得的效果優(yōu)于其它基于深度學(xué)習(xí)進(jìn)行森林火災(zāi)識(shí)別方法。

5 結(jié)論

本文提出了基于圖像生成和卷積特征融合的復(fù)雜背景森林火災(zāi)識(shí)別方法。針對(duì)訓(xùn)練樣本不足和正負(fù)樣本不均衡問(wèn)題，使用了風(fēng)格遷移技術(shù)來(lái)擴(kuò)充森林火災(zāi)樣本集；利用VGG模型提取圖像的特征，通過(guò)融合不同層次的卷積特征，實(shí)現(xiàn)最終的森林火災(zāi)識(shí)別。該方法可以直接基于火災(zāi)和非火災(zāi)圖像，實(shí)現(xiàn)端到端的特征學(xué)習(xí)和識(shí)別，避免了傳統(tǒng)基于圖像的森林火災(zāi)識(shí)別方法需要人工設(shè)計(jì)特征的不足，降低了算法對(duì)經(jīng)驗(yàn)知識(shí)的依賴(lài)，提高了算法的泛化能力；融合后的特征兼顧了高層特征的語(yǔ)義信息與低層特征的細(xì)節(jié)信息，實(shí)驗(yàn)結(jié)果表明，該方法在處理復(fù)雜背景下的森林火災(zāi)識(shí)別問(wèn)題上具有較好的效果?；贕AN網(wǎng)格生成圖像增加訓(xùn)練樣本，給復(fù)雜背景下的森林火災(zāi)識(shí)別及其它樣本缺乏的識(shí)別任務(wù)，提供了一種可行方案。未來(lái)，將改進(jìn)特征提取方法及多層卷積特征融合方法，及提取和融合火焰的其它信息，如提取火焰與森林背景的關(guān)系特征、火焰的運(yùn)動(dòng)特征等，以進(jìn)一步提高森林火災(zāi)的識(shí)別效果。