摘要:【目的】林火的發(fā)生不僅會對森林生態(tài)環(huán)境造成嚴(yán)重的破壞,影響生態(tài)系統(tǒng)功能,還會給人類造成一定危害和損失。基于深度學(xué)習(xí)對森林火災(zāi)圖像進(jìn)行識別,旨在更高效精準(zhǔn)地對森林火災(zāi)發(fā)生初期的圖像進(jìn)行識別并預(yù)警,從而降低森林火災(zāi)對森林生態(tài)系統(tǒng)和人類社會產(chǎn)生的危害?!痉椒ā拷柚鶶SD算法目標(biāo)檢測算法在TensorFlow上的實現(xiàn),根據(jù)林火特征對其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行適當(dāng)優(yōu)化,提出一種可以識別森林火災(zāi)圖像中火焰特征的模型方法。首先對獲取的圖像進(jìn)行歸一化處理,然后使用Imgaug圖像數(shù)據(jù)增強庫對林火圖像進(jìn)行數(shù)據(jù)增強以構(gòu)建林火數(shù)據(jù)集,搭建深度學(xué)習(xí)運行環(huán)境并設(shè)定超參數(shù)。通過對測試集中的數(shù)據(jù)進(jìn)行測試獲取模型對圖像中林火特征的識別效果,并利用Loss曲線、P-R曲線的可視化對模型進(jìn)行評估,最后得到模型對于林火的識別精度?!窘Y(jié)果】隨著迭代次數(shù)的增加,損失值由訓(xùn)練初期的35.31逐漸下降,訓(xùn)練至20 000步時損失值穩(wěn)定在7.10左右,此時模型的識別精度達(dá)到較高水平,對測試數(shù)據(jù)中林火特征的識別置信度達(dá)到0.9以上?;贔LAME公開數(shù)據(jù)集中的林火圖像搭建測試集,經(jīng)過測試評估本模型對林火特征的mAP可以達(dá)到97.40%,漏檢率為0.03,對測試圖片的平均檢測時間僅為0.07 s,對比Faster R-CNN模型在同等數(shù)據(jù)集上的實現(xiàn),SSD可以獲得更為理想的檢測速度。【結(jié)論】提出的針對林火特征識別的SSD算法能兼顧檢測速度和檢測精度,對林火早期的圖像能夠快速識別并擁有較低的漏檢率,有助于林區(qū)工作人員對火災(zāi)及時做出處理,從而為森林火災(zāi)早期預(yù)防提供技術(shù)參考。
關(guān)鍵詞:深度學(xué)習(xí);林火;圖像識別;目標(biāo)檢測;SSD算法
中圖分類號:S762 文獻(xiàn)標(biāo)志碼:A開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID):
文章編號:1000-2006(2024)03-0207-12
Forest fire image recognition based on deep learning multi-target detection technology
HE Nailei, ZHANG Jinsheng, LIN Wenshu*
(College of Mechanical and Electrical Engineering, Northeast Forestry University, Harbin 150040, China)
Abstract:【Objective】Forest fires not only cause serious damage to the natural environment of forests and affect their ecosystem functions, but also cause harm and losses to human society. Based on the use of a deep learning process to identify forest fire images, it is possible to efficiently and accurately identify images showing the early stages of forest fires, thereby enabling prompt action to reduce the harm caused by forest fires to forest ecosystems and human society. 【Method】With the implementation of the single shot multibox detector (SSD) target detection algorithm based on the TensorFlow framework, the network structure was optimized according to the characteristics of forest fires, and a model was developed that could identify flame features in forest fire images. First, the acquired images were normalized and then the “Imgaug” image data enhancement library was used to perform data enhancement on forest fire images and build a forest fire dataset, followed by the building of a deep learning operating environment and the setting of hyper-parameters. The recognition of forest fire features in the image by the model was obtained by testing the data in the test set. By visualizing both the Loss curve and the precision-recall (P-R) curve, the recognition accuracy of the model for forest fires was ultimately obtained.【Result】With an increase in the number of iterations, the loss value gradually decreased from 35.31 in the early stage of training, and stabilized at about 7.10 when the training reached 20 000 iterations. At this point, the recognition accuracy of the model reached a high level. The recognition confidence of fire features was greater than 0.9. A test set was built based on the forest fire images in the fire luminosity airborne-based machine learning evaluation (FLAME) public data set. After testing and evaluation, the model achieved a mean average precision for forest fire characteristics of 97.40%, the missed detection rate was 0.03, and the average detection time of the test image was only 0.07 s. Compared with the faster- region-based convolutional neural network (Faster R-CNN) model using the same data set, the SSD achieved a better detection speed and recognition accuracy. 【Conclusion】The SSD algorithm for forest fire feature recognition proposed here can take into account the detection speed and precision, and can quickly identify images in the early stage of a forest fire with a low missed detection rate, which will enable forest staff to deal with the fire in time, providing a technical reference for the early prevention of forest fires.
Keywords:deep learning; forest fire; image identification; object detection; single shot multibox detector (SSD) algorithm
相比森林病蟲害,森林火災(zāi)對森林生態(tài)系統(tǒng)和人類活動造成的破壞往往更加嚴(yán)重[1]。由于林火造成的后果不可逆轉(zhuǎn),通過對森林火災(zāi)的早期監(jiān)測繼而減少重大森林火災(zāi)的發(fā)生概率,不僅可以降低森林火災(zāi)的受害率,而且能有效減少森林火災(zāi)導(dǎo)致的碳排放,助力碳中和的實現(xiàn)。然而森林火災(zāi)發(fā)生的早期往往較為隱蔽,且擴散速度快。通過對森林火災(zāi)的早期監(jiān)測,可以在林火剛剛發(fā)生時采取相應(yīng)措施阻斷火勢的蔓延,從而降低其對森林生態(tài)環(huán)境的破壞和人民財產(chǎn)的損失。因此,如何在復(fù)雜的森林環(huán)境中及時發(fā)現(xiàn)火情并做出預(yù)警是森林可持續(xù)經(jīng)營管理中亟待解決的關(guān)鍵技術(shù)問題。
在以往森林火災(zāi)監(jiān)測中,傳統(tǒng)的瞭望塔、煙霧檢測器等方式具有響應(yīng)時間慢、建造成本高的缺陷[2],導(dǎo)致其接收到火情的信息滯后甚至無法檢測出早期森林火情的發(fā)生,許多情況下無法對森林消防工作提供及時有效的幫助。近年來,隨著現(xiàn)代遙感技術(shù)的發(fā)展,針對森林火災(zāi)的衛(wèi)星遙感監(jiān)測逐漸受到重視。Giglio等[3]對傳統(tǒng)的基于MODIS數(shù)據(jù)的火點監(jiān)測模型進(jìn)行優(yōu)化改進(jìn),提出了一種用于MODIS的增強型上下文火情檢測算法。付迎春等[4]提出了一種基于 MODIS 影像梯度的林火邊界提取方法,通過對融合的多波段梯度幅值圖進(jìn)行圖像視覺分析,能夠?qū)崿F(xiàn)對林火邊界特征的自動檢測。楊光等[5]基于黑龍江省大興安嶺林區(qū)衛(wèi)星熱點數(shù)據(jù)和同一時期可查的林火資料進(jìn)行研究,得出2005—2015年大興安嶺林區(qū)衛(wèi)星熱點初判林火發(fā)生次數(shù)的準(zhǔn)確率僅為79. 7%,存在較大的漏檢率。利用衛(wèi)星搭載的遙感裝置雖然可以根據(jù)森林燃燒時產(chǎn)生的高溫高于背景溫度實現(xiàn)對森林火災(zāi)的識別,但衛(wèi)星大尺度的監(jiān)測范圍和數(shù)據(jù)獲取的滯后性使得基于衛(wèi)星平臺進(jìn)行森林火災(zāi)檢測無法對早期小范圍內(nèi)的火情給予及時預(yù)警。隨著無人機技術(shù)的發(fā)展,其在林業(yè)中的應(yīng)用越來越廣泛。單會見[6]基于無人機平臺提出了一種基于改進(jìn)顏色指數(shù)的森林煙火識別方法,通過對無人機傳回的數(shù)據(jù)進(jìn)行處理,以林火標(biāo)定的方法為輔助,去除疑似的火災(zāi)信息,確定森林火災(zāi)的發(fā)生情況。馬越豪等[7]利用無人機拍攝實時視頻,借助灰度投影方法消除視頻抖動,通過圖像特征自動識別燃火點,實現(xiàn)對火災(zāi)的檢測?;诮孛嫫脚_實現(xiàn)對森林火災(zāi)的檢測雖然可以獲得比衛(wèi)星平臺更高的精度,但是大部分研究中火焰特征仍需要人工提取,在識別效率方面還有很大提升空間。
傳統(tǒng)方法檢測火災(zāi)圖像需要對獲取的影像數(shù)據(jù)進(jìn)行區(qū)域分割和特征提取,最后通過對特征進(jìn)行分類實現(xiàn)對火災(zāi)的檢測,分割結(jié)果和選取的特征質(zhì)量直接影響對火災(zāi)的檢測精度[8]。近年來,人工智能和深度學(xué)習(xí)技術(shù)的快速發(fā)展,不斷推動著基于卷積神經(jīng)網(wǎng)絡(luò)的圖像型森林火災(zāi)識別檢測技術(shù)替代傳統(tǒng)人工火災(zāi)監(jiān)測方式的進(jìn)程。因此,為了在疑似的火災(zāi)圖像中精準(zhǔn)地識別出發(fā)生火災(zāi)的部分,需要借助基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)。目前常見的基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法有Faster R-CNN、YOLO、SSD等。在主流目標(biāo)檢測算法的基礎(chǔ)上,王飛[9]基于森林火災(zāi)發(fā)生時煙的動態(tài)及顏色特征,通過融合煙霧候選區(qū)和Faster R-CNN煙霧檢測算法,大大減少了神經(jīng)網(wǎng)絡(luò)運算量,較傳統(tǒng)Faster RCNN算法在實時性和準(zhǔn)確率方面更加平衡。劉青等[10]提出了一種基于無人機平臺硬件的改進(jìn)YOLOv3 圖像檢測算法,對林區(qū)內(nèi)的煙霧和火焰進(jìn)行檢測,精確率較原生模型提高6.80%;傅天駒[11]針對林區(qū)內(nèi)夜晚和白天的影像背景差異懸殊的情況,對白天情景下進(jìn)行的林火識別做了優(yōu)化,將兩種情景下的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了區(qū)分,在模型識別正確率上取得了理想的結(jié)果;陳燕紅[12]建立了CNN-9模型和CNN-17模型,對煙霧和火焰并行檢測并實現(xiàn)了較高的準(zhǔn)確率。周浪等[13]提出了一種基于原始DenseNet進(jìn)行優(yōu)化的用于識別森林火災(zāi)圖像的Sparse-DenseNet 模型,較原模型在準(zhǔn)確率上提升了1.18%,且相同輪次訓(xùn)練時間縮短了25%。上述幾類方法雖然在火災(zāi)識別方面取得了較為理想的效果,但是難以兼顧檢測速度和準(zhǔn)確率,在應(yīng)用于小尺度范圍林火識別預(yù)警時仍有較大的優(yōu)化空間。
SSD(single shot multiBox detector)算法屬于目標(biāo)檢測主流算法中的第1階段,這種方法區(qū)別于Faster R-CNN算法所屬的第2階段,在檢測速度保持優(yōu)勢的同時,優(yōu)化后識別精度也能達(dá)到較高水平[14]。SSD算法由Liu等[15]于2016年提出,其算法原理是將不同特征圖的邊界框離散化輸出為一組默認(rèn)框,在網(wǎng)絡(luò)進(jìn)行預(yù)測時,會在每一個默認(rèn)框中賦予待檢測目標(biāo)類別的置信度,同時對默認(rèn)框進(jìn)行調(diào)整以適應(yīng)不同的目標(biāo),實現(xiàn)對目標(biāo)的檢測。SSD算法的識別流程是在輸入圖片的各個位置進(jìn)行均勻緊密抽樣,第一階段抽樣支持使用不同的尺度和長寬比,之后運用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行提取特征操作后直接進(jìn)入下一階段的分類與回歸,全部過程都在一個階段內(nèi)完成[16],因此SSD算法的識別速度在目標(biāo)檢測算法中有一定優(yōu)勢,在實木板材缺陷檢測、光伏組件缺陷檢測等方向應(yīng)用較廣。此外SSD算法支持不同尺度的特征圖預(yù)測,這樣可以應(yīng)用于不同目標(biāo)尺寸的檢測,低層的特征對于穿插在林木間的微小火源點檢測比較有效??傊?,SSD算法特點使其有很大潛力滿足森林早期火災(zāi)圖像中的火焰識別的檢測速度和準(zhǔn)確率。
為了更好地識別森林火災(zāi)初期的微小火源點,盡可能縮短森林火災(zāi)發(fā)生和被發(fā)現(xiàn)的時間間隔,從森林火災(zāi)發(fā)生的初期降低林火造成的損失,本研究基于SSD算法在TensorFlow框架上的源碼實現(xiàn),借助遷移學(xué)習(xí)的思想在火災(zāi)圖像小樣本的基礎(chǔ)上訓(xùn)練,獲得了基于無人機所拍攝的圖像中識別出火源點的模型,并在FLAME公開數(shù)據(jù)集上進(jìn)行了驗證。該模型可與無人機平臺進(jìn)行聯(lián)合,通過無人機獲取林區(qū)易燃區(qū)域影像數(shù)據(jù),訓(xùn)練生成的模型對數(shù)據(jù)中的火災(zāi)信息進(jìn)行檢測,實現(xiàn)林火的早期識別預(yù)警,解決了傳統(tǒng)處理手段時效性的問題,可以在森林火災(zāi)發(fā)生初期盡快采取有效措施,盡可能降低林火帶來的損失。
1 研究方法
1.1 圖像數(shù)據(jù)獲取及歸一化處理
1.1.1 森林火災(zāi)圖像數(shù)據(jù)獲取
模型訓(xùn)練所使用的數(shù)據(jù)是基于無人機拍攝的森林火情檢測數(shù)據(jù)集FLAME[17],該數(shù)據(jù)集包含基于無人機視角俯拍的森林火災(zāi)圖像。其中圖像的分辨率為3 480×2 160像素,格式為JPEG格式。
FLAME數(shù)據(jù)集中還包含了一些紅外相機拍攝的視頻記錄和熱圖,由于本研究所提出的模型是針對無人機搭載相機所拍攝的森林圖像進(jìn)行目標(biāo)檢測識別,因此僅選取原數(shù)據(jù)集中的高分辨率相機所拍攝的數(shù)據(jù)集。FLAME數(shù)據(jù)集中的森林火災(zāi)圖片是通過對拍攝視頻進(jìn)行選取合適的幀數(shù)截圖來獲得的,其中共有12個不同的火點,分別采用不同視角、不同變焦的相機搭載在無人機上進(jìn)行拍攝。但由于火點所在的背景相似,導(dǎo)致原數(shù)據(jù)集相近的圖片會有很多的相似性,因此本研究選取了拍攝背景和視角具有差異的圖像作為基礎(chǔ)數(shù)據(jù)集。
1.1.2 數(shù)據(jù)的歸一化處理
篩選出合適的圖像數(shù)據(jù)后,為了獲得更好的識別效果,需要將圖像數(shù)據(jù)進(jìn)行歸一化。通過將數(shù)據(jù)歸一化,使得所有特征的權(quán)重趨向均衡,減小了某些極端數(shù)據(jù)值對損失函數(shù)造成的負(fù)面影響,從而縮短了梯度下降到達(dá)最優(yōu)解的時間,推動模型獲得更快的收斂。首先根據(jù)圖像的火點位置對其進(jìn)行裁切處理,獲取等高等寬的林火圖像,之后利用批處理輸出得到300×300像素的圖像數(shù)據(jù)并標(biāo)定。最后利用StandardScaler類實現(xiàn)對數(shù)據(jù)的歸一化,從而實現(xiàn)了對特征數(shù)據(jù)的預(yù)處理,一定程度上提高模型訓(xùn)練的速度并使其加速收斂。
1.2 數(shù)據(jù)集搭建
1.2.1 林火數(shù)據(jù)增強
由于原始數(shù)據(jù)集中大量圖片具有相似性,經(jīng)過挑選后的圖像數(shù)量過少,無法滿足深度學(xué)習(xí)要求的數(shù)據(jù)集的量級,如果利用這部分?jǐn)?shù)據(jù)直接進(jìn)行訓(xùn)練,訓(xùn)練過程中極易出現(xiàn)過擬合。因此,為了提供大量的樣本作為深度學(xué)習(xí)的數(shù)據(jù)支撐完成訓(xùn)練并增強模型的泛化能力,需要對這部分?jǐn)?shù)據(jù)集進(jìn)行數(shù)據(jù)增強處理。數(shù)據(jù)增強[18]的主要目的是對訓(xùn)練數(shù)據(jù)進(jìn)行擴充,使模型可以學(xué)習(xí)不同條件下規(guī)定的特征,從而使最終訓(xùn)練的模型泛化能力提高,適應(yīng)多重場景下的識別。數(shù)據(jù)增強分為線上增強和線下增強,線上增強是在深度學(xué)習(xí)輸入之前進(jìn)行少量數(shù)據(jù)集的轉(zhuǎn)換,數(shù)據(jù)集規(guī)模不會發(fā)生大的擴充,此方法適合較大的數(shù)據(jù)集,可以利用GPU并行加速處理;線下增強是在送入模型訓(xùn)練前完成對數(shù)據(jù)集的處理,這通常會幾倍甚至幾十倍地增加數(shù)據(jù)集內(nèi)的數(shù)據(jù)批量,因此這種方法適合小批量的數(shù)據(jù)集。
本研究中滿足需求且經(jīng)標(biāo)定后的數(shù)據(jù)集較小,因此采用線下增強。采用Imgaug圖像數(shù)據(jù)增強庫對數(shù)據(jù)集的森林火災(zāi)圖像進(jìn)行增強處理,采用批量的BoundingBox帶XML文件的增強,對已經(jīng)標(biāo)定過的森林火災(zāi)圖像進(jìn)行旋轉(zhuǎn)、平移補充、提升亮度和加噪聲等圖像增強處理操作,對圖形和矩形框進(jìn)行變換。經(jīng)過數(shù)據(jù)增強后,將441張圖片擴充為2 205張,得到分辨率為300×300像素且包含森林火災(zāi)中火焰特征的數(shù)據(jù)集,這個數(shù)量的數(shù)據(jù)集足以支撐完成深度學(xué)習(xí)的訓(xùn)練。同時因為使用帶XML文件的增強,最終的火災(zāi)圖像都是經(jīng)過標(biāo)定的,可以作為模型輸入的訓(xùn)練集、測試集和驗證集使用。
1.2.2 構(gòu)建VOC格式的林火數(shù)據(jù)集
數(shù)據(jù)增強之后,獲得擴充后的火災(zāi)圖像及與其對應(yīng)的包含有filename、path、size(包括圖像的寬度、高度和深度)以及標(biāo)注的GT boxes的x、y坐標(biāo)最大值和最小值等信息的XML標(biāo)注文件。為了便于訓(xùn)練時程序高效地讀取數(shù)據(jù),需要搭建VOC格式的林火數(shù)據(jù)集。
根據(jù)SSD模型訓(xùn)練,需要搭建PASCAL VOC07+12格式的數(shù)據(jù)集,根據(jù)數(shù)據(jù)集格式要求建立相應(yīng)的路徑,并將原始數(shù)據(jù)集劃分為VOC2007、VOC2007test以及VOC2012,分別放入對應(yīng)的路徑下,設(shè)定數(shù)據(jù)集路徑及tfrecords文件路徑,生成包含訓(xùn)練驗證信息的tfrecords文件。其中訓(xùn)練集、測試集和驗證集包含的圖像數(shù)量分別為1 323、441和441張,數(shù)據(jù)處理的總體流程如圖1所示(數(shù)據(jù)增強部分以單個數(shù)據(jù)為例)。
1.3 SSD目標(biāo)檢測模型構(gòu)建
1.3.1 SSD目標(biāo)檢測模型結(jié)構(gòu)
SSD目標(biāo)檢測模型的主要結(jié)構(gòu)為骨干網(wǎng)絡(luò)和額外的特征層:骨干網(wǎng)絡(luò)是SSD網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò),主要功能是對輸入數(shù)據(jù)進(jìn)行特征提取,是實現(xiàn)目標(biāo)檢測的基礎(chǔ);額外的特征層是在骨干網(wǎng)絡(luò)基礎(chǔ)上添加的幾個特征層,這些特征層在多個尺度上進(jìn)行目標(biāo)檢測,保證了模型的檢測精度。骨干網(wǎng)絡(luò)提取圖像特征得到多個不同尺度的特征圖,之后利用多尺度特征檢測網(wǎng)絡(luò),對已經(jīng)提取的特征層進(jìn)行特征融合,對大小不同的目標(biāo)進(jìn)行定位和分類。
SSD模型的骨干網(wǎng)絡(luò)為 VGG16,并將 VGG16 網(wǎng)絡(luò)的全連接層FC6、FC7層改為卷積層 Conv6、Conv7,然后在后面加了4個卷積層,構(gòu)成 SSD 算法框架[19]。SSD模型結(jié)構(gòu)如圖2所示。
SSD模型結(jié)構(gòu)中的網(wǎng)絡(luò)以 300×300 圖片作為輸入,以Conv4_3作為第一個特征層用于目標(biāo)檢測,該層生成的特征圖尺寸為38×38×512,每個像素映射到輸入的林火圖片上會產(chǎn)生4個候選框,因此產(chǎn)生的全部候選框數(shù)量為38×38×4。Conv7、Conv8_2、Conv9_2、Conv10_2以及Conv11_2特征層的特征圖尺寸及生成的候選框數(shù)量與Conv4_3同理,其中8 732表示所有特征圖共生成的候選框數(shù)量,之后進(jìn)行分類和回歸操作,最后經(jīng)過非極大值抑制(NMS)過濾掉多余邊界框并產(chǎn)生最終檢測結(jié)果。整個網(wǎng)絡(luò)結(jié)構(gòu)有6種不同尺寸的特征圖,分別預(yù)測不同尺寸的物體。淺層特征圖具有分辨率高的特點,在林火檢測中主要對被林木、樹葉等遮擋的火焰特征進(jìn)行預(yù)測,屬于小物體目標(biāo)的預(yù)測;深層特征圖則主要針對無遮擋的相對較大且較為明顯的火焰特征進(jìn)行預(yù)測,屬于較大物體目標(biāo)的預(yù)測。不同尺寸特征圖的設(shè)計,使模型能夠?qū)崿F(xiàn)檢測不同尺寸的物體,有助于提高檢測精度。
其中,模型對圖像中林火特征圖的獲取是由卷積神經(jīng)網(wǎng)絡(luò)完成的。卷積神經(jīng)網(wǎng)絡(luò)是一種包含卷積計算的前饋神經(jīng)網(wǎng)絡(luò),由不同的卷積層連接組成[20]。它的人工神經(jīng)元可以同其附近的部分單元相聯(lián)系,適用于對像素點多的大型圖像處理。卷積層的計算過程如圖3所示。
林火圖像輸入卷積神經(jīng)網(wǎng)絡(luò)后經(jīng)過不同的權(quán)值產(chǎn)生不同通道的特征圖,一幅圖像的每一個通道用一個矩陣來表示,矩陣上的每一個點用該點的像素值來表示,因此當(dāng)一幅圖像有多個通道時,就會產(chǎn)生多層的特征圖。對于本研究中的林火圖像,采用的是RGB三通道,因此具有3層的特征圖。圖3中左側(cè)的特征圖下表示輸入圖像的像素矩陣和特征圖的通道數(shù)。對于本研究使用的SSD模型輸入的林火圖像產(chǎn)生的特征圖規(guī)格為300×300×3。特征圖輸入后由卷積核進(jìn)行卷積,每一層卷積核的尺寸不同,但是維度與特征圖通道數(shù)相同[21]。每一個卷積核都有著不同的作用,如提取邊緣特征或顏色。在進(jìn)行林火特征提取時,主要由VGG16網(wǎng)絡(luò)內(nèi)各層大量的卷積核進(jìn)行卷積運算,提取出森林火災(zāi)中火焰不同于背景的顏色特征、紋理特征等,作為后期目標(biāo)識別的基礎(chǔ)。最終的輸出特征圖由卷積核滑動生成的特征矩陣加上偏置b1、b2,經(jīng)由激活函數(shù)ReLU激活后生成的,其中每一個通道都是由權(quán)值矩陣滑動提取,因此通道數(shù)與卷積核的數(shù)目相等。
本研究在構(gòu)建SSD目標(biāo)檢測模型時,繼承了原模型的骨干網(wǎng)絡(luò)VGG16作為特征提取網(wǎng)絡(luò),同時做了以下改進(jìn):去除網(wǎng)絡(luò)中的dropout層,采用權(quán)重衰減來防止過擬合,即在梯度下降的過程中,使權(quán)重逐漸減小,從而降低模型的復(fù)雜度,提高模型在不同場景下的泛化能力。對原模型中固定的學(xué)習(xí)率策略進(jìn)行優(yōu)化,添加學(xué)習(xí)率的動態(tài)下降,這將會使模型趨近最優(yōu)值時減小震蕩,從而更順利地收斂。對用來篩選默認(rèn)框與所有真實框之間重疊程度的閾值進(jìn)行了調(diào)整,將閾值從原模型的0.5提升到0.8,這使得模型會篩選掉一些置信度較低的目標(biāo),從而降低了模型對林火檢測的誤報率。綜上,經(jīng)過對模型的改進(jìn)精簡了模型結(jié)構(gòu),增強了模型在多場景的泛化能力,使模型在梯度下降過程中更容易地求解最優(yōu)值,一定程度上提高了模型的識別準(zhǔn)確率。
1.3.2 模型損失函數(shù)的選擇和設(shè)計
SSD模型的損失函數(shù)(L)由位置損失(Lloc)和置信度損失(Lconf)兩部分加權(quán)求和取得[22]。計算公式如下:
式中:c為置信度;l為預(yù)測框;g為真實框;x為預(yù)測框與真實框關(guān)于類別是否匹配,取值為{0,1};N代表匹配到真實框的預(yù)測框數(shù)量;α表示位置損失的權(quán)重,其大小決定了兩種損失之間的比例,通常情況下設(shè)為1。通過SSD目標(biāo)檢測網(wǎng)絡(luò),對輸入的森林火災(zāi)火源點進(jìn)行學(xué)習(xí)特征,需要運用損失函數(shù)進(jìn)行分類和位置的定位。常見的位置損失函數(shù)有均方誤差(MSE)、平均絕對誤差(MAE)以及光滑后的L1-loss(SmoothL1)[23]。
MSE損失函數(shù)的特點是求導(dǎo)得出的解比較穩(wěn)定,缺陷是梯度不穩(wěn)定,極端情況下會導(dǎo)致梯度爆炸,使得SSD網(wǎng)絡(luò)訓(xùn)練過程中無法繼續(xù)學(xué)習(xí)數(shù)據(jù)中的特征,甚至出現(xiàn)無法再更新的NAN(運算不能執(zhí)行)權(quán)重值。MAE損失函數(shù)曲線呈V字形,其特點是梯度穩(wěn)定,然而MAE損失曲線在中心點處不可導(dǎo),不利于求最優(yōu)解。因此,MSE和MAE兩種損失函數(shù)在整個訓(xùn)練過程中并不總是最優(yōu)選擇,在利用SSD模型進(jìn)行林火的目標(biāo)檢測時并不是最優(yōu)解。SmoothL1 損失函數(shù)(fSmoothL1)結(jié)合了MSE和MAE損失函數(shù)的優(yōu)勢,其計算公式如下[24]:
SmoothL1相較于MAE和MSE損失函數(shù)的最大優(yōu)勢在于其對梯度的限制,即使預(yù)測框與實際位置相交部分很小甚至不相交,但SmoothL1下此時的梯度起伏較小,這就使得梯度不至于過大導(dǎo)致梯度爆炸;當(dāng)預(yù)測框與真實框差別較小時,此時梯度不再是穩(wěn)健的值,曲線變?yōu)楣饣模阌谟嬎銠C進(jìn)行求導(dǎo)計算,把梯度值降到足夠小,使模型在后期可以更好地收斂,獲得更加理想的學(xué)習(xí)效果。因此本研究選用SmoothL1作為位置損失(location loss)來表示真實框和候選框(先驗框)參數(shù)之間的損失,其計算公式如下[25]:
式中:x(k,ij)表示序號為i的預(yù)測框與序號為j的真實框關(guān)于類別k的匹配程度,取值為{0,1},(xc,yc)代表默認(rèn)框的中心,w和h則分別代表默認(rèn)框的寬和高,P表示正樣本。在初始訓(xùn)練時,錨框和真實框的偏差較大,即l(m,i)-?(m,j)損失的梯度會非常大,影響訓(xùn)練過程。因此本研究使用SmoothL1作為損失函數(shù),一方面防止在訓(xùn)練初期出現(xiàn)梯度爆炸,另一方面在訓(xùn)練后期降低梯度,使得模型更好地收斂。
此外,置信度損失Lconf也是損失函數(shù)[26]的組成部分,其計算公式如下:
式中,i表示第i個預(yù)測框?qū)ο鄳?yīng)類別k的預(yù)測概率。因此公式的前半部分表示正樣本(P)的損失,即預(yù)測框匹配到待識別類別k的損失;公式的后半部分則表示負(fù)樣本(N)的損失,即分類為背景的損失。由公式(4)可知,預(yù)測框內(nèi)有物體且與真實框關(guān)于類別k的預(yù)測概率越大,損失越小,同理當(dāng)預(yù)測框內(nèi)沒有物體且匹配到背景的預(yù)測概率越高,損失也越小。綜上,位置損失Lloc和置信度損失Lconf按照不同的權(quán)重組成模型的損失函數(shù),同時由于損失函數(shù)與預(yù)測概率的相關(guān)性,損失函數(shù)曲線通常作為模型訓(xùn)練和評估階段的一個重要參數(shù)。
1.4 模型訓(xùn)練與模型生成
1.4.1 模型訓(xùn)練環(huán)境
在Ubuntu20.04.2LTS操作系統(tǒng)下基于TensorFlow深度學(xué)習(xí)框架訓(xùn)練并評估,為縮短同等狀況下訓(xùn)練的時間,升級顯卡的Driver Version至當(dāng)前顯卡的最新版本,采用GPU并行加速訓(xùn)練,模型運行環(huán)境平臺的基本配置GPU為NVIDIA GeForce GTX 950M,GPU加速庫為CUDA9.0,Python版本為3.5.6。
1.4.2 超參數(shù)的設(shè)置
超參數(shù)是在訓(xùn)練開始前人為設(shè)定的模型參數(shù),理想的超參數(shù)有助于模型的收斂以及識別精度的提高。使用了adam(隨機梯度下降)優(yōu)化器,融合了AdaGrad和RMSProp兩種優(yōu)化器算法的優(yōu)點,使用動量和自適應(yīng)學(xué)習(xí)率來加快收斂速度,降低內(nèi)存需求的同時,對超參數(shù)具有很好的解釋型,使得在訓(xùn)練過程中只需微調(diào)甚至無需調(diào)整。超參數(shù)的選擇一般根據(jù)經(jīng)驗來確定,本研究通過實驗前的多次預(yù)實驗結(jié)果確定超參數(shù)的理想設(shè)定范圍。訓(xùn)練共迭代了20 000步,其中部分重要超參數(shù)的設(shè)定如下:學(xué)習(xí)率(learning rate)設(shè)置為1×10-3,最大迭代次數(shù)(max epoch)設(shè)置為20 000,批次大?。╞atch size)設(shè)置為16,權(quán)重衰減(weight_decay)設(shè)置為5×10-4。
初始學(xué)習(xí)率為0.001,本研究訓(xùn)練過程中設(shè)置了學(xué)習(xí)率的動態(tài)下降,而非固定的學(xué)習(xí)率,這使模型在趨近最優(yōu)點時不會產(chǎn)生較大的震蕩,可以順利地收斂。
1.4.3 模型生成
經(jīng)過20 000次迭代之后,可以得到若干輪訓(xùn)練過程中保存的模型文件,將TensorFlow計算圖的結(jié)構(gòu)、斷點文件列表、網(wǎng)絡(luò)權(quán)值等保存以便后期訓(xùn)練或調(diào)用。本研究選取20 000步訓(xùn)練結(jié)束后保存的模型文件作為最優(yōu)模型進(jìn)行后續(xù)的調(diào)用和評估,獲得的ckpt文件可以調(diào)用進(jìn)行林火識別的檢測,識別結(jié)果可作為模型的初步評估參考。
1.5 模型評估
1.5.1 模型的初步評估
模型的初步評估可以通過特征圖可視化以及對測試集中的林火圖像進(jìn)行測試獲得。通過加載模型對模型未學(xué)習(xí)過的森林火災(zāi)疑似圖像進(jìn)行目標(biāo)檢測,可以得到模型給出的目標(biāo)預(yù)測邊界框以及該目標(biāo)屬于森林火災(zāi)特征的分類概率,即置信度。置信度越大,表明模型對森林火災(zāi)的特征越敏感[27]。模型對目標(biāo)特征的敏感程度還可以通過特征圖來直觀衡量,將特征提取之后的特征圖可視化,可以直觀地評估模型對火焰的敏感程度。為方便觀察模型的預(yù)測范圍和實際特征范圍的區(qū)別,將模型的檢測結(jié)果和標(biāo)注結(jié)果進(jìn)行可視化,在火災(zāi)圖像上進(jìn)行位置對比,可以初步評估模型對火焰特征的識別效果。
1.5.2 模型的參數(shù)評估
模型的精準(zhǔn)評估可以通過模型訓(xùn)練過程中的參數(shù)變化來衡量模型的質(zhì)量。首先是訓(xùn)練過程中Loss值的變化,損失函數(shù)是用來估量模型的輸出和真實值之間的差距,理想狀態(tài)下模型的Loss值隨著迭代次數(shù)的增加呈下降趨勢。本研究通過對模型的交叉熵?fù)p失、位置損失以及Loss值進(jìn)行可視化繪圖,來評估訓(xùn)練過程中模型學(xué)習(xí)特征效果的變化。目標(biāo)檢測模型評估的另一個重要參數(shù)是平均識別精度(mean average precision,mAP),即各類別平均精度的平均值,mAP在P-R曲線[precision-recall curve,精確度(P)-召回率(R)]中的表現(xiàn)是精確度關(guān)于召回率函數(shù)曲線與坐標(biāo)軸0~1范圍圍成的曲線面積。其中精確度和召回率的計算公式如下[28]:
式中:P為精確度;R為召回率;TP為真實情況下發(fā)生森林火災(zāi)并且模型也將其分為林火的樣本;FN為真實情況下為林火但將其識別為未發(fā)生林火的樣本;FP表示真實情況下沒有發(fā)生火災(zāi)模型將其歸類為發(fā)生火災(zāi)的樣本。各類別平均精度的平均值越高,代表模型的性能越好,對火災(zāi)特征的檢測更趨近于理想的結(jié)果[29]。最后漏檢率也是一個重要指標(biāo),表示為實際存在的目標(biāo)但模型未能檢出的樣本占總體目標(biāo)數(shù)量的比例,在森林火災(zāi)識別領(lǐng)域非常重要,因為其代表了模型是否能準(zhǔn)確發(fā)現(xiàn)所有火源點的性能。
1.5.3 不同模型之間的比較
通過對原模型同改進(jìn)后的SSD目標(biāo)檢測模型進(jìn)行對比,可以直觀地看出模型改進(jìn)后在識別精度上的提高。同時通過對SSD模型和Faster R-CNN模型之間進(jìn)行橫向?qū)Ρ龋谙嗤渲铆h(huán)境、相同數(shù)據(jù)集的基礎(chǔ)上兩種模型對于火焰的平均識別精度以及識別速度方面進(jìn)行對比,進(jìn)一步驗證本研究提出的基于SSD算法的目標(biāo)檢測模型在識別森林火災(zāi)領(lǐng)域的適用性和相對Faster R-CNN算法的優(yōu)勢。
2 結(jié)果與分析
2.1 模型特征圖生成
搭建的SSD模型采用VGG16網(wǎng)絡(luò)作為特征提取器提取火焰的顏色特征、紋理特征等,通過對網(wǎng)絡(luò)不同層特征圖可視化能夠更直觀地了解模型在不同深度的卷積層對林火特征的學(xué)習(xí)程度。本研究選取了特征提取網(wǎng)絡(luò)的第1層、第3層、第6層以及第16層卷積生成的特征圖進(jìn)行可視化,同時為了更明確地對不同層的特征圖進(jìn)行對比,將各個層輸出的特征圖進(jìn)行了融合,如圖4所示。
特征提取網(wǎng)絡(luò)的第1層卷積具有64個卷積核,每一個卷積核完成對圖像的掃描都會生成1個特征圖,因此輸入圖像經(jīng)過第1層卷積輸出為64副特征圖,同理第3層、第6層及第16層分別輸出128副、256副和512副特征圖。由圖4中融合之后的特征圖可以得出:第1層和第3層特征圖能夠較為清晰地展現(xiàn)出火點的紋理、形狀等,保留了數(shù)據(jù)的細(xì)節(jié),這反映出淺層的卷積神經(jīng)網(wǎng)絡(luò)提取的特征傾向于紋理、邊緣等數(shù)據(jù)的顆粒度信息,特征更加具象化;隨著網(wǎng)絡(luò)層數(shù)的加深,第6層及第16層特征圖的分辨率逐漸下降,這是由于深層神經(jīng)網(wǎng)絡(luò)提取的特征偏向于圖像整體性的信息提取,傾向于更加抽象的語義信息,同時對火焰的針對性更強。這表明模型正確提取了林火圖像中的火災(zāi)特征,并對其有了初步感應(yīng),模型的識別精度有了初步的特征支撐。
2.2 模型識別的初步評估
調(diào)用訓(xùn)練生成的模型對林火圖像數(shù)據(jù)進(jìn)行檢測,對模型進(jìn)行初步評估。待檢測數(shù)據(jù)分為兩種:一是背景簡單且只有一個火點的林火圖像,二是具有多個火點且其中包括背景復(fù)雜或被遮擋的火焰特征點圖像。檢測數(shù)據(jù)集中隨機選取兩種數(shù)據(jù)以評估模型在不同場景下對火災(zāi)的檢測能力,識別結(jié)果分別如圖5所示。
本實驗對于不同場景下森林火災(zāi)的圖像具有理想的識別效果,尤其是在單火點的情景下效果更佳。識別結(jié)果中可以看出,單一火點下的置信度可以達(dá)到100%。在多個火點以及背景稍復(fù)雜的情景下,置信度略低,但邊界框的標(biāo)注仍比較準(zhǔn)確,識別效果較為理想。
在實際的森林火災(zāi)檢測中,由于森林郁閉度較高或有煙霧的干擾,火點的火焰部分往往會受到遮擋,從而影響檢測結(jié)果。為測試模型在以上場景下的抗干擾能力,本研究選取了火焰遭受森林不同程度遮擋的圖像用來模擬森林郁閉度較高時對檢測準(zhǔn)確率的影響,此外也對有煙霧干擾的林火圖像進(jìn)行了檢測,結(jié)果如圖6所示。
由圖6b及圖6c可知,當(dāng)林火發(fā)生森林的郁閉度較高或者有煙霧干擾導(dǎo)致火焰部分遭受一定程度的遮擋時,模型對于火點檢測的置信度會有一定程度的下降,分別為96.5%及96.2%,低于模型對林火的平均識別精度97.40%。極端情況下當(dāng)森林的郁閉度達(dá)到高水平時遮擋了大部分的火焰時,影響了模型對火焰特征的提取,如圖6a所示,其置信度為80.4%。因此在林火的火焰遇到較大遮擋(郁閉度較高)以及煙霧的干擾時,模型對于森林火災(zāi)的識別精度會有一定程度的降低,但總體能達(dá)到80%以上的置信度,反映出模型具備一定的泛化能力,對非理想情境下的林火檢測具有一定的適用性。
對空曠條件以及遮擋條件下模型的預(yù)測結(jié)果進(jìn)行可視化,其真實框和預(yù)測框的位置對比如圖7所示。
模型檢測結(jié)果中真實框與預(yù)測框重合度越高,模型對目標(biāo)范圍的檢測越精準(zhǔn)。本研究對模型的識別結(jié)果進(jìn)行了可視化處理,一方面在測試集圖像上標(biāo)出了真實框和預(yù)測框,在同一張森林火災(zāi)圖像上可以更加顯著地看出模型預(yù)測目標(biāo)范圍和人眼識別目標(biāo)范圍的差別;另一方面對模型識別火焰的精度AP及漏檢率等參數(shù)進(jìn)行計算并做了可視化處理。
由圖7可以看出,模型對于FLAME數(shù)據(jù)集上火源點的識別可以達(dá)到一個較為精確的效果,模型通過學(xué)習(xí)火焰特征給出的預(yù)測框的位置和人眼識別并標(biāo)定的真實框的位置在測試集上基本重合,對于較小的火源目標(biāo)也可以識別出火焰特征。另外,中間下方位置出現(xiàn)的紅色識別框代表模型識別出林火但與實際情況不匹配,可以看出紅色框內(nèi)是火焰燃燒過后的剩余物。在標(biāo)定過程中并未針對燃燒剩余物進(jìn)行專門標(biāo)注,僅在標(biāo)注火焰時部分包含,但是模型在訓(xùn)練過程中學(xué)習(xí)了這一部分特征,并且在測試時成功檢測,表明本模型對于森林火災(zāi)發(fā)生過后的過火場景有一定的判別能力,可能發(fā)生正常情況下的誤判。
2.3 模型識別的參數(shù)評估
對模型參數(shù)進(jìn)行了評估,在數(shù)據(jù)集的設(shè)置上借鑒了SSD模型在Pascal VOC 2007數(shù)據(jù)集上的訓(xùn)練及評估方法,對模型的各項參數(shù)進(jìn)行分析。首先對模型的Loss值進(jìn)行分析,本實驗?zāi)P偷慕徊骒負(fù)p失、位置損失以及Loss值隨迭代次數(shù)變化的曲線見圖8。
通過損失值隨訓(xùn)練過程的曲線變化圖可以看出模型的收斂情況,訓(xùn)練神經(jīng)網(wǎng)絡(luò)的理想過程就是通過訓(xùn)練使得Loss值不斷變小的過程。從圖8a可以看出交叉損失隨著訓(xùn)練步數(shù)的增加逐漸減小,在神經(jīng)網(wǎng)絡(luò)中,softmax()的作用是將原始輸出值經(jīng)過計算處理后得到一個概率值。而交叉熵實際上反映了實際概率與期望概率之間的距離。因此交叉熵?fù)p失逐漸減小意味著模型的識別精度逐漸提高。此外location_loss(位置損失)和總體Loss值也在逐漸減小,這代表預(yù)測框與真實框位置之間的差值越來越小。從圖8b看出,隨著訓(xùn)練步數(shù)的迭代,模型的損失值由訓(xùn)練初期的35.31逐漸下降,且下降速度逐漸減小,最后穩(wěn)定在7.10左右,模型收斂后識別精度也達(dá)到較高水平。
隨著訓(xùn)練的迭代,損失值呈總體下降趨勢是一個理想的狀態(tài)。此外,還對于目標(biāo)類別的識別精度AP進(jìn)行了計算和可視化處理。將精準(zhǔn)度和召回率分別作為坐標(biāo)x和y軸的取值繪圖得到P-R曲線如圖9a所示。
由圖9a可以看出,模型的P-R曲線與坐標(biāo)軸所圍成的面積包含了坐標(biāo)軸0到1圍成的正方形面積的大部分,兩者的比值即為本模型對林火的識別精度(AP),模型的平均識別精度(mAP)是一個能準(zhǔn)確反映模型優(yōu)劣的參數(shù),經(jīng)計算可知mAP為97.40%,因此本模型可以滿足大部分場景下對森林火災(zāi)初期的識別檢測精度要求。通過計算未檢測出的火焰特征樣本占總樣本的比值可以得出漏檢率,由圖9b可以看出,模型對于疑似火災(zāi)特征的圖像漏檢率僅為0.03,證明模型對于火焰特征較為敏感,未檢測出的樣本占比很少。因此在實際的林火檢測過程中可以保證較高的林火識別優(yōu)勢。
2.4 不同模型之間的性能對比
為驗證本研究所提出的SSD模型在識別森林火災(zāi)特征方面的性能,在相同的實驗環(huán)境下,基于相同的訓(xùn)練集、測試集和驗證集,采用原始SSD模型和Faster R-CNN模型以mAP值和每張測試圖片的平均檢測時間為指標(biāo)進(jìn)行比較,其中Faster R-CNN模型指定PASCAL VOC07+12格式的數(shù)據(jù)集進(jìn)行訓(xùn)練,并未使用coco格式的數(shù)據(jù)集,結(jié)果如表1所示。
由表1可以看出,改進(jìn)后的SSD模型在檢測時間和原始SSD持平的前提下,其平均識別精度提高了6.65%,因此對森林火災(zāi)有著更高的檢測精度。另外基于改進(jìn)SSD的森林火災(zāi)目標(biāo)檢測模型,
在模型間橫向?qū)Ρ鹊脑u估效果上有著不弱于二階模型Faster R-CNN的mAP,識別精度可以達(dá)到理想的效果,但在小目標(biāo)的檢測效果上,F(xiàn)aster R-CNN給出的預(yù)測框具有更高的置信度。此外,SSD模型對測試圖片的平均檢測時間僅為0.07 s,調(diào)用模型時的檢測效率遠(yuǎn)高于使用Faster R-CNN模型,這在應(yīng)用到實際情境中時體現(xiàn)得尤為明顯。在面對無人機傳回的大量疑似森林火災(zāi)的圖像時,SSD模型更高的檢測速率可以保證森林火災(zāi)識別對高效率的要求。相較于二階模型的高精度、相對較低效率,本研究提出的SSD模型不僅保證了較高精度,在每秒的數(shù)據(jù)處理量上更是超過Faster R-CNN模型的5倍,這使得在同等條件下,該模型可以更快地識別出可疑的火災(zāi)圖像,大大縮短了森林火災(zāi)發(fā)生到被發(fā)現(xiàn)的時間,降低了易蔓延且破壞能力強的森林火災(zāi)短時間內(nèi)迅速增大過火面積的可能性。因此本研究提出的模型在檢測森林火災(zāi)時能夠為救火人員及時提供預(yù)警方面的信息,具有較好的應(yīng)用潛力。
3 討 論
借助無人機俯拍視角下的森林火災(zāi)圖像建立林火數(shù)據(jù)集,通過圖像方面的目標(biāo)檢測在已有數(shù)據(jù)集上實現(xiàn)了對早期森林火災(zāi)的檢測,并在多個場景下的識別達(dá)到了90%以上的識別準(zhǔn)確率。實驗過程中超參數(shù)的設(shè)置對實驗結(jié)果有著顯著的影響,當(dāng)學(xué)習(xí)率從0.001調(diào)整為0.01時,Loss值在1.34到95.37之間跳躍,模型無法收斂,導(dǎo)致無法獲取有效檢測森林火災(zāi)的模型;另外,批次大小設(shè)置為2或4,每個批次中的數(shù)據(jù)量較少,引入了較大的隨機性,同樣無法收斂,設(shè)置為16時使下降方向準(zhǔn)確,震蕩較小。理想的超參數(shù)能夠推動模型的收斂,本研究對超參的設(shè)置可為相關(guān)實驗提供一定的參考。此外,采用了權(quán)重衰減來防止過擬合,保證了模型在多個場景下的識別能力,在模擬森林郁閉度較高、有煙霧干擾等對火焰遮擋較大的場景下仍能達(dá)到80%以上的置信度,反映出模型具有一定的抗環(huán)境干擾能力,為不同場景下的森林火災(zāi)檢測提供一定的參考。
高桂雨等[30]基于目標(biāo)檢測SSD算法對森林火災(zāi)監(jiān)測模型進(jìn)行研究,選取損失值最小的模型進(jìn)行評估,經(jīng)測試其模型對森林航拍圖像數(shù)據(jù)集中火焰的檢測平均準(zhǔn)確率為93%。由于在超參數(shù)設(shè)置時將學(xué)習(xí)率設(shè)定偏大,雖然加快了訓(xùn)練過程使模型收斂的過程縮短,但是一定程度上犧牲了對目標(biāo)的平均準(zhǔn)確率。對比其基于SSD算法實現(xiàn)的對森林火災(zāi)圖像的檢測研究,本研究采用了學(xué)習(xí)率的動態(tài)下降,避免了模型在趨近最優(yōu)值時因震蕩過大而無法收斂,保證了模型的檢測精度,最終得到針對林火的平均識別精度為97.40%,并且對模型各項參數(shù)的評估方面更加完善。然而本研究提出的基于SSD模型對林火特征進(jìn)行識別的方法在針對林火圖像中的微小單一火源點以及多火源點識別精度時相對較低,F(xiàn)aster R-CNN模型卻可以給出較高的置信度,且針對該特征的漏檢率較低,因此可以借鑒Faster R-CNN模型優(yōu)越的小目標(biāo)識別能力在現(xiàn)有基礎(chǔ)上對模型進(jìn)行改進(jìn),提高模型對于多目標(biāo)小目標(biāo)檢測的能力。此外也可以建立林火檢測系統(tǒng),將SSD模型和Faster R-CNN模型嵌入,設(shè)定閾值使計算機在不同的場景下選擇合適的目標(biāo)檢測模型,從而彌補單模型下的精度檢測劣勢。
4 結(jié) 論
1)基于深度學(xué)習(xí)的SSD目標(biāo)檢測算法對森林火災(zāi)的識別準(zhǔn)確率達(dá)到97.40%,漏檢率低至0.03,說明基于SSD模型的林火圖像識別能夠?qū)崿F(xiàn)對早期森林火災(zāi)的準(zhǔn)確監(jiān)測。
2)聯(lián)合無人機平臺對林火圖像數(shù)據(jù)的實時傳輸,本研究提出的基于SSD算法的林火檢測模型對火災(zāi)圖像的平均檢測速度為0.07張/s,將其應(yīng)用在大尺度待檢測范圍以及大批量數(shù)據(jù)處理時該模型優(yōu)勢尤為明顯,能夠在更短的時間內(nèi)處理獲取的火災(zāi)圖像數(shù)據(jù),提高森林火災(zāi)監(jiān)測預(yù)防的自動化水平,為森林火災(zāi)預(yù)防的數(shù)字化和自動化提供了參考。
參考文獻(xiàn)(reference):
[1]國家統(tǒng)計局.中國統(tǒng)計年鑒[M].北京:中國統(tǒng)計出版社,2020:259. National Bureau of Statistics. China Statistical Yearbook[M]. Beijing: China Statistics Press, 2020: 259.
[2]李賓. 面向森林火災(zāi)的煙霧檢測系統(tǒng)的設(shè)計與開發(fā)[D].青島:山東科技大學(xué), 2018. LI B. Design and development of smoke detection system for forest fire[D]. Qingdao: Shandong University of Science and Technology, 2018. DOI:10.27275/d.cnki.gsdku.2018.000552.
[3]GIGLIO L, DESCLOITRES J, JUSTICE C O, et al. An enhanced contextual fire detection algorithm for MODIS [J]. Remote Sensing of Environment, 2003, 87(2/3): 273-282.
[4]付迎春,徐頌軍,陳蜜.基于MODIS影像梯度的林火邊界提取方法[J].林業(yè)科學(xué),2008,44(7):56-61. FU Y C, XU S J, CHEN M. Extraction of forest fire edge line based on MODIS imagery gradient [J].Scientia Silvae Sinicae, 2008,44(7):56-61.
[5]楊光,寧吉彬,舒立福,等.黑龍江大興安嶺衛(wèi)星熱點預(yù)報森林火災(zāi)準(zhǔn)確性研究[J].北京林業(yè)大學(xué)學(xué)報,2017,39(12):1-9.YANG G, NING J B, SHU L F, et al. Study on the accuracy of forest fire prediction by satellite hot spots in Daxing’an Mountains of Heilongjiang,northeastern China [J]. Journal of Beijing Forestry University, 2017,39(12):1-9. DOI:10.13332/j.1000-1522.20170147.
[6]單會見. 基于無人機的林火識別和定位算法研究 [D].杭州:浙江農(nóng)林大學(xué), 2019. SHAN H J. Research on forest fire identification and location algorithm based on UAV[D]. Hangzhou: Zhejiang Agriculture and Forestry University, 2019.
[7]馬越豪, 盧曉, 董佩, 等. 基于圖像特征的無人機火災(zāi)檢測 [J]. 消防科學(xué)與技術(shù), 2019, 38(5): 658-660. MA Y H, LU X, DONG P, et al. UAV fire detection based on image features[J]. Fire Science and Technology, 2019,38(5):658-660.
[8]孫鵬. 基于改進(jìn)SSD模型的小目標(biāo)檢測研究[D].南京:南京郵電大學(xué),2021. SUN P. Small object detection research via optimized SSD model[D].Nanjing: Nanjing University of Posts and Telecommunications,2021.
[9]王飛. 基于深度學(xué)習(xí)的森林火災(zāi)識別檢測系統(tǒng)的研究與實現(xiàn) [D].成都:電子科技大學(xué), 2020. WANG F. Research and implementation of forest fire detection system based on deep learning [D]. Chengdu: University of Electronic Science and Technology of China, 2020.
[10]劉青, 劉志國, 劉守全, 等. 基于改進(jìn)YOLOv3的無人機林火監(jiān)測系統(tǒng)設(shè)計與實現(xiàn) [J]. 消防科學(xué)與技術(shù),2021, 40(4): 557-561. LIU Q, LIU Z G, LIU S Q, et al. Design and implementation of UAV forest fire monitoring system based on improved YOLOv3 [J].Fire Science and Technology,2021,40(4):557-561.
[11]傅天駒. 基于深度學(xué)習(xí)的林火圖像識別算法及實現(xiàn) [D].北京: 北京林業(yè)大學(xué), 2016. FU T J. Forest fire image recognition algorithm and realization based on deep learning [D]. Beijing: Beijing Forestry University, 2016.
[12]陳燕紅. 基于卷積神經(jīng)網(wǎng)絡(luò)的無人機森林火災(zāi)檢測研究 [D].西安:西安理工大學(xué), 2019. CHEN Y H. Research on forest fire detection using unmanned aerial vehicles based on convolutional neural network [D]. Xi’an: Xi’an University of Technology, 2019.
[13]周浪, 樊坤, 瞿華, 等. 基于Sparse-DenseNet模型的森林火災(zāi)識別研究 [J]. 北京林業(yè)大學(xué)學(xué)報, 2020, 42(10): 36-44. ZHOU L, FAN K, QU H, et al. Forest fire identification based on Sparse-DenseNet model [J].Journal of Beijing Forestry University,2020,42(10):36-44.DOI: 10.12171/j.1000-1522.20190371.
[14]馬茂平. 基于特征顯著性增強的改進(jìn)SSD算法研究[D].成都:西南交通大學(xué),2021. MA M P. Research on improved SSD algorithm based on feature enhanced significantly[D]. Chengdu: Southwest Jiaotong University,2021.
[15]LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision. Cham: Springer, 2016: 21-37.
[16]李青援,鄧趙紅,羅曉清,等.注意力與跨尺度融合的SSD目標(biāo)檢測算法[J].計算機科學(xué)與探索,2022, 16(11):2575-2586. LI Q Y, DENG Z H, LUO X Q, et al. SSD object detection algorithm with attention and cross-scale fusion[J]. Journal of Frontiers of Computer Science and Technology,2022, 16(11):2575-2586.DOI:10.3778/j.issn.1673-9418.2102001.
[17]SHAMSOSHOARA A, AFGHAH F, RAZI A, et al. Aerial imagery pile burn detection using deep learning: the FLAME dataset [J]. Computer Networks, 2021, 193: 108001.
[18]劉嘉政,王雪峰,王甜.基于深度學(xué)習(xí)的樹種圖像自動識別[J].南京林業(yè)大學(xué)學(xué)報(自然科學(xué)版),2020,44(1):138-144.LIU J Z, WANG X F, WANG T. Automatic identification of tree species based on deep learning[J]. Nanjing For Univ(Nat Sci Ed),2020,44(1):138-144. DOI:103969/j.issn.1000-2006.201809004.
[19]齊浩. 基于SSD的目標(biāo)檢測算法及其應(yīng)用研究[D].邯鄲:河北工程大學(xué),2021. QI H. Research and application object detection algorithm based on SSD [D].Handan: Hebei University of Engineering,2021.
[20]張倩如,王云飛,呂帥朝,等.基于改進(jìn)GhostNet的小麥秸稈表皮結(jié)構(gòu)完整性分類方法[J].南京農(nóng)業(yè)大學(xué)學(xué)報,2022,45(4):788-798.ZHANG Q R,WANG Y F, LYU S C,et al.Integrity classification of wheat straw epidermis based on improved GhostNet[J].J Nanjing Agric Univ,2022,45(4):788-798.DOI: 10.7685/jnau.202108015.
[21]繆偉志,陸兆納,王俊龍,等.基于視覺的火災(zāi)檢測研究[J].森林工程,2022,38(1):86-92,100. MIAO W Z, LU Z N, WANG J L, et al. Fire detection research based on vision [J].Forest Engineering, 2022,38(1):86-92,100. DOI:10.16270/j.cnki.slgc.2022.01.007.
[22]LIU W, ANGUELOV D, ERHAN D, et al. Ssd: Single shot multibox detector[C]//Computer Vision-ECCV 2016: 14th European Conference, Amsterdam, The Netherlands. Springer International Publishing, 2016: 21-37.
[23]BAI G, HOU J, ZHANG Y, et al. An intelligent water level monitoring method based on SSD algorithm [J]. Measurement, 2021, 185: 110047.
[24]SUTANTO A R, KANG D K. A novel diminish smooth L1 loss model with generative adversarial network[C]//Intelligent Human Computer Interaction: 12th International Conference, IHCI 2020, Daegu, South Korea: Springer International Publishing, 2021: 361-368.
[25]張堅鑫,郭四穩(wěn),張國蘭,等.基于多尺度特征融合的火災(zāi)檢測模型[J].鄭州大學(xué)學(xué)報(工學(xué)版),2021,42(5):13-18. ZHANG J X, GUO S W, ZHANG G L, et al. Fire detection model based on multi-scale feature fusion [J]. J Zhengzhou Univ(Eng Sci), 2021,42(5):13-18.DOI:10.13705/j.issn.1671-6833.2021.05.016.
[26]張勇. 基于改進(jìn)型SSD的火焰及煙霧檢測系統(tǒng)的設(shè)計與實現(xiàn)[D].長沙:湖南師范大學(xué),2021. ZHANG Y. Design and implementation of fire and smoke detection system based on improved SSD [D].Changsha: Hunan Normal University,2021.
[27]張倩,周平平,王公堂,等.基于合成圖像的Faster R-CNN森林火災(zāi)煙霧檢測[J].山東師范大學(xué)學(xué)報(自然科學(xué)版),2019,34(2):180-185. ZHANG Q, ZHOU P P, WANG G T, et al. Faster R-CNN forest fire smoke detection based on synthetic images[J]. J Shandong Nor Univ(Nat Sci), 2019,34(2):180-185.
[28]陳瓊,謝家亮.基于自適應(yīng)采樣的不平衡分類方法[J].華南理工大學(xué)學(xué)報(自然科學(xué)版),2022,50(4):26-34,45. CHEN Q,XIE J L. An Imbalanced classification method based on adaptive sampling[J]. Journal of South China University of Technology(Natural Science Edition),2022,50(4):26-34,45.
[29]南玉龍, 張慧春, 鄭加強, 等. 深度學(xué)習(xí)在林業(yè)中的應(yīng)用 [J]. 世界林業(yè)研究, 2021, 34(5): 87-90. NAN Y L, ZHANG H C, ZHENG J Q, et al. Application of deep learning to forestry[J].World Forestry Research,2021,34(5):87-90.DOI:10.13348/j.cnki.sjlyyj.2021.0020.y.
[30]高桂雨,李丁祎,趙娟娟,等.基于目標(biāo)檢測SSD算法的森林火災(zāi)監(jiān)測模型研究[J].電腦知識與技術(shù),2022,18(2):13-14,23. GAO G Y, LI D Y, ZHAO J J, et al. Research on forest fire monitoring model based on object detection SSD algorithm[J]. Computer Knowledge and Technology, 2022, 18(2): 13-14,23. DOI:10.14004/j.cnki.ckt.2022.0061.DOI:10.14004/j.cnki.ckt.20220061.
(責(zé)任編輯 李燕文)