王新權(quán)， 李興東

(東北林業(yè)大學(xué)機(jī)電工程學(xué)院，黑龍江 哈爾濱 150040)

近年來森林火災(zāi)的發(fā)生愈演愈烈，已經(jīng)是一種全球范圍內(nèi)普遍存在的災(zāi)害。林火在短期內(nèi)可以迅速蔓延，期間存在突發(fā)性和不確定性，如果不能合理控制火勢的蔓延很容易誘發(fā)更大強(qiáng)度的燃燒，從而造成巨大的經(jīng)濟(jì)損失，因此有效地預(yù)測林火的蔓延過程能夠為林火的撲救提供重要保障[1]。在對火災(zāi)燃燒進(jìn)行檢測和信息采集的過程中，由于火場燃燒產(chǎn)生大量濃煙會對視覺傳感器造成影響，所以在空中或者地面都不能清晰地觀察到火災(zāi)的蔓延趨勢。林火產(chǎn)生和發(fā)展過程會伴隨可燃物的燃燒，可燃物燃燒產(chǎn)生大量的熱會使得地表形成熱異常，這就為無人機(jī)紅外遙感技術(shù)提供了可能[2]。林火蔓延是一個涉及許多潛在物理因素相互作用的復(fù)雜過程，針對目前林火蔓延的研究大多數(shù)還是基于隨機(jī)、物候和物理3類模型的研究[3]。這些模型需要考慮火場區(qū)域的影響因子較多，這增加了信息采集代價和計算代價[4]。并且火線蔓延模擬出的結(jié)果往往是幾小時后的蔓延狀態(tài)，火場區(qū)域內(nèi)可燃物正在燃燒還是未燃燒無法通過模擬得出，這樣不能滿足實時把控火場蔓延趨勢的需求，對實際的林火防控提供的價值十分有限[5]。

在這些問題的基礎(chǔ)上，需要一種能夠?qū)崟r預(yù)測林火蔓延過程的模型來保障火災(zāi)預(yù)防的有效實施。遞歸神經(jīng)網(wǎng)絡(luò)(RNN)是深度學(xué)習(xí)的一種有效方法，它通常計算一個隱藏狀態(tài)ht，作為它們在時間t時的輸入和之前的隱藏狀態(tài)ht-1的函數(shù)，通過順序結(jié)構(gòu)直接捕獲時間信息，所以RNN在連續(xù)序列的推理和預(yù)測方面仍是最有前途的模型之一。其中由RNN變體得到的長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)在處理和預(yù)測圖像幀序列方面取得了顯著的成果[6]。然而全連接長短期記憶神經(jīng)網(wǎng)絡(luò)(FC-LSTM)處理捕捉地是具有時間性質(zhì)的一維數(shù)據(jù)，無法反映空間狀態(tài)信息。在本文中林火蔓延的預(yù)測是針對圖像的預(yù)測，不僅涉及時間概念，同時還涉及空間概念。卷積長短期神經(jīng)網(wǎng)絡(luò)(Convlstm)在普通長短期記憶神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了卷積運算，使得模型可以提取圖像中空間維度上的信息，從而能夠敏銳地捕捉連續(xù)圖像中的動態(tài)變化[7]。但是Convlstm自身模型結(jié)構(gòu)受到限制，在訓(xùn)練時隨著迭代次數(shù)的增加，模型預(yù)測精度提高的程度是十分有限的，因為其性能嚴(yán)重依賴于超參數(shù)，然而超參數(shù)與結(jié)果之間缺乏精確的數(shù)學(xué)關(guān)系，為深度學(xué)習(xí)算法設(shè)置超參數(shù)的時往往使用經(jīng)驗論，對于超參數(shù)的選擇也沒有精確的準(zhǔn)則[8]。在設(shè)置固定經(jīng)驗值的條件下，模型在梯度下降的過程中容易陷入局部最優(yōu)解的境地，從而不利于模型精度的提高?；依莾?yōu)化算法(GWO)契合系統(tǒng)為非線性系統(tǒng)尋找最優(yōu)解的物理問題[9]。與其他智能優(yōu)化算法相比，GWO的特點是收斂速度快，不容易陷入局部最優(yōu)，需要調(diào)整的參數(shù)少，收斂因子的自適應(yīng)調(diào)整和信息反饋機(jī)制實現(xiàn)了局部優(yōu)化和全局搜索的平衡，故在產(chǎn)生精度效果和收斂速度方面有良好的表現(xiàn)[10]。在采用GWO優(yōu)化算法來優(yōu)化LSTM中時間步長、訓(xùn)練批次、隱藏層神經(jīng)元個數(shù)和學(xué)習(xí)率等超參數(shù)時，會使得模型上限獲得提高，從而讓LSTM的預(yù)測性能發(fā)揮最大化?；谏鲜鰡栴}和研究，本文在無人機(jī)采集的真實火場數(shù)據(jù)的基礎(chǔ)上，提出了一種結(jié)合灰狼優(yōu)化算法的卷積長短期記憶神經(jīng)網(wǎng)絡(luò)模型來預(yù)測實際的火場蔓延過程的方法。

1 無人機(jī)采集火場數(shù)據(jù)與數(shù)據(jù)處理

1.1 無人機(jī)采集火場數(shù)據(jù)

為了使預(yù)測具有真實性，我們通過無人機(jī)搭載的紅外相機(jī)對真實火場進(jìn)行數(shù)據(jù)采集，采集場景為點燒實驗現(xiàn)場如圖1所示。選取的可燃物為森林中常見的闊葉林、針葉林、楊樹葉等，在燃燒區(qū)域周圍放置4個溫度標(biāo)記點用作后期的透視變換。

圖1 點燒實驗現(xiàn)場

在進(jìn)行無人機(jī)數(shù)據(jù)采集的過程中，要保持地面端和無人機(jī)的數(shù)據(jù)傳輸和控制指令的交互，來保證實時采集到的信息質(zhì)量，如圖2所示。無人機(jī)主要搭載了工控機(jī)、紅外相機(jī)、路由器、可見光相機(jī)、網(wǎng)橋等，通過這些硬件來和與地面完成指令交互和信息傳輸功能。

圖2 地面和空中交互

紅外相機(jī)拍攝的每兩張相鄰的紅外圖像幀間隔為1 s。共完成了8組點燒實驗，其中7組點燒實驗作為模型的訓(xùn)練集，1組實驗用作模型的最終預(yù)測測試。

1.2 數(shù)據(jù)處理

無人機(jī)在空中拍攝過程中，拍攝視角以及無人機(jī)發(fā)生的抖動會造成視角偏差，這樣得到的數(shù)據(jù)不但會增添不利信息因素，還會影響模型預(yù)測的整體精度[11]?？紤]無人機(jī)視覺偏差的產(chǎn)生，我們采用透視變換來減少不利影響。透視變換公式見公式1。

(1)

式中：x′，y′為透視變換后的坐標(biāo)，u，v為原像素坐標(biāo)，x，y為實際坐標(biāo)，aij為方程系數(shù)。透視變換在紅外圖像中的應(yīng)用如圖3所示，通過圖3可以清楚看到透視變換前后的差距。

圖3 透視變換在紅外圖像中的應(yīng)用

2 灰狼優(yōu)化算法

2.1 灰狼優(yōu)化算法的定義

為在灰狼優(yōu)化算法中，將狼群抽象為搜尋最優(yōu)目標(biāo)解的點。其中狼群分為了α、β、δ和ω4個等級，離目標(biāo)解最近的為α，它起到的引領(lǐng)各個狼的捕捉路線。β，δ相比α起到的作用相對下降，主要是用來輔助α狼捕捉目標(biāo)。ω代表除α，β和δ的其余狼，ω受到α、β、δ的指引來完成相對位置的更新和絕對位置的更新。狼群在等級邏輯關(guān)系中通過設(shè)置的迭代次數(shù)來逐漸逼近目標(biāo)獵物，減少陷入局部最優(yōu)解的可能性，從而完成尋找全局最優(yōu)目標(biāo)的任務(wù)[12]。

2.2 灰狼優(yōu)化算法原理

在一次迭代過程中，最重要的環(huán)節(jié)就是狼群的位置變動。個體灰狼在向目標(biāo)靠近時的行為可以通過公式2和公式3來實現(xiàn)。

D=|C·Xp(t)-X(t)|

(2)

X(t+1)=Xp(t)-A·D

(3)

C=2·r1

(4)

A=2a·r2-a

(5)

式中：D為狼與目標(biāo)最優(yōu)解的距離；t為第t次迭代次數(shù)；X(t)為灰狼在第t次迭代的位置向量；X(t+1)為下一次迭代更新后灰狼的位置向量；Xp(t)代表當(dāng)前目標(biāo)位置向量。C和A和代表系數(shù)向量，r1和r2代表的隨機(jī)數(shù)是0～1，a作為收斂因子隨著迭代次數(shù)逐漸上升而由2趨向0。C作為灰狼的搜尋范圍，提供了隨即權(quán)重來阻礙灰狼快速接近目標(biāo)。A的存在減少了陷入局部最優(yōu)解的可能性，同時兼顧局部最優(yōu)解的搜尋和全局最優(yōu)解的搜尋，當(dāng)|A|>1灰狼會去搜尋其他目標(biāo)而遠(yuǎn)離當(dāng)前目標(biāo)，當(dāng)|A|<1時灰狼會向當(dāng)前目標(biāo)靠近。通過公式2可以得出當(dāng)前目標(biāo)與個體灰狼之間的距離，通過公式3來更新個體灰狼的位置?；依莾?yōu)化算法的迭代流程圖如圖4所示。

圖4 灰狼優(yōu)化算法的迭代流程

灰狼在搜尋目標(biāo)最優(yōu)解的過程中，并不是知道目標(biāo)的所在位置，故通過α，β和δ三個適配度最高的灰狼來替代目標(biāo)最優(yōu)解來引導(dǎo)ω狼向目標(biāo)解接近，運算步驟通過公式5，公式6和公式7計算。公式7代表ω狼的最終位置。

Dα=|C1·Xα-X|
Dβ=|C2·Xβ-X|
Dδ=|C3·Xδ-X|

(5)

X1=Xα-A1·Dα
X2=Xβ-A2·Dβ
X3=Xδ-A3·Dδ

(6)

(7)

式中：C1，C2和C3為隨即向量，X為ω狼(個體灰狼)的當(dāng)前位置，Xα，Xβ和Xδ分別代表α，β和δ的當(dāng)前位置，Dα，Dβ和Dδ分別代表α，β和δ與ω狼的距離，X1，X2和X3代表ω狼向α，β和δ移動的距離和方向。如圖5所示狼群搜尋目標(biāo)最優(yōu)解和位置更新示意圖。

圖5 狼群搜尋目標(biāo)最優(yōu)解和位置更新示意圖

2.3 灰狼優(yōu)化算法優(yōu)化超參數(shù)

神經(jīng)網(wǎng)絡(luò)的性能很大程度上受訓(xùn)練批次、時間步長、學(xué)習(xí)率和隱藏層神經(jīng)元個數(shù)等超參數(shù)的影響，這些超參數(shù)往往是由經(jīng)驗值確定的固定的值。超參數(shù)可以作為灰狼優(yōu)化算法中不同種群的狼群，在設(shè)定的范圍內(nèi)搜尋合適的超參數(shù)使得模型預(yù)測精度更好，從而動態(tài)地優(yōu)化超參數(shù)來提高神經(jīng)網(wǎng)絡(luò)的預(yù)測效果?？紤]到灰狼優(yōu)化算法結(jié)合的神經(jīng)網(wǎng)絡(luò)模型是長短期記憶神經(jīng)網(wǎng)路以及預(yù)測對象是具有時間性質(zhì)的二維數(shù)據(jù)，故訓(xùn)練批次、時間步長和隱藏層神經(jīng)元個數(shù)不宜發(fā)生范圍性質(zhì)的變化。學(xué)習(xí)率在迭代過程中會把控模型的學(xué)習(xí)進(jìn)度，它直接左右目標(biāo)函數(shù)能否局部收斂，一般調(diào)控學(xué)習(xí)率的方法是初始設(shè)置一個比較大的學(xué)習(xí)率值，然后以數(shù)學(xué)的方式使得學(xué)習(xí)率慢慢遞減[13]。為了提高模型的預(yù)測精度，嘗試采用灰狼優(yōu)化算法來動態(tài)地調(diào)節(jié)迭代過程中的學(xué)習(xí)率，使得目標(biāo)函數(shù)盡量在全局域內(nèi)收斂。

3 卷積長短期神經(jīng)網(wǎng)絡(luò)

3.1 卷積長短期神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)

Convlstm與FC-Lstm最大的不同就是使用卷積運算代替乘法運算，使得Convlstm能夠提取圖像中空間信息，不再是單純的1-D序列。在本文中是對火場的紅外圖像序列進(jìn)行預(yù)測，這樣數(shù)據(jù)中不僅包括時間關(guān)系同樣還有二維空間關(guān)系，此時使用FC-Lstm不再適用于這種類型得實驗數(shù)據(jù)，而Convlstm同時兼顧空間關(guān)系和時間關(guān)系。Convlstm的內(nèi)部結(jié)構(gòu)如圖6所示。

圖6 Convlstm的內(nèi)部結(jié)構(gòu)

其中σ，tanh代表著sigmoid和tanh激活函數(shù)，輸入狀態(tài)是Xt、yt為輸出狀態(tài)、記憶狀態(tài)為Ct、隱藏狀態(tài)為Ht，遺忘門為ft、輸入門為it、輸入調(diào)節(jié)門為gt、輸出門為ot。

ft=σ(Wsf*Xt+Whf*Ht-1+Wcf?Ct-1+bf)
it=σ(Wxi*Xt+Whi*Ht-1+Wci?Ct-1+bi)

gt=tanh(Wxg*Xt+Whg*Ht-1+bg)
Ct=ft?Ct-1+It?gt
ot=σ(Wxo*Xt+Who*Ht-1+Wco?Ct+bo)
Ht=ot?tanh(Ct)

(8)

式中：*為卷積算子，?為哈達(dá)瑪積。ft、it和gt共同調(diào)節(jié)了記憶狀態(tài)Ct-1，使得模型能夠長期保留序列中的重要信息，從而建立過去、當(dāng)前和未來的時間關(guān)系。

3.2 卷積長短期神經(jīng)網(wǎng)絡(luò)結(jié)合灰狼優(yōu)化算法

Convlstm在原有的lstm的基礎(chǔ)上增加了編碼層(卷積層)和解碼層(反卷積層)解決了空間冗余缺點，提高了空間結(jié)構(gòu)的表征力。模型在進(jìn)行真實的場景預(yù)測之前要先經(jīng)過訓(xùn)練，如圖7(a)所示。首先將10張連續(xù)紅外圖像幀作為輸入，經(jīng)過編碼網(wǎng)絡(luò)將圖像處理成Convlstm能接受的特征向量，卷積長短期記憶神經(jīng)網(wǎng)絡(luò)遞進(jìn)循環(huán)學(xué)習(xí)圖像特征，期間灰狼優(yōu)化算法不斷優(yōu)化神經(jīng)網(wǎng)絡(luò)的超參數(shù)，經(jīng)過Convlstm預(yù)測得到的預(yù)測特征向量經(jīng)過解碼網(wǎng)絡(luò)生成預(yù)測紅外圖像，通過計算真實圖像和預(yù)測圖像的損失值Loss來更新Convlstm的內(nèi)部特征權(quán)重，直到模型迭代到設(shè)置的迭代次數(shù)訓(xùn)練停止。

在真實的測試環(huán)境中，輸入10張連續(xù)的紅外圖像，Convlstm通過前10張紅外圖像預(yù)測輸入第11張圖像，然后再通過第2張到第11張共10張圖像來生成第12張圖像，在不斷的循環(huán)預(yù)測中最后生成未來的10張圖像幀。像素級未來幀的目標(biāo)函數(shù)為：

(7)

式中：y和Y分別表示預(yù)測的未來幀和真實的未來幀，‖ ‖F(xiàn)是Frobenius范數(shù)。

(a)為模型的訓(xùn)練圖

4 實驗與結(jié)果

紅外相機(jī)拍攝的每兩張相鄰的紅外圖像幀間隔為1 s。共完成了8組點燒實驗，其中7組點燒實驗作為模型的訓(xùn)練集，圖像規(guī)格為128×128，1組實驗用作模型的最終預(yù)測測試。學(xué)習(xí)率搜尋范圍在0.01到0.000 1之間，隱藏狀態(tài)和記憶狀態(tài)設(shè)置為128通道，迭代次數(shù)為4 000次，Convlstm的網(wǎng)絡(luò)層數(shù)設(shè)為4層，卷積核為5×5，GPU使用NVIDIA Tesla K80。

圖8 真實火場中不同模型的紅外圖像幀的連續(xù)蔓延預(yù)測

真實火場中不同模型的紅外圖像幀的連續(xù)蔓延預(yù)測如圖8所示。通過圖8真實火場的連續(xù)蔓延預(yù)測可以定性地看出加入GWO后模型預(yù)測效果要比原始的Convlstm好，經(jīng)過GWO優(yōu)化后的模型預(yù)測產(chǎn)生的圖像與真實的圖像更加接近。結(jié)構(gòu)相似性(SSIM)通過結(jié)構(gòu)屬性、對比度和亮度來對圖像進(jìn)行闡釋，是一種衡量圖像結(jié)構(gòu)相似度的指標(biāo)[14]。定義真實未來幀和預(yù)測未來幀的結(jié)構(gòu)相似度可以由式(8)求出：

(8)

通過圖9可以看到GWO優(yōu)化過后的Convlstm整體性能要優(yōu)于普通的Convlstm，平均提高了5.3%，并且SSIM值下降趨勢相對較慢。

圖9 SSIM評價指標(biāo)

5 結(jié)論與展望

本文在卷積長短期神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入了灰狼優(yōu)化算法，使得模型的超參數(shù)能夠動態(tài)地得到優(yōu)化，能夠完成短時間內(nèi)相對準(zhǔn)確的預(yù)測效果，從而為短時間消防的把控提供一種實時預(yù)測方法。但是通過實驗結(jié)果表明預(yù)測圖像的SSIM提升不是很明顯，這可能代表著Convlstm受本身內(nèi)部結(jié)構(gòu)的限制不能充分學(xué)習(xí)圖像空間結(jié)構(gòu)以及建立時間依賴關(guān)系，接下來的工作是通過改變模型本身結(jié)構(gòu)來使模型不僅能在短期內(nèi)實現(xiàn)較好的預(yù)測效果，也能在長期預(yù)測中保持較高預(yù)測水平。