近年來,隨著各地天然林保護工程等林業(yè)重點工程的實施和各省政府《封山禁牧條例》的貫徹落實,林木覆蓋率大幅度增加,林分質(zhì)量得到有效改善,林下可燃物大量增加,受全球氣候變暖影響,冬春季長期干旱少雨,森林火險等級長期居高不下,防火任務十分艱巨。而林區(qū)山大溝深坡陡,山戀重疊,灌木叢枝彌漫交錯,道路險惡,基礎(chǔ)設(shè)施極為落后,一旦發(fā)生火災,便無力組織人員撲救。因此,加強防火基礎(chǔ)設(shè)施建設(shè),積極實施森林重點火險區(qū)綜合治理項目,對預防森林火災的發(fā)生,確保森林資源安全具有十分重要的意義。
隨著我國各大項活動的發(fā)展以及科技水平的不斷提升,森林防火預防工作也有了明顯的進步,但是不可否認,依然存在一些問題需要解決。如何有效地進行森林防火預防工作,關(guān)系著每一個人。
從傳統(tǒng)的地面巡護與瞭望塔人工監(jiān)視到通過視頻進行人工監(jiān)控,再到目前使用智能化手段自動識別發(fā)現(xiàn)火情,森林防火手段在不斷的進步提升。目前智能識別火情的主要方法分為三大類:衛(wèi)星遙感圖像處理技術(shù)、紅外熱成像檢測方法、基于可見光圖像檢測方法。
衛(wèi)星林火監(jiān)測是一種基于高層空間的森林火災監(jiān)測手段,結(jié)合利用氣象衛(wèi)星和陸地資源衛(wèi)星實現(xiàn)森林火災的監(jiān)測。80年代初以來,我國衛(wèi)星遙感在森林防火工作中的應用不斷擴大,技術(shù)不斷提升,對大面積森林可以做到無死角、全天候的監(jiān)控。近幾年新的林火監(jiān)測技術(shù)發(fā)展迅速,紅外熱成像監(jiān)測以及可見光圖像識別都不斷的在實際中得到應用。其中,紅外熱像儀通過探測紅外輻射對森林中的火源進行監(jiān)測,實現(xiàn)了在惡劣天氣或無自然光環(huán)境下對火焰的檢測??梢姽鈭D像識別的方法通過對火情發(fā)生早期的煙霧進行自動識別,目前算法的準確度可以達到早期預警的作用。隨著防火科技手段的不斷發(fā)展,我國森林火災發(fā)生數(shù)量和受害面積實現(xiàn)了“雙下降”。
以上3種技術(shù)方法各有優(yōu)勢,同時也存在各自的能力限制。例如,衛(wèi)星遙感技術(shù)由于衛(wèi)星的回訪周期原因,發(fā)現(xiàn)火情時效性較弱;紅外測溫技術(shù),在現(xiàn)實場景中,溫度異常目標多變(如汽車發(fā)動機等),存在一定誤識別風險;可見光識別,在夜間由于光照很弱,圖像多為黑白照片,煙火特征嚴重缺失,容易導致漏檢或者誤報。
中國鐵塔公司結(jié)合豐富的高點塔資,供電能力,通信線路等優(yōu)勢,在林火預警領(lǐng)域,通過紅外雙通道視頻監(jiān)控技術(shù)構(gòu)建林草火情預警平臺,同時結(jié)合人工智能的可見光圖像監(jiān)測技術(shù),進一步提高火情預警的發(fā)現(xiàn)能力和應急指揮能力。
紅外雙通道攝像頭,由兩組攝像頭組成,其中一個攝像頭具備紅外測溫功能,另外一個獲取可見光視頻。在實際使用時,紅外測溫攝像頭通過巡航模式,尋找并發(fā)現(xiàn)溫度異常場景;可見光攝像頭的巡航則給圖像中的煙火識別提供視頻信息。
該方案,通過測溫技術(shù)和可見光圖像識別技術(shù)的融合,發(fā)揮不同技術(shù)的優(yōu)勢,彌補上文提到的兩種技術(shù)獨立應用的能力不足。
目前在森林防火中紅外雙通道攝像頭主要應用紅外熱成像技術(shù)來進行森林火情的自動識別。紅外熱成像檢測方法可以實時對場景內(nèi)的溫度進行監(jiān)測,一旦發(fā)現(xiàn)溫度異常情況即判斷為有火情發(fā)生,可以快速及時的識別到溫度異常的煙火。利用溫度來進行是否有火情的檢測,如圖1所示,在夜間,霧天等惡劣條件下,同樣可以提供溫度異常檢測能力。
圖1 紅外測溫發(fā)現(xiàn)火情能力示意
但是紅外測溫在火點被遮擋場景(山體背后,房屋遮擋等),發(fā)現(xiàn)火情的時間往往會有所滯后;溫度異常的情況也可能是其他運動熱源所引起,不完全都是火情造成的溫度異常(例如,車輛等),且溫度目標的誤報數(shù)量很大。雖然測溫的準確發(fā)現(xiàn)能力與人工監(jiān)看相比已經(jīng)很高了,但是由于可能存在的誤報場景,會降低用戶體驗感知,如圖2所示。
圖2 紅外測溫發(fā)現(xiàn)溫度異常物體示意
可見光的圖像識別技術(shù),在火情早期尤其以下場景具有更好火情風險的發(fā)現(xiàn)能力:① 被遮擋火源(如山體背面);② 如圖3所示,早期火情只有煙霧尚未見到明顯火點。
圖像識別的能力和紅外測溫能力形成了良好的技術(shù)能力互補,在實踐中有較好效果。
圖3 可見光早期煙霧識別能力示意
同樣,可見光圖像識別/視頻分析技術(shù)也存在能力限制,主要是在夜間,如圖4所示,由于光照原因?qū)е骂伾?、輪廓等特征的消失,圖像識別性能下降明顯。
圖4 可見光夜間識別能力不足示意(房屋燈光)
在林草防火平臺建設(shè)過程中,通過兩種技術(shù)的融合,初步研究和驗證表明,常見的溫度異常目標(如車輛等)通過圖像識別方法可以高精度抑制,但依然存在一些誤報場景需要針對性優(yōu)化。對誤報場景進行了采樣分析后,得表1中所示數(shù)據(jù),可以發(fā)現(xiàn),這三大類場景的誤報約占了67%。針對實際應用中發(fā)現(xiàn)的3種可見光誤報情況,將在第4節(jié)中進行誤報抑制的討論。
表1 煙霧識別誤報情況
由于揚塵與煙霧在形狀以及特征的高度相似性,如圖5所示,在進行可見光的煙霧檢測時可能會出現(xiàn)將揚塵誤報成煙霧的情況。雖然有部分揚塵是因為車輛運動引起,但是并不能僅僅用車輛識別得到有效區(qū)分。原因如下:①車輛被揚塵遮擋未必可見;② 畫面中多輛車輛存在,視角原因,空間結(jié)構(gòu)關(guān)系難以確認。
事實上,如果是運動車輛引起的揚塵,通過視頻分析方法可以得以抑制,如圖6所示,因為目標移動多為直線方向,而煙霧擴散則相對不規(guī)則。難點在于固定區(qū)域的揚塵識別算法。
針對固定區(qū)域揚塵,經(jīng)過不斷試驗和調(diào)優(yōu),將原先的單變量映射識別算法,其中X為早期的單變量高維特征矢量)擴展到多模態(tài)組合算法,其中X,Y,Z為煙霧和揚塵分解后的細分維度特征向量)。通過高維細分特征的學習,在算法訓練過程中,強制加大細節(jié)特征的權(quán)重比例。試驗結(jié)果表明,揚塵區(qū)分算法的總體識別率>90%,有效的抑制了該場景誤報概率。
圖5 揚塵誤報為煙霧
圖6 煙霧與揚塵對比
通過可見光通道進行獲取單張圖片時,可采用設(shè)定預置位抓取與巡航模式抓取兩種方式。在使用巡航模式抓取圖片時會出現(xiàn)攝像頭運動導致抓取到如圖7的模糊畫面,模糊的畫面會對識別效果產(chǎn)生一定的影響并導致誤報。
圖7 模糊的畫面
如圖8所示,對于模糊畫面導致誤報的產(chǎn)生,可以通過區(qū)分模糊圖片并將其過濾的方法來有效的抑制誤報。使用圖像清晰度檢測方法來進行模糊與清晰圖片的區(qū)分。在真實場景應用中,因為攝像頭處于巡航模式,鏡頭模糊的發(fā)生點位、場景不固定。因此,模糊判定算法需要基于無參考圖模式展開。對模糊場景進行深入研究后,較之以清晰照片,圖像在多維度方向梯度上有較高的分辨率。需要注意的是,多維度方向梯度的閾值設(shè)置在算法訓練時,需要通過統(tǒng)計數(shù)據(jù)和概率模型擬合來確定,攝像頭的角速率快慢對照片的模糊程度也存在部分細微影響。
通過可見光攝像頭對煙霧進行識別時,由于森林防火場景中監(jiān)控攝像頭往往處于高空位置進行監(jiān)控,且分遠、中、近3種場景推進攝像頭并巡航,因此不可避免地畫面中會出現(xiàn)一些如圖9所示與煙霧相似的稀薄云層,可能會導致將云層誤報為煙霧。
圖8 模糊圖像檢測流程
圖9 天空云層誤報
天際線的識別方法,在簡單場景中并不復雜,可以通過霍夫變換實現(xiàn)直線檢測,或者通過膨脹腐蝕變換后,計算聯(lián)通區(qū)域?qū)崿F(xiàn)。但是,在復雜場景中,因為高塔上柱狀塔桿的存在,會給以上方法帶來較大挑戰(zhàn)。因此,在該場景下的天際線識別需要采用更有效的方法來解決特定問題。經(jīng)試驗后,新天際線檢測算法區(qū)域有效識別率大于95%,但是在曲線擬合上可能存在3~8個像素點的線性誤差,評估后認為,該線性誤差對于區(qū)域識別和云層屏蔽影響可以忽略。
在初步劃定好天際線后按照如圖10的流程進行邏輯判斷,對于天際線以上出現(xiàn)的識別目標判定為云,不進行煙火報警;在天際線以下識別到的煙霧判定為真實煙霧,進行后續(xù)紅外熱成像的綜合分析;若識別到的目標剛好處于天際線中間,則需要人工輔助進行判斷。
圖10 云層判斷流程圖
在實際應用中,采用本文描述的抑制方法,對煙霧識別產(chǎn)生的主要3種誤報進行上述抑制后,再次觀察煙霧識別在可見光通道的識別效果,發(fā)現(xiàn)誤報率減少了90%(其他非通用誤報場景的抑制直接通過增量負樣本學習方法抑制,本文不再詳述原理及步驟)。因此針對上訴三種主要場景的誤報抑制有效降低了誤報率,提高了煙霧識別在可見光通道的應用效果。
考慮到林草防火系統(tǒng)的高可靠性要求,雖然一直探索通過不同技術(shù)的優(yōu)勢整合和信息融合技術(shù)以抑制誤報場景,但不漏檢是系統(tǒng)安全性的第一要素。因此,在多種技術(shù)融合時,如果依然存在難以確定的場景,建議通過人工確認手段來保證服務的安全性。
通過對可見光圖像識別進行誤報抑制后,在紅外熱成像與可見光圖像識別相結(jié)合的方法中,雙重確認是較于兩種方法單獨使用的優(yōu)勢以及降低誤報率的保證。雙重確認需要對紅外熱成像信息與可見光信息相融合,進行如圖11所示的綜合判斷流程。當溫度異常單并沒有識別到煙霧,需進行進一步的邏輯判斷:當溫度置信值很高,溫度明顯異于常情時刻就直接判斷為有火情并立即報警;當溫度置信度不高時建議人工判斷,但此時人工判斷的工作量較兩種方法獨立使用時少了很多。當既識別到溫度異常同時識別到煙霧,直接判斷為有火情進行報警。當溫度并沒有檢測到異常,但可見光通道識別到了煙霧,進行進一步分析:當煙霧置信度很高時判斷為有火情,立即報警;當煙霧置信度并不高時,建議人工確認。其中關(guān)于溫度的置信度需要長期進行大數(shù)據(jù)的追蹤來確定。
圖11 綜合判斷流程圖
在林草監(jiān)控系統(tǒng)的應用中,基于紅外雙通道攝像頭,疊加可見光煙霧識別的技術(shù),充分利用圖像識別與紅外熱成像探測各自的優(yōu)點,并對常見可見光誤報場景提出了針對性優(yōu)化方案,提高了紅外雙通道攝像頭在林草防火中對火情識別的準確度,大大的降低了誤報率,同時保證了時效性,有助于更好的防范森林火災,避免經(jīng)濟損失的擴大化。