華月珊 王佳新 戎潔慶 華國棟 李 莉
(1.廣州市辰景生態(tài)技術服務有限責任公司,廣東 廣州 510520;2. 廣東省林業(yè)調查規(guī)劃院,廣東 廣州 510520;3. 河北工程大學 信息與電氣工程學院,河北 邯鄲 056038)
小蠢科是林業(yè)保護重點防治的蛀干蟲害之一,對林木具有極強破壞性。傳統(tǒng)識別方法主要依賴專家進行人工鑒別,耗時耗力且無法進行大面積實時精準防控。衛(wèi)星遙感影像監(jiān)測林業(yè)病蟲害的方法[1-2]主要是利用了林木受到蟲害侵襲后,其外貌樹冠形態(tài)將會產(chǎn)生變化,導致植物的反射率發(fā)生改變。植物反射率的變化會導致光譜特性的變化,通過遙感衛(wèi)星能有效捕捉到光譜值的異常。由于這種方法需要蟲害大面積發(fā)生后才能捕捉到蟲害發(fā)生的信息,及時性不足,且這種方法難以判斷蟲害的類型?,F(xiàn)階段林業(yè)保護急需智能蟲害識別模型。隨著深度學習的快速發(fā)展,基于卷積神經(jīng)網(wǎng)絡(Covolutional Neural Networks, CNN)的目標檢測任務得到了巨大的提升,能有效解決生活場景中的多數(shù)目標識別[3-4]。本研究針對汕尾海豐縣黃羌松林場區(qū)害蟲防治現(xiàn)狀,對害蟲識別方法展開研究,重點分析了基于神經(jīng)網(wǎng)絡的目標檢測模型,構建了基于深度感知神經(jīng)網(wǎng)絡的林業(yè)蟲害監(jiān)控系統(tǒng)(圖1)。
圖1 蟲害監(jiān)控系統(tǒng)Fig.1 Pest control system
圖像采集主要分為誘捕器采集點設置與無人機采集兩種。其中誘捕器采集點設置方法,主要通過在目標松林中按高斯隨機方式進行架設點設置,在誘捕器頂部安裝小型攝像頭,下部放置盛放酒精的玻璃器皿,攝像頭每10 min 采集一張害蟲圖像。無人機采集方式主要通過無人機林中巡航方式進行采集,利用具有路徑規(guī)劃與避檢測障功能無人機在林中巡航,配合樹干異常結構,在問題樹干附近懸停釋放引誘劑,從而采集蟲害并進行識別。兩種圖像采集方式具體形式如圖2 所示。系統(tǒng)中的圖像預處理、圖像處理與結果后處理是本文重點關注部分,論文分別使用了數(shù)據(jù)增強方法,深度神經(jīng)網(wǎng)絡與軟性非極大值抑制對這3 部分進行了優(yōu)化。該系統(tǒng)能及時對蟲害的產(chǎn)生做出預警,并快速檢測識別出蟲害種類,為防治方案的制定提供數(shù)據(jù)支持,減少林木資源的損失,達到早發(fā)現(xiàn)、早控制的目的。
圖2 圖像采集方式Fig.2 The collection methods of image
本論文以小蠢科目為研究對象,提出了一種基于深度感知神經(jīng)網(wǎng)絡的林業(yè)害蟲檢測識別算法。
1.2.1 數(shù)據(jù)增強方法 深度學習的優(yōu)點在于其能自動發(fā)掘數(shù)據(jù)中的特征,而不需要手工設計繁瑣的特征表示,訓練樣本越多,模型性能將越好。然而,目前已公開的林業(yè)害蟲數(shù)據(jù)較少,并且在規(guī)模和多樣性上存在明顯缺點,難以很好地訓練目標檢測等網(wǎng)絡模型。針對林業(yè)害蟲數(shù)據(jù)集小與多樣性缺乏的問題,本文通過數(shù)據(jù)增強技術構建了新型的大規(guī)模害蟲檢測數(shù)據(jù)集作為后續(xù)任務研究的數(shù)據(jù)基準。
數(shù)據(jù)增強可以有效減少網(wǎng)絡的過擬合現(xiàn)象,對訓練圖片進行變換可以得到泛化能力更強的網(wǎng)絡,更好的適應多變的林業(yè)場景。數(shù)據(jù)增強操作主要包括:隨機反射變換、隨機縮放變換、隨機翻轉變換、隨機平移變換、隨機多尺度變換、隨機顏色換、噪聲引入。除此之外,本文創(chuàng)新性地采用了混類算法進行數(shù)據(jù)增強,使用混類算法獲得的部分樣本如圖3 所示。首先,假設x1是一張樣本圖片,y1表示該樣本對應的標簽,x2為另一張樣本圖片,y2表示該樣本對應的標簽,λ混合系數(shù)是服從參數(shù)為α、β的貝塔分布(Beta Distribution, BD)計算獲得,具體表達式為:
圖3 混類算法獲得的部分樣本Fig.3 Partial samples obtained by mixed class algorithm
1.2.2 深度感知神經(jīng)網(wǎng)絡 深度感知神經(jīng)網(wǎng)絡是一種主要通過反饋方式學習數(shù)據(jù)分布的結構,適用于處理復雜數(shù)據(jù)。在計算機視覺技術中,深度感知神經(jīng)網(wǎng)絡通常被用于二維圖像數(shù)據(jù)的特征提取與識別,主要包含卷積層、池化層、歸一化層與全連接層[5]。本文在林業(yè)保護的背景下,針對林業(yè)害蟲識別問題展開研究。林業(yè)害蟲識別具有識別目標小,形狀怪異等特點,因此,本文在一階段目標檢測網(wǎng)絡基礎上,引入金字塔結構與形變結構,提出了面向林業(yè)害蟲識別的深度感知神經(jīng)網(wǎng)絡模型,很好地解決了小目標多形變性害蟲的識別,其具體結構如圖4 所示。
圖4 林業(yè)害蟲識別算法總體框架Fig.4 General framework of forest pest identification algorithm
1.3.1 特征金字塔結構 在目標檢測任務中,特別是在林業(yè)害蟲識別任務上,面臨著一個目標尺度跨越較大的問題,即同一語義場景中包含的物體是跨類別、跨尺度的。為了解決這一問題,主要采用了特征金字塔結構構建目標識別網(wǎng)絡。
本文采用特征金字塔結構建立了多層級預測結構,與單一特征輸出不同,多層級特征金字塔為多輸出結構,具體比較如5 所示。在自底向上提取特征的同時,在每一層級做出預測。自底向上的特征提取過程主要采用經(jīng)過大型數(shù)據(jù)集預訓練后的網(wǎng)絡進行提取,本文采用了ResNet50作為骨干網(wǎng)絡。在做出預測的過程中,每個高層級特征圖將采用最近鄰插值上采樣到與下一層級特征圖一樣的尺寸,然后將獲得的特征圖與當前層相加獲得特征圖相融合,得到特征圖{M2,M3,M4,M5},有效利用了高層信息的語義特征,并通過底層的高分辨率輔助算法對目標進行定位。最后,使用附加卷積核處理融合后的特征圖,從而消除因特征融合產(chǎn)生的混疊效應,最終輸出{P2,P3,P4,P5}。
圖5 特征提取預測結構Fig.5 Feature extraction and prediction structure
1.3.2 形變結構 在林業(yè)害蟲識別任務中的另一大挑戰(zhàn)是如何處理害蟲的形狀變換。傳統(tǒng)卷積核因其固定的內(nèi)在結構,導致其無法很好地處理出現(xiàn)在野外中的害蟲形狀變化。主要的解決辦法是進行數(shù)據(jù)增強,通過對數(shù)據(jù)集進行多樣性轉換,使得數(shù)據(jù)集盡可能多的包含林業(yè)害蟲可能出現(xiàn)的變化情況[6]。然而此方法前提是害蟲的變化情況是已知的,對于未知的蟲害變化,并不能很好的適應,從而無法很好的完成林業(yè)害蟲的識別。為此,本文在識別網(wǎng)絡中引入一層形變卷積,使網(wǎng)絡以自適應的變形方式適應輸入的蟲害目標,有效增強整體網(wǎng)絡模型的形變適應能力。
形變卷積的操作是通過對每個位置pn增加對應的偏移量。因此,經(jīng)過形變卷積的偏移修正后的特征值可以表示成下式:
圖6 形變卷積實現(xiàn)過程Fig.6 The realization process of deformation convolution
1.3.3 軟性非極大值抑制 現(xiàn)有目標檢測方法主要使用基于密集錨點的方法進行候選框的預設,然而密集錨點的設置是的檢測后得高分的邊框數(shù)量較多,同一位置的檢測結果存在冗余情況,所以需要多冗余邊框進行去除操作。傳統(tǒng)目標檢測方法的后處理技術主要使用了非極大值抑制(Non-Maximum Suppression, NMS)[7],經(jīng)過非極大值抑制后可以使得每個對應位置保留分數(shù)最高的檢測結果,剩余框與被選中邊框有明顯重疊的框被抑制,但該方法存在過渡濾除問題。如圖7 所示[8],如果一個物體超過預設的重疊度(Intersection over Union, IoU)[9],可能會導致無法檢測到目標檢測物體。即當目標檢測框過度接近時,分數(shù)更低的綠色檢測框將會因為與紅色檢測框重疊面積過大而被濾掉。
圖7 非極大值抑制誤差Fig.7 Non-maximum suppression error diagram
本文采用的訓練數(shù)據(jù)集來自百度,是一個已經(jīng)進行標記的小蠢科害蟲數(shù)據(jù)集。包括林業(yè)蛀干小蠢科6 種蟲害,分別為松十二齒小蠢lps sexdentatus Boerner,紅脂大小蠢Dendroctonus valens LeConte,松六齒小蠢lps acuminatus,華山松大小蠢Dendroctonus armandi,鞘翅目長小蠢Platypus parallelus coleoptera,松芽枝竊蠢Ernobius mollis Linnaeus。采集害蟲樣本形態(tài)各異,主要呈現(xiàn)黑色與褐色,并將害蟲分置于大小一致的透明圓形培養(yǎng)皿中,每張樣本為六種害蟲的隨機組合。數(shù)據(jù)集共有2 183張害蟲樣本,根據(jù)8:1:1 的比例劃分數(shù)據(jù)集,可以得到訓練集約為1 600 張,驗證集約為200 張,測試集約為200 張,部分示例如圖8 所示。
圖8 數(shù)據(jù)集部分樣本示例Fig.8 Sample of data set
實驗采用python3.7 版本開發(fā)語言,深度學習框架為paddlepaddle,訓練網(wǎng)絡使用的計算機GPU為Tesla V100。由于前層卷積提取的多為圖像的邊緣、輪廓、紋理等基本特征,具有一定的通用性。因此,本文使用經(jīng)過ImageNet 充分預訓練的目標檢測框架為基礎網(wǎng)絡[11],將學習到的參數(shù)遷移到林業(yè)害蟲識別網(wǎng)絡中,有效地加速訓練損失下降,更容易尋找到最優(yōu)空間。實驗采用的反向傳播優(yōu)化算法為動量[10]優(yōu)化算法。深度感知神經(jīng)網(wǎng)絡的各項參數(shù)為:學習率設置為0.001,迭代的次數(shù)為54 000 次,批量歸一化的大小為10,重疊閾值為0.45,momentum 設置為0.9。網(wǎng)絡搜索空間越大,優(yōu)化難度越高。因此,本文采用逐層精調,減少網(wǎng)絡搜索空間的方式對網(wǎng)絡進行訓練,具體為將整體網(wǎng)絡分成特征提取模塊以及預測模塊,逐步訓練并凍結不同模塊后分別進行精調。
為了驗證論文所提方法的有效性,算法將在林業(yè)害蟲數(shù)據(jù)集與收集的蟲害圖像上進行方法的評估。本文所提算法的定量分析如表1 所示,從表中所有數(shù)據(jù)集可看出本文所提算法在林業(yè)害蟲的特殊任務中已經(jīng)取得了與通用目標檢測相似準確度。同時,驗證了軟性非極大值抑制對目標檢測的結果有一定的提升。本文同時提供了算法在林業(yè)害蟲數(shù)據(jù)集上的定性分析,如圖9 所示。測試結果1 和測試結果2 都準確定位所有害蟲,并準確識別害蟲種類華山松大小蠢(armandi1 只)、松六齒小蠢(acuminatus1 只)、紅脂大小蠢(leconte3 只)、松芽枝竊蠢(linnaeus1 只)、松十二齒小蠢(boerner1 只)。測試結果三僅出現(xiàn)一個漏檢。從圖中不同大小擺放位置姿態(tài)的害蟲識別結果可證明論文所提算法能有效應對小目標以及形態(tài)各異的害蟲。
圖9 林業(yè)害蟲檢測可視化圖Fig.9 Visualization of forest pest detection
表1 林業(yè)害蟲檢測算法定量Tab.1 Quantitative table of forest pest detection algorithm
林業(yè)與人類發(fā)展密切相關,不僅蘊含巨大的生態(tài)效益,而且具備重要的經(jīng)濟效益。在國家促進人與自然和諧發(fā)展,大力發(fā)展森林小鎮(zhèn)的背景下,本文針對現(xiàn)有蟲害預警防治現(xiàn)狀,研究了關于小蠢科害蟲的檢測模型,引入特征金字塔結構、形變卷積結構和軟性非極大值抑制構建了面向林業(yè)害蟲的深度感知模型。通過在林業(yè)害蟲數(shù)據(jù)集上進行實驗,模型準確率達到了96.32%,表明該模型具有較好的準確性。同時,本文的網(wǎng)絡模型結構具有很好的泛化性,能有效應對不同的復雜環(huán)境,實現(xiàn)蟲害的及時預警。