李非非 張笑謙 徐 杰 趙 波 汪海霞 陳其兵

(1 成都星億年智慧科技有限公司 成都 610095；2 電子科技大學(xué) 成都 611731；3 邛崍市規(guī)劃和自然資源局 成都 611500；4 成都市動物園/成都市野生動物研究所 成都 610081；5 四川農(nóng)業(yè)大學(xué) 成都 611130)

當(dāng)前，四川省正加快實現(xiàn)由竹資源大省向竹經(jīng)濟(jì)強(qiáng)省跨越，竹產(chǎn)業(yè)已成為全省推進(jìn)綠色發(fā)展、助力脫貧攻堅、促進(jìn)鄉(xiāng)村振興中具有帶動性、標(biāo)志性的重要產(chǎn)業(yè)。邛崍市作為全省規(guī)劃的“三大竹產(chǎn)業(yè)帶” 之一的龍門山竹產(chǎn)業(yè)帶的核心區(qū)域，其竹林面積達(dá)3.2 萬hm2，占成都市竹林總面積的43%，已建成火井鎮(zhèn)、平樂鎮(zhèn)、臨濟(jì)鎮(zhèn)3 個省級現(xiàn)代竹產(chǎn)業(yè)基地，在筍用、材用、文旅等方面已逐步形成了規(guī)?；推放苹?，現(xiàn)代竹產(chǎn)業(yè)整體發(fā)展前景廣闊。

在竹產(chǎn)業(yè)大發(fā)展的背景下，為進(jìn)一步助推竹產(chǎn)業(yè)高質(zhì)量發(fā)展、精細(xì)化管理，自2020 年起，邛崍市引入了以人工智能等新興技術(shù)為代表的新一代信息技術(shù)及其應(yīng)用作為竹產(chǎn)業(yè)發(fā)展的重要支撐和業(yè)務(wù)創(chuàng)新增長點，開發(fā)了基于人工智能技術(shù)的竹類主要害蟲識別系統(tǒng)(以下簡稱“系統(tǒng)”) 服務(wù)于竹產(chǎn)業(yè)基地，助力探索實現(xiàn)竹產(chǎn)業(yè)現(xiàn)代化的新途徑，有力支撐了竹產(chǎn)業(yè)建設(shè)邁向智慧化目標(biāo)。

1 系統(tǒng)整體情況

1.1 系統(tǒng)研發(fā)背景

病蟲害是除外部極端氣候和人為影響外，對林業(yè)生產(chǎn)效益影響最大的干擾因素。根據(jù)成都市已完成的全國第3 次林業(yè)有害生物普查工作顯示，全市共發(fā)現(xiàn)林業(yè)有害生物1 162 種，其中蟲害519種，種類及數(shù)量均相當(dāng)龐大。李見輝等[1]對成都平原西緣筍用竹蟲害調(diào)查顯示，蟲害涉及6 目27科38 種害蟲。當(dāng)前竹產(chǎn)業(yè)作為一項重要產(chǎn)業(yè)，為提升生產(chǎn)效益，傳統(tǒng)的生產(chǎn)經(jīng)營方式和技術(shù)手段發(fā)生了極大改變，使竹林原有生態(tài)體系也隨之改變，一些常見蟲害轉(zhuǎn)變?yōu)橹匾x害、次要蟲害上升為主要蟲害。生產(chǎn)實踐證明竹子蟲害近年來日漸突出，已成為竹產(chǎn)業(yè)發(fā)展的重要限制性因子[2]。

在目前我國森防和森林管護(hù)體系下，對竹類以及林業(yè)害蟲種類的判斷基本依賴于人工，但生產(chǎn)一線具備相關(guān)專業(yè)知識的人員稀缺，無法實現(xiàn)準(zhǔn)確判斷害蟲種類并及時采取有效防治措施，導(dǎo)致貽誤最佳防治時機(jī)，難以滿足現(xiàn)代化林業(yè)高質(zhì)量發(fā)展的需求。

1.2 系統(tǒng)采用的人工智能模型

在經(jīng)過2 年多的研發(fā)和測試后，系統(tǒng)選擇基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的API-Net(Attentive Pairwise Interaction-net)[3]結(jié)構(gòu)(圖1)搭建害蟲智能識別模型，在害蟲識別方面取得了較為明顯的效果。

圖1 API-Net 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 API-Net structure

受人類經(jīng)常比較一對圖像以區(qū)分相似物體之間的細(xì)微差異的啟發(fā)[4]，API-Net 模型搭建了注意力成對交互網(wǎng)絡(luò)，可以從一對細(xì)粒度圖像中自適應(yīng)地發(fā)現(xiàn)對比線索，并通過成對交互進(jìn)行區(qū)分，達(dá)到很好的細(xì)粒度圖像識別效果，進(jìn)而提升害蟲智能識別模型的性能。API-Net 的核心思想主要有5 點。

1) 互向量學(xué)習(xí)。一對輸入圖片，通過CNN特征提取器(Resnet101[5]) 獲取2 個特征向量x1，x2(特征圖經(jīng)過全局平均池化得到的特征向量)。將x1，x2拼接，再經(jīng)過MLP (多層神經(jīng)網(wǎng)絡(luò)) 得到互向量xm:

其中，fm為MLP 結(jié)構(gòu)(即多層神經(jīng)網(wǎng)絡(luò)構(gòu)成的多層感知機(jī))，經(jīng)過如此處理，得到的xm就結(jié)合了x1，x2的特征，完成互向量學(xué)習(xí)。

2) 門向量生成。在學(xué)習(xí)到互向量xm后，將xm和x1，x2進(jìn)行比較，進(jìn)而學(xué)習(xí)2 張圖片目標(biāo)特征上的區(qū)別，具體實現(xiàn)方法為: 分別將xm和x1，x2相乘，然后經(jīng)過sigmoid激活得到門向量gi。計算公式如下:

門向量gi可以作為一種注意力向量，用來找到2 張圖片中不同特征。

3) 成對交互[6]。將2 個特征向量x1，x2與2個門向量g1，g2兩兩進(jìn)行組合運算，得到4 個向量:

強(qiáng)化了屬于自身的特定特征區(qū)域，則強(qiáng)化了屬于另一個類別的特征區(qū)域，示意圖如圖2。

圖2 成對交互示意圖Fig.2 Pairwise interaction

4) 分?jǐn)?shù)排序正則化。將經(jīng)過softmax 運算得到判別概率

使用CEloss (Cross Entropy Loss) 作為損失函數(shù)，另定義一個分?jǐn)?shù)排序正則化參數(shù)Lrk，最終的損失函數(shù)為:

∈為懲罰項，設(shè)為0.05，Lrk的作用是讓的優(yōu)先級更低，從而更多的加強(qiáng)自身特征。

5) 圖像對的構(gòu)建。一是在所有昆蟲類別中隨機(jī)選擇Ncl個類別；二是在所選擇的Ncl個類別中，隨機(jī)選擇Nim個訓(xùn)練圖片。將Ncl*Nim張圖片送入特征提取網(wǎng)絡(luò)提取其特征，計算歐式距離，以此來衡量不同圖像之間的特征距離，針對每一張圖片，選擇同一類別中特征距離最小的圖片和不同類別中特征距離最小的圖片，得到2 個圖像對。

為配合搭建人工智能識別模型，研發(fā)人員構(gòu)建了一個包含竹類害蟲在內(nèi)的共計334 種蟲類、數(shù)量超過11 000 張的基礎(chǔ)圖片細(xì)粒度數(shù)據(jù)集，通過翻轉(zhuǎn)、旋轉(zhuǎn)、隨機(jī)裁剪、調(diào)節(jié)亮度、對比度、飽和度等方法來實現(xiàn)數(shù)據(jù)增強(qiáng)，并導(dǎo)入人工智能模型開展訓(xùn)練。本系統(tǒng)采用的人工智能模型主要由卷積層、池化層、全連接層以及最后的輸出層構(gòu)成，通過卷積和池化等操作，提取圖像特征用于識別，最后輸出識別結(jié)果，有關(guān)模型的研究成果在早前發(fā)表的相關(guān)文章中[7-8]已有詳細(xì)描述。

在對模型進(jìn)行多輪訓(xùn)練并優(yōu)化后，在當(dāng)前數(shù)據(jù)集條件下得到的最優(yōu)模型識別準(zhǔn)確率為90.18%，與之前已發(fā)表文章中所披露的準(zhǔn)確率為98.9%[7]相比有較大降低。其原因是在數(shù)據(jù)集大量擴(kuò)充后，相關(guān)干擾因素亦隨之增多，導(dǎo)致準(zhǔn)確率有所下降。實驗中部分種類害蟲識別準(zhǔn)確度見表1。

表1 實驗中部分害蟲的識別準(zhǔn)確率Tab.1 The recognition accuracy of some pests species in the experiment

人工智能模型訓(xùn)練過程中準(zhǔn)確率的變化曲線如圖3 所示。模型共進(jìn)行200 輪次訓(xùn)練，在50 輪次左右逐漸達(dá)到最佳訓(xùn)練準(zhǔn)確率，說明模型的學(xué)習(xí)能力較強(qiáng)，對訓(xùn)練數(shù)據(jù)有優(yōu)秀的記憶能力。隨著訓(xùn)練輪次的增加，訓(xùn)練準(zhǔn)確率變化曲線沒有發(fā)生明顯震蕩，說明Batchsize 選取合適，模型訓(xùn)練效果穩(wěn)定。

圖3 訓(xùn)練過程中準(zhǔn)確率變化曲線Fig.3 Changecurve of accuracy (training process)

人工智能模型訓(xùn)練過程中學(xué)習(xí)率的變化曲線如圖4 所示。在實驗中訓(xùn)練集采用SGD 優(yōu)化器，基本學(xué)習(xí)率參數(shù)設(shè)置為0.003，采用以8 張圖片為一組的小批量訓(xùn)練，共進(jìn)行200 輪訓(xùn)練，參數(shù)學(xué)習(xí)率訓(xùn)練至第30 輪下降為0.001 2，訓(xùn)練至第50輪下降為0.000 48，訓(xùn)練至第70 輪下降為0.000 192，訓(xùn)練至第85 輪下降為0.000 076 8，之后不再作調(diào)整。學(xué)習(xí)率調(diào)整的思路為: 先使用較大的學(xué)習(xí)率得到局部最優(yōu)值，再使用小的學(xué)習(xí)率幫助模型收斂，有助于模型細(xì)化。

圖4 學(xué)習(xí)率變化曲線Fig.4 Change curve of learning rate

人工智能模型驗證過程中準(zhǔn)確率的變化曲線如圖5 所示。在本實驗中，驗證過程在第182 輪時得到最優(yōu)模型，識別準(zhǔn)確率達(dá)到90.18%，說明經(jīng)大量訓(xùn)練集數(shù)據(jù)訓(xùn)練后得到的模型對新數(shù)據(jù)有較強(qiáng)的泛化能力，保證了模型在實際應(yīng)用時的穩(wěn)定性。

圖5 驗證過程中準(zhǔn)確率變化曲線Fig.5 Change curve of accuracy (validation process)

1.3 系統(tǒng)整體構(gòu)架及運行方式

系統(tǒng)核心部分為包含數(shù)據(jù)集和相關(guān)系統(tǒng)信息的數(shù)據(jù)庫和服務(wù)器，外延部分為供用戶使用的電腦端和移動端軟件。

系統(tǒng)運行方式主要是森林管護(hù)人員通過移動端軟件現(xiàn)場拍攝并上傳目標(biāo)害蟲圖片，服務(wù)器在收到移動端上傳數(shù)據(jù)后即通過內(nèi)嵌的人工智能算法進(jìn)行識別，并反饋識別結(jié)果至移動端軟件，即完成一次識別流程。在上傳目標(biāo)害蟲圖片的同時，移動端記錄的巡護(hù)軌跡、害蟲發(fā)現(xiàn)點位的坐標(biāo)、天氣等基礎(chǔ)信息均伴隨上傳，經(jīng)服務(wù)器處理后存儲于數(shù)據(jù)庫，并可同時反饋至移動端和電腦端軟件。管理人員使用電腦端軟件可查閱所有注冊用戶的上報識別、巡護(hù)軌跡等信息，軟件可對有效上報信息進(jìn)行綜合統(tǒng)計、分析，按用戶需求下載或?qū)С鱿嚓P(guān)數(shù)據(jù)，并利用數(shù)據(jù)可視化手段將核心信息通過大屏進(jìn)行展示(圖6)。

圖6 系統(tǒng)構(gòu)架及運行示意圖Fig.6 The system structure and operation diagram

2 系統(tǒng)主要功能的應(yīng)用

自2020 年起系統(tǒng)在邛崍市的部分竹產(chǎn)業(yè)基地進(jìn)行了小規(guī)模測試，并根據(jù)反饋意見進(jìn)行了升級完善，于2021 年開始擴(kuò)大范圍，在邛崍市涉及竹產(chǎn)業(yè)的11 個街道(鎮(zhèn)、鄉(xiāng)) 及國有林場進(jìn)行了推廣應(yīng)用，迄今累計共有100 余名森林管護(hù)人員及林業(yè)主管部門管理人員參與使用本系統(tǒng)(圖7)。

圖7 數(shù)據(jù)可視化Fig.7 The data visualization

系統(tǒng)的推廣應(yīng)用不影響邛崍市林業(yè)主管部門的森林管護(hù)正常工作安排，管護(hù)員在責(zé)任區(qū)內(nèi)按照既定路線及隨機(jī)路線對包含竹產(chǎn)業(yè)基地在內(nèi)的管護(hù)區(qū)域進(jìn)行日常巡護(hù)時，鼓勵其盡可能利用本系統(tǒng)相關(guān)功能作為森林管護(hù)的科技支撐手段。

2.1 識別功能

害蟲智能識別功能為系統(tǒng)的核心功能，在實際應(yīng)用中，管護(hù)員在手機(jī)、平板電腦等可聯(lián)網(wǎng)設(shè)備中操作軟件即可實現(xiàn)害蟲的上報與識別(圖8)。由于系統(tǒng)采用了細(xì)粒度數(shù)據(jù)集和基于APINet 搭建的害蟲智能識別模型，可在生態(tài)背景下實現(xiàn)對害蟲的快速準(zhǔn)確識別，因此利用軟件對害蟲進(jìn)行拍照操作時對害蟲的背景、角度、光線等要求寬容度較高，管護(hù)員經(jīng)簡單培訓(xùn)后即可快速掌握操作技能。

圖8 APP 害蟲識別界面Fig.8 The pest identification interface of APP

按照四川盆地氣候特點，竹類害蟲的蟲情基本發(fā)生在春、夏、秋3 季，系統(tǒng)收集統(tǒng)計的管護(hù)員上報害蟲信息也基本與該時間段吻合，即4 月份左右系統(tǒng)開始陸續(xù)收到管護(hù)員上報的竹類害蟲信息，至10 月中旬上報信息逐漸減少。系統(tǒng)應(yīng)用2 年多以來，經(jīng)管護(hù)員上報系統(tǒng)并識別的有效害蟲信息共計0.5 萬余條，森林害蟲200 余種，經(jīng)篩選涉及對竹類可造成危害的害蟲累計約為38 種(表2)。

表2 系統(tǒng)收集的部分竹類害蟲Tab.2 Some bamboo pests collected by the system

2.2 統(tǒng)計分析功能

統(tǒng)計分析功能作為智能識別功能的延伸，其目的是為林業(yè)主管部門相對全面、及時了解本區(qū)域竹類害蟲發(fā)生情況提供參考依據(jù)。在該功能中，根據(jù)管護(hù)員上報并識別的竹類害蟲信息，系統(tǒng)會將識別準(zhǔn)確率高于80%的害蟲信息作為有效數(shù)據(jù)納入統(tǒng)計分析，管理人員可通過系統(tǒng)的統(tǒng)計分析結(jié)論掌握相關(guān)竹類害蟲發(fā)生的時間、種類、數(shù)量、占比以及害蟲發(fā)生與外部環(huán)境的關(guān)聯(lián)性等數(shù)據(jù)。

系統(tǒng)可自動篩選在設(shè)定時間段內(nèi)發(fā)生最多的前10 種害蟲并生成相關(guān)圖表，同時提供全部數(shù)據(jù)的下載。圖9 為截取的2022 年4—7 月期間管護(hù)員上報并識別的竹類害蟲統(tǒng)計數(shù)據(jù)圖，圖上顯示了該時間段內(nèi)上報次數(shù)最多的幾種竹類害蟲種類及其每日上報數(shù)量。經(jīng)成都市和邛崍市森防專家對數(shù)據(jù)進(jìn)行查閱后認(rèn)為，該數(shù)據(jù)基本反映了邛崍市竹類害蟲發(fā)生的真實情況，該數(shù)據(jù)雖不能全面統(tǒng)計邛崍市竹產(chǎn)業(yè)基地害蟲發(fā)生情況，但在一定程度上實現(xiàn)了對相關(guān)竹類害蟲發(fā)生數(shù)量及頻度的定量分析，為在竹產(chǎn)業(yè)基地日常管理中制定有針對性的森林管護(hù)及森防措施提供了參考。

圖9 系統(tǒng)生成的選定時間段內(nèi)竹類害蟲統(tǒng)計數(shù)據(jù)Fig.9 Statistical data of bamboo pests generated by the system in the selected period

由于森林害蟲絕大部分為昆蟲，昆蟲作為變溫動物，其新陳代謝及行為在很大程度上與外界的氣候變化有關(guān)，尤其是耐熱范圍較窄的昆蟲對溫度變化尤為敏感。研究結(jié)果表明[9]，氣候變化可以在越冬存活率、化性(世代數(shù))、擴(kuò)散遷移、發(fā)生分布、物候變化等方面對昆蟲產(chǎn)生巨大影響。為研究和預(yù)測氣候變化對昆蟲的影響，國內(nèi)外研究人員采用了生態(tài)風(fēng)險評估、生物化石比較、人工氣候模擬、檢測標(biāo)記基因頻率變化等方法[10]，但這些方法均需較高的科研水平及專業(yè)人員在小范圍內(nèi)予以實現(xiàn)，在日常森防工作中不具備實用性。

為探索一種可以應(yīng)用于實際森防場景的較為簡便的害蟲發(fā)生情況統(tǒng)計及預(yù)測方式，本系統(tǒng)通過收集蟲情發(fā)生情況、經(jīng)緯度、溫濕度、時間等數(shù)據(jù)，研發(fā)了害蟲發(fā)生情況與氣候的關(guān)聯(lián)性統(tǒng)計及分析的功能，為建立害蟲發(fā)生期或種群密度等與同期氣候數(shù)據(jù)、地理位置之間的關(guān)聯(lián)關(guān)系奠定基礎(chǔ)。期望通過利用在長期、大量的使用過程中收集的數(shù)據(jù)，構(gòu)建基于蟲情和氣候、地理位置等歷史數(shù)據(jù)的害蟲發(fā)生期、發(fā)生量與氣候的關(guān)聯(lián)模型。

在系統(tǒng)目前的實際應(yīng)用中，已實現(xiàn)了在上報竹類害蟲信息時對相關(guān)氣候、經(jīng)緯度、時間等信息的同步收集，同時單獨收集指定區(qū)域的早、中、晚的氣候信息。經(jīng)過數(shù)月的應(yīng)用，在當(dāng)前已收集到的有限的信息基礎(chǔ)上，系統(tǒng)已可初步勾畫出在邛崍市竹產(chǎn)業(yè)基地中目標(biāo)害蟲種類、數(shù)量與溫度、濕度之間的關(guān)聯(lián)(圖10)，但要實現(xiàn)基于大數(shù)據(jù)驅(qū)動的較為精準(zhǔn)的利用氣候、地理位置的變化預(yù)測害蟲發(fā)生情況，其核心還在于持續(xù)、穩(wěn)定、大量的使用和數(shù)據(jù)收集。

圖10 系統(tǒng)顯示的蟲情和氣候的關(guān)聯(lián)性Fig.10 Correlation map between pests and climate displayed by the system

2.3 巡護(hù)功能

邛崍市除國有林場外，街道(鎮(zhèn)、鄉(xiāng)) 負(fù)責(zé)竹產(chǎn)業(yè)基地管護(hù)的工作人員均為兼職。長期以來，林業(yè)主管部門對兼職管護(hù)員的管理存在較大的難度，既無法及時根據(jù)竹產(chǎn)業(yè)基地森防實際情況向管護(hù)員指派任務(wù)，也無法對管護(hù)員實際管護(hù)成效進(jìn)行考核。鑒于此，系統(tǒng)除可以在后臺編輯任務(wù)清單下發(fā)至管護(hù)員所使用的移動設(shè)備上外，還開發(fā)了巡護(hù)功能，使管護(hù)員在目標(biāo)區(qū)域開展巡護(hù)工作時，其巡護(hù)軌跡、里程、速度、耗時等信息均可被記錄并上報(圖11)，林業(yè)主管部門通過系統(tǒng)對所有注冊管護(hù)員的巡護(hù)記錄進(jìn)行查看并統(tǒng)計，實現(xiàn)了對管護(hù)員的精細(xì)化管理及考核。

圖11 系統(tǒng)顯示的管護(hù)員巡護(hù)記錄Fig.11 Patrol records of forest rangers displayed by the system

3 展望

2019 年國家林業(yè)和草原局發(fā)布的《關(guān)于促進(jìn)林業(yè)和草原人工智能發(fā)展的指導(dǎo)意見》 指出，要建設(shè)生態(tài)災(zāi)害防治人工智能應(yīng)用體系，在林業(yè)有害生物防治中應(yīng)用視頻監(jiān)控、物聯(lián)網(wǎng)監(jiān)測等技術(shù)，通過林草有害生物智能圖片識別，結(jié)合地面巡查數(shù)據(jù)，加強(qiáng)數(shù)據(jù)挖掘分析，提高林草有害生物預(yù)警預(yù)報與綜合防控能力。

下一步，將通過構(gòu)建更加精細(xì)的基礎(chǔ)圖片細(xì)粒度數(shù)據(jù)集進(jìn)一步優(yōu)化完善算法，有針對性地搭建面向各類林草業(yè)應(yīng)用場景的人工智能模型，實現(xiàn)識別種類和識別準(zhǔn)確率、技術(shù)與應(yīng)用場景的平衡。另外，通過后期持續(xù)的、規(guī)范化的數(shù)據(jù)采集，不斷提高數(shù)據(jù)質(zhì)量，在海量數(shù)據(jù)基礎(chǔ)上通過數(shù)據(jù)分析和數(shù)據(jù)挖掘技術(shù)發(fā)現(xiàn)數(shù)據(jù)間隱藏的相關(guān)性，進(jìn)而實現(xiàn)快捷、符合實際的對目標(biāo)害蟲發(fā)生情況的預(yù)測。