李昊，劉海隆，劉生龍

(1. 電子科技大學(xué)資源與環(huán)境學(xué)院，成都市，611731；2. 四川煤礦安全監(jiān)察局安全技術(shù)中心，成都市，610045)

0 引言

隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，現(xiàn)已在各個行業(yè)被廣泛應(yīng)用，其中在現(xiàn)代農(nóng)業(yè)領(lǐng)域應(yīng)用農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)能夠?qū)崿F(xiàn)農(nóng)業(yè)精準(zhǔn)播種、精準(zhǔn)施肥、精準(zhǔn)控制病蟲害防治用藥等，逐漸成為研究的熱點。如施盛華等[1]研發(fā)了基于物聯(lián)網(wǎng)與圖像識別的太陽能果園蟲害監(jiān)測系統(tǒng)。以STM32和4G通信技術(shù)研發(fā)而成，實現(xiàn)了環(huán)境信息監(jiān)測、蟲害誘殺、蟲害圖像采集和遠程信息傳輸?shù)裙δ堋?/p>

病蟲害防控是保障農(nóng)產(chǎn)品品質(zhì)的重要環(huán)節(jié)，病蟲害監(jiān)測是物聯(lián)網(wǎng)技術(shù)應(yīng)用的重要內(nèi)容。如蘇一峰等[2]研發(fā)了小麥病蟲害遠程診斷系統(tǒng)，以傳統(tǒng)圖像識別技術(shù)為基本原理方法，基于國家小麥物聯(lián)網(wǎng)系統(tǒng)平臺，研發(fā)了集圖像獲取、圖像識別診斷于一體的應(yīng)用系統(tǒng)，實現(xiàn)了對小麥白粉病、銹病、蚜蟲及健康小麥葉片圖像的分類識別。當(dāng)前的研究主要集中在對作物病蟲害圖像識別和環(huán)境信息采集方面。如趙潔等[3]通過特殊的實驗裝置采集水培黃瓜病圖像，再采用圖像處理技術(shù)從復(fù)雜環(huán)境中分割葉片病斑圖像，提取最優(yōu)病斑特征參數(shù)組合，自動識別病害黃瓜病斑種類。吳桐等[4]基于物聯(lián)網(wǎng)技術(shù)的圖像采集環(huán)境，對玉米病蟲害圖像進行收集，對于采集后的圖像針對玉米葉部病斑的顏色、形狀及紋理特征，利用支持向量機進行特征提取，對實驗數(shù)據(jù)進行分類識別。

總體來看，當(dāng)前研究的圖像采集大多為了保證圖像質(zhì)量，是在可控的實驗理想條件下進行，而對于大田作物或室外條件則存在設(shè)備無法適應(yīng)自然條件而造成圖像質(zhì)量無法處理等問題[5]。另一方面，從病蟲害識別方法上來看，當(dāng)前大多使用傳統(tǒng)的圖像處理方法，提取特征的過程過于繁瑣，效率不高。因此，構(gòu)建針對農(nóng)作物病害的智能在線監(jiān)測系統(tǒng)，對現(xiàn)代農(nóng)業(yè)發(fā)展具有現(xiàn)實意義。

本文擬以柑橘病蟲害為研究對象，以物聯(lián)網(wǎng)技術(shù)為支撐，基于深度學(xué)習(xí)算法，研發(fā)一套能夠?qū)ψ匀画h(huán)境下柑橘視頻動態(tài)實現(xiàn)實時監(jiān)控，集信息采集、葉片追蹤、病蟲害深度學(xué)習(xí)快速檢測、結(jié)果輸出一體的自動化智能監(jiān)控系統(tǒng)。

1 柑橘病蟲害動態(tài)識別系統(tǒng)設(shè)計

根據(jù)系統(tǒng)功能要求，將該系統(tǒng)設(shè)計為三大層面，分別為信息感知層、信息傳輸層、系統(tǒng)應(yīng)用層。其中信息感知層主要是基于攝像頭的信息采集，信息傳輸層主要是基于無線網(wǎng)絡(luò)的數(shù)據(jù)傳輸，系統(tǒng)應(yīng)用層主要是基于深度學(xué)習(xí)算法的病蟲害信息處理與自動識別。該系統(tǒng)整體結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)整體結(jié)構(gòu)圖

1.1 信息感知層設(shè)計

信息感知層是整個系統(tǒng)的基礎(chǔ)，為滿足動態(tài)識別的需求，采用海康威視DS-2DC4423IW-D型號的球形攝像頭，通過智能控制云臺實現(xiàn)設(shè)備的旋轉(zhuǎn)、移動以及焦距的變化。

1.2 信息傳輸層設(shè)計

信息傳輸層通過WIFI的方式實現(xiàn)數(shù)據(jù)傳輸，通過數(shù)據(jù)壓縮算法在不丟失有用信息的前提下，減少數(shù)據(jù)傳輸或者轉(zhuǎn)移過程中的數(shù)據(jù)量。當(dāng)客戶端與攝像頭處于同一局域網(wǎng)下，客戶端可以直接通過IP和端口號獲取攝像頭的數(shù)據(jù)流。但實際情況下客戶端與攝像頭不處于同一局域網(wǎng)下，系統(tǒng)采用內(nèi)網(wǎng)穿透技術(shù)實現(xiàn)對局域網(wǎng)內(nèi)攝像頭的數(shù)據(jù)流讀取從而實現(xiàn)遠程監(jiān)控功能[8，11-12]。

圖2 內(nèi)網(wǎng)穿透示意圖

內(nèi)網(wǎng)穿透即實現(xiàn)外網(wǎng)訪問內(nèi)網(wǎng)的功能，本系統(tǒng)使用硬件花生棒來實現(xiàn)內(nèi)網(wǎng)穿透，將內(nèi)網(wǎng)穿透硬件花生棒接入攝像頭所在的局域網(wǎng)，將攝像頭的IP設(shè)置為靜態(tài)IP，在花生棒的管理軟件上配置外網(wǎng)到內(nèi)網(wǎng)IP的映射。

訪問映射列表中自動為用戶分配的域名及端口號，如圖3所示，則會自動重定向至局域網(wǎng)攝像頭的IP及端口上，這樣通過花生棒便可實現(xiàn)外網(wǎng)訪問攝像頭即遠程監(jiān)控功能。

圖3 花生殼平臺

1.3 系統(tǒng)應(yīng)用層設(shè)計

系統(tǒng)應(yīng)用層對攝像頭的視頻流進行解碼，獲取視頻流中圖像數(shù)據(jù)[6]，通過集成深度學(xué)習(xí)算法實現(xiàn)柑橘的葉片檢測與病害識別，并將檢測的結(jié)果保存至數(shù)據(jù)庫。根據(jù)研究目標(biāo)，采用模塊化思想[7]把系統(tǒng)功能劃分為7個模塊，分別是實時視頻監(jiān)控模塊、視頻采集模塊、圖像采集模塊、云臺控制模塊、數(shù)據(jù)庫模塊、葉片檢測模塊、病害識別模塊，如圖4所示。

圖4 系統(tǒng)功能結(jié)構(gòu)圖

1) 實時視頻監(jiān)控模塊。該模塊提供現(xiàn)場視頻信息，通過輸入IP和端口查看實時現(xiàn)場視頻。

2) 視頻采集模塊。該模塊提供監(jiān)控視頻數(shù)據(jù)實時智能采集的功能，并將采集的視頻數(shù)據(jù)保存至本地。

3) 圖像采集模塊。該模塊調(diào)用?？低昐DK解碼器對?？档囊曨l流進行解析并生成圖像，并將生成的圖像實時顯示和保存至本地。

4) 云臺控制模塊。該模塊實現(xiàn)鏡頭控制和云臺控制，鏡頭控制有聚焦/散焦、變倍近/遠，云臺控制包括上、下、左、右等4個方向，客戶端發(fā)送控制指令就可以實現(xiàn)攝像頭旋轉(zhuǎn)和放大縮小，攝像頭關(guān)閉、開啟等動作。

5) 數(shù)據(jù)庫模塊。該模塊提供系統(tǒng)數(shù)據(jù)存儲和管理功能，本系統(tǒng)采用MySQL數(shù)據(jù)庫，因為該數(shù)據(jù)庫開源、性能卓越、服務(wù)穩(wěn)定，并且體積小、易于維護，能夠在達到性能要求的前提下節(jié)約成本。數(shù)據(jù)庫包含三張表，User表用于用戶管理，TestResult用于記錄葉片檢測結(jié)果，Log表用于記錄用戶的查詢記錄。

6) 葉片檢測模塊。該模塊調(diào)用深度學(xué)習(xí)目標(biāo)檢測算法對采集的圖像進行葉片檢測，根據(jù)檢測的目標(biāo)框?qū)D像進行局部切割生成葉片圖像保存至本地用于下一步病害識別。

7) 病害識別模塊。該模塊調(diào)用深度學(xué)習(xí)分類算法對葉片檢測模塊中生成的局部葉片進行病害識別，對識別的結(jié)果進行顯示并保存至數(shù)據(jù)庫。

2 基于深度學(xué)習(xí)的柑橘病蟲害葉片智能識別算法研究

本文基于改進的YOLOv4算法實現(xiàn)圖像的葉片檢測，并根據(jù)檢測的目標(biāo)框?qū)崿F(xiàn)葉片的局部分割，再利用DenseNet算法對分割出來的葉片進行病害檢測[9]。

2.1 葉片檢測算法與改進

YOLO網(wǎng)絡(luò)是一種基于回歸的目標(biāo)檢測算法，具有較快的檢測速度，在很多目標(biāo)檢測任務(wù)中取得了很好的效果[10]。YOLOv4引入Mosaic數(shù)據(jù)增強方法對現(xiàn)有方法進行改進使其具有更低的訓(xùn)練門檻，能夠在GPU資源有限的條件下得到更好的結(jié)果。Mosaic數(shù)據(jù)增強采用了4張圖片隨機縮放、隨機裁剪、隨機排布的方式進行拼接，豐富檢測物體的背景。

YOLOv4采用CSPDarknet53網(wǎng)絡(luò)來提取目標(biāo)特征。在Darknet53的每個大殘差塊上加上CSP，將基礎(chǔ)層的特征映射劃分為兩部分，再通過跨階段層次結(jié)構(gòu)合并,在減少計算量的同時保證準(zhǔn)確率。YOLOv4先通過上采樣方式將高層特征的語義信息傳播到低層網(wǎng)絡(luò)然后與底層特征的高分辨率信息相融合,提高小目標(biāo)檢測物的檢測效果。再增加從最底層到最上層的信息傳輸路徑,通過下采樣加強特征金字塔。最后用不同層的特征圖融合來做預(yù)測。YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

針對柑橘葉片的尺寸特點，本系統(tǒng)對YOLOv4算法進行改進。先驗框的引入將目標(biāo)檢測問題轉(zhuǎn)化為目標(biāo)物的有無以及判斷預(yù)測框與真實框的距離問題，而且還摒棄了以往的多尺度滑動窗口遍歷環(huán)節(jié)，使得目標(biāo)檢測的速度和精確度大大提升。為解決YOLOv4中先驗框長寬比例差別較大而影響精度的問題，本文提出了基于K-Means算法用于數(shù)據(jù)集標(biāo)注框聚類，獲取與葉片尺寸及比例相匹配的基準(zhǔn)框。K-Means算法通常采用歐氏距離進行聚類，容易造成較大的先驗框聚類誤差，因此本文采用處理后的IOU作為進行聚類。

Distance(i,center)=1-IOU(i,center)

(1)

Distance(i,center)指的是每個聚類中心與其它的框的重合程度，如果單用IOU(i,center)的話，則IOU(i,center)越大重合度越高，只有重合度越高距離越短才可以進行聚類，所以使用IOU(i,center)取負號后加上1。

本文針對葉片檢測任務(wù)，對網(wǎng)絡(luò)結(jié)構(gòu)進行改進，YOLOv4模型利用三個分支來識別圖像中的大中小三類目標(biāo)，為了適應(yīng)葉片的尺寸特點，同時精簡網(wǎng)絡(luò)結(jié)構(gòu)，本文減去用來識別大目標(biāo)的分支，保留剩下兩個分支，在兩個尺度上建立葉片特征檢測層。同時充分利用低層特征圖提取的細節(jié)信息，融合中等特征圖的細節(jié)信息和小特征圖的語義信息，在剩余兩個尺度上訓(xùn)練出最終的葉片檢測模型。與此同時，由于本文采集到的葉片檢測數(shù)據(jù)有限，無法構(gòu)建大規(guī)模的數(shù)據(jù)集，因此引入遷移學(xué)習(xí)，加速模型收斂，以保證取得更好的訓(xùn)練效果。

2.2 病害檢測算法

DenseNet的整體結(jié)構(gòu)如圖6所示，包含Dense Blocks和Transition layers[17]。其中Dense Blocks為稠密連接的Highway的模塊，Transition layer為相鄰2個Dense Blocks的中間部分。

LayersOutput SizeDenseNet121DenseNet169DenseNet201DenseNet264Convolution112×1127×7 conv, stride 2Pooling56×563×3 max pool, stride 2Dense Block(1)56×561×1 conv3×3 conv×61×1 conv3×3 conv×61×1 conv3×3 conv×61×1 conv3×3 conv×6Transition Layer(1)56×561×1 conv28×282×2 average pool, stride 2Dense Block(2)28×281×1 conv3×3 conv×121×1 conv3×3 conv×121×1 conv3×3 conv×121×1 conv3×3 conv×12Transition Layer(2)28×281×1 conv14×142×2 average pool, stride 2Dense Block(3)14×141×1 conv3×3 conv×241×1 conv3×3 conv×321×1 conv3×3 conv×481×1 conv3×3 conv×64Transition Layer(3)14×141×1 conv7×72×2 average pool, stride 2Dense Block(4)7×71×1 conv3×3 conv×161×1 conv3×3 conv×321×1 conv3×3 conv×321×1 conv3×3 conv×48ClassificationLayer1×17×7 global average pool1000D fully-connected, softmax

一個Dense Block模塊如圖7所示，其中層數(shù)為5，即具有5個BN+Relu+Conv(3×3)的layer，網(wǎng)絡(luò)增長率為4，即每一個layer輸出的feature map維度為4。由于每一個Dense Block模塊都利用到了該模塊中前面所有層的信息，即每一個layer都和前面的layer有highway的稠密連接。假設(shè)一個具有L層的網(wǎng)絡(luò)，那么highway稠密連接數(shù)目為L×(L+1)/2。

圖7 Dense Block模塊結(jié)構(gòu)

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的變換方程

Xl=Hl(Xl)

(2)

ResNet的變換方程

Xl=Hl(Xl)+Xl

(3)

DenseNet的變換方程

Xl=Hl([X0,X1,…Xl-1])

(4)

DenseNet解決了深層網(wǎng)絡(luò)的梯度消失問題，加強了特征的傳播，鼓勵特征重用，減少了模型參數(shù)。尤其是針對小數(shù)據(jù)集，因為小數(shù)據(jù)集的時候容易產(chǎn)生過擬合，DenseNet能夠很好的解決過擬合的問題，在小數(shù)據(jù)集的情況下DenseNet的效果好于ResNet。

3 智能識別算法的測試與集成

3.1 葉片檢測算法測試

3.1.1 數(shù)據(jù)預(yù)處理

葉片檢測實驗圖像于示范地拍攝得到，通過攝像頭拍攝和手機拍攝相結(jié)合的方式，通過旋轉(zhuǎn)移動攝像頭得到盡可能的葉片圖像，得到共計392幅葉片圖像，利用翻轉(zhuǎn)變換、隨機修剪、色彩抖動、平移變換、尺度變換、對比度變換、噪聲擾動和旋轉(zhuǎn)變換等多種方式對圖像進行增廣最終得到1 960幅圖像，按照6∶2∶2的比例進行訓(xùn)練集、驗證集和測試集的劃分，利用圖像標(biāo)注工具Labelme對柑橘葉片圖片進行標(biāo)注，批量標(biāo)注完成后產(chǎn)生一系列Json文件，將Json文件進行轉(zhuǎn)換形成柑橘葉片檢測數(shù)據(jù)集。

表1 葉片檢測數(shù)據(jù)集Tab. 1 Leaf detection dataset 幅

3.1.2 評價指標(biāo)

在目標(biāo)檢測領(lǐng)域,為了準(zhǔn)確評估模型檢測效果，需要計算目標(biāo)的精準(zhǔn)率P(Precision)和召回率R(Recall)。

(5)

(6)

式中：TP——預(yù)測正確的目標(biāo)數(shù)量；

FP——誤檢的目標(biāo)數(shù)量；

FN——漏檢的目標(biāo)數(shù)量。

P-R曲線是一條分別以Р和R為橫縱坐標(biāo)的曲線。平均精準(zhǔn)度指標(biāo)AP(Average Precision)反映的是PR曲線下的面積,綜合了精確率和召回率的結(jié)果,用于評估模型在單個檢測類別上的表現(xiàn)。葉片檢測實驗以VOC數(shù)據(jù)集評價指標(biāo)為準(zhǔn)，即MAP=AP@0.5, 則IOU=0.5就作為True Positive。由于本實驗只有l(wèi)eaf一個類別，因此其AP即作為MAP。

3.1.3 試驗結(jié)果分析

完成準(zhǔn)備工作后基于YOLOv4網(wǎng)絡(luò)模型和本文改進的YOLOv4網(wǎng)絡(luò)模型對訓(xùn)練集進行訓(xùn)練，得到的模型對測試集進行測試，相比之下本文改進的YOLOv4網(wǎng)絡(luò)模型與YOLOv4網(wǎng)絡(luò)模型相比，在檢測速度和精度上都有一定的提升。兩種模型檢測的P-R曲線如圖8所示。

圖8 兩種算法檢測P-R曲線對比圖

AP的值是P-R曲線下的面積，分析兩種算法檢測P-R曲線對比圖，本文算法曲線下對應(yīng)面積明顯大于原算法，說明了本文算法的檢測精度優(yōu)于原算法，兩種算法檢測結(jié)果對比如表2所示。

表2 檢測結(jié)果對比Tab. 2 Comparison of test results

3.2 病害檢測算法測試

3.2.1 數(shù)據(jù)預(yù)處理

病害識別實驗圖像于示范地拍攝得到，由于示范地果園柑橘植株密集，為了防止病害擴散蔓延，果園管理人員對大部分病害及時作出處理，所以能夠采集到的圖像樣本不夠充分，于是通過中國農(nóng)業(yè)大學(xué)網(wǎng)絡(luò)數(shù)據(jù)庫、農(nóng)業(yè)交流論壇、農(nóng)業(yè)技術(shù)服務(wù)平臺、Bing images等渠道獲得病害圖像樣本以充實實驗樣本集[13-14]。最后獲得病害葉片341幅，正常葉片圖像732幅，同樣使用數(shù)據(jù)增廣的方式對數(shù)據(jù)集進行擴充，病害葉片使用更多增廣策略以達到病害葉片和正常葉片數(shù)量均衡，最終獲得共計4 245幅圖像，按照6∶2∶2的比例進行訓(xùn)練集、驗證集和測試集的劃分。

表3 病害檢測數(shù)據(jù)集Tab. 3 Disease detection dataset 幅

3.2.2 試驗結(jié)果分析

完成準(zhǔn)備工作后基于DenseNet網(wǎng)絡(luò)模型對訓(xùn)練集進行訓(xùn)練，得到的模型對測試集進行測試，采用分類算法常見的準(zhǔn)確率ACC作為評價指標(biāo)，平均檢測精度可以達到95.46%，實驗結(jié)果如表4所示。

表4 實驗結(jié)果Tab. 4 Resultsof experimental

3.3 算法集成

目前深度學(xué)習(xí)算法集成大多采用生成dll再進行調(diào)用的方式，本系統(tǒng)中算法集成采用Socket通信方式實現(xiàn)，將算法調(diào)用部分發(fā)布服務(wù)以供客戶端調(diào)用，本文方法的優(yōu)勢在于算法模塊發(fā)生更新只需要重啟服務(wù)即可，相比于dll的重新生成與替換過程更加簡潔，并且用戶系統(tǒng)不必發(fā)生改變，減輕用戶的操作難度。

圖9 算法集成示意圖

客戶端系統(tǒng)圖像采集模塊實現(xiàn)圖像的截取，將截圖圖像利用Socket傳輸至服務(wù)端，服務(wù)端接受后對圖像進行檢測，將檢測結(jié)果保存至數(shù)據(jù)庫，客戶端調(diào)用數(shù)據(jù)庫數(shù)據(jù)在界面呈現(xiàn)。

4 柑橘病蟲害動態(tài)識別系統(tǒng)開發(fā)與應(yīng)用

4.1 系統(tǒng)開發(fā)

柑橘病蟲害動態(tài)識別系統(tǒng)研發(fā)分為系統(tǒng)服務(wù)端研發(fā)和系統(tǒng)客戶端研發(fā)等兩個方面，系統(tǒng)服務(wù)端使用python語言實現(xiàn)算法調(diào)用服務(wù)的搭建，系統(tǒng)客戶端利用C#語言基于?？礢DK實現(xiàn)二次開發(fā)，以Visual Studio2017為開發(fā)工具，本系統(tǒng)基于MySQL數(shù)據(jù)庫，采用Navicat for MySQL作為數(shù)據(jù)庫開發(fā)工具。系統(tǒng)開發(fā)環(huán)境由攝像頭、服務(wù)端工作站、客戶端PC機組成，攝像頭獲取視頻數(shù)據(jù)，客戶端遠程獲取視頻數(shù)據(jù)，服務(wù)端設(shè)備與客戶端設(shè)備通過局域網(wǎng)連接，系統(tǒng)設(shè)備的具體配置和功能如表5所示。

表5 系統(tǒng)開發(fā)設(shè)備配置及功能Tab. 5 System development equipment configuration and function

本文設(shè)計并開發(fā)的柑橘病蟲害動態(tài)識別系統(tǒng)主界面如圖10所示。

圖10 系統(tǒng)主界面

通過輸入IP和端口進行登錄點擊預(yù)覽即可查看實時現(xiàn)場視頻。截圖和錄像按鈕分別實現(xiàn)圖像和視頻的截取以及保存至本地。選擇某一速度，點擊上、下、左、右、放大、縮小按鈕可以實現(xiàn)攝像頭的旋轉(zhuǎn)，實現(xiàn)監(jiān)測視場的最大化。將攝像頭旋轉(zhuǎn)移動至某一位置，選擇某一預(yù)置點編號點擊設(shè)置按鈕可將該位置設(shè)置為預(yù)置點，后續(xù)可通過預(yù)置點編號點擊調(diào)用按鈕使得攝像頭旋轉(zhuǎn)移動至之前設(shè)置的位置，可用于對同一區(qū)域的變化性觀測。

4.2 系統(tǒng)應(yīng)用

點擊截圖按鈕實現(xiàn)圖像截取，截取后的圖像既會顯示在界面上又會保存至數(shù)據(jù)庫。點擊葉片提取按鈕實現(xiàn)調(diào)用深度學(xué)習(xí)目標(biāo)檢測算法對采集的圖像進行葉片檢測，檢測后的結(jié)果會顯示在界面上。點擊病害檢測按鈕實現(xiàn)調(diào)用深度學(xué)習(xí)分類算法對上一步葉片檢測的結(jié)果進行病害識別，識別后的結(jié)果會顯示在界面上，圖中的方框綠色代表正常葉片，紅色代表檢測出疑似病害葉片，并且識別的結(jié)果將會保存至數(shù)據(jù)庫，如圖11所示。

(a) 檢測結(jié)果無病害葉片

5 結(jié)論

本文將視頻圖像的動態(tài)采集和深度學(xué)習(xí)算法相結(jié)合，基于圖像采集、葉片檢測和病害識別的完整流程，實現(xiàn)了基于深度學(xué)習(xí)的柑橘病蟲害動態(tài)識別系統(tǒng)。該系統(tǒng)運行良好，視頻遠程傳輸穩(wěn)定，葉片檢測的MAP達到87.72%，滿足了生產(chǎn)實際葉片提取的基本要求，病害識別準(zhǔn)確率達到95.46%，為柑橘病害的智能監(jiān)控奠定了基礎(chǔ)。