王生生，王 順，張 航，溫長吉

?

基于輕量和積網(wǎng)絡(luò)及無人機遙感圖像的大豆田雜草識別

王生生1，王 順2，張 航2，溫長吉3

（1. 吉林大學(xué)計算機科學(xué)與技術(shù)學(xué)院，長春 130012；2. 吉林大學(xué)軟件學(xué)院，長春 130012； 3. 吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長春 130118）

為提高機器視覺在無人機等小型嵌入式設(shè)備中雜草識別的準確率，該文以大豆苗中常見禾本科雜草和闊葉型雜草為研究對象，針對傳統(tǒng)和積網(wǎng)絡(luò)在圖像分類任務(wù)中模型參數(shù)多、訓(xùn)練時間長、含有較多冗余節(jié)點和子樹的問題，該文改進傳統(tǒng)和積網(wǎng)絡(luò)的學(xué)習過程，提出一種以小批量數(shù)據(jù)作為輸入的輕量和積網(wǎng)絡(luò)。在結(jié)構(gòu)學(xué)習中，當積節(jié)點作用域內(nèi)的變量個數(shù)小于一定閾值時，合并積節(jié)點為多元葉節(jié)點，否則將積節(jié)點重組為和積混合結(jié)構(gòu)，并對邊緣節(jié)點進行裁剪，有效降低了模型的參數(shù)量和復(fù)雜度。在參數(shù)學(xué)習中，提出貝葉斯矩匹配更新網(wǎng)絡(luò)參數(shù)，使得模型對小樣本的學(xué)習效率更高。最后結(jié)合均值聚類算法應(yīng)用于無人機圖像中的雜草識別。試驗結(jié)果表明，利用該方法對無人機圖像中大豆苗、禾本科雜草、闊葉型雜草以及土壤的平均識別準確率達99.5%，高于傳統(tǒng)和積網(wǎng)絡(luò)和傳統(tǒng)AlexNet。并且模型平均參數(shù)量僅為傳統(tǒng)和積網(wǎng)絡(luò)的33%，內(nèi)存需求最大時減少了549 M，訓(xùn)練時間最多減少了688.79 s。該研究可為輕量和積網(wǎng)絡(luò)模型在無人機噴灑農(nóng)藥中的雜草識別提供參考。

無人機；遙感；識別；和積網(wǎng)絡(luò)；結(jié)構(gòu)學(xué)習；參數(shù)學(xué)習；雜草

0 引 言

雜草是糧食生產(chǎn)的主要制約因素之一[1]。雜草管理的一個重要目標是區(qū)分禾本科雜草和闊葉型雜草，因為這2個雜草群落可通過不同除草劑適當控制[2]。作物田間雜草的識別方法主要有人工識別法、遙感識別法和機器視覺識別法3種[3]。

在雜草控制中，采用人工廣泛噴灑除草劑的方法不僅會造成除草劑的浪費，還會造成環(huán)境污染。與此同時，也導(dǎo)致了農(nóng)產(chǎn)品的安全和生態(tài)問題，如化學(xué)農(nóng)藥殘留和雜草群落進化產(chǎn)生抗藥性等[4]。在精細農(nóng)業(yè)中，精準識別作物幼苗和雜草，合理使用農(nóng)藥尤為重要[5-6]。

無人機遙感技術(shù)以其低成本、高分辨率、高靈活性的特點使其成為精細農(nóng)業(yè)中空中采集圖像的新型工具[7]。如Castro AID等利用低空航拍高光譜圖像通過植被指數(shù)、光譜角制圖等方法繪制谷類和豆類中的十字花科雜草，由識別的結(jié)果定點噴施農(nóng)藥，節(jié)約了71.7%~95.4%的除草劑[8]。Ishida T等利用無人機遙感搭載液晶可調(diào)諧濾波器獲得的高光譜圖像，結(jié)合光照和陰影2種光譜反射率對植被、土壤、雜草等進行分類，對植被的分類準確率達94.5%[9]。Barrero O等將無人機獲取的低分辨率多光譜圖像和高分辨率RGB圖像相融合以檢測水稻萌發(fā)后50天的禾本科雜草，識別準確率最高為85%[10]。利用無人機裝配先進傳感器獲取高光譜、高分辨率圖像進行光譜分析，通過在某些特定波長作物與雜草反射率的不同來進行識別，彌補了傳統(tǒng)遙感識別雜草距離遠、實時性差的缺點，在農(nóng)業(yè)領(lǐng)域應(yīng)用中具有廣闊前景[11]。

傳統(tǒng)機器學(xué)習方法提取雜草的形狀、顏色、紋理[12-14]等特定特征取得了一定效果，但對于形狀、顏色和紋理差異不明顯的作物與雜草識別準確率較低。而深度網(wǎng)絡(luò)模型能夠提取圖像的高層特征，不受人工設(shè)計特征的影響。如Potena C等[15]提出了一種用于無人地面車輛除草裝置的甜菜雜草分類感知系統(tǒng)，結(jié)合RGB和近紅外圖像使用2種不同的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，淺層網(wǎng)絡(luò)進行植被檢測，深層網(wǎng)絡(luò)進一步將檢測到的植被分為作物和雜草。他們首先進行像素分類，然后通過投票的方式對植被掩膜中檢測到的斑點進行分類，植被識別的準確率約97%。Dos A等對通過對無人機獲取的圖像進行超像素分割，然后訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)AlexNet識別大豆苗和雜草，平均識別準確率在99%以上[16]。王璨等利用卷積神經(jīng)網(wǎng)絡(luò)從圖像的高斯金字塔中提取多尺度分層特征，然后與多層感知機相連接，通過基于像素的分類實現(xiàn)玉米雜草的識別，平均識別準確率達98.92%[17]。卷積神經(jīng)網(wǎng)絡(luò)模型在識別領(lǐng)域效果顯著，其主要問題在于卷積計算對硬件資源要求較高，模型占用內(nèi)存大，難以移植到無人機等小型嵌入式設(shè)備，且模型結(jié)構(gòu)較為復(fù)雜，對于小樣本數(shù)據(jù)容易造成過擬合[18]。因此，針對無人機獲取的大豆苗雜草小樣本數(shù)據(jù)，采用了對硬件資源及樣本數(shù)量要求較小的和積網(wǎng)絡(luò)（sum-product networks）[19]。目前，和積網(wǎng)絡(luò)已成功應(yīng)用于圖像分割，圖像分類，動作識別，語音識別，目標檢測[20-25]等多個領(lǐng)域。

在大豆種植園中，禾本科雜草和闊葉型雜草嚴重影響大豆產(chǎn)量，大面積種植時使用無人機獲取圖像根據(jù)不同雜草群落噴施農(nóng)藥是有效的防治手段。本文以無人機獲取的大豆苗雜草小樣本數(shù)據(jù)為研究對象，在圖像處理階段，基于和積網(wǎng)絡(luò)的上述優(yōu)點，提出了一種輕量和積網(wǎng)絡(luò)雜草識別模型。模型首先使用均值聚類算法提取圖像低層特征，然后將提取的特征下采樣，再將采樣特征以小批量數(shù)據(jù)作為輸入，通過更新網(wǎng)絡(luò)結(jié)構(gòu)與更新網(wǎng)絡(luò)參數(shù)提取高層特征并對雜草進行識別。在結(jié)構(gòu)學(xué)習中采用一定方式對邊緣節(jié)點進行裁剪，使模型結(jié)構(gòu)輕量化，以期為輕量和積網(wǎng)絡(luò)模型在無人機噴灑農(nóng)藥中的雜草識別提供參考。

1 材料與方法

1.1 圖像獲取

無人機獲取的大豆幼苗期原始圖像如圖1所示，拍攝于2016年1月3日，平均飛行高度約4 m，采集高度變化不大，對應(yīng)的垂直攝影地面采樣距離小于1 cm。圖像規(guī)格為4 000×3 000像素，JPG格式，采用默認工廠配置中的所有參數(shù)，沒有使用額外的圖像校正。

圖1 2016年1月3日大豆幼苗期的原始圖像

1.2 圖像預(yù)處理

1.2.1 超像素分割

超像素分割是指將具有相似視覺特征的相鄰像素分割成視覺特征一致的像素塊。它利用像素之間特征的相似性進行分組，用少量的超像素代替大量的像素來表達圖像特征，減少了大量的數(shù)據(jù)冗余，顯著降低了后期圖像處理的復(fù)雜度，是目標定位和圖像分割中重要的預(yù)處理環(huán)節(jié)。對于無人機獲取的原始圖像使用簡單線性迭代聚類算法（simple linear iterative clustering, SLIC）[26]構(gòu)建圖像數(shù)據(jù)集。

式中d表示第個像素中心與第個像素點的顏色距離；d表示第個聚類中心與第個像素點的空間距離；D表示所有像素點在CIELAB顏色空間中的距離與以間隔標準化到平面上的距離之和；表示顏色和空間距離的平衡因子，在該文獻中默認為10。

試驗環(huán)境為Win10操作系統(tǒng)，CPU Intel（R） Core i7-8 700 K @3.60 GHz，16 G運行內(nèi)存。對無人機獲取的原始圖像使用了scikit-image庫中的SLIC超像素分割算法。為將原始圖像分割成大豆苗、雜草和土壤片段，在100至1 200范圍內(nèi)測試不同值，最終選擇=300將其分割為大小約200×200像素的片段，該參數(shù)的選擇取決于圖像采集的高度和分辨率。在陰天拍攝的圖像中含有較少的陰影，平衡因子的值可以使用較小的值，以使超像素邊界對圖像元素的邊緣更加敏感。在晴天，陰影對圖像的影響使得超像素對圖像的光照過于敏感，易含有在同一超像素中屬于不同類別的元素。因此可以選擇較大的值，以使空間鄰近信息相對于顏色和光照的相似性具有更大的權(quán)重[16]。

1.2.2 圖像裁剪

該數(shù)據(jù)集已將無人機獲取的原始圖像分割成15 336張小圖像，分別為3 249張土壤、7 376張大豆苗、3 520張禾本科雜草和1 191張闊葉型雜草。由于在數(shù)據(jù)集中的圖片大小不一，絕大部分圖像的高度和寬度小于256像素。為便于處理，首先將圖像放置在一個由黑色背景組成的圖像左上角，大小為512×512像素，然后在左上角以256×256像素將其裁剪。處理后的雜草與土壤圖像如圖2所示，從左至右依次為大豆苗，禾本科雜草，闊葉型雜草和土壤。

圖2 裁剪后的雜草與土壤圖像

1.2.3 數(shù)據(jù)標準化

標準化之后的數(shù)據(jù)將被擴展到一個合理的范圍，并轉(zhuǎn)化為一個無量綱的純數(shù)據(jù)。當圖像中的像素包含多個維度且不穩(wěn)定時，特征標準化公式可以確保每個維度都是零均值和單位方差。= {(1),(2),…,(i),…,(n)}表示給定的數(shù)據(jù)集，其中(i)表示數(shù)據(jù)集中第個樣本。數(shù)據(jù)標準化公式[27]可表示為

1.2.4 數(shù)據(jù)降維

1.3 和積網(wǎng)絡(luò)

和積網(wǎng)絡(luò)是一種新型概率深度網(wǎng)絡(luò)。它可以看成是一個含有根結(jié)點的廣義有向無環(huán)圖，內(nèi)部節(jié)點由和節(jié)點與積節(jié)點遞歸組成，葉結(jié)點可以是離散或連續(xù)的概率分布[19]，其主要有如下定義：

定義三（和積網(wǎng)絡(luò)的計算）：若表示在實數(shù)變量集上的和積網(wǎng)絡(luò)，其參數(shù)為，S為以節(jié)點為根結(jié)點的子網(wǎng)絡(luò)。對于每一個隨機變量服從的分布，以=作為可觀測變量的網(wǎng)絡(luò)輸入，S()表示節(jié)點處的輸出值，S()表示節(jié)點下子節(jié)點輸出值。此時，S()可由式（4）計算。

定義四（完整性）：和積網(wǎng)絡(luò)具有完整性當且僅當其和節(jié)點的所有子節(jié)點具有相同的作用域。

定義五（可分解性）：和積網(wǎng)絡(luò)具有可分解性當且僅當其積節(jié)點的所有子節(jié)點具有互斥的作用域。

注：X1，X2為布爾變量，，分別對應(yīng)于上述變量相反的邏輯狀態(tài)。

和積網(wǎng)絡(luò)在表達能力、推理能力及易處理性上具有深厚的理論支持。它的積節(jié)點可表示提取的特征，和節(jié)點可以表示特征的混合[19]。和積網(wǎng)絡(luò)可以解釋為一種具有非負參數(shù)的特殊前饋神經(jīng)網(wǎng)絡(luò)，其中葉結(jié)點是輸入神經(jīng)元，而和節(jié)點和積節(jié)點是隱藏神經(jīng)元。它也可以作為一種密度估計器，相對于傳統(tǒng)概率圖模型，在一些推理任務(wù)如邊際推理，最大可能解釋推理中可達到精確和快速的推理[30]。和積網(wǎng)絡(luò)的學(xué)習分為參數(shù)學(xué)習和結(jié)構(gòu)學(xué)習。其參數(shù)學(xué)習一般需要人工預(yù)定義網(wǎng)絡(luò)結(jié)構(gòu)，如使用極大似然估計[19]，判別式學(xué)習[31]，坍塌變分推理[32]等。因此近年來提出了幾種自動化結(jié)構(gòu)學(xué)習的方法，能夠在構(gòu)建網(wǎng)絡(luò)的同時學(xué)習參數(shù)，無需超參數(shù)調(diào)節(jié)，顯著降低了人工預(yù)定義的網(wǎng)絡(luò)的成本。如傳統(tǒng)和積網(wǎng)絡(luò)LearnSPN算法以及基于該算法的變體[33-35]，它們采用分治策略，分層聚類遞歸劃分數(shù)據(jù)集實例與變量生成網(wǎng)絡(luò)結(jié)構(gòu)。Vergari A等則通過一種混合技術(shù)自頂向下學(xué)習含有多元葉結(jié)點的網(wǎng)絡(luò)結(jié)構(gòu)，進一步提高了和積網(wǎng)絡(luò)的表達能力[36]。

傳統(tǒng)和積網(wǎng)絡(luò)的LearnSPN算法使用多次掃描的批處理學(xué)習方式，通過在線期望最大化算法遞歸劃分數(shù)據(jù)矩陣的實例和變量，這樣無需指定集群的數(shù)量，但復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)是通過爆炸性地增加和節(jié)點后裔節(jié)點的個數(shù)實現(xiàn)的，含有較多冗余節(jié)點且訓(xùn)練時間較長。參數(shù)學(xué)習使用極大似然估計，葉結(jié)點全部為單變量分布，較為簡單。但由于網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，易將噪聲數(shù)據(jù)的特征也學(xué)習到模型當中，導(dǎo)致模型泛化能力下降，容易過擬合。

1.4 輕量和積網(wǎng)絡(luò)雜草識別模型

1.4.1 特征提取

圖4 K均值聚類

1.4.2 輕量和積網(wǎng)絡(luò)雜草識別流程

輕量和積網(wǎng)絡(luò)雜草識別流程如圖5所示，模型包括均值聚類和輕量和積網(wǎng)絡(luò)兩部分。經(jīng)由上文所述方法，利用均值聚類提取輸入圖像的低層特征，然后以小批量學(xué)習的方式，將下采樣后的數(shù)據(jù)經(jīng)一次傳遞訓(xùn)練輕量和積網(wǎng)絡(luò)，提取圖像高層特征并進行雜草識別。輕量和積網(wǎng)絡(luò)由內(nèi)部節(jié)點學(xué)習輸入特征的聯(lián)合概率分布，由根結(jié)點輸出特征所屬類別的概率。不同種類分別訓(xùn)練，在進行雜草識別時，每一種類別對應(yīng)于一個獨立的網(wǎng)絡(luò)結(jié)構(gòu)。對于輸入圖像，每個網(wǎng)絡(luò)結(jié)構(gòu)輸出該類別的概率值，概率最高的即為所屬類別，依據(jù)識別結(jié)果可供無人機選擇噴施特定農(nóng)藥。

圖5 雜草識別流程

更新網(wǎng)絡(luò)結(jié)構(gòu)的方法是將作用域包含2個變量的子節(jié)點相關(guān)聯(lián)。當子節(jié)點的個數(shù)小于一定數(shù)量時就創(chuàng)建一個多元的葉結(jié)點，反之則在變量上創(chuàng)建一個和積混合結(jié)構(gòu)。此過程如圖6所示。

注：x1 ,…, x5表示積節(jié)點的作用域。

圖6a表示一個含有3個子節(jié)點的原始積節(jié)點，1,…,5表示該節(jié)點下的作用域。關(guān)聯(lián)1與3的方法如圖6b所示，積節(jié)點跟蹤這5個變量的經(jīng)驗均值和經(jīng)驗協(xié)方差。當1和3的皮爾遜相關(guān)系數(shù)高于一定閾值時，該算法將具有1，32個子節(jié)點的作用域合并，并將它們轉(zhuǎn)換為一個多元葉節(jié)點，以其統(tǒng)計的均值和協(xié)方差作為葉結(jié)點參數(shù)。另一種關(guān)聯(lián)1和3的方法是創(chuàng)建一個混合模型，如圖6c所示，它有2個組成部分。第一個部分為包含1和3積節(jié)點的原始子節(jié)點。第二個組成部分是一個新的積節(jié)點，它再次被初始化為在其作用域上的一個完全因式分解的分布，然后再將小批數(shù)據(jù)點傳遞給新混合模型以更新其參數(shù)。更新結(jié)構(gòu)的方式可通過設(shè)置子節(jié)點個數(shù)的閾值來選擇。

矩匹配是一種基于經(jīng)驗矩估計分布參數(shù)的常用方法。例如，在保證一致性的同時，矩匹配被用來估計混合模型、主題生成模型和隱藏馬爾科夫模型的參數(shù)[38]。矩匹配也可以用于貝葉斯近似一個難以計算的后驗分布。也就是說，通過計算這個分布的矩的子集，選擇一個與這些矩匹配的易處理分布簇作為近似，如期望傳播[39]。該文提出使用貝葉斯矩匹配更新網(wǎng)絡(luò)中的參數(shù)。貝葉斯學(xué)習始于一個在權(quán)重上的先驗概率()，然后對于給定觀測數(shù)據(jù)集，根據(jù)貝葉斯式（7）學(xué)習計算后驗概率(|)。

對于給定數(shù)據(jù)集= {(1),(2),…,(m),…,(n)}的小批量學(xué)習方式，可以將貝葉斯公式改寫為公式（8），即將觀測數(shù)據(jù)集均勻劃分成若干個批次，表示Batch Size的大小。的取值可根據(jù)GPU或CPU硬件的內(nèi)存需求調(diào)節(jié)。

當用狄利克雷分布近似一個難以計算的分布時，首先計算的一階矩和二階矩，然后使用式（12）計算超參數(shù)以使其與分布有相同的矩。

進一步說，對于由狄利克雷分布的乘積得到的聯(lián)合概率分布()，為了計算超參數(shù)α，可以通過計算每個邊緣分布()的一階矩和二階矩，然后通過貝葉斯矩匹配與狄利克雷分布的乘積來近似，這樣做的目的是為了減小直接顯示計算的復(fù)雜性。

為了簡化結(jié)構(gòu)，當一個積節(jié)點最終只有一個子節(jié)點時，就將其從網(wǎng)絡(luò)中刪除，而使它的子節(jié)點與其父節(jié)點相連。如果一個和節(jié)點是另一個和節(jié)點的最后一個節(jié)點，那么就刪除該和節(jié)點，并將其所有子節(jié)點提升一個層。這樣有效地減少了冗余的邊緣分支和子樹，使模型結(jié)構(gòu)更加輕量化。

2 結(jié)果與分析

2.1 雜草識別結(jié)果與分析

為驗證模型的適用性，將試驗數(shù)據(jù)分為平衡數(shù)據(jù)和非平衡數(shù)據(jù)2組，因為在實際應(yīng)用中獲取的樣本數(shù)據(jù)往往是非平衡的。平衡數(shù)據(jù)是指模型在訓(xùn)練、測試、驗證時每種類別均使用相同的樣本數(shù)量。反之，當每種類別的樣本數(shù)量分布不均勻時則是非平衡數(shù)據(jù)。在平衡數(shù)據(jù)中每個類別所選的圖像數(shù)量為1 125張，共4 500張圖片。其中3 000張用于訓(xùn)練，500張用于驗證，1 000張用于測試。非平衡數(shù)據(jù)是在沒有限制類別平衡的情況下形成的。為保持和文獻[16]中試驗的一致性且便于將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集，使用了15 336張圖片中的15 000張，組成較大數(shù)據(jù)集。丟棄其中的336張大豆類圖像，因為大豆類的圖像數(shù)量遠比其他類別高，對試驗幾乎沒有影響，其他類別的數(shù)據(jù)則全部使用。非平衡數(shù)據(jù)中的每個類別70%用于訓(xùn)練，10%用于驗證，20%用于最終測試。小批量學(xué)習Batch Size的值一般設(shè)置為1 000以內(nèi)，數(shù)值越小學(xué)習過程收斂越快，但產(chǎn)生的噪聲越多。經(jīng)多次試驗，根據(jù)硬件設(shè)備的內(nèi)存需求及試驗結(jié)果，選擇Batch Size為62。

2次試驗使用輕量和積網(wǎng)絡(luò)與傳統(tǒng)和積網(wǎng)絡(luò)算法LearnSPN、卷積神經(jīng)網(wǎng)AlexNet[16]對大豆苗、闊葉型雜草、禾本科雜草以及土壤的識別結(jié)果進行對比。不同模型算法下平衡數(shù)據(jù)與非平衡數(shù)據(jù)下的分類混淆矩陣如表1所示。

準確率計算公式為TP/(TP+FP)，召回率計算公式為TP/(TP+FN)，式中TP表示真正例，F(xiàn)P表示假正例，F(xiàn)N表示假反例。根據(jù)平衡數(shù)據(jù)與非平衡數(shù)據(jù)下的分類混淆矩陣，可得到平衡數(shù)據(jù)與非平衡數(shù)據(jù)下的準確率與召回率。由表1平衡數(shù)據(jù)中的結(jié)果可知使用均衡的數(shù)據(jù)集對模型的訓(xùn)練有所幫助，此時使用和積網(wǎng)絡(luò)模型、卷積神經(jīng)網(wǎng)絡(luò)模型進行雜草識別的準確率均在96%以上。本文方法較傳統(tǒng)和積網(wǎng)絡(luò)方法LearnSPN的平均分類準確率提高了2.8個百分點，平均召回率提高了2.9個百分點；較卷積神經(jīng)網(wǎng)絡(luò)的平均分類準確率提高了0.4個百分點，平均召回率提升了0.5個百分點?？梢钥吹轿锤倪M的傳統(tǒng)和積網(wǎng)絡(luò)其識別效果低于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，主要是由于其冗余的節(jié)點分支對識別精度有一定影響。誤分類的圖片主要由于個別圖像質(zhì)量差、陰影、采集時不同類別重疊等問題導(dǎo)致。其中闊葉型雜草和大豆苗容易誤分，某些圖像由于以上原因及植物本身特點，即使人眼也很難完全正確分類。而土壤類別的識別準確率高于其他3種植物類別，主要由于它在顏色空間中的特征值與其他類別差異較大。

表1 不同模型算法下平衡數(shù)據(jù)與非平衡數(shù)據(jù)的分類混淆矩陣與分析結(jié)果

由表1使用15 000張非平衡數(shù)據(jù)的試驗結(jié)果可知，在非平衡數(shù)據(jù)中輕量和積網(wǎng)絡(luò)的平均分類準確率為99.6%，較平衡數(shù)據(jù)下的平均分類準確率提高了0.1個百分點，較傳統(tǒng)和積網(wǎng)絡(luò)提高了1.2個百分點。2組數(shù)據(jù)中的平均識別準確率均達到了99.5%。本文方法在4 500張數(shù)據(jù)時識別準確率已趨于飽和，說明模型對訓(xùn)練樣本數(shù)的要求較少。在非平衡數(shù)據(jù)中傳統(tǒng)和積網(wǎng)絡(luò)的平均分類準確率為98.4%，相對于平衡數(shù)據(jù)提高了1.7個百分點。平均召回率為98.6%，提高了1.9個百分點。說明增加訓(xùn)練樣本，對于和積網(wǎng)絡(luò)的識別效果有所幫助。卷積神經(jīng)網(wǎng)絡(luò)在非平衡數(shù)據(jù)中的平均分類準確率和平均召回率為99.5%，較平衡數(shù)據(jù)均提高了0.4個百分點?？梢钥吹接?xùn)練數(shù)據(jù)較大時，所有方法的識別準確率均有上升，但對于非平衡數(shù)據(jù)，卷積神經(jīng)網(wǎng)絡(luò)更容易受到有更多數(shù)據(jù)的類的影響，相比于其他類別更為敏感，如在闊葉型雜草出現(xiàn)的現(xiàn)象，易誤分為訓(xùn)練樣本較多的類別，這種情況同樣出現(xiàn)在和積網(wǎng)絡(luò)中。

輕量和積網(wǎng)絡(luò)的每個內(nèi)部節(jié)點在其作用域上均定義了一個概率分布，其內(nèi)部節(jié)點可看作特征提取器。為了將提取到的特征進行可視化，使用文獻[30]中的方法自向下遍歷網(wǎng)絡(luò)，使每個葉結(jié)點根據(jù)自身的分布在實數(shù)集上生成一些觀測值，相對于原始RGB圖像，通過作用域函數(shù)對輸入空間編碼得到的大豆苗、禾本科雜草、闊葉型雜草及土壤的二值圖像和偽彩色圖像如圖7所示。

注：從左至右依次是大豆苗、禾本科雜草、闊葉型雜草和土壤。

2.2 模型性能分析

卷積神經(jīng)網(wǎng)AlexNet[16]中輸入圖片大小為256×256×3，第一層卷積有96個11×11×3的卷積核，第二層有256個5×5×48的卷積核，第三層有384個3×3×256的卷積核，第四層有384個3×3×192的卷積核，第五層有256個3×3×192個卷積核。前2層全連接層含有4 096個節(jié)點，總參數(shù)量為61 011 208。和積網(wǎng)絡(luò)的參數(shù)量可通過節(jié)點計數(shù)器累加得到，采用多次訓(xùn)練后的均值。2次試驗中輕量和積網(wǎng)絡(luò)的訓(xùn)練時間、內(nèi)存大小、參數(shù)量對比LearnSPN，卷積神經(jīng)網(wǎng)絡(luò)AlexNet0性能結(jié)果分析表如表 2所示。

由表2可知，輕量和積網(wǎng)絡(luò)模型的平均參數(shù)量在平衡數(shù)據(jù)下較傳統(tǒng)和積網(wǎng)絡(luò)減少了482 637，約66.70%。在非平衡數(shù)據(jù)下參數(shù)量減少了1 916 572，約66.67%。即2組試驗中輕量和積網(wǎng)絡(luò)的平均參數(shù)量為傳統(tǒng)和積網(wǎng)絡(luò)參數(shù)量的33%。內(nèi)存占用在最大時較傳統(tǒng)和積網(wǎng)絡(luò)減小了549 M，較卷積神經(jīng)網(wǎng)絡(luò)減小了1 072 M。和積網(wǎng)絡(luò)的結(jié)構(gòu)隨著輸入數(shù)據(jù)的不斷增加，其深度逐步加深，網(wǎng)絡(luò)結(jié)構(gòu)不固定。而卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)固定，其參數(shù)量與輸入圖片尺寸，卷積核大小、個數(shù)等有關(guān)，與輸入數(shù)據(jù)量無關(guān)。對于15 000張的數(shù)據(jù)，輕量和積網(wǎng)絡(luò)的參數(shù)量仍遠小于卷積神經(jīng)網(wǎng)絡(luò)，說明輕量和積網(wǎng)絡(luò)仍適用于較大數(shù)據(jù)。

此外，使用輕量和積網(wǎng)絡(luò)作為雜草識別模型，在平衡數(shù)據(jù)下的平均訓(xùn)練時間較傳統(tǒng)和積網(wǎng)絡(luò)減少了282.15 s，在非平衡數(shù)據(jù)下減少了688.79 s。因為小批量的學(xué)習方式只需經(jīng)數(shù)據(jù)的一次傳遞，因此對于較大數(shù)據(jù)集，其學(xué)習速率高于批量學(xué)習。因和積網(wǎng)絡(luò)緊湊的網(wǎng)絡(luò)結(jié)構(gòu)，使其在內(nèi)存占用和訓(xùn)練時間上均優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)。

表2 不同模型算法的性能結(jié)果分析

3 結(jié)論與討論

本文以大豆苗中常見禾本科雜草和闊葉型雜草為研究對象，提出了一種基于輕量和積網(wǎng)絡(luò)的雜草識別模型。模型首先使用均值聚類作為低層特征提取器，然后將提取的特征下采樣，再將采樣特征以小批量數(shù)據(jù)作為輸入訓(xùn)練輕量和積網(wǎng)絡(luò)。在結(jié)構(gòu)學(xué)習中，當積節(jié)點作用域內(nèi)的變量個數(shù)小于一定閾值時，合并積節(jié)點為多元葉節(jié)點，否則將積節(jié)點重組為和積混合結(jié)構(gòu)，并采用一定方式對邊緣冗余節(jié)點和子樹進行裁剪，這樣有效降低了模型的參數(shù)量和復(fù)雜度，且提出以貝葉斯矩匹配的方法更新網(wǎng)絡(luò)參數(shù)，使得模型對小樣本學(xué)習的效率更高。在雜草識別中，由網(wǎng)絡(luò)內(nèi)部節(jié)點學(xué)習輸入特征的聯(lián)合概率分布，由根結(jié)點輸出特征所屬類別的概率。對不同類別的雜草，依據(jù)識別結(jié)果可供無人機選擇噴施特定農(nóng)藥。試驗結(jié)果表明，針對大豆苗、禾本科雜草和闊葉型雜草以及土壤的小樣本數(shù)據(jù)，該模型的平均識別準確率達到了99.5%，參數(shù)量僅為傳統(tǒng)和積網(wǎng)絡(luò)的33%，且遠小于卷積神經(jīng)網(wǎng)絡(luò)，模型占用內(nèi)存最大時減小了549 M，訓(xùn)練時間最多減小了688.79 s，更適用于無人機等小型嵌入式設(shè)備。此外，該模型在訓(xùn)練時間上也具有明顯優(yōu)勢。

本文不足之處在于前期對于無人機圖像獲取的數(shù)據(jù)需要多步處理，數(shù)據(jù)集本身依賴于人工分類，部分圖像有不同類別重疊，在提取特征時對此類圖像的誤分類會增大。但通過調(diào)整分類閾值，整體識別準確率可達到預(yù)期效果。后續(xù)可為深入研究輕量和積網(wǎng)絡(luò)模型在復(fù)雜環(huán)境中的雜草識別提供參考。

[1] Zhu Jinwen, Wang Jian, Ditommaso A, et al. Weed research status, challenges, and opportunities in China[J]. Crop Protection, 2018: S0261219418300255.

[2] Herrera P, Dorado J, Ribeiro á. A novel approach for weed type classification based on shape descriptors and a fuzzy decision-making method[J]. Sensors, 2014, 14(8): 15304－15324.

[3] 毛文華，王一鳴，張小超，等. 基于機器視覺的田間雜草識別技術(shù)研究進展[J]. 農(nóng)業(yè)工程學(xué)報，2004，20(5)：43－46. Mao Wenhua, Wang Yiming, Zhang Xiaochao, et al. Research advances of weed identification technology using machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2004, 20(5): 43－46. (in Chinese with English abstract)

[4] Ip R H L, Ang L M, Seng K P, et al. Big data and machine learning for crop protection[J]. Computers & Electronics in Agriculture, 2018, 151: 376－383.

[5] 趙川源，何東健，喬永亮. 基于多光譜圖像和數(shù)據(jù)挖掘的多特征雜草識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(2)：192－198. Zhao Chuanyuan, He Dongjian, Qiao Yongliang. Identification method of multi-feature weed based on multi-spectral images and data mining[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(2): 192－198. (in Chinese with English abstract)

[6] 黃玉祥，楊青. 精細農(nóng)業(yè)的環(huán)境效應(yīng)[J]. 農(nóng)業(yè)工程學(xué)報，2009，25(增刊2)：250－254. Huang Yuxiang, Yang Qing. Impact of precision agriculture on environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(Supp. 2): 250－254. (in Chinese with English abstract)

[7] Torressánchez J, Lópezgranados F, Castro A I D. Configuration and specifications of an unmanned aerial vehicle (UAV) for early site specific weed management[J]. Plos One, 2013, 8(3): e58210.

[8] Castro A I D, Jurado-Expósito M, López-Granados F. Airborne multi-spectral imagery for mapping cruciferous weeds in cereal and legume crops[J]. Precision Agriculture, 2012, 13(3): 302－321.

[9] Ishida T, Kurihara J, Viray F A, et al. A novel approach for vegetation classification using UAV-based hyperspectral imaging[J]. Computers & Electronics in Agriculture, 2018, 144: 80－85.

[10] Barrero O, Perdomo S A . RGB and multispectral UAV image fusion for gramineae weed detection in rice fields[J]. Precision Agriculture, 2018, 19(5): 809－822.

[11] Du M, Noguchi N. Monitoring of wheat growth status and mapping of wheat yield’s within-field spatial variations using color images acquired from UAV-camera system[J]. Remote Sensing, 2017, 9(3): 289.

[12] 李先鋒，朱偉興，紀濱，等. 基于圖像處理和蟻群優(yōu)化的形狀特征選擇與雜草識別[J]. 農(nóng)業(yè)工程學(xué)報，2010，26(10)：178－182. Li Xianfeng, Zhu Weixing, Ji Bin, et al. Shape feature selection and weed recognition based on image processing and ant colony optimization[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(10): 178－182. (in Chinese with English abstract)

[13] 毛罕平，胡波，張艷誠，等. 雜草識別中顏色特征和閾值分割算法的優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報，2007，23(9)：154－158. Mao Hanping, Hu Bo, Zhang Yancheng, et al. Optimization of color index and threshold segmentation in weed recognition[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(9): 154－158(in Chinese with English abstract)

[14] 曹晶晶，王一鳴，毛文華，等. 基于紋理和位置特征的麥田雜草識別方法[J]. 農(nóng)業(yè)機械學(xué)報，2007，38(4)：107－110. Cao Jingjing, Wang Yiming, Mao Wenhua, et al. Weed detection method in wheat field based on texture and position features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2007, 38(4): 107－110. (in Chinese with English abstract)

[15] Potena C, Nardi D, Pretto A. Fast and accurate crop and weed identification with summarized train sets for precision agriculture[C]//International Conference on Intelligent Autonomous Systems. Springer, Cham, 2011: 105－121.

[16] Dos A, Ferreira S, Matte D, et al. Weed detection in soybean crops using convnets[J]. Computers & Electronics in Agriculture, 2017, 143: 314－324.

[17] 王璨，武新慧，李志偉. 基于卷積神經(jīng)網(wǎng)絡(luò)提取多尺度分層特征識別玉米雜草[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(5)：144－151. Wang Can, Wu Xinhui, Li Zhiwei. Recognition of maize and weed based on multi-scale hierarchical features extracted by convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 144－151. (in Chinese with English abstract)

[18] Li Huiming, Fan Xitian, Li Jiao, et al. A high performance FPGA-based accelerator for large-scale convolutional neural networks[C]// International Conference on Field Programmable Logic & Applications. IEEE, 2016: 1－9.

[19] Poon H, Domingos P. Sum-product networks: A new deep architecture[J]. Research Gate, 2012, 21(5): 689－690.

[20] Rathke F, Desana M, Schn?rr C. Locally adaptive probabilistic models for global segmentation of pathological OCT scans[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2017: 177－184.

[21] Sguerra B M, Cozman F G. Image classification using sum-product networks for autonomous flight of micro aerial vehicles[C]//2016 5th Brazilian Conference on Intelligent Systems (BRACIS). IEEE, 2016: 139－144.

[22] Amer M R, Todorovic S. Sum Product Networks for Activity Recognition[M]. IEEE Computer Society, 2016.

[23] Peharz R, Kapeller G, Mowlaee P, et al. Modeling speech with sum-product networks: application to bandwidth extension[C]// IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2014: 3699－3703.

[24] Butz C J, Santos A E D, Oliveira J S, et al. Efficient examination of soil bacteria using probabilistic graphical models[C]// International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems. Springer, Cham, 2018: 315－326.

[25] Gens R, Domingos P. Learning the structure of sum-product networks[C]// International Conference on Machine Learning. ICML, 2013: 873－880.

[26] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274－2282.

[27] Coates A , Ng A Y . Learning feature representations with K-means[J]. Lecture Notes in Computer Science, 2012, 7700: 561－580.

[28] Coates A, Ng A, Lee H. An analysis of single-layer networks in unsupervised feature learning[C]//Proceedings of the fourteenth International Conference on Artificial Intelligence and Statistics. ICAISC, 2011: 215－223.

[29] Peharz R, Tschiatschek S, Pernkopf F, et al. On theoretical properties of sum-product networks[J]. Journal of Machine Learning Research, 2015,5: 744－752.

[30] Vergari A, Mauro N D, Esposito F. Visualizing and understanding sum-product networks[J]. Machine Learning, 2018,7: 1－23.

[31] Gens R, Domingos P. Discriminative learning of sum-product networks[C]//Advances in Neural Information Processing Systems. NIPS, 2012: 3239－3247.

[32] Zhao Han, Adel T, Gordon G, et al. Collapsed variational inference for sum-product networks[C]// International Conference on International Conference on Machine Learning. JMLR. org, 2016: 1310－1318.

[33] Rooshenas A , Lowd D . Learning sum-product networks with direct and indirect variable interactions[C]// International Conference on International Conference on Machine Learning. JMLR. org, 2014: 710－718.

[34] Adel T, Balduzzi D, Ghodsi A. Learning the structure of sum-product networks via an SVD-based algorithm[C]// Conference on Uncertainty in Artificial Intelligence. UAI, 2015: 32－41.

[35] Molina A, Vergari A, Di Mauro N, et al. Mixed sum-product networks: A deep architecture for hybrid domains[C]// Proceedings of the AAAI Conference on Artificial Intelligence. AAAI, 2018: 3828－3835.

[36] Vergari A, Mauro N D, Esposito F. Simplifying, regularizing and strengthening sum-product network structure learning[C]// Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer, Cham, 2015: 343－358.

[37] Kodinariya T M, Makwana P R. Review on determining number of cluster in K-means clustering[J]. International Journal, 2013, 1(6): 90－95.

[38] Anandkumar A, Hsu D, Kakade S M. A method of moments for mixture models and hidden markov models [C]//Conference on Learning Theory. COLT, 2012: 33. 1－33. 34.

[39] Minka T, Lafferty J. Expectation-propagation for the generative aspect model[C]//Proceedings of the Eighteenth conference on Uncertainty in artificial intelligence. Morgan Kaufmann Publishers Inc. , 2002: 352－359.

Soybean field weed recognition based on light sum-product networks and UAV remote sensing images

Wang Shengsheng1, Wang Shun2, Zhang Hang2, Wen Changji3

(1.,,130012,; 2.,,130012,; 3.,,130118,)

In weed control, using unmanned aerial vehicle (UAV) to obtain images, spraying specific pesticides according to different weed communities is an effective means of prevention and control. Sum-product networks is suitable for small embedded devices such as UAV. But it has many parameters, long training time, and more redundant nodes and subtrees in the image classification task, so that the recognition accuracy is not high. In response to these problems, this paper improved the learning process of traditional sum-product networks and used a mini-batch learning method to construct a network model through one pass of data. Its lightweight structure required less hardware resources and was more suitable for small embedded devices such as drones. It had reference significance for the subsequent spraying of pesticides by drones. For the input image, the light sum-product networks weed recognition model first used-means clustering as the low-level feature extractor to obtain the feature dictionary, then downsampled the extracted features, and took the sampling features into mini-batches of data as input to train the light sum-product networks.Each category corresponds to an independent network structure, and the high-level features were extracted by internal nodes in the network structure. The probability values of the corresponding categories were output by the root nodes to identify weeds. The network structure was updated by comparing the correlation coefficients between variables. Bayesian moment matching was used to update the network parameters. To simplify the structure, when a product node had only one child, it was removed from the network, and its child nodes were connected to its parent node. Similarly, if a sum node was the last node of another sum node, then the child node was deleted and all its child nodes were promoted one layer up. This effectively reduced redundant edge branches and made the model structure lighter. Using this method, the average classification accuracy of soybean seedlings, grass weeds, broadleaf weeds and soils in UAV images was 99.5%, and the average sensitivity was 99.6%. And the model parameter quantity was only 33% of the traditional sum-product networks. The parameter quantity would increase with the input of the data flow. The amount of parameters was still much smaller than traditional convolutional neural networks AlexNet when using the larger data sets to construct the light sum-product networks. It showed that the model was suitable for larger data sets. The memory usage was reduced by 549 M compared to the traditional sum-product networks and was reduced by 1 072 M compared to the convolutional neural networks. The maximum average training time was reduced by 688.79 s compared to the traditional sum-product networks, which was much less than the convolutional neural networks. The experimental results showed that using the light sum-product network as the weed recognition model, the model parameters were less, the memory requirements were lower, and the training time was shorter without loss of precision. The shortcoming was that the data acquired by the UAV image in the previous stage needed to be processed in multiple steps. The data set itself relied on manual classification. Some images had different categories of overlap, and the misclassification of such images would increase when the features were extracted. However, by adjusting the classification threshold, the overall classification can achieve the desired results. The research can provide a reference for the use of light sum-product networks in weed recognition of UAV spraying pesticides.

unmanned aerial vehicle; remote sensing; recognition; sum-product networks; structure learning; parameter learning; weed

2018-11-14

2019-02-11

吉林省科技發(fā)展計劃項目（20190302117GX,20180101334JC, 20180101041JC）；吉林省教育廳科研規(guī)劃重點課題（2016186）

王生生，教授，博士生導(dǎo)師，主要從事機器視覺、農(nóng)業(yè)信息化方面的研究。Email：wss@jlu.edu.cn

10.11975/j.issn.1002-6819.2019.06.010

TP391.41

A

1002-6819(2019)-06-0081-09

王生生，王 順，張 航，溫長吉. 基于輕量和積網(wǎng)絡(luò)及無人機遙感圖像的大豆田雜草識別[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(6)：81－89. doi：10.11975/j.issn.1002-6819.2019.06.010 http://www.tcsae.org

Wang Shengsheng, Wang Shun, Zhang Hang, Wen Changji. Soybean field weed recognition based on light sum-product networks and UAV remote sensing images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(6): 81－89. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.06.010 http://www.tcsae.org