金小俊， 孫艷霞， 陳 勇*， 于佳琳

(1. 南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院， 江蘇 南京 210037； 2. 南京交通職業(yè)技術(shù)學(xué)院軌道交通學(xué)院， 江蘇 南京 211188；3. 得克薩斯農(nóng)工大學(xué)土壤與作物科學(xué)系， 得克薩斯州 學(xué)院站 77843)

草坪綠化是城市文明程度的重要標(biāo)志之一[1]。草坪常見(jiàn)于公園綠化、體育場(chǎng)、高爾夫球場(chǎng)等場(chǎng)所。草坪對(duì)于美化環(huán)境、凈化空氣、保持水土等作用顯著[2]。由于雜草的侵襲，草坪退化嚴(yán)重，造成養(yǎng)護(hù)困難[3]。雜草防控是草坪養(yǎng)護(hù)的重要內(nèi)容，基于除草劑的化學(xué)除草是草坪雜草防控的常用方式[4-5]。我國(guó)化學(xué)農(nóng)藥用量居世界第一[6]。其中，農(nóng)作物的農(nóng)藥利用率僅為36.6%，遠(yuǎn)低于歐美發(fā)達(dá)國(guó)家[7]。提高農(nóng)藥利用率已成為我國(guó)農(nóng)業(yè)生產(chǎn)中亟需解決的重要問(wèn)題[8]。近年來(lái)，我國(guó)除草劑的施藥量占農(nóng)藥總用量的48%左右，除草劑的減施是降低農(nóng)藥使用的重中之重[6,8]。自然環(huán)境下，草坪雜草呈不規(guī)則生長(zhǎng)，分布隨機(jī)。除草劑通常以地毯式方式噴施[9]，造成除草劑利用率低下。實(shí)現(xiàn)除草劑的精準(zhǔn)噴施是降低除草劑用量，減少環(huán)境污染的關(guān)鍵。要想實(shí)現(xiàn)精準(zhǔn)噴施，首先需要實(shí)現(xiàn)對(duì)雜草的識(shí)別，并進(jìn)而確定除草劑的噴施區(qū)域[10-11]。

傳統(tǒng)雜草識(shí)別方法通常利用植物本身的一些特征，包括顏色、形狀、紋理以及多光譜等[12-14]。但這些特征需要人工提取，且算法設(shè)計(jì)復(fù)雜，存在著穩(wěn)健性不足，識(shí)別速度低等缺陷[13,15-16]。隨著深度學(xué)習(xí)，特別是深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，越來(lái)越多的研究開(kāi)始借助于深度學(xué)習(xí)技術(shù)[17-21]。王璨等[22]利用改進(jìn)的雙注意力語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)模型，基于玉米像素分割結(jié)果，生成雜草分割圖。試驗(yàn)表明，深度學(xué)習(xí)模型的平均交并比、平均像素識(shí)別準(zhǔn)確率分別可達(dá)94.16%和95.68%。樊湘鵬等[23]通過(guò)改進(jìn)Faster R-CNN模型的錨尺度,并選取最優(yōu)特征提取網(wǎng)絡(luò)，可實(shí)現(xiàn)對(duì)自然條件下新疆棉田棉花幼苗期的7種雜草的有效識(shí)別與定位，平均識(shí)別精確率為94.21%。Osorio等[24]分別采用YOLO-v3模型和Mask R-CNN模型對(duì)生菜田中的雜草進(jìn)行識(shí)別，結(jié)果顯示兩者的F1指數(shù)均為94%。草坪雜草識(shí)別方面，Yu等[25-28]研究發(fā)現(xiàn)，在休眠期的狗牙根草坪中，VGGNet模型和DetectNet模型均能精準(zhǔn)識(shí)別各類單子葉和雙子葉雜草。而在多年生黑麥草坪中，VGGNet模型對(duì)于不同密度的蒲公英草識(shí)別率最高，而GoogleNet模型雖然召回率較高，但精度值遠(yuǎn)低于VGGNet模型。

草坪雜草隨機(jī)分布，且草坪草與雜草生長(zhǎng)交錯(cuò)、重疊，增加了識(shí)別難度。文獻(xiàn)檢索顯示，對(duì)于草坪雜草識(shí)別，國(guó)內(nèi)外研究較少，尚處于探索階段[27-29]。而針對(duì)草坪雜草的除草劑精準(zhǔn)噴施，國(guó)內(nèi)外均尚未開(kāi)展相關(guān)研究。本研究擬提出一種可用于除草劑精準(zhǔn)噴施的草坪雜草識(shí)別與噴施區(qū)域檢測(cè)方法，以期解決草坪雜草精準(zhǔn)噴施這一關(guān)乎除草劑利用率的關(guān)鍵問(wèn)題。同時(shí)，為相似作物的雜草識(shí)別與除草劑噴施區(qū)域檢測(cè)提供技術(shù)參考。

1 材料與方法

1.1 圖像采集

本研究選取具有代表性的草坪草種狗牙根[Cynodondactylon(L.) Pers.]，并在其伴生雜草中分別選取禾本科毛花雀稗(PaspalumdilatatumPoir.)、豆科白三葉(TrifoliumrepensL.)以及莎草科莎草(CyperusrotundusL.)為試驗(yàn)對(duì)象。毛花雀稗和白三葉圖像于2018年10月采集自美國(guó)佐治亞大學(xué)格里芬校區(qū)(University of Georgia Griffin Campus)內(nèi)的草坪。莎草圖像于2021年5月采集自江蘇省南京市江寧區(qū)某綠化草坪。采集設(shè)備為索尼數(shù)碼相機(jī)(型號(hào)為DSC-HX1)。圖像分辨率為1920 × 1080像素。為保證深度學(xué)習(xí)訓(xùn)練樣本的多樣性，圖像采集在不同時(shí)間，以及晴天、陰天不同光線狀態(tài)下進(jìn)行。狗牙根草坪伴生雜草如圖1所示。

圖1 狗牙根草坪伴生雜草原圖Fig.1 Original images of weeds in bermudagrass lawn

1.2 樣本數(shù)據(jù)集與試驗(yàn)方法

對(duì)于采集到的草坪圖像，每張按照5行8列切分成40張格子圖片，如圖2所示。切分后每張格子圖片的分辨率為240 × 216像素。人工查看格子圖片并分類，包含毛花雀稗、白三葉和莎草的格子歸為正樣本，反之歸為負(fù)樣本(狗牙根草坪)。如此分別得到毛花雀稗樣本、白三葉樣本、莎草樣本各2 500張，以及狗牙根樣本7 500張。樣本按照8∶2的比例隨機(jī)分為訓(xùn)練集和驗(yàn)證集。

圖2 格子切分示例圖Fig.2 Grid image illustration

測(cè)試集選取包含毛花雀稗、白三葉和莎草的完整原圖各10張，每張?jiān)瓐D同樣按照5行8列切分格子圖。30張?jiān)瓐D共計(jì)獲得格子圖片1 200張。分類后毛花雀稗為218張、白三葉為295張、莎草為242張，不含雜草的狗牙根草坪圖為445張。試驗(yàn)樣本數(shù)據(jù)集的建立如表1所示。

表1 深度學(xué)習(xí)樣本數(shù)據(jù)Table 1 Deep learning dataset

1.3 深度學(xué)習(xí)框架

為探究不同深度學(xué)習(xí)模型對(duì)雜草識(shí)別的效果，本研究擬選取不同卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行評(píng)價(jià)分析。試驗(yàn)深度學(xué)習(xí)平臺(tái)為PyTorch框架[30]。PyTorch是由Facebook公司開(kāi)源的神經(jīng)網(wǎng)絡(luò)框架，其具有強(qiáng)大的GPU加速?gòu)埩坑?jì)算能力，并包含深度神經(jīng)網(wǎng)絡(luò)的自動(dòng)求導(dǎo)系統(tǒng)，是目前主流的深度學(xué)習(xí)平臺(tái)之一[31]。本研究中所用模型均在PyTorch框架下編程實(shí)現(xiàn)，以使不同模型的對(duì)比處于標(biāo)準(zhǔn)、公平的環(huán)境之下。深度學(xué)習(xí)訓(xùn)練和運(yùn)行的硬件系統(tǒng)為臺(tái)式計(jì)算機(jī)，搭載Inter(R) core(TM) i9-9900K CPU @3.60GHZ處理器，圖形處理單元為NVIDIA GeForce RTX 2080Ti，運(yùn)行內(nèi)存為64 GB，操作系統(tǒng)為Ubuntu 20.04。

1.4 雜草識(shí)別與噴施區(qū)域檢測(cè)方法

1.4.1雜草識(shí)別模型 本研究分別選取VGGNet模型[32]、GoogLeNet模型[33]和ShuffleNet模型[34]對(duì)草坪圖像中的雜草進(jìn)行識(shí)別并分類。VGGNet是由牛津大學(xué)視覺(jué)幾何組(Visual Geometry Group)和Google公司共同提出的卷積神經(jīng)網(wǎng)絡(luò)模型，其證明了使用很小的卷積(3×3)并通過(guò)增加網(wǎng)絡(luò)深度可以有效提升模型的識(shí)別精度。GoogLeNet是由Google公司推出的基于Inception模塊的深度神經(jīng)網(wǎng)絡(luò)模型。該模型使用Inception結(jié)構(gòu)增加網(wǎng)絡(luò)寬度，通過(guò)提取高維特征以減少參數(shù)數(shù)量、提高模型的分類性能。ShuffleNet是曠視科技設(shè)計(jì)的高效卷積神經(jīng)網(wǎng)絡(luò)模型，其通過(guò)優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)更輕量級(jí)的模型。該模型的特點(diǎn)在于擁有更加均衡的識(shí)別性能，利用有限的計(jì)算資源獲取最佳精度。智能除草裝備依賴高性能的實(shí)時(shí)雜草識(shí)別[35]。本研究將從識(shí)別率和識(shí)別速度兩方面對(duì)上述模型進(jìn)行綜合對(duì)比，并根據(jù)評(píng)價(jià)結(jié)果選取最優(yōu)模型進(jìn)行雜草及噴施區(qū)域識(shí)別研究。表2為不同模型的默認(rèn)超參設(shè)置。

表2 不同模型默認(rèn)超參設(shè)置Table 2 Default hyperparameters of each model

1.4.2評(píng)價(jià)指標(biāo) 本研究采用精度(precision)、召回率(recall)以及F1值作為驗(yàn)證集評(píng)價(jià)指標(biāo)。在本研究場(chǎng)景中，精度表示樣本中模型正確分類的雜草目標(biāo)與預(yù)測(cè)為雜草目標(biāo)的比值。召回率表示樣本中所有雜草目標(biāo)被正確預(yù)測(cè)的比例。精度和召回率的定義如下：

(1)

(2)

式中：tp為被正確劃分為正樣本的數(shù)量、fp為被錯(cuò)誤劃分為正樣本的數(shù)量、fn為被錯(cuò)誤劃分為負(fù)樣本的數(shù)量。

F1值是深度學(xué)習(xí)中常用的模型綜合評(píng)價(jià)指標(biāo)，其結(jié)合了精度與召回率。計(jì)算方式為取精度與召回率的調(diào)和平均數(shù)：

(3)

對(duì)于測(cè)試集，本研究使用總體準(zhǔn)確率(overall accuracy)和平均準(zhǔn)確率(average accuracy)作為評(píng)價(jià)指標(biāo)?？傮w準(zhǔn)確率是模型在測(cè)試集上預(yù)測(cè)正確的(包括真正類和真負(fù)類)數(shù)量與總體數(shù)量之間的比值，其計(jì)算公式為：

(4)

平均準(zhǔn)確率是取每一類(class)總體準(zhǔn)確率的平均值，體現(xiàn)模型對(duì)所有類別目標(biāo)的綜合分類能力，其定義如下所示：

(5)

式中：Nc為分類任務(wù)中類別的數(shù)量。

1.4.3除草劑噴施區(qū)域檢測(cè) 本研究擬通過(guò)劃分格子圖片，利用深度學(xué)習(xí)識(shí)別各格子中是否包含雜草，進(jìn)而實(shí)現(xiàn)雜草定位。如圖3所示，首先將原圖按照5行8列均勻切分成40張格子圖片。5行8列的選擇依據(jù)為：本研究中采集的原始圖像分辨率為1920 × 1080像素。切分后每個(gè)格子的大小為240 × 216像素，該尺寸與一般卷積神經(jīng)網(wǎng)絡(luò)模型的輸入尺寸(224 × 224像素)相近[36]。對(duì)應(yīng)的物理尺寸與除草劑施藥器單個(gè)噴頭的噴施范圍相近(噴頭孔徑3.2 mm，攝像頭高度0.65 m，圖像區(qū)域分辨率240 × 240像素，噴施物理直徑12 cm)。對(duì)于切分的格子圖片，分別送入深度學(xué)習(xí)模型進(jìn)行雜草識(shí)別。具體為利用訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型對(duì)輸入的格子圖片進(jìn)行推理，并輸出分類標(biāo)簽。若標(biāo)簽為毛花雀稗、白三葉或莎草，則標(biāo)記圖像中該格子的所在區(qū)域?yàn)閲娛﹨^(qū)域。如此，統(tǒng)計(jì)出圖像中所有包含雜草的格子區(qū)域，即為需要噴施除草劑的區(qū)域，施藥器噴頭移動(dòng)到相應(yīng)區(qū)域并完成除草劑噴施。

圖3 雜草識(shí)別與除草劑噴施區(qū)域檢測(cè)流程示意圖Fig.3 Flow chart of weed recognition and site-specific spraying

2 結(jié)果與分析

2.1 雜草識(shí)別

深度學(xué)習(xí)模型識(shí)別雜草的驗(yàn)證集評(píng)價(jià)數(shù)據(jù)如表3所示。從表中可知，VGGNet模型對(duì)于白三葉和狗牙根的精度最高，均達(dá)到了1.0。精度越高表明模型對(duì)目標(biāo)的誤識(shí)別率越低。GoogLeNet模型和ShuffleNet模型對(duì)莎草和白三葉的識(shí)別率同樣高達(dá)1.0。召回率方面，VGGNet模型識(shí)別出了所有莎草目標(biāo)，而GoogLeNet模型和ShuffleNet則對(duì)狗牙根召回率達(dá)到了1.0。VGGNet模型識(shí)別毛花雀稗的召回率最高，為0.99，表明其有1%的漏檢。ShuffleNet模型能夠識(shí)別出99%的白三葉目標(biāo)，在所有模型中召回率最優(yōu)。進(jìn)一步觀察F1值，所有模型都高于0.97，表明本研究所選模型對(duì)于雜草都有較好的識(shí)別效果。其中，VGGNet模型對(duì)于白三葉、莎草和狗牙根的F1值都高達(dá)0.99，表明VGGNet模型對(duì)這三種目標(biāo)均保持了精度和召回率的最佳平衡。GoogleNet模型對(duì)于莎草和狗牙根同樣具有較高的識(shí)別性能。ShuffleNet模型則對(duì)白三葉和狗牙根能更好的兼顧精度和召回率。

表3 不同神經(jīng)網(wǎng)絡(luò)模型驗(yàn)證集評(píng)價(jià)數(shù)據(jù)Table 3 Evaluation matrix of CNN models in validation dataset

將訓(xùn)練模型應(yīng)用于測(cè)試集數(shù)據(jù)，得到表4所示的評(píng)價(jià)數(shù)據(jù)。由表4可知，VGGNet模型對(duì)于所有種類目標(biāo)的總體準(zhǔn)確率均高于0.99，且其平均準(zhǔn)確率高達(dá)99.50%，相較于GoogLeNet模型和ShuffleNet模型，識(shí)別效果最優(yōu)。GoogLeNet模型對(duì)于不同雜草的識(shí)別總體準(zhǔn)確率均超過(guò)0.98，平均準(zhǔn)確率為98.75%。ShuffleNet模型雖然對(duì)正樣本(毛花雀稗、白三葉和莎草)總體準(zhǔn)確率較高，但對(duì)于負(fù)樣本狗牙根的準(zhǔn)確率僅有0.96，且該模型平均準(zhǔn)確率低于VGGNet模型和GoogLeNet模型。綜合總體準(zhǔn)確率和平均準(zhǔn)確率，VGGNet模型和GoogLeNet模型對(duì)于不同類型目標(biāo)的識(shí)別均衡性更高，總體識(shí)別效果更優(yōu)。

表4 不同神經(jīng)網(wǎng)絡(luò)模型測(cè)試集評(píng)價(jià)數(shù)據(jù)Table 4 Evaluation matrix of CNN models in testing dataset

表4同樣列出了VGGNet模型、GoogLeNet模型和ShuffleNet模型的識(shí)別速度。該速度值取測(cè)試集中1200張格子圖片的平均值，并以40張格子圖片為單位(每張?jiān)瓐D切分后為40張格子圖片)，計(jì)算整圖的識(shí)別速度。觀察可知，ShuffleNet模型識(shí)別速度最快，幾乎是GoogLeNet模型的兩倍。VGGNet模型性能最低，只有8.9 fps的幀率，無(wú)法滿足實(shí)際應(yīng)用的需要。此結(jié)果也證明雖然VGGNet模型通過(guò)增加網(wǎng)絡(luò)深度提高了識(shí)別率，但同時(shí)也消耗了更多的計(jì)算資源[37]。GoogLeNet模型識(shí)別速度為36.9 fps，表示其每秒鐘可以處理36.9張圖片。通常圖像處理速度高于30 fps即可認(rèn)為是實(shí)時(shí)處理[38]，因而ShuffleNet模型和GoogLeNet模型均具備實(shí)時(shí)雜草識(shí)別的能力。綜合識(shí)別率和檢測(cè)速度，GoogLeNet模型為本研究中所選模型中的最優(yōu)模型，其擁有最為均衡的識(shí)別率和識(shí)別速度。

2.2 除草劑噴施區(qū)域

圖4所示為本研究中所選最優(yōu)模型GoogLeNet的雜草識(shí)別及噴施區(qū)域標(biāo)記效果圖。分別為圖4a包含毛花雀稗的圖像、圖4b包含白三葉的圖像、圖4c包含莎草的圖像以及圖4 d同時(shí)包含毛花雀稗和白三葉的圖像。從效果圖可看出，GoogLeNet模型對(duì)于不同雜草類型均能正確識(shí)別，展示了其良好的穩(wěn)健性。其中，圖中的淡紅色格子表示包含毛花雀稗的區(qū)域，淡黃色格子和淡藍(lán)色格子則分別為標(biāo)記的白三葉和莎草位置區(qū)域。在草坪除草應(yīng)用中，除草機(jī)器人根據(jù)標(biāo)記的噴施區(qū)域格子坐標(biāo)，控制施藥器噴頭移動(dòng)至相應(yīng)位置，完成除草劑的精準(zhǔn)噴施。

圖4 草坪雜草識(shí)別與精準(zhǔn)噴施效果圖Fig.4 Weed detection and site-specific spraying in bermudagrass

3 討論

當(dāng)一張圖像中同時(shí)包含多種雜草時(shí)，切分格子可以將不同雜草劃分至不同區(qū)域，從而在一定程度上提升雜草識(shí)別率。但需要指出的是，單個(gè)格子中仍然可能存在多種雜草，該場(chǎng)景下神經(jīng)網(wǎng)絡(luò)模型只會(huì)給出一個(gè)預(yù)測(cè)標(biāo)簽值。若應(yīng)用場(chǎng)景為不區(qū)分雜草種類的除草劑噴施，則僅需判定有無(wú)雜草，而無(wú)需確定具體雜草種類。反之，若為區(qū)分雜草種類的噴施，由于不同除草劑通常情況下不能混合使用，一次僅能噴施一種除草劑，因此，格子中存在多種雜草也只需識(shí)別出一種，通過(guò)多次作業(yè)完成所有雜草的噴施。

為降低除草劑用量、減少環(huán)境污染，研發(fā)能夠?qū)崿F(xiàn)除草劑精準(zhǔn)噴施的智能除草裝備勢(shì)在必行。要想實(shí)現(xiàn)精準(zhǔn)噴施，首先需要實(shí)現(xiàn)對(duì)雜草及噴施區(qū)域的精準(zhǔn)識(shí)別。傳統(tǒng)雜草識(shí)別方法通常僅在圖像中找出雜草像素，并未與施藥器的噴施系統(tǒng)相結(jié)合。如何進(jìn)行選擇性的精準(zhǔn)噴施？如何關(guān)聯(lián)雜草區(qū)域和施藥器噴頭的噴施范圍？本研究通過(guò)將圖像劃分格子區(qū)域，每一個(gè)格子作為一個(gè)噴施單元，通過(guò)識(shí)別格子中是否包含雜草，從而確定除草劑噴施區(qū)域。該方法可直接應(yīng)用于除草機(jī)器人的視覺(jué)系統(tǒng)。

4 結(jié)論

VGGNet模型、GoogLeNet模型和ShuffleNet模型均能有效識(shí)別草坪雜草目標(biāo)。其中GoogLeNet擁有最為均衡的識(shí)別率和識(shí)別速度，為本研究試驗(yàn)的最優(yōu)模型。試驗(yàn)表明，本研究提出的草坪雜草識(shí)別與除草劑噴施區(qū)域檢測(cè)方法具有高度的可行性和較優(yōu)的應(yīng)用效果，可用于基于除草劑精準(zhǔn)噴施的草坪雜草防控。本研究以草坪雜草為試驗(yàn)對(duì)象，但本研究所提出的雜草識(shí)別與除草劑噴施區(qū)域檢測(cè)方法亦可應(yīng)用于其他作物，如玉米(ZeamaysL.)、棉花(Gossypiumspp.)、水稻(OryzasativaL.)和小麥(TriticumaestivumL.)等。本研究后續(xù)將針對(duì)不同作物展開(kāi)普適性研究，同時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)和優(yōu)化，以進(jìn)一步提升識(shí)別率與性能。