鄭小南,楊凡,李富忠
(山西農(nóng)業(yè)大學(xué)軟件學(xué)院,太谷 030801)
近年來,在智慧農(nóng)業(yè)概念的大力推廣下,傳統(tǒng)農(nóng)業(yè)耕作已被逐漸摒棄,農(nóng)業(yè)開始朝著智能化、自動化方向發(fā)展。早在20 世紀(jì)70 年代,圖像處理技術(shù)開始應(yīng)用到農(nóng)業(yè)領(lǐng)域[1],主要應(yīng)用于作物病害識別[2]、表型監(jiān)測[3]、品質(zhì)分級[4]等方面,極大提高了農(nóng)業(yè)耕作效率和農(nóng)作物產(chǎn)量。
圖像分割是根據(jù)圖像的灰度值差異,把圖像分解劃分為若干個區(qū)域,研究者從中提取出自己感興趣區(qū)域的過程[5]。圖像分割作為圖像處理中的關(guān)鍵一環(huán),對圖像分析結(jié)果有很大的影響。通過圖像分割技術(shù),可以高效、無損的獲取農(nóng)作物信息,幫助農(nóng)民實時了解農(nóng)作物生長動態(tài),更好的管理農(nóng)作物。本文主要通過對基于閾值、基于聚類、基于邊緣和基于深度學(xué)習(xí)四種圖像分割方法在農(nóng)作物分割的應(yīng)用進展進行綜述,為后期農(nóng)作物的圖像分割研究提供一定的理論基礎(chǔ)。
閾值分割算法的基本原理是結(jié)合圖像的灰度特征計算一個或多個灰度閾值,并將圖像中每個像素的灰度值與閾值進行比較,最后根據(jù)比較的結(jié)果將像素劃分到相應(yīng)的類別。因此,閾值分割算法的關(guān)鍵是根據(jù)一定的準(zhǔn)則來求出最優(yōu)灰度閾值。閾值分割是一種傳統(tǒng)的分割算法,因其操作簡單,穩(wěn)定性強,在農(nóng)業(yè)中得到了廣泛的應(yīng)用。袁南星等人[6]運用閾值分割將水稻的雜株進行識別,有利于在水稻育種中排出雜株的危害,結(jié)果顯示,水稻秧苗期雜株性狀少,不易識別,但在水稻抽穗期具有良好的識別效果。梁麗秀等人[7]提出了一種水稻根系分割的綜合算法,將形態(tài)特征的局部閾值分割算法和自適應(yīng)閾值分割算法結(jié)合,可以有效的將水稻根系的細小根須從圖像中分割出來,且保證了根須的連續(xù)性。張永梅等人[8]提出了一種成熟花椒果實自動識別的技術(shù),該技術(shù)中首先將花椒圖像在RGB 和HSV 兩種顏色模型下的R 和H 分量提取,然后利用閾值分割算法對花椒果實進行分割。再在分割結(jié)果的基礎(chǔ)上實現(xiàn)花椒果實采摘點的精確定位。結(jié)果顯示,對不同光照下的花椒果實均有較好的分割效果,采摘點的選擇誤差也較小,為后期花椒采摘機器人的研究奠定了一定的基礎(chǔ)。Peng 等人[9]基于數(shù)字圖像處理技術(shù),對石榴的葉綠素進行預(yù)測。首先對石榴圖像進行閾值分割、噪聲處理、背景分離等,以去除背景和噪聲干擾。然后通過層疊稀疏自編碼(SSAE)網(wǎng)絡(luò)自動學(xué)習(xí)葉片RGB 圖像的內(nèi)在特征,獲得簡潔的數(shù)據(jù)特征。最后,建立了葉片RGB 圖像特征與其SPAD 值之間的預(yù)測模型,以此對石榴葉片葉綠素含量進行預(yù)測。結(jié)果表明,本研究中深度神經(jīng)網(wǎng)絡(luò)葉綠素含量檢測的準(zhǔn)確性和自動化程度均高于傳統(tǒng)的機器學(xué)習(xí)方法。
聚類分割主要是將一些相互獨立的模式,按一定的相似性進行組合的過程,即同一類別中相似性要比不同類別的相似性更高[10]。聚類分割一般應(yīng)用于邊緣模糊,背景復(fù)雜的情況下,相比傳統(tǒng)的分割算法,聚類分割具有無監(jiān)督、高效等優(yōu)勢,現(xiàn)農(nóng)業(yè)中應(yīng)用最廣的聚類算法主要是模糊C 均值算法和K 均值聚類算法。劉智杭等人[11]提出了一種將K-means 算法和局部異常因子(LOF)算法相結(jié)合的圖像分割算法,對運用LOF 算法篩選過的像素點集合進行k 均值聚類,該方法可以降低孤立點和離群點的影響,實驗表明,該算法可以對不同背景和光照下的葡萄果穗精準(zhǔn)分割。Van Huy Pham 等人[12]提出了一種基于分割和歸并的混合算法,用于水果缺陷檢測的圖像分割。該算法首先使用K-means 算法將原始圖像劃分為多個區(qū)域,然后使用最小生成樹的合并過程,以將相似區(qū)域迭代合并為新的區(qū)域。這種組合是一種有效的方法,對缺陷分割精度和分割速度方面都呈現(xiàn)出了良好的效果。Yang Yu 等人[13]提出了一種基于多圖像特征和加權(quán)k 均值聚類算法的快速有效的蘋果自動分級方法。該方法提供了一種利用四個圖像(頂部、底部和兩側(cè))和每個蘋果的平均灰度值來區(qū)分蘋果缺陷、莖和花萼的新方法。結(jié)果顯示,用該方法分級的總準(zhǔn)確率大于96%。遲德霞等人[14]運用模糊C 均值聚類算法對稻田里的水稻秧苗進行分割,對圖像中的泡沫、水、秧苗等物體的RGB 值進行提取,選取正交彩色空間I3 顏色分量灰度值作為樣本數(shù)據(jù)進行聚類處理,結(jié)果表明,m=2 時,可以較好地將水稻秧苗從背景中分割出來,平均誤差率1.5%。
基于邊緣檢測的圖像分割是先確定研究者感興趣的區(qū)域邊緣像素,然后再把這些邊緣像素連接起來,就組成了分割的目標(biāo)區(qū)域邊界。反映到圖像中的灰度,即灰度值發(fā)生突變的區(qū)域。較常見的邊緣檢測算子有:Prewitt 算子、Sobel 算子、Canny 算子和 Roberts 算子[15]。王建侖[16]提出了一種田間葉片分割和圖像三維重建的新方法,圖像分割主要采用Canny 和OTSU 相結(jié)合的方法,去除了復(fù)雜背景的干擾,對算法進行優(yōu)化后,有效地將葉子邊緣區(qū)域完整分割,實驗表明,田間葉子分割精度為72.5%。馮青春等人[17]通過將閾值分割和Robert 邊緣檢測算子相結(jié)合,分割出黃瓜果實的目標(biāo)區(qū)域,并以此確定黃瓜機器人的目標(biāo)采摘區(qū)域,實驗顯示該算法有效地減少了定位誤差,定位精度可達2 mm。Long Li 等人[18]研制了一種用于蘋果表面損傷和內(nèi)部品質(zhì)檢測的光學(xué)傳感系統(tǒng)。研究了等高線提取與標(biāo)記約束分水嶺分割相結(jié)合的方法,解決了蘋果圖像中灰度不均勻的問題。實驗中對300 個未損傷的蘋果進行分割,正確分割率為97.3%。Xi Tian 等人[19]采用主成分分析(PCA)、偽彩色圖像變換技術(shù)和改進的分水嶺分割算法(IWSA)等圖像處理方法,分析了基于聲音和腐爛橘子的高光譜透射率掃描圖像(325-1098 nm)進行衰減檢測的可行性。將偽彩色圖像中G 分量提取,增強病變組織與正常組織的圖像對比度,然后利用IWSA 可以對橘子病變區(qū)域進行精準(zhǔn)分割。陳含等[20]提出了一種基于Sobel 算子,對小麥麥穗進行邊緣檢測并實現(xiàn)圖像分割的方法,將該方法與最大值法、G 分量法和加權(quán)平均法進行比較,結(jié)果表明,運用Sobel 算子邊緣分割可以有效地將小麥麥穗從復(fù)雜背景中分割出來,分割的效率和精度均優(yōu)于以上三種算法。
傳統(tǒng)的圖像分割需要研究者手動設(shè)置特征參數(shù),這需要研究者在圖像分割領(lǐng)域有一定的知識和經(jīng)驗,而且分割結(jié)果有時也不能滿足研究者的需求[21],近年來,深度學(xué)習(xí)成為當(dāng)前的研究熱點,該技術(shù)也被逐漸應(yīng)用到農(nóng)作物圖像分割中,與傳統(tǒng)的分割算法相比,分割性能有了很大的提升。熊雄[22]用三種基于深度學(xué)習(xí)的算法(即:Panicle-SEG、Panicle Net 和 Panicle Net v2)對稻穗分割,對比發(fā)現(xiàn),基于深度學(xué)習(xí)的分割效果比傳統(tǒng)的方法效果更優(yōu)異,對細小稻穗的的敏感度更高,且三種分割算法中,Panicle Net v2 的分割效果最好。喬虹等人[23]運用Mask R-CNN 的分割算法對田間的葡萄葉片進行分割,該算法是對Faster R-CNN 進行優(yōu)化來實現(xiàn)分割,實驗結(jié)果顯示,對不同天氣(晴天、陰天)正常、病害、不同品種葡萄葉片分割的平均精度均大于88%。王鵬飛[24]通過Mask R-CNN 網(wǎng)絡(luò)對玉米田間的雜草進行分割。將Mask R-CNN 網(wǎng)絡(luò)和一些常見的圖像分割網(wǎng)絡(luò)對雜草分割效果進行對比,對比結(jié)果顯示,當(dāng)IoU=0.5 時,對玉米及雜草的邊緣分割效果較好,平均精度為0.8133。Jin Shichao 等人[25]提出了一種結(jié)合深度學(xué)習(xí)和區(qū)域生長算法從陸地激光雷達數(shù)據(jù)中分割單個玉米的方法。運用R-CNN(基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò))模型,對三個不同種植密度的地塊進行試驗。結(jié)果表明,深度學(xué)習(xí)與區(qū)域生長算法相結(jié)合的方法在玉米個體分割中具有較好的應(yīng)用前景,三個種植密度不同的試驗點的r、p、F 值均大于0.9。此外,算法切分的玉米高度與人工測量的高度高度相關(guān)(r2>0.9)。
農(nóng)作物的圖像分割主要是對農(nóng)作物果實、葉片、根系等一些主要器官進行分割,為農(nóng)作物生長狀況實時監(jiān)測,以及農(nóng)業(yè)采摘機器人的研發(fā)提供了一定的理論基礎(chǔ)。這種技術(shù)的使用,有效的解決了傳統(tǒng)農(nóng)業(yè)效率低、周期長、人為主觀性強等不足,但隨著該技術(shù)的大量推廣與使用,圖像分割中存在的一些弊端也逐漸呈現(xiàn)出來。①農(nóng)作物種類繁多,現(xiàn)有的圖像分割算法僅適用于一些特征顯著,背景相對簡單的情況,所以算法的性能還需要進一步的提高。②目前的圖像分割算法不具有普遍性,對于不同的農(nóng)作物,甚至相同農(nóng)作物的不同形態(tài)背景,都需要研究適應(yīng)的分割算法來實現(xiàn)。