佘麗萱,康佳,王楠,邵利敏
(河北農(nóng)業(yè)大學(xué) 機電工程學(xué)院,河北 保定 071001)
根系不僅能對植物起到固定、支撐的作用,而且是植物向外界吸收水和無機養(yǎng)分的重要器官,還能合成一些植物必備的重要物質(zhì).根系形態(tài)特征與作物健康生長息息相關(guān),作物的產(chǎn)量與根系長勢關(guān)系密切.根系越發(fā)達,枝葉越繁茂;反之,則枝葉枯黃,生長發(fā)育不良[1-3].在作物根系表型研究中,由于地下土壤環(huán)境復(fù)雜,存在石子、土塊等小顆粒,如何在復(fù)雜的土壤環(huán)境中檢測出植物的根成為重要研究方向[4].傳統(tǒng)的根系檢測方法有完整挖掘法、塑料網(wǎng)袋法、雙向切片法等[5],這些方法雖然可以較為精確地檢測出根系的參數(shù),但都會對樣本造成一定損傷,且費時費力[6-7].一些無損觀察法對根系的檢測有很好的效果,如激光掃描檢測分析法[8]、核磁共振(NMR)檢測分析法[9]和 X 射線計算機層析成像(XCT)檢測分析法[10-12]等,這些方法對根系的損壞較小,但成本相對較高.數(shù)碼設(shè)備成像法可以無損地檢測植物根系樣本[13],該方法成本較低,僅需將掃描儀與計算機相連,就可以采集并存儲高通量的清晰圖像,且可以簡單、高效地檢測植物的原位根系圖像.根系的圖像處理與分析是研究根系表型的一項重要工作.圖像分割是將圖像劃分為同質(zhì)區(qū)域的一種解析圖像表示方法,在計算機視覺和圖像處理中發(fā)揮著非常重要的作用[14].與深度學(xué)習(xí)的圖像處理方法相比,傳統(tǒng)的圖像處理方法簡單且不存在大量標注和訓(xùn)練等環(huán)節(jié),通常能夠高效地分割目標圖像.常用的分割方法有基于閾值的分割方法、基于邊緣的分割方法、基于區(qū)域的分割方法等.前人提出了許多圖像分割的方法,本文對復(fù)雜環(huán)境下自適應(yīng)圖像分割方法進行研究,復(fù)雜環(huán)境下的圖像分割是圖像分割領(lǐng)域的一項重要內(nèi)容.Gerth等[15]采用計算機X射線斷層成像技術(shù)(CTX)分別對豆類和木薯類植物的根系圖像進行了采集,設(shè)計的RootForce工具不僅能分割較小的地下器官,還可以處理直徑大于40個體素的貯藏根,可以高效直觀地獲得根系直徑、長度、體積、深度等參數(shù).Altdorff等[16]通過探地雷達(GPR)進行無損檢測,評估了GPR在原板樹(Platanusacerifolia)和七葉樹(Aesculushippocastanum)中根系統(tǒng)結(jié)構(gòu)的原位檢測性能.Narisetti等[17]采用半自動圖像分析的方法對原位根系圖像進行識別,設(shè)計的GUI工具允許使用自適應(yīng)閾值和形態(tài)學(xué)濾波的組合來執(zhí)行有效的圖像分割,并獲得根系結(jié)構(gòu)的各種參數(shù).上述研究在根系圖像檢測方面取得了一定的效果,但是算法復(fù)雜度較高,實際應(yīng)用較為困難.
由于深度學(xué)習(xí)的方法對根系圖像進行分割時需要對采集到的圖像進行大量的標注和訓(xùn)練,復(fù)雜度較高,因此本文針對棉花植株的原位根系圖像進行研究,提出了一種自動全局閾值分割的方法對棉花原位根系圖像進行分割,在閾值分割的基礎(chǔ)上對圖像中根系的形狀特征進行篩選,以達到精準檢測圖像中的細根的目的.
棉花根系圖像采集實驗于2019年在位于黃河流域的河北省保定市河北農(nóng)業(yè)大學(xué)實驗站(38.85°N,115.30°E)進行,實驗地點屬于溫帶氣候.
為了采集清晰的棉花原位根系圖像,本文采用了一種成本低、設(shè)計簡單的圖像采集裝置[18],如圖1所示,該裝置由透明玻璃根室和掃描儀組成,前后2面為梯形面,為避免光照影響,對前后2面玻璃做遮光處理,2個側(cè)面分別與2個高精度掃描儀(Epson perfection V39,Suwa,Japan)連接并固定,該裝置可以實時采集并儲存作物的原位根系圖像.
a.棉花生長裝置;b.采集裝置.圖1 圖像采集裝置Fig.1 Image acquisition device
棉花根系的圖像處理在HALCON17.12.0.0環(huán)境下實現(xiàn),使用HALCON中的圖像處理算子,采取先分割后去噪的思路對棉花根系圖像進行處理.圖像分析的主要目的是分割根系的結(jié)構(gòu)及其形態(tài)特征,將棉花根系圖像從土壤中分割出來.
采集棉花的原位根系圖像時,土壤中會存在小顆粒,這些小顆粒會影響棉花根系的檢測精度.為了減少小顆粒對檢測精度的影響,本文對圖像進行形態(tài)學(xué)濾波,消除了圖像噪聲和土壤顆粒的影響.本算法首先將采集到的根系圖像由RGB轉(zhuǎn)換到HSV空間;其次,選擇目標區(qū)域,將采集到的圖像進行閾值分割;然后,將得到的圖像轉(zhuǎn)換為二值圖像,并對二值圖像進行一次閉運算,去除圖像中的一些噪聲和小顆粒;最后,將得到的二值圖像根據(jù)形狀特征進行篩選,濾掉剩余的噪聲和小顆粒,輸出檢測好的根系圖像.
1.2.1 圖像空間轉(zhuǎn)換
掃描儀掃描的圖像為RGB彩色圖像,需將其轉(zhuǎn)換到HSV(hue,saturation,value)空間.對用戶來說,HSV是一種直觀的顏色模型,且土壤和根系的H分量在像素上有一定差距,同時H分量對光照不敏感[19].在HALCON環(huán)境中采用trans_from算子進行空間轉(zhuǎn)換,使棉花根系圖像的分割在HSV空間下進行.因此,本文將圖像轉(zhuǎn)換到HSV空間比RGB 更易識別,尤其用于指定顏色分割時,作用更為顯著.
1.2.2 圖像閾值分割
棉花根系的圖像識別最重要的一步是用二進制閾值來分割圖像.閾值分割處理需要選擇合適閾值T,合適閾值T的確定是閾值分割法的關(guān)鍵.圖像閾值的目的是將圖像按照灰度級進行劃分,將采集到的根系圖像與所選擇的閾值進行比較,大于該灰度閾值的設(shè)置為1,為目標像素;小于該閾值的設(shè)置為0,為背景像素.通過只有0和1的二值圖像,將背景和前景區(qū)分開來.設(shè)(x,y)為二維數(shù)字圖像平面上的點,f(x,y)是圖像各點的灰度值,閾值分割的數(shù)學(xué)表達式
(1)
本文采用自動全局閾值分割算法,計算簡單且無需通過人工經(jīng)驗的方法選擇合適的閾值,在精準度上也有較好的表現(xiàn).在HALCON中選擇binary_threshold算子,使用自動確定的全局閾值分割單通道圖像,參數(shù)Method選用“最大限度的可分性”,即Method= ′max_separability′.該算子首先計算圖像的直方圖,然后利用統(tǒng)計矩找到將像素分割為前景和背景的最優(yōu)閾值,并最大化這2個類之間的可分性.閾值分割后再將圖像轉(zhuǎn)換為二值圖像,如圖2a和2b所示.通過閾值分割原理可以看出,該算法計算量較小,運算簡單,性能穩(wěn)定,實用性較高.
經(jīng)過圖像二值化處理以后,采用數(shù)學(xué)形態(tài)學(xué)方法去除圖像中的雜質(zhì)和噪聲.數(shù)學(xué)形態(tài)學(xué)方法具有簡化數(shù)據(jù)、保持圖像的基本形態(tài)特征和易于硬件實現(xiàn)等優(yōu)點,在去除噪聲、圖像分割、邊緣檢測、紋理分析、圖像恢復(fù)與重建以及圖像壓縮等領(lǐng)域都有廣泛應(yīng)用[20].本文采用形態(tài)學(xué)濾波中的閉運算過濾圖像中的噪聲,同時去除圖像中由于土壤雜質(zhì)造成的錯誤分割.閉運算先進行膨脹后進行腐蝕,可平滑輪廓、彌合孔洞[21-22].在HALCON中,closing_circle算子使用圓形結(jié)構(gòu)元素封閉區(qū)域,平滑區(qū)域邊界,如圖2c和2d所示.該算子主要經(jīng)過擴張和Minkowski減法2個步驟,均具有相同的圓形結(jié)構(gòu)元素,最終將小于該圓形結(jié)構(gòu)半徑的孔封閉.在采集到的根系圖像中存在大量的噪聲,區(qū)域中需要進行閉合的圓的半徑的選擇至關(guān)重要,如果選擇的圓形結(jié)構(gòu)半徑過大,在清除一些噪聲的同時也會將圖像中的一些細小的或者不相連的根閉合掉,導(dǎo)致根系檢測精度降低;如果選擇的半徑過小,就不能閉合大部分的噪聲,則會導(dǎo)致將大的噪聲點誤檢測為根系.本文選擇閉合半徑小于3.5的圓,進行閉運算處理后不僅抑制了圖像中的噪聲,而且有效地消除了土壤中小顆粒對檢測結(jié)果的影響.
a.單通道閾值分割; b.分割結(jié)果二值化; c.閉運算; d.閉運算結(jié)果二值化.圖2 閾值分割Fig.2 Threshold segmentation
1.2.3 根系特征篩選
圖3 特征篩選流程Fig.3 Flow chart of feature selection
在檢測根系圖像前,由數(shù)碼設(shè)備成像法采集到的彩色圖像存在白色噪聲和沙礫等土壤中的細小顆粒,去除圖像中的噪聲和土壤顆粒是檢測土壤中根系十分重要的一步.目前消除噪聲常用的方法有均值濾波、中值濾波和高斯濾波等[23-26],這些濾波方法對圖像中噪聲有很好的過濾效果,然而應(yīng)用于土壤根系檢測時會造成細根丟失.本文采用閉運算結(jié)合形狀特征篩選的形態(tài)濾波方法處理圖像,在消除圖像中噪聲和小顆粒的同時,將根系認定為細長的形狀,在原位根系圖像處理中更加適用.
二值圖像經(jīng)過閉運算處理后,再采用形狀特征篩選進行二次過濾,應(yīng)用select_shape算子進行形狀特征的篩選以去除白噪聲和小的非根狀斑點狀結(jié)構(gòu).該函數(shù)根據(jù)形狀特征Features從Regions選擇區(qū)域,將選擇的區(qū)域保存SelectedRegions.本研究選擇面積“Area”和長度“Length”作為目標特征,將閾值分割后的區(qū)域進行特征選擇,面積設(shè)置在5×103~5×1016,通過判斷“Length”和“Area”的值連接圖像中的對象元組,篩選出根系的形狀特征,最后再將標注的圖像轉(zhuǎn)換成二值圖像,消除圖像中的噪聲,得到清晰的根系圖像.與非根部位相比,長度、面積和形狀都與根部存在很大的差異,圖像中根連接的部分用面積這一形態(tài)特征進行過濾,根部不相連的部分用長度這一特征篩選,通過適當設(shè)置形態(tài)特征參數(shù)“Area”和“Length”可以很好地篩選根部特征,避免根部丟失現(xiàn)象.
如圖3所示,In表示輪廓多邊形的長度Length與面積Area的比值,算法中通過循環(huán)語句判斷In值和Area的值,最終循環(huán)N次,連接圖像中所有的根(N為圖像中需要檢測的輪廓多邊形的數(shù)量).
a.原始圖像;b.檢測結(jié)果.圖4 原位根檢測效果Fig.4 Detection effect of in-situ root
為了評估本文分割方法的相關(guān)性能,在采集到的棉花根系圖像中隨機選取100張進行分割,并對其結(jié)果進行比較.總運行時間為879 s,100張棉花圖像中有93張可以完整地識別出棉花根系,7張圖像存在大量根系丟失現(xiàn)象或?qū)⒋蟛糠滞寥勒`識別為根系.圖4a為采用數(shù)碼設(shè)備成像法采集到的棉花原位根系圖像,圖4b為本文算法對棉花根系圖像的檢測結(jié)果.
在HALCON環(huán)境下實現(xiàn)根系分割,步驟如下:
1)圖像導(dǎo)入.將圖像導(dǎo)入并保存為“*.bmp”格式.
2)空間轉(zhuǎn)換.將RGB彩色圖像轉(zhuǎn)換到HSV空間,如圖5所示,將輸入的圖像進行空間轉(zhuǎn)換,對于土壤的原位根系圖像在HSV空間下進行分割更有利于機器識別,比RGB更有利于閾值分割.
a.R通道;b.G通道;c.B通道;d.H通道;e.S通道;f.V通道.圖5 空間轉(zhuǎn)換Fig.5 Space transformation
3)閾值分割.首先選擇圖像中的目標區(qū)域(圖6a),根據(jù)最大限度可分性方法,自動選擇1個合適的閾值,將圖像轉(zhuǎn)換為二值圖像,未經(jīng)濾波處理的圖像中有白噪聲和土壤中的小顆粒,二值化處理后進行閉運算將圖像中半徑小于3.5的噪聲過濾(圖6b).
4)特征篩選.在經(jīng)過初步閉運算處理后閉合了一部分的白噪聲,在根區(qū)域表示單個連接結(jié)構(gòu)的情況下,僅通過應(yīng)用面積與長度特征即可執(zhí)行過濾,利用形狀特征進行特征篩選,在去除土壤中沙礫和白噪聲的同時,篩選出細長的線狀或曲線狀結(jié)構(gòu)的根.由于圖像中的根系大部分細根大于5 000像素,而一株作物的主根的總面積小于5×1016像素,因此采用select_shape算子在5×103~5×1016下較為準確,篩選結(jié)果如圖7所示.
a.目標區(qū)域選擇;b.閉運算.圖6 閾值分割Fig.6 Threshold segmentation
圖7 特征篩選Fig.7 Feature selection
根系表型特征是了解根系生長狀況的重要指標.通過觀察和分析根系形態(tài),能夠更好地掌握植物的生長狀況,進而達到改良植物、提高農(nóng)作物產(chǎn)量等目的.以根系圖像為研究對象,結(jié)合圖像處理和計算機視覺技術(shù)等手段,從復(fù)雜的背景中提取根系,獲取根系的相關(guān)形態(tài)學(xué)參數(shù),能夠為研究人員在分析植物、研究根系等工作中提供重要的數(shù)據(jù)參考[27].使用數(shù)碼設(shè)備成像技術(shù)可以對不同土壤層次的根系生長狀態(tài)進行實時觀察,了解根系生長的動態(tài)過程,對植物表型研究和作物生長研究有重要意義.
應(yīng)用傳統(tǒng)的手動分割方法在分割時會受到操作者的主觀影響,而且在對大量圖像進行分割時費時費力.深度學(xué)習(xí)方法具有更高的精確度,但由于需要進行大量的圖像標注和圖像訓(xùn)練,且會受到數(shù)據(jù)集選取不好導(dǎo)致的檢測精度下降的影響.本研究通過采集清晰的原位根系圖像,并使用HALCON軟件在復(fù)雜的土壤環(huán)境中自動識別出根系.采用自動全局閾值分割法分割圖像,計算簡單,省時省力,在提高分割效率的同時提高了檢測精度.
本研究采用自動全局閾值分割方法分析原位根系圖像.由于植物根系圖像的獲取環(huán)境復(fù)雜,檢測根系時容易受到亮度較高的碎石、土壤顆粒等非根系部位的干擾,這些碎石和土壤顆粒的灰度級和根系像素點的灰度級相差不大,在進行根系識別的過程中,有可能將這些非根系部分的像素點提取出來,造成偏差.為了去除噪聲影響,本文采用形態(tài)學(xué)濾波的方法對圖像降噪平滑處理.在圖像分割之前,本文沒有采用高斯濾波法或中值濾波方法對圖像進行預(yù)處理,而是采用閉運算與形狀特征篩選相結(jié)合的方法進行去噪,在土壤根系圖像的精準分割中有很好的適用性.
本算法也存在一些不足,在復(fù)雜土壤環(huán)境中的根系檢測精度不夠高,分割時容易丟失一部分根.在進行形狀特征篩選時,參數(shù)的選擇會影響該算法下的根系檢測精度,圖像的清晰程度也會影響圖像的檢測精度.
圖8為不同清晰度下的檢測結(jié)果,檢測結(jié)果表明,圖像的清晰程度與檢測結(jié)果呈正相關(guān),采集到的圖像越清晰,檢測結(jié)果就越精確.圖8a和圖8c是對同一根系采集到的不同清晰度圖像,圖8b和圖8d是其對應(yīng)的檢測結(jié)果,由于圖8c更加清晰,對比度更高,其檢測結(jié)果為完整的棉花根系,而低對比度的圖8a檢測結(jié)果較差.采用本文算法進行分割時,有一部分圖像會存在主根部位丟失的現(xiàn)象,在進行形狀特征篩選時面積這一參數(shù)的選擇是導(dǎo)致主根丟失的原因,采用算法中的面積參數(shù)雖然可以更加精確地檢測出一些細小的根,但是會同時丟失一部分閾值與土壤差距不大且比較粗的主根.因此本算法在檢測精度上需要進一步提高.
本文主要針對棉花作物的根系圖像進行了研究和分析,旨在用簡便、高效、低成本的方法自動檢測圖像中的棉花根系.本文的算法可以推廣到其他作物的根系檢測中,而且可以應(yīng)用到環(huán)境較為復(fù)雜的目標分割中,只需要根據(jù)檢測目標的特征對算法中的一些參數(shù)進行改動即可.
a.低清晰度根系圖像; b.低清晰度圖像檢測結(jié)果; c.高清晰度根系圖像; d.高清晰度圖像檢測結(jié)果.圖8 不同清晰度下棉花根系的檢測結(jié)果示例Fig.8 Sample of cotton root detection results under different resolution
根系是植物吸收營養(yǎng)的重要器官,具有繁殖、儲存營養(yǎng)的作用,同時根系在土壤中還有固定植株的作用.因此,根系研究是了解植物生長狀態(tài)的重要方法.為了實現(xiàn)棉花根系圖像的檢測,本文提出了一種簡單、低成本的檢測方法.
1)數(shù)碼成像.本文通過數(shù)碼設(shè)備成像法采集棉花植株的原位根系圖像,通過高精度掃描儀觀察并采集透明根室內(nèi)的土壤-根系圖像.
2)利用圖像處理技術(shù)對根系圖像進行處理.采用了一種傳統(tǒng)的閾值分割技術(shù),通過自動全局閾值分割的方法找到合適的分割閾值,對棉花根系圖像進行分割.
3)采用形態(tài)特征篩選的方法進行優(yōu)化.分割后的圖像選取面積與長度作為篩選特征,將圖像中的根系定義為細長的形狀,同時該方法還可以有效地消除噪聲和土壤雜質(zhì)對分割產(chǎn)生的影響.本文算法在計算上較為簡單,且無需大量標注,結(jié)果較為理想,魯棒性較高,可以有效地替代人工測量,大大減少人工成本.