柳懿祥,汪杭軍,徐鐵平
(1. 浙江農(nóng)林大學 信息工程學院,浙江 杭州 311300;2. 浙江農(nóng)林大學 暨陽學院,浙江 諸暨 311800;3. 諸暨農(nóng)業(yè)農(nóng)村局,浙江 諸暨 311800)
現(xiàn)代農(nóng)業(yè)和林業(yè)害蟲給糧食安全帶來嚴重威脅,每年產(chǎn)生巨大的經(jīng)濟損失[1]。準確地監(jiān)測害蟲數(shù)量變化,預測害蟲爆發(fā)趨勢,可為害蟲管理行動提供可靠依據(jù)和正確管理方法[2-3]。近年來,出現(xiàn)了許多用于蟲害測報的新型害蟲誘殺設(shè)備及監(jiān)測系統(tǒng),這些設(shè)備配有多種傳感器,可以上傳數(shù)據(jù)到用戶手機端,且可以定時對誘殺的害蟲拍攝然后識別計數(shù)[4-5],節(jié)省了大量人力。害蟲誘殺設(shè)備及監(jiān)測系統(tǒng)進行蟲害測報的重要前提是如何準確分割害蟲,針對此問題,許多國內(nèi)外學者對害蟲分割方法進行了研究。SOLIS-SáNCHEZ等[6]利用目標的幾何形態(tài)特征(偏心率、面積等)從誘蟲板上分割粉虱Aleyrodidae。NING等[7]提出交互式分割方法從復雜背景中分割害蟲。呂金娜[8]提出了基于LAB顏色空間的棉花Gossypiumspp.害蟲普適K聚類害蟲圖像分割方案,對典型棉花害蟲圖像進行分割。楊信廷等[9]提出了基于Prewitt、Canny邊緣檢測算子分割和支持向量機(SVM)的溫室粉虱和薊馬Thripidae誘蟲板的圖像識別算法。陳樹越等[10]提出改進的凹點檢測和精確分割點定位的方法,實現(xiàn)對黏連害蟲的分割。然而,上述方法大多用于單個害蟲情況,對于野外誘蟲裝置獲得圖像、害蟲產(chǎn)生輕微堆疊及顏色不一等問題還有待解決。害蟲的分割效果與設(shè)備的收集功能密不可分。李芝茹等[11]采用了追蹤式太陽能監(jiān)測裝置,在穩(wěn)定供能的同時也可升降采集不同高度的害蟲;張紅濤等[12]、張昊辰等[13]針對捕蟲誘集部分,設(shè)計了多種采集方法以及通道,來提升害蟲圖像質(zhì)量。本研究針對害蟲收集裝置中的采集害蟲圖像分割精度的要求,根據(jù)害蟲面積與采樣盤面積的比例進行智能翻轉(zhuǎn),針對翻轉(zhuǎn)功能需要克服的實際拍攝圖像光照不均勻,陰影干擾大,及害蟲種類顏色繁多等問題,提出了基于全局對比度的圖像分割方法,對裝置中的實際圖像進行分割處理,使其滿足采樣盤的智能翻轉(zhuǎn)要求。
害蟲的智能收集通過害蟲面積占比控制采樣盤翻轉(zhuǎn)完成,為了準確獲取此比例,需要對獲取的害蟲圖像有較高精度的分割。本研究結(jié)合基于直方圖對比度的顯著性檢測(HC)算法與閾值迭代算法,提出了滿足害蟲圖像精度的分割方法。整體方法流程如圖1所示。
圖1 方法流程圖Figure 1 Algorithm flow chart
為了減少多種顏色害蟲同時出現(xiàn)的頻率,首先將害蟲圖像分成150個同等大小的區(qū)域,每個區(qū)域大小約1只害蟲的面積。在分割區(qū)域操作的同時,計算顏色的出現(xiàn)頻率,高頻顏色替換低頻顏色,保證算法運行速度。在此基礎(chǔ)上通過HC算法檢測圖像中的淺色害蟲,結(jié)合閾值迭代算法分割背景顏色。得到的圖像淺色害蟲輪廓清晰,并避免了陰影的影響,但圖像中深色害蟲均未被分割,故將此前檢測出的淺色害蟲圖像中的像素點更新為黑色,加強深色害蟲與背景顏色的對比度。再根據(jù)直方圖計算顯著值完成對所有目標害蟲的檢測。顯著值的計算公式為:
式(1)中:a為每個像素的顏色值構(gòu)成的矩陣;amax為a矩陣中所有值的最大值;amin為a矩陣中所有值的最小值;S為顯著值。
最后通過sigmoid函數(shù)對結(jié)果的圖像進行二值化計算得到最終的害蟲分割圖像,用此圖像可對害蟲面積比例進行計算,完成采樣盤翻轉(zhuǎn)的判定。公式為:
式(2)中:S為顯著值;為sigmoid函數(shù)。改進后的方法簡易且運行快速,效果顯著,可以更好地分割背景和害蟲,同時也能分割出深色害蟲清晰的輪廓。
在顯著性檢測算法中,HC算法運行速度較快,且可以保留顏色特征、有效地體現(xiàn)不同顏色的邊緣紋理。HC算法根據(jù)圖像的顏色直方圖分布,對顏色級數(shù)進行量化和平滑操作,最終計算每個像素的顏色與其他像素顏色的對比度定義為顯著值[14]。其計算公式為:
式(3)中:Ik為k點圖像顏色轉(zhuǎn)化為Lab顏色空間后的當前像素;Ii則是其余i點的每個像素;n是其余像素的個數(shù);D為2個像素的歐式距離度量;S為顯著值。
在害蟲圖像中,會出現(xiàn)圖像顏色過多影響處理速度的問題。為了解決這個問題,采用了量化圖像顏色數(shù)據(jù)降低顏色數(shù)量的方法。對害蟲圖像壓縮,將具有相同顏色像素的組合在一起。公式為:
式(4)中:ci為i點當前像素Ik的顏色值;cj為其余j點的顏色值;n為顏色不同的像素數(shù)量;fj為j點像素顏色出現(xiàn)的頻率;D為顏色值間的歐式距離度量;S為顯著值。
由于自然圖像中的顏色種類只占全顏色空間的小部分,采取忽略出現(xiàn)頻率低的顏色值來進一步縮減顏色的數(shù)量,刪除的顏色值用保留下來的相近顏色值所代替。為了防止縮減顏色數(shù)量導致害蟲的輪廓細節(jié)被忽略,需保證選擇留下的高頻顏色在圖像中覆蓋的像素不少于95%。由于目的是完成對害蟲輪廓的分割,從而計算害蟲的面積,故此操作既不影響分割的精度,還成功提高了算法的運行效率。
由于在縮減顏色數(shù)量時,相近的顏色也許會被量化為不同的值,為了減少這類顏色對檢測害蟲區(qū)域時產(chǎn)生的噪聲,使用相近顏色的顯著值加權(quán)平均值代替原本的顯著值。其計算公式為:
式(5)中:S′為平滑顏色后的顯著值;S為原本的顯著值;T為要改善顏色c和m個最近的顏色ci之間的距離之和;D為要改善顏色c與最接近顏色ci的歐式距離度量。
接著獲取處理后圖像的顏色直方圖,計算1個像素與其余像素的歐式距離,求出所有距離之和,將此定義為顯著值。最后將像素的顏色值更新為求出的顯著值即處理完畢。
同時存在多種顏色害蟲時,單一使用HC算法存在無法提取深淺色害蟲的缺陷。原因是圖像中害蟲的種類以及顏色多樣,害蟲間的對比度過大,且存在一定的陰影及輕微重疊干擾。故本研究決定結(jié)合閾值迭代對害蟲圖像進行處理,以此優(yōu)化前景與背景之間的顏色差。
利用閾值迭代分割算法解決了圖像各區(qū)域亮度不同等因素,可更好地分割圖像背景[15-16]。該算法可在不同區(qū)域采用不同的閾值進行分割,適合處理多種顏色害蟲混合的圖像,解決了害蟲陰影的干擾問題,完成了分割單一顏色背景的目的。
該算法主要通過迭代方式逼近最佳閾值,從而達到分割背景的目的,關(guān)鍵步驟在于找到最佳閾值。先將整幅圖像分成多張互相之間有50%重疊的子圖像,分別作出這些子圖像的直方圖。對這些子圖像的直方圖進行檢測,查看是否為雙峰,如果是雙峰,則進行閾值迭代法確定閾值,如果不是雙峰,就不進行處理。接著確定閾值,以此為依據(jù)劃分前景和背景。然后分出閾值的2邊數(shù)據(jù)為A和B部分。分別計算A和B部分的均值,然后再總的求A和B部分的均值即為新的閾值。設(shè)定迭代次數(shù)進行不斷尋找最佳閾值,用得到的閾值進行圖像的二值化。公式如下:
式(6)~(7)中:R(i, j)為圖像(i, j)像素點的灰度值;N(i, j)為(i, j)像素點的權(quán)重系數(shù);TK為確定閾值;m為像素個數(shù);R0與RG分別為目標和背景的平均灰度值。
圖像獲取的步驟分為害蟲的誘殺收集和拍攝2步。害蟲的誘殺通過打開圖2的黑光燈引誘害蟲,害蟲飛至黑光燈邊上的電網(wǎng)時,被電死掉落到下方漏斗狀裝置內(nèi)部,然后滑落到采樣盤上。攝像頭在LED燈點亮后進行拍攝,采集圖像大小為2 592像素×1 944像素。最后將拍攝的圖像傳送至控制系統(tǒng)內(nèi)部進行圖像處理。
圖2 害蟲收集裝置示意圖Figure 2 Schematic diagram of pest collection device
本研究設(shè)備為Intel(R) Core(TM)i7-8750H CPU、16G 64位PC機和樹莓派官方500萬像素攝像頭,系統(tǒng)和軟件環(huán)境為Window10,Jupyter Notebook,Raspberry Pi3 B+。在實際裝置托盤上方20 cm處使用裝置內(nèi)部的樹莓派攝像頭進行拍攝。研究樣本為5種害蟲在白底托盤和紅底托盤上的實際圖像。為了驗證本研究的可靠性與有效性,共選用100張實際拍攝圖像后運行算法,取平均值作為最后研究結(jié)果數(shù)據(jù)。因?qū)嶋H裝置的硬件性能所限制,且實際裝置對智能翻轉(zhuǎn)的圖像處理有一定的速度和精度需求,故排除與深度學習分割方法的對比。本研究選取了4種綜合處理效果較好的經(jīng)典算法作為比較。
使用不同算法對實際攝像頭拍攝的圖片白底樣本進行分割。由圖3可見:本研究算法與實際比率的接近程度明顯高于其他算法。且在白底托盤中,本研究算法可以更好避免陰影的影響,分割出目標害蟲的輪廓。比較圖4和圖5可知:大津算法(OTSU)出現(xiàn)了錯誤分割陰影的結(jié)果,它將較多的陰影區(qū)域分割,將會導致害蟲比例嚴重誤判。而本研究算法較好改善了該問題,至于僅剩的陰影噪聲問題將通過改善拍攝條件彌補。
圖3 白底樣本分割效果對比Figure 3 Comparison of sample segmentation effects on white background
圖4 OTSU算法與本研究算法對陰影分割的比較Figure 4 Comparison of shadow segmentation between OTSU and research algorithm
白底樣本的分割結(jié)果(圖5)進一步表明:HC算法無法識別害蟲顏色與背景顏色對比度不高的害蟲,而本研究算法在改進其算法后,可以較清晰地分割出這些原本分割效果不佳的害蟲。
圖5 HC算法與本研究算法對害蟲細節(jié)分割的比較Figure 5 Comparison of HC algorithm and research algorithm on pest detail segmentation
綜合了白底樣本采樣盤易出現(xiàn)燈光照射以及陰影的干擾,且由于淺色害蟲與白色采樣盤背景對比度過于接近,更加不利于對害蟲的分割,故改進裝置的采樣盤為紅色。拍攝深色害蟲與淺色害蟲同時存在于采樣盤上時的圖像,作為紅底樣本,并使用不同算法對其進行分割處理。從圖6和圖7可見:其他算法主要完成了淺色害蟲的分割,但均無法分割出深色害蟲并計算害蟲面積。本研究算法則完成了深淺害蟲的同時分割,從圖7可清晰觀察到深色害蟲的翅膀及觸角等細節(jié),證明本研究算法在多種顏色害蟲存在時分割結(jié)果更精確可靠。
圖6 紅底樣本分割效果對比Figure 6 Comparison of sample segmentation effects on red background
圖7 HC算法與本研究算法對深色害蟲分割的比較Figure 7 Comparison of HC algorithm and research algorithm on dark pest segmentation
為了評價算法的分割圖像效果優(yōu)劣,本研究將采用平均分割時間、準確率和召回率對算法的分割結(jié)果進行衡量[17]。為了比較各算法的效率,將使其對每幅圖像進行多次分割,然后取平均處理時間來作最終評價。準確率(P)和召回率(R)的公式如下:
式(8)~(9)中:N為像素個數(shù);Gn表示基準圖像第n個像素是否為分割目標像素;Sn表示分割圖像第n個像素是否為分割目標像素,值為0或1。本研究取權(quán)重系數(shù)為0.3,來防止由于顯著性檢測導致召回率過高的問題。準確率表示目標分割的準確性,召回率為檢測區(qū)域與基準圖像區(qū)域的比值,表示算法分割的完整性。使用選取的5種算法對樣本進行圖像處理,并且將人工分割的圖像作為基準圖像,得到3個評價指標(表1)。
由表1可知:本研究算法的準確率及召回率最高,其他算法易出現(xiàn)分割陰影等非目標輪廓,或分割不出深色害蟲。準確率相比其他4種算法均提高約13%。在召回率上,本研究算法提高了10%以上,最高達53%。準確率和召回率的提升,體現(xiàn)了本研究算法的精確性和可靠性。在分割速度方面,本研究算法高出水平集算法約3倍,且總耗時滿足裝置的實際需求。除水平集算法外,其他3種算法雖然分割時間短,但無法分割多種害蟲同時存在的圖像,故可以接受本研究算法小幅延長分割時間后,完成了更高要求的分割。
表1 準確率、召回率和分割速度對比Table 1 Comparison of accuracy recall, and segmentation speed
本研究算法處理后得到的結(jié)果誤差控制在5%以內(nèi)。即使在光照不穩(wěn)定和害蟲種類以及姿態(tài)復雜的環(huán)境下采集的圖像中,本研究算法也可以較精確避免輕微重疊和陰影的影響進行分割。在多種顏色害蟲同時存在時,本研究算法也可分割出幾乎接近實際害蟲的輪廓。因此,本研究算法簡單、高效且充分滿足分割精度和速度的需求,適宜于害蟲收集裝置內(nèi)部使用,達到對害蟲比例進行準確計算的目的。