雷翔茗，熊　瑛，曾鑫誠，艾　馨，劉家梁，黃博涵

基于分水嶺算法的柑橘識別技術研究

雷翔茗，熊瑛*，曾鑫誠，艾馨，劉家梁，黃博涵

(湖南農業(yè)大學機電工程學院，湖南 長沙 410128)

針對自然環(huán)境下柑橘粘連重疊、難以識別的問題，提出一種基于分水嶺算法的柑橘快速識別方法。將采集的RGB圖像轉換至HSV空間，分別對H、S通道圖像進行二次迭代閾值分割將柑橘目標從枝葉背景中提取后，應用分水嶺分割算法對粘連重疊的柑橘進行輪廓分離，最后使用最小外接圓擬合柑橘輪廓，提取圓心坐標和外接圓半徑，實現(xiàn)對柑橘的識別。

柑橘；HSV,機器視覺；分水嶺算法

柑橘是我國南方主要的種植果樹之一，柑橘相關產業(yè)的種植規(guī)模每年都在持續(xù)增長，截止2019年湖南省柑橘種植面積近4 000 000hm2，產量近5 600 000t，均居全國第二[1]。柑橘種植及采摘技術的進步是保障柑橘產業(yè)可持發(fā)展的關鍵。柑橘的種植特點是規(guī)模大、種植地集中，但因采摘環(huán)境復雜、采摘機械功能不完善，現(xiàn)階段柑橘采摘多依靠人工，種植成本高、費時費力且采摘效率較低。柑橘種植的機械化程度是評判柑橘產業(yè)升級狀況的重要指標[2]，柑橘的機械化采摘是柑橘種植產業(yè)快速發(fā)展的重要突破口，是未來柑橘產業(yè)發(fā)展的主要趨勢。

近年來機器人采摘技術快速發(fā)展，可實現(xiàn)柑橘的自動化采摘作業(yè)。而機器人采摘柑橘的關鍵在于柑橘果實的識別與定位，柑橘果實識別的準確性與定位精度直接影響到柑橘采摘機器人的作業(yè)成功率和實用性。

目前，針對柑橘果實的識別與定位基本采用機器視覺技術[3-4]，主要包括以顏色閾值或輪廓邊緣分割果實與背景的傳統(tǒng)機器視覺技術和基于深度學習的識別技術。張小花等[5]采集柑橘果實圖像轉換至LAB顏色空間，使用Hough圓變化分割果實與背景。成芳等[6]使用雙目相機采集RGB圖像轉換HSV顏色空間，使用Canny邊緣算法剔除柑橘果實以外的背景。張潞等[7]基于全卷積神經網絡方法構造柑橘輪廓識別模型，確定合適的Hough變化參數(shù)以此分離柑橘果實區(qū)域。劉繼展等[8]基于柑橘果實的幾何特征提取算法得到深度球截線方法的相關參數(shù)，實現(xiàn)對復雜環(huán)境下果葉的有效區(qū)分。黃河清等[9]使用改進YOLOv4-Ting算法，建立使用K-means聚類方法的網絡模型準確識別重疊遮擋果實。

在自然環(huán)境下根據柑橘自身的顏色特征設置RGB或LAB閾值分離柑橘果實和枝葉背景，由于光照條件變化、枝葉覆蓋、著色不均等干擾極易導致柑橘誤識別，而提取柑橘果實輪廓特征進行形狀擬合的方法，對于重疊的果實或貼碰果葉無法進行有效識別[10]。采用深度學習技術過程較為繁雜，需要經過長時間的訓練，不易掌握和使用，對硬件的要求和使用成本較高。針對以上問題，使用迭代閾值分割對HSV顏色空間下的柑橘果實圖像進行目標提取，應用分水嶺算法對粘連重疊的柑橘果實進行輪廓分割，具有良好的識別效果和魯棒性。

1　材料與方法

1.1　實驗材料

分別在不同角度下對多棵柑橘果樹進行圖像采集，同一棵果樹采集方位間隔60°，部分密集不便進行橫向多角度采集的果樹，則通過變化俯、仰角度采集。拍攝時相機距離果樹0.5～1.0m，離地1.5m。采集時間為天氣晴朗的正午或傍晚。

1.2　圖像采集設備與方法

實驗所用圖像采集相機為Intel Realsense Depth Camera D435i相機，相機圖片分辨率為1920×1080。圖像處理終端為小米2019款筆記本電腦，配置為Intel 酷睿i7 9750H，NVIDIA GeForce RTX 2060顯卡，16GB內存。

1.3　圖像處理算法

在自然環(huán)境中，柑橘果實大多存在果實粘連重疊的問題，為準確分割每個柑橘，使用基于分水嶺算法的圖像處理方法。分水嶺算法是一種基于拓撲理論的形態(tài)學圖像分割算法，從提出至今已經演化出多種模型算法，其中包括MAHMOUDI R的基于“浸沒”模型的分水嶺算法[11]、魏亞輝的內部標記的改進分水嶺算法等[12]。

算法核心要點是借用測繪學的拓撲地貌，以每一像素點的灰度值作為該點的海拔高度，每一個局部極小值及被其影響的區(qū)域稱為集水盆，相鄰的集水盆邊界即為分水嶺。通過模擬浸沒過程，展示局部極小值緩慢向四周擴展影響域的過程，對每個像素的灰度值從低到高進行排序，以區(qū)域內緊鄰像素之間的相似度作為判斷的參考依據，把在空間位置上臨近的像素點以相似的灰度值為標準劃分成一個區(qū)域，同一個區(qū)域周圍的所有分水嶺組合成一個輪廓，如圖1所示，由此得到較為明顯的分割效果[13]。

圖1 分水嶺示意圖

圖像中重疊的柑橘果實在實際果實輪廓交界處的灰度值會存在明顯的梯度變化，通過對梯度圖像進行閾值處理，選擇合適的閾值計算分水嶺位置，應用分水嶺算法對梯度圖像進行分割，得到分離的不同封閉輪廓，以此分離重疊的柑橘果實輪廓。

圖像處理具體流程如圖2所示。

圖2　圖像處理流程

圖像處理步驟如下：

(1) RGB顏色空間中亮度與色度相關性過強，對于輪廓邊緣信息的采集干擾較大[11]，將采集圖像從RGB 空間轉換至HSV顏色空間，其中H通道能降低亮度的影響。

采集地形要素施測竣工地形圖時，宜采用全野外數(shù)字測圖的方法，比例尺為1∶500或1∶1000，測量范圍包括建設區(qū)外最近的相鄰建筑、城市道路、河道、高壓走廊等。

設R、G、B分別為像素點在RGB空間下的三通道值，H、S、V分別為轉換至HSV空間后該像素點的三通道值，H取值范圍為0°～360°，S取值范圍為0%～100%，V取值范圍為0%～100%，其轉換公式如下：

其中Δ=C_max-C_min(2)

(2)在H通道中柑橘果實與周圍區(qū)域相比明顯更暗，有較好的分割效果，因此將H通道中最暗區(qū)域作為ROI區(qū)域，但枝葉縫隙區(qū)域同樣被分割，利用S通道對亮度變化不敏感的特性，在S通道中分割出閾值區(qū)域[14]，可篩除大部分干擾區(qū)域。

(3)將步驟中2分割得到的區(qū)域作為新的ROI區(qū)域，在S通道中進行二次迭代閾值分割，輸出圖像中僅剩下柑橘果實區(qū)域以及少量極小的枝葉空隙區(qū)域。

(5)使用分水嶺圖像分割算法對重疊的柑橘輪廓進行分割，獲得正確的柑橘數(shù)目及每個柑橘的輪廓。

(6)根據柑橘的形狀特征接近圓形的特點，使用最小外接圓擬合柑橘的輪廓。對輪廓使用凸包補全后，建立輪廓最小外接圓模型，作為柑橘果實完整輪廓，以最小外接圓圓心作為柑橘在圖像中的中心位置。圖像處理過程如圖3所示。

圖3　圖像處理過程

2　結果與分析

對所有采集的圖像進行處理，根據最小外接圓圓心的像素坐標進行識別結果的統(tǒng)計，當計算得到中心坐標點與圖像中柑橘實際中心坐標的誤差范圍小于柑橘直徑的20%，則認為識別成功。圖像中所有的柑橘數(shù)目通過肉眼觀察統(tǒng)計，當柑橘果實被枝葉遮擋超過三分之二，則該柑橘果實不計入柑橘總數(shù)，當多顆柑橘果實重疊粘連時，如重疊部分超過一半，則將重疊果實統(tǒng)計為同一個柑橘。

將圖像分為柑橘有遮擋重疊和無遮擋重疊兩種，對兩種條件下的柑橘總數(shù)和識別情況分別進行統(tǒng)計，識別結果如表1。

表1　識別結果

由表1可知，在有枝葉遮擋和柑橘重疊情況下，該算法對柑橘的成功識別率為87.03%，無遮擋重疊條件下識別率為92.68%，整體的平均識別率為89.47%，算法對分離局部遮擋的柑橘圖像輪廓有較好的效果，同時圖像處理算法的整體運行時間較短，運算時間均在1s以下，證明了本研究的可行性和高效性。在試驗過程中發(fā)現(xiàn)，當外界光照導致柑橘表面亮度反差巨大時，盡管無其他物體遮擋果實，但最小外接圓圓心位置嚴重偏離柑橘質心位置，這種情況均視為未成功識別。

3　結論與討論

針對自然環(huán)境條件下柑橘果實存在的粘連重疊、難以識別等問題，提出一種基于分水嶺圖像分割算法的柑橘識別方法。通過對圖像處理過程跟蹤分析發(fā)現(xiàn)，將RGB圖像轉換至HSV空間后，分別對H、S通道進行二次迭代閾值分割能很好的將柑橘目標與枝葉背景進行分割，同時使用分水嶺算法可有效地分割粘連重疊在一起的柑橘果實，以最小外接圓擬合柑橘輪廓后提取圓心坐標和半徑也能獲得良好的定位精度，該算法操作簡單、識別快速、具有良好的魯棒性。以本研究為基礎，可進一步開展雙目圖像匹配與柑橘三維定技術研究。

[1] 張陽,戴素明,龍桂友,等.湖南省柑橘主要病蟲發(fā)生情況及防控現(xiàn)狀[J].湖南農業(yè)科學,2021(12):61-64.

[2] 劉家梁,熊瑛,黃博涵,等.湖南省柑橘生產機械化現(xiàn)狀及發(fā)展建議:基于道縣柑橘生產的調研[J].農業(yè)工程與裝備,2021,48(5):16-19.

[3] 胡正方,向陽,熊瑛,等.基于機器視覺的千粒質量測量儀的設計與試驗[J].湖南農業(yè)大學學報(自然科學版),2021,47(4): 476-481.

[4] 龍震寰,向陽,李亞軍,等.基于傾角傳感器的割臺高度自適應調節(jié)系統(tǒng)[J].中國農業(yè)大學學報,2021,26(11): 200-208.

[5] 張小花,馬瑞峻,吳卓葵,等.基于機器視覺的果園成熟柑橘快速識別及產量預估研究[J].廣東農業(yè)科學,2019,46 (7):156-161.

[6] 成芳,吳文秀,何涵,等.柑橘采摘機器人的目標識別定位方法研究[J].科技資訊,2019,17(11):30-31.

[7] 畢松,張潞.自然環(huán)境下的柑橘采摘點識別方法研究[J].計算機仿真,2021,38(12):227-231.

[8] 劉繼展,朱新新,袁妍.枝上柑橘果實深度球截線識別方法[J].農業(yè)機械學報,2017,48(10):32-39.

[9] 黃河清,胡嘉沛,李震,等.基于邊緣計算的柑橘果實識別系統(tǒng)的設計[J].湖南農業(yè)大學學報(自然科學版),2021, 47(6): 727-732.

[10] 張潞. 自然環(huán)境下的柑橘自動采摘關鍵技術研究[D].北京:北方工業(yè)大學,2020.

[11] MAHMOUDI R, AKIL M, BEDOUI M H. Concurrent computation of topological watershed on shared memory parallel machines[J]. Parallel Computing, 2017, 69: 78-97.

[12] 魏亞輝,黃耿楠,吳福培.基于改進分水嶺算法的蘋果識別方法[J].包裝工程,2021,42(8):255-260.

[13] 辜衛(wèi)東,李兵.基于隨機區(qū)域合并的自動彩色圖像分割算法[J].計算機科學,2018,45(9):279-282,293.

[14] 巨志勇,李開亮,毛穎穎.基于K-means聚類與二次分水嶺的果蔬圖像分割方法[J].軟件導刊,2018,17(6): 217-219,223.

Citrus recognition technology based on watershed algorithm

LEI Xiangming, XIONG Ying*, ZENG Xincheng, AI Xin, LIU Jialiang, HUANG Bohan

(College of Mechanical and Electrical Engineering, Hunan Agricultural University, Changsha, Hunan 410128, China)

This paper proposes a rapid identification method of citrus based on a watershed algorithm, which solves the problem of overlapping and difficult identification of citrus in the natural environment. First, RGB images were converted to HSV space. Second, images in H and S channels were segmented with the quadratic iteration threshold segmentation method to extract citrus targets from the foliage background. Then watershed segmentation algorithm was used to separate the citrus contour. Finally, the minimal circumscribed circle was used to fit the citrus contour and the center coordinates and radius of the circle were extracted, then recognition of citrus was realized.

citrus; HSV; machine vision; watershed algorithm

TP391.4

A

2096–8736(2022)02–0001–04

2020年國家級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目(s202010 537031)。

雷翔茗(1998—)，湖南邵陽人，碩士研究生，主要研究方向為農業(yè)電氣化與自動化。

熊瑛(1977—)，湖南道縣人，碩士，主要研究方向為計算機圖形學。

責任編輯：陽湘暉

英文編輯：唐琦軍