王君玲 高玉芝 肖春英

摘要：隨著我國農(nóng)業(yè)現(xiàn)代化的快速發(fā)展，對(duì)智能化果樹剪枝設(shè)備的需求也越來越迫切，而圖像處理及角點(diǎn)識(shí)別技術(shù)是基于機(jī)器視覺的果樹枝條識(shí)別系統(tǒng)的基礎(chǔ)和關(guān)鍵。以蘋果樹枝條為研究對(duì)象，運(yùn)用數(shù)字圖像處理技術(shù)和MATLAB軟件對(duì)采集的冬春兩季的蘋果樹枝條圖像進(jìn)行灰度和濾波處理、噪音消除、框架提取、圖像分割、骨架細(xì)化，最終得到枝條骨架，之后采用Harris算法對(duì)枝條的角點(diǎn)及芽點(diǎn)進(jìn)行識(shí)別。研究結(jié)果可為進(jìn)一步開發(fā)蘋果樹智能剪枝機(jī)器人系統(tǒng)奠定良好基礎(chǔ)。

關(guān)鍵詞：蘋果樹；剪枝；圖像處理；角點(diǎn)識(shí)別

中圖分類號(hào)：TP391.41;S126? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：1674-1161（2023）06-0043-04

果業(yè)不僅是我國的優(yōu)勢產(chǎn)業(yè)，也是勞動(dòng)密集型產(chǎn)業(yè)。當(dāng)前制約果園現(xiàn)代化發(fā)展的瓶頸是果樹的修剪、授粉、疏花、疏果等環(huán)節(jié)，因?yàn)檫@些環(huán)節(jié)仍依靠人工作業(yè)。目前使用的電動(dòng)、氣動(dòng)剪枝裝置1臺(tái)機(jī)器最少需要1人勞作，導(dǎo)致人工剪枝效率低、成本高及勞動(dòng)力不足等問題越來越凸顯，也使種植者對(duì)自動(dòng)化剪枝的需求越來越迫切。因此，研究智能化果樹剪枝設(shè)備迫在眉睫。

圖像處理及角點(diǎn)識(shí)別技術(shù)是基于機(jī)器視覺的果樹枝條識(shí)別系統(tǒng)的基礎(chǔ)和關(guān)鍵?，F(xiàn)有基于圖像的枝條識(shí)別技術(shù)研究主要圍繞果樹的輪廓特征提取。2012年國內(nèi)開始基于三維激光掃描技術(shù)和點(diǎn)云技術(shù)重構(gòu)樹木三維模型和樹木骨架線提取的研究[1-4]；2015年Noha等[5]基于骨架理論探討了處于休眠狀態(tài)樹木的三維重建方案，并對(duì)樹枝的修剪點(diǎn)進(jìn)行了定位；穆易等[6]利用半閾值分割法和BP神經(jīng)網(wǎng)絡(luò)邊緣算法完成了復(fù)雜背景下樹木主干圖像的識(shí)別，并利用 Visual C++和 Matlab 設(shè)計(jì)了樹干圖像的識(shí)別系統(tǒng)；黃彪等[7]通過對(duì)枇杷枝條特征圖像的分析，提出了一種枇杷枝條圖像識(shí)別和框架提取的方法，開啟了通過視覺識(shí)別系統(tǒng)構(gòu)建果樹枝條識(shí)別系統(tǒng)的先河；2019年嚴(yán)亞飛[8]進(jìn)行了智能枸杞采摘機(jī)器人枝條識(shí)別與定位研究；2021年薛慧芳[9]基于 Kinect 深度相機(jī)獲取了枸杞樹的彩色圖像和深度圖像，以此實(shí)現(xiàn)了枸杞樹剪枝點(diǎn)的二維圖像識(shí)別和三維空間定位；2022年姜淑鳳[10]基于TRU檢測圖像分割與點(diǎn)云處理的樹木缺陷特征重建的研究內(nèi)容為枝條圖像處理提供了新方法。以上這些研究成果均為剪枝機(jī)器人研究奠定了基礎(chǔ)。試驗(yàn)借鑒這些研究成果，以蘋果樹枝條為研究對(duì)象，進(jìn)行冬季和春季蘋果樹枝條的圖像識(shí)別研究。

1 圖像采集與處理流程

試驗(yàn)使用佳能850D 數(shù)碼相機(jī)進(jìn)行春季和冬季蘋果樹枝條的圖像采集；采集地為河北省唐山市開平區(qū)的蘋果園；圖像類型為JPG格式，圖像分辨率設(shè)為720*480；聯(lián)想筆記本電腦使用WIN10系統(tǒng)，并用MATLAB進(jìn)行圖像處理。圖像處理流程如圖1所示。

2 冬季蘋果樹枝條的圖像處理

2.1 圖像的預(yù)處理

通過對(duì)圖像進(jìn)行高斯濾波和中值濾波等相關(guān)處理操作，可使圖像變得更加平滑，從而減少噪聲的影響；然后通過自適應(yīng)二值化將圖像二值化，并進(jìn)行開運(yùn)算和閉運(yùn)算，目的是去除噪點(diǎn)和填充對(duì)象的內(nèi)部空洞；最后通過形態(tài)學(xué)處理去除小對(duì)象，來得到更加干凈、準(zhǔn)確的圖像，從而為后續(xù)的圖像處理和分析提供基礎(chǔ)。

利用閾值法對(duì)灰度圖像創(chuàng)建二值圖像。在進(jìn)行圖像閾值化處理時(shí)，不同的閾值選擇會(huì)導(dǎo)致處理結(jié)果的顯著差異，為此設(shè)置thresh=graythresh（1）：閾值計(jì)算自動(dòng)設(shè)置所需要的最優(yōu)化閾值。采用MATLAB常用的經(jīng)典二值化算法—otsu算法，即用最大類間方差法自動(dòng)單閾值分割。從原始圖像到預(yù)處理后的圖像分別如圖2～4所示，二值化圖像如圖5所示。從圖4可以看出，其圖像基本保留了枝條的關(guān)鍵特征，說明預(yù)處理方法基本正確。

2.2 骨架特征提取

由于果樹枝干上各段樹枝的傾斜角度不同，各個(gè)部位樹枝的粗細(xì)不同，導(dǎo)致芽點(diǎn)位置難以統(tǒng)一界定，所以需要進(jìn)行樹枝的骨架化。骨架提取與圖像細(xì)化類似，都是指將二進(jìn)制圖像中一部分像素去掉后，剩下的像素仍然能保持原來的形狀，并形成圖像的骨架。用骨架來表示線劃圖像能夠有效減少數(shù)據(jù)量，降低圖像的存儲(chǔ)難度和識(shí)別難度。此過程需要進(jìn)行圖像分割和骨架細(xì)化。

圖像分割的主要目的是將圖像分成不同的區(qū)域，使每個(gè)區(qū)域都有各自的特性，并從中提取出感興趣的目標(biāo)，這樣可以更好地理解和處理圖像。為達(dá)到這一目標(biāo)，可使用的圖像分割算法眾多，如邊緣檢測、Hough變換和直線檢測等。邊緣檢測可以幫助識(shí)別和分割圖像中的對(duì)象，其在計(jì)算機(jī)視覺和圖像處理中具有廣泛的應(yīng)用。在MATLAB中，有多種可供選擇的邊緣檢測算法，例如Sobel、Prewitt、Canny等，用戶可以根據(jù)實(shí)際需要來選擇適合的算法進(jìn)行邊緣檢測。試驗(yàn)運(yùn)用Canny算法來進(jìn)行邊緣檢測。

細(xì)化是將圖像的線條從多像素寬度減少到單位像素寬度的過程。MATLAB中常用的幾種細(xì)化算法包括Zhang-Suen算法、Guo-Hall算法、Hilditch算法、Rosenfeld算法等。試驗(yàn)選用Hilditch算法進(jìn)行骨架細(xì)化提取。Hilditch算法是一種基于膨脹和腐蝕的算法，其基本思想是通過多次迭代來消除圖像內(nèi)部的像素，然后通過一系列規(guī)則來消除圖像邊緣處的像素，這種算法比較慢，但是比較準(zhǔn)確。

對(duì)圖5的圖像進(jìn)行小對(duì)象去除后（也稱去噪），提取的枝條框架如圖6所示。運(yùn)用最小二乘法多項(xiàng)式曲線擬合法對(duì)其進(jìn)行空洞填充再進(jìn)行顏色翻轉(zhuǎn)、邊緣檢測和骨架細(xì)化，得到的冬季枝條邊緣檢測和骨架圖分別如圖7和圖8所示。

3 春季蘋果枝條的圖像處理

對(duì)春季落花后的蘋果樹采集圖像，運(yùn)用和上面相同的處理流程和算法，得到的整個(gè)處理過程和最后結(jié)果分別如圖9～17所示。

4 蘋果樹枝條的角點(diǎn)識(shí)別

對(duì)于圖像而言，角點(diǎn)就是物體輪廓線的連接點(diǎn)。由于蘋果樹的剪枝需要根據(jù)角點(diǎn)間的位置關(guān)系來確定剪枝位置，因此在提取蘋果樹樹枝骨架之后，需要對(duì)骨架圖像上的角點(diǎn)位置進(jìn)行檢測。試驗(yàn)在骨架圖的基礎(chǔ)上采用Harris算法進(jìn)行角點(diǎn)檢測，并將檢測到的結(jié)果還原到原始圖中，以此為后期角點(diǎn)間的位置計(jì)算和枝條直徑的計(jì)算打基礎(chǔ)。檢測結(jié)果圖像分別如圖18～21所示。

5 結(jié)論

對(duì)采集的冬季和春季蘋果樹枝條圖像進(jìn)行了圖像灰度化、otsu二值化算法閾值分割、形態(tài)學(xué)處理，之后對(duì)圖像進(jìn)行降噪優(yōu)化、邊緣檢測法來提取枝條的邊緣和輪廓，并采用Hilditch算法進(jìn)行骨架細(xì)化，最終得到枝條骨架。根據(jù)枝條的骨架特征對(duì)其進(jìn)行枝條的角點(diǎn)檢測與標(biāo)定，可為后期運(yùn)用農(nóng)業(yè)技術(shù)中的蘋果樹剪枝原則和技巧來制定可行的剪枝點(diǎn)定位算法提供切實(shí)可行的視覺識(shí)別基礎(chǔ)。

試驗(yàn)采用的算法和技術(shù)均常規(guī)且實(shí)際可行，程序運(yùn)行工作量小，便于識(shí)別系統(tǒng)的開發(fā)。但對(duì)于檢測角點(diǎn)的數(shù)量統(tǒng)計(jì)、角點(diǎn)間位置關(guān)系的確定、基于機(jī)器視覺的枝條直徑檢測還需進(jìn)一步研究。

參考文獻(xiàn)

[1] 盧康寧，張懷清，劉閩，等.基于三維激光掃描技術(shù)的樹木建模研究[J].林業(yè)實(shí)用技術(shù)，2012（5）：56-59.

[2] 黃洪宇，陳崇成，鄒杰.基于地面激光雷達(dá)點(diǎn)云數(shù)據(jù)的單木三維建模綜述[J].林業(yè)科學(xué)，2013，49（4）：123-130.

[3] 吳升.蘋果樹冠層三維重建及可視化計(jì)算方法研究[D].北京：北京林業(yè)大學(xué)，2017.

[4] 郭彩玲，劉剛.基于顏色取樣的蘋果樹枝干點(diǎn)云數(shù)據(jù)提取方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（10）：189-196.

[5] ELFIKY N M ， AKBAR S A ， SUN J ，et al.Automation of dormant pruning in specialty crop production： An adaptive framework for automatic reconstruction and modeling of apple trees[C]//Computer Vision & Pattern Recognition Workshops.IEEE， 2015.

[6] 穆易.復(fù)雜背景下樹干圖像分割算法及其識(shí)別系統(tǒng)的研究[D].天津：天津理工大學(xué)，2015.

[7] 黃彪.枇杷剪枝機(jī)器人關(guān)鍵技術(shù)的研究[D].廣州：華南理工大學(xué)，2016.

[8] 嚴(yán)亞飛.智能枸杞采摘機(jī)器人枝條識(shí)別與定位[D].合肥：合肥工業(yè)大學(xué)，2021.

[9] 薛慧芳.基于Kinect的枸杞樹剪枝點(diǎn)識(shí)別與定位方法研究[D].銀川：北方民族大學(xué)，2021.

[10] 姜淑鳳.基于TRU檢測圖像分割與點(diǎn)云處理的樹木缺陷特征重建[D].哈爾濱：東北林業(yè)大學(xué)，2022.

Research on Image Processing and Corner Recognition of Apple Tree Branches

WANG Junling1，2， GAO Yuzhi1，2*， XIAO Chunying1，2

（1.Tangshan University， Tangshan Hebei 063000， China；2. Hebei Key Laboratory of Intelligent Equipment Digital Design and Process Simulation， Tangshan Hebei 063000， China）

Abstract：? With the rapid development of agricultural modernization in China， the demand for intelligent fruit tree pruning equipment is becoming more and more urgent， and image processing and corner recognition technology are the basis and key of the recognition system of fruit tree branches based on machine vision. Taking apple tree branches as the research object， digital image processing technology and MATLAB software were used to carry out gray level and filtering processing， noise elimination， frame extraction， image segmentation and skeleton thinning on the collected apple tree branches in winter and spring. Finally， the branch skeleton was obtained， and Harris algorithm was adopted to identify the corner points and bud points of the branches. The research results can lay a good foundation for the further development of apple tree intelligent pruning robot system.

Key words：? apple tree; pruning; image processing; corner recognition

收稿日期：2023-10-22

基金項(xiàng)目：唐山市科技局重點(diǎn)研發(fā)項(xiàng)目“果樹剪枝機(jī)器人關(guān)鍵技術(shù)研究”（22150203A）

作者簡介：王君玲（1971—），女，工學(xué)博士，教授，從事機(jī)械優(yōu)化設(shè)計(jì)、圖像處理及應(yīng)用方面的研究。

通信作者：高玉芝（1971—），女，工學(xué)博士，教授，從事機(jī)械優(yōu)化設(shè)計(jì)、車輛工程方面的研究。