摘要：葡萄藤結構的精確分割是推理與定位冬季剪枝點位置的重要前提。為精確分割葡萄藤結構，建立自然種植條件下的葡萄藤結構數據集，提出一種基于U-net模型的葡萄藤結構分割方法，通過主干特征提取網絡和模型分割性能的對比試驗，得出最優(yōu)的U-net模型結構并驗證其在不同疏密程度目標下的分割性能。結果表明，以VGG 16為主干特征提取網絡的U-net模型準確率達93.55%、召回率為94.15%、類別平均像素準確率為94.15%、均交并比為88.65%，與傳統(tǒng)圖像分割方法和對照組模型分割效果相比，其能保證自然種植背景下葡萄藤各結構分割邊緣完整，結構之間連接關系正確，可適用于植株間存在遮擋的葡萄藤結構分割任務，為實現智能化葡萄藤冬季剪枝作業(yè)奠定基礎。

關鍵詞：機器視覺；圖像分割；葡萄藤結構；深度學習

doi：10.13304/j.nykjdb.2023.0094

中圖分類號：S126，TP391 文獻標志碼：A 文章編號：1008‐0864（2024）09‐0105‐07

葡萄栽培管理中冬季修剪是來年保質增產的重要農藝環(huán)節(jié)，在葡萄轉入休眠期時，通過對其結果枝條進行修剪來保存高質量的芽。冬季修剪方式有人工修剪與機械修剪2種，由于修剪需要遵循種植模式和產量標準的要求，現有修剪裝置對各類種植模式的通用性低，修剪過程對芽點與樹體損傷較大，因此，葡萄冬季修剪以人工作業(yè)為主。在農業(yè)勞動力緊缺、人工成本不斷增加的情況下，亟需進一步推動葡萄生產全程智能化發(fā)展。近年來，針對葡萄葉面積評估、病蟲害檢測與防治、果柄識別及收獲[1-3]等方面已開展了自動化與智能化作業(yè)的相關研究。葡萄藤生長走勢錯綜復雜，葡萄植株各結構之間及植株與種植背景間顏色差異性較小，芽點形態(tài)各異，難以從形態(tài)上確定剪枝點，葡萄藤冬季剪枝點的定位成為開發(fā)自動化、智能化葡萄藤修剪設備的關鍵。因此，葡萄藤結構的精準分割和識別是定位修剪點的重要前提。

目前，葡萄藤結構分割方式有2種：傳統(tǒng)圖像分割與深度學習圖像分割。賈挺猛等[4]利用傳統(tǒng)圖像分割方式對葡萄枝條骨架進行提取并應用到葡萄藤的特征檢測，對比結果表明，Rosenfeld細化算法能夠保持骨架連通性，為檢測芽點奠定基礎。Xu 等[5] 提出了一種基于Rosenfeld 細化算法和Harris算法的芽點檢測方法，對室內采集的RGB圖像進行二值化處理，然后采用Rosenfeld細化算法提取葡萄骨架，由于芽和角之間的相似性，采用Harris角點檢測算法從骨架圖像中檢測芽點，此方法識別率達到70.2%。Marset 等[6]基于完全卷積網絡，提出了一種從葡萄藤圖像中完整分割出芽體形狀的語義分割網絡，用于識別突出芽體。Fernandes等[7‐8]對葡萄藤圖像進行分割注釋，創(chuàng)建葡萄藤植物數據集與代表模型，利用植物的簡化結構完成葡萄藤結構連接，結合農藝規(guī)則推測潛在的修剪點。Yang 等[9]提出了一種基于Y型栽培系統(tǒng)的二維葡萄冬季修剪位置自動檢測方法，利用閾值對圖像進行通道分割，利用改進的增強并行細化算法（IEPTA）提取葡萄藤骨架，通過判斷枝條之間的角度和距離關系找到每條葡萄藤的結構，并利用邊界框與分類算法獲取最終的修剪位置，此葡萄藤結構分割方法實現了葡萄藤結構分割，并對修剪點位置進行了檢測，修剪點檢測率達83.4%。綜上所述，傳統(tǒng)的分割方法可以提取葡萄藤結構，但分割完整性有待改進。

為探索適用于復雜背景環(huán)境下的葡萄藤結構精確分割識別方法，本文采建立葡萄藤結構數據集，提出一種采用U-net模型的葡萄藤關鍵結構的分割方法，以保證葡萄藤各關鍵結構分割精度以及各結構之間的正確連接關系，為提高復雜環(huán)境下二維以及三維空間下芽點與剪枝點識別精度提供依據。

1 材料與方法

1.1 數據集構成與制作

本文以“廠”形種植的8年生赤霞珠葡萄植株為研究對象，其種植面積廣泛，相同生長條件下存在較多細小枝條與弱小芽點。采用多方位進行拍攝，光照條件分為晴天順光、晴天逆光、陰天。共采集像素為3 000×4 000的圖像650幅，將樣本圖像統(tǒng)一縮小至512×512像素，為防止訓練過程中產生過擬合，采用水平翻轉、亮度、旋轉以及尺寸調整方式對數據集進行增強，獲得數據集總數為3 900幅，按照8∶1∶1的比例劃分訓練集、驗證集和測試集，屬性與劃分情況如表1所示。

依據葡萄藤精細化的冬季剪枝農藝需求及各結構之間的附屬關系對采集圖像各結構邊緣進行分割標注，用labelme 圖像標注工具數據標注為json格式，建立包括cordon（綁縛主干）、branch（枝條）、node（節(jié)點）3類標簽的數據集，并為數據集圖像添加掩膜標簽，如圖1所示。

1.2 計算環(huán)境與模型參數配置

本試驗主機配置Windows 10系統(tǒng)，中央處理器為Intel? Xeon? CPU E5-2680 v4? 2.40 GHz，顯卡為GeForce GTX 3090。在Anaconda3虛擬環(huán)境tensorflow-gpu2.5.0深度學習框架下對模型進行訓練。虛擬環(huán)境配置安裝Python3.8編程環(huán)境、GPU并行計算架構Cuda11.2和深度神經網絡GPU 加速庫Cudnn8.1。模型參數設置：采用PASCALVOC（PASCAL Visual Object Classes）預訓練模型，數據集圖像分辨率大小分別設置為512×512，訓練采用遷移學習方式，加載主干特征提取網絡預訓練權重。為提高訓練效率，設置每個訓練批次的圖像數量為4幅，采用SGD作為優(yōu)化器，初始學習率為0.001，動量因子為0.9。

1.3 性能評價指標

采用準確率（precision，P）、召回率（recall，R）、類別平均像素準確率（mean pixel accuracy，MPA）、均交并比（mean intersection over union，MIoU）評估模型性能，各評價指標計算公式如下。

式中，TP（true positive）表示被模型預測為正的正樣本，FP（1 positive）表示被模型預測為正的負樣本，FN（1 negative）表示被模型預測為負的正樣本；k 值表示需要區(qū)分的類別，本研究k=3（綁縛主干+枝條+節(jié)點）；pii表示將第i 類分成第i類的像素數量，pij表示將第i 類分成第j 類的像素數量。

1.4 傳統(tǒng)圖像分割方法

傳統(tǒng)的方法多基于物體的顏色、紋理、形狀等基本特征對圖像進行分割。針對復雜場景的經典傳統(tǒng)圖像分割方式有K-means聚類算法和OTSU算法[10‐11]。

K-means算法是利用相似性度量方法來衡量數據集中所有數據之間的關系，將關系比較密切的數據劃分到1個集合中，K-means算法關鍵在于確定簇數K，本研究設置K=2，即將圖像分為葡萄藤結構與背景2類，計算方法如下。

式中，K 為圖像中簇的個數；Ci為第i 簇的點集；ui為第i 簇的中心點。

OTSU 法即最大類間方差法，也稱大津法。其采用聚類思想，利用閾值分割將圖像分為前景和背景，并使二者之間的方差最大。圖像的總平均灰度（u）及前景和背景圖像的方差（g）計算公式如下。

u = w0u0 + w1u1 （6）

g = w0（u0 - u）2 + w1（u1 - u）（u1 - u）= w0 w1（u0 - u1 ）2 （7）

式中，w0為前景點數占比，u0為平均灰度， w1為背景點數占比，u1為平均灰度。

當方差g 為最大值時，前景與背景的分割閾值T 為最佳閾值，計算公式如下。

T = w0 w1（u0 - u1 ）2 （8）

1.5 U-net 網絡模型構建

鑒于深度學習網絡同時具備特征提取與分割識別的優(yōu)勢[12]，本研究提出基于U-net網絡模型對葡萄藤結構進行分割識別。

U-net是利用全卷積網絡進行語義分割的經典算法之一，其典型特點是呈現Encoder-Decoder（編碼器-解碼器）的U型對稱結構，使低級特征圖與高級特征圖進行融合操作，以填補底層信息以提高分割精度。模型整體架構（圖2）可分為主干特征提取、加強特征提取以及預測輸出3個主要部分：①主干特征提取，主干部分為卷積與最大池化的堆疊，通過主干特征可獲得5個初步有效特征層；②加強特征提取，利用主干部分獲取的初步有效特征層進行上采樣，對上采樣后的結果進行通道堆疊使得特征融合，獲取融合了所有特征的有效特征層；③預測網絡，對最后的有效特征層通道數進行調整，進而對每個像素點進行分類。

1.6 對比實驗設計

1.6.1 主干特征提取網絡對比

為使模型的識別與分割效果達到最佳，分別以VGG 16、ResNet 50作為U-net的主干特征提取網絡進行訓練以及對比驗證。通過訓練及驗證損失曲線是否收斂判斷模型泛化擬合能力、樣本的適用性以及模型整體性能，選出最優(yōu)主干特征提取網絡。

1.6.2 分割模型對比

在主干特征提取網絡對比實驗的基礎上選出U-net模型的最優(yōu)主干特征提取網絡，與Deeplab v3+和PSPNet模型進行分割模型性能對比實驗。通過模型的性能與不同稠密目標的分割效果對比驗證U-net模型的分割能力。

1.7 驗證試驗

為獲得最優(yōu)的葡萄藤關鍵結構分割模型，對各類模型的分割性能進行驗證。由于葡萄植株長勢各異及種植中沒有嚴格把握間距，導致植株之間各關鍵結構的重疊，為驗證模型對此類情況的分割情況，采用無重疊（相鄰植株之間無重疊）、有重疊（相鄰植株之間存在重疊）2類情況的圖像樣本對各模型進行分割性能驗證。

2 結果與分析

2.1 傳統(tǒng)算法分割效果

采用傳統(tǒng)圖像分割方式對強背景區(qū)分（目標與背景相似度低）的戶外環(huán)境下拍攝的葡萄藤圖像進行分割實驗，分割結果如圖3所示。

從圖3可以看出，由于戶外背景與光照干擾較多，K-means聚類算法與OTSU算法對于葡萄藤分割效果較差，對于弱小芽點的忽略性較強，葡萄藤結構邊緣容易與周邊相同像素值的環(huán)境區(qū)域粘連，導致葡萄藤結構的不完全性。在大田種植環(huán)境下，分割目標與周圍環(huán)境相似性較大，傳統(tǒng)的分割算法無法滿足智能化葡萄修剪機器人對葡萄藤結構精確分割要求。

2.2 主干網絡模型特征提取性能對比分析

2.2.1 主干網絡模型模型損失值比較

訓練結果表明，2種主干模型在訓練與驗證的迭代過程中，訓練集與驗證集的損失值整體呈現降低的趨勢（圖4），2個模型在120個epoch之內均達到收斂。從損失曲線的可以看出，VGG 16主干特征提取網絡在訓練與驗證集的擬合與泛化能力均優(yōu)于ResNet 50，其訓練集與驗證集的損失值維持在0.045與0.073左右。

2.2.2 主干網絡模型性能比較

經過擬合泛化能力的確定可知2種主干對U-net模型以及圖像樣本有效可用，為選擇最優(yōu)的主干特征提取網絡，對比其模型整體的性能，結果如表2所示。可以看出，VGG16作為主干特征提取網絡時具有較高的精準度，其P、R、MPA、MIoU 值相較于ResNet 50分別提升0.59、0.40、0.40、0.84個百分點，具有相對較優(yōu)的模型性能。

2.3 不同分割模型性能對比分析

為進一步驗證VGG 16對葡萄藤結構的分割性能，將其與Deeplab v3+、PSPNet模型的分割性能進行比較。采用相同數據集對2類對比模型進行訓練與驗證。

為獲取最優(yōu)分割模型，在測試集上對3種模型分割性能進行對比試驗，結果如表3所示?？梢钥闯?，以VGG 16為主干特征提取網絡的U-net模型的各項結果均優(yōu)于PSPNet、Deeplab v3+模型，其對葡萄藤各關鍵結構的準確率數值分別提升9.01 和9.82 個百分點，召回率數值分別提升9.59和10.06個百分點，類別平均像素準確率值分別提升9.59和10.06個百分點，均交并比數值分別提升14.25和15.09個百分點。結果表明：采用以VGG 16為主干特征提取網絡的U-net模型具有較高的分割優(yōu)勢與能力，針對葡萄藤關鍵結構的分割任務更具有魯棒性。

2.4 模型分割性能驗證

各模型對葡萄藤關鍵結構在測試集上的分割效果如圖5所示。針對無重疊的圖像樣本，包含綁縛主干、枝條、節(jié)點數量分別1、10、40 個，Deeplab v3+模型分割輸出中3類分割目標的正確分割數量分別為1、5、10個，分割輸出存在分割目標結構不完整、各結構之間連接關系缺失、細小像素點錯誤劃分情況，不能完整識別與表達葡萄藤各結構以及各結構之間的連接關系；在PSPNet模型分割輸出中，3類分割目標的正確分割數量分別為1、1、14個，分割輸出存在枝條邊緣、枝條與綁縛主干連接關系不完整、節(jié)點分割錯誤率高的情況，不能正確表達葡萄藤結構之間的連接關系。針對重疊圖像樣本，包含綁縛主干、枝條、節(jié)點數量分別2、17、53個，Deeplab v3+模型分割輸出中3類分割目標的正確分割數量分別為2、9、13個，分割輸出中存在節(jié)點分割邊緣不完整并且漏分割率較高的情況；PSPNet模型分割輸出中3類分割目標的正確分割數量分別為1、4、11個，分割輸出中各枝條分割區(qū)域與背景之間像素點粘連嚴重，節(jié)點分割完整性較差。以VGG 16為主干特征提取網絡的U-net具有良好的分割性能，針對無重疊圖像樣本對3類分割目標的正確分割數量為1、10、40個，重疊圖像樣本對3類分割目標的正確分割數量為2、15、44個，各分割目標分割輪廓完整，各分割目標之間的連接關系正確，且在植株之間存在重疊的情況下，會優(yōu)先保證枝條分割完整度，為后續(xù)推理剪枝點位置奠定優(yōu)良基礎。綜上，以VGG 16為主干特征提取網絡的U-net模型在真實種植條件下，對葡萄藤各關鍵結構具有較好的分割性能。

3 討論

葡萄藤結構的完整分割識別是定位葡萄藤冬季剪枝點進而實現智能化冬季剪枝的基礎。本文利用K-means、U-net傳統(tǒng)圖像分割方法進行葡萄藤結構分割，證明傳統(tǒng)圖像處理方式易受背景環(huán)境影響無法實現自然種植條件下的葡萄藤結構分割。

鑒于深度學習圖像分割方式在復雜環(huán)境下對目標作物優(yōu)越的分割性能，提出一種基于U-net模型的葡萄藤結構分割方法，建立葡萄藤結構數據集，進行模型的主干特征提取網絡對比選取和模型分割性能對比驗證，結果表明，以VGG 16為主干特征提取網絡的U-net模型具有較好的模型性能，與對照組模型相比有較好的分割效果，實現了對自然種植條件下葡萄藤各結構的完整分割，在植株之間存在重疊的種植條件下也可以保證葡萄藤各結構的分割完整性以及結構之間的正確連接關系，分割輸出可以為葡萄藤冬季剪枝點的推理定位提供完整的葡萄藤結構。

參 考 文 獻

［1］ 湯森林，張霞，戚文超，等.基于長短時記憶神經網絡的葡萄葉面積指數高光譜反演[J].遙感信息， 2022， 37（5）： 38-44.

TANG S L， ZHANG X， QI W C， et al .. Retrieving grape leaf areaindex with hyperspectral data basd on long short-term memoryneural network [J]. Remote Sensing Inform.， 2022， 37（5）： 38-44.

［2］ 彭紅星，徐慧明，劉華鼐.融合雙分支特征和注意力機制的葡萄病蟲害識別模型[J].農業(yè)工程學報， 2022， 38（10）：156-165.

PENG H X， XU H M， LIU H N. Model for identifying grapepests and diseases based on two-branch feature fusion andattention mechanism [J]. Trans. Chin. Soc. Agric. Eng.， 2022，38（10）： 156-165.

［3］ 寧政通，羅陸鋒，廖嘉欣，等.基于深度學習的葡萄果梗識別與最優(yōu)采摘定位[J].農業(yè)工程學報， 2021， 37（9）：222-229.

NING Z T， LUO L F， LIAO J X， et al .. Recognition and theoptimal picking point location of grape stems based on deeplearning [J]. Trans. Chin. Soc. Agric. Eng.， 2021， 37（9）：222-229.

［4］ 賈挺猛，荀一，鮑官軍，等.基于機器視覺的葡萄樹枝骨架提取算法研究[J].機電工程， 2013， 30（4）： 501-504.

JIA T M， XUN Y， BAO G J， et al .. Skeleton extractionalgorithm on grapevine based on machine vision [J]. J. Mech.Elect. Eng.， 2013， 30（4）：501-504.

［5］ XU S， XUN Y， JIA T， et al .. Detection method for the buds onwinter vines based on computer vision [C]// Proceedings ofSeventh In-ternational Symposium on Computational Intelligenceand Design. IEEE， 2014： 44-48.

［6］ MARSET W V， Pérez D S， Díaz C A， et al.. Towards practical 2Dgrapevine bud detection with fully convolutional net-works [J/OL].Comput. Electron. Agric.， 2021， 182： 105947 [2024-01-24].https：//doi.org/10.1016/j.compag.2020.105947.

［7］ FERNANDES M， SCALDAFERRI A， FIAMENI G， et al ..Grapevine winter pruning automation： On potential pruningpoints detec-tion through 2D plant modeling using grapevinesegmenta-tion [C]// Proceedings of IEEE 11th AnnualInternational Conference on CYBER Technology inAutomation Control and Intelligent Systems （CYBER）. IEEE，2021：13-18.

［8］ FERNANDES M， SCALDAFERRI A， GUADAGNA P， et al ..Towards precise pruning points detection using Semantic-Instance-Aware plant models for grapevine winter pruningautomation [J/OL]. arXiv：2109.07247[2024-01-24]. https：//doi.org/10.48550/arXiv.2109.07247.

［9］ YANG Q H， YUAN Y H， CHEN Y Q， et al .. Method fordetecting 2D grapevine winter pruning location based onthinning algorithm and lightweight convolutional neuralnetwork [J]. Int. J. Agric. Biol. Eng.， 2022， 15（3）： 177-183.

［10］ 黃鵬，鄭淇，梁超.圖像分割方法綜述[J].武漢大學學報（理學版）， 2020，66（6）：519-531.

HUANG P， ZHENG Q， LIANG C. Overview of imagesegmentation methods [J]. J. Wuhan Univ.（Nat. Sci.），2020，66（6）：519-531.

［11］ 余博文.數字圖像閾值分割研究與應用[J].科學技術創(chuàng)新，2021（19）： 91-92.

［12］ 盧宏濤， 羅沐昆. 基于深度學習的計算機視覺研究新進展[J].數據采集與處理， 2022，37（2）：247-278.

LU H T， LUO M K. Survey on new progresses of deep learningbased computer vision [J]. J. Data Acquisition Process.， 2022，37（2）：247-278.

基金項目：新疆維吾爾族自治區(qū)創(chuàng)新團隊項目（2022D14002）。