許偉浩，李 斌，林 森，鄭書河，郎沖沖，李 濤，董 創(chuàng)，郭文忠

(1.福建農(nóng)林大學(xué)機(jī)電工程學(xué)院，福建 福州 350002； 2.北京農(nóng)業(yè)智能裝備技術(shù)研究中心，北京 100089)

0 引言

番茄是全球消費(fèi)最多的蔬菜之一。近年來，我國生鮮番茄及其制品的消費(fèi)以年均15%的增長率高速發(fā)展，2017年，我國番茄單品年消費(fèi)量超2億t，銷售額超過1萬億元，市場前景廣闊[1]。在番茄生產(chǎn)中，番茄采摘與收獲是重要的作業(yè)環(huán)節(jié)，在收獲階段，基本很難實(shí)現(xiàn)摘前稱量，這就缺少了對(duì)采摘品質(zhì)綜合判斷的一個(gè)重要指標(biāo)。特別是設(shè)施番茄的自動(dòng)化采摘，通過各種先進(jìn)技術(shù)對(duì)采摘前番茄單果質(zhì)量快速測量，輔助對(duì)番茄單果品質(zhì)的評(píng)價(jià)，具有重要研究意義。

非接觸式測量技術(shù)是近年來發(fā)展起來的一種新技術(shù)，它可以實(shí)現(xiàn)對(duì)待測物體的無接觸測量，包括尺寸、質(zhì)量和形狀等。當(dāng)前，基于計(jì)算機(jī)視覺非接觸式測量方法正在由二維圖像向三維點(diǎn)云等方向發(fā)展。國內(nèi)外相關(guān)學(xué)者先后基于點(diǎn)云聚類、姿勢歸一化和點(diǎn)云分割等技術(shù)方法對(duì)豬、牛、魚等進(jìn)行相關(guān)研究，取得了較好的結(jié)果[2-7]。在番茄領(lǐng)域，袁曉敏等[8]、孫國祥等[9]和李寒等[10]進(jìn)行了番茄果實(shí)的三維重構(gòu)、果實(shí)識(shí)別與定位方法的研究，嘗試應(yīng)用三維點(diǎn)云，為番茄智能化種植與收獲提供了新思路。但目前在番茄單果質(zhì)量方面，尚無非接觸式測量相關(guān)研究報(bào)道。

基于此，本文在前人研究基礎(chǔ)上，以浙粉702番茄為試驗(yàn)對(duì)象，首先進(jìn)行采摘后較單一人為環(huán)境下基于三維點(diǎn)云的質(zhì)量估測方法研究，探索基于局部點(diǎn)云和三維卷積神經(jīng)網(wǎng)絡(luò)的質(zhì)量估測方法，并進(jìn)行模型評(píng)估分析，嘗試提出用于番茄的非接觸式單果質(zhì)量估測方法，為后續(xù)田間復(fù)雜環(huán)境的質(zhì)量估測提供試驗(yàn)參考。

1 材料與方法

1.1 樣本來源與數(shù)據(jù)集構(gòu)建

試驗(yàn)用番茄來自國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心試驗(yàn)基地，品種為浙粉702，采摘于拉秧前1個(gè)月的成熟期，最終隨機(jī)挑選50個(gè)用于后續(xù)試驗(yàn)研究與分析。

本研究使用RealSense D435i相機(jī)進(jìn)行番茄點(diǎn)云數(shù)據(jù)采集。由于該相機(jī)深度距離范圍10～100 cm，選擇在20 cm處放置番茄。在拍攝時(shí)，對(duì)放置在平整地面的番茄選取頂部、底部和側(cè)面獲取點(diǎn)云。在側(cè)面拍攝時(shí)，為了獲取較全面的數(shù)據(jù)，對(duì)于形狀較為規(guī)則的番茄每90°采集1次點(diǎn)云數(shù)據(jù)；對(duì)于形狀不規(guī)則的番茄，增加兩個(gè)針對(duì)不規(guī)則視角的點(diǎn)云采集角度，拍攝角度示例如圖1所示。

圖1 番茄不同拍攝方向Fig.1 Different shooting directions of tomato

圖2 數(shù)據(jù)增強(qiáng)Fig.2 Data augmentation

為增加數(shù)據(jù)集的泛化能力，使用PCL和python編寫腳本對(duì)原始數(shù)據(jù)進(jìn)行擴(kuò)增，包括添加高斯噪聲、繞x軸和y軸的±45°隨機(jī)旋轉(zhuǎn)、降采樣等方法，處理效果如圖2所示。將這些方法隨機(jī)組合，并對(duì)每個(gè)點(diǎn)云樣本進(jìn)行處理，最終得到1 344個(gè)增強(qiáng)數(shù)據(jù)。使用日立汽車工業(yè)實(shí)驗(yàn)室(Hitachi Automotive and Industry Laboratory)開源的Semantic Segmentation Editor軟件對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)記，得到原始點(diǎn)云數(shù)據(jù)集。

為保證數(shù)據(jù)集分布不變，將數(shù)據(jù)集按照拍攝方向分為頂部、底部和側(cè)面3類(因側(cè)面4個(gè)方向的點(diǎn)云圖相似，故歸為一類)，數(shù)據(jù)分布統(tǒng)計(jì)如圖3a所示。按照6∶2∶2的比例劃分?jǐn)?shù)據(jù)集為訓(xùn)練集、驗(yàn)證集和測試集，分別用于模型的訓(xùn)練、驗(yàn)證與測試，數(shù)據(jù)集劃分如圖3b所示。

圖3 數(shù)據(jù)集分布及劃分Fig.3 Data set distribution and division

1.2 試驗(yàn)平臺(tái)

為采集番茄三維點(diǎn)云數(shù)據(jù)，選用Intel公司的實(shí)感深度攝像頭RealSense D435i。為采集番茄單果質(zhì)量數(shù)據(jù)，選用永康市龍工蓓工貿(mào)有限公司供應(yīng)的蒙福電子秤，滿量程1 000 g、精度0.1 g，數(shù)據(jù)處理設(shè)備為一臺(tái)裝有Ubuntu18.04系統(tǒng)的工作站電腦。采用Pytorch框架搭建神經(jīng)網(wǎng)絡(luò)，使用NVIDIA公司的相關(guān)軟硬件加速復(fù)雜神經(jīng)網(wǎng)絡(luò)計(jì)算，Python語言和點(diǎn)云庫PCL(Point Cloud Library)進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)格式化和數(shù)據(jù)擴(kuò)增等操作。因PCL為C++模板庫，選用CMake作為程序編譯工具，并使用Semantic Segmentation Editor為原始點(diǎn)云數(shù)據(jù)做標(biāo)記。工作站具體配置信息如表1所示。

表1 試驗(yàn)用工作站軟硬件配置

1.3 網(wǎng)絡(luò)結(jié)構(gòu)

利用BOULCH A[11]提出的ConvPoint網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)對(duì)番茄點(diǎn)云進(jìn)行分割，然后將幾何特征饋送入回歸網(wǎng)絡(luò)以估測番茄單果質(zhì)量，整體網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

注：網(wǎng)絡(luò)輸入為深度相機(jī)獲取的點(diǎn)云數(shù)據(jù)，Convpoint的卷積層中，48、48、48、96、96代表卷積核個(gè)數(shù)，16、16、8、8、4代表用于卷積的鄰域數(shù)；回歸網(wǎng)絡(luò)中，600、1 200、1代表全連接層的神經(jīng)元個(gè)數(shù)。圖4 網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Architecture of network

1.4 點(diǎn)云分割方法

點(diǎn)云分割的主要思想和二維分割類似，即通過卷積下采樣或類似操作提取特征，通過上采樣等操作融合特征，通過全連接層輸出結(jié)果，主要難點(diǎn)是三維卷積怎么處理點(diǎn)云的技術(shù)，需要解決的問題包括點(diǎn)云無序性和點(diǎn)云全局平移不變性。

為解決這一難題，Convpoint將用于網(wǎng)格采樣的離散卷積拓展為點(diǎn)云連續(xù)卷積，離散卷積如式(1)所示。

(1)

式中β——偏置

|K|——卷積核集合基數(shù)

wi——卷積核第i個(gè)權(quán)重值

xi——卷積核第i個(gè)權(quán)重值對(duì)應(yīng)處理的輸入元素

利用指示器函數(shù)將其變形為式(2)。

(2)

式中 |X|——輸入集合基數(shù)

l(i，j)——如果i=j，則l(i，j)結(jié)果為1，否則為0

進(jìn)一步將輸入值與核元素抽象為點(diǎn)云中的點(diǎn)，則式(2)可表示為式(3)。

(3)

式中ci——卷積核第i個(gè)元素的空間位置

pj——輸入的第j個(gè)點(diǎn)的空間位置

但因點(diǎn)云中點(diǎn)的無序性，ci與pj相等的概率非常低，導(dǎo)致l(ci，pj)幾乎總為0，這是不允許的。為了解決這一問題，Convpoint將指示器函數(shù)替換為一個(gè)將輸入X分布到核K上的幾何加權(quán)函數(shù)φ，并且在每個(gè)點(diǎn)p上獨(dú)立應(yīng)用。

為解決點(diǎn)云的全局平移不變性問題，Convpoint不再比較輸入點(diǎn)與核元素的絕對(duì)空間位置，而是使用他們的相對(duì)坐標(biāo)(ci-pj)，最終Convpoint的點(diǎn)云卷積運(yùn)算定義如式(4)所示。

(4)

分割網(wǎng)絡(luò)結(jié)構(gòu)類似于U-Net結(jié)構(gòu)，由一個(gè)編碼器和一個(gè)解碼器組成，一系列連續(xù)點(diǎn)云卷積(PtConv)組成編碼器用于提取特征，一系列與編碼器對(duì)稱的點(diǎn)云卷積和跳躍連接組成解碼器用于特征融合，然后通過一層全連接層輸出最后結(jié)果，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示[12]。

訓(xùn)練過程中，選擇的評(píng)判模型指標(biāo)如下，由于數(shù)據(jù)集的不平衡，只使用準(zhǔn)確度(Accuracy)是不合適的。許多學(xué)者提出在不平衡數(shù)據(jù)試驗(yàn)中使用F1分?jǐn)?shù)(F1-Score)來評(píng)估分類器[13]。另外，還選擇了IoU(Intersection over Union)作為評(píng)價(jià)標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)都基于混淆矩陣，它是表示精度評(píng)價(jià)的一種標(biāo)準(zhǔn)格式。各項(xiàng)指標(biāo)運(yùn)算定義如下

(5)

(6)

(7)

(8)

(9)

式中TP——真正例(True Positive)，被正確預(yù)測的正樣本

TN——真負(fù)例(True Negative)，被正確預(yù)測的負(fù)樣本

FP——假正例(False Positive)，被錯(cuò)誤預(yù)測的正樣本

FN——假負(fù)例(False Negative)，被錯(cuò)誤預(yù)測的負(fù)樣本

P——精確率(Precision)，預(yù)測的正樣本中實(shí)際為正樣本的概率

R——召回率(Recall)，實(shí)際的正樣本中預(yù)測為正樣本的概率

1.5 特征提取方法

因番茄近似規(guī)則的幾何形狀，且點(diǎn)云數(shù)據(jù)的獲取基于光線的直線傳播，所以通過點(diǎn)云獲取的幾何特征在一定程度上可反映番茄整體尺寸。選擇番茄點(diǎn)云的4個(gè)空間距離特征用于構(gòu)建單果質(zhì)量估測模型，番茄點(diǎn)云可視化效果如圖5所示。

圖5 番茄點(diǎn)云三維圖Fig.5 3D view of tomato point cloud

沿z軸的投影，如圖6a所示。將點(diǎn)云沿z維度降維，然后和Liu Xinting等[14]使用的二維方法類似，按照二維測量大小的方法計(jì)算可見面最小外接圓直徑d，但不同的是這里不作為直接計(jì)算體積的變量，而是作為一個(gè)幾何特征送入接下來的網(wǎng)絡(luò)。

沿y軸的投影，如圖6b所示。通過這一投影獲取番茄可見面沿z軸軸向的尺寸dz，由于番茄果形整體基本對(duì)稱，可見面與自身遮擋面存在一定關(guān)系，所以可見面的一些幾何信息，與整個(gè)番茄的質(zhì)量也存在一定關(guān)系，這可以通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到。

沿x軸的投影，如圖6c所示。與圖6b對(duì)比可見，兩個(gè)方向的投影相似，但仍有果形不規(guī)則的番茄，為了更全面更準(zhǔn)確地描述番茄的果形特征，添加沿x、y軸兩個(gè)方向的尺寸信息dx、dy加以輔助，番茄點(diǎn)云投影及特征提取示意如圖6所示。

圖6 番茄點(diǎn)云投影Fig.6 Tomato point cloud projection

1.6 單果質(zhì)量估測方法

本文使用一個(gè)全連接神經(jīng)網(wǎng)絡(luò)對(duì)番茄單果質(zhì)量進(jìn)行估測，網(wǎng)絡(luò)輸入為點(diǎn)云幾何特征向量，輸出為番茄單果質(zhì)量值，中間隱藏層計(jì)算如式(10)所示。

(10)

f——激活函數(shù)

對(duì)于回歸問題，選用ReLU函數(shù)作為激活函數(shù)，ReLU計(jì)算如式(11)所示。

φ(x)=max(0，x)

(11)

選擇均方誤差(Mean Squared Error，MSE)損失函數(shù)來衡量預(yù)測結(jié)果，如式(12)所示。使用隨機(jī)梯度下降法(Stochastic Gradient Descent，SGD)來優(yōu)化模型，SGD算法每次迭代更新梯度，從整個(gè)數(shù)據(jù)集中隨機(jī)選取一個(gè)數(shù)據(jù)點(diǎn)，使模型的計(jì)算復(fù)雜度大大減小。本文通過改變學(xué)習(xí)率、最大迭代次數(shù)、優(yōu)化算法等進(jìn)行對(duì)比，最終選擇最佳的組合。

(12)

式中RMSE——均方誤差

m——樣本量

yi——樣本實(shí)測值

具體網(wǎng)絡(luò)結(jié)構(gòu)如圖4中回歸網(wǎng)絡(luò)所示，包括3個(gè)線性層，神經(jīng)元個(gè)數(shù)依次為600、1 200和1，其中第1層和第2層使用ReLU作為激活函數(shù)，最后一層整合特征用于輸出結(jié)果。

2 結(jié)果與分析

2.1 分割方法對(duì)比與選擇

對(duì)于分割網(wǎng)絡(luò)，選擇常用的PointNet、PointNet++網(wǎng)絡(luò)進(jìn)行對(duì)比，由于只有兩個(gè)類別，除較早的Pointnet網(wǎng)絡(luò)，普遍表現(xiàn)較好，分割結(jié)果對(duì)比如表2所示[15-16]。分割階段的小誤差會(huì)導(dǎo)致空間距離上較大的誤差，而質(zhì)量估測階段基于點(diǎn)云空間距離，分割任務(wù)的精度是保證估測準(zhǔn)確率的前提，所以選擇試驗(yàn)結(jié)果精度最高的ConvPoint網(wǎng)絡(luò)。

表2 不同方法分割結(jié)果

2.2 幾何特征對(duì)比與選擇

已提取番茄可見面最小外接圓直徑d，番茄點(diǎn)云可見面深度dz，番茄點(diǎn)云沿x、y軸兩個(gè)方向的尺寸dx、dy。另外，為了驗(yàn)證可見面最小外接圓面積S與番茄單果質(zhì)量的相關(guān)性，增加d的二次特征S。

(13)

為驗(yàn)證各特征及其組合與番茄單果質(zhì)量的相關(guān)性，選擇50個(gè)番茄點(diǎn)云數(shù)據(jù)在網(wǎng)絡(luò)中進(jìn)行對(duì)比試驗(yàn)，結(jié)果如表3所示。

表3 不同特征組合對(duì)比

單獨(dú)的可見面深度dz與質(zhì)量的決定系數(shù)為0.04，可以認(rèn)為是不相關(guān)的。但試驗(yàn)結(jié)果顯示，單獨(dú)的d、S、dx+dy特征與番茄單果質(zhì)量的相關(guān)性大小相當(dāng)。當(dāng)dz分別與這些特征組合后，d、S、dx+dy特征所對(duì)應(yīng)的決定系數(shù)分別提高了0.04、0.05、0.03，這表明可見面深度dz與番茄單果質(zhì)量的某種關(guān)系有助于提高d、S、dx+dy特征和番茄單果質(zhì)量的相關(guān)性。

另外，d、S、dx+dy特征之間的不同組合也對(duì)其和番茄單果質(zhì)量相關(guān)性的提高有積極作用，如單獨(dú)的d和dx+dy特征對(duì)應(yīng)的決定系數(shù)都為0.89，當(dāng)他們組合后，決定系數(shù)提高到0.92。推斷其原因，可能是最小外接圓表征的只是投影點(diǎn)中最外圍點(diǎn)的范圍，而實(shí)際大多數(shù)點(diǎn)只聚集在最小外接圓內(nèi)的部分區(qū)域，沒有填充整個(gè)外接圓，而dx和dy在一定程度上表征了投影點(diǎn)的實(shí)際聚集范圍，對(duì)最小外接圓直徑d作了補(bǔ)充。所以，通過對(duì)比決定系數(shù)，選擇S+dz、d+dx+dy+dz、S+dx+dy+dz共3個(gè)組合作為備選。觀察誤差，最終選擇誤差最小的S+dx+dy+dz組合。

2.3 優(yōu)化器對(duì)比與選擇

對(duì)常用的Adagrad、Adma、RESProp和SGD優(yōu)化器進(jìn)行對(duì)比，固定學(xué)習(xí)率為0.001，分別使用上述幾種優(yōu)化器在本文的數(shù)據(jù)集上進(jìn)行訓(xùn)練，結(jié)果如圖7所示，RESProp的初始誤差很大，且震蕩劇烈，而Adagrad和Adma雖然初始誤差大大減小，但仍有小幅度震蕩，SGD的初始誤差最小，收斂速度也最快，所以SGD優(yōu)化器最適合本文的數(shù)據(jù)集。

圖7 不同優(yōu)化器平均誤差對(duì)比Fig.7 Comparison of average error under different optimizers

2.4 初始學(xué)習(xí)率對(duì)比與選擇

為選擇較好的初始學(xué)習(xí)率，得到更好的番茄單果質(zhì)量估測模型，以SGD為優(yōu)化器，在不同學(xué)習(xí)率下的平均相對(duì)誤差對(duì)比結(jié)果如圖8所示。當(dāng)學(xué)習(xí)率為0.000 001和0.000 01時(shí)，平均誤差收斂速度非常慢，表明學(xué)習(xí)率過小。值得注意的數(shù)值有0.001和0.000 1。當(dāng)學(xué)習(xí)率0.001時(shí)，平均相對(duì)誤差很快下降，但稍后又反彈上升。當(dāng)學(xué)習(xí)率0.000 1時(shí)，雖然收斂較0.001慢，但最終也可以達(dá)到一個(gè)和0.001相當(dāng)?shù)闹担覐乃玫牡螖?shù)來看，達(dá)到最小值所用的尺度在可接受范圍內(nèi)。

圖8 不同學(xué)習(xí)率下平均誤差對(duì)比Fig.8 Comparison of average error under different learning rates

對(duì)0.001和0.000 1這兩個(gè)學(xué)習(xí)率進(jìn)行進(jìn)一步優(yōu)化，使用更新策略。對(duì)于學(xué)習(xí)率0.001，使用學(xué)習(xí)率更新步長為85個(gè)epoch，衰減系數(shù)0.1，并在到達(dá)260個(gè)epoch時(shí)停止更新。對(duì)于學(xué)習(xí)率0.000 1，使用學(xué)習(xí)率更新步長為750個(gè)epoch，衰減系數(shù)0.1，并在到達(dá)1 500個(gè)epoch時(shí)停止更新。對(duì)比效果如圖9所示。

圖9 不同學(xué)習(xí)率訓(xùn)練效果對(duì)比Fig.9 Comparison of training effects of different learning rates

當(dāng)學(xué)習(xí)率0.001時(shí)，平均相對(duì)誤差在第85個(gè)epoch達(dá)到最小值4.1%，然后又增大，并在第700個(gè)epoch時(shí)達(dá)到7.8%，如圖9a所示。這是由于固定的全局學(xué)習(xí)率0.001對(duì)于訓(xùn)練后期的學(xué)習(xí)步長來說過大，發(fā)生了過擬合，所以需要設(shè)置學(xué)習(xí)率下降策略，在達(dá)到平均相對(duì)誤差最小值時(shí)減小學(xué)習(xí)率使其收斂，最終平均相對(duì)誤差收斂到4.0%，如圖9b所示。而學(xué)習(xí)率0.000 1時(shí)，如不使用學(xué)習(xí)率下降策略，同樣會(huì)導(dǎo)致過擬合，平均相對(duì)誤差在大約第750個(gè)epoch達(dá)到最小值4.5%，然后又增大，并在第2 000個(gè)epoch時(shí)達(dá)到5.3%，如圖9c所示。使用下降策略的提升效果也不明顯，最終平均相對(duì)誤差收斂到4.5%，如圖9d所示。

2.5 估測模型構(gòu)建

針對(duì)訓(xùn)練集的808個(gè)樣本和驗(yàn)證集的268個(gè)樣本，使用SGD優(yōu)化器，初始學(xué)習(xí)率0.001，學(xué)習(xí)率更新步長為85個(gè)epoch，衰減系數(shù)0.1，并在更新3次后停止更新。每個(gè)epoch結(jié)束后，記錄訓(xùn)練和驗(yàn)證的平均損失、決定系數(shù)R2和平均相對(duì)誤差，并選擇平均相對(duì)誤差最小的模型。最終所選模型的決定系數(shù)R2=0.95，平均相對(duì)誤差4.0%。

2.6 估測模型分析與評(píng)估

2.6.1模型結(jié)果誤差

算法的實(shí)際性能不僅與算法的設(shè)計(jì)有關(guān)，實(shí)際的部署環(huán)境、設(shè)備實(shí)時(shí)性能等因素，也會(huì)不同程度地影響最終結(jié)果。一般情況下，測試算法性能會(huì)先關(guān)閉設(shè)備后臺(tái)的其他進(jìn)程，將設(shè)備調(diào)試到最佳狀態(tài)，但這明顯是不合適的，因?yàn)閷?shí)際運(yùn)行時(shí)，設(shè)備一般不會(huì)是最佳狀態(tài)，所以算法實(shí)際運(yùn)行表現(xiàn)一般比測試表現(xiàn)差[17]。為分析模型性能，在不刻意對(duì)設(shè)備做性能優(yōu)化的情況下對(duì)模型進(jìn)行測試，部分番茄樣本測試結(jié)果如表4所示。將測試數(shù)據(jù)集按實(shí)測質(zhì)量排序，并平均分成5個(gè)數(shù)據(jù)段，從每個(gè)數(shù)據(jù)隨機(jī)取2個(gè)樣本列于表中。表中10個(gè)樣本的相對(duì)誤差大部分集中在1%～2%。對(duì)于較大的相對(duì)誤差，如8.05%和6.14%，推測可能原因，一方面在分割階段，因模型的泛化能力有限，對(duì)測試集樣本分割精度降低，另外在實(shí)際測量時(shí)也可能產(chǎn)生誤差。

表4 部分樣本測試結(jié)果

2.6.2模型穩(wěn)定性

為進(jìn)一步測試模型的穩(wěn)定性，對(duì)整個(gè)測試集進(jìn)行了500次測試，測試結(jié)果如圖10所示。橫向比較各測試結(jié)果，500次測試的整體相對(duì)誤差<7.76%，平均相對(duì)誤差3.04%，最小相對(duì)誤差可達(dá)0.23%，各次測試結(jié)果的標(biāo)準(zhǔn)差在2.31%～2.40%。結(jié)果表明，所建模型具有良好的穩(wěn)定性。

圖10 500次測試相對(duì)誤差Fig.10 Relative error of 500 tests

3 結(jié)論

本研究提出了使用點(diǎn)云分割目標(biāo)番茄，并通過分割后的點(diǎn)云幾何特征回歸估測番茄單果質(zhì)量的方法。本方法利用神經(jīng)網(wǎng)絡(luò)處理深度相機(jī)獲取的番茄點(diǎn)云數(shù)據(jù)，以Convpoint網(wǎng)絡(luò)為基礎(chǔ)，從環(huán)境背景中分割出番茄點(diǎn)云，將分割結(jié)果和Pointnet等其他網(wǎng)絡(luò)作對(duì)比，驗(yàn)證所用網(wǎng)絡(luò)的準(zhǔn)確性。對(duì)分割結(jié)果提取點(diǎn)云的幾何特征，將特征輸入到回歸網(wǎng)絡(luò)進(jìn)行質(zhì)量估測，并對(duì)回歸網(wǎng)絡(luò)的各部分組件進(jìn)行選擇和對(duì)比。對(duì)測試集進(jìn)行測試，結(jié)果表明，番茄單果質(zhì)量估測最小相對(duì)誤差0.23%，平均相對(duì)誤差3.04%。但最大相對(duì)誤差7.76%，可能原因一方面是獲取點(diǎn)云數(shù)據(jù)時(shí)受到外界干擾，另一方面是實(shí)際測量單果質(zhì)量時(shí)也會(huì)產(chǎn)生誤差。

由于條件限制，本研究僅對(duì)非遮擋番茄進(jìn)行了試驗(yàn)，接下來的工作計(jì)劃在更復(fù)雜的環(huán)境中進(jìn)行，如遮擋、逆光等。同時(shí)，這一方法也可以借鑒到其他類球形的果蔬質(zhì)量測量任務(wù)上。