陳 玲，王浩云，肖海鴻，馬仕航，楊 瑤，徐煥良

利用FL-DGCNN模型估測綠蘿葉片外部表型參數

陳 玲1，王浩云1，肖海鴻1，馬仕航2，楊 瑤1，徐煥良1※

（1.南京農業(yè)大學人工智能學院計算機系，南京 210095；2.中國移動通訊集團上海有限公司，上海 200060）

為了能夠低成本、自動化批量獲取植物葉片的外部表型參數，同時解決自然生長條件下的植物葉片存在遮擋而無法獲取完整的外部表型數據的問題，該研究以綠蘿葉片為研究對象，基于曲面參數方程建立葉片幾何模型，提出一種基于特征分層的動態(tài)圖（Dynamic Graph CNN based on Feature Layering，FL-DGCNN）和堆棧編碼器模型的綠蘿葉片外部表型參數估測算法。通過多層組合的編碼-解碼器模型對殘缺點云進行形狀補全，將不同尺度下的點云通過多層感知機提取分組點不同層的特征向量融合后獲取特征信息，以決定系數和均方根誤差評價模型結果。結果表明：多層組合的編碼模型對殘缺點云補全的魯棒性更高，特征分層的動態(tài)圖模型估測結果的葉長、葉寬、葉面積的決定系數分別為0.92、0.93和0.94，葉長、葉寬的均方根誤差分別為0.37、0.34 cm，葉面積的均方根誤差為3.01cm2。該方法對葉類植物葉片的外部表型參數估測效果較好，具有實用性。

模型；參數；三維；深度學習；遮擋補全；綠蘿

0 引 言

葉片作為植物生長發(fā)育的主要器官，是植物進行光合作用和蒸騰作用的主要途徑，葉片的外形參數能夠反映植物的生長狀況、表征植物的生理指標，從而預測植物的生長模型，便于合理栽培管理與品種特性分類[1]。因此，植物葉片外形參數的準確測量是了解植物生長發(fā)育狀態(tài)、實現科學培育的關鍵。

點云是最簡單的形狀表示，能夠表示物體的空間信息，對點云的處理和分析的應用主要在形狀合成和三維建模[2-4]方面，同時點云在表型參數預測方面的應用也逐漸興起。文獻[5]拍攝玉米和大豆的多視角圖像，通過VisualSFM軟件進行三維重建，采用局部多項式回歸算法擬合葉中脈，提取葉長和葉寬。文獻[6]通過RGB相機獲取簸箕柳的二維圖像序列，結合運動恢復結構算法生成三維點云，基于最小包圍盒求得植株的株高、基徑、葉片面積、分枝數和分枝角等表型參數。但是上述方法沒有利用點云數據間信息且需要大量的迭代回歸計算，對于大批量的植株數據無法自動得到表型數據。文獻[7]將點云通過體素云連通性分割算法生成超體素塊，利用局部凸包連接算法對點云進行聚類分割得到樹木的枝干和樹葉。文獻[8]根據三維點云的空間位置和法向量信息，利用八叉樹對點云進行初始分割得到超體素,建立重采樣后點云數據的K-D樹索引，根據其局部特征的點云簇劃分植物器官。上述方法利用了點云的結構信息，但是需要將原始點云轉換為體素網格表示，無法獲取細粒度特征，同時內存占用多。

隨著最新的PointNet深度神經網絡[9]的提出，可以直接將點云數據輸入神經網絡進行處理來獲取特征。文獻[10]提出一種基于多分辨率編碼點云深度學習網絡，以PointNet網絡為基礎，使用回歸模型代替原始網絡分類輸出層，同時通過遷移學習對參數微調，得到對綠蘿葉片的葉長、葉寬和葉面積的值。上述方法直接處理點云數據，但是忽略了點之間的幾何關系，無法獲取點的局部特征。因此為了利用點云的局部信息且自動化獲取葉片表型參數，本研究提出一種利用FL-DGCNN的深度學習模型來提取點云特征信息的方法。以生長期的長藤大葉綠蘿（）作為研究對象，應用運動恢復結構算法獲取綠蘿的點云，使用堆棧編碼器模型對殘缺點云補全，通過特征融合的邊卷積結構獲取不同層下的點云特征信息，從而實現對葉片外部表型參數的估測。

1 試驗材料與方法

1.1 試驗材料

試驗選取10盆冠層直徑在10～15 cm之間的生長6個月左右的長藤大葉綠蘿，共有200片大小不均的綠蘿葉片作為研究對象，每盆綠蘿獲取植物冠層俯視可見的葉片。

1.2 數據采集

1.2.1 葉片外部表型參數的真實值采集

葉片外部表型參數的真實值采集分為葉長、葉寬和葉面積數據采集。其中葉長、葉寬數據采集是將每層葉片沿葉基剪下，平鋪貼于A4紙上，通過游標卡尺測量葉片葉基與葉尖之間的最大長度作為葉長，測量與主脈垂直方向的最大寬度作為葉寬。葉面積的測量是將葉片平鋪在A4紙上，采用圖像分割的方法提取葉片和A4紙的二值圖像進行像素點統(tǒng)計，通過兩者的比例求葉面積。

1.2.2 點云數據采集

為了低成本獲取葉片外部表型參數，試驗采用多視角三維重建方式獲取點云數據，將相機固定在三腳架上，通過手動移動三腳架從環(huán)繞綠蘿一周的側拍角度對其進行拍攝，得到多視角圖像序列，拍攝過程中以綠蘿作為圓周中心，移動半徑在20 cm左右，調整相機軸線確保綠蘿完全處于相機視野范圍內。使用量角器每隔5°在平臺上做上標記，圓周內共標記72處，每隔一個標記拍攝一張RGB圖像，其中相機焦距為4.73 mm，光圈數為f/1.7，曝光程度正常，拍攝的圖像尺寸為4 000×3 000，對每層綠蘿冠層進行一次拍攝后將冠層葉片剪下測量其外部表型參數的真實值。

三維重建通過運動恢復結構算法[11]，將空間中的任意物體抽象成很多點構成，物體上的任意點，其在空間中的三維坐標記作=[，，]T，對應的圖像上的二維點記為=[，，1]T。物體中的點通過相機光心在影像平面上成像，利用相似三角形的特性，加上世界坐標系到相機坐標系存在旋轉和平移，根據Zhang[12]提出的相機標定方法，可得二維點和空間下三維物體點的對應關系式為

=[]（1）

式中為尺度因子，為相機的內參矩陣，、是相機的外參矩陣，表示旋轉矩陣，表示平移矩陣。

由于尺度因子只是為了方便計算，對其次坐標不會影響其坐標值，因此圖像二維點與空間三維點對應關系式可以簡化為=[|]，通過本征矩陣分解得到相機的外參矩陣旋轉矩陣及平移矩陣，根據兩兩圖像之間的像素點和三維坐標的對應關系式=[|]生成該視角下的個點云，將兩兩點云合并可得新點云，在合并點云時需要保證估計的點到原始像素點的投影差最小，即需要滿足

目前能實現三維重建的開源系統(tǒng)有開放式多視圖幾何（open Multiple View Geometry，openMVG）、多視圖重構環(huán)境（Multi-View Reconstruction Environment，MVE）、運動系統(tǒng)的視覺結構（Visual Structure from Motion System，VisualSFM）系統(tǒng)等，試驗選擇MVE系統(tǒng)進行植株的三維重建，MVE系統(tǒng)包含運動恢復結構算法、稠密點云重建、表面重建，涵蓋了三維重建的整體流程[13]。使用相機拍攝的多視角圖像，通過MVE系統(tǒng)得到三維重建模型如圖1所示。

從生成的點云數據來看，多視角三維重建得到的點云數據能清晰的看出葉片的紋路及形狀，但是其背景噪聲點更多，查看點云數據ply文件，多視角三維重建的點云中點數量為65 190個，面數量為1 242 491個。由于三維重建過程中使用了表面重建，最終的點云數據面數量較多，總體來看，多視角三維重建的點云數據對原始綠蘿還原度較高。

采集點云數據后對其進行預處理，點云數據處理分為去除背景和單片點云分割。點云去除背景采用直通濾波方法[14]，只保留葉片的冠層部分，如圖2a所示。點云的分割采取手動標注結合區(qū)域生長分割算法，根據所有點的曲率值排序后得出同一區(qū)域的點，從而對葉片進行分割如圖2b。為了提高運行效率，同時不破壞葉片整體形狀，通過最遠點采樣法[15]對分割的完整葉片和殘缺葉片點云精簡如圖2c、2d。

由于在自然生長環(huán)境下冠層葉片存在遮擋，對其進行分割后，部分葉片能得到完整的點云，如圖2a中的1-1號葉片經過分割、精簡等預處理后能得到的葉片點云如圖2c；部分葉片存在遮擋，如圖2a中的1-4號葉片由于和周圍的1-3號、1-5號葉片生長存在遮擋，導致經過分割、精簡等預處理后得到的1-4號存在殘缺的葉片點云如圖2d。因此對多視角三維重建后的點云數據經過預處理后，一方面獲取對應編號的完整葉片點云，另一方面獲取存在遮擋的殘缺葉片點云。

1.3 綠蘿葉片幾何模型

根據植物葉片形狀研究[16-17]可知，綠蘿葉片呈上窄下寬的卵圓形，葉尖形狀急尖，葉基為鈍圓形，因此采用參數曲面方程(,)[18]構建長方形平面，方向、方向、方向函數分別記為x、y、z。綠蘿的葉形與葉基呈平滑的弧形曲線，通過對正弦函數變形形成曲線。葉尖所呈現的急尖通過線性函數來交匯形成，在方向上添加葉形干擾函數1，在方向上添加葉基和葉尖干擾函數1、2、3，在方向增加葉片的彎曲幅度來模擬葉片的外形與姿態(tài)。

表1 參數曲面方程中的參數含義

因此最終曲面方程[18]為

由曲面方程可得[18]，a、d、a、a、u，、u、、、x、y10個內參影響幾何模型的葉長、葉寬、葉面積，固定10個內參在取值范圍內改變系統(tǒng)參數值，（?0.5≤≤0.5，0≤≤1），從軸的最高點和最低點的差值得到葉長，從軸的最高點和最低點的差值得到葉寬，將曲面三角網格化之后，使用海倫公式得出單個網格的面積累加可得葉面積。調整10個內參可以獲得不同形態(tài)的幾何模型，排除畸形葉片的情況（如葉長葉寬比例失衡、葉片出現交叉等），得到內參的取值范圍后控制步長得到12 763組幾何模型數據。

1.4 綠蘿葉片外部表型參數的估測模型

1.4.1 DGCNN網絡

基于特征分層的動態(tài)圖的深度學習模型（Dynamic Graph CNN based on Feature Layering，FL-DGCNN）的基本模塊以邊卷積結構為基礎，利用不同深度對應不同的語義，通過淺層網絡學習細節(jié)特征，深層網絡學習語義特征，改進原始邊卷積結構，將點云結構通過有向圖表示，對每個點選擇個鄰居點分組后提取有向邊緣特征，利用多層感知機得到的每組點的局部特征進行淺層特征與深層特征疊加獲取更多特征信息，如圖3b。

1.4.2 特征分層融合

圖像金字塔是以多個尺度來表示圖像的簡單結構，通過原圖的上采樣和下采樣的集合構建了不同尺度空間，能夠解決多尺度變化問題。圖像金字塔可以進行多尺度變化增強，對每一種尺度的圖像進行特征提取得到多尺度的特征表示，每層特征圖都包含了較強的語義信息，并且在不同尺寸在提取的特征在整體上與尺寸無關，最終通過不同尺度提取得到的特征圖增強語義和幾何信息。

將這種不同尺度特征分層的結果應用在FL-DGCNN網絡中，利用最遠點采樣[15]進行降采樣得到不同尺度下的點云，即分別從原始點云中提取64×3、128×3、×3的數據，獲得不同尺度下具有輪廓特征的點云，輸入特征融合的邊卷積結構中分別提取1 024維特征向量，將3個不同尺度的點云提取的特征連接后，經過多層感知機得到融合不同層信息的特征向量如圖4所示。

1.4.3 基于FL-DGCNN的葉片外部表型參數的估測

三維重建后的葉片點云周圍存在噪聲點，并且自然生長狀態(tài)下的綠蘿存在葉片遮擋，導致經過分割預處理后的單個葉片點云信息存在殘缺，因此利用堆棧編碼器模型對點云二次去噪及殘缺點云補全，同時結合特征分層的動態(tài)圖深度學習網絡（FL-DGCNN）提取點云特征，得到估測的點云的葉長、葉寬和葉面積，綠蘿葉片外部表型參數的估測模型總體流程如圖5所示。

1）殘缺葉片點云的補全生成

通過編碼-解碼器模型[23-24]無需任何體素化即可直接將部分點云映射到密集的完整點云，將殘缺的點云進行補全。為了更好捕捉葉片點云形狀變化，將自編碼器模型編碼部分得到的全局特征向量擴展后與多層感知機得到的特征連接，重新訓練一個新的自編碼器得到最終的全局特征向量，通過多層組合的方式將自編碼器模型修改為深度結構的堆棧編碼器來對殘缺點云進行補全生成。

模型由編碼-解碼兩部分構成，編碼器輸入存在遮擋的單個葉片點云×3，經過多層感知機得到×128維的特征，通過最大池化得到128維的全局向量，將得到的128維全局變量擴展后與之前多層感知機得到的×128維的特征連接，再次經過多層感知機得到最終的128維全局向量，作為對輸入點云的特征提取。解碼器將編碼器得到的128維全局向量經過多層感知機恢復為×3的點云，模型如圖6所示。

2）基于FL-DGCNN的葉片外部表型參數的估測

FL-DGCNN網絡以完整點云×3作為輸入，通過K最近鄰（K-Nearest Neighbor，KNN）算法計算每對點的距離，選擇=10個點作為鄰居點得到××3，這是為了提取每個點的局部特征，然后經過多層感知機{64，64}將每組點升維至××64，經過最大池化得到新的數據為×64，將得到的新的數據再輸入下一層的邊卷積結構中，經過兩層多層感知機（64×128、128×1 024），最終得到特征向量為×1 024，通過最大池化提取1 024維的特征向量。為了更好的捕捉局部結構信息，考慮不同層下的局部結構信息，將原始邊卷積結構中的多層感知機經過特征融合得到新的邊卷積結構，將每組點的局部特征×64進行兩層疊加得到特征融合的邊卷積結構×128，這樣能更好的提取局部特征。

1.5 模型設置及評估

將由參數曲面方程得到的12 763組幾何模型數據按照9∶1的比例劃分為訓練集和測試集，殘缺葉片點云的補全生成中堆棧編碼器模型的損失函數為輸入的點云和生成的點云之間的倒角距離，通過反向傳播減小輸入輸出點云間的距離來訓練模型。FL-DGCNN模型中損失函數為均方差函數，通過反向傳播減小均方差的值來訓練模型，試驗模型迭代次數為100次，批樣本大小為30，學習率為0.01，優(yōu)化器為Adam。

采取200片預處理后的葉片點云，將其中100片輸入預先訓練的綠蘿葉片外部表型參數的估測模型中訓練，剩余100片作為測試集。使用決定系數2和均方根誤差（Root Mean Square Error，RMSE）作為模型評估指標。2表示回歸直線對觀測值的擬合程度，RMSE反映真實值與估測值之間的偏差。

2 結果與分析

2.1 綠蘿葉片外部表型參數實際測量結果

試驗選取200片綠蘿葉片，通過游標卡尺和彩色相機測量其葉長、葉寬和葉面積數據。實測的綠蘿葉片葉長在5.85～14.39 cm，葉寬在4.70～10.89 cm，葉面積在15.35～40.99 cm2，葉片的大小分布較廣且符合正態(tài)分布，因此試驗數據具有一定的普適性。

表2 葉片實測參數統(tǒng)計表

2.2 真實葉片外部表型參數的估測結果與分析

如表2所示，基于FL-DGCNN及堆棧編碼器模型對葉片的外部表型參數的估測中，葉長的均方根誤差平均值在0.5 cm左右，葉寬的均方根誤差平均值在0.2 cm左右，葉面積的均方根誤差平均值在2 cm2左右，說明該方法得到的估測值與實際值相近，具有一定的準確度。

表3 基于FL-DGCNN及堆棧編碼器模型的葉片估測誤差統(tǒng)計表

模型估測結果如圖7所示。葉長、葉寬、葉面積估測結果的決定系數分別為0.92、0.93和0.94，葉長和葉寬的均方根誤差分別為0.37、0.34cm，葉面積為3.01 cm2。擬合的2均高于0.92，RMSE均較小，說明該方法擬合效果較好，對葉片外部表型參數的估測準確率較高。

2.3 幾何模型殘缺葉片補全的估測結果與分析

為了檢驗堆棧編碼器對存在遮擋的葉片點云的補全效果，以自編碼器模型作為對比，將12 763條幾何模型殘缺10%～50%后模擬葉片存在遮擋，以9∶1的比例分為訓練集和測試集訓練堆棧編碼器，將殘缺補全后的點云輸入基于FL-DGCNN模型中得到估測值，與幾何模型生成的原始完整點云的真實值作線性擬合，使用2和RMSE評估，結果如表4所示。從對幾何模型的點云外形參數估測精度來看。當葉片殘缺10%時，堆棧編碼器補全后估測的葉寬比自編碼器補全后估測的葉寬的2更小，誤差也更大，但是葉長和葉面積估測值的2和RMSE都與自編碼器估測值基本相當；當葉片殘缺20%～50%時，堆棧編碼器補全后估測的葉長、葉寬、葉面積的2和RMSE均優(yōu)于自編碼器，當隨著點云殘缺比例的增加，堆棧編碼器補全后估測的葉長、葉寬、葉面積的2下降較少，而自編碼器估測的則呈倍數下降，總體來看，堆棧編碼器補全生成的魯棒性更好。

圖8a分別為葉片幾何模型完整點云、幾何模型殘缺10%～50%的點云，圖8b、圖8c分別為自編碼器模型和堆棧編碼器模型對幾何模型殘缺點云的補全生成結果。

表4 對不同殘缺度的幾何模型點云補全后的估測結果

注：決定系數2無量綱單位；葉長、葉寬的均方根誤差單位為cm；葉面積的均方根誤差單位為cm2。下同。

Note: Determination coefficient is dimensionsless; the unit of root mean square error of leaf length and leaf width is cm, and that of leaf area is cm2. Same below.

如圖8所示，從對幾何模型的點云補全效果可以看出，當葉片模型點云殘缺10%～30%時，兩種編碼器補全后都基本還原了完整模型點云的外部輪廓，其中自編碼器補全方式點云內部整齊，堆棧編碼器補全后的點云內部保留了一定原始的點的順序；當葉片模型點云殘缺40%時，自編碼器補全后的完整點云形狀發(fā)生了變化，而堆棧編碼器補全后形狀與原始類似，葉長葉寬沒有發(fā)生較大變化；當葉片模型點云殘缺50%時，自編碼器補全后已完全丟失葉片的形狀，而堆棧編碼器能夠通過部分點云的輪廓還原整體點云形狀，但是葉長葉寬也發(fā)生了變化。總體來看，堆棧編碼器能適用于點云殘缺更多的情況，在殘缺40%以內補全后形狀與原始點云形狀相近，當葉片殘缺50%以上葉片形狀有所變化，因此使用堆棧編碼器對存在遮擋的葉片補全效果較好。

圖9為兩種編碼器模型對自然條件下殘缺點云補全生成結果，存在殘缺的葉片點云原始葉片是狹長略胖的形狀如圖9a所示，由于殘缺后只保留了葉尖部分如圖9b所示，所以自編碼器補全的點云長度變小，無法完整還原葉基部分，葉片變?yōu)槎虒挼男螤?，而堆棧編碼器補全的點云完整還原了葉基部分，整體葉長和原始形狀相近，因此堆棧編碼器對自然條件下存在遮擋的葉片點云補全效果更好。

2.4 幾何模型葉片外部表型參數的估測結果與分析

為了對比提出的FL-DGCNN網絡對葉片外部表型參數的估測能力，選擇用于 3D 分類和分割的點集的深度學習模型PointNet[9]、動態(tài)圖卷積神經網絡[19]（Dynamic Graph CNN，DGCNN）、多分辨率編碼點云深度學習網絡模型（MRE-PointNet）[10]3種模型作為對比，其中PointNet是第一個對點云直接處理的深度學習模型，作為模型結果的基準，DGCNN是使用邊卷積結構獲取點云局部特征的模型，為了對比改進邊卷積結構后的FL-DGCNN和原始邊卷積結構估測的效果。MRE-PointNet是以PointNet為基礎進行多分辨率編碼得到全局特征進行估測，和本試驗提出的以DGCNN為基礎提取局部特征的估測效果對比。

表5 不同模型對葉片外部表型參數估測精度

從表5可以看出，和其他三個模型對比，FL-DGCNN網絡估測效果最好，對葉長、葉寬和葉面積的估測結果均好于PointNet模型和DGCNN模型，與MRE-PointNet網絡估測結果相比，葉寬估測結果與其相近，其余兩個參數估測結果明顯更好，估測的誤差值也更低，說明通過多層特征的融合增加了提取的邊緣特征信息，特征提取能力更強。

從FL-DGCNN網絡對葉長、葉寬和葉面積3個外部表型參數估測結果來看，該模型對葉寬和葉面積估測精度最高，2為0.99，對葉長估測效果相比較差，但是估測的誤差也僅為0.36 cm，總體來看，FL-DGCNN網絡對葉片的外部表型參數估測效果較好且結果較為準確。

3 結論與討論

1）基于運動恢復結構算法從相機拍攝的多角度圖像序列中重建了綠蘿三維模型。對存在遮擋的殘缺點云通過多層自編碼器組合的堆棧編碼器模型補全效果較好，在葉片點云同等殘缺下與自編碼器相比，堆棧編碼器模型補全后估測的決定系數2和均方根誤差（Root Mean Square Error，RMSE）基本優(yōu)于自編碼器，當隨著點云殘缺比例的增加，點云補全后估測的2和RMSE變化小模型的魯棒性更好，并且能適用于點云殘缺更多的情況，在殘缺40%以內補全后形狀與原始點云形狀相近。

2）基于FL-DGCNN的綠蘿葉片外部表型參數的估測算法與多組網絡模型相比，能更好的提取葉片局部特征，2優(yōu)于其他網絡模型，對葉長估測的均方根誤差為0.37 cm，對葉寬估測的均方根誤差為0.34 cm，對葉面積估測的均方根誤差為3.01 cm2，模型估測的偏差較小，方法具有一定的實用性，并且能夠自動化批量獲取葉片表型數據，為同類型葉類植物葉片外形參數的估測提供了可能。

然而，對葉片補全的編碼模型不能適用于殘缺50%以上的點云，并且編碼生成的點云內部較為混亂，金字塔解碼器可以通過多階段補全損失減少幾何結構瑕疵，將點云3D網格化可以保留原有空間結構，因此，優(yōu)化編碼模型，以便更好的感知點云的幾何結構，對于殘缺組分大的點云，也需具有泛化性和普適性，尚需進一步研究。另，試驗需要通過手動移動相機來獲取多視角圖像序列，耗時較長，且數據采集階段植物處于室內自然光下靜止狀態(tài)，后續(xù)需要研究通過旋轉臺構建自動獲取圖像的單目成像裝置，同時考慮光照、風力等因素的干擾。

[1] 徐超，李喬. 基于計算機視覺的三維重建技術綜述[J]. 數字技術與應用，2017，28(1)：54-56.

Xu Chao, Li Qiao. Overview of 3D reconstruction technology based on computer vision[J]. Digital Technology and Application, 2017, 28(1): 54-56. (in Chinese with English abstract)

[2] Hui F, Zhu J Y, Hu P C, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations[J]. Annals of Botany, 2018, 121(5): 1079-1088.

[3] 孫國祥，汪小旵，劉景娜，等. 基于相位相關的溫室番茄植株多模態(tài)三維重建方法[J]. 農業(yè)工程學報，2019，35(18)：134-142.

Sun Guoxiang, Wang Xiaochan, Liu Jingna, et al. Multi-modal three-dimensional reconstruction of greenhouse tomato plants based on phase-correlation method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 134-142. (in Chinese with English abstract)

[4] Sandhu J, Zhu F, Paul P, et al. PI-Plat: A high-resolution image-based 3D reconstruction method to estimate growth dynamics of rice inflorescence traits[J]. Plant methods, 2019, 15(27): 818-822.

[5] 朱冰琳，劉扶桑，朱晉宇，等. 基于機器視覺的大田植株生長動態(tài)三維定量化研究[J]. 農業(yè)機械學報，2018，49(5)：256-262.

Zhu Binglin, Liu Fusang, Zhu Jinyu, et al. Three-dimensional quantitative research on field plant growth dynamics based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(5): 256-262. (in Chinese with English abstract)

[6] 李楊先，張慧春，楊旸. 一種基于圖像處理技術的植物形態(tài)表型參數獲取方法[J]. 林業(yè)工程學報，2020，5(6)：128-136.

Li Yangxian, Zhang Huichun, Yang Yang. A method for obtaining plant morphological phenotypic parameters using image processing technology[J]. Journal of Forestry Engineering, 2020, 5(6): 128-136. (in Chinese with English abstract)

[7] 楊玉澤，林文樹. 基于激光點云數據的樹木枝葉分割和三維重建[J]. 西北林學院學報，2020，35(3)：171-176.

Yang Yuze, Lin Wenshu. Segmentation and 3D reconstruction of tree branches and leaves based on laser point cloud data[J]. Journal of Northwest Forestry University, 2020, 35(3): 171-176. (in Chinese with English abstract)

[8] 楊琳，翟瑞芳，陽旭，等. 結合超體素和區(qū)域增長的植物器官點云分割[J]. 計算機工程與應用，2019，5(16)：197-203.

Yang Lin, Zhai Ruifang,Yang Xu, et al. Segmentation of plant organs point clouds through super voxel-based region growing methodology[J]. Computer Engineering and Applications, 2019, 55(16): 197-203. (in Chinese with English abstract)

[9] Qi C R, Su H, Mo K, et al. Pointnet: Deep learning on point sets for 3d classification and segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2017: 652-660.

[10] 王浩云，肖海鴻，馬仕航，等. 基于MRE-PointNet+AE的綠蘿葉片外形參數估測算法[J]. 農業(yè)機械學報，2021，52(1)：146-153.

Wang Haoyun, Xiao Haihong, Ma Shihang, et al. Estimation algorithm of leaf shape parameters ofbased on MRE PointNet and Autoencoder Model[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(1): 146-153. (in Chinese with English abstract)

[11] Schonberger J L,Frahm J M.Structure-from-motion revisited[C]//Proceedings of the CVPR.New York: IEEE,2016.

[12] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330.

[13] Fuhrmann S, Langguth F, Goesele M. MVE—a multi-view reconstruction environment[C]//EUROGRAPHICS Work Graph Cult Herit,Los Alamitos:IEEE COMPUTER SOC,2014.

[14] Li L, Miao Z, Liang M. 3D reconstruction based on Kinect[C]// International Conference on Signal Processing. New York: IEEE, 2015: 1247-1250.

[15] Qi C R,Yi L,Su H, et al. Pointnet++: Deep hierarchical feature learning on point sets in a metric space[C]//Advances in Neural Information Processing Systems.New York: IEEE, 2017: 5099-5108.

[16] 周南. 基于變形的三維植物葉片可視化造型研究[D]. 南昌：東華理工大學，2013.

Zhou Nan. Visualization Modeling of the 3D-plant Leaves Based on Deformation[D]. Nanchang: East China University of Technology, 2013. (in Chinese with English abstract)

[17] 陸玲，李麗華，宋文琳，等. 計算機圖形學[M]. 北京：機械工業(yè)出版社，2017：213-225.

[18] 徐煥良，馬仕航，王浩云，等. 基于幾何模型的綠蘿葉片外部表型參數三維估測[J]. 農業(yè)機械學報，2020，51(12)：220-228.

Xu Huanliang, Ma Shihang, Wang Haoyun, et al. Three-dimensional estimation of money plant leaf external phenotypic parameters based on geometric model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 220-228. (in Chinese with English abstract)

[19] Wang Y, Sun Y B, Liu Z W, et al. Dynamic graph CNN for learning on point clouds[J/OL]. ASSOC Computing Machinery, (2019-06-11) [2019-06-30]. https//arxiv.gg363.site/abs/ 1801.07829.

[20] Wang L, Huang Y C, Hou Y L, et al. Graph attention convolution for point cloud semantic segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2019: 10288-10297.

[21] 王旭嬌，馬杰，王楠楠，等. 基于圖卷積網絡的深度學習點云分類模型[J]. 激光與光電子學進展，2019，56(21)：56-60.

Wang Xujiao, Ma Jie, Wang Nannan, et al. Deep learning model for point cloud classification based on graph convolutional network[J]. Laser & Optoelectronics Progress, 2019, 56(21): 56-60. (in Chinese with English abstract)

[22] Huang Z, Yu Y, Xu J, et al. PF-Net: Point Fractal Network for 3D Point Cloud Completion[C]// New York: IEEE, 2020.

[23] Achlioptas P, Diamanti O, Mitliagkas I, et al. Learning representations and generative models for 3D point clouds[C]// Stockholm: ICML, 2018.

[24] Yuan W,Khot T,Held D,et al. PCN: Point completion network[C]// New York: IEEE, 2018.

Estimation of external phenotypic parameters of Bunting leaves using FL-DGCNN model

Chen Ling1, Wang Haoyun1, Xiao Haihong1, Ma Shihang2, Yang Yao1, Xu Huanliang1※

(1.,,,210095,; 2.200060,)

Plant leaves blocked under natural growth conditions cannot fully acquire the complete external phenotypic data. Therefore, this study aims to estimate these parameters in low-cost and automated batches using Dynamic Graph CNN with Feature Layering (FL-DGCNN). A stack encoder model was also used for Bunting () leaves. A camera was selected to shoot at a certain angle between two images. Further, motion recovery was utilized to reconstruct the three-dimensional model of the plant after feature points matching. Straight-through filtering and clustering segmentation were used to obtain a single chip Point cloud data. Specifically, the geometric model of the blade using surface parameters was discretized into a point cloud, but the point cloud was incomplete to a certain proportion to simulate the natural growth state. An auto-encoder model was modified into a deep-structured stack encoder under a multi-layer combination, and then to reduce the distance between the input point cloud and the actual point cloud. As such, the incomplete geometric model point cloud achieved shape completion after the training. The determination coefficients of leaf length, width, and area estimated by the stack encoder decreased less, as the percentage of incomplete point clouds increased, while those estimated by the auto-encoder decreased by multiples. The robustness of stack encoder completion was better in the leaf point cloud, compared with autoencoders under the same incompleteness. The shape was also similar to the original point cloud after completion within 40% of incompleteness. There were great variations in the shape of the blade when the blade was incomplete or more than 50%. A better performance was also achieved in the occluded blades. The completed point cloud was input into the FL-DGCNN deep learning network, and the feature maps were then extracted at different scales in the image pyramid, thereby enhancing semantic and geometric information. The farthest point sampling was used to extract from the original point cloud. The extracted features were connected to obtain a vector after feature layering and fusion, particularly for point clouds with contour features at different scales. The basic neural network module of edge convolution structure was adopted to better capture the local structure. The point cloud structure was represented by the directed graph, where the edge feature was obtained from the neighbor nodes. The local features of each group were superimposed on the shallow and deep network for the multiple perceptions in the original edge convolution structure, and then the leaf length, width, and area were estimated for the external phenotypic parameters of leaves. The highest accuracy was achieved to estimate the leaf width and area, followed by that of leaf length with a relatively small error. The determination coefficient and root mean square error were better than before, indicating a relatively lower error and stronger ability of feature extraction, compared with multiple networks. Additionally, a total of 200 leaves ofwere collected in the experiment to verify the model, where the estimated values were linearly fitted to the measured. The determination coefficients and root mean square errors of leaf length, width, and area were 0.92 and 0.37 cm, 0.93 and 0.34 cm, 0.94, and 3.01 cm2, respectively. The experiment demonstrated that the model is highly effective to estimate the external phenotypic parameters of plant leaves.

models; parameters; three-dimensional; deep learning; occlusion completion;

陳玲，王浩云，肖海鴻，等. 利用FL-DGCNN模型估測綠蘿葉片外部表型參數[J]. 農業(yè)工程學報，2021，37(13)：172-179.

10.11975/j.issn.1002-6819.2021.13.020 http://www.tcsae.org

Chen Ling, Wang Haoyun, Xiao Haihong, et al. Estimation of external phenotypic parameters of Bunting leaves using FL-DGCNN model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(13): 172-179. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.13.020 http://www.tcsae.org

2020-09-20

2021-06-25

國家自然科學基金項目（31601545；61502236）

陳玲，研究方向為計算機視覺與植物表型分析。Email：2019114004@njau.edu.cn

徐煥良，博士，教授，博士生導師，研究方向為數據科學與大數據技術、計算機視覺與植物表型分析、農產品品控與可追溯。Email：huanliangxu@njau.edu.cn

10.11975/j.issn.1002-6819.2021.13.020

TP391; S126

A

1002-6819(2021)-13-0172-08