王敏娟，劉小丫，馬嘯霄，常天根，宋青峰※

基于堆疊沙漏網(wǎng)絡(luò)的單分蘗水稻植株骨架提取

王敏娟1，劉小丫1，馬嘯霄1，常天根2，宋青峰2※

（1. 中國農(nóng)業(yè)大學(xué)現(xiàn)代精細農(nóng)業(yè)系統(tǒng)集成研究教育部重點實驗室，北京，100083；2. 中國科學(xué)院分子植物科學(xué)卓越創(chuàng)新中心，植物分子遺傳國家重點實驗室，上海 200032）

針對水稻栽培和遺傳育種研究中單分蘗性狀高通量無損提取的實際需求，該研究提出了一種基于沙漏網(wǎng)絡(luò)模型的單分蘗水稻關(guān)鍵點預(yù)測和骨架提取方法。首先，對原始圖像進行批量裁剪、gamma校正和銳化卷積等預(yù)處理，獲取單色背景下的水稻單分蘗圖像數(shù)據(jù)集；設(shè)計水稻單分蘗各器官關(guān)鍵點數(shù)據(jù)標(biāo)注策略，構(gòu)建監(jiān)督數(shù)據(jù)集。然后，構(gòu)建堆疊沙漏網(wǎng)絡(luò)架構(gòu)實現(xiàn)葉片數(shù)固定和不固定的水稻關(guān)鍵點檢測，引入沙漏結(jié)構(gòu)整合圖像的多尺度特征，結(jié)合中間監(jiān)督機制整合不同沙漏模塊信息。葉片數(shù)一致的情況，模型預(yù)測準(zhǔn)確率最高可達96.48%；葉片數(shù)不一致的情況，預(yù)測準(zhǔn)確率達到82.09%。最后，根據(jù)預(yù)測關(guān)鍵點及其對應(yīng)的語義信息連接形成植株骨架，選取莖稈長、葉片長、穗長、葉片-莖稈夾角和莖節(jié)點位置5個表型參數(shù)對生成骨架模型的實際意義進行評估，其均方根誤差依次為5.82 cm、3.09 cm、1.71 cm、3.22°和2.035 6 cm，證明了該方法能較好地識別水稻單分蘗關(guān)鍵點，為水稻骨架提取提供了一種新思路，有助于加快水稻育種速度。

水稻；神經(jīng)網(wǎng)絡(luò)；表型參數(shù)；關(guān)鍵點檢測；堆疊沙漏網(wǎng)絡(luò)；植株骨架提取

0 引 言

中國是世界上最大的水稻生產(chǎn)國和消費國，水稻在糧食安全中占據(jù)非常重要的地位。水稻分蘗表型特征如莖長、葉片數(shù)、穗長、葉片長度和彎曲狀況等可直接反映水稻的生長狀況，其表型性狀與產(chǎn)量密切相關(guān)[1-3]。因此水稻分蘗性狀研究對水稻育種研究具有十分重要的意義。傳統(tǒng)水稻分蘗表型通常采用人工有損測量，過程繁瑣、主觀性強，已不能滿足當(dāng)前水稻育種的需求。因此構(gòu)建一種高精度無損的水稻分蘗性狀提取方法是水稻育種發(fā)展急需解決的一個問題。

近年來，計算機視覺和神經(jīng)網(wǎng)絡(luò)方法已被廣泛應(yīng)用于作物的快速無損表型測量。熊雄等[4-8]利用深度學(xué)習(xí)識別算法和實例分割算法完成水稻表型參數(shù)提取。李緒孟等[9]開發(fā)了一種水稻單分孽圖像采集裝置及水稻葉脈曲線和葉角提取方法。吳迪等[10-11]提出了一種基于X射線斷層成像的小麥分蘗形態(tài)學(xué)特征提取方法，實現(xiàn)對小麥分蘗形態(tài)學(xué)特征參數(shù)（分蘗數(shù)、分蘗角度、分蘗莖粗和分蘗壁厚）的無損檢測。Das等[12-13]將骨架提取算法運用于植物表型研究中，監(jiān)測植物的生長狀況。Bashyam等[14-15]采用二維數(shù)字圖像處理技術(shù)和算法提取玉米組成成分的拓撲關(guān)系，實現(xiàn)莖葉分割和自動視覺葉期生長跟蹤。勞彩蓮等[16-19]采用基于植物三維點云數(shù)據(jù)、聚類和插值計算等算法的植物骨架提取。植物骨架能反映其拓撲結(jié)構(gòu)和形態(tài)特征，已廣泛應(yīng)用于作物建模等領(lǐng)域。然而，目前的作物骨架提取方法大多基于傳統(tǒng)的數(shù)字圖像分析方法或機器學(xué)習(xí)算法，存在耗時、準(zhǔn)確率偏低等問題，我們將構(gòu)建通過關(guān)鍵點檢測來提取作物骨架的深度學(xué)習(xí)模型，探索更加準(zhǔn)確、快速和魯棒性更優(yōu)的水稻關(guān)鍵點檢測和骨架提取方法。

由于人體姿態(tài)估計和植物骨架提取任務(wù)具有一定相似性，本研究將借鑒人體姿態(tài)估計模型實現(xiàn)水稻植株的骨架提取。Toshev等[20]首先將深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）應(yīng)用于人體關(guān)鍵點的坐標(biāo)回歸。Tompson等[21]通過并行計算多個分辨率的圖像生成熱圖，從而捕獲圖像的多尺度特征。Newell等[22]提出堆疊沙漏網(wǎng)絡(luò)模型，引入沙漏結(jié)構(gòu)以實現(xiàn)圖像特征的多尺度融合，類似沙漏結(jié)構(gòu)的編碼-解碼結(jié)構(gòu)網(wǎng)絡(luò)已應(yīng)用于植物的實例分割[19,23-24]等任務(wù)，結(jié)果表明沙漏結(jié)構(gòu)具有較好的泛化性能，可以較好地提取水稻植株的特征。

綜上所述，本文針對水稻個體形態(tài)結(jié)構(gòu)不統(tǒng)一和關(guān)鍵點語義信息不明確的問題，以單分蘗水稻植株RGB圖像為研究對象，借鑒人體姿態(tài)估計領(lǐng)域的堆疊沙漏網(wǎng)絡(luò)模型，改進堆疊的沙漏結(jié)構(gòu)和中間監(jiān)督機制，實現(xiàn)單分蘗水稻植株多尺度特征融合，識別單分蘗水稻不同組成部分（莖、葉、穗）的關(guān)鍵點，進一步結(jié)合關(guān)鍵點語義信息獲取水稻植株骨架，并根據(jù)相關(guān)文獻[12,25-26]選擇相關(guān)表型參數(shù)作為評估指標(biāo)，驗證水稻植株骨架生成模型的準(zhǔn)確性和可行性。

1 材料與方法

1.1 圖像采集與預(yù)處理

水稻圖像采集地點為中科院分子植物科學(xué)卓越中心松江試驗基地（121°8′E，30°56′N），試驗水稻為以Y58S品種為母本、以遠恢2號品種為父本的重組自交系群體，共272個株系，每個株系采集3或4株水稻的主分蘗拍攝單分蘗圖像，共采集抽穗期1 080張RGB圖像，大小為6 000 ×4 000 （像素）。根據(jù)圖像數(shù)據(jù)采集批次，將數(shù)據(jù)集劃分為3部分，分別為數(shù)據(jù)集1（99個株系）、數(shù)據(jù)集 2（83個株系）和數(shù)據(jù)集3（90個株系）。3部分?jǐn)?shù)據(jù)集的像素點和實際尺寸的比例系數(shù)分別為35.185、34.043、32.131 像素/cm。黑色背景板長度為150 cm。如圖1所示，對數(shù)據(jù)集水稻葉片數(shù)量統(tǒng)計，其中葉片數(shù)3至7的圖像占比99.4%，基本涵蓋水稻抽穗期單分蘗葉片情況。

注：數(shù)據(jù)集1～3表示3個數(shù)據(jù)采集批次。

Note: Datasets 1-3 represent data obtained batches.

圖1 水稻葉片樣本數(shù)分布

Fig.1 Distribution of rice leaf samples

圖像采集和預(yù)處理流程如圖2所示。采用Python對圖像數(shù)據(jù)進行裁剪，水稻植株四周各保留20像素，獲得大小不同多張單色背景下的水稻圖像。分別采用gamma校正和Laplacian高通濾波算子[27]對模糊和較暗的圖像進一步處理，其中分別在gamma值為0.7，算子為3×3矩陣算子（式（1））情況下取得了較好效果。

1.2 數(shù)據(jù)集構(gòu)建

由于不同模型所需標(biāo)注數(shù)據(jù)格式存在差異，首先對水稻圖像進行點標(biāo)注并生成初始標(biāo)注文件，再按照模型所需的數(shù)據(jù)格式制作標(biāo)注數(shù)據(jù)集，最后生成的標(biāo)注數(shù)據(jù)集中，每張圖像信息以結(jié)構(gòu)體形式表示。初始標(biāo)注數(shù)據(jù)集、結(jié)構(gòu)體中關(guān)鍵點坐標(biāo)“joint_self”和尺度參數(shù)“scale_provided”和關(guān)鍵點的選取規(guī)則詳述如下。

1.2.1 初始標(biāo)注數(shù)據(jù)集

通過MATLAB對圖像進行人工標(biāo)注，包括存儲圖像名稱、標(biāo)注關(guān)鍵點坐標(biāo)及其語義信息，獲得初始的標(biāo)注數(shù)據(jù)集文件，并存儲所有水稻圖像的標(biāo)注點數(shù)據(jù)。其中關(guān)鍵點語義包含3種：莖稈S、葉片L和穗P，若圖像中有多個葉片，以L-1、L-2數(shù)字標(biāo)號區(qū)分。

1.2.2 關(guān)鍵點標(biāo)注信息“joint_self”

“joint_self”存儲植株骨架中各個關(guān)鍵點的標(biāo)注信息，其中包含一個莖、一個穗和多個葉片的坐標(biāo)信息，其標(biāo)注類及具體含義如表1所示。

表1 “joint_self”標(biāo)注信息含義

其中，葉片數(shù)編號按照從莖根到頂端順序依次設(shè)定，葉關(guān)鍵點、莖關(guān)鍵點和穗關(guān)鍵點依次從根部到尖部順序排列。如圖3所示，當(dāng)葉片數(shù)為5且每個葉片、莖、穗上的關(guān)鍵點個數(shù)為2時，“joint_self”有14個標(biāo)注類，其中10個用于標(biāo)注葉片的位置，2個用于標(biāo)注穗的位置，2個用于標(biāo)注莖的位置。

1.2.3 “scale_provided”的獲取

為了保證模型輸入圖像大小一致，本文根據(jù)“相對大小”的概念，用原始圖像長、寬中的較大值除以模型的標(biāo)準(zhǔn)輸入大小得到尺度參數(shù)；模型根據(jù)這個尺度參數(shù)和圖像中心坐標(biāo)“objpos”兩個標(biāo)注信息，將圖像還原成大小統(tǒng)一的正方形，進而對關(guān)鍵點坐標(biāo)進行正確學(xué)習(xí)。尺度參數(shù)計算公式為

注：葉片數(shù)為5，葉片、莖、穗關(guān)鍵點個數(shù)均為2。

Note: Leaves number is 5, key-points number of leaves, stems and ears are all 2, respectively.

圖3 關(guān)鍵點標(biāo)注示意圖

Fig.3 Schematic diagram of key-point labeling

1.2.4 關(guān)鍵點的選取規(guī)則

初始標(biāo)注數(shù)據(jù)集中，每張圖像莖、葉、穗手工標(biāo)注的關(guān)鍵點個數(shù)是隨機且不確定的。為了能讓模型規(guī)范地學(xué)習(xí)，基于“關(guān)鍵點分布均勻、首尾關(guān)鍵點優(yōu)先”原則，采用如圖4所示的關(guān)鍵點選擇策略，增加或刪除關(guān)鍵點從而獲得一致的莖、葉、穗關(guān)鍵點個數(shù)。2個關(guān)鍵點時，選取首尾關(guān)鍵點；3個和5個關(guān)鍵點時，原始關(guān)鍵點個數(shù)的取值范圍是[2,7]，枚舉所有可能出現(xiàn)的情況。

1.3 關(guān)鍵點概率分布圖生成

采用滿足二維高斯分布的關(guān)鍵點概率分布作為目標(biāo)函數(shù)取代對目標(biāo)關(guān)鍵點橫縱坐標(biāo)的直接回歸，使模型具有更好的空間泛化能力[22]，以下簡稱關(guān)鍵點概率分布圖為“heatmap”。在實際的關(guān)鍵點預(yù)測過程中，將水稻圖像送入堆疊沙漏網(wǎng)絡(luò)后生成特征圖，預(yù)測特征圖每個像素為關(guān)鍵點的概率，從而獲得對應(yīng)的預(yù)測heatmap。圖 5所示為一張水稻植株圖像及其各關(guān)鍵點的heatmap。

1.4 基于堆疊沙漏網(wǎng)絡(luò)的水稻關(guān)鍵點預(yù)測模型

堆疊沙漏網(wǎng)絡(luò)[22]（Stacked Hourglass Network，SHN）以多分辨率圖像生成的heatmap為基礎(chǔ)，利用不同分辨率圖像整合跨尺度信息，從而較好地利用多尺度特征實現(xiàn)關(guān)鍵點的定位。

1.4.1 單個沙漏結(jié)構(gòu)

沙漏結(jié)構(gòu)能有效整合圖像的多尺度特征，從而在不同的尺度上捕獲水稻植株骨架信息。單個沙漏結(jié)構(gòu)通過多次卷積和最大池化操作生成不同尺度的特征圖，結(jié)合貫穿整個模型的殘差模塊緩解網(wǎng)絡(luò)復(fù)雜及深度較深造成的梯度消失問題，最后通過多次最鄰近上采樣將不同層次的特征圖以加和方式組合在一起，從而整合所有不同分辨率的水稻植株骨架信息。

在單分蘗水稻植株的莖、葉、穗等部位進行關(guān)鍵點提取中，多層特征圖結(jié)構(gòu)包括不同尺度下的特征點信息可提高檢測精度，因此，采用沙漏結(jié)構(gòu)將有助于完整地理解水稻結(jié)構(gòu)，從而組合出完整的單分蘗水稻植株骨架。

1.4.2 堆疊沙漏結(jié)構(gòu)

將多個沙漏結(jié)構(gòu)級聯(lián)后形成堆疊沙漏結(jié)構(gòu)，為網(wǎng)絡(luò)提供了重復(fù)的自下而上和自上而下的推理機制，可改善模型預(yù)測結(jié)果。

單分蘗水稻各器官的關(guān)鍵點之間存在一定的聯(lián)系，單個沙漏結(jié)構(gòu)得到每個關(guān)鍵點的預(yù)測結(jié)果并輸入下一個沙漏結(jié)構(gòu)中，用于進一步學(xué)習(xí)關(guān)鍵點間的聯(lián)系。

除此之外，在多層沙漏結(jié)構(gòu)中采用中間監(jiān)督機制，每一層的預(yù)測結(jié)果都將影響損失值，從而使得網(wǎng)絡(luò)較好地整合不同層沙漏模塊的信息，達到更好的預(yù)測效果。

1.4.3 模型訓(xùn)練

模型的損失函數(shù)采用均方誤差（Mean Squared Error，MSE）評估，MSE計算公式見式（3）。

1.5 關(guān)鍵點預(yù)測模型訓(xùn)練過程

考慮到人體和水稻植株骨架結(jié)構(gòu)存在如下兩方面差異：①水稻和人體的形態(tài)結(jié)構(gòu)不同，人類具有相同的骨架結(jié)構(gòu)和關(guān)鍵點個數(shù)，水稻植株個體間骨架結(jié)構(gòu)的差異卻是普遍的。②人體各部位關(guān)鍵點具有明確的語義信息；而水稻某些關(guān)鍵點并不具有明確語義信息。本文采用由易到難的策略，先進行葉片數(shù)一致情況下的試驗，再進一步拓展葉片數(shù)不一致情況下的應(yīng)用。

1.5.1 葉片數(shù)一致情況下的關(guān)鍵點預(yù)測模型

選擇單分蘗水稻葉片數(shù)為5的圖像數(shù)據(jù)集作為試驗對象，訓(xùn)練堆疊沙漏網(wǎng)絡(luò)并分析模型在葉片數(shù)一致情況下水稻單分蘗關(guān)鍵點預(yù)測精度

1.5.2 葉片數(shù)不一致的關(guān)鍵點預(yù)測模型

為提高模型對水稻植株葉片數(shù)不一致數(shù)據(jù)集的魯棒性，選擇葉片數(shù)3～7的單分蘗水稻植株圖像作為數(shù)據(jù)集，訓(xùn)練葉片數(shù)不固定的水稻植株關(guān)鍵點預(yù)測模型。由于葉片數(shù)不固定會導(dǎo)致不同單分蘗水稻植株標(biāo)注數(shù)據(jù)中“joint_self”標(biāo)注類數(shù)目不一致，模型無法根據(jù)標(biāo)注數(shù)據(jù)確定關(guān)鍵點數(shù)目。

為了實現(xiàn)不同葉片數(shù)的水稻單分蘗植株關(guān)鍵點預(yù)測，本文默認所有水稻植株均有7個葉片和相應(yīng)關(guān)鍵點數(shù)，在實際植株小于7個葉片數(shù)時，提出了兩種關(guān)鍵點插入位置的標(biāo)注方案：

1）將新關(guān)鍵點補充在所有已知關(guān)鍵點數(shù)據(jù)的最后，即在穗“P”后補充新關(guān)鍵點。

2）將新關(guān)鍵點插入在實際末尾葉片“L”之后，即插入新關(guān)鍵點數(shù)據(jù)可看作是“隱形”葉片。

如圖6所示，兩種方案均為插入一些“隱形”數(shù)據(jù)，補全7個葉片數(shù)的所有關(guān)鍵點，本質(zhì)差異在于插入位置不同。

圖6 數(shù)據(jù)插入位置的兩種解決方案

2 單分蘗水稻植株表型參數(shù)獲取

根據(jù)第1節(jié)中制定的數(shù)據(jù)集規(guī)則和模型訓(xùn)練方案，按8∶1∶1比例劃分訓(xùn)練集、驗證集和測試集，采用由易到難的試驗策略，探索水稻植株結(jié)構(gòu)的不確定性及關(guān)鍵點語義不明確的問題，并選擇莖稈長、葉片長、穗長、葉片-莖稈夾角和葉片在莖稈上的著生位置5個表型參數(shù)對構(gòu)建的植株骨架模型進行評估。

2.1 莖稈長、葉片長、穗長

基于數(shù)據(jù)集中關(guān)鍵點的數(shù)量和位置分布，對關(guān)鍵點進行線性插值得到完整的莖稈、葉片、穗曲線，曲線長度代表其長度。對于一個有個關(guān)鍵點的特定曲線，長度計算公式見式（4）。

2.2 葉片-莖稈夾角

水稻植株的葉片-莖稈夾角定義為葉片的切線在莖節(jié)點處與莖稈的夾角，定義葉片第1、第2個關(guān)鍵點的連線所在直線為葉片在莖節(jié)點處的切線，莖稈的切線定義為莖稈上距離莖節(jié)點最近的兩個關(guān)鍵點的連線。

用1和2分別表示葉片和莖稈的切線斜率，則對應(yīng)的葉片-莖稈夾角如式（5）所示。

2.3 葉片在莖稈上的著生位置

葉片在莖稈上的著生位置定義為葉片基部端延長線與莖稈的交點，以模型預(yù)測點與實際點歐氏距離的均值作為評估指標(biāo)。對于含有個莖節(jié)點的水稻骨架，其計算公式見式（6）。

3 結(jié)果與分析

為了檢驗本文提出的基于沙漏網(wǎng)絡(luò)的單分蘗水稻植株關(guān)鍵點檢測性能，首先在葉片數(shù)為5的數(shù)據(jù)集上測試不同關(guān)鍵點數(shù)下的模型性能，并分析超參數(shù)對模型性能的影響，隨后訓(xùn)練適用于不同葉片數(shù)的模型，并計算表型參數(shù)以進一步評估模型的實際意義。

模型基于Pytorch框架進行訓(xùn)練，在6 × Intel (R) Xeon (R) CPU E5-2678 v3 @ 2.50GHz上運行，GPU為NVIDIA GeForce RTX 2080Ti。優(yōu)化器使用RMSprop，批次大小為6，迭代次數(shù)為100，初始學(xué)習(xí)率為0.000 25。

3.1 不同關(guān)鍵點數(shù)下的模型訓(xùn)練及測試

表2為單分蘗水稻植株檢測網(wǎng)絡(luò)在不同關(guān)鍵點數(shù)下的模型訓(xùn)練及測試結(jié)果。當(dāng)關(guān)鍵點數(shù)為2，3，5時，測試集上的準(zhǔn)確率分別達到96.48%，92.19%，86.34%，說明葉片數(shù)固定時該模型達到足夠的檢測準(zhǔn)確率，可為水稻植株骨架提取及獲取表型參數(shù)提供依據(jù)。

表2 不同關(guān)鍵點數(shù)的模型訓(xùn)練及測試結(jié)果

3.2 單沙漏網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)對檢測性能的影響

迭代次數(shù)在很大程度上決定了模型的檢測性能，為了分析迭代次數(shù)對單分蘗水稻植株關(guān)鍵點檢測模型性能的影響，在不同的迭代次數(shù)下對模型準(zhǔn)確率和損失進行計算。如圖7所示，關(guān)鍵點數(shù)為5、采用標(biāo)注方案2時，單沙漏網(wǎng)絡(luò)模型準(zhǔn)確率及損失變化隨著迭代次數(shù)增加而提高，當(dāng)?shù)螖?shù)大于86時，模型準(zhǔn)確率和損失趨于穩(wěn)定，此時訓(xùn)練集準(zhǔn)確率91.01%，驗證集準(zhǔn)確率86.34%。

3.3 固定葉片數(shù)的單分蘗水稻關(guān)鍵點預(yù)測

圖8為基于單沙漏網(wǎng)絡(luò)模型的水稻關(guān)鍵點熱圖預(yù)測結(jié)果。由圖8可知，單分蘗水稻關(guān)鍵點概率分布較集中。基于關(guān)鍵點概率分布圖結(jié)果，隨機從測試集中抽取樣本，結(jié)合語義信息按順序連接關(guān)鍵點，最終獲得完整單分蘗水稻植株骨架，如圖9，水稻植株骨架真實性隨關(guān)鍵點個數(shù)的增加而提高，當(dāng)關(guān)鍵點個數(shù)為5時，可模擬單分蘗水稻植株真實結(jié)構(gòu)。

注：5個關(guān)鍵點，標(biāo)注方案2

3.4 不同葉片數(shù)的水稻單分蘗關(guān)鍵點檢測

基于兩種數(shù)據(jù)標(biāo)注方案和不同關(guān)鍵點數(shù)的單分蘗水稻關(guān)鍵點檢測結(jié)果比對如表3所示。關(guān)鍵點數(shù)分別為2,3,5時，標(biāo)注方案2的測試集準(zhǔn)確率比標(biāo)注方案1高為2.52%,1.12%,1.72%，標(biāo)注方案2在不同關(guān)鍵點數(shù)訓(xùn)練任務(wù)上均展現(xiàn)更好的性能，因此，最終堆疊沙漏網(wǎng)絡(luò)模型將采用標(biāo)注方式2實現(xiàn)空白數(shù)據(jù)的插入。

圖10所示為堆疊漏網(wǎng)絡(luò)模型訓(xùn)練迭代次數(shù)對不同葉片數(shù)的單分蘗水稻關(guān)鍵點檢測準(zhǔn)確率及損失變化。當(dāng)?shù)螖?shù)超過119次時，模型準(zhǔn)確率和損失趨于穩(wěn)定，訓(xùn)練集檢測準(zhǔn)確率可達85.84%，測試集準(zhǔn)確率為82.09%。由此可見，葉片數(shù)不固定時關(guān)鍵點檢測模型的準(zhǔn)確率和損失函數(shù)波動較大，可能是由于葉片數(shù)不固定時模型較難學(xué)出規(guī)律，需要更多的迭代次數(shù)才可達到較好效果。

表3 基于兩種數(shù)據(jù)標(biāo)注方案和不同關(guān)鍵點數(shù)的水稻單分蘗關(guān)鍵點檢測比對

圖11為基于堆疊漏網(wǎng)絡(luò)模型的不同葉片數(shù)的單分蘗水稻植株骨架提取可視化結(jié)果。單分蘗植株葉片數(shù)為3，4，5，6，7時，基于關(guān)鍵點獲取的水稻骨架均能較好地模擬其真實生長結(jié)構(gòu)。

3.5 水稻表型參數(shù)預(yù)測結(jié)果及評估

基于堆疊沙漏網(wǎng)絡(luò)模型的關(guān)鍵點熱圖獲取水稻單分蘗骨架。圖12為基于堆疊沙漏網(wǎng)絡(luò)模型的單分蘗水稻骨架預(yù)測結(jié)果。表4是基于關(guān)鍵點檢測模型的骨架表型參數(shù)預(yù)測結(jié)果的實際值和預(yù)測值。

按照第2節(jié)中提出的對3～7葉片數(shù)據(jù)集劃分比例（訓(xùn)練集：驗證集：測試集為8:1:1），得到104張測試集，其中包括莖稈104個、葉片596個和穗98個，采用該數(shù)據(jù)預(yù)測關(guān)鍵點、計算表型參數(shù)，并評估模型的預(yù)測性能。

表 4 水稻單分蘗表型參數(shù)預(yù)測結(jié)果

如表5所示，莖稈長、葉片長和穗長的均方根誤差分別為5.82、3.09和1.71 cm，葉片-莖稈夾角的均方根誤差為3.22°。根據(jù)2.3節(jié)提出的評估指標(biāo)，計算模型預(yù)測輸出的關(guān)鍵點與實際關(guān)鍵點歐氏距離的均方根誤差為2.035 6 cm，與葉片的平均長度51.060 5 cm的比值為0.039 87，與平均莖稈長91.894 4 cm的比值為0.022 15，由此可見，單分蘗水稻表型參數(shù)預(yù)測均取得了較好的效果。

表5 水稻表型參數(shù)評估結(jié)果

3.6 基于堆疊沙漏網(wǎng)絡(luò)模型的單分蘗水稻植株關(guān)鍵點預(yù)測分析

結(jié)合3.3、3.4小節(jié)中的水稻單分蘗骨架預(yù)測結(jié)果分析，由于手工標(biāo)注的關(guān)鍵點數(shù)據(jù)中，葉片、莖稈和穗中部的關(guān)鍵點不具備實際的生物學(xué)意義，且人工選擇關(guān)鍵點標(biāo)注存在一定程度的隨機性，導(dǎo)致葉片中間的關(guān)鍵點預(yù)測出現(xiàn)一定的誤差，影響關(guān)鍵點預(yù)測的準(zhǔn)確率。但是，從可視化結(jié)果可以看出，中間位置的預(yù)測點相比真值存在偏移，其偏移是沿葉片方向的偏移（圖13），這種偏移雖然會影響關(guān)鍵點預(yù)測的準(zhǔn)確率，但是根據(jù)3.5節(jié)中的評估結(jié)果，模型對單分蘗水稻表型參數(shù)預(yù)測均取得了較好的效果，因此，針對水稻株型考察和育種實際應(yīng)用而言，基于水稻關(guān)鍵點的骨架預(yù)測仍然是準(zhǔn)確的。

4 結(jié) 論

本文提出了一種水稻單分蘗骨架提取的解決方案，基于堆疊沙漏網(wǎng)絡(luò)模型完成水稻單分蘗關(guān)鍵點預(yù)測，然后按特定語義信息順序連接預(yù)測的關(guān)鍵點，最終還原完整的水稻植株骨架形態(tài)結(jié)構(gòu)，主要結(jié)論如下：

1）針對葉片數(shù)固定的數(shù)據(jù)集，基于單沙漏網(wǎng)絡(luò)模型的訓(xùn)練集和驗證集關(guān)鍵點檢測準(zhǔn)確率分別可達91.01%、86.34%；針對葉片數(shù)不固定的數(shù)據(jù)集，基于堆疊漏網(wǎng)絡(luò)模型的訓(xùn)練集和驗證集關(guān)鍵點檢測準(zhǔn)確率分別為85.84%和82.09%。

2）在完成關(guān)鍵點提取的基礎(chǔ)上，將關(guān)鍵點按一定順序連接構(gòu)成植株骨架，并選擇莖稈長、葉片長、穗長、葉片-莖稈夾角和葉片在莖稈上的著生位置5種表型參數(shù)評估植株骨架提取的準(zhǔn)確性，莖稈長、葉片長、穗長、葉片-莖稈夾角的均方根誤差分別為5.82 cm，3.09 cm，1.71 cm，3.22°，葉片在莖稈上的著生位置坐標(biāo)均方根誤差與平均莖稈長的比值為0.022 15。

結(jié)果表明，本文提出的水稻植株骨架提取方案能較好地擬合單分蘗水稻株型形態(tài)結(jié)構(gòu)，能較好地識別單分蘗水稻關(guān)鍵點，為水稻骨架提取提供了一種新思路，有助于加快水稻育種。

[1] Kipp S, Mistele B, Baresel P, et al. High-throughput phenotyping paniclely plant vigour of winter wheat[J]. European Journal of Agronomy, 2014, 52(2): 271-278.

[2] Jimenez-Sierra D A, Correa E S, Benítez-Restrepo H D, et al. Novel feature-extraction methods for the estimation of above-ground biomass in rice crops[J]. Sensors, 2021, 21(13): 4369.

[3] 李楊先，張慧春，楊旸. 一種基于圖像處理技術(shù)的植物形態(tài)表型參數(shù)獲取方法[J]. 林業(yè)工程學(xué)報，2020，5(6)：128-136.

Li Yangxian, Zhang Huichun, Yang Yang. A method for obtaining plant morphological phenotypic parameters using image processing technology[J]. Journal of Forestry Engineering, 2020, 5(6): 128-136. (in Chinese with English abstract)

[4] 熊雄. 基于深度學(xué)習(xí)的大田水稻稻穗分割及無損產(chǎn)量預(yù)估研究[D]. 武漢：華中科技大學(xué)，2018.

Xiong Xiong. Research on field rice panicle segmentation and nondestructive yield prediction based on deep learning[D]. Wuhan: Huazhong University of Science & Technology, 2018. (in Chinese with English abstract)

[5] Zhu Y, Durand T, Chenin E, et al. Using a deep convolutional neural network for extracting morphological traits from herbarium images[J]. Biodiversity Information Science and Standards, 2017, 1.

[6] Wu Q, Zhou C, Wang C. Feature extraction and automatic recognition of plant leaf using artificial neural network[J]. Advances in Artificial Intelligence, 2006, 3: 5-12.

[7] 楊萬里，段凌鳳，楊萬能. 基于深度學(xué)習(xí)的水稻表型特征提取和穗質(zhì)量預(yù)測研究[J]. 華中農(nóng)業(yè)大學(xué)學(xué)報，2021，40(1)：227-235.

Yang Wanli, Duan Lingfeng, Yang Wanneng. Deep learning-based extraction of rice phenotypic characteristics and prediction of rice panicle weight[J]. Journal of Huazhong Agricultural University, 2021, 40(1): 227-235. (in Chinese with English abstract)

[8] Sachar S, Kumar A. Survey of feature extraction and classification techniques to identify plant through leaves[J]. Expert Systems with Applications, 2021, 167: 114181.

[9] 李緒孟，王小卉，肖應(yīng)輝. 水稻單蘗圖像采集裝置及形態(tài)參數(shù)提取方法：CN201510192635. 0[P]. 2015-04-22.

[10] 吳迪，楊萬能，牛智有，等. 小麥分蘗形態(tài)學(xué)特征X射線-CT無損檢測[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(14)：196-201.

Wu Di, Yang Wanneng, Niu Zhiyou, et al. Non-destructive detection of wheat tiller morphological traits based on X-ray CT technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(14): 196-201. (in Chinese with English abstract)

[11] 趙春江，陸聲鏈，郭新宇，等. 數(shù)字植物研究進展：植物形態(tài)結(jié)構(gòu)三維數(shù)字化[J]. 中國農(nóng)業(yè)科學(xué)，2015，48(17)：3415-3428. Zhao Chunjiang, Lu Shenglian, Guo Xinyu, et al. Advances in research of digital plant: 3D digitization of plant morphological structure[J]. Scientia Agricultura Sinica, 2015, 48(17): 3415-3428. (in Chinese with English abstract)

[12] Das Choudhury S, Bashyam S, Qiu Y, et al. Holistic and component plant phenotyping using temporal image sequence[J/OL]. Plant Methods, (2018-05-10)DOI: https://doi.org/10.1186/s13007-018-0303-x.

[13] Gaillard M, Miao C, Schnable J, et al. Sorghum segmentation by skeleton extraction[J/OL]. Computer Vision -- ECCV 2020 Workshops, (2020-01)DOI: 10.1007/978-3-030-65414- 6_21.

[14] Bashyam S, Das Choudhury S, Samal A, et al. Visual growth tracking for automated leaf stage monitoring based on image sequence analysis[J]. Remote Sensing, 2021, 13(5): 961-981.

[15] 張衛(wèi)正，李旭光，萬瀚文，等. 基于骨架提取和二叉樹分析的玉米植株圖像莖葉分割方法[J]. 河南農(nóng)業(yè)科學(xué)，2020，49(9)：166-172.

Zhang Weizheng, Li Xuguang, Wan Hanwen, et al. Stem and leaf segmentation of maize plant image based on skeleton extraction and binary tree analysis[J]. Journal of Henan Agricultural, Sciences, 2020, 49(9): 166-172. (in Chinese with English abstract)

[16] 勞彩蓮，楊瀚，李鵬，等. 基于消費級深度相機的玉米植株三維重建[J]. 農(nóng)業(yè)機械學(xué)報，2019，50(7)：222-228.

Lao Cailian, Yang Han, Li Peng, et al. 3D reconstruction of maize plants based on consumer depth camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(7): 222-228. (in Chinese with English abstract)

[17] 陳天放. 基于點云的植物骨架提取與建模研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2017.

Chen Tianfang. Research on Plant Skeleton Extraction and Modeling Based on Point Cloud[D]. Zhenjiang: Jiangsu University, 2017. (in Chinese with English abstract)

[18] 張玲玲. 基于散亂點云的三維植物建模研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2019.

Zhang Lingling. Research on 3D Plant Modeling Based on Scattered Point Cloud[D]. Zhenjiang: Jiangsu University, 2019. (in Chinese with English abstract)

[19] Zhou J, Fu X, Zhou S, et al. Automated segmentation of soybean plants from 3D point cloud using machine learning[J]. Computers and Electronics in Agriculture, 2019, 162: 143-153.

[20] Toshev A, Szegedy C. Deeppose: Human pose estimation via deep neural networks[C]. Proceedings of the IEEE conference on computer vision and pattern recognition, 2014.

[21] Tompson J J, Jain A, LeCun Y, et al. Joint training of a convolutional network and a graphical model for human pose estimation[C]. Advances in Neural Information Processing Systems, 2014: 1799–1807.

[22] Newell A, Yang K, Deng J. Stacked Hourglass Networks for Human Pose Estimation[C]. Springer International Publishing, 2016, 483-499.

[23] Misra T, Arora A, Marwaha S, et al. SpikeSegNet-a deep learning approach utilizing encoder-decoder network with hourglass for spike segmentation and counting in wheat plant from visual imaging[J]. Plant Methods, 2020, 16(8): 16-40

[24] Kolhar S, Jagtap J. Convolutional neural network-based encoder-decoder architectures for semantic segmentation of plants[J]. Ecological Informatics, 2021, 64: 101373.

[25] Müller-Linow M, Pinto-Espinosa F, Scharr H, et al. The leaf angle distribution of natural plant populations: assessing the canopy with a novel software tool[J]. Plant Methods, 2015, 11(1): 11-21.

[26] Li L, Zhang Q, Huang D. A review of imaging techniques for plant phenotyping[J]. Sensors, 2014, 14(11): 20078-20111.

[27] Gonzalez R C, Woods R E. 數(shù)字圖像處理（第3版）[M]. 阮秋琦, 阮宇智等譯. 北京：電子工業(yè)出版社，2017.

Skeleton extraction method of single tillers rice based on stacked hourglass network

Wang Minjuan1, Liu Xiaoya1, Ma Xiaoxiao1, Chang Tiangen2, Song Qingfeng2※

(1.,,100083,; 2.,,,200032,)

Rice has been widely planted in tropical Asia, where South China is the main rice-producing area. Rice production has accounted for about 50% of the total grain in China. The phenotype of rice can greatly contribute to clarifying the physical, physiological, and biochemical characteristics, thereby effectively promoting the rice varieties and yield. However, the morphology of a single tiller can usually be characterized by the contact destructive measurement in traditional rice cultivation, indicating a cost-consuming, labor-intensive and subjective task. In this study, a rice key point detection was proposed to rapidly extract the parameters of rice phenotype using a Stacked Hourglass Network (SHN) of computer vision. Firstly, a total of 1 080 RGB images of rice were collected. Some operations were then selected to preprocess the raw images of single tiller rice with the monochromatic background, including clipping, gamma correction, and Laplacian sharpening convolution. The data was also labeled to form the supervised dataset, according to the preset key point number of each rice component. Secondly, an SHN was adapted to detect the rice key points with the fixed and unfixed leaf number. A block of hourglass was then formed to combine the sampling, the maximum pooling, and the residual together. After that, intermediate supervision was adapted to generate the prediction from all connected hourglass blocks. As such, a multi-scale fusion was contributed to a better prediction from different scales. Two ways were also proposed to add the blank data for the unfixed leaf number. Finally, an optimal parametric combination was achieved in the experiments. The results showed that the accuracy rates reached 85.84% and 82.09% in the training and test set, respectively, when the epoch was equaled to 119 in the key point regression task with unfixed leaf numbers. The highest prediction accuracy reached 96.48% in the case of the fixed number of leaves. Correspondingly, the predicted key points of single tiller rice were connected to form a plant skeleton, according to the semantic information, indicating a better performance for the actual growth of plants. Furthermore, five parameters were selected to verify the model, including the stem length, leaf length, ear length, leaf stem angle, and stem node position. It was found that the Root Mean Square Errors (RMSE) were 5.82 cm, 3.09 cm, 1.71 cm, 3.22°, and 2.035 6 cm, respectively, indicating a better matching for the actual growth of rice. More importantly, the error of phenotypic parameters and some damage to plants were significantly reduced, compared with the previous manual measurement. The finding can also provide a new idea to efficiently extract the plant skeleton for the phenotypic parameters in rice production.

rice; neural networks; phenotypic parameters; key point detection; stacked hourglass networks; plant skeleton extraction

2021-07-17

2021-11-25

國家自然科學(xué)基金項目（31970378）；山東省自然科學(xué)基金面上項目（ZR2021MC021）

王敏娟，副教授，研究方向為植物表型組學(xué)技術(shù)。Email：minjuan@cau.edu.cn

宋青峰，副研究員，研究方向為植物表型組學(xué)與群體光合作用。Email：songqf@cemps.ac.cn

10.11975/j.issn.1002-6819.2021.24.017

S511；TP391

A

1002-6819(2021)-24-0149-09

王敏娟，劉小丫，馬嘯霄，等. 基于堆疊沙漏網(wǎng)絡(luò)的單分蘗水稻植株骨架提取[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(24)：149-157. doi：10.11975/j.issn.1002-6819.2021.24.017 http://www.tcsae.org

Wang Minjuan, Liu Xiaoya, Ma Xiaoxiao, et al. Skeleton extraction method of single tillers rice based on stacked hourglass network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(24): 149-157. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.24.017 http://www.tcsae.org