［摘 要］ 針對智慧農(nóng)業(yè)類專業(yè)缺乏地面自主作物表型巡檢教學(xué)設(shè)備，基于機(jī)器人操作系統(tǒng)（ROS）設(shè)計(jì)了一款以輪式底盤為載體的小型自走式作物表型巡檢機(jī)器人實(shí)驗(yàn)平臺(tái)。該平臺(tái)搭載了深度相機(jī)、RGB相機(jī)和多光譜相機(jī)等表型監(jiān)測模塊，激光雷達(dá)、深度相機(jī)、RTK定位設(shè)備、IMU傳感器等輔助駕駛模塊，具備通用性、綜合性和開放性等特點(diǎn)。通過基礎(chǔ)實(shí)驗(yàn)和創(chuàng)新實(shí)驗(yàn)的教學(xué)應(yīng)用，能夠培養(yǎng)學(xué)生的動(dòng)手實(shí)踐能力、系統(tǒng)綜合設(shè)計(jì)能力及創(chuàng)新思維、科研思維。該平臺(tái)的開發(fā)和應(yīng)用不但促進(jìn)了學(xué)生實(shí)踐技能的培養(yǎng)，而且在智慧農(nóng)業(yè)技術(shù)示范推廣中取得了較好效果。

［關(guān)鍵詞］ 作物表型巡檢機(jī)器人；機(jī)器人操作系統(tǒng)；實(shí)驗(yàn)教學(xué)平臺(tái)；實(shí)踐教學(xué)

［基金項(xiàng)目］ 2023年度中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助“作物表型巡檢機(jī)器人實(shí)驗(yàn)教學(xué)平臺(tái)的構(gòu)建”（SYS2023001）；2024年度教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目“數(shù)字孿生與人工智能技術(shù)在智慧農(nóng)業(yè)專業(yè)建設(shè)中的應(yīng)用”（231104822160457）；2024年度教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目“基于數(shù)字孿生與人工智能技術(shù)的‘信息農(nóng)業(yè)技術(shù)’課程改造研究”（231104822154512）

［作者簡介］ 邱小雷（1982—），男，河南焦作人，碩士，南京農(nóng)業(yè)大學(xué)農(nóng)學(xué)院高級(jí)實(shí)驗(yàn)師，主要從事智慧農(nóng)業(yè)技術(shù)、實(shí)驗(yàn)實(shí)踐教學(xué)研究；張小虎（1986—），男，江蘇揚(yáng)州人，博士，南京農(nóng)業(yè)大學(xué)農(nóng)學(xué)院副教授（通信作者），主要從事農(nóng)業(yè)大數(shù)據(jù)研究。

［中圖分類號(hào)］ TP391；G642.0 ［文獻(xiàn)標(biāo)識(shí)碼］ A ［文章編號(hào)］ 1674-9324（2024）39-0021-04 ［收稿日期］ 2024-01-12

作物表型是作物基因與環(huán)境相互作用產(chǎn)生的部分或全部可辨識(shí)的物理、生理和生化特征及性狀［1］，包括作物的形態(tài)結(jié)構(gòu)、營養(yǎng)組分、生長特征、病蟲害脅迫和生產(chǎn)力等類型。作物表型信息是揭示作物生長發(fā)育規(guī)律及其與環(huán)境關(guān)系的重要依據(jù)，是智慧育種、智慧農(nóng)作的前提和基礎(chǔ)?！疤炜盏鼐W(wǎng)”立體化的作物表型信息監(jiān)測技術(shù)近年來取得了突破性進(jìn)展［2］。掌握相關(guān)技術(shù)是智慧農(nóng)業(yè)類專業(yè)不同層次學(xué)生必備的技能。

目前，衛(wèi)星遙感、無人機(jī)、物聯(lián)網(wǎng)等監(jiān)測平臺(tái)和實(shí)驗(yàn)教學(xué)資源相對成熟，而將數(shù)字儀器、傳感器集成到地面機(jī)器人的高通量表型采集設(shè)備，由于技術(shù)較新、發(fā)展較快，針對性的配套實(shí)驗(yàn)和資源尚薄弱。為此，本文設(shè)計(jì)了一款以輪式底盤為載體的小型自走式作物表型巡檢機(jī)器人實(shí)驗(yàn)平臺(tái)，其具有豐富的傳感器和自主作業(yè)等優(yōu)點(diǎn)，續(xù)航時(shí)間較長，具有良好的穩(wěn)定性，易于控制，易于擴(kuò)展，且價(jià)格便宜，是理想的作物表型信息采集工具和教學(xué)實(shí)驗(yàn)平臺(tái)。

一、實(shí)驗(yàn)平臺(tái)軟硬件設(shè)計(jì)

（一）機(jī)器人硬件系統(tǒng)設(shè)計(jì)

作物表型巡檢機(jī)器人的硬件系統(tǒng)是實(shí)驗(yàn)平臺(tái)的基礎(chǔ)，如圖1所示主要有四部分，分別為機(jī)器人本體系統(tǒng)、輔助駕駛模塊、表型監(jiān)測模塊、網(wǎng)絡(luò)通信模塊。

1.機(jī)器人本體系統(tǒng)。機(jī)器人本體系統(tǒng)包括機(jī)器人底盤、傳感器搭載結(jié)構(gòu)和上位機(jī)。機(jī)器人底盤選擇了四輪差速移動(dòng)平臺(tái)，搭載以ARM? Cortex?-M4為內(nèi)核的高性能微控制器STM32F4，底盤能實(shí)現(xiàn)原地轉(zhuǎn)向。最大行駛速度為1.48 m/s，最大載重為100 kg，最大續(xù)航為5 h。傳感器搭載結(jié)構(gòu)使用STM32F1控制板，結(jié)構(gòu)分為直線驅(qū)動(dòng)機(jī)構(gòu)和旋轉(zhuǎn)驅(qū)動(dòng)機(jī)構(gòu)，直線驅(qū)動(dòng)機(jī)構(gòu)選用滾珠絲杠導(dǎo)軌實(shí)現(xiàn)表型監(jiān)測模塊在垂直方向（Z軸）的自由升降，最高可升至1.4 m；選用同步帶導(dǎo)軌實(shí)現(xiàn)表型監(jiān)測模塊水平方向（Y軸）的自由伸縮，最大可伸長2 m。上位機(jī)使用安裝Ubuntu系統(tǒng)和ROS機(jī)器人操作系統(tǒng)的工控機(jī)，作為ROS主節(jié)點(diǎn)負(fù)責(zé)管理調(diào)度網(wǎng)絡(luò)中節(jié)點(diǎn)與節(jié)點(diǎn)之間的通信，同時(shí)用于配置網(wǎng)絡(luò)中的全局參數(shù)和保存采集數(shù)據(jù)。

2.輔助駕駛模塊。輔助駕駛模塊包括激光雷達(dá)、深度相機(jī)、RTK定位設(shè)備和IMU傳感器等，用于輔助機(jī)器人運(yùn)動(dòng)狀態(tài)調(diào)整和行駛導(dǎo)航。選用杉川3i-T1單線激光雷達(dá)和樂視LeTMC-520深度相機(jī)組合實(shí)現(xiàn)機(jī)器人作業(yè)環(huán)境的實(shí)時(shí)感知與視覺避障，所選激光雷達(dá)探測距離為20 m，能精準(zhǔn)獲取所在空間平面點(diǎn)云信息；所選深度相機(jī)集成MT9M001和AR0330CMOS圖像傳感器，可以獲取彩色圖像、深度圖像及紅外圖像。RTK定位設(shè)備選用飛納經(jīng)緯MINI2-D定位定向接收機(jī)，支持BDS、GPS、GLONASS、QZSS系統(tǒng)RTK高精度定位。IMU使用了靈遨科技的六軸慣性測量傳感器，其整合三軸加速度計(jì)、三軸陀螺儀傳感器，能提供包括歐拉角、四元數(shù)和加速度等信息在內(nèi)的精確數(shù)據(jù)。

3.表型監(jiān)測模塊。表型監(jiān)測模塊是機(jī)器人實(shí)驗(yàn)平臺(tái)的核心，由深度相機(jī)、RGB相機(jī)和多光譜相機(jī)等傳感器組成，實(shí)現(xiàn)作物表型多源數(shù)據(jù)的采集。深度相機(jī)同為樂視LeTMC-520體感攝像頭，作為第一深度相機(jī)獲取作物冠層深度圖像。RGB相機(jī)以Sony IMX179為感光元件，最高有效像素800萬，適合多種環(huán)境拍攝。多光譜相機(jī)選用RedEdge-M，可同時(shí)獲取藍(lán)色、綠色、紅色、紅色邊緣、近紅外五個(gè)不連續(xù)的光譜圖像。表型監(jiān)測模塊裝置于傳感器搭載結(jié)構(gòu)Y軸導(dǎo)軌終端相機(jī)集成箱，理論承載最大重量設(shè)計(jì)為21.1 kg。集成箱體設(shè)置了分控板，能滿足多種類型傳感器的自主集成。還設(shè)置了一個(gè)舵機(jī)，可實(shí)現(xiàn)RGB相機(jī)多角度自由旋轉(zhuǎn)。

4.網(wǎng)絡(luò)通信模塊。工業(yè)級(jí)路由器選用漢楓4G無線路由器HF8104，支持4G、Wi-Fi、以太網(wǎng)等通信方式。路由器的主要作用：一是將上位機(jī)、激光雷達(dá)、多光譜相機(jī)、RTK定位設(shè)備組成內(nèi)部局域網(wǎng)，實(shí)現(xiàn)上位機(jī)的信息采集；二是戶外工作時(shí)為RTK定位設(shè)備提供移動(dòng)網(wǎng)絡(luò)；三是滿足服務(wù)器或PC終端與上位機(jī)通信交互，向上位機(jī)下發(fā)作業(yè)指令或?qū)⑸衔粰C(jī)中采集的信息傳輸至本地。

（二）機(jī)器人控制系統(tǒng)設(shè)計(jì)

機(jī)器人控制系統(tǒng)是機(jī)器人的大腦，是決定機(jī)器人功能和性能的主要因素。作物表型巡檢機(jī)器人控制系統(tǒng)分為上位機(jī)主控、下位機(jī)主控、傳感器搭載結(jié)構(gòu)主控三個(gè)模塊。上位機(jī)主控即工控機(jī)，是ROS機(jī)器人操作系統(tǒng)的載體，接入工業(yè)路由器，然后通過USB接口、有線網(wǎng)絡(luò)或無線網(wǎng)絡(luò)接入深度相機(jī)、RGB相機(jī)、激光雷達(dá)、RTK定位模塊、多光譜相機(jī)，通過RS232串口與下位機(jī)通信。下位機(jī)主控的核心為STM32F4運(yùn)動(dòng)控制板，主要實(shí)現(xiàn)對機(jī)器人底盤的運(yùn)動(dòng)控制，對電機(jī)及其他外設(shè)的控制，通過RS485串口與傳感器搭載結(jié)構(gòu)通信。傳感器搭載結(jié)構(gòu)主控是STM32F1控制板，實(shí)現(xiàn)對Z軸伺服電機(jī)控制升降Y軸；通過RS485與相機(jī)集成箱的中繼控制板通信，實(shí)現(xiàn)對相機(jī)集成箱Y軸方向的移動(dòng)控制，以及對RGB相機(jī)多角度旋轉(zhuǎn)的控制。

（三）人機(jī)交互系統(tǒng)設(shè)計(jì)

人機(jī)交互系統(tǒng)是人與機(jī)器之間進(jìn)行消息傳遞的媒介，常用方式包括文本指令、圖形界面、語音識(shí)別等，幫助使用者簡易、快捷地操縱機(jī)器完成各項(xiàng)作業(yè)。本文采用Python與C++混合編程形式，使用PyCharm和Qt Creator編譯器，基于ROS設(shè)計(jì)PC端作物表型巡檢機(jī)器人交互系統(tǒng)，利用ROS的話題通信機(jī)制與服務(wù)通信機(jī)制、Qt的信號(hào)與槽機(jī)制，開發(fā)設(shè)備連接、節(jié)點(diǎn)啟動(dòng)、運(yùn)動(dòng)控制、傳感器姿態(tài)控制、自主導(dǎo)航、點(diǎn)云顯示、圖像訂閱、圖像存儲(chǔ)、表型監(jiān)測等核心功能，實(shí)現(xiàn)對機(jī)器人控制與數(shù)據(jù)采集管理的一體化。

二、實(shí)驗(yàn)平臺(tái)創(chuàng)新實(shí)驗(yàn)設(shè)計(jì)

基于ROS的作物表型巡檢機(jī)器人實(shí)驗(yàn)平臺(tái)，提供了一個(gè)開放性的軟硬件實(shí)驗(yàn)環(huán)境。學(xué)生不但能夠在平臺(tái)上實(shí)踐機(jī)器人基本控制原理與方法、傳感器數(shù)據(jù)采集和作物表型參數(shù)反演，還可以自主探索創(chuàng)新實(shí)驗(yàn)，例如實(shí)踐路徑規(guī)劃與自主導(dǎo)航、作物葉綠素監(jiān)測和作物穗數(shù)識(shí)別等拓展功能。

（一）實(shí)驗(yàn)平臺(tái)基礎(chǔ)實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)1：機(jī)器人控制實(shí)驗(yàn)。機(jī)器人控制實(shí)驗(yàn)包括設(shè)備初始化、運(yùn)動(dòng)控制和傳感器姿態(tài)控制。首先將安裝人機(jī)交互系統(tǒng)的便攜式電腦作為控制終端，聯(lián)網(wǎng)到機(jī)器人工業(yè)路由器，配置分布式多機(jī)通信使其通過SSH與上位機(jī)遠(yuǎn)程連接，然后基于節(jié)點(diǎn)啟動(dòng)工具roslaunch和SSH協(xié)議，遠(yuǎn)程執(zhí)行機(jī)器人底盤和升降臂、導(dǎo)航、RGB相機(jī)、深度相機(jī)等節(jié)點(diǎn)的啟動(dòng)。運(yùn)動(dòng)控制是利用上位機(jī)ROS訂閱控制終端發(fā)布的速度、方向控制話題，然后向下位機(jī)主控STM32 F4發(fā)送指令，其對運(yùn)動(dòng)模型進(jìn)行解算，控制四個(gè)車輪電機(jī)，實(shí)現(xiàn)機(jī)器人不同速度的前進(jìn)、后退和轉(zhuǎn)向。傳感器姿態(tài)控制是通過設(shè)置Y軸、Z軸的位置，RGB相機(jī)旋轉(zhuǎn)角度、運(yùn)行速度等參數(shù)，由STM32 F1控制板控制伺服電機(jī)與舵機(jī)，實(shí)現(xiàn)表型監(jiān)測模塊的移動(dòng)和RGB相機(jī)的旋轉(zhuǎn)。

實(shí)驗(yàn)2：傳感器數(shù)據(jù)采集實(shí)驗(yàn)。傳感器數(shù)據(jù)采集實(shí)驗(yàn)是實(shí)踐作物表型巡檢機(jī)器人的激光雷達(dá)、深度相機(jī)、RGB相機(jī)等傳感器的實(shí)時(shí)監(jiān)測與信息采集功能。通過在Qt中導(dǎo)入RViz組件實(shí)現(xiàn)激光雷達(dá)點(diǎn)云數(shù)據(jù)的可視化；利用ROS的圖像傳輸包image_transport、可視化包image_view與OpenCV結(jié)合，實(shí)現(xiàn)RGB圖像與深度圖像的可視化和采集存儲(chǔ)。區(qū)別于利用ROS連接傳感器，多光譜相機(jī)RedEdge-M提供了網(wǎng)絡(luò)界面，并支持時(shí)間觸發(fā)、重復(fù)率觸發(fā)和外部觸發(fā)，可使用控制終端Wi-Fi連接多光譜相機(jī)，基于HTTP實(shí)現(xiàn)五個(gè)通道的圖像數(shù)據(jù)預(yù)覽、捕獲與存儲(chǔ)。

實(shí)驗(yàn)3：作物葉面積指數(shù)反演實(shí)驗(yàn)。利用Python腳本對保存至控制終端的多光譜傳感器數(shù)據(jù)、RGB相機(jī)數(shù)據(jù)進(jìn)行預(yù)處理、數(shù)據(jù)配準(zhǔn)，提取多光譜植被指數(shù)、可見光植被指數(shù)和紋理特征，并將提取的特征值進(jìn)一步傳入基于多傳感器融合的水稻葉面積指數(shù)監(jiān)測模型，可實(shí)現(xiàn)水稻葉面積指數(shù)的估測，展示數(shù)據(jù)級(jí)融合后的RGB圖像和各植被指數(shù)、紋理特征的分布圖（如圖2所示）。本實(shí)驗(yàn)以水稻葉面積指數(shù)監(jiān)測模型為例，學(xué)生實(shí)驗(yàn)時(shí)，可以根據(jù)平臺(tái)提供的源碼，使用自建模型替換，嘗試不同作物葉面積指數(shù)反演。

（二）實(shí)驗(yàn)平臺(tái)創(chuàng)新實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)1：路徑規(guī)劃與自主導(dǎo)航實(shí)驗(yàn)。作物表型巡檢機(jī)器人集成了激光雷達(dá)、深度相機(jī)、RTK定位、IMU、輪子里程計(jì)等傳感器或模塊，學(xué)生可利用實(shí)驗(yàn)平臺(tái)自行完成路徑規(guī)劃與自主導(dǎo)航實(shí)驗(yàn)。例如密閉環(huán)境下的SLAM（Simultaneous Localization and Mapping）實(shí)驗(yàn)，使用gmaping包訂閱機(jī)器人深度相機(jī)信息、IMU信息和里程計(jì)信息，創(chuàng)建二維柵格地圖，然后使用move_base、amcl等包實(shí)踐路徑規(guī)劃、自動(dòng)避障和自主導(dǎo)航。再如戶外RTK循跡導(dǎo)航實(shí)驗(yàn)，首先在野外或田間人工控制機(jī)器人完成作業(yè)軌跡，將RTK、IMU與里程計(jì)的數(shù)據(jù)融合定位，獲取并保存機(jī)器人作業(yè)路徑；然后實(shí)踐機(jī)器人加載已知路徑，并完成指定路徑行走作業(yè)、局部路徑規(guī)劃避障和自主導(dǎo)航等。

實(shí)驗(yàn)2：作物葉綠素監(jiān)測實(shí)驗(yàn)。葉綠素狀況是作物營養(yǎng)脅迫、光合能力和衰老進(jìn)程的良好指示劑，實(shí)時(shí)無損監(jiān)測作物葉綠素對作物生長診斷、產(chǎn)量估算及氮素管理具有重要意義，也是智慧農(nóng)業(yè)關(guān)鍵技術(shù)和學(xué)生必備的技能。該實(shí)驗(yàn)的基礎(chǔ)是農(nóng)業(yè)遙感原理與技術(shù)，已有大量研究關(guān)于多光譜影像構(gòu)建常用植被指數(shù)、監(jiān)測作物葉綠素含量的模型和方法［3-4］。學(xué)生可基于作物表型巡檢機(jī)器人與集成的多光譜相機(jī)，參考現(xiàn)有文獻(xiàn)資料并與上述實(shí)驗(yàn)結(jié)合編寫算法代碼，實(shí)踐利用機(jī)器人自主完成田間作物葉綠素監(jiān)測工作。

實(shí)驗(yàn)3：作物穗數(shù)識(shí)別實(shí)驗(yàn)。作物穗數(shù)是產(chǎn)量構(gòu)成的重要因素，已有大量通過圖像處理技術(shù)快速準(zhǔn)確識(shí)別小麥、水稻等作物穗數(shù)的研究工作［5-6］，為作物長勢監(jiān)測和產(chǎn)量估測提供了重要依據(jù)。作物穗數(shù)識(shí)別是一個(gè)綜合性創(chuàng)新實(shí)驗(yàn)，其基礎(chǔ)工作是圖像分割，常用閾值分割法、邊界檢測法、聚類分割法、區(qū)域生長法等傳統(tǒng)方法和基于深度學(xué)習(xí)的語義分割方法，需要學(xué)生具備圖像識(shí)別、深度學(xué)習(xí)等基礎(chǔ)，然后在作物表型巡檢機(jī)器人實(shí)驗(yàn)平臺(tái)上，探索田間作物穗數(shù)自動(dòng)識(shí)別操作。

結(jié)語

本文以南京農(nóng)業(yè)大學(xué)智慧農(nóng)業(yè)專業(yè)建設(shè)為契機(jī)，面向本科和研究生不同層次人才培養(yǎng)需求，基于ROS進(jìn)行了作物表型巡檢機(jī)器人實(shí)驗(yàn)平臺(tái)開發(fā)和實(shí)驗(yàn)教學(xué)設(shè)計(jì)。學(xué)生通過基礎(chǔ)實(shí)驗(yàn)和創(chuàng)新實(shí)驗(yàn)，不僅可以夯實(shí)“程序語言設(shè)計(jì)”“農(nóng)業(yè)傳感器與智能裝備”“農(nóng)業(yè)遙感原理與技術(shù)”“農(nóng)業(yè)人工智能與機(jī)器學(xué)習(xí)”等核心課程的專業(yè)知識(shí)，而且可以幫助學(xué)生將所學(xué)知識(shí)融會(huì)貫通，實(shí)現(xiàn)自主探究學(xué)習(xí)，還可以提高學(xué)生的動(dòng)手實(shí)踐和系統(tǒng)綜合設(shè)計(jì)能力，培養(yǎng)創(chuàng)新思維和科研思維。作物表型巡檢機(jī)器人實(shí)驗(yàn)平臺(tái)的設(shè)計(jì)開發(fā)與教學(xué)應(yīng)用，除了在實(shí)踐教學(xué)中取得了滿意效果，在智慧農(nóng)業(yè)技術(shù)應(yīng)用推廣中也獲得較好的示范效應(yīng)［7］。

參考文獻(xiàn)

［1］SADRAS V， REBETZKE G， EDMEADES G. The phenotype and the components of phenotypic variance of crop traits［J］. Field crops research，2013，154：255-259.

［2］曹衛(wèi)星，程濤，朱艷，等.作物生長光譜監(jiān)測［M］.北京：科學(xué)出版社，2020：171-288.

［3］周敏姑，邵國敏，張立元，等.無人機(jī)多光譜遙感反演冬小麥SPAD值［J］.農(nóng)業(yè)工程學(xué)報(bào)，2020，36（20）：125-133.

［4］田婷，張青，徐雯.基于無人機(jī)多光譜影像的水稻冠層SPAD值預(yù)測研究［J］.中國農(nóng)學(xué)通報(bào)，2023，39（4）：149-153.

［5］JIANQING Z， JIAWEI Y， TIANJIE X ， et al. A deep learning method for oriented and small wheat spike detection （OSWSDet） in UAV images［J］.Computers and Electronics in Agriculture，2022，198：107087.

［6］張遠(yuǎn)琴，肖德琴，陳煥坤，等.基于改進(jìn)Faster R-CNN的水稻稻穗檢測方法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（8）：231-240.

［7］李晨，孫小雯.農(nóng)田管理裝上“數(shù)字”大腦［N］.中國科學(xué)報(bào)，2023-10-24.

Design and Teaching Application of Experimental Platform for Crop Phenotype Inspection Robot

QIU Xiao-lei， ZHANG Xiao-hu， LI Yan， ZHOU Dong

（College of Agriculture， Nanjing Agricultural University， Nanjing， Jiangsu 210095， China）

Abstract： This paper builds a compact self-propelled crop phenotypic inspection robot experimental platform based on the Robot Operating System （ROS） with a wheeled chassis as the carrier to address the shortage of ground-based autonomous crop phenotype inspection teaching equipment for smart agriculture majors. Phenology monitoring modules， including depth camera， RGB camera， and multispectral camera， as well as aided driving modules， including LiDAR， depth camera， RTK positioning equipment， IMU sensors， et al.， are all installed on the platform. It is characterized by versatility， comprehensiveness， and openness. It can develop students’ hands-on practical skills， system comprehensive design ability， and innovative and scientific research thinking through the teaching and use of basic experiments and creative experiments. In addition to helping students gain practical skills， the platform’s development and implementation improve how intelligent agriculture technology is demonstrated and promoted.

Key words： crop phenotype inspection robot; ROS; experimental teaching platform; pratical teaching