譚慶吉

(黑龍江農(nóng)墾科技職業(yè)學院，黑龍江 哈爾濱 150431)

1 研究主要內(nèi)容

基于深度學習的種植園巡檢機器人主要研究內(nèi)容如圖1所示。

圖1 本研究課題的主要研究內(nèi)容

從圖1可以看出，巡檢機器人主要研究內(nèi)容包括4個模塊：輪式移動機器人底盤設計模塊、各種傳感器模塊、各種傳感器數(shù)據(jù)處理模塊和各種數(shù)據(jù)可視化模塊。具體研究內(nèi)容如下：

(1)輪式移動機器人底盤設計。設計內(nèi)容涉及機器人行走輪子的設計與驅(qū)動、機器人行走驅(qū)動模塊設計。使用4個直流電機來設計機器人的行走機構(gòu)。輪式移動機器人底盤的驅(qū)動模塊使用基于STM32主控板來控制機器人的電機，實現(xiàn)對機器人的行走控制。

(2)傳感器模塊。傳感器模塊涉及環(huán)境數(shù)據(jù)的采集與處理，包括：測距的二維激光雷達、視頻和圖像采集模塊、遠程通信模塊和GPS定位模塊。該研究內(nèi)容的主要任務是開發(fā)輪式移動機器人上搭載的各種傳感器模塊的數(shù)據(jù)采集與傳輸軟件包，用于將傳感器采集到的數(shù)據(jù)發(fā)送給上層軟件和程序庫。

(3)機器人地圖構(gòu)建。該模塊的研究內(nèi)容是種植園區(qū)內(nèi)機器人移動地圖構(gòu)建。利用機器人平臺上搭載的激光雷達傳感器和圖像與視頻傳感器實時構(gòu)建種植園的機器人移動地圖。利用深度攝像頭采集場景的彩色圖像信息和深度信息，重構(gòu)種植園的三維空間，用于機器人路徑規(guī)劃和定位。

(4)機器人路徑規(guī)劃與定位。機器人路徑規(guī)劃與定位是基于我們已經(jīng)建立的種植園三維空間地圖，為了實現(xiàn)某一目標而對機器人在種植園的行走進行路徑規(guī)劃，而這一任務離不開機器人的實時精確定位，利用卷積神經(jīng)網(wǎng)絡框架從深度圖像數(shù)據(jù)中提取環(huán)境的特征信息，用于機器人定位。在機器人路徑規(guī)劃中，利用強化學習框架來實現(xiàn)機器人在種植園內(nèi)有目的地移動，進而完成預定的任務。

(5)機器人避障。探測器人行走過程中，如何設計避開前面障礙物。擬利用裝載在機器人平臺上的激光雷達傳感器探測機器人行走前方是否有障礙物，如果有障礙物，設計機器人避開障礙物的行走路線。

(6)植物生長監(jiān)測。利用植物生長傳感器監(jiān)測種植園內(nèi)植物的生長狀態(tài)，包括植物的高度、植物的水分、花的開放情況、土壤參數(shù)、植物的病蟲害情況。

(7)數(shù)據(jù)傳輸。將機器人上搭載的傳感器感知數(shù)據(jù)通過無線發(fā)送模塊發(fā)送到服務器或者上位機。該模塊涉及可靠數(shù)據(jù)傳輸與接收，視頻和圖像等大量數(shù)據(jù)傳輸，實時機器人控制數(shù)據(jù)傳輸。

(8)數(shù)據(jù)可視化。將機器人傳感器采集的數(shù)據(jù)在服務器或者上位機上以圖形化方式顯示出來。該研究內(nèi)容涉及種植園地圖構(gòu)建與顯示、種植園三維模型建立、種植園路徑規(guī)劃顯示等。

2 解決的技術(shù)難點和問題

2.1 機器人傳感器實時數(shù)據(jù)采集與傳輸問題

機器人平臺上搭載的傳感器數(shù)據(jù)是用來實時檢測種植園內(nèi)各種參數(shù)，并將采集到的數(shù)據(jù)實時傳輸?shù)街付ǖ纳衔粰C或者服務器。由于機器人平臺上搭載了多個傳感器，比如激光雷達、超聲波傳感器、紅外傳感器、語音采集模塊、圖像和視頻采集模塊、電機編碼器等。由于機器人平臺的限制，不可能在機器人平臺上安裝處理能力強大的CPU模塊，因此，如何在計算資源有限的條件下實現(xiàn)上面所有傳感器的實時數(shù)據(jù)采集和傳輸就是一個關(guān)鍵的問題。因為，機器人在行走過程中，傳感器模塊需要實時采集機器人周邊的環(huán)境信息，用于導航與避障。由于機器人計算能力的限制，通常情況各種傳感器數(shù)據(jù)采集與傳輸?shù)难舆t，從而使得機器人的決策滯后，這將導致機器人行走決策的錯誤，將無法實現(xiàn)正確的路徑規(guī)劃和定位。因此，該項目的1個關(guān)鍵問題是設計1套高效的機器人傳感器數(shù)據(jù)實時采集與傳輸策略，為種植園三維地圖構(gòu)建和機器人定位提供可靠的環(huán)境數(shù)據(jù)。

2.2 種植園三維地圖構(gòu)建問題

種植園三維地圖是機器人在園內(nèi)行走的基礎。該問題的核心是利用機器人平臺上搭載的激光雷達傳感器和深度攝像頭實時建立種植園的三維地圖，在三維地圖中標注種植園內(nèi)植物的顏色和三維幾何信息，用于機器人的空間定位。在種植園三維地圖構(gòu)建過程中，需要解決的問題是：不同空間坐標系的轉(zhuǎn)換、空間三維點云數(shù)據(jù)濾波、地圖可視化。

2.3 機器人路徑規(guī)劃和精確定位問題

由于在種植園內(nèi)無法使用GPS定位系統(tǒng)，因此，種植園內(nèi)的機器人無法使用GPS系統(tǒng)實現(xiàn)汽車定位和路徑規(guī)劃。種植園內(nèi)的機器人只能基于已經(jīng)建立的三維空間地圖，實現(xiàn)園內(nèi)機器人路徑規(guī)劃并利用圖像匹配的方法實現(xiàn)機器人精確定位。

3 創(chuàng)新點

(1)融合激光雷達采集的點云數(shù)據(jù)和深度攝像頭采集實現(xiàn)實時構(gòu)造種植園的三維空間地圖；

(2)利用深度卷積神經(jīng)網(wǎng)絡和強化學習框架實現(xiàn)機器人在種植園內(nèi)的行走路徑規(guī)劃和精確定位；

(3)針對種植園的特定環(huán)境，設計種植園智能監(jiān)測移動機器人用于實現(xiàn)種植園無人或者遠程檢測。

4 結(jié)論

結(jié)合深度學習框架和強化學習理論，研究并設計種植園巡檢機器人系統(tǒng)。通過在巡檢機器人上安裝多種環(huán)境信息采集傳感器來獲取機器人所在的種植園的環(huán)境信息，機器人利用傳感器所獲得的環(huán)境信息，實現(xiàn)機器人自身的巡檢路徑規(guī)劃，機器人同時能有效避開行徑前方的障礙物。同時，巡檢機器人能夠利用傳感器模塊采集種植園內(nèi)植物的生長參數(shù)，機器人采集的生長參數(shù)信息通過物聯(lián)網(wǎng)平臺遠程發(fā)送到云服務器。