王越 康凱 武曦

(山西農(nóng)業(yè)大學(xué)果樹(shù)研究所，山西 太原 030031)

近年來(lái)隨著設(shè)施農(nóng)業(yè)、精準(zhǔn)農(nóng)業(yè)和高新技術(shù)的發(fā)展，各類果樹(shù)種植范圍不斷擴(kuò)大，特別是土地流轉(zhuǎn)加速了果業(yè)生產(chǎn)規(guī)模化、集約化，果園人均管理面積大幅增加，導(dǎo)致了在短暫的果品采收期內(nèi)面臨時(shí)間緊、雇工難、良品率難以保證等問(wèn)題。

目前國(guó)內(nèi)果品采摘作業(yè)基本上都是人工完成，采摘是生產(chǎn)鏈中最耗時(shí)、最費(fèi)力的環(huán)節(jié)之一。隨著果業(yè)的快速發(fā)展和種植面積迅速增長(zhǎng)，所需勞動(dòng)力也越來(lái)越大，投入的人工成本也指數(shù)級(jí)增長(zhǎng)。研究并裝備果品采摘機(jī)器人，實(shí)現(xiàn)果品采摘機(jī)械化、自動(dòng)化和智能化，降低人工成本，是果業(yè)發(fā)展中亟待解決的重要問(wèn)題之一。

將5G通信技術(shù)和人工智能技術(shù)結(jié)合應(yīng)用于果品采摘機(jī)器人。果品采摘機(jī)器人平臺(tái)由基于SOM K-Means算法的果實(shí)串識(shí)別與定位、基于改進(jìn)型YOLO的復(fù)雜環(huán)境下果實(shí)串快速檢測(cè)、基于剪夾一體式無(wú)損傷果實(shí)串采摘末端執(zhí)行器和采摘機(jī)器人控制中心平臺(tái)4大模塊組成。每個(gè)模塊都采用最新技術(shù)及算法，并進(jìn)行大量數(shù)據(jù)的驗(yàn)證測(cè)試及現(xiàn)場(chǎng)環(huán)境測(cè)試，在不降低工作效率的前提下，實(shí)現(xiàn)采摘機(jī)器人在復(fù)雜環(huán)境下對(duì)輸入數(shù)據(jù)流(現(xiàn)場(chǎng)采集的果實(shí)、枝蔓等圖像)的快速響應(yīng)、處理、反饋、果實(shí)智能識(shí)別、實(shí)時(shí)精確定位及智能化高效采摘，如圖1所示。

圖1 基于5G與人工智能的果品采摘機(jī)器人構(gòu)架設(shè)計(jì)

1 基于SOM K-Means算法的果實(shí)識(shí)別與定位

以SOM神經(jīng)網(wǎng)絡(luò)為代表的機(jī)器學(xué)習(xí)領(lǐng)域快速發(fā)展，已廣泛應(yīng)用于語(yǔ)音識(shí)別和圖像識(shí)別等各個(gè)領(lǐng)域?；赟OM神經(jīng)網(wǎng)絡(luò)本身訓(xùn)練的預(yù)測(cè)準(zhǔn)確率置信區(qū)間，提出了一種使用K-Means加速和壓縮SOM神經(jīng)網(wǎng)絡(luò)的方法。通過(guò)將卷積過(guò)程中的輸入特征圖采用K-Means壓縮來(lái)減少計(jì)算量；通過(guò)將全連接層的權(quán)重壓縮來(lái)減少存儲(chǔ)量。所提方法對(duì)AlexNet網(wǎng)絡(luò)單個(gè)卷積層的計(jì)算量能降低2個(gè)數(shù)量級(jí)，加入合適的K-Means層，整個(gè)網(wǎng)絡(luò)的處理時(shí)間加速比能達(dá)到2.077，對(duì)網(wǎng)絡(luò)壓縮率達(dá)到8.7%。

針對(duì)部分樹(shù)種(山楂、核桃等)多個(gè)果實(shí)重疊時(shí)難以識(shí)別與定位的問(wèn)題，采用一種基于RGB-D圖像和K-Means優(yōu)化的自組織映射(Self Organization Map，SOM)神經(jīng)網(wǎng)絡(luò)相結(jié)合的果實(shí)串識(shí)別與定位算法。利用RGB-D攝相機(jī)拍攝果實(shí)串圖像，對(duì)圖像進(jìn)行預(yù)處理，獲取果實(shí)串的輪廓信息；提取果品串輪廓點(diǎn)的平面和深度信息，篩選后進(jìn)行處理；將處理后的數(shù)據(jù)輸入到采用K-Means算法優(yōu)化的SOM神經(jīng)網(wǎng)絡(luò)中，得到點(diǎn)云聚類結(jié)果；根據(jù)聚類點(diǎn)，通過(guò)坐標(biāo)轉(zhuǎn)換得到世界坐標(biāo)信息，擬合得到各個(gè)果實(shí)串的位置和輪廓形狀。具體流程如圖2所示。

圖2 果實(shí)串識(shí)別與定位流程

采摘機(jī)器人對(duì)果實(shí)精準(zhǔn)定位非常重要，但是受圖像采集像素和采集光線等因素影響，故會(huì)帶一些線性定位誤差。在每次采摘圖像區(qū)域里設(shè)置2個(gè)標(biāo)準(zhǔn)參考點(diǎn)，通過(guò)平臺(tái)和算法對(duì)果實(shí)串識(shí)別與定位時(shí)，同時(shí)做一次標(biāo)準(zhǔn)參考點(diǎn)識(shí)別與定位，得出一個(gè)識(shí)別與定位基準(zhǔn)誤差，把該識(shí)別與定位基準(zhǔn)誤差補(bǔ)償?shù)綄?duì)果實(shí)串識(shí)別與定位里面去，從而實(shí)現(xiàn)對(duì)果實(shí)串識(shí)別與定位差分補(bǔ)償修正。

2 基于改進(jìn)型YOLO的復(fù)雜環(huán)境下果實(shí)串成熟度快速檢測(cè)

YOLO算法主要通過(guò)3步實(shí)現(xiàn)，將輸入圖像歸一化；卷積網(wǎng)絡(luò)特征提取，預(yù)測(cè)邊界框置信度；通過(guò)非極大值抑制算法過(guò)濾邊界框，得到最優(yōu)結(jié)果。利用YOLO算法對(duì)圖像中的目標(biāo)進(jìn)行特征提取分類識(shí)別，實(shí)現(xiàn)圖像特征提取和分類識(shí)別的自動(dòng)化，摒棄了傳統(tǒng)圖像識(shí)別過(guò)程中依靠手工標(biāo)注圖像特征的方法，其網(wǎng)絡(luò)結(jié)構(gòu)是在GoogleNet模型之上建立的。

為實(shí)現(xiàn)采摘機(jī)器人對(duì)果實(shí)串成熟度的快速、精確識(shí)別，采用一種改進(jìn)型多尺度YOLO算法(IMS-YOLO)。對(duì)YOLO網(wǎng)絡(luò)模型進(jìn)行篩選和改進(jìn),設(shè)計(jì)一種含有殘差模塊的Darknet-53主干網(wǎng)絡(luò)，同時(shí)融合多尺度檢測(cè)模塊，構(gòu)建一種復(fù)雜環(huán)境下果實(shí)串快速識(shí)別網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型層數(shù)較少，但能夠提取更多特征信息，且采用多尺度檢測(cè)結(jié)構(gòu)，同時(shí)返回果實(shí)串的類別和預(yù)測(cè)框，以此提升果實(shí)串成熟度檢測(cè)速度和精度。

IMS-YOLO模型檢測(cè)精度高、速度快，可兼顧精度和實(shí)時(shí)性要求，在溫室復(fù)雜環(huán)境下可以滿足采摘機(jī)器人識(shí)別果實(shí)串成熟度的要求。IMS-YOLO檢測(cè)模型如圖3、圖4所示。

圖3 果實(shí)串快速檢測(cè)流程

圖4 IMS-YOLO模型

采摘機(jī)器人的果實(shí)成熟識(shí)別度和前面說(shuō)的果品識(shí)別與定位一樣，都面臨采收環(huán)境因素的影響，也會(huì)產(chǎn)生稍許線性定位誤差。在每次采摘圖像區(qū)域里設(shè)置一個(gè)標(biāo)準(zhǔn)參考點(diǎn)，通過(guò)平臺(tái)和算法對(duì)果實(shí)成熟度識(shí)別，同時(shí)做一次標(biāo)準(zhǔn)參考點(diǎn)成熟度監(jiān)測(cè)，得出一個(gè)標(biāo)準(zhǔn)參考值，把標(biāo)準(zhǔn)參考值作為果實(shí)成熟度參考值，從而實(shí)現(xiàn)對(duì)成熟度識(shí)別進(jìn)行補(bǔ)償修正。

3 基于剪夾一體式無(wú)損傷果實(shí)串采摘末端執(zhí)行器

部分樹(shù)種果品成簇生長(zhǎng)，人工采摘時(shí)先用手指夾持并固定串果母枝，然后剪切母枝并將串果取下。根據(jù)其采摘方式，并針對(duì)果實(shí)串低損、高效的機(jī)械化采摘，設(shè)計(jì)提出剪夾一體式結(jié)構(gòu)的果品采摘末端執(zhí)行器，并設(shè)計(jì)具有單動(dòng)力源驅(qū)動(dòng)、抗遮擋干擾能力和對(duì)果實(shí)串無(wú)損傷的剪夾一體式果品采摘末端執(zhí)行器。采摘時(shí)對(duì)果母枝采用剪切方式，夾持手可穩(wěn)定夾持果實(shí)串母枝，避免因旋轉(zhuǎn)切割造成果實(shí)及其周邊枝、葉受損。該末端執(zhí)行器由剪枝模塊、夾持模塊、動(dòng)力輸出模塊、機(jī)械臂連接組件4部分組成，如圖5所示。

圖5 末端執(zhí)行器整體結(jié)構(gòu)

設(shè)計(jì)的末端執(zhí)行器具有良好的夾持和負(fù)載能力，負(fù)載重量為100～800g，果實(shí)串母枝直徑為3～10mm。采摘時(shí)能快速剪切母枝并穩(wěn)定夾持果實(shí)，理想剪夾時(shí)間為3s，采摘成功率為80%～90%。

4 采摘機(jī)器人控制中心平臺(tái)

開(kāi)發(fā)采摘機(jī)器人控制中心平臺(tái)，功能包括作業(yè)類型(如采摘、打老葉、噴藥等)，啟停，遠(yuǎn)程控制，行走方向(前進(jìn)、后退、轉(zhuǎn)彎)，部件監(jiān)測(cè)與報(bào)警(如電池電量)，光照度檢測(cè)，工作強(qiáng)度(如作業(yè)時(shí)間、采摘重量等)，統(tǒng)計(jì)報(bào)表等。

5 結(jié)論

在我國(guó)農(nóng)業(yè)自動(dòng)化裝備需求空間巨大，農(nóng)業(yè)機(jī)器人使用密度還處于極低水平。裝配基于5G與人工智能技術(shù)的果品采摘機(jī)器人，必將強(qiáng)有力地推動(dòng)果業(yè)的現(xiàn)代化與智能化，在改善生產(chǎn)條件、提高種植戶收入、降低生產(chǎn)成本、增強(qiáng)綜合生產(chǎn)能力等方面有重要意義。