摘要：為提高果蔬采摘機器人動作的準(zhǔn)確性，建立一套可應(yīng)用于農(nóng)作物采摘的動作數(shù)據(jù)庫。基于視覺識別技術(shù)，結(jié)合農(nóng)業(yè)生產(chǎn)中對于果蔬采摘動作判斷的實際需求進(jìn)行分析研究，分別從硬軟件設(shè)計的角度，設(shè)計一種針對果蔬采摘動作的綜合采集系統(tǒng)。在硬件層面，重點介紹包括UPS電源、運算主機、攝像頭等各部件的需求分析及選型結(jié)果。在軟件層面，介紹軟件系統(tǒng)總體架構(gòu)并將子功能模塊化處理，此外重點介紹各功能模塊間的軟硬件交互方式。最后以蘋果的采摘動作為研究對象，設(shè)計整機測試試驗及動作識別試驗來檢驗系統(tǒng)的完備性。試驗結(jié)果表明，該動作采集系統(tǒng)對于單一采摘動作的識別具有較高的正確率，識別率達(dá)100%。

關(guān)鍵詞：果蔬采摘；動作采集；視覺識別；動作數(shù)據(jù)庫

中圖分類號：S225.92

文獻(xiàn)標(biāo)識碼：A

文章編號：20955553 （2024） 070034

07

Design and experiment of fruit and vegetable picking action collection system

Xiao Ying1， Xie Minglu2， Jing Yijia3， Tong Yifei3

（1. Beijing Polytechnic， Beijing， 100176， China; 2. Nanjing Institute of Agricultural Mechanization，

Ministry of Agriculture and Rural Affairs， Nanjing， 210014， China; 3. School of Mechanical Engineering，

Nanjing University of Science and Technology， Nanjing， 210094， China）

Abstract：

In order to improve the accuracy of action of fruit and vegetable picking robot， it is established a set of action database which can be applied to crop picking. Based on visual recognition technology， this paper analyzed and studied the actual needs of fruit and vegetable picking action judgment in agricultural production， and designed a comprehensive collection system for fruit and vegetable picking action from the perspective of hardware and software design. On the hardware level， the paper mainly introduced the demand analysis and selection results of various components including UPS power supply， computing host and camera. At the software level， it introduced the overall architecture of the software system and modularized the sub-functions. In addition， it focused on the interaction between the software and hardware among the functional modules. Finally， taking the apple picking action as the research object， the whole machine test and the action recognition test were designed to check the completeness of the system. The test results showed that the action acquisition system had a high accuracy for single picking action recognition， the recognition rate was 100%.

Keywords：

fruit and vegetable picking; action collection; visual recognition; action database

0 引言

農(nóng)機裝備中的各項技術(shù)在不斷發(fā)展，已逐漸使用智能機器人代替純?nèi)斯崿F(xiàn)農(nóng)業(yè)的現(xiàn)代化。智能采摘技術(shù)在我國自動化控制的沖擊下不斷進(jìn)行創(chuàng)新，應(yīng)用于多場景、多特征的采摘機器人越來越受到農(nóng)業(yè)精準(zhǔn)設(shè)施裝備的青睞。該智能農(nóng)機裝備，可以極大地解放勞動力，降低勞動強度，提高采摘效率，進(jìn)而節(jié)約生產(chǎn)成本［1］。相比于常規(guī)的農(nóng)機裝備對復(fù)雜果蔬采摘的適用性較差，如機械爪類采摘機器人常因為采摘動作不準(zhǔn)確而破壞果蔬品相。理想的采摘機械手需要具有一定的避障能力，避免碰傷果實。因此，如何優(yōu)化果蔬采摘機械手動作精度是設(shè)計采摘機器人的重要環(huán)節(jié)之一［2］。為了使采摘機器人能夠?qū)崿F(xiàn)自主進(jìn)行作業(yè)，往往會為機器人嵌入機器學(xué)習(xí)系統(tǒng)，然而目前還沒有針對果蔬類農(nóng)作物采摘標(biāo)準(zhǔn)動作的數(shù)據(jù)庫。綜上所述，研究基于視覺識別的果蔬類農(nóng)作物采摘動作采集系統(tǒng)，建立動作捕捉數(shù)據(jù)庫，為實現(xiàn)果蔬類農(nóng)作物的精準(zhǔn)、安全采摘，對農(nóng)業(yè)裝備的現(xiàn)代化發(fā)展有著重要的意義。

伴隨著計算機視覺識別技術(shù)的快速發(fā)展，視覺識別技術(shù)在安全防護、高級人機互動、視頻搜索分析等方面均具有重要的實用價值和研究價值［3］。在農(nóng)業(yè)生產(chǎn)中，由于農(nóng)機裝備運行場地的復(fù)雜性，所處環(huán)境光照情況的復(fù)雜性，以及單株果蔬上果實位置的不確定性，給圖像中操作者動作的識別造成了一定的困難［4］。同時在農(nóng)機裝備果蔬采摘中，所設(shè)計的視覺識別系統(tǒng)應(yīng)能夠?qū)崿F(xiàn)對采摘過程中的視頻進(jìn)行自動記錄，為果蔬采摘動作識別提供有效的圖像數(shù)據(jù)支撐，給后續(xù)的算法與裝置調(diào)試提供數(shù)據(jù)反饋。

目前的果蔬采摘機器人研究方面，日本久保田株式會社在1988年開發(fā)出一款使用吸盤和刀片采摘柑橘的收獲機器人［5］。中國農(nóng)業(yè)大學(xué)團隊開發(fā)了一款番茄采摘機器人［6］，該機器人配置了雙目視覺系統(tǒng)，并在采集端采用了夾剪一體的氣動式結(jié)構(gòu)，采摘成功率約為86%。此外，華南農(nóng)業(yè)大學(xué)葉敏［7］、陳燕［8］等在荔枝采摘機器人及末端執(zhí)行器方面做了許多研究工作。西北農(nóng)林科技大學(xué)張發(fā)年［9］、陳軍［10］等分別在獼猴桃采摘末端執(zhí)行器方面做了許多研究工作。

雖然學(xué)者們針對果蔬采摘機器人做了大量的研究和探索，但鮮有針對現(xiàn)實中工人的采摘動作進(jìn)行研究與分析。由于采摘機器人往往存在通用性較差、生產(chǎn)設(shè)計成本高的問題，大部分采摘機器人仍處在實驗室研究階段，市場上還沒有出現(xiàn)商業(yè)化的果實采摘機器人。因此，收集并分析工人采摘動作，為采摘機器人的動作學(xué)習(xí)提供數(shù)據(jù)支撐、節(jié)省設(shè)計成本具有現(xiàn)實意義。

本文結(jié)合某實業(yè)公司果蔬采摘動作采集系統(tǒng)產(chǎn)品開發(fā)的實際需求及配置要求，對系統(tǒng)進(jìn)行需求分析，從而提出系統(tǒng)的總體目標(biāo)和所要實現(xiàn)的功能。將整個采摘動作采集系統(tǒng)的總體設(shè)計劃分為兩個部分：硬件部分和軟件部分。詳細(xì)介紹系統(tǒng)硬件部分的關(guān)鍵技術(shù)，此外從功能層面闡述軟件部分的運行邏輯以及各部分的信息流向。最后根據(jù)實際需求與參數(shù)設(shè)置，以及整個動作采集系統(tǒng)的完成情況，對系統(tǒng)的實際工作情況進(jìn)行測試。

1 果蔬采摘動作采集系統(tǒng)總體設(shè)計

1.1 動作采集系統(tǒng)需求分析

現(xiàn)有的自動采摘方式一般具有5種形式：振動式、氣動式、剪切式、梳刷式以及采摘機器人［11］。前4種是通過外力搖晃或震蕩果蔬植株來實現(xiàn)采摘，這些采摘方式應(yīng)用于果蔬植株較小、果實分布于植株表層或果實堅硬的農(nóng)作物；另一種則是以機械手加機械臂的形式，對果實進(jìn)行精準(zhǔn)采摘，雖然這種機器人采摘方式效率較低，但是果實保有率較高，且一般用于人工采集后的二次檢查復(fù)采。為使采摘機器人自主進(jìn)行作業(yè)，為機器人嵌入機器學(xué)習(xí)系統(tǒng)。采用機器學(xué)習(xí)的方法可以對采摘機器人的采摘動作進(jìn)行訓(xùn)練。然而目前沒有較好地應(yīng)用在機器學(xué)習(xí)領(lǐng)域針對農(nóng)作物采摘的動作數(shù)據(jù)庫，因此建立一個具有針對性的動作數(shù)據(jù)集具有一定的現(xiàn)實意義。此外，在擁有采摘動作數(shù)據(jù)集的基礎(chǔ)上，可以實現(xiàn)驗證采摘機器人動作訓(xùn)練的效果，也可以采用多媒體技術(shù)，結(jié)合仿真軟件對動作的執(zhí)行速度和準(zhǔn)確性進(jìn)行模擬仿真［12］。通過對仿真模擬數(shù)據(jù)的分析和總結(jié)，可以對動作進(jìn)一步的訓(xùn)練和優(yōu)化，直到采摘機器人的動作滿足設(shè)計需求，如圖1所示。

基于對上述問題的分析，結(jié)合某實業(yè)公司開發(fā)果蔬采摘動作采集系統(tǒng)的實際需求，在清楚地明確了整個系統(tǒng)的注意事項（明確系統(tǒng)目標(biāo)、確定系統(tǒng)使命以及系統(tǒng)適用條件）之后，確定此次開發(fā)的果蔬采摘動作采集系統(tǒng)的主要功能如下。

1） 發(fā)送開始、結(jié)束命令。

2） 錄制實時監(jiān)控視頻和簡單糾錯指示。

3） 調(diào)取果蔬采摘歷史任務(wù)。

4） 利用人工智能技術(shù)，通過機器視覺識別操作人員肢體動作特征，進(jìn)行合規(guī)性判定和計數(shù)。

5） 智能拍攝視頻并本地保存。

1.2 系統(tǒng)架構(gòu)總體設(shè)計

本果蔬采摘動作采集訓(xùn)練系統(tǒng)的應(yīng)用場景是以落葉喬木類農(nóng)作物的采摘環(huán)境作為研究對象。操作人員在進(jìn)行人臉識別后，匹配數(shù)據(jù)庫中的個人信息數(shù)據(jù)，系統(tǒng)在確認(rèn)完成信息匹配后，發(fā)送開始指令，此時操作人員開始進(jìn)行正常采摘工作。視頻錄制攝像頭獲取實時監(jiān)控視頻數(shù)據(jù)并進(jìn)行儲存，同時將獲取到的視頻數(shù)據(jù)傳遞到軟件層，由視覺識別系統(tǒng)進(jìn)行動作識別，并與標(biāo)準(zhǔn)動作進(jìn)行比對。根據(jù)對比結(jié)果將采摘結(jié)果計數(shù)，將識別結(jié)果超出標(biāo)準(zhǔn)范圍的動作進(jìn)行記錄。最終將結(jié)果以及動作比對結(jié)果返回PC或PAD終端。整個果蔬采摘動作采集系統(tǒng)的流程如圖2所示。

2 果蔬采摘動作采集系統(tǒng)硬件設(shè)計

2.1 硬件系統(tǒng)總體架構(gòu)

通過面向果蔬采摘動作識別的智能采集系統(tǒng)的功能需求和應(yīng)用的三項技術(shù)理論即：人臉檢測、動作識別和RFID技術(shù)，可以分析出需要1臺計算機來存儲和處理數(shù)據(jù)，1臺視覺識別設(shè)備（通常使用攝像機來捕捉圖像），RFID讀寫器和電子標(biāo)簽設(shè)備，電源，聯(lián)網(wǎng)設(shè)備，人機交互設(shè)備即觸摸屏等。分析相關(guān)設(shè)備之間的連接關(guān)系，例如是否需要連接電源，是否需要連接信號線，或者是無線連接。再通過分析和參照相關(guān)文件，果蔬采摘動作采集系統(tǒng)的硬件架構(gòu)如圖3所示。

系統(tǒng)主要由UPS電源、運算主機、攝像頭、無線路由器、RFID、風(fēng)扇、音響、手持平板、觸摸屏、接口面板、急停按鈕及機殼、腳輪等配件組成。

UPS電源：為系統(tǒng)各部件提供電源，主要輸出220 V（AC）和12 V（DC）；UPS蓄電池可保證設(shè)備運行5 h以上。運算主機：使用高性能邊緣計算主機，為系統(tǒng)計算機視覺及其他設(shè)備運行提供運算服務(wù)。其中攝像頭、觸摸屏、音箱、控制面板部分接口直接與運算主機相連，負(fù)責(zé)運算、存儲和處理數(shù)據(jù)。攝像頭：計算機視覺輸入部件，使用云臺攝像頭，可以智能調(diào)整攝像頭以達(dá)到更好的拍攝效果。無線路由器：使用加密網(wǎng)絡(luò)連接內(nèi)部和外部設(shè)備。連接的內(nèi)部設(shè)備有運算主機、RFID，外部設(shè)備有手持平板。RFID：模塊內(nèi)部集成RFID讀寫器和激活天線，接口面板預(yù)留激活天線接口。風(fēng)扇：散熱風(fēng)扇，共有4組，通過溫控器控制風(fēng)扇的工作狀態(tài)。音響：發(fā)聲設(shè)備，通過觸摸屏控制音量大小，實現(xiàn)智能語音播報。手持平板：作為主要交互設(shè)備，主要實現(xiàn)系統(tǒng)和管理人員的交互控制。觸摸屏：輔助交互設(shè)備?？刂泼姘澹簲U展外接接口。急停按鈕：用于緊急情況下系統(tǒng)設(shè)備斷電。各模塊之間分為強電連接和弱電連接，強電又有220 V和12 V的，同時還有無線連接的設(shè)備，主要是通過平板電腦對整個果蔬采摘動作識別系統(tǒng)的無線操控。

2.2 硬件系統(tǒng)集成

運算主機是視覺識別處理運算的核心，其他設(shè)備作為輸入輸出設(shè)備與運算主機進(jìn)行交互。同時運算主機承載系統(tǒng)軟件交互服務(wù)，并能夠儲存數(shù)據(jù)、音視頻和文檔資料。運算處理主機搭載了4個USB3.1Gen2口，可以擴展WiFi、4G、GPS等模塊，同時提高了系統(tǒng)和周邊配備的傳輸速度，可適用于各種天氣和環(huán)境的情況。該運算主機配備有128 G高速固態(tài)硬盤+1 TB機械硬盤，以及8 GB內(nèi)存，數(shù)據(jù)傳輸速率可達(dá)到32 Gb/s。全鋁機箱散熱更高效，且具備一定的抗震能力，從而使得穩(wěn)定性強以及計算機的壽命更長?？紤]到該運算主機的工作環(huán)境包括室內(nèi)及室外，甚至較為極端的環(huán)境，將主機的工作溫度控制在-20 ℃～60 ℃，在主機中搭配液冷風(fēng)扇散熱。由于該主機的主要工作在于視頻數(shù)據(jù)的處理，為保證圖像處理的效果，GPU需配備1660Ti及以上設(shè)備。主機DP、DVI、HDMI接口一應(yīng)俱全，可以多顯示器同時輸出。

對于攝像頭工作環(huán)境、具體形狀尺寸等選型判斷遵照硬件部分集成的具體情況。

攝像機的具體參數(shù)規(guī)格如下。

1） 帶二軸云臺，可通過程序控制轉(zhuǎn)向，云臺控制使用PELCO_D協(xié)議。

2） 物理像素200萬及以上，無畸變。

3） 工作溫度范圍-20 ℃～60 ℃。

4） 可自動調(diào)焦（3～12 mm），支持3倍，最高不超過10倍變倍，可在2.5 m位置完整拍攝1 m×0.5 m區(qū)域。

5） 視頻使用USB傳輸。

6） 暗光下圖像噪點少，信噪比大于52 dB。具有較好的抗震防老化能力，搬運不會導(dǎo)致攝像頭轉(zhuǎn)動。

7） 在室外環(huán)境下使用，在陰天、晴天等情況下可自動調(diào)整曝光度。

8） 尺寸不大于140 mm×140 mm×200 mm。

綜上所述，最終應(yīng)用于實際的攝像機選擇海康威視200萬2.5寸網(wǎng)絡(luò)高清miniPTZ攝像球機，該攝像頭可以滿足上述對于攝像機的選型要求，并且經(jīng)過對比選優(yōu)，在相同價位下其使用壽命、材質(zhì)、售后服務(wù)等在與品牌的攝像頭的對比中占優(yōu)勢。

本系統(tǒng)將硬件部分包括運算處理主機、攝像頭、RFID讀寫器、路由器、接口面板、USP電源、風(fēng)扇、音響和顯示屏都被集成在1臺機器內(nèi)部，其中處理主機的CPU為i5八代四核處理器，內(nèi)存8 G，GTX1060Ti獨顯；路由器的無線傳輸速率為1 200 Mbps，無線網(wǎng)絡(luò)的支持頻率是2.4 G和5 G，有內(nèi)置天線；網(wǎng)絡(luò)攝像頭帶二軸云臺（水平和垂直兩個方向）；RFID讀寫器的應(yīng)用編程接口為RS-232或TCP/IP，支持EPC global UHF Class 1 Gen 2/ISO 18000-6C/ISO 18000-6B；UPS電源為鋰電池（12 V，150 AH），交流輸出是220 V，正弦波（包含12 V，3 A以上DC輸出5個接口；220 V AC輸出1個接口，電池內(nèi)置保護板以及傳感器模塊實時顯示電池電量，提供接口供APP開發(fā)）。

從內(nèi)部硬件集成方式及數(shù)據(jù)流轉(zhuǎn)的設(shè)計分析，主要的部分是攝像頭、音響以及接口面板與運算主機之間通過信號線連接，再通過運算主機與路由器之間的網(wǎng)線連接構(gòu)建起局域網(wǎng)，從而使各個設(shè)備連接到同一局域網(wǎng)中從而來進(jìn)行數(shù)據(jù)的傳輸；利用USP電源為各部件提供電源，通過電源線向運算主機、音響、風(fēng)扇輸出220 V交流電壓，以及向觸摸屏、無線路由器、攝像頭、RFID輸出12 V直流電壓，保證各設(shè)備可運行5 h以上；觸摸屏、顯示屏和運算主機之間通過高清晰多媒體接口線（HDMI線）連接，以此保證較高質(zhì)量的視頻信號傳送。系統(tǒng)硬件集成框圖及數(shù)據(jù)流轉(zhuǎn)情況如圖4所示。

3 果蔬采摘動作采集系統(tǒng)軟件設(shè)計

3.1 軟件系統(tǒng)結(jié)構(gòu)

果蔬采摘動作采集系統(tǒng)對軟件部分的設(shè)計采用模塊化的思想［13］，根據(jù)具體的需求分析，將各模塊劃分為并行結(jié)構(gòu)，選擇適用于農(nóng)作物采摘的動作識別功能模塊、人臉識別功能模塊、錄像功能模塊、Wi-Fi功能模塊、RFID讀寫功能模塊、數(shù)據(jù)庫模塊以及語音播報功能模塊等，系統(tǒng)的結(jié)構(gòu)如圖5所示。

在進(jìn)行采摘的準(zhǔn)備階段，首先需要確定操作人員與電子標(biāo)簽的關(guān)系，將操作人員的人像信息與電子標(biāo)簽上的編號一一對應(yīng)。因此需要提前采集電子標(biāo)簽的編號信息和操作人員的基本信息，采集完成后存入數(shù)據(jù)庫系統(tǒng)中，用于測試前的身份對比識別。

本系統(tǒng)對讀取標(biāo)簽的要求較低，只需要能在相應(yīng)位置正確讀寫到即可，因此讀寫器的參數(shù)設(shè)置以及讀寫器每次讀寫時間的控制等方面無須進(jìn)行太過復(fù)雜的配置。

3.2 系統(tǒng)軟硬件交互

基于系統(tǒng)使用方便和能夠快捷啟動等方面的因素來考慮，系統(tǒng)啟動后，人們能夠根據(jù)顯示的信息來快速了解和掌握本系統(tǒng)的運行情況，從而更加方便地控制和操作，為此果蔬采摘動作采集系統(tǒng)的人機交互界面的屏幕顯示應(yīng)具備：WIFI設(shè)置相關(guān)功能；攝像頭連接、角度、焦距調(diào)整；電源相關(guān)設(shè)置；電池電量顯示；機器人內(nèi)部設(shè)備運行、連接情況檢測顯示；動作識別、人臉識別運行情況檢測等。

3.3 軟件各模塊設(shè)計

3.3.1 動作識別模塊設(shè)計

在對實際采集到的視頻數(shù)據(jù)進(jìn)行分析可以得出，對于骨架的提取需要從時間維度和空間維度兩個層面進(jìn)行考慮［14］?？臻g維度為采集到的視頻數(shù)據(jù)中某一幀內(nèi)的顯示出的骨架圖，顯示其空間分布；而在時間維度則是將相鄰關(guān)鍵幀的圖像中代表相同關(guān)節(jié)的點在時間層面連接起來，考慮其時間變化。考慮到這兩種維度，為提高識別精度，則需要參考細(xì)化與卷積的思路：首先是經(jīng)過剝離，在保持原來的形狀的基礎(chǔ)上去掉部分點，直到得到圖像的骨架；其次如果是需要考慮動態(tài)的二值化圖像輪廓，則需確定以某一個關(guān)節(jié)點作為卷積中心；之后選取需要在空間維度上參與卷積的關(guān)節(jié)結(jié)點，即在坐標(biāo)系中能夠組成一條邊的相鄰的點；接著選取相鄰關(guān)鍵幀中一副骨架內(nèi)相同的關(guān)節(jié)節(jié)點，作為時間維度上參與卷積的點；最后確定卷積中心并對參與卷積的點分別從兩個維度上進(jìn)行卷積，采集最終的結(jié)果。

通過獲取需要的某兩個關(guān)節(jié)點的坐標(biāo)，計算出響應(yīng)的距離，如式（1）所示，可以直接使用這些距離特征來識別某些簡單姿態(tài)，如抬手等。

dx，y，z=（xi－xj）2+（yi－yj）+（zi－zj）

（1）

式中：

x、y、z——

對應(yīng)關(guān)節(jié)點的空間具體位置。

通過繼續(xù)處理這些距離特征，根據(jù)多點之間的距離計算角度特征，使用余弦定理求出各關(guān)節(jié)點兩兩連線后的夾角，進(jìn)一步識別動作細(xì)節(jié)。

分析視頻文件中的關(guān)鍵幀的基礎(chǔ)上，首先在圖像信息中提取出關(guān)節(jié)節(jié)點的二維坐標(biāo)，以此構(gòu)建骨架在二維坐標(biāo)中的向量，之后利用骨架提取算法來提取出骨架序列。由于在時間維度的骨架序列信息存在冗余，因此在對圖像進(jìn)行視覺識別處理之前，對于視頻信息的關(guān)鍵幀提取就顯得尤為重要。

綜上所述，在本次果蔬采摘動作采集系統(tǒng)的開發(fā)項目中，對于視頻信息在按照規(guī)則提取出關(guān)鍵幀的基礎(chǔ)上，為實現(xiàn)最終的動作識別，具體操作步驟如下。

1） 剔除背景信息，保留人體輪廓。

2） 找到二值化的圖像輪廓。

3）" 找到最大的人體輪廓。

4） 將最大的人體輪廓的凸包提取出來，并據(jù)此找到骨骼和關(guān)節(jié)的相對位置。

5） 定位關(guān)鍵點，包括骨骼與關(guān)節(jié)的相對位置，標(biāo)記出骨骼線和關(guān)節(jié)點。

6） 把提取的特征點和動作特征字典中的進(jìn)行比對，然后判斷該訓(xùn)練動作的完成度。特征字典主要包括以下幾個方面：人體中心點、骨骼長度、骨骼數(shù)目、關(guān)節(jié)的坐標(biāo)點、關(guān)節(jié)的個數(shù)以及標(biāo)準(zhǔn)動作下骨骼之間的角度。

在分析記錄具體動作時，以采摘過程中常出現(xiàn)的下蹲動作為例，主要需要檢測腿部有彎曲，且檢測hipleft、knee、ankle三關(guān)節(jié)點之間的夾角關(guān)系和距離關(guān)系，夾角小于160°，距離兩邊之和大于第三邊的1.2倍，證明識別到的動作屬于下蹲動作。

3.3.2 錄像功能模塊設(shè)計

將隨機附帶的電源適配器插入電源插座，攝像機一端與電源連接，另一端通過交換機與路由器相連接，并開始自檢，待攝像機完全啟動之后，電源指示燈顯示攝像機部署就緒。

設(shè)備自檢完成后，將攝像機和電腦配置在同一個局域網(wǎng)，即在電腦的IE瀏覽器上輸入網(wǎng)絡(luò)攝像機的IP地址，從而訪問攝像機操作界面，在該操作界面上對錄像各部分功能模塊進(jìn)行設(shè)置與調(diào)試。

當(dāng)要選擇播放已經(jīng)錄制好的視頻文件時，則需設(shè)計一個錄像回放子模塊，在該子模塊中，單擊“回放”按鈕，隨后打開“選擇視頻文件”的對話框，即將要播放的視頻確定好后，單擊“確定”按鈕，便可在該子模塊中觀看該視頻。能夠?qū)崿F(xiàn)錄像回放功能的子模塊需要用到了Windows Media Player控件。

錄像回放子模塊具體實現(xiàn)步驟如下。

1） 新建一個命名為Video Playback.cs的Windows窗體，目的在于實現(xiàn)回放已經(jīng)完成錄制的視頻文件的功能。

2） 通過設(shè)置“回放”按鈕，來實現(xiàn)對于該功能的控制。對要打開的文件格式以及存儲的默認(rèn)路徑進(jìn)行設(shè)置后，打開“選擇視頻文件”對話框，選擇需要回放的視頻文件，將這個視頻文件發(fā)送給Windows Media Player 1控件的統(tǒng)一定位資源上，指出文件位置以及需要對該視頻文件進(jìn)行的操作。

3） 選擇“關(guān)閉”程序，當(dāng)回放視頻播放完畢后，通過調(diào)用Close方法對當(dāng)前窗口進(jìn)行“關(guān)閉”的操作。

3.3.3 數(shù)據(jù)庫模塊設(shè)計

數(shù)據(jù)庫作為本系統(tǒng)軟件中不可缺少的一部分，在采摘動作采集系統(tǒng)中，操作人員的所有信息即人員姓名、操作項目、編號等個人資料以及采摘都需要用數(shù)據(jù)庫進(jìn)行管理并輸入輸出［15］。

本系統(tǒng)采用的是SQL Server數(shù)據(jù)庫來存儲采摘結(jié)果以及操作人員的信息。具體過程為：創(chuàng)建名字為db_IMP.mdb的數(shù)據(jù)庫，數(shù)據(jù)庫中包含操作人員表、采摘項目表和采摘結(jié)果表，共3個數(shù)據(jù)表。每張數(shù)據(jù)表的字段以及注釋如下。

1） 操作人員表。操作人員表主要用來記錄操作人員的個人信息，包含個人編號、個人姓名、性別、身高、體重、采摘項目名稱。

2） 采摘項目表。采摘項目表主要用來記錄項目的相關(guān)信息，包含采摘項目名稱和項目編號。

3） 采摘結(jié)果表。采摘結(jié)果表主要用來記錄操作人員在結(jié)束后的結(jié)果相關(guān)信息，包含個人編號、采摘項目名稱、采摘數(shù)量、損壞數(shù)量以及完成操作時間。

這三個實體之間的關(guān)系如圖6所示。

4 動作采集系統(tǒng)測試

4.1 整機性能測試

為測試采摘動作采集系統(tǒng)整機工作的穩(wěn)定性，通過模擬不同的工作環(huán)境，綜合考察系統(tǒng)的散熱性、穩(wěn)定性、防水性和靈活性［16］。

在散熱性方面，將機器設(shè)置在陽光充足的戶外或溫度較低的冷庫，開機放置4 h后檢測系統(tǒng)的運行情況，以此來模擬夏季與冬季的戶外工作情況。試驗結(jié)果表明，機身上通風(fēng)口的合理設(shè)計以及在主機上搭配的用于散熱的液冷風(fēng)扇保證了在長時間不同戶外工作環(huán)境下整機的正常工作。

在穩(wěn)定性方面，試驗采用將處于開機狀態(tài)的機器分別推著在室內(nèi)、平坦的水泥路、坎坷不平的土路以及草地上快速行走30 min，隨后檢查機器的各項性能。滾輪及機器內(nèi)部底層裝有彈簧減震器，同時各部分的接線選擇高性能連接器，保證連接線的密封性以及優(yōu)秀的機械性能與電氣性能。因此，在該項測試所有的測試結(jié)果中，液晶顯示屏、路由器、讀寫器等電子元件均正常運行，且各部分安裝的相對位置未發(fā)生改變。底部萬向輪可以進(jìn)行鎖緊，保證在機身需要時，即使地面不平整，機身也可以實現(xiàn)靜止。

在防水性方面，在機身外殼連接處使用雙層橡膠密封件，對機身外殼各個螺絲孔進(jìn)行密封處理，同時在液晶顯示屏上采用防水膜。測試在戶外小雨的情況下，機器仍能正常運行，但是中到大雨會導(dǎo)致機器內(nèi)部積水，影響機器正常運行，因此因盡量避免下雨的情況下在戶外使用該設(shè)備。

在靈活性方面，機身底部搭載有4個滾輪，處于機身前部的2個減震萬向輪，處于機身后部的是2個減震定向輪，同時在內(nèi)部部件集成上將質(zhì)量較大的部件布置在底部，使得整個設(shè)備重心靠下。因此，在機器前進(jìn)的過程中，機器能夠平穩(wěn)移動并且前部的減震萬向輪保證機器移動的靈活性。

4.2 采摘動作識別試驗

為研究采摘動作識別采集成功率，針對該動作采集系統(tǒng)的核心功能設(shè)計試驗。研究在進(jìn)行蘋果采摘時，拉、扭、拉+扭的動作對果實采摘情況，每個動作試驗樣本為100個不同姿態(tài)，并選擇枝條強度相近的果實植株［17］，試驗過程中盡量保持動作速度與時間一致。并記錄各種動作下果實的完整程度，以此作為判定采摘動作效果的依據(jù)。

本次試驗中，定義“拉動作”為握住果實，沿著手臂方向拉動速度為120 mm/s，動作時間為0.5 s；定義“扭動作”為握住果實，以手腕為軸轉(zhuǎn)動果實，扭動速度為90°/s，扭轉(zhuǎn)時間為1 s；定義“拉+扭動作”為握住果實，以120 mm/s的速度拉動30 mm，同時以手腕為軸轉(zhuǎn)動果實，扭動速度為90°/s，扭轉(zhuǎn)時間為1 s。試驗結(jié)果如表1所示。

由表1可以看出，本動作采集系統(tǒng)對于單一采摘動作具有較強的識別成功率，對于單一的“拉”或“扭”的采摘動作均有100%的識別成功率；對復(fù)合動作的識別判定能力還有待改進(jìn)，對“拉+扭”的復(fù)合采摘動作的識別成功率僅為73%；完整的采摘結(jié)果包括無損的果實及果梗，“拉”的動作能保證果實不易損壞，但是卻容易使得果梗斷裂，采摘完整率為40%；“扭”的采摘動作會有9%的果實損壞率，整體采摘完整率為62%；通過試驗可知，“拉+扭”的復(fù)合采摘動作在果實的采集中較為可靠，果實完整率達(dá)79%，能較好地保存果實及果梗。

5 結(jié)論

1） 本文以視覺識別技術(shù)為核心，對視覺識別技術(shù)以及相關(guān)算法原理進(jìn)行探討，同時結(jié)合系統(tǒng)工程的方法，從硬件與軟件兩個層面，設(shè)計出可應(yīng)用于識別人工果蔬采摘活動的動作采集系統(tǒng)。

2） 在設(shè)計試驗階段，以蘋果的采摘動作為研究對象，設(shè)計整機測試及動作識別試驗來檢驗系統(tǒng)的完備性，試驗結(jié)果表明該套動作采集系統(tǒng)對于單一采摘動作的識別具有較高的正確率，可以達(dá)到100%的識別成功率。但本果蔬采摘動作采集系統(tǒng)對于復(fù)雜采摘動作的識別效果欠佳，僅為73%，識別能力仍有一定的改進(jìn)提升空間。

3） 識別結(jié)果顯示，在果實采摘時，采用“拉”的動作能保證果實不易損壞，但是卻容易使得果梗斷裂，采摘完整率為40%；采用“扭”的采摘動作會有9%的果實損壞率，整體采摘完整率為62%；“拉+扭”的復(fù)合采摘動作在果實的采集中較為可靠，果實完整率達(dá)79%，能較好地保存果實及果梗。

參 考 文 獻(xiàn)

［1］王麗麗， 郭艷玲， 王迪， 等. 果蔬采摘機器人研究綜述［J］. 林業(yè)機械與木工設(shè)備， 2009， 37（1）： 10-11， 14.

Wang Lili， Guo Yanling， Wang Di， et al. Overview of study on fruit and vegetable picking robots ［J］. Forestry Machinery and Woodworking Equipment， 2009， 37（1）： 10-11， 14.

［2］劉凡， 楊光友， 楊康. 農(nóng)業(yè)采摘機器人柔性機械手研究［J］. 中國農(nóng)機化學(xué)報， 2019， 40（3）： 173-178.

Liu Fan， Yang Guangyou， Yang Kang. Research on flexible manipulator for agricultural picking robot ［J］. Journal of Chinese Agricultural Mechanization， 2019， 40（3）： 173-178.

［3］許傳威， 陳韓， 陶翔翔， 等. 基于視覺識別的智能跟隨系統(tǒng)的設(shè)計和實現(xiàn)［J］. 電腦知識與技術(shù)， 2019， 15（27）： 204-207.

［4］徐雪峰， 黃余. 基于機器視覺的機器人智能采摘實驗平臺開發(fā)［J］. 中國農(nóng)機化學(xué)報， 2019， 40（12）： 177-183.

Xu Xuefeng， Huang Yu. Development of robotic intelligent picking experiment platform based on machine vision ［J］. Journal of Chinese Agricultural Mechanization， 2019， 40（12）： 177-183.

［5］近藤直， 田充司， 野口伸. 農(nóng)業(yè)機器人.II， 機構(gòu)與實例［M］. 北京： 中國農(nóng)業(yè)大學(xué)出版社， 2009.

［6］劉繼展. 溫室采摘機器人技術(shù)研究進(jìn)展分析［J］. 農(nóng)業(yè)機械學(xué)報， 2017， 48（12）： 1-18.

Liu Jizhan. Research progress analysis of robotic harvesting technologies in greenhouse ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（12）： 1-18.

［7］葉敏， 鄒湘軍， 羅陸鋒， 等. 荔枝采摘機器人雙目視覺的動態(tài)定位誤差分析［J］. 農(nóng)業(yè)工程學(xué)報， 2016， 32（5）： 50-56.

Ye Min， Zou Xiangjun， Luo Lufeng， et al. Error analysis of dynamic localization tests based on binocular stereo vision on litchi harvesting manipulator ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（5）： 50-56.

［8］陳燕， 蔣志林， 李嘉威， 等. 夾剪一體的荔枝采摘末端執(zhí)行器設(shè)計與性能試驗［J］. 農(nóng)業(yè)機械學(xué)報， 2018， 49（1）： 35-41.

Chen Yan， Jiang Zhilin， Li Jiawei， et al. Design and testing of litchi picking end-effector integrated clamping and cutting performance ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018，49（1）： 35-41.

［9］張發(fā)年. 獼猴桃無損采摘末端執(zhí)行器的設(shè)計與研究［D］. 咸陽： 西北農(nóng)林科技大學(xué)， 2014.

Zhang Fanian. Research and design on the nondestructive end-effector of kiwifruit harvesting robot ［D］. Xianyang： Northwest A amp; F University， 2014.

［10］陳軍， 王虎， 蔣浩然， 等. 獼猴桃采摘機器人末端執(zhí)行器設(shè)計［J］. 農(nóng)業(yè)機械學(xué)報， 2012， 43（10）： 151-154， 199.

Chen Jun， Wang Hu， Jiang Haoran， et al. Design of end-effector for kiwifruit harvesting robot ［J］. Transactions of the Chinese Society for Agricultural Machinery，2012， 43（10）： 151-154， 199.

［11］高文碩， 宋衛(wèi)東， 王教領(lǐng)， 等. 果蔬菌采摘機械研究綜述［J］. 中國農(nóng)機化學(xué)報， 2020， 41（10）： 9-15.

Gao Wenshuo， Song Weidong， Wang Jiaoling， et al. Review on fruit， vegetable and fungus picking machinery ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（10）： 9-15.

［12］王貞. 面向維修操作的手部動作捕捉及其運動控制仿真研究［D］. 長沙： 國防科技大學(xué)， 2023.

Wang Zhen. Research on hand motion capture and motion control simulation for maintenance operations ［D］. Changsha： National University of Defense Technology， 2023.

［13］趙冠楠. 工業(yè)機器人機械本體模塊化設(shè)計及其部分軟件的開發(fā)［D］. 秦皇島： 燕山大學(xué)， 2019.

Zhao Guannan. Modular design of industrial robot mechanical body and development of partial software ［D］. Qinghuangdao： Yanshan University， 2019.

［14］刁智華， 吳貝貝， 毋媛媛， 等. 基于圖像處理的骨架提取算法的應(yīng)用研究［J］. 計算機科學(xué)， 2016， 43（S1）： 232-235.

Diao Zhihua， Wu Beibei， Wu Yuanyuan， et al. Application research of skeleton extraction algorithm based on image processing ［J］. Computer Science， 2016， 43（S1）： 232-235.

［15］唐良暉. 基于Android的智能終端通信勘察設(shè)計系統(tǒng)數(shù)據(jù)庫模塊的設(shè)計與實現(xiàn)［D］. 北京： 北京郵電大學(xué)， 2018.

Tang Lianghui. Design and implementation of the database module of intelligent terminal communication survey system based on Android ［D］. Beijing： Beijing University of Posts and Telecommunications， 2018.

［16］陳勃琛， 郭廣廓， 董成舉， 等. 工業(yè)機器人性能測試技術(shù)發(fā)展綜述［J］. 自動化與信息工程， 2022， 43（1）： 20-24， 48.

Chen Bochen， Guo Guangkuo， Dong Chengju， et al. Review of the progress in the performance test of industrial robots ［J］. Automation amp; Information Engineering， 2022， 43（1）： 20-24， 48.

［17］姬偉， 李俊樂， 楊俊， 等. 機器手采摘蘋果抓取損傷機理有限元分析及驗證［J］. 農(nóng)業(yè)工程學(xué)報， 2015， 31（5）： 17-22.

Ji Wei， Li Junle， Yang Jun， et al. Analysis and validation for mechanical damage of apple by gripper in harvesting robot based on finite element method ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2015， 31（5）： 17-22.