張強(qiáng)志，陳德鵬，胡佳林，魏潔鋒，王培杰，梁銳軒

（嘉應(yīng)學(xué)院 物理與電子工程學(xué)院，廣東 梅州 514015）

0 引 言

網(wǎng)球作為一種時(shí)尚的體育運(yùn)動(dòng)，深受人們的喜愛，許多網(wǎng)球愛好者將網(wǎng)球運(yùn)動(dòng)作為工作學(xué)習(xí)之余放松身心的主要方式。然而，在休閑鍛煉過程中，頻繁的人工撿球會(huì)消耗大量的體力和時(shí)間，大大降低了休閑運(yùn)動(dòng)的體驗(yàn)感。對(duì)于比賽訓(xùn)練活動(dòng)更是如此，頻繁撿球浪費(fèi)體力和時(shí)間，影響訓(xùn)練節(jié)奏?，F(xiàn)如今，隨著智能機(jī)器人的應(yīng)用領(lǐng)域不斷擴(kuò)大，人們期望智能機(jī)器人在更多領(lǐng)域?yàn)槿祟惙?wù)，代替人類完成一些復(fù)雜和繁瑣的工作，因此撿網(wǎng)球機(jī)器人應(yīng)運(yùn)而生。目前雖已有基于視覺的撿網(wǎng)球機(jī)器人的設(shè)計(jì)，但仍可以在此基礎(chǔ)上進(jìn)行相應(yīng)的創(chuàng)新和改進(jìn)，通過添加語音識(shí)別控制、手機(jī)APP控制、智能避障等功能，制作一款基于圖像識(shí)別的撿網(wǎng)球機(jī)器人，能夠?qū)崿F(xiàn)對(duì)網(wǎng)球的識(shí)別并自主抓取回收，計(jì)算前進(jìn)方向上障礙物的距離實(shí)現(xiàn)避障，還能夠通過語音控制以及WiFi遠(yuǎn)程APP控制，高效地解決撿球的問題。

1 整體設(shè)計(jì)方案

撿球機(jī)器人系統(tǒng)的設(shè)計(jì)包括硬件設(shè)計(jì)和軟件程序設(shè)計(jì)?？紤]到要實(shí)現(xiàn)網(wǎng)球識(shí)別、障礙物距離檢測、語音識(shí)別等功能，就需要保證系統(tǒng)的核心控制芯片具有優(yōu)良的運(yùn)行速度和響應(yīng)處理結(jié)果的能力。因此選用STM32F407ZGT6單片機(jī)作為系統(tǒng)控制核心，搭配HC-SR04超聲波測距模塊、LD3320A語音識(shí)別模塊、OpenMV4攝像頭模塊、ESP8266-01S WiFi無線通信模塊、L298N電機(jī)驅(qū)動(dòng)模塊、SG-90舵機(jī)以及直流電機(jī)構(gòu)成系統(tǒng)硬件電路。單片機(jī)執(zhí)行程序指令實(shí)現(xiàn)與各模塊之間的通信及控制，從而實(shí)現(xiàn)各功能和各模塊互相協(xié)調(diào)、互不干擾。系統(tǒng)框圖如圖1所示。

圖1 系統(tǒng)框圖

2 硬件設(shè)計(jì)

2.1 移動(dòng)與避障

機(jī)器人通過L298N電機(jī)驅(qū)動(dòng)模塊驅(qū)動(dòng)四個(gè)直流電機(jī)轉(zhuǎn)動(dòng)從而實(shí)現(xiàn)機(jī)器人前后左右移動(dòng)。將該模塊的IN1、IN2、IN3、IN4四個(gè)輸入端分別與單片機(jī)的I/O口連接，模塊的OUT1、OUT2、OUT3、OUT4四個(gè)輸出端分別與機(jī)器人底部的四個(gè)直流電機(jī)相接。ENA和ENB為使能端，當(dāng)ENA為高電平時(shí)，可對(duì)OUT1、OUT2進(jìn)行控制；當(dāng)ENB為高電平時(shí)，則可對(duì)OUT3、OUT4進(jìn)行控制。通過輸入一定脈寬的PWM來控制L298N驅(qū)動(dòng)模塊H橋的通斷，進(jìn)而改變驅(qū)動(dòng)模塊輸出電壓的有效值，實(shí)現(xiàn)對(duì)各個(gè)直流電機(jī)的轉(zhuǎn)速控制，使機(jī)器人可以向不同方向移動(dòng)。L298N電機(jī)驅(qū)動(dòng)模塊電路如圖2所示。

圖2 L298N電機(jī)驅(qū)動(dòng)模塊電路

超聲波測距功能的實(shí)現(xiàn)采用HC-SR04超聲波傳感測距模塊。該模塊上裝載有兩個(gè)壓電陶瓷超聲傳感器，其中一個(gè)用于發(fā)射超聲波信號(hào)，另一個(gè)則用于接收反射回來的超聲波信號(hào)。將該模塊的Trig控制端和Echo接收端與單片機(jī)的I/O口相連，便可實(shí)現(xiàn)其與單片機(jī)之間的通信。單片機(jī)通過計(jì)算發(fā)射與接收超聲波信號(hào)的時(shí)間差，進(jìn)而計(jì)算出撿網(wǎng)球機(jī)器人前進(jìn)方向障礙物的距離以實(shí)現(xiàn)避障的目的。HC-SR04超聲波測距模塊電路如圖3所示。

圖3 HC-SR04超聲波測距模塊電路

2.2 攝像頭網(wǎng)球識(shí)別

攝像頭網(wǎng)球識(shí)別采用OpenMV4攝像頭模塊進(jìn)行圖像的獲取、預(yù)處理、特征抽取和選擇及分類器設(shè)計(jì)和分類決策。OpenMV4攝像頭模塊以STM32F427單片機(jī)為核心控制處理芯片，集成了OV7725攝像頭芯片，預(yù)留SD卡卡槽，擁有一個(gè)SPI總線接口、一個(gè)異步串口、三個(gè)舵機(jī)控制接口，將單片機(jī)串口與模塊異步串口相連即可實(shí)現(xiàn)單片機(jī)與模塊之間的通信。OpenMV4攝像頭模塊電路如圖4所示。

圖4 OpenMV4攝像頭模塊電路

2.3 機(jī)械臂撿球

撿網(wǎng)球機(jī)器人的撿球裝置是由多個(gè)SG-90舵機(jī)搭配一些固件組裝成的機(jī)械臂。通過多個(gè)舵機(jī)的轉(zhuǎn)動(dòng)實(shí)現(xiàn)對(duì)網(wǎng)球的抓取與收集。舵機(jī)其實(shí)就是一種位置伺服馬達(dá)，主要由小型馬達(dá)與齒輪等構(gòu)成。單片機(jī)的引腳連接舵機(jī)的控制端并發(fā)送高低電平信號(hào)，舵機(jī)內(nèi)部通過調(diào)制芯片就會(huì)獲得一個(gè)直流偏置電壓，然后直到級(jí)聯(lián)減速齒輪帶動(dòng)電位器旋轉(zhuǎn)使得直流偏置電壓與舵機(jī)內(nèi)部的基準(zhǔn)電壓之差的絕對(duì)值減為零，舵機(jī)才會(huì)停止轉(zhuǎn)動(dòng)。也就是說，單片機(jī)提供高電平的延續(xù)時(shí)間決定了舵機(jī)轉(zhuǎn)動(dòng)的角度。舵機(jī)的電路如圖5所示。

圖5 舵機(jī)電路

2.4 語音識(shí)別控制

語音識(shí)別功能的實(shí)現(xiàn)采用LD3320A語音識(shí)別模塊。該模塊是基于“關(guān)鍵詞語列表”的識(shí)別技術(shù)，使用者通過麥克風(fēng)傳入語音信號(hào)后，模塊內(nèi)部的聲音傳感器就會(huì)將語音流轉(zhuǎn)化為電壓信號(hào)，模塊內(nèi)部對(duì)該信號(hào)進(jìn)行頻譜分析并提取特征發(fā)送到內(nèi)部的語音識(shí)別器，然后語音識(shí)別器訪問關(guān)鍵詞語列表，將識(shí)別結(jié)果發(fā)送給單片機(jī)。將單片機(jī)的串口與模塊串口相接即可實(shí)現(xiàn)單片機(jī)與模塊之間的通信。LD3320A語音識(shí)別模塊電路如圖6所示。

圖6 LD3320A語音識(shí)別模塊電路

2.5 WiFi遠(yuǎn)程APP控制

WiFi遠(yuǎn)程APP控制功能的實(shí)現(xiàn)采用ESP8266-01S模塊。該模塊支持標(biāo)準(zhǔn)的IEEE802.11b/g/n協(xié)議，內(nèi)置完整的TCP/IP協(xié)議棧以及通用AT指令集，支持STA/AP/STA+AP三種工作模式。將模塊串口與單片機(jī)串口相連從而實(shí)現(xiàn)模塊與單片機(jī)之間的通信，然后單片機(jī)向模塊持續(xù)發(fā)送一系列AT指令，手機(jī)就能夠連接上WiFi模塊，進(jìn)而實(shí)現(xiàn)手機(jī)APP控制。ESP8266模塊電路如圖7所示。

圖7 ESP8266模塊電路

3 軟件程序設(shè)計(jì)

3.1 測距避障功能實(shí)現(xiàn)

對(duì)于測距的實(shí)現(xiàn)，首先需要單片機(jī)向超聲波傳感測距模塊控制端發(fā)出至少10 μs的高電平信號(hào)，超聲波信號(hào)發(fā)射后則從接收端檢測是否有信號(hào)返回。如果有，則向接收端輸出高電平信號(hào)，同時(shí)啟動(dòng)定時(shí)器計(jì)算高電平持續(xù)的時(shí)間，然后通過公式（距離=（時(shí)間×聲速）/2，聲速為340 m/s）計(jì)算出撿網(wǎng)球機(jī)器人與障礙物之間的距離。

對(duì)于避障功能的實(shí)現(xiàn)，則是事先由程序設(shè)計(jì)好的規(guī)則，規(guī)定安全距離為20 cm。如果前方障礙物距離小于20 cm，便立即停止前進(jìn)，此時(shí)舵機(jī)帶動(dòng)超聲波傳感測距模塊轉(zhuǎn)動(dòng)分別測量左右兩側(cè)障礙物距離，并選擇向距離較大的一側(cè)轉(zhuǎn)動(dòng)；如果左右兩側(cè)障礙物距離都小于20 cm，則后退。如圖8所示為測距避障流程。

圖8 測距避障流程

3.2 網(wǎng)球識(shí)別功能實(shí)現(xiàn)

OpenMV4攝像頭初始化后，讀取圖像轉(zhuǎn)為灰度圖像，規(guī)定閾值并切割圖像。通過降噪等預(yù)處理加強(qiáng)圖像的重要特征，然后提取網(wǎng)球的輪廓、長度、寬度、周長、面積、顏色等特征值。采取圖像梯度的方法獲取網(wǎng)球輪廓，分別產(chǎn)生二值圖和二值圖的邊緣提取圖提取網(wǎng)球面積和周長。采集網(wǎng)球圖片素材制作數(shù)據(jù)集并訓(xùn)練模型，使用深度殘差網(wǎng)絡(luò)ResNet作為基石，模型的訓(xùn)練需要用生成器將數(shù)據(jù)集循環(huán)寫入內(nèi)存，同時(shí)圖像增強(qiáng)以泛化模型。通過模型訓(xùn)練能夠得到一種網(wǎng)球的識(shí)別規(guī)則的分類器，模塊內(nèi)部處理器經(jīng)過分類決策后就能夠識(shí)別到網(wǎng)球，得出網(wǎng)球的位置，采用視差測距法計(jì)算網(wǎng)球的距離，然后傳遞給單片機(jī)。如圖9所示為網(wǎng)球識(shí)別流程。

圖9 網(wǎng)球識(shí)別流程

3.3 網(wǎng)球拾取功能實(shí)現(xiàn)

舵機(jī)通過轉(zhuǎn)動(dòng)帶動(dòng)機(jī)械爪閉合實(shí)現(xiàn)對(duì)網(wǎng)球的抓取，而舵機(jī)的轉(zhuǎn)動(dòng)需要通過單片機(jī)傳輸高電平信號(hào)。在控制舵機(jī)時(shí)，先使單片機(jī)的定時(shí)器產(chǎn)生一個(gè)20 ms周期的PWM信號(hào)，而該周期內(nèi)高電平信號(hào)延續(xù)時(shí)間范圍是0.5～2.5 ms，總間隔為2 ms；舵機(jī)根據(jù)PWM信號(hào)中高電平的占空比而轉(zhuǎn)動(dòng)特定的角度，并利用定時(shí)器中斷，每1.5 ms中斷一次，從而改變PWM信號(hào)中高電平的占空比，即可對(duì)舵機(jī)的轉(zhuǎn)動(dòng)角度進(jìn)行控制。圖10所示為舵機(jī)轉(zhuǎn)動(dòng)帶動(dòng)機(jī)械爪閉合瞬間。

圖10 舵機(jī)轉(zhuǎn)動(dòng)帶動(dòng)機(jī)械爪閉合瞬間

3.4 語音控制功能實(shí)現(xiàn)

語音控制功能的實(shí)現(xiàn)是通過單片機(jī)向與之相連的LD3320A語音識(shí)別模塊之間的串口發(fā)送需要識(shí)別的關(guān)鍵詞語列表，此后模塊就會(huì)對(duì)接收到的聲音信號(hào)與關(guān)鍵詞列表的詞語進(jìn)行比對(duì)；然后將識(shí)別結(jié)果發(fā)送給單片機(jī)，單片機(jī)通過識(shí)別結(jié)果來決定是否執(zhí)行撿網(wǎng)球機(jī)器人“前進(jìn)”“后退”“左轉(zhuǎn)”“右轉(zhuǎn)”“網(wǎng)球抓取”的指令。圖11所示為語音控制流程。

圖11 語音控制流程

3.5 WiFi無線通信功能實(shí)現(xiàn)

WiFi無線通信功能的實(shí)現(xiàn)是通過單片機(jī)向與之相連的ESP8266-01S WiFi模塊之間的串口發(fā)送一系列的AT指令來對(duì)模塊進(jìn)行配置。單片機(jī)通過發(fā)送“AT+CWMODE”“AT+CI PAP”“AT+CIPSERVER”等指令配置模塊的模式、啟動(dòng)TCP/IP、設(shè)置端口號(hào)等。手機(jī)連接上模塊后就可以向其發(fā)送信息，如果模塊收到手機(jī)端發(fā)來的信號(hào)，則會(huì)向與單片機(jī)相連的串口發(fā)送包含收到的網(wǎng)絡(luò)信息的描述字符串。圖12所示為WiFi無線通信流程。

圖12 WiFi無線通信流程

4 實(shí)驗(yàn)結(jié)果

圖13所示為撿網(wǎng)球機(jī)器人實(shí)物圖。機(jī)器人采用小車作為模型，小車上方前端位置裝有攝像頭以及舵機(jī)云臺(tái)，后端位置裝有機(jī)械臂支撐底座，各功能模塊裝置在合適位置保證系統(tǒng)模塊間互不干擾、協(xié)調(diào)工作。經(jīng)過測試，撿網(wǎng)球機(jī)器人能夠準(zhǔn)確識(shí)別到網(wǎng)球并抓取回收。同時(shí)，當(dāng)前進(jìn)路線上遇到障礙物時(shí)，能夠自主規(guī)劃前行路線實(shí)現(xiàn)自主避障。此外，能夠通過語音控制以及手機(jī)APP遠(yuǎn)程控制機(jī)器人正常執(zhí)行“前進(jìn)”“后退”“左轉(zhuǎn)”“右轉(zhuǎn)”“網(wǎng)球抓取”等指令，如圖14所示為APP操作頁面。

圖13 撿網(wǎng)球機(jī)器人實(shí)物圖

圖14 APP操作頁面

表1為智能避障測試結(jié)果。測試表明，機(jī)器人能夠達(dá)到預(yù)期的避障效果。表2為語音控制測試結(jié)果。測試表明，機(jī)器人能夠正常執(zhí)行語音指令。表3為網(wǎng)球撿拾率測試結(jié)果。測試表明，機(jī)器人能夠拾取多數(shù)的網(wǎng)球，但撿拾率受到光照強(qiáng)度、網(wǎng)球密度、網(wǎng)球位置等環(huán)境因素的影響，因此需要更優(yōu)的算法進(jìn)行改進(jìn)。

表1 智能避障測試結(jié)果

表2 語音控制測試結(jié)果

表3 網(wǎng)球撿拾率測試結(jié)果

5 結(jié) 語

現(xiàn)如今人工智能是大勢所趨，更多的繁重瑣碎的體力勞動(dòng)都將由機(jī)器代替完成。本文介紹的基于圖像識(shí)別的撿網(wǎng)球機(jī)器人實(shí)現(xiàn)了超聲波測距和智能避障、網(wǎng)球識(shí)別抓取、語音控制及手機(jī)APP遠(yuǎn)程控制等功能。經(jīng)測試發(fā)現(xiàn)，本設(shè)計(jì)能夠達(dá)到預(yù)期要求，性能穩(wěn)定；在一定程度上能夠幫助網(wǎng)球運(yùn)動(dòng)愛好者減輕頻繁撿球的負(fù)擔(dān)，讓人們更加享受網(wǎng)球運(yùn)動(dòng)的過程，專注訓(xùn)練。

本文介紹的基于圖像識(shí)別的撿網(wǎng)球機(jī)器人在性能以及功能上還有提升的空間，優(yōu)化的方向大致為：①多個(gè)網(wǎng)球的快速拾??；②效率更高的撿球算法設(shè)計(jì)；③指定區(qū)域內(nèi)撿球。