摘? 要：視覺圖像信號包含了真實世界的豐富的顏色、紋理、形狀等信息，是包括人類在內(nèi)的許多動物感知世界的主要方式。近年來，圖像傳感器與圖像處理算法越來越成熟，在目標(biāo)檢測、目標(biāo)識別、物體追蹤等方面的應(yīng)用展現(xiàn)出高性能、高精度、低成本等優(yōu)勢。本文實現(xiàn)了一套基于嵌入式平臺和SSD算法的室內(nèi)物體檢測、識別、追蹤算法，并且將這一系列算法應(yīng)用于室內(nèi)機(jī)器人足球賽，搭建了完整的室內(nèi)機(jī)器人對抗系統(tǒng)。本文中提出的基于SSD算法的室內(nèi)機(jī)器人足球比賽系統(tǒng)在目標(biāo)檢測準(zhǔn)確率和效率方面都優(yōu)于傳統(tǒng)計算機(jī)視覺算法。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);SSD目標(biāo)檢測算法;智能機(jī)器人;嵌入式

中圖分類號：TP242? ? ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2019）23-0012-03

Indoor Robot Football Match System Based on Embedded

Platform and Target Detection Algorithm

LIU Chunlong

（Zhuhai Vocational School of Polytechnic，Zhuhai? 519070，China）

Abstract：Visual image signals contain rich colors，textures，shapes，and other information in the real world. They are the main way that many animals，including humans，perceive the world. In recent years，image sensors and image processing algorithms have become more and more mature，showing advantages such as high performance，high precision，and low cost in target detection，target recognition，and object tracking applications. This article implements a set of indoor object detection，recognition，and tracking algorithms based on the embedded platform and SSD algorithm，and applies this series of algorithms to indoor robot football matches to build a complete indoor robot confrontation system. The indoor robot soccer game system based on SSD algorithm proposed in this paper is superior to traditional computer vision algorithms in terms of target detection accuracy and efficiency.

Keywords：convolutional neural network;SSD target detection algorithm;intelligent robot;embedded

1? 研究背景

機(jī)器人的定位與追蹤是機(jī)器人系統(tǒng)的關(guān)鍵問題，是許多機(jī)器人應(yīng)用的基礎(chǔ)。室內(nèi)定位系統(tǒng)分為無線和視覺兩大類。無線定位的方案主要基于Wi-Fi、GSM、藍(lán)牙等無線信號，通過終端定位設(shè)備與搭建在室內(nèi)的基站進(jìn)行通信。這類基于無線通信的室內(nèi)定位方法不僅僅需要建立基站，各個待定位物體還需要通過安裝專用的無線收發(fā)模塊與基站通信來完成室內(nèi)定位。并且由于室內(nèi)環(huán)境復(fù)雜，無線電信號多徑效應(yīng)明顯，導(dǎo)致基于無線的室內(nèi)定位技術(shù)精度低、穩(wěn)定性不足，當(dāng)前主流的基于無線信號的定位技術(shù)的定位精度一般在0.5m左右。

某些特定任務(wù)采用基于視覺的方法對物體進(jìn)行定位。在機(jī)器人足球?qū)官愔?，由于機(jī)器人在地面上移動，只需在地面二維平面上進(jìn)行定位，機(jī)器人運動邊界固定，活動規(guī)律明確，采用基于視覺的物體定位方法更加簡單，只需開發(fā)定位系統(tǒng)，在終端上無須安裝任何電路設(shè)備。相比于基于無線的定位系統(tǒng)，基于視覺的定位系統(tǒng)往往具備更高的物體定位精度，不僅應(yīng)用在對機(jī)器人的定位中，機(jī)器人自身同樣需要對周圍關(guān)鍵目標(biāo)進(jìn)行定位[1]。國際上最有影響力的室內(nèi)足球機(jī)器人比賽RoboCup已舉辦20余年，安裝在場地上的攝像頭可以對機(jī)器人進(jìn)行定位，而安裝在機(jī)器人身上的攝像頭可以對足球、球門、其他機(jī)器人進(jìn)行定位和追蹤。

基于圖像的定位檢測技術(shù)過程包括檢測輸入圖像中的目標(biāo)，確定圖像中目標(biāo)的語義類型，確定目標(biāo)在圖像中的具體區(qū)域，根據(jù)圖像傳感器的位置信息確定目標(biāo)在現(xiàn)實世界中的位置。室內(nèi)環(huán)境中的基于圖像的定位檢測技術(shù)具有如下挑戰(zhàn)：首先，同類目標(biāo)的顏色、形狀、紋理等方面可能存在巨大差異，不同類物體也有可能形態(tài)相近，類內(nèi)相似度低和類間相似度高對物體檢測的準(zhǔn)確性提出挑戰(zhàn);其次，室內(nèi)光照環(huán)境變化較大，極端情況下需要在復(fù)雜燈光效果下完成物體檢測與定位，待檢測區(qū)域中也會存在移動障礙物干擾，光照變換和環(huán)境干擾對物體檢測的魯棒性提出挑戰(zhàn);最后，由于室內(nèi)物體運動軌跡相比室外更加精細(xì)，物體間距更小，物體定位邊界不緊致會導(dǎo)致相鄰物體檢測位置重合，因此要求物體定位邊界更加緊致。

為了解決上述問題，已經(jīng)提出許多目標(biāo)檢測定位算法[2]。近年來，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，許多基于深度學(xué)習(xí)的目標(biāo)檢測算法在準(zhǔn)確性上優(yōu)于傳統(tǒng)方法。本文將深度學(xué)習(xí)目標(biāo)檢測算法應(yīng)用在室內(nèi)機(jī)器人足球比賽系統(tǒng)中，搭建了完整的基于嵌入式平臺的室內(nèi)機(jī)器人對抗系統(tǒng)，內(nèi)容安排如下：第2節(jié)介紹室內(nèi)機(jī)器人足球比賽規(guī)則及系統(tǒng)架構(gòu);第3節(jié)介紹系統(tǒng)計算模塊;第4節(jié)介紹系統(tǒng)控制模塊;第5節(jié)介紹實驗結(jié)果及分析;第6節(jié)介紹本文總結(jié)與展望。

2? 室內(nèi)機(jī)器人足球比賽規(guī)則及系統(tǒng)架構(gòu)

我們設(shè)計了一個室內(nèi)機(jī)器人比賽場景，將基于CNN的目標(biāo)檢測系統(tǒng)完整部署到嵌入式系統(tǒng)中。參賽雙方各派出一輛小車，以將球踢進(jìn)對方球門底線為目標(biāo)，比賽結(jié)束時進(jìn)球多者獲勝。雙方輪流擔(dān)任射門方和防守方，射門方僅可在距離對方底線70cm外放置球和移動，防守方可在距離己方底線40cm范圍內(nèi)移動，超過該40cm范圍將被強(qiáng)制停止。比賽在尺寸為210cm×297cm的模擬足球場上進(jìn)行。需要開發(fā)的系統(tǒng)包括感知、計算、決策、控制單元，如圖1所示。系統(tǒng)采用Xilinx Zynq7020 SoC平臺，Zynq系列芯片包含一個基于雙核ARM Cortex-A9的處理子系統(tǒng)（Processing System，PS）和Xilinx 28nm可編程邏輯（Programmable Logic，PL）。PS除核心外還包括片上存儲器、外部存儲器接口及大量外設(shè)連接接口。PS和PL之間通過可配置的AXI總線進(jìn)行數(shù)據(jù)和指令交互。

基于嵌入式平臺的室內(nèi)機(jī)器人足球比賽系統(tǒng)結(jié)構(gòu)如圖2所示。

在該系統(tǒng)中，由于計算部分的目標(biāo)檢測模塊計算量需求最大，我們使用PL對目標(biāo)檢測算法進(jìn)行加速，其余的傳感、決策和控制單元被部署在PS上。其中簡單的控制通過PS和PL之間的AXI總線來傳輸少量控制信號，大量的數(shù)據(jù)通過PS和PL共享的內(nèi)存DDR進(jìn)行交互。感知系統(tǒng)主要為攝像頭傳感器，控制單元為電機(jī)驅(qū)動模塊，二者均有成熟的解決方案和通用協(xié)議，并且為PS封裝了相應(yīng)的軟件驅(qū)動，因此文中不再贅述。本文將主要介紹該系統(tǒng)的計算模塊和決策模塊。

3? 計算模塊

計算模塊的主要功能是基于輸入圖像確定物體的位置，確定物體位置的核心算法為物體檢測算法。我們分析了各種基于CNN的物體檢測算法，確定使用SSD作為該系統(tǒng)的目標(biāo)檢測算法[3]。相比于YOLO算法，SSD候選框更加豐富，尺度種類也更加多樣，并且大大減少了網(wǎng)絡(luò)參數(shù)。相比于Faster-RCNN等兩階段算法，SSD和YOLO這類單階段算法在速度上有大幅提升，適合應(yīng)用到嵌入式設(shè)備中。

在FPGA上設(shè)計CNN加速器是近年來的一個熱門研究方向。國內(nèi)有很多企業(yè)已經(jīng)開發(fā)了基于FPGA的CNN系統(tǒng)，說明基于FPGA的神經(jīng)網(wǎng)絡(luò)加速器已經(jīng)進(jìn)入工業(yè)應(yīng)用階段。在本研究中，我們采用開源的神經(jīng)網(wǎng)絡(luò)加速器DNNWeaver。DNNWeaver是一款基于FPGAs的深度神經(jīng)網(wǎng)絡(luò)加速器開源框架，程序員只需使用一種流行的深度學(xué)習(xí)框架caffe的代碼格式，描述指定的深度神經(jīng)網(wǎng)絡(luò)，該框架便可以自主生成專用于指定深度神經(jīng)網(wǎng)絡(luò)的加速器。

我們首先利用caffe框架完成針對背景、足球、機(jī)器人三分類場景的SSD網(wǎng)絡(luò)訓(xùn)練，之后利用DNNWeaver框架將神經(jīng)網(wǎng)絡(luò)映射到Zynq7020 FPGA上，對應(yīng)一張輸入圖片，輸出足球和對方小車在圖像中的坐標(biāo)。接下來，我們根據(jù)足球和對方小車在圖像中的坐標(biāo)，估計出足球和對方小車在真實世界中相對于平臺小車的位置。最后，我們將足球和對方小車的真實位置發(fā)送給決策模塊，由決策模塊負(fù)責(zé)計算平臺小車移動位置。

4? 決策模塊

首先根據(jù)計算模塊傳來的足球和對方小車的位置，計算足球相對于己方小車的方向和距離。我們用變量ball_distance表示足球相對于己方小車的距離，用變量fc表示足球相對于己方小車的方向。當(dāng)足球在小車的正前方時，我們令fc=0;當(dāng)球在小車的正右方時，令fc=90;當(dāng)球在小車的正后方時，令fc=180;當(dāng)足球在小車的正左方時，令fc=270。依此類推，如圖3所示。fc的取值范圍為0～359，分別對應(yīng)了足球相對于小車的360種不同方向。我們利用三角函數(shù)atan將足球和己方小車的位置信息（兩者的X軸和Y軸的坐標(biāo)值）換算成相應(yīng)的fc值。

接下來分析如何讓小車做出把球推進(jìn)對方球門的動作。當(dāng)球非?？拷≤嚂r（ball_distance≈20），如果球就在小車正右邊，即fc=90，只要令小車運動方向path=fc+90，小車就會馬上向正后方移動，則下一時刻足球?qū)⑽挥谛≤嚨挠曳狡耙稽c，fc減?。ɡ鏵c=70）。若繼續(xù)執(zhí)行path=fc+90，則小車向右后方移動，到下一時刻fc又減小（例如fc=50）。仍然執(zhí)行path=fc+90將使得fc繼續(xù)減小。當(dāng)fc≈30時，足球已經(jīng)差不多在小車的前方了，這時小車已經(jīng)走出了一條曲線，并且成功繞到了足球的后面。當(dāng)fc≤30時，由于此時球距離小車很近，只要令path=0，小車向前運動，足球就自然進(jìn)入小車的控球位里，小車就能夠?qū)⒆闱蛳蚯巴七M(jìn)。

最后分析如何在帶球過程中躲避對方小車。我們可以將對方小車看成一個障礙物，當(dāng)障礙物離平臺小車較遠(yuǎn)時，決策模塊會讓平臺小車直接向球門運動;當(dāng)障礙物離平臺小車較近時，決策模塊會讓平臺小車向障礙物靠近球門的方向轉(zhuǎn)向。作為防守方時，平臺小車將采用“盯人防守”策略，總是向?qū)Ψ叫≤嚳厍蛱幰苿?。有了傳感、計算、決策、控制模塊，我們便實現(xiàn)了一個完整的機(jī)器人場地足球比賽系統(tǒng)。

5? 實驗結(jié)果及分析

為了驗證我們算法的有效性，我們實現(xiàn)了小車的平臺。整體小車平臺由三部分組成：機(jī)械平臺、攝像頭、控制板，如圖4所示。機(jī)械平臺負(fù)責(zé)控制邏輯構(gòu)成，由穩(wěn)壓模塊、電機(jī)驅(qū)動、三輪平臺組成。攝像頭負(fù)責(zé)采集環(huán)境信息，采用USB攝像頭模組，通過USB接口與控制板進(jìn)行連接?？刂瓢遑?fù)責(zé)處理環(huán)境信息，采用Xilinx Zynq 7020 SoC。由于主控板SoC具備ARM處理器，我們在主控板上部署了嵌入式操作系統(tǒng)，利用操作系統(tǒng)的驅(qū)動程序和OpenCV開源圖像處理庫對攝像頭圖像進(jìn)行讀取，攝像頭最高幀率為50fps。

我們以場地頂端的攝像頭采集的圖片作為真值，在小車上部署攝像頭采集傳感器數(shù)據(jù)，建立室內(nèi)機(jī)器人場景數(shù)據(jù)集。小車和頂端攝像頭會接收到相同的同步信號，保證小車和頂端攝像頭具備相同的時間基準(zhǔn)。小車和攝像頭采集到的圖片及其對應(yīng)的時間戳?xí)謩e存儲在SD卡中。完成數(shù)據(jù)采集后，分別在小車視角和攝像頭視角同一時刻采集的圖片中手工標(biāo)定出門球車的位置，小車與攝像頭采集時間戳小于6ms的圖片認(rèn)為是同一時刻采集。在實驗過程中，將攝像頭采集的圖像中標(biāo)定的小車、足球、球門、另一輛小車的位置作為真值。攝像頭采集的數(shù)據(jù)分為訓(xùn)練集和測試集，其中訓(xùn)練集900張圖片，測試集237張圖片。

我們使用均衡平均精度（mean Average Precision，mAP）作為衡量物體檢測性能的指標(biāo)。某一類別的平均精度（AveragePrecision，AP）為不同召回率測試點精度之和除以召回率測試點的數(shù)目。對于整個數(shù)據(jù)集，mAP為所有類別的AP之和除以類別數(shù)目。在實驗中，可通過小車識別到物體的相對位置和大小計算出物體的實際位置，如果實際位置和真值的距離誤差在30cm以內(nèi)則認(rèn)為識別正確。在AP計算過程中，我們分別采用執(zhí)行度最高的1/2/4/8/16個框候選物體作為五個測試點，計算召回率和精度，進(jìn)一步計算平均精度mAP。

在本實驗中，我們分別實現(xiàn)了基于神經(jīng)網(wǎng)絡(luò)模型SSD的物體檢測算法和傳統(tǒng)基于Haar特征級聯(lián)濾波的物體檢測算法來對門球車（球門、足球、機(jī)器車）進(jìn)行檢測和定位，并進(jìn)行對比。圖像讀取、Haar級聯(lián)濾波識別門球車、決策控制等功能在SoC的ARM處理器完成，基于神經(jīng)網(wǎng)絡(luò)模型SSD識別門球車在SoC的FPGA平臺上完成。SSD目標(biāo)檢測算法和傳統(tǒng)Haar級聯(lián)濾波算法的mAP與計算速度如表1所示?？梢钥闯觯赟SD的物體檢測方法不論是在算法精度還是在計算速度方面都好于傳統(tǒng)的Haar級聯(lián)濾波器算法。

6? 結(jié)? 論

本文設(shè)計并實現(xiàn)了一種基于嵌入式平臺和SSD深度神經(jīng)網(wǎng)絡(luò)模型的室內(nèi)物體檢測、識別、追蹤算法，搭建了完整的室內(nèi)機(jī)器人足球比賽系統(tǒng)。實驗結(jié)果表明本文提出的足球比賽系統(tǒng)在目標(biāo)檢測準(zhǔn)確率和計算速度方面均優(yōu)于傳統(tǒng)方法。在未來的研究工作中，我們將對該系統(tǒng)的準(zhǔn)確率和計算性能做進(jìn)一步優(yōu)化，并將其應(yīng)用于其他實際應(yīng)用場景中。

參考文獻(xiàn)：

[1] 王語琪，鞏應(yīng)奎.一種基于視覺信息的可見光通信室內(nèi)定位方法 [J].計算機(jī)技術(shù)與發(fā)展，2016，26（1）：200-204.

[2] 徐劍，丁曉青，王生進(jìn)，等.多視角多行人目標(biāo)檢測、定位與對應(yīng)算法 [J].清華大學(xué)學(xué)報（自然科學(xué)版），2009，49（8）：1139-1143.

[3] 吳帥，徐勇，趙東寧.基于深度卷積網(wǎng)絡(luò)的目標(biāo)檢測綜述 [J].模式識別與人工智能，2018，31（4）：335-346.

作者簡介：劉春龍（1970.01-），男，漢族，廣東梅州人，教師，本科，研究方向：電氣、自動控制。