(東南大學(xué) 儀器科學(xué)與工程學(xué)院，江蘇 南京 210096)

NAO是在世界學(xué)術(shù)領(lǐng)域內(nèi)運(yùn)用廣泛的類(lèi)人機(jī)器人。例如運(yùn)用NAO機(jī)器人對(duì)自閉譜系障礙兒童進(jìn)行干預(yù)治療[1]；運(yùn)用NAO機(jī)器人開(kāi)發(fā)人臉識(shí)別系統(tǒng)[2]；運(yùn)用NAO機(jī)器人平臺(tái)設(shè)計(jì)高爾夫比賽系統(tǒng)[3]；運(yùn)用NAO進(jìn)行中文語(yǔ)音識(shí)別等[4]。本文根據(jù)NAO機(jī)器人的仿人結(jié)構(gòu)設(shè)計(jì)了一種機(jī)器人接力比賽系統(tǒng)。NAO可以通過(guò)攝像頭識(shí)別賽道，并根據(jù)身體與賽道的角度判斷轉(zhuǎn)彎方向及角度；根據(jù)轉(zhuǎn)彎角度變化來(lái)進(jìn)行速度調(diào)整；同時(shí)通過(guò)多協(xié)同合作，在第一臺(tái)NAO機(jī)器人即將走向終點(diǎn)時(shí)向同伴機(jī)器人發(fā)送信號(hào)，同伴NAO機(jī)器人即接收信號(hào)并準(zhǔn)備啟動(dòng)。以上所述策略保障了整個(gè)比賽的順利進(jìn)行。

1 NAO機(jī)器人基礎(chǔ)硬件平臺(tái)

硬件方面，NAO機(jī)器人[5]本身是一個(gè)標(biāo)準(zhǔn)平臺(tái)，它全身有25個(gè)自由度，可以完成一些較為復(fù)雜的動(dòng)作，NAO機(jī)器人下肢關(guān)節(jié)具有 12 自由度，其髖、 膝、踝關(guān)節(jié)分別為 3、 1、 2 自由度，左右對(duì)稱(chēng)。頭部搭載兩個(gè)攝像頭；在雙腳、雙手等部位配有壓力傳感器可以檢測(cè)是否碰到障礙物；胸前有超聲波傳感器可以用于檢測(cè)前方的障礙物避免碰撞。在比賽中機(jī)器人視覺(jué)的作用至關(guān)重要，NAO機(jī)器人搭載的攝像頭可以實(shí)現(xiàn)最高30幀/秒的YUV422圖像，分辨率為640像素×480像素。機(jī)器人水平視野范圍為47.8°，垂直視野范圍為36.8°。

NAO機(jī)器人接力賽為比賽模擬人類(lèi)接力賽項(xiàng)目，其競(jìng)賽形式為： 2臺(tái)NAO機(jī)器人接力競(jìng)步，每臺(tái)機(jī)器人行走6 m，最終成績(jī)按照用時(shí)由少到多排序。比賽場(chǎng)地總長(zhǎng)、寬分別為6 m和4.8 m，分為3組賽道；每組賽道包含去程賽道，回程賽道各一條，單條賽道為長(zhǎng)、寬分別為6 m和0.8 m的賽道；單條賽道4個(gè)邊噴涂有寬5 cm白色邊界線；場(chǎng)地地面為綠色，場(chǎng)地表面的材料為薄地毯面料。

2 接力賽軟件系統(tǒng)設(shè)計(jì)

在上述規(guī)則和機(jī)器人軟硬件限制的基礎(chǔ)上，本文提出了一種主要基于機(jī)器人單目視覺(jué)的比賽策略軟件系統(tǒng)。該系統(tǒng)主要在Linux系統(tǒng)上進(jìn)行編程[6]，分模塊設(shè)計(jì)實(shí)現(xiàn)了機(jī)器人接力比賽中幾個(gè)主要步驟。具體步驟詳見(jiàn)圖1系統(tǒng)軟件設(shè)計(jì)流程圖。

圖1 系統(tǒng)軟件設(shè)計(jì)流程圖

2.1 NAO機(jī)器人啟動(dòng)模塊

NAO機(jī)器人的啟動(dòng)有兩種方案可供選擇。

方案1：NAO機(jī)器人胸前有聲吶裝置，利用超聲波避障功能啟動(dòng)NAO機(jī)器人。當(dāng)胸前有擋板障礙物時(shí)NAO機(jī)器人等待啟動(dòng)，障礙物撤離比賽開(kāi)始，NAO機(jī)器人開(kāi)始行動(dòng)。

方案2：比賽開(kāi)始，裁判吹響哨聲。NAO機(jī)器人聽(tīng)到哨聲即開(kāi)始啟動(dòng)。

兩種方案各有利弊，方案1由于NAO機(jī)器人機(jī)械結(jié)構(gòu)原因存在短暫延時(shí)問(wèn)題，但該方案穩(wěn)定性好，移開(kāi)擋板NAO機(jī)器人啟動(dòng)；方案2時(shí)效性好，聲音的傳播速度快，NAO聽(tīng)到哨聲即啟動(dòng)，不會(huì)產(chǎn)生啟動(dòng)延時(shí)問(wèn)題，但在環(huán)境嘈雜時(shí)，可能存在無(wú)法聽(tīng)到裁判哨聲的情況。

2.2 賽場(chǎng)位置識(shí)別及圖像處理模塊

在接力賽中，NAO機(jī)器人主要通過(guò)視覺(jué)識(shí)別白色的賽場(chǎng)邊界。機(jī)器人拍攝到的賽場(chǎng)輪廓如圖2(a)所示。

在機(jī)器人掃描周?chē)h(huán)境時(shí)，檢測(cè)到白色直線的特征物體后即進(jìn)行顏色提取與轉(zhuǎn)化，通過(guò)顏色提取來(lái)獲得符合白色閾值條件的像素點(diǎn)[7-8]。經(jīng)過(guò)以上處理之后賽場(chǎng)邊緣輪廓如圖2(b)所示。

由圖2(b)可知，此時(shí)圖片噪聲較大，圖片中左上角有許多白色噪聲點(diǎn)，圖片右上角有其他賽場(chǎng)邊緣線。此時(shí)機(jī)器人無(wú)法判斷正確的賽場(chǎng)邊緣線。本策略對(duì)該圖片進(jìn)行濾波處理，并采用霍夫變換和canny邊緣算法進(jìn)行邊緣檢測(cè)，獲得并繪制圖像輪廓。圖像輪廓如圖2(c)所示。計(jì)算圖中各輪廓的長(zhǎng)度，將長(zhǎng)度較長(zhǎng)的直線輪廓(圖2(c)中線條1)作為賽場(chǎng)邊緣線。

圖2 賽場(chǎng)邊緣圖像

2.3 基于賽場(chǎng)識(shí)別調(diào)整機(jī)器人轉(zhuǎn)向及轉(zhuǎn)速模塊

基于賽場(chǎng)識(shí)別調(diào)整機(jī)器人轉(zhuǎn)向及轉(zhuǎn)速模塊的初步方案(方案1)為：將識(shí)別并處理過(guò)的賽場(chǎng)邊緣白線置于機(jī)器人視野中心，再判斷機(jī)器人頭部與身體之間的夾角，根據(jù)夾角判斷是否需要轉(zhuǎn)向。因賽場(chǎng)邊界線可近似認(rèn)為是一條無(wú)限長(zhǎng)的直線，故將賽場(chǎng)邊界線置于視野中心，則機(jī)器人視野與賽場(chǎng)邊界線必垂直。此時(shí)判斷機(jī)器人頭部與身體之間的夾角。如圖3所示。

該圖為俯視角度，實(shí)線為賽場(chǎng)邊緣白線，圓形為機(jī)器人，虛線1為機(jī)器人攝像頭看向賽場(chǎng)邊緣線的視線，虛線2為機(jī)器人身體前進(jìn)方向。θ為機(jī)器人攝像頭方向與前進(jìn)方向夾角，若0°<θ<90°，則系統(tǒng)判斷為機(jī)

圖3 機(jī)器人與賽場(chǎng)邊緣線位置俯視圖1

器人偏左走，需要向右調(diào)整方向。反之，若-90°<θ<0°則系統(tǒng)判斷為機(jī)器人偏右走，需要向左調(diào)整方向。當(dāng)θ=90°或θ=-90°時(shí)，則系統(tǒng)判斷為機(jī)器人前進(jìn)方向正確，不需調(diào)整方向。

在接力賽比賽過(guò)程中，機(jī)器人獲取圖像為動(dòng)態(tài)過(guò)程且為實(shí)時(shí)獲取圖像，但由于機(jī)器人步速及步態(tài)限制，機(jī)器人調(diào)整轉(zhuǎn)速需要一定的時(shí)間，若轉(zhuǎn)速調(diào)整過(guò)大，則易發(fā)生過(guò)量調(diào)整問(wèn)題。故本方案采取多次調(diào)整策略，即調(diào)整多次轉(zhuǎn)速但每次調(diào)整轉(zhuǎn)速值較小。

本方案根據(jù)上述θ的大小判定轉(zhuǎn)速調(diào)整。當(dāng)60°<|θ|<90°時(shí)，轉(zhuǎn)角調(diào)整1°/s；當(dāng)30°<|θ|<60°時(shí)，轉(zhuǎn)角調(diào)整5°/s；當(dāng)5°<|θ|<30°時(shí)，轉(zhuǎn)角調(diào)整10°/s；當(dāng)0°<|θ|<5°時(shí)，機(jī)器人前進(jìn)方向與賽場(chǎng)邊緣線接近垂直，此時(shí)，可判定為機(jī)器人到達(dá)賽場(chǎng)終點(diǎn)。

但將該方案應(yīng)用在接力跑時(shí)，因?yàn)闄C(jī)器人頭部不斷擺動(dòng)，大大降低了機(jī)器人跑步的速度。故本文提出方案2：如圖4所示，實(shí)線1、實(shí)線2為賽場(chǎng)邊緣白線，圓形為機(jī)器人，虛線3為機(jī)器人預(yù)設(shè)前進(jìn)方向。機(jī)器人頭部固定不動(dòng)，視野為正前方。θ1和θ2分別為機(jī)器人看向左右兩條賽場(chǎng)邊界白線的夾角。易知，當(dāng)機(jī)器人行走方向始終沿虛線3方向行走時(shí)，θ1和θ2大小相同。而當(dāng)機(jī)器人偏向右邊時(shí)，θ1>θ2；當(dāng)機(jī)器人偏向左邊時(shí)，θ1<θ2。故可通過(guò)判斷θ1和θ2的大小關(guān)系來(lái)判斷機(jī)器人是否需要調(diào)整轉(zhuǎn)向。與方案1相同，方案2采取多次調(diào)整策略，調(diào)整多次轉(zhuǎn)速但每次調(diào)整轉(zhuǎn)速值較小。

圖4 機(jī)器人與賽場(chǎng)邊緣線位置俯視圖2

本方案根據(jù)上述θ1和θ2的大小關(guān)系判定轉(zhuǎn)向及轉(zhuǎn)速調(diào)整，θ1>θ2時(shí)機(jī)器人向左偏轉(zhuǎn)；θ1<θ2時(shí)機(jī)器人向右偏轉(zhuǎn)。并且當(dāng) 0°<|θ1-θ2|<5°時(shí)，轉(zhuǎn)角調(diào)整1°/s；當(dāng)5°<|θ1-θ2|<10°時(shí)，轉(zhuǎn)角調(diào)整5°/s；當(dāng)10°<|θ1-θ2|時(shí)，轉(zhuǎn)角調(diào)整10°/s。

將方案2應(yīng)用到接力跑中，機(jī)器人減少了頭部動(dòng)作，接力跑穩(wěn)定性得到提升，跑步速度也大大提高。

轉(zhuǎn)向調(diào)整方案1與方案2的速度對(duì)比在本文第4小節(jié)示出。

2.4 NAO機(jī)器人接力模塊設(shè)計(jì)

圖5(a)為機(jī)器人拍攝的賽場(chǎng)圖，經(jīng)過(guò)2.2節(jié)圖像處理后簡(jiǎn)化為圖5(b)所示的模型圖。如圖5(b)所示，該圖為俯視圖，圓形為機(jī)器人所在位置，直線為賽場(chǎng)邊界線，虛線1為機(jī)器人看向賽場(chǎng)邊界線的視線，θ為機(jī)器人視線與機(jī)器人前進(jìn)方向夾角，若85°<θ<95°，則系統(tǒng)判斷為機(jī)器人即將到達(dá)賽場(chǎng)終點(diǎn)，第一臺(tái)機(jī)器人繼續(xù)前進(jìn)5 s后結(jié)束運(yùn)行，并向第二臺(tái)機(jī)器人發(fā)送啟動(dòng)信息。

圖5 機(jī)器人與賽場(chǎng)邊緣線位置俯視圖3

利用Socket通信[9]實(shí)現(xiàn)NAO機(jī)器人之間的接力通信。Socket是應(yīng)用層與TCP/IP協(xié)議族通信的中間軟件抽象層，它是一組接口。在設(shè)計(jì)模式中，Socket其實(shí)就是一個(gè)門(mén)面模式，它把復(fù)雜的TCP/IP協(xié)議族隱藏在Socket接口后面，對(duì)用戶(hù)來(lái)說(shuō)，一組簡(jiǎn)單的接口就是全部，讓Socket去組織數(shù)據(jù)，以符合指定的協(xié)議。

當(dāng)?shù)诙_(tái)機(jī)器人接收到第一臺(tái)機(jī)器人發(fā)送的啟動(dòng)信息后，開(kāi)始啟動(dòng)，并按照上文所述策略繼續(xù)運(yùn)行。根據(jù)2.2節(jié)所述策略進(jìn)行賽場(chǎng)位置識(shí)別及圖像處理，根據(jù)2.3節(jié)所述策略基于賽場(chǎng)識(shí)別對(duì)機(jī)器人轉(zhuǎn)向及轉(zhuǎn)速進(jìn)行調(diào)整，當(dāng)?shù)诙_(tái)機(jī)器人到達(dá)終點(diǎn)時(shí)，停止運(yùn)行，比賽結(jié)束。

3 NAO機(jī)器人步態(tài)規(guī)劃

雙足機(jī)器人步態(tài)規(guī)劃主要有三次樣條插值法與逆運(yùn)動(dòng)學(xué)求解法。

3.1 三次樣條插值法

步態(tài)方案1采取三次樣條插值方法來(lái)規(guī)劃NAO機(jī)器人行走步態(tài)[10]，根據(jù)關(guān)鍵時(shí)刻主要節(jié)點(diǎn)的位姿來(lái)規(guī)劃NAO機(jī)器人在整個(gè)步態(tài)周期的運(yùn)動(dòng)軌跡。圖6為機(jī)器人行走過(guò)程中，下肢的行走模型。

圖6 機(jī)器人下肢模型

NAO機(jī)器人在行走過(guò)程中的單個(gè)步態(tài)周期為雙腳支撐-左(右)腳支撐-雙腳支撐-右(左)腳支撐-雙腳支撐。為使規(guī)劃出的軌跡平滑，在保持位移和速度連續(xù)性的同時(shí)，還要保證加速度的連續(xù)性。本文通過(guò)選取NAO機(jī)器人行走過(guò)程中關(guān)鍵時(shí)刻的位移、速度、加速度等狀態(tài)，采用三次樣條插值方法對(duì)未知時(shí)刻狀態(tài)進(jìn)行插值計(jì)算，規(guī)劃出機(jī)器人單個(gè)步行周期的狀態(tài)值，從而得到NAO機(jī)器人的期望運(yùn)動(dòng)軌跡。對(duì)機(jī)器人單個(gè)步態(tài)周期進(jìn)行插值處理，選取插值函數(shù)：

(1)

式中，f(t)于各節(jié)點(diǎn)的值是f(ti)=fi(i=0,1,2,…,n)；hi=ti+1-ti(i=0,1,2,…,n)。M0,M1,…,Mn滿(mǎn)足線性方程組：

(2)

再補(bǔ)充：

S′(t0)=M0,S′(tn)=Mn

(3)

將式(2)與式(3)聯(lián)立，解得M0，M1，…，Mn的值，再將結(jié)果代入式(1)，故可解得S(t)的表達(dá)式即為NAO機(jī)器人運(yùn)動(dòng)軌跡。

3.2 逆運(yùn)動(dòng)學(xué)求解法

由于機(jī)器人在接力跑時(shí)，只需要進(jìn)行前進(jìn)和左右轉(zhuǎn)的簡(jiǎn)單操作，不需復(fù)雜的步態(tài)規(guī)劃，故步態(tài)策略設(shè)計(jì)了步態(tài)方案2：采取逆運(yùn)動(dòng)學(xué)求解法[11]。圖7顯示了機(jī)器人行走過(guò)程中軀干、髖關(guān)節(jié)、大腿和腳4個(gè)坐標(biāo)系。

圖7 機(jī)器人下肢各坐標(biāo)系

規(guī)定對(duì)于同一個(gè)點(diǎn)，在M坐標(biāo)系的位置記為pM，在N坐標(biāo)系中的位置記為pN，同一點(diǎn)由M坐標(biāo)系到N坐標(biāo)系的轉(zhuǎn)換矩陣記為M2N。為方便計(jì)算，將軀干坐標(biāo)系記為A坐標(biāo)系，將髖關(guān)節(jié)坐標(biāo)系記為B坐標(biāo)系，將大腿坐標(biāo)系記為C坐標(biāo)系，將腳坐標(biāo)系記為D坐標(biāo)系。

故機(jī)器人膝蓋關(guān)節(jié)的角度可計(jì)算為

式中，l1為機(jī)器人膝蓋上方腿的長(zhǎng)度;l2為機(jī)器人膝蓋下方腿的長(zhǎng)度;ldis為B2A平移向量的長(zhǎng)度。

機(jī)器人腳相對(duì)于機(jī)器人膝蓋上方腿的俯仰角可以計(jì)算為

而機(jī)器人腳部的俯仰角可計(jì)算為

式中，x,y,z為腳坐標(biāo)系對(duì)髖關(guān)節(jié)坐標(biāo)系(D2B)的平移分量。

故機(jī)器人膝蓋上方腿的俯仰角(pitch)(在腳坐標(biāo)系中)為

θpitch=β+γ

機(jī)器人腳的滾動(dòng)角度(roll)可計(jì)算為

又B2C=C2D-1·B2D,C2D=Rotx(δ)·Roty(θpitch·Transz(l2)·Roty(α)·Transz(l1)。

故由已知的髖關(guān)節(jié)參數(shù)(偏航角yaw(z),滾動(dòng)角roll(x),俯仰角pitch(y))構(gòu)造出旋轉(zhuǎn)矩陣：

RotHip=Rotx(δx)·Roty(δy)·Rotz(δz)

其中，ci為cos(δi)；si為sin(δi)。故

其中，rij為矩陣第i行第j列的值(i，j從零開(kāi)始計(jì)數(shù))。

至此，求出了所有關(guān)節(jié)角。

步態(tài)規(guī)劃模塊方案1與方案2的速度對(duì)比在本文第4小節(jié)示出。

4 實(shí)驗(yàn)分析

對(duì)2.3節(jié)調(diào)整轉(zhuǎn)向模塊方案1、方案2與第3節(jié)步態(tài)規(guī)劃模塊方案1(三次樣條插值法)、方案2(逆運(yùn)動(dòng)學(xué)求解法)進(jìn)行實(shí)驗(yàn)對(duì)照及數(shù)據(jù)分析。測(cè)量不同方案機(jī)器人跑步的速度。在同樣的跑道上用同樣的兩臺(tái)機(jī)器人跑完接力賽全程，得出的跑步時(shí)間如表1所示。表中SiTj指調(diào)整轉(zhuǎn)向模塊方案i，步態(tài)規(guī)劃模塊方案j。

表1 不同方案跑步時(shí)間測(cè)量

對(duì)表1進(jìn)行分析，在調(diào)整轉(zhuǎn)向方面，將表中第2、3列與第4、5列數(shù)據(jù)相比較，發(fā)現(xiàn)采用調(diào)整轉(zhuǎn)向模塊方案1時(shí)，機(jī)器人接力賽存在出界情況，而采用調(diào)整轉(zhuǎn)向模塊方案2不存在出界情況，調(diào)整轉(zhuǎn)向方案2比方案1穩(wěn)定性高；且采用調(diào)整轉(zhuǎn)向模塊方案2時(shí)，機(jī)器人跑步速度得到大大提升，故本策略采用調(diào)整轉(zhuǎn)向方案2。在步態(tài)規(guī)劃方面，將表中第4列與第5列數(shù)據(jù)相比較，發(fā)現(xiàn)方案1與方案2都不存在出界情況，且方差都較小，穩(wěn)定性都較高，機(jī)器人跑步的平均速度都較快；但相比較于步態(tài)規(guī)劃模塊方案1，方案2方差更小速度更快。故本文策略采用步態(tài)規(guī)劃模塊方案2。

5 結(jié)束語(yǔ)

所設(shè)計(jì)的NAO機(jī)器人接力賽系統(tǒng)可以讓機(jī)器人自主完成識(shí)別賽場(chǎng)邊界線并根據(jù)邊界線位置調(diào)整自身轉(zhuǎn)向及轉(zhuǎn)速，使NAO機(jī)器人能夠在比賽過(guò)程中在規(guī)定賽場(chǎng)邊界中行走，并自主判斷賽場(chǎng)結(jié)束位置，使得比賽能夠正確高效進(jìn)行。實(shí)驗(yàn)表明該系統(tǒng)運(yùn)行效果良好，并在“軟銀機(jī)器人杯”2018中國(guó)機(jī)器人技能大賽中獲得一等獎(jiǎng)。

該比賽系統(tǒng)從Socket通信原理入手，解決了機(jī)器人通信的問(wèn)題，為機(jī)器人協(xié)同合作提供了新思路。同時(shí)該比賽系統(tǒng)對(duì)機(jī)器人步態(tài)做出了詳細(xì)解讀，與其他機(jī)器人步態(tài)相比，該比賽系統(tǒng)設(shè)計(jì)的步態(tài)運(yùn)行更穩(wěn)定且速度更快，對(duì)雙足機(jī)器人的步態(tài)研究進(jìn)行了補(bǔ)充。同時(shí)這個(gè)比賽也存在許多不足。比如場(chǎng)地的設(shè)計(jì)過(guò)于簡(jiǎn)單，對(duì)機(jī)器人賽者運(yùn)用機(jī)器人進(jìn)行路徑規(guī)劃的能力考驗(yàn)的不夠。

在本文策略的設(shè)計(jì)上，今后可以在如下方面進(jìn)行進(jìn)一步改進(jìn)：① 該比賽策略注重于對(duì)于實(shí)時(shí)情況的反應(yīng)比如轉(zhuǎn)向及調(diào)整轉(zhuǎn)速，但是缺少對(duì)于比賽全局的考慮；② 在進(jìn)行Socket通信時(shí)，也存在短暫延時(shí)問(wèn)題，對(duì)于比賽時(shí)間有一定的影響。