沈莉麗

(南京航空航天大學(xué)金城學(xué)院,南京 211156)

基于體感識(shí)別的輔助倒水機(jī)器人控制系統(tǒng)

沈莉麗*

(南京航空航天大學(xué)金城學(xué)院,南京 211156)

為了更好的給老年人及殘疾人提供服務(wù),基于體感識(shí)別技術(shù),設(shè)計(jì)了輔助倒水機(jī)器人控制系統(tǒng)。首先通過(guò)Kinect攝像頭獲取人體景深圖像,然后利用體感識(shí)別控制算法對(duì)人體姿勢(shì)進(jìn)行識(shí)別,最后將識(shí)別結(jié)果轉(zhuǎn)換為控制命令傳輸?shù)捷o助倒水機(jī)器人使其執(zhí)行相應(yīng)動(dòng)作。實(shí)驗(yàn)表明,輔助倒水機(jī)器人具有良好的操控及執(zhí)行性能,能較好地滿足老年人及殘疾人的需求,對(duì)服務(wù)型機(jī)器人領(lǐng)域的發(fā)展研究具有很好的參考價(jià)值。

Kinect;機(jī)器人;體感識(shí)別;景深圖像

隨著我國(guó)人口老齡化以及各類(lèi)殘疾人士的出現(xiàn),看護(hù)工作已成為社會(huì)的一個(gè)重要負(fù)擔(dān)。據(jù)統(tǒng)計(jì),在我國(guó),需要看護(hù)人員的家庭約占總數(shù)的十分之一,這使得助老助殘以及家庭護(hù)理問(wèn)題日益成為一個(gè)重大的社會(huì)問(wèn)題[1-2]。因此,大力發(fā)展服務(wù)型機(jī)器人,是社會(huì)發(fā)展的必然需求。服務(wù)型機(jī)器人可以代替看護(hù)人員給老年人及殘疾人士提供日常服務(wù),幫助他們提高行動(dòng)自由度,具有重大的社會(huì)意義。

體感識(shí)別是通過(guò)對(duì)人體的身體姿態(tài)進(jìn)行識(shí)別、跟蹤,從而實(shí)現(xiàn)控制,是一種自然、符合用戶行為習(xí)慣的交互方式[3]。早期的體感識(shí)別主要使用傳感器設(shè)備采集肢體關(guān)節(jié)數(shù)據(jù),并結(jié)合神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)節(jié)數(shù)據(jù)分析從而獲得手勢(shì)意義,其構(gòu)成復(fù)雜,成本高昂,不適合自然交互方式的要求。微軟Kinect傳感器通過(guò)紅外攝像頭獲取深度信息來(lái)進(jìn)行人體姿態(tài)識(shí)別,不受環(huán)境影響,得到越來(lái)越多研究人員的關(guān)注。韓國(guó)建國(guó)大學(xué)的Rustam[4]等利用Kinect傳感器的人體骨骼檢測(cè)能力,實(shí)現(xiàn)了16關(guān)節(jié)類(lèi)人機(jī)器人的人體動(dòng)作模仿控制;日本千葉大學(xué)的Myagmarbayar[5]等采用隱馬爾可夫模型,利用Kinect傳感器,開(kāi)發(fā)了一個(gè)可以從側(cè)面檢測(cè)人體動(dòng)作并進(jìn)行跟隨的機(jī)器人系統(tǒng)。國(guó)內(nèi)方面,上海交通大學(xué)錢(qián)鶴慶[6]利用Kinect構(gòu)建人體模型,選取DTW算法進(jìn)行動(dòng)態(tài)姿勢(shì)識(shí)別,完成虛擬地球儀的教育輔助系統(tǒng);清華大學(xué)韓崢[7]等通過(guò)對(duì)Kinect采集的深度信息進(jìn)行處理,利用RRT算法對(duì)機(jī)械臂末端進(jìn)行路徑規(guī)劃,設(shè)計(jì)出實(shí)時(shí)桌面清理實(shí)驗(yàn)系統(tǒng)。

本文將機(jī)器人控制技術(shù)與體感識(shí)別相結(jié)合,設(shè)計(jì)了針對(duì)老年人和殘疾人士的輔助倒水機(jī)器人,將倒水機(jī)器人的動(dòng)作與使用者的身體姿態(tài)相結(jié)合,使老年人和殘疾人士可以在原地讓輔助倒水機(jī)器人做出移動(dòng)、接水、倒水等操作,實(shí)現(xiàn)了更加自然的人機(jī)交互。

1 系統(tǒng)硬件設(shè)計(jì)

本文的體感控制系統(tǒng)如圖1所示,主要分為上位機(jī)控制和下位機(jī)控制兩個(gè)部分。上位機(jī)控制部分包括Kinect攝像頭和計(jì)算機(jī),實(shí)現(xiàn)人對(duì)下位機(jī)的非接觸控制。Kinect體感攝像頭采樣景深及RGB攝像頭數(shù)據(jù),然后計(jì)算機(jī)端的體感識(shí)別系統(tǒng)通過(guò)深度圖像局域梯度特征獲取人體骨骼參數(shù),根據(jù)骨骼節(jié)點(diǎn)參數(shù),提取人體姿態(tài)特征,比對(duì)預(yù)先定義的人體姿態(tài)庫(kù),將人體肢體動(dòng)作轉(zhuǎn)換為控制命令,通過(guò)2.4G無(wú)線數(shù)據(jù)傳輸模塊與輔助倒水機(jī)器人建立連接,完成數(shù)據(jù)交換,從而控制輔助倒水機(jī)器人完成相應(yīng)的技術(shù)動(dòng)作。

圖1 系統(tǒng)結(jié)構(gòu)圖

1.1 Kinect體感攝像頭

Kinect是美國(guó)微軟公司為XBOX360游戲機(jī)開(kāi)發(fā)的一款體感外設(shè),Kinect實(shí)際上是一種3D體感攝像頭,它能夠讓用戶無(wú)需借助任何外設(shè),只通過(guò)身體動(dòng)作或者語(yǔ)音就能夠直接完成操作[8]。Kinect有3個(gè)鏡頭,最中間的是RGB攝像頭,用來(lái)采集彩色圖像,分辨率為640×480;左右兩邊的鏡頭分別是紅外射線發(fā)射器和紅外CMOS攝像頭,它們共同組成了景深傳感器,輸出景深圖像分辨率為320×240。

Kinect傳感器同時(shí)獲取采集到的彩色圖像數(shù)據(jù)和景深圖像數(shù)據(jù),支持實(shí)時(shí)的全身骨骼跟蹤,獲取人體骨架結(jié)構(gòu)的20個(gè)關(guān)節(jié)點(diǎn)信息[9]。利用這些信息可以提取出人體姿態(tài)特征,用于人體肢體動(dòng)作的識(shí)別,但是微軟并沒(méi)有公布標(biāo)準(zhǔn)動(dòng)作識(shí)別庫(kù),為了實(shí)現(xiàn)動(dòng)作捕捉、識(shí)別,必須由開(kāi)發(fā)者借助于Visual Studio 2010進(jìn)行相關(guān)開(kāi)發(fā),通過(guò)體感識(shí)別算法實(shí)現(xiàn)人體動(dòng)作識(shí)別。

1.2 輔助倒水機(jī)器人

輔助倒水機(jī)器人為輪式小車(chē)結(jié)構(gòu),其硬件電路結(jié)構(gòu)框圖如圖2所示,主要由主控制器模塊、直流電機(jī)驅(qū)動(dòng)模塊、無(wú)線通訊模塊、紅外避障模塊、全向舵機(jī)及電源模塊等幾部分構(gòu)成。電源模塊負(fù)責(zé)系統(tǒng)各模塊的電源。全向舵機(jī)安裝在小車(chē)支架上方,構(gòu)成一個(gè)二自由度機(jī)械臂云臺(tái),以放置倒水裝置。直流電機(jī)驅(qū)動(dòng)模塊采用L298N,通過(guò)主控制器輸出PWM波信號(hào)驅(qū)動(dòng)電機(jī)模塊控制其轉(zhuǎn)向和速度。紅外避障模塊主要實(shí)現(xiàn)小車(chē)避障功能。主控制器模塊是系統(tǒng)的控制核心,通過(guò)nRF2401無(wú)線通訊模塊與上位機(jī)通信,接收指令執(zhí)行相應(yīng)的技術(shù)動(dòng)作。

圖2 輔助倒水機(jī)器人硬件電路結(jié)構(gòu)框圖

2 系統(tǒng)軟件設(shè)計(jì)

2.1 體感識(shí)別算法

體感識(shí)別算法主要由骨架關(guān)節(jié)點(diǎn)獲取、關(guān)節(jié)點(diǎn)角度測(cè)量、姿態(tài)匹配和人體姿態(tài)識(shí)別等幾個(gè)部分組成。算法流程如圖3所示,首先利用Kinect獲取的深度圖像識(shí)別出人體骨架關(guān)節(jié)點(diǎn),提取骨架關(guān)節(jié)點(diǎn)空間坐標(biāo),通過(guò)空間向量計(jì)算關(guān)節(jié)點(diǎn)之間的距離和角度,最后將計(jì)算的角度與姿態(tài)庫(kù)中的角度閾值范圍進(jìn)行匹配,從而實(shí)現(xiàn)人體姿勢(shì)的識(shí)別。

圖3 體感識(shí)別控制算法流程圖

2.1.1 獲取人體骨架關(guān)節(jié)

Kinect景深圖像的獲取是通過(guò)紅外線發(fā)射器和紅外CMOS攝像頭共同來(lái)完成的[7],紅外線發(fā)射器發(fā)出紅外光覆蓋整個(gè)待測(cè)區(qū)域,而紅外線CMOS攝像頭接收反射光線得到的景深圖像,景深圖像中每個(gè)像素是kinect獲取的深度信息,因此需要將以像素為單位的深度信息轉(zhuǎn)換成以實(shí)際距離為單位的數(shù)據(jù)。由文獻(xiàn)[10]首先利用獲取的深度值求出目標(biāo)物到Kinect攝像頭的實(shí)際距離d。

d=Ktan(Hdr+L)-O

(1)

式中:dr為深度值,H=3.5×10-4rad,K=12.36 cm,L=1.18 rad,O=3.7 cm。

根據(jù)實(shí)際距離的深度信息值,文獻(xiàn)[11]給出了由深度坐標(biāo)點(diǎn)(xd,yd,zd)到實(shí)際坐標(biāo)點(diǎn)(x,y,z)的轉(zhuǎn)換公式

(2)

式中:F=0.002 1,Kinect的分辨率w×h為640×480。

2.1.2 關(guān)節(jié)點(diǎn)角度測(cè)量

Kinect的三維坐標(biāo)系不同于常見(jiàn)的空間三維坐標(biāo)系[12],其中x軸與y軸的零點(diǎn)與傳統(tǒng)空間坐標(biāo)系相同,但其z軸坐標(biāo)零點(diǎn)為Kinect傳感器,正方向?yàn)镵inect指向的正前方。由向量的可平移性及方向性,可以推出Kinect坐標(biāo)系中任意兩個(gè)不重合的坐標(biāo)點(diǎn)A(x1,y1,z1),B(x2,y2,z2)經(jīng)過(guò)變換,可轉(zhuǎn)化到傳統(tǒng)空間坐標(biāo)系中,對(duì)其組成的向量AB,可以認(rèn)為是從坐標(biāo)軸零點(diǎn)引出。

AB=(x2-x1,y2-y1,z2-z1)

(3)

兩關(guān)節(jié)點(diǎn)之間的距離,利用歐氏距離,

(4)

以人體左手臂為例,取左肩膀E、左肘S、左手腕W3個(gè)節(jié)點(diǎn),對(duì)于肘關(guān)節(jié)角度的計(jì)算,可以直接使用空間向量ES和EW的夾角得出,計(jì)算過(guò)程如下:

ES=(Sx-Ex,Sy-Ey,Sz-Ez)

(5)

EW=(Sx-Wx,Sy-Wy,Sz-Wz)

(6)

(7)

以此可以得到肘關(guān)節(jié)角度的三角函數(shù)值,然后再進(jìn)行反三角函數(shù)運(yùn)算可以得到相應(yīng)角度,其他關(guān)節(jié)點(diǎn)角度也類(lèi)似計(jì)算。

2.1.3 人體姿態(tài)匹配

姿態(tài)庫(kù)中的人體姿勢(shì)由關(guān)節(jié)點(diǎn)之間的夾角來(lái)確定,設(shè)定βi(i=1,…,4)為關(guān)節(jié)點(diǎn)的角度,其中β1為左肩與左肘之間的角度,β2為左肘與左腕之間的角度,β3為右肩與右肘之間的角度,β4為右肘與右腕之間的角度,則姿態(tài)庫(kù)中各姿勢(shì)滿足的角度條件如表1所示。

表1 姿勢(shì)滿足的角度條件 單位:(°)

姿態(tài)識(shí)別時(shí)根據(jù)不同的精度要求可以設(shè)定不同的閾值,如果所有關(guān)節(jié)點(diǎn)角度都在閾值范圍內(nèi),則可以判定為有效姿勢(shì)。假定閾值為δ,所有關(guān)節(jié)點(diǎn)角度滿足式(8),則判定姿勢(shì)識(shí)別成功,若其中有一個(gè)關(guān)節(jié)角度不滿足,則姿勢(shì)識(shí)別不成功,需要重新開(kāi)始識(shí)別。

(8)

式中:αi為關(guān)節(jié)點(diǎn)測(cè)量角度,βi為關(guān)節(jié)點(diǎn)期望角度。

為了保證對(duì)輔助倒水機(jī)器人動(dòng)作控制的精準(zhǔn)性,將閾值設(shè)定為10°,對(duì)人體姿勢(shì)識(shí)別時(shí),當(dāng)所有的角度都滿足表1中規(guī)定姿勢(shì)的閾值范圍,就可以正確識(shí)別出人體各個(gè)姿勢(shì)。

2.2 上位機(jī)軟件設(shè)計(jì)

軟件系統(tǒng)是在Visual Studio 2010環(huán)境下開(kāi)發(fā)的,全部程序使用C#編程實(shí)現(xiàn)。系統(tǒng)通過(guò)Kinect SDK平臺(tái),訪問(wèn)連接到計(jì)算機(jī)的Kinect傳感器,獲取彩色圖像、深度信息,骨骼節(jié)點(diǎn)坐標(biāo),進(jìn)行骨骼追蹤。通過(guò)設(shè)計(jì)體感識(shí)別算法,識(shí)別人體姿態(tài)動(dòng)作,生成相應(yīng)控制指令通過(guò)無(wú)線通訊模塊發(fā)送給輔助倒水機(jī)器人。系統(tǒng)設(shè)計(jì)軟件界面如圖4所示,軟件上方從左到右依次顯示景深圖像、骨骼圖像及彩色圖像,左下方顯示景深平均距離值,以英尺為單位,往右依次為命令窗口—顯示識(shí)別的命令、調(diào)試窗口—顯示一些調(diào)試過(guò)程中的信息、串口設(shè)置—選擇串口端口號(hào),以及打開(kāi)串口操作、操作按鍵—自定義按鍵,在調(diào)試階段可以不用體感識(shí)別部分也能夠控制輔助倒水機(jī)器人。

2.3 輔助倒水機(jī)器人軟件設(shè)計(jì)

輔助倒水機(jī)器人采用STC90C52RC單片機(jī)為主控制器芯片,通過(guò)接收無(wú)線通訊模塊nRF2401發(fā)來(lái)的控制字并執(zhí)行相應(yīng)指令,能實(shí)現(xiàn)機(jī)器人前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止及開(kāi)啟倒水裝置電源、接水、倒水等功能,其控制流程如圖5所示。

圖4 系統(tǒng)軟件界面

圖5 輔助倒水機(jī)器人流程圖

3 實(shí)驗(yàn)分析

體感識(shí)別系統(tǒng)控制的核心在于對(duì)人體姿態(tài)的識(shí)別,為了驗(yàn)證整個(gè)系統(tǒng)的正確性,分別進(jìn)行了骨骼跟蹤測(cè)試、動(dòng)作識(shí)別測(cè)試及整體操控測(cè)試。本系統(tǒng)應(yīng)用的關(guān)節(jié)點(diǎn)為左右肩關(guān)節(jié)、肘關(guān)節(jié)及腕關(guān)節(jié)共6個(gè)關(guān)節(jié)點(diǎn),設(shè)定關(guān)節(jié)點(diǎn)角度閾值為10°,在WIN7+VS2010+Kinect SDK環(huán)境下運(yùn)行上位機(jī)軟件。具體實(shí)驗(yàn)過(guò)程如下。

(1)骨骼跟蹤測(cè)試

通過(guò)操作者在Kinect攝像頭視場(chǎng)范圍內(nèi)來(lái)回走動(dòng),觀察骨骼窗口產(chǎn)生的骨骼跟蹤圖像,可以有效實(shí)現(xiàn)對(duì)于人體骨骼的跟蹤,并且動(dòng)作流暢,延時(shí)很小。

針對(duì)不同距離的識(shí)別情況,本次測(cè)試同樣做了相應(yīng)的測(cè)試和統(tǒng)計(jì),統(tǒng)計(jì)結(jié)果表明,識(shí)別的有效距離為1.2 m～5.1 m,在此范圍內(nèi)均可有效識(shí)別,超過(guò)范圍,會(huì)由于圖像方面的原因,產(chǎn)生亂碼。

同時(shí)本次測(cè)試也檢測(cè)了不同體型的人對(duì)于識(shí)別產(chǎn)生的影響,結(jié)果表明,在視場(chǎng)范圍內(nèi),正常人都可以有效的識(shí)別,與高、矮、胖、瘦、男、女均沒(méi)有關(guān)系。

(2)動(dòng)作識(shí)別測(cè)試

為了驗(yàn)證體感控制動(dòng)作的準(zhǔn)確性,實(shí)驗(yàn)選取了10名操作者,分別進(jìn)行以下7個(gè)動(dòng)作的測(cè)試,測(cè)試結(jié)果如表2所示。測(cè)試結(jié)果表明:各動(dòng)作的識(shí)別率都超過(guò)90%,具有較高的識(shí)別成功率,符合控制要求。操作者姿態(tài)動(dòng)作識(shí)別屬于靜態(tài)識(shí)別,在操作過(guò)程中,操作者作出相應(yīng)控制動(dòng)作后需持續(xù)1 s以上,若動(dòng)作變化太快,會(huì)降低操作流暢性。

圖6 輔助倒水機(jī)器人實(shí)物圖

動(dòng)作及含義測(cè)試次數(shù)/次正確識(shí)別次數(shù)/次識(shí)別率舉起雙手(前進(jìn))1009393%放下雙手(停止)1009292%雙臂T型(后退)1009393%左手臂斜上(左轉(zhuǎn)彎)1009393%右手臂斜下(右轉(zhuǎn)彎)1009292%舉起右手(接水)1009393%舉起左手(倒水)1009393%

(3)整體操控測(cè)試

輔助倒水機(jī)器人實(shí)物圖如圖6所示,測(cè)試上位機(jī)對(duì)下位機(jī)的控制效果,使整個(gè)系統(tǒng)聯(lián)機(jī)工作,人體姿態(tài)動(dòng)作經(jīng)過(guò)Kinect及上位機(jī)軟件轉(zhuǎn)化為控制指令,并通過(guò)2.4G無(wú)線通訊模塊傳至下位機(jī),實(shí)現(xiàn)體感信息對(duì)下位機(jī)的控制。首先對(duì)輔助倒水機(jī)器人所有動(dòng)作指令進(jìn)行測(cè)試,然后在5 m×5 m的空間中,操作者作出相應(yīng)動(dòng)作測(cè)試機(jī)器人移動(dòng)、接水及倒水任務(wù)的執(zhí)行情況,最終任務(wù)順利完成,表明輔助倒水機(jī)器人具有良好的操控及任務(wù)執(zhí)行能力。

4 結(jié)語(yǔ)

本文設(shè)計(jì)了一種基于體感識(shí)別的輔助倒水機(jī)器人控制系統(tǒng)。系統(tǒng)將Kinect體感識(shí)別控制、輔助倒水機(jī)器人,2.4G無(wú)線通訊模塊結(jié)合起來(lái),實(shí)現(xiàn)了采用體感識(shí)別方式操控輔助倒水機(jī)器人。經(jīng)實(shí)驗(yàn)證明,輔助倒水機(jī)器人具有良好的操控及執(zhí)行性能,能很好的完成移動(dòng)及接水、倒水等一系列任務(wù),能較好地滿足老年人及殘疾人的需要,對(duì)服務(wù)型機(jī)器人領(lǐng)域的發(fā)展研究具有很好的參考價(jià)值。

[1] 徐方,張希偉,杜振軍. 我國(guó)家庭服務(wù)機(jī)器人產(chǎn)業(yè)發(fā)展現(xiàn)狀調(diào)研報(bào)告[J]. 機(jī)器人技術(shù)與應(yīng)用,2009(2):14-19.

[2] 鄧志東,程振波. 我國(guó)助老助殘機(jī)器人產(chǎn)業(yè)與技術(shù)發(fā)展現(xiàn)狀調(diào)研[J]. 機(jī)器人技術(shù)與應(yīng)用,2009(2):20-24.

[3] 余濤. Kinect應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn):用最自然的方式與機(jī)器對(duì)話[M]. 北京:機(jī)械工業(yè)出版社,2012.

[4] Igorevich R R,Ismoilovich E P. Behavioral Synchronization of Human and Humanoid Robot[C]//Ubiquitous Robots and Ambient Intelligence(URAI),2011:655-660.

[5] Nergui M,Imamoglu N,Yoshida Y,et al. Human Behavior Recognition by a Mobile Robot Following Human Subjects[M]. Evaluating AAL Systems Through Competitive Benchmarking,2013:159-172.

[6] 錢(qián)鶴慶. 應(yīng)用Kinect與手勢(shì)識(shí)別的增強(qiáng)現(xiàn)實(shí)教育輔助系統(tǒng)[D]. 上海:上海交通大學(xué),2011.

[7] 韓崢,劉華平,黃文炳,等. 基于Kinect的機(jī)械臂目標(biāo)抓取[J]. 智能系統(tǒng)學(xué)報(bào),2013,8(2):149-155.

[8] 吳國(guó)斌,李斌,閻驥洲. Kinect人機(jī)交互開(kāi)發(fā)實(shí)踐[M]. 北京:人民郵電出版社,2013.

[9] 黃季冬. 動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)研究與實(shí)現(xiàn)[D]. 武漢:華中科技大學(xué),2012.

[10] Raheja L J,Chaudhary A,Singal K,et al. Tracking of Fingertips and Centers of Palm Using Kinect[C]//2011 Third International Conference on Computational Intelligence,Modelling and Simulation,2011:248-252.

[11] Satyavolu S,Bruder G,Willemsen P,et al. Analysis of IR-Based Virtual Reality Tracking Using Multiple Kinects[C]//IEEE Virtual Reality Conference,2012:149-150.

[12] 陳曉明,蔣樂(lè)天,應(yīng)忍冬. 基于Kinect深度信息的實(shí)時(shí)三維重建和濾波算法研究[J]. 計(jì)算機(jī)應(yīng)用研究,2013,30(4):1216-1218.

AuxiliaryPouringRobotControlSystemBasedonSomatosensoryRecognition

SHENLili*

(Jincheng College,Nanjing University of Aeronautics and Astronautics,Nanjing 211156,China)

In order to provide better services to the elder and the disabled people,a auxiliary pouring robot control system based on somatosensory recognition was designed. First of all,the computer was used to obtain the depth image data of human body through kinect camera. Then,the somatosensory recognition control algorithm was used to recognize the human body posture. Finally,the recognition result was converted to control command that were transmited to the auxiliary pouring robot to execute corresponding movement. Experimental results indicated that the auxiliary pouring robot has good performance,that can well meet the needs of the elderly and the disabled. In reality,it has some potential benefits for the applications in the field of humanoid robot research.

Kinect;robot;somatosensory recognition;depth image

10.3969/j.issn.1005-9490.2017.05.050

2016-08-17修改日期2017-01-06

TP391

A

1005-9490(2017)05-1314-05

沈莉麗(1984-),女,漢族,碩士,江蘇南通人,講師,主要從事信號(hào)處理的教學(xué)與研究工作,shirely_ivy@163.com。