包加桐, 繆 露, 唐鴻儒, 宋愛(ài)國(guó)

(1. 東南大學(xué)儀器科學(xué)與工程學(xué)院, 南京 210096; 2. 揚(yáng)州大學(xué)水利與能源動(dòng)力工程學(xué)院, 江蘇 揚(yáng)州 225127)

全球人口老齡化問(wèn)題愈演愈烈,專為行動(dòng)不便人士設(shè)計(jì)的智能輪椅越來(lái)越受關(guān)注．近年來(lái),智能輪椅在工藝性、功能性、舒適性和操作性上都有了顯著提高,特別是在輪椅的控制方式上呈現(xiàn)出多樣化的發(fā)展趨勢(shì),如基于肢體動(dòng)作[1]、面部表情[2]、腦電波[3]、語(yǔ)音[4]等的輪椅控制方式．輪椅用戶在大型室內(nèi)場(chǎng)所或室外環(huán)境中常常需要他人引導(dǎo)或陪伴,如何有效解放輪椅用戶和陪護(hù)人員的雙手,實(shí)現(xiàn)電動(dòng)輪椅的自動(dòng)跟隨控制具有現(xiàn)實(shí)意義．

自動(dòng)跟隨電動(dòng)輪椅的控制問(wèn)題, 可由領(lǐng)導(dǎo)-跟隨者控制策略實(shí)現(xiàn)[5]．該策略多用于機(jī)器人編隊(duì)[6]和人機(jī)隊(duì)形控制[7-8]等方面: 如尤劍等[7]研究了一種為盲人導(dǎo)航的人機(jī)隊(duì)形控制方法,引導(dǎo)盲人安全行進(jìn);Scheggi等[8]研究基于視覺(jué)與振動(dòng)觸覺(jué)反饋的人機(jī)隊(duì)形控制機(jī)制,機(jī)器人編隊(duì)利用深度彩色相機(jī)檢測(cè)人的行動(dòng)軌跡并保持與人的隊(duì)形,當(dāng)人的軌跡違反隊(duì)形控制約束條件時(shí)便發(fā)出振動(dòng)提醒．然而,采用傳統(tǒng)的領(lǐng)導(dǎo)-跟隨者控制策略往往要對(duì)領(lǐng)導(dǎo)者和跟隨者進(jìn)行準(zhǔn)確的運(yùn)動(dòng)建模,對(duì)傳感器配置、位姿檢測(cè)、運(yùn)動(dòng)估計(jì)等環(huán)節(jié)的技術(shù)要求較高．受跟隨旅行箱、跟隨購(gòu)物車等新興產(chǎn)品啟發(fā),本文提出一種自動(dòng)跟隨目標(biāo)人物的電動(dòng)輪椅系統(tǒng)及其控制方法,將視覺(jué)跟蹤與基于深度圖像的三維位置計(jì)算引入自動(dòng)輪椅控制系統(tǒng)的設(shè)計(jì)．與經(jīng)典的領(lǐng)導(dǎo)-跟隨者控制策略相比,本文方法無(wú)須對(duì)領(lǐng)導(dǎo)者的運(yùn)動(dòng)進(jìn)行建模,僅利用深度彩色相機(jī)跟蹤和定位目標(biāo),以相機(jī)坐標(biāo)系下目標(biāo)的三維位置為反饋,控制電動(dòng)輪椅保持預(yù)期的人機(jī)隊(duì)形,簡(jiǎn)化了傳統(tǒng)的人機(jī)隊(duì)形控制模型,另一方面,視覺(jué)跟蹤功能可以排除他人干擾,實(shí)現(xiàn)對(duì)目標(biāo)人物的全程跟蹤．

1 模型與控制方法

圖1為本文的自動(dòng)跟隨輪椅模型．電動(dòng)輪椅(跟隨者)利用深度彩色相機(jī)跟蹤目標(biāo)人物(領(lǐng)導(dǎo)者)的行動(dòng)軌跡并計(jì)算其三維坐標(biāo), 得到兩者之間的垂直距離d及偏航角φ．通過(guò)控制車體兩側(cè)的差動(dòng)驅(qū)動(dòng)輪實(shí)現(xiàn)電動(dòng)輪椅的前進(jìn)、后退、轉(zhuǎn)彎、旋轉(zhuǎn)等運(yùn)動(dòng), 使輪椅與目標(biāo)人物保持設(shè)定的距離dw與偏航角φw．

圖1 自動(dòng)跟隨輪椅模型Fig.1 Auto-following wheelchair model

1.1 視覺(jué)跟蹤

利用Xtion RGB-D相機(jī)實(shí)時(shí)采集分辨率為640×480的彩色和深度圖像．深度圖像中的像素點(diǎn)位置與實(shí)際物體相對(duì)相機(jī)的空間位置具有一一配對(duì)關(guān)系．目標(biāo)的視覺(jué)跟蹤過(guò)程分為彩色圖像中目標(biāo)人物圖像區(qū)域跟蹤與深度圖像中目標(biāo)人物的三維坐標(biāo)計(jì)算兩部分．

首先, 利用tracking-learning-detection(TLD)算法[9]跟蹤目標(biāo)人物在彩色圖像中的區(qū)域．TLD算法由跟蹤、檢測(cè)與學(xué)習(xí)三大模塊構(gòu)成．跟蹤與檢測(cè)模塊并行執(zhí)行: 前者假定相鄰視頻幀中的目標(biāo)可見(jiàn)且運(yùn)動(dòng)連續(xù);后者假定視頻幀相互獨(dú)立,利用學(xué)習(xí)得到的檢測(cè)模型進(jìn)行全圖像搜索．學(xué)習(xí)模塊根據(jù)跟蹤模塊的輸出,對(duì)檢測(cè)模塊產(chǎn)生錯(cuò)誤的正負(fù)樣本進(jìn)行判定和糾正后,作為訓(xùn)練樣本對(duì)檢測(cè)模型進(jìn)行更新,同時(shí)更新跟蹤模塊中的關(guān)鍵特征點(diǎn)．

圖2 目標(biāo)人物的三維坐標(biāo)計(jì)算示意圖Fig.2 Diagram for illustrating 3D coordinate calculation of the target person

1.2 跟隨控制

圖3 自動(dòng)跟隨輪椅的控制流程Fig.3 Control diagram of the auto-following wheelchair

2 試驗(yàn)結(jié)果

圖4是跟隨輪椅的硬件平臺(tái)及其在嵌入式計(jì)算機(jī)上運(yùn)行的程序界面．輪椅左右輪分別由2個(gè)額定功率為250 W的直流無(wú)刷電機(jī)差速驅(qū)動(dòng),扶手處裝有深度彩色相機(jī)．輪椅控制系統(tǒng)由嵌入式計(jì)算機(jī)和Arduino UNO核心板構(gòu)成: 嵌入式計(jì)算機(jī)采集和處理實(shí)時(shí)視頻流,完成視覺(jué)跟蹤、三維坐標(biāo)計(jì)算以及跟隨控制; Arduino UNO核心板接收跟隨控制器的輸出(即輪椅的線速度與角速度),計(jì)算產(chǎn)生驅(qū)動(dòng)電機(jī)的PWM控制量,通過(guò)直流電機(jī)驅(qū)動(dòng)控制器完成驅(qū)動(dòng)．

圖4 自動(dòng)跟隨輪椅的硬件平臺(tái)(a)與運(yùn)行程序界面(b)Fig.4 Hardware platform (a) and program interface (b) of auto-following wheelchair

為初步試驗(yàn)輪椅在小范圍無(wú)障礙環(huán)境下的自動(dòng)跟隨效果, 設(shè)定目標(biāo)人物始終處于輪椅右前方某處不動(dòng), 并引入全局平面坐標(biāo)系Omxmym, 用于描述輪椅的跟隨運(yùn)動(dòng)軌跡．初始時(shí)刻,全局平面坐標(biāo)系與相機(jī)坐標(biāo)系重合,目標(biāo)人物在相機(jī)坐標(biāo)系中的坐標(biāo)為(1.5, 0, 4), 單位m．設(shè)定跟隨控制器的相關(guān)參數(shù)dw=1 m,φw=0 rad,vmax=0.5 m·s-1,dmax=4 m,amax=0.2 m·s-1,φmax=0.46 rad, 輪椅寬度W=0.4 m．由于試驗(yàn)在平地上進(jìn)行, 不考慮目標(biāo)人物在相機(jī)坐標(biāo)系yC方向的位置變化．選取人臉為跟隨目標(biāo), 啟動(dòng)自動(dòng)跟隨功能, 并記錄試驗(yàn)過(guò)程中輪椅的運(yùn)動(dòng)軌跡、目標(biāo)在相機(jī)坐標(biāo)系中的位置以及跟隨控制器輸出的線速度與角速度．在相同環(huán)境下重復(fù)試驗(yàn)8次,每次試驗(yàn)中目標(biāo)人物與輪椅的初始位置略有偏差．

圖5(a)顯示了輪椅在8次試驗(yàn)中運(yùn)動(dòng)軌跡構(gòu)成的包絡(luò)線, 重復(fù)試驗(yàn)中輪椅軌跡變化趨勢(shì)基本一致, 輪椅最終均能保持與目標(biāo)人物設(shè)定的距離．圖5(b)顯示了8次試驗(yàn)中目標(biāo)人物在相機(jī)坐標(biāo)系下的位置變化軌跡, 目標(biāo)人物從初始位置(1.5, 0, 4)逐步變化至(0, 0, 1)位置,反應(yīng)了輪椅與目標(biāo)人物的位置和航向變化關(guān)系,除受測(cè)量噪聲干擾外,目標(biāo)人物在相機(jī)坐標(biāo)系中的軌跡連續(xù),表明本設(shè)計(jì)的視覺(jué)跟蹤效果穩(wěn)定．圖6是試驗(yàn)過(guò)程中輪椅跟隨控制器輸出的線速度與角速度變化曲線．由圖6可見(jiàn),初始階段,由于輪椅距離目標(biāo)人物較遠(yuǎn)且與目標(biāo)人物之間有較大的偏航角,跟隨控制器輸出的線速度和角速度較大, 當(dāng)輪椅逐步接近目標(biāo)人物時(shí),線速度逐漸減為0, 角速度則趨于0, 但是角速度控制量在運(yùn)動(dòng)過(guò)程中出現(xiàn)了超調(diào),這是由于目標(biāo)人物距離相機(jī)較遠(yuǎn)時(shí)深度圖像的測(cè)量精度相對(duì)較低[10], 此外測(cè)量與控制輸出之間的時(shí)間延遲等因素也會(huì)導(dǎo)致角速度控制量變化曲線具有小的波動(dòng)．然而，受試者的體驗(yàn)反饋結(jié)果表明, 微小的波動(dòng)并沒(méi)有造成輪椅使用者的不適．

圖7為自動(dòng)跟隨電動(dòng)輪椅在真實(shí)環(huán)境中的使用場(chǎng)景,輪椅能夠執(zhí)行預(yù)期動(dòng)作,準(zhǔn)確跟隨目標(biāo)人物,且當(dāng)目標(biāo)人物受遮擋時(shí),輪椅將自動(dòng)停止以確保安全,待目標(biāo)人物重新捕獲后繼續(xù)跟隨．

圖5 全局坐標(biāo)系下輪椅軌跡包絡(luò)線(a)與相機(jī)坐標(biāo)系下目標(biāo)位置軌跡(b)Fig.5 Wheelchair trajectory envelope in global coordinate frame (a) and target position trajectory in camera coordinate frame (b)

圖6 跟隨控制器輸出的線速度和角速度變化曲線Fig.6 Curve of varied linear and angular velocities generated by following controller

圖7 自動(dòng)跟隨電動(dòng)輪椅在真實(shí)環(huán)境中的使用場(chǎng)景Fig.7 Scenario of auto-following wheelchair in use

3 結(jié)論

本文提出一種自動(dòng)跟隨目標(biāo)人物的電動(dòng)輪椅控制方法,在普通電動(dòng)輪椅的基礎(chǔ)上,加載視覺(jué)跟蹤、目標(biāo)定位與跟隨控制系統(tǒng),構(gòu)建了自動(dòng)跟隨輪椅模型,取得較好的初步測(cè)試效果．存在的待改進(jìn)之處有: 可將目標(biāo)人物的視覺(jué)跟蹤算法由傳統(tǒng)的基于特征的檢測(cè)和級(jí)聯(lián)分類器與手動(dòng)初始化選取目標(biāo)方式,改為基于大數(shù)據(jù)的端到端的學(xué)習(xí)與檢測(cè)算法來(lái)自動(dòng)初始化與跟蹤;可將深度彩色相機(jī)改為雙目視覺(jué)相機(jī),以解決在室外環(huán)境下受光照影響而無(wú)法獲得有效深度數(shù)據(jù)的問(wèn)題等．