，，

(1.哈爾濱工業(yè)大學(xué)機(jī)電工程學(xué)院，黑龍江 哈爾濱 150001；2.蘇州大學(xué)機(jī)電工程學(xué)院，江蘇 蘇州 215006)

0 引言

全向移動(dòng)平臺(tái)由于其完整約束的運(yùn)動(dòng)特性被廣泛應(yīng)用于工業(yè)生產(chǎn)及特殊作業(yè)中[1]。近年將傳統(tǒng)機(jī)器人技術(shù)同其他類別的學(xué)科或理論進(jìn)行融合和研究已經(jīng)成為一種新興趨勢(shì)。如基于ROS并融合物聯(lián)網(wǎng)技術(shù)設(shè)計(jì)的全向移動(dòng)機(jī)器人系統(tǒng)，用于解決工業(yè)上的實(shí)際問題[2]。特別對(duì)于人機(jī)交互方向，由于微軟研發(fā)的Kinect相機(jī)自身可方便同用戶交互及能夠依據(jù)具體需求進(jìn)行算法開發(fā)等優(yōu)勢(shì)，越來越多的國內(nèi)外研究人員將Kinect相機(jī)應(yīng)用于機(jī)器人對(duì)目標(biāo)信息的獲取及動(dòng)作模仿、行為跟蹤等新型的交互控制中[3-5]。

文獻(xiàn)[6]利用多個(gè)Kinect相機(jī)開發(fā)集成的無標(biāo)記步態(tài)跟蹤系統(tǒng)，提出基于幾何原理的人體步態(tài)數(shù)據(jù)優(yōu)化測(cè)量方法；文獻(xiàn)[7]通過對(duì)具體身體部位的分析和人體活動(dòng)情況進(jìn)行約束的策略，改進(jìn)基于骨骼跟蹤的人體活動(dòng)識(shí)別系統(tǒng)，提高識(shí)別的準(zhǔn)確率；文獻(xiàn)[8]提出利用Kinect對(duì)中風(fēng)患者的行走運(yùn)動(dòng)情況進(jìn)行監(jiān)測(cè)，用于評(píng)估病情情況，并總結(jié)兩者的相關(guān)性程度，可應(yīng)用臨床及家用。

設(shè)計(jì)出平臺(tái)的構(gòu)型并分析其運(yùn)動(dòng)學(xué)模型，考慮利用Kinect相機(jī)的交互特點(diǎn)獲得目標(biāo)的特征信息，并將其用于平臺(tái)的視覺伺服控制中可實(shí)現(xiàn)人體跟蹤，相對(duì)于傳統(tǒng)雙目立體視覺伺服控制可減少視覺測(cè)量的運(yùn)算量，同時(shí)避免運(yùn)動(dòng)過程中深度測(cè)量值受外界光照等因素影響而失真。給出伺服控制中雅可比矩陣深度值估計(jì)方法，通過討論彩色圖像及深度圖像設(shè)置的增益值組合對(duì)平臺(tái)運(yùn)動(dòng)的影響，以仿真形式驗(yàn)證所提方法及控制系統(tǒng)的可行性。

1 平臺(tái)的運(yùn)動(dòng)學(xué)模型構(gòu)建

1.1 全方向移動(dòng)平臺(tái)的構(gòu)型設(shè)計(jì)

設(shè)計(jì)的移動(dòng)平臺(tái)底盤的3維結(jié)構(gòu)圖如圖1a所示，全向輪選擇omni輪，并以四輪正交分布的方式進(jìn)行配置，實(shí)現(xiàn)移動(dòng)平臺(tái)整體的前后行進(jìn)、左右移動(dòng)及原地轉(zhuǎn)動(dòng)3個(gè)自由度。對(duì)于Kinect相機(jī)與平臺(tái)的連接方式采用“eye in hand”方式，整體形式如圖1b所示。

圖1 移動(dòng)平臺(tái)的構(gòu)型設(shè)計(jì)

1.2 平臺(tái)運(yùn)動(dòng)學(xué)模型的構(gòu)建

為方便分析討論，建立圖2所示坐標(biāo)系，其中B為平臺(tái)的幾何中心，移動(dòng)平臺(tái)的理想化坐標(biāo)系為∑BXBYBZB，坐標(biāo)系∑WXYZ為已知的參考坐標(biāo)系，∠θ為兩X軸夾角，逆時(shí)針為正，∑BXBYBZB在參考系中的位姿可寫成A=[x,y,θ]T，則平臺(tái)坐標(biāo)系相對(duì)于參考系的旋轉(zhuǎn)變換矩陣為：

(1)

圖2 平臺(tái)坐標(biāo)系與參考系

(2)

已知四輪轉(zhuǎn)速，反向推導(dǎo)轉(zhuǎn)角θ及V=(vX,vY,ωZ)T，得到下式：

(3)

(4)

2 基于圖像的視覺伺服控制模型

(5)

對(duì)上述偏差設(shè)置比例增益，分別設(shè)為k1,k2，且為正數(shù)，令其產(chǎn)生的像素偏差速度為：

(6)

由文獻(xiàn)[9]對(duì)于得到上述特征點(diǎn)的像素變化速度與平臺(tái)運(yùn)動(dòng)速度的關(guān)系：

(7)

故由式(5)～(7)得到移動(dòng)平臺(tái)在參考系∑WXYZ中的3個(gè)自由度的速度：

(8)

通過對(duì)以上過程的迭代運(yùn)算，直至特征點(diǎn)的實(shí)際像素坐標(biāo)同期望像素坐標(biāo)重合，而實(shí)際的像素坐標(biāo)不可能達(dá)到亞像素級(jí)，故設(shè)定由特征點(diǎn)在運(yùn)動(dòng)時(shí)的像素偏差值小于一個(gè)像素，即認(rèn)為已到達(dá)期望的圖像像素坐標(biāo)。

3 基于圖像的視覺伺服控制系統(tǒng)設(shè)計(jì)

以移動(dòng)平臺(tái)為控制對(duì)象，對(duì)其進(jìn)行基于圖像的視覺伺服控制，設(shè)計(jì)如圖3所示的控制系統(tǒng)方案，首先，由Kinect對(duì)場(chǎng)景中的圖像進(jìn)行采集，目標(biāo)通過移動(dòng)平臺(tái)上方的Kinect攝像頭完成圖像采集，進(jìn)行特征點(diǎn)的提取，移動(dòng)平臺(tái)依據(jù)當(dāng)前特征點(diǎn)與給定特征點(diǎn)的偏差進(jìn)行位姿調(diào)整，并通過圖像的雅可比矩陣將調(diào)整信號(hào)轉(zhuǎn)換成速度控制信號(hào)；最終作用于平臺(tái)本體，在此過程中，通過視覺反饋繼續(xù)獲得輸出位姿，并不斷調(diào)整至期望值。

圖3 基于圖像的視覺伺服控制系統(tǒng)

3.1 特征點(diǎn)的選取與提取

視覺伺服控制中能代替目標(biāo)的特征點(diǎn)信息對(duì)伺服控制的實(shí)現(xiàn)是至關(guān)重要的，即在攝像頭中特征點(diǎn)的像素信息及在攝像頭坐標(biāo)系中的方向的深度信息，對(duì)特征點(diǎn)檢測(cè)效果的好壞將直接影響對(duì)移動(dòng)平臺(tái)的運(yùn)動(dòng)控制，對(duì)于目標(biāo)本身而言，其自身的運(yùn)動(dòng)及姿態(tài)變化也同樣會(huì)影響整個(gè)控制過程。同時(shí)，對(duì)于伺服控制本身，也需要實(shí)時(shí)的深度信息獲取，由式(8)可知，若輸入變量為特征點(diǎn)在像素平面內(nèi)的運(yùn)動(dòng)速度，輸出量為平臺(tái)的移動(dòng)速度，故需至少兩組特征點(diǎn)的信息；而對(duì)于單一特征點(diǎn)，Kinect可在深度相機(jī)及彩色相機(jī)獲取其對(duì)應(yīng)像素值及深度信息，故可將兩組特征信息用于雅可比矩陣的求逆運(yùn)算，從而控制平臺(tái)運(yùn)動(dòng)。

而人體在環(huán)境中產(chǎn)生位姿變化會(huì)導(dǎo)致上述關(guān)節(jié)點(diǎn)在空間中的位置變化，同時(shí)會(huì)帶來部分關(guān)節(jié)點(diǎn)在檢測(cè)時(shí)丟失或關(guān)節(jié)點(diǎn)在圖像空間中的位置重合，從而影響特征信息的獲取，而由于四肢靈活度較高，在人體位置確定時(shí)，其會(huì)產(chǎn)生各類姿態(tài)，故考慮以位于人體中央位置的脊柱中央關(guān)節(jié)點(diǎn)作為特征點(diǎn)，并調(diào)用Kinect深度相機(jī)的人體骨骼獲取函數(shù)來獲得其特征信息，將其在彩色相機(jī)及深度相機(jī)中的像素坐標(biāo)及深度值作為控制信息的輸入。

3.2 雅可比矩陣中深度值的估計(jì)方法

由式(8)可知，圖像的雅可比矩陣中的參數(shù)分類可為同相機(jī)內(nèi)參相關(guān)的參數(shù)(包括深度及彩色相機(jī)的等效焦距及主點(diǎn)像素坐標(biāo))，提取的特征點(diǎn)在攝像頭坐標(biāo)系的深度值，以及特征點(diǎn)在兩相機(jī)中的對(duì)應(yīng)像素坐標(biāo)。

ΔM=R(YC1,-ωZ×Δt)×Trans(VX×Δt,0,VY×Δt)

(9)

由于點(diǎn)P在坐標(biāo)系∑Ixy與∑CXCYCZC的坐標(biāo)關(guān)系可表示為：

(10)

則攝像頭在初始位姿下的深度及圖像平面的像素坐標(biāo)已知時(shí)，其對(duì)應(yīng)的其余兩方向坐標(biāo)可表示為：

(11)

(12)

4 不同增益值組合對(duì)平臺(tái)運(yùn)動(dòng)的影響

設(shè)特征點(diǎn)在彩色相機(jī)圖像平面的初始像素坐標(biāo)為(568，257)，在深度相機(jī)圖像平面的對(duì)應(yīng)初始像素坐標(biāo)為(116.797，104.704)，彩色相機(jī)的期望像素坐標(biāo)為(1 143，358)，深度相機(jī)圖像平面的對(duì)應(yīng)期望像素坐標(biāo)為(313.879，137.583)，初始深度值為1.59 m，設(shè)相機(jī)初始點(diǎn)的外參數(shù)矩陣為：

彩色相機(jī)和深度相機(jī)內(nèi)參數(shù)矩陣分別為：

理想的控制結(jié)果是能夠在保證Kinect相機(jī)從特征點(diǎn)的初始像素坐標(biāo)到達(dá)期望像素坐標(biāo)的前提下，移動(dòng)平臺(tái)及攝像頭的各自由度的運(yùn)動(dòng)速度最大值不超過設(shè)定速度，且能實(shí)現(xiàn)運(yùn)動(dòng)速度的收斂，而同時(shí)要考慮收斂至與期望像素坐標(biāo)的偏差閾值附近的時(shí)間，以下分別對(duì)兩參數(shù)進(jìn)行控制結(jié)果的影響分析，由此得出較為理想的參數(shù)組合，用于后期實(shí)驗(yàn)。分析比例增益K對(duì)于平臺(tái)運(yùn)動(dòng)速度的影響，其中采樣時(shí)間ts取為15 ms，K取值如下，移動(dòng)平臺(tái)在笛卡爾空間中的速度變化情況如圖4所示。

由以上結(jié)果可知，當(dāng)K1=K2時(shí)，速度變化曲線更為平穩(wěn)，隨著增益值的增大會(huì)導(dǎo)致平臺(tái)的初始運(yùn)動(dòng)速度加快，但同樣縮短了收斂至穩(wěn)態(tài)值的時(shí)間，其中，在參考系中的X方向的速度增大變化最為明顯，而Y方向的速度變化、Z方向的轉(zhuǎn)動(dòng)速度變化及兩者的初始速度值均較小；當(dāng)K1>K2時(shí)，ωZ初始值變大，同時(shí)VY出現(xiàn)小范圍波動(dòng)，但VX基本無明顯波動(dòng)，但其會(huì)隨著增益變大而變大，收斂時(shí)間也會(huì)變短；當(dāng)K1

圖4 ts=15 ms時(shí)不同增益值對(duì)移動(dòng)平臺(tái)的速度變化仿真結(jié)果

5 伺服控制系統(tǒng)的仿真驗(yàn)證

考慮平臺(tái)2個(gè)方向的初始移動(dòng)速度值不宜過大(不超過1 m/s)，3個(gè)自由度的速度收斂至穩(wěn)態(tài)時(shí)間不宜過長(zhǎng)(<5 s)，故選擇增益值組合為K1=1,K2=1，其X方向的移動(dòng)速度初始值最大為0.830 6 m/s，其收斂最慢，迭代循環(huán)至294次時(shí)，對(duì)應(yīng)時(shí)刻為開始后的4.41 s，結(jié)果顯示減小至0.01 m/s以內(nèi)，故可選此組增益值進(jìn)行平臺(tái)視覺伺服控制效果的仿真，設(shè)平臺(tái)的初始位姿為(0.8 m，1 m，π)，采樣時(shí)間為ts=15 ms，采樣循環(huán)為1 000次，利用前述對(duì)于移動(dòng)平臺(tái)運(yùn)動(dòng)學(xué)模型的構(gòu)建，得到參考系下基于圖像的視覺伺服控制輸出的平臺(tái)位姿，其控制的仿真迭代結(jié)果如圖5所示，其中，設(shè)Xp1方向?yàn)镵inect相機(jī)彩色圖像平面的水平方向，Yp1方向則為對(duì)應(yīng)豎直方向，Xp2方向?yàn)樯疃葓D像平面的水平方向，Yp2方向?yàn)閷?duì)應(yīng)豎直方向。

仿真顯示，在平臺(tái)開始運(yùn)動(dòng)的5 s內(nèi)，特征點(diǎn)在Kinect相機(jī)的初始像素坐標(biāo)均運(yùn)動(dòng)至期望的像素坐標(biāo)，其在圖像平面中的運(yùn)動(dòng)軌跡為直線，在期望像素坐標(biāo)附近，移動(dòng)平臺(tái)的速度及轉(zhuǎn)速減慢，且伴隨著收斂速度的減緩，移動(dòng)平臺(tái)在參考系中的位姿由初始時(shí)的(0.8，1，π)運(yùn)動(dòng)至(-0.033 6，0.848 6，3.099 7)，其運(yùn)動(dòng)的收斂時(shí)間及在彩色及深度相機(jī)的像素坐標(biāo)運(yùn)動(dòng)情況滿足控制要求。

圖5 移動(dòng)平臺(tái)的視覺伺服控制仿真

6 結(jié)束語

給出了基于Kinect的全向移動(dòng)平臺(tái)構(gòu)型，并推導(dǎo)其正逆運(yùn)動(dòng)學(xué)模型，建立基于圖像的視覺伺服控制的理論模型，設(shè)計(jì)伺服控制系統(tǒng)，提出控制中特征點(diǎn)的選取及提取的方式。為避免測(cè)量值受到干擾，給出雅可比矩陣中深度值的估計(jì)方法，討論不同增益值組合對(duì)平臺(tái)運(yùn)動(dòng)的影響，選擇符合實(shí)際要求的一組增益值，對(duì)控制系統(tǒng)進(jìn)行仿真，仿真結(jié)果表示其可行。