徐德

視覺可以為機(jī)器人提供外部信息,是機(jī)器人的重要信息源,是機(jī)器人實(shí)現(xiàn)自動作業(yè)以及自主作業(yè)的重要保障.因此,視覺在機(jī)器人領(lǐng)域具有重要的地位和作用.視覺伺服是利用視覺信息對機(jī)器人或者相機(jī)位姿進(jìn)行的伺服控制,其目標(biāo)是控制機(jī)器人或者相機(jī)快速到達(dá)期望的位姿.

視覺伺服涉及視覺信息與運(yùn)動的映射、特征選擇、控制律設(shè)計(jì)、視覺系統(tǒng)標(biāo)定等問題.早在1996年,Hutchinson等[1]撰寫了視覺伺服的教程,將視覺伺服按照控制系統(tǒng)的構(gòu)成方式分為基于位置的視覺伺服(Position-based visual servo)、基于圖像的視覺伺服(Image-based visual servo).其中,基于位置的視覺伺服在3D笛卡爾空間構(gòu)成閉環(huán)控制系統(tǒng),利用視覺信息獲得被觀測對象在笛卡爾空間的位置和姿態(tài),與期望的位置和姿態(tài)相比較形成誤差,根據(jù)該誤差設(shè)計(jì)控制律,控制機(jī)器人或者相機(jī)運(yùn)動;基于圖像的視覺伺服在2D圖像空間構(gòu)成閉環(huán)控制系統(tǒng),利用視覺信息獲得被觀測對象在圖像空間的特征,與期望的圖像特征相比較形成誤差,根據(jù)該誤差設(shè)計(jì)控制律,控制機(jī)器人或者相機(jī)運(yùn)動.1999年,Malis等[2]提出了混合視覺伺服方法.混合視覺伺服包含了在3D笛卡爾空間構(gòu)成的閉環(huán)控制系統(tǒng)和2D圖像空間構(gòu)成的閉環(huán)控制系統(tǒng),一部分自由度采用基于位置的視覺伺服,另一部分自由度采用基于圖像的視覺伺服.混合視覺伺服結(jié)合了基于位置和基于圖像的視覺伺服,既含有3D空間又含有2D空間的伺服控制,所以又稱為2.5D視覺伺服[3].2003年,Hashimoto[4]對工業(yè)機(jī)器人基于視覺的控制方法進(jìn)行了綜述,Kragic等[5]對基于位置、基于圖像的視覺伺服方法進(jìn)行了工業(yè)機(jī)器人的抓取實(shí)驗(yàn),Gans等[6]對不同的視覺伺服系統(tǒng)的性能進(jìn)行了測試.基于位置的視覺伺服在3D笛卡爾空間設(shè)計(jì)控制律,能夠保證系統(tǒng)的全局漸近穩(wěn)定,但相機(jī)標(biāo)定誤差和機(jī)器人的模型誤差對控制精度具有明顯影響.基于圖像的視覺伺服在2D圖像空間構(gòu)成閉環(huán),對相機(jī)標(biāo)定誤差和機(jī)器人的模型誤差不敏感,具有很高的穩(wěn)態(tài)控制精度,但控制系統(tǒng)只是局部穩(wěn)定,對于大幅度旋轉(zhuǎn)的伺服控制效果較差[6],而且圖像雅可比矩陣的奇異性也會導(dǎo)致伺服控制失敗.混合視覺伺服結(jié)合了基于位置和基于圖像的視覺伺服的優(yōu)點(diǎn),利用基于位置的視覺伺服對姿態(tài)進(jìn)行控制,可防止姿態(tài)變化過大導(dǎo)致的伺服失敗;利用基于圖像的視覺伺服對位置進(jìn)行控制,可提高位置控制精度;但單應(yīng)性矩陣(Homography matrix)的估計(jì)對圖像噪聲敏感,且需要對單應(yīng)性矩陣進(jìn)行分解.2005年,Marchand等[7]設(shè)計(jì)了視覺伺服平臺的Matlab工具箱,Mariottini等[8]設(shè)計(jì)了基于極線幾何視覺伺服的Matlab工具箱,為視覺伺服系統(tǒng)的設(shè)計(jì)和仿真提供了便利.2006年,Chaumette和Hutchinson[9?10]再度撰寫了視覺伺服的教程,分別介紹了視覺伺服的基本方法和先進(jìn)方法,基本方法包括基于位置的視覺伺服、基于圖像的視覺伺服,先進(jìn)方法包括2.5D混合視覺伺服、全分離式視覺伺服(Partitioned visual servo)、開關(guān)式視覺伺服(Switching visual servo)等.其中,全分離式視覺伺服選擇6個(gè)特征,對線速度和角速度的6個(gè)自由度分別進(jìn)行控制.開關(guān)式視覺伺服采用開關(guān)控制器選擇當(dāng)前的有效控制器[11?12],在誤差較大時(shí)選用基于位置的視覺伺服,在誤差較小時(shí)采用基于圖像的視覺伺服.2010年,Staniak等[13]以工業(yè)機(jī)器人趨近與抓取靜態(tài)對象的任務(wù)為背景,分別針對Eye-in-hand和Eye-to-hand視覺系統(tǒng),對基于位置、基于圖像、開關(guān)式視覺伺服進(jìn)行了分析和實(shí)驗(yàn),對影響穩(wěn)態(tài)誤差的因素進(jìn)行了分析和驗(yàn)證.2011年Janabi-Sharif i等[14]對基于位置和基于圖像的視覺伺服方法進(jìn)行了對比,包括系統(tǒng)穩(wěn)定性、魯棒性、靈敏性和在笛卡爾空間與圖像空間的動態(tài)性能.兩者均能夠局部漸近穩(wěn)定,而且對建模誤差局部魯棒,但笛卡爾空間與圖像空間的軌跡以及時(shí)間收斂性受到相機(jī)、對象和機(jī)器人建模誤差的影響.2015年,賈丙西等[15]對機(jī)器人視覺伺服進(jìn)行了綜述,重點(diǎn)介紹了視覺系統(tǒng)中改善動態(tài)性能和處理噪聲的方法.

視覺系統(tǒng)常用的構(gòu)成方式包括單目視覺和雙目立體視覺.雖然雙目立體視覺能夠測量特征點(diǎn)的三維坐標(biāo),便于構(gòu)成基于位置的視覺伺服控制系統(tǒng),但是其內(nèi)外參數(shù)標(biāo)定比較繁雜,與單目視覺相比成本較高,使用與維護(hù)的方便性較差.單目視覺具有成本較低、使用與維護(hù)較方便等特點(diǎn),受到機(jī)器人視覺領(lǐng)域研究人員的普遍重視,近年來針對視覺伺服的研究主要面向單目視覺系統(tǒng).因此,本文針對單目視覺系統(tǒng)討論視覺伺服.此外,現(xiàn)有的關(guān)于機(jī)器人視覺伺服的綜述或者教程,如Hutchinson等的視覺伺服教程[1,9?10],主要從視覺信息與運(yùn)動映射和控制律設(shè)計(jì)的角度討論視覺伺服,較少涉及特征選擇、視覺系統(tǒng)標(biāo)定等問題.為了更好地體現(xiàn)不同的視覺伺服方法的特點(diǎn),本文從視覺信息與運(yùn)動映射、控制律設(shè)計(jì)、特征選擇、視覺系統(tǒng)標(biāo)定等角度介紹視覺伺服近年來的研究進(jìn)展.

本文內(nèi)容安排如下:第1節(jié)介紹了視覺信息與運(yùn)動映射關(guān)系,包括交互矩陣、單應(yīng)性矩陣、基本矩陣.交互矩陣描述相機(jī)運(yùn)動與特征變化之間的關(guān)系,單應(yīng)性矩陣描述兩視點(diǎn)之間的位姿關(guān)系,基本矩陣描述兩視點(diǎn)之間的極線約束.第2節(jié)分別針對不同的誤差表征方式,討論了不同視覺伺服方法的控制律設(shè)計(jì).第3節(jié)對視覺伺服的關(guān)鍵問題進(jìn)行了討論,包括相機(jī)選擇、特征選擇、誤差表征、深度估計(jì)、位姿解耦、系統(tǒng)穩(wěn)定性、系統(tǒng)標(biāo)定等.第4節(jié)簡要介紹了視覺伺服的部分典型應(yīng)用,給出了未來發(fā)展的幾個(gè)方向.最后,對全文進(jìn)行了總結(jié).

1 視覺信息與運(yùn)動映射關(guān)系

視覺信息與運(yùn)動映射關(guān)系的獲取,主要包括交互矩陣、單應(yīng)性矩陣、基本矩陣等方式.

1.1 交互矩陣

交互矩陣(Interaction matrix)描述相機(jī)運(yùn)動與圖像特征變化之間的關(guān)系,又稱為圖像雅可比矩陣(Image Jacobian matrix).早在1992年,Chaumette等[16]推導(dǎo)了點(diǎn)、線和圓特征的交互矩陣.空間圓的交互矩陣較復(fù)雜,此處從略.

對于笛卡爾空間的特征點(diǎn),其3D空間位置在攝像機(jī)坐標(biāo)系中表示為(X,Y,Z),其在相機(jī)焦距歸一化成像平面上的成像點(diǎn)在攝像機(jī)坐標(biāo)系中表示為(x,y,1),則點(diǎn)特征的交互矩陣為[16]:

其中,Lp是點(diǎn)特征的交互矩陣.

將直線表示為兩個(gè)空間平面的交線:

其中,a1、b1、c1、d1、a2、b2、c2、d2為兩個(gè)平面的平面方程參數(shù).d1和d2不同時(shí)為零.

直線特征的交互矩陣見式(3).其中,ρ和θ為3D空間直線在相機(jī)焦距歸一化成像平面上的成像直線的極坐標(biāo)方程參數(shù).時(shí)i=1,d1=0時(shí)i=2.Lθ和Lρ分別是θ和ρ的交互矩陣.

由式(1)和式(3)可知,點(diǎn)、直線特征的交互矩陣是分別基于在相機(jī)焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)和直線參數(shù)的.因此,需要對相機(jī)進(jìn)行標(biāo)定,獲得相機(jī)的內(nèi)參數(shù).然后,根據(jù)圖像坐標(biāo)和相機(jī)內(nèi)參數(shù),計(jì)算出在相機(jī)焦距歸一化成像平面上的成像點(diǎn)坐標(biāo).從式(1)可以發(fā)現(xiàn),點(diǎn)特征交互矩陣Lp與深度Z相關(guān).在相機(jī)內(nèi)參數(shù)已知的情況下,x和y可以由圖像坐標(biāo)和相機(jī)內(nèi)參數(shù)計(jì)算獲得.如果點(diǎn)在相機(jī)坐標(biāo)系中的深度Z已知,那么Lp就可以確定.因此,如何估計(jì)深度Z成為獲取點(diǎn)特征的交互矩陣的關(guān)鍵.從式(3)可以發(fā)現(xiàn),求取直線特征的交互矩陣時(shí),需要已知含有該直線的平面在相機(jī)坐標(biāo)系中的平面方程.由于含有直線的平面在相機(jī)坐標(biāo)系中的平面方程難以獲得,制約了直線特征的交互矩陣在機(jī)器人視覺伺服中的應(yīng)用.

對于虛擬現(xiàn)實(shí)而言,可以在相機(jī)坐標(biāo)系中預(yù)先設(shè)定一個(gè)含有直線的平面,即含有直線的平面在相機(jī)坐標(biāo)系中的平面方程是已知的.因此,直線特征的交互矩陣能夠在虛擬現(xiàn)實(shí)中得到較好的應(yīng)用.例如,2006年Comport等[17]以當(dāng)前圖像特征作為期望值,以當(dāng)前相機(jī)位姿下場景投影到圖像的特征作為當(dāng)前值,通過視覺伺服控制攝像機(jī)的運(yùn)動,使得圖像特征的偏差最小化,從而實(shí)現(xiàn)虛擬現(xiàn)實(shí)中相機(jī)的位姿估計(jì).Comport等采用了點(diǎn)到直線的距離作為特征,其中的點(diǎn)是在圖像上的給定點(diǎn),其圖像坐標(biāo)保持不變.

為了克服含有直線的平面在相機(jī)坐標(biāo)系中的平面方程的制約,文獻(xiàn)[18]利用直線上相鄰點(diǎn)的極坐標(biāo)推導(dǎo)了直線特征的交互矩陣.從成像平面坐標(biāo)系原點(diǎn)到直線作垂線,得到垂線與直線的交點(diǎn)即垂點(diǎn).利用直線上垂點(diǎn)及其兩側(cè)小鄰域內(nèi)對稱的兩點(diǎn),推導(dǎo)出了直線特征的交互矩陣,見式(4).其中,Z0是垂足在相機(jī)坐標(biāo)系中的深度,Z1和Z2是垂足的兩個(gè)鄰點(diǎn)在相機(jī)坐標(biāo)系中的深度,ρ和θ是直線在相機(jī)焦距歸一化成像平面上的成像直線的極坐標(biāo)方程參數(shù),ρ1是成像平面坐標(biāo)系原點(diǎn)到垂足的一個(gè)鄰點(diǎn)的距離,Lθvx和Lθvy是Z1、Z2、ρ和θ的函數(shù),Lρ和Lθ分別是ρ和θ的交互矩陣.

對于垂直于攝像機(jī)光軸的直線,Z1=Z2,得到Lθvx=0,Lθvy=0.此時(shí),式(4)的Lθ改寫為:

式(5)交互矩陣與深度無關(guān),而且與平移無關(guān).由式(3)、式(4)和式(5)可以發(fā)現(xiàn),相機(jī)的旋轉(zhuǎn)運(yùn)動與θ變化之間的關(guān)系與深度無關(guān),即旋轉(zhuǎn)運(yùn)動與θ的交互矩陣Lθw與深度無關(guān),見式(6).因此,利用相機(jī)焦距歸一化成像平面上直線參數(shù)ρ和θ計(jì)算出式(6)的旋轉(zhuǎn)交互矩陣Lθw,可以用于姿態(tài)控制.

此外,Chaumette等[19?20]假設(shè)特征點(diǎn)均處于同一個(gè)平面內(nèi),基于點(diǎn)特征的交互矩陣以及平面方程,對各階矩的交互矩陣進(jìn)行了推導(dǎo),并推導(dǎo)出了橢圓、直線的矩的交互矩陣.Chaumette等采用基于二階矩的方向和兩個(gè)不變量矩,實(shí)現(xiàn)了對姿態(tài)的視覺伺服控制[19].2012年Lin等[21]定義了4個(gè)最低矩不變量,實(shí)現(xiàn)了基于模型的圖像跟蹤.基于矩的交互矩陣的視覺伺服,不需要特征提取與匹配,魯棒性強(qiáng)[22].

1.2 單應(yīng)性矩陣

單應(yīng)性矩陣描述了兩個(gè)視點(diǎn)之間的幾何關(guān)系,也是攝像機(jī)坐標(biāo)系中在焦距歸一化成像平面上特征點(diǎn)的位置矢量之間的關(guān)系.在相機(jī)坐標(biāo)系中,兩個(gè)視點(diǎn)下的特征點(diǎn)在焦距歸一化成像平面上的坐標(biāo)之間存在如下關(guān)系[3,23]:

其中,m=[x y1]T是特征點(diǎn)在當(dāng)前視點(diǎn)下在焦距歸一化成像平面上的位置矢量,m?=[x?y?1]T是特征點(diǎn)在期望視點(diǎn)下在焦距歸一化成像平面上的位置矢量,Z是特征點(diǎn)在當(dāng)前視點(diǎn)下的深度,Z?是特征點(diǎn)在期望視點(diǎn)下的深度,H是3×3的單應(yīng)性矩陣.

利用兩個(gè)視點(diǎn)下所采集的圖像中的4組及以上匹配特征點(diǎn),可以構(gòu)成一系列式(7)所示的方程,利用最小二乘法求解獲得單應(yīng)性矩陣.單應(yīng)性矩陣中只含外參數(shù),可以表示為:

其中,n?是期望視點(diǎn)的相機(jī)坐標(biāo)系原點(diǎn)到平面Π的單位法向量,d?是期望視點(diǎn)的相機(jī)坐標(biāo)系原點(diǎn)到平面Π的距離.R是當(dāng)前視點(diǎn)到期望視點(diǎn)的相機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣,t是當(dāng)前視點(diǎn)到期望視點(diǎn)的相機(jī)坐標(biāo)系之間的平移向量.Π是含有特征點(diǎn)的平面.

將H除以第3行第3列的元素,得到He.對He進(jìn)行奇異值分解,求解出R和e與t相差一個(gè)比例因子.R用于姿態(tài)控制,te用于位置控制,構(gòu)成基于位置的視覺伺服控制系統(tǒng).

1.3 基本矩陣

由兩個(gè)視點(diǎn)之間的極線幾何約束,得到特征點(diǎn)圖像坐標(biāo)的關(guān)系[23]:

基本矩陣F為3×3矩陣,包含了內(nèi)外參數(shù),形成兩幅圖像之間的極線幾何約束.利用8組及以上的匹配特征點(diǎn)得到的式(9)所示方程,采用最小二乘法估計(jì)出基本矩陣F.得到基本矩陣后,結(jié)合內(nèi)參數(shù)矩陣,計(jì)算出本質(zhì)矩陣E.

其中,A是相機(jī)的內(nèi)參數(shù)矩陣.

本質(zhì)矩陣只含外參數(shù),是在焦距歸一化成像平面上的幾何約束.由本質(zhì)矩陣E,計(jì)算出R和te,分別用于姿態(tài)控制和位置控制,構(gòu)成基于位置的視覺伺服控制系統(tǒng).

2 誤差表征與控制律設(shè)計(jì)

本節(jié)按照視覺信息與運(yùn)動映射關(guān)系的獲取方式,對視覺伺服控制律的設(shè)計(jì)進(jìn)行介紹.

2.1 基于交互矩陣的視覺伺服

2.1.1 基于點(diǎn)交互矩陣的傳統(tǒng)方法

傳統(tǒng)的基于點(diǎn)交互矩陣的視覺伺服,選擇n個(gè)特征點(diǎn)在相機(jī)的焦距歸一化成像平面上的坐標(biāo)作為圖像特征,利用圖像特征偏差和交互矩陣控制相機(jī)的運(yùn)動.當(dāng)特征點(diǎn)數(shù)量n≥4時(shí),其控制律見式(11),可使偏差按照指數(shù)規(guī)律下降[9,24].

其中,是相機(jī)的線速度,是相機(jī)的角速度,λ>0是系數(shù),是特征點(diǎn)的圖像坐標(biāo)偏差,是n個(gè)特征點(diǎn)交互矩陣Lpn的偽逆矩陣.

傳統(tǒng)的基于點(diǎn)交互矩陣的視覺伺服,屬于基于圖像的視覺伺服.計(jì)算交互矩陣Lpn時(shí),需要用到特征點(diǎn)在相機(jī)坐標(biāo)系的深度,涉及到特征點(diǎn)的深度獲取.該深度信息可以根據(jù)相機(jī)的運(yùn)動進(jìn)行在線估計(jì),但難以獲得準(zhǔn)確值.計(jì)算Lpn時(shí),可以采用在線估計(jì)的深度,也可以采用期望視點(diǎn)下的深度.文獻(xiàn)[9]分別采用在線估計(jì)深度計(jì)算的Lpn、期望視點(diǎn)下的深度計(jì)算的L?pn、以及二者的均值 (Lpn+L?pn)/2,進(jìn)行了視覺伺服實(shí)驗(yàn),三種情況下控制系統(tǒng)均收斂.其中,采用Lpn的視覺伺服收斂較快.

傳統(tǒng)的基于點(diǎn)交互矩陣的視覺伺服,在旋轉(zhuǎn)量較大時(shí)存在相機(jī)后退問題(Camera retreat),即相機(jī)沿法線方向離開目標(biāo)然后返回,屬于無效運(yùn)動[25].針對相機(jī)后退問題,Iwatsuki等[26]推導(dǎo)了柱面坐標(biāo)系下的點(diǎn)交互矩陣,基于柱面坐標(biāo)的視覺伺服可消除純旋轉(zhuǎn)時(shí)的相機(jī)后退現(xiàn)象.此外,在rank(Lpn)<6時(shí),式(11)控制律會造成相機(jī)速度過大,從而導(dǎo)致目標(biāo)丟失.

2000年,Kelly等[27]將點(diǎn)特征的交互矩陣與機(jī)械臂的雅可比矩陣相結(jié)合,構(gòu)成機(jī)器人的圖像雅可比矩陣.利用圖像雅可比矩陣的轉(zhuǎn)置,將圖像空間的特征偏差轉(zhuǎn)換為關(guān)節(jié)空間的力矩.在兩連桿機(jī)器人上進(jìn)行了控制實(shí)驗(yàn),取得了較好的效果.

2.1.2 基于點(diǎn)交互矩陣的分離式視覺伺服

2001年,Corke和Hutchinson[25]提出了一種分離式視覺伺服方法.將與Z方向相關(guān)的2個(gè)自由度的控制分離出來,其他的4個(gè)自由度利用基于交互矩陣的方法進(jìn)行控制.由式(1),得:

其中,是圖像特征的變化率,Lpxy是與X、Y方向運(yùn)動相關(guān)的交互矩陣,Lpz是與Z方向運(yùn)動相關(guān)的交互矩陣.(vx,vy,vz)和(ωx,ωy,ωz)分別為相機(jī)的線速度和角速度.一個(gè)點(diǎn)的交互矩陣Lpxy和Lpz見式(13).

由式(12),得:

其中,L+pxy是Lpxy的偽逆矩陣.

利用圖像空間特征點(diǎn)連線與水平方向的夾角作為繞Z軸旋轉(zhuǎn)的特征,用于確定ωz.利用特征點(diǎn)構(gòu)成的多邊形面積作為沿Z軸平移的特征,用于確定vz.獲得vz和ωz后,根據(jù)式(14)確定X、Y方向的運(yùn)動線速度和角速度.該方法可以消除傳統(tǒng)方法的相機(jī)后退問題[25].

2016年,Xu等[28]將旋轉(zhuǎn)和平移控制律分開設(shè)計(jì).利用式(11)計(jì)算出相機(jī)的角速度ω,然后利用式(15)計(jì)算線速度v.

2.1.3 基于多種特征交互矩陣的分離式視覺伺服

Tahri等[19]和Chaumette[20]選擇6個(gè)組合矩特征分別控制相機(jī)的6個(gè)自由度,實(shí)現(xiàn)了解耦的視覺伺服.以對象的重心表征沿X、Y軸平移,以對象的圖像面積作為表征深度Z的特征,采用橢圓長軸方向表征繞Z軸的旋轉(zhuǎn),以基于二階矩的兩個(gè)不變量矩的組合分別控制繞X、Y軸的旋轉(zhuǎn).該方法的優(yōu)點(diǎn)是針對對象的圖像計(jì)算矩,不需要點(diǎn)匹配,魯棒性較強(qiáng).缺點(diǎn)是旋轉(zhuǎn)控制并不能完全解耦.在對象表面平行于成像平面時(shí),繞X、Y軸的旋轉(zhuǎn)是解耦的,但對象表面不平行于成像平面時(shí),旋轉(zhuǎn)控制仍然存在耦合問題.

2008年,徐德等[29]針對矩形對象,選擇其圖像重心表征沿X、Y軸平移,以對象的圖像面積作為表征深度Z的特征,以矩形兩長邊中心線的方向角表征繞Z軸的旋轉(zhuǎn),分別以長邊和短邊的變化表征繞X、Y軸的旋轉(zhuǎn).利用上述6個(gè)特征分別控制相機(jī)的6個(gè)自由度,能夠?qū)崿F(xiàn)解耦的視覺伺服.2012年,Anh等[30]采用SURF特征搜索并分割對象,將對象的區(qū)域標(biāo)注為四邊形ROI(Region of interest),采用上述6個(gè)特征分別控制機(jī)械臂末端相機(jī)的6個(gè)自由度,實(shí)現(xiàn)了解耦的視覺伺服,能夠控制機(jī)械臂快速對對象進(jìn)行趨近和對準(zhǔn).這種方法的優(yōu)點(diǎn)是特征與運(yùn)動之間的關(guān)系比較簡單、直觀,缺點(diǎn)是限制條件比較苛刻,對象在期望位姿下的成像必需為矩形且矩形的邊需要平行于成像平面的x、y軸,應(yīng)用受到極大的制約.此外,這種方法的解耦并不完善,導(dǎo)致運(yùn)動過程中存在較大的波動.

2017年,Xu等[31]提出了一種采用多種特征的分離式視覺伺服方法.對點(diǎn)、線、面特征的靈敏性進(jìn)行了分析,點(diǎn)特征對沿相機(jī)坐標(biāo)系X、Y軸的平移靈敏性高,面特征對沿相機(jī)坐標(biāo)系Z軸的運(yùn)動非常靈敏,直線特征對旋轉(zhuǎn)非常靈敏.因此,采用式(6)所示的直線交互矩陣控制旋轉(zhuǎn)運(yùn)動,設(shè)計(jì)了旋轉(zhuǎn)運(yùn)動控制律.采用點(diǎn)特征和面特征的交互矩陣控制平移運(yùn)動,并對旋轉(zhuǎn)運(yùn)動導(dǎo)致的平移在平移控制律中進(jìn)行了補(bǔ)償.旋轉(zhuǎn)和平移控制律分開設(shè)計(jì),選擇的靈敏特征有利于保證交互矩陣的秩為3,消除了交互矩陣的奇異問題.此外,旋轉(zhuǎn)運(yùn)動對平移運(yùn)動的補(bǔ)償,有利于將對象保持在相機(jī)的視野中,避免視覺伺服失敗問題.

2.2 基于單應(yīng)性矩陣的視覺伺服

2.2.1 基于單應(yīng)性矩陣的傳統(tǒng)方法

利用單應(yīng)性矩陣分解獲得姿態(tài)矩陣R和帶比例因子的平移矢量e后,將R轉(zhuǎn)換為轉(zhuǎn)軸和轉(zhuǎn)角θ表示的姿態(tài).基于單應(yīng)性矩陣的傳統(tǒng)方法為基于位置的視覺伺服[9],視覺伺服的目標(biāo)是使得相機(jī)從當(dāng)前視點(diǎn)運(yùn)動到期望視點(diǎn).選擇兩個(gè)視點(diǎn)之間的位移矢量和軸角θ作為特征.在當(dāng)前相機(jī)坐標(biāo)系下,位置誤差為,姿態(tài)誤差為θ.相機(jī)運(yùn)動與特征之間的交互矩陣為:

其中,

其中,I3是3×3的單位陣,是的反斜對稱矩陣.

可見,在相機(jī)坐標(biāo)系下,基于單應(yīng)性矩陣的傳統(tǒng)視覺伺服方法為解耦控制.相機(jī)在笛卡爾空間的運(yùn)動軌跡為直線.但隨著相機(jī)姿態(tài)的變化,對象上的有些特征點(diǎn)可能出視野,會導(dǎo)致視覺伺服失敗.此外,單應(yīng)性矩陣的誤差以及分解為R和te時(shí)產(chǎn)生的誤差,會導(dǎo)致系統(tǒng)存在穩(wěn)態(tài)誤差.

2.2.2 基于單應(yīng)性矩陣的解耦控制

2007年Benhimane等[32]提出了一種直接利用單應(yīng)性矩陣的解耦視覺伺服方法.該方法不需要對單應(yīng)性矩陣進(jìn)行分解,在圖像空間實(shí)現(xiàn)視覺伺服.利用單應(yīng)性矩陣構(gòu)造了分別描述位移和姿態(tài)誤差的特征,見式(20).基于這些特征設(shè)計(jì)的控制律見式(21),可實(shí)現(xiàn)控制系統(tǒng)的局部穩(wěn)定.2014年P(guān)linval等[33]利用上述方法,實(shí)現(xiàn)了無人直升機(jī)對地面目標(biāo)的視覺跟蹤.2015年Jia等[34]利用上述方法,結(jié)合迭代學(xué)習(xí)控制實(shí)現(xiàn)了工業(yè)機(jī)器人軌跡跟蹤.

當(dāng)相機(jī)到達(dá)期望視點(diǎn)的位姿時(shí),R=I3,te=0,此時(shí)H=I3.由式(20)可知,此時(shí)位移誤差ev=0,姿態(tài)誤差ew=0.這說明在穩(wěn)態(tài)時(shí),采用式(20)描述的誤差與實(shí)際相符.

將式(22)中的H代入式(20),得到:

在R=I3,時(shí),解耦后應(yīng)該沒有旋轉(zhuǎn).但式(23)表明,利用H?HT表征姿態(tài)誤差時(shí),會導(dǎo)致相機(jī)繞X、Y軸的旋轉(zhuǎn).因此,該方法實(shí)際上并沒有實(shí)現(xiàn)位置與姿態(tài)的真正解耦,在視覺伺服過程中存在姿態(tài)與位置的耦合問題,會導(dǎo)致姿態(tài)控制上有超調(diào).

為解決上述問題,2012年Silveira等[35]對H進(jìn)行了重新定義,令H=A?1GA,G=ARA?1.于是,H與R等價(jià).將式(20)的第1式位置誤差修改為e,此處的是極點(diǎn)的圖像坐標(biāo).

2.2.3 2.5D視覺伺服

1999年Malis等[2]提出了一種基于單應(yīng)性矩陣的混合視覺伺服方法,在3D笛卡爾空間進(jìn)行姿態(tài)控制,在2D圖像空間進(jìn)行位置控制.定義了特征點(diǎn)在焦距歸一化成像平面上的擴(kuò)展坐標(biāo),在當(dāng)前視點(diǎn)下的擴(kuò)展坐標(biāo)為,在期望視點(diǎn)下的擴(kuò)展坐標(biāo)為.擴(kuò)展坐標(biāo)用于在圖像空間的位置控制.由單應(yīng)性矩陣H分解出姿態(tài)矩陣R,轉(zhuǎn)換為用于姿態(tài)控制[36].系統(tǒng)的誤差定義為.相機(jī)運(yùn)動速度與誤差之間的交互矩陣為

其中,Lev是相機(jī)線速度與擴(kuò)展坐標(biāo)之間的交互矩陣,Lew是相機(jī)角速度與擴(kuò)展坐標(biāo)之間的交互矩陣.

設(shè)計(jì)的控制律為:

顯然,混合視覺伺服需要獲得兩個(gè)視點(diǎn)之間的姿態(tài)矩陣R.2000年,Malis等[3]介紹了估計(jì)兩個(gè)視點(diǎn)之間位姿的方法,包括8點(diǎn)法估計(jì)基本矩陣、虛擬平面法估計(jì)單應(yīng)性矩陣等.獲得基本矩陣或者單應(yīng)性矩陣后,經(jīng)過分解獲得姿態(tài)矩陣R.針對多特征點(diǎn)問題,Malis等[37]于2003年給出了輪廓上多特征點(diǎn)的視覺伺服方法,位置控制部分仍然采用3×3的交互矩陣Lev和Lew,交互矩陣的每個(gè)元素采用單點(diǎn)特征交互矩陣相應(yīng)元素的均值.為解決特征選擇與匹配問題,2005年Malis等[38]將視覺跟蹤和視覺伺服技術(shù)相結(jié)合,提出了基于模板的視覺伺服.將ESM(Efficient second-order minimization)算法用于視覺跟蹤,在幀間偏移量較大的情況下,可以實(shí)現(xiàn)基于模板的跟蹤以及對單應(yīng)性矩陣的實(shí)時(shí)估計(jì).

2005年 Chen等[39?40]針對 Eye-in-hand和Eye-to-hand視覺系統(tǒng),采用上述2.5D視覺伺服方法設(shè)計(jì)了控制系統(tǒng).Chen等分別給出了開環(huán)系統(tǒng)和閉環(huán)系統(tǒng),開環(huán)系統(tǒng)是攝像機(jī)與目標(biāo)相對運(yùn)動的特性,閉環(huán)系統(tǒng)是增加控制律后的系統(tǒng).利用基于Lyapunov穩(wěn)定性的自適應(yīng)控制策略補(bǔ)償對象模型未知和深度未知帶來的影響,實(shí)現(xiàn)了機(jī)器人末端對笛卡爾空間期望軌跡的有效跟蹤.

2009年,Hu等[41]在相機(jī)的內(nèi)參數(shù)未知情況下,利用消失點(diǎn)計(jì)算出單應(yīng)性矩陣.由于視點(diǎn)到消失點(diǎn)的距離為∞,由式(8)可知,此時(shí)計(jì)算出的單應(yīng)性矩陣就是攝像機(jī)兩個(gè)視點(diǎn)之間的相對姿態(tài)矩陣.將姿態(tài)表示為四元數(shù)[41?42],設(shè)計(jì)了高增益魯棒控制器用于姿態(tài)控制.設(shè)計(jì)了用于位置控制的自適應(yīng)控制器,針對未知的深度信息和攝像機(jī)內(nèi)參數(shù)進(jìn)行了補(bǔ)償.

Dixon等[43?44]將單應(yīng)性矩陣H用于移動機(jī)器人控制,只考慮移動機(jī)器人在平面內(nèi)的2自由度平移和1自由度旋轉(zhuǎn).估計(jì)H后,分解獲得θ和位置偏差.設(shè)計(jì)控制律時(shí),先計(jì)算角速度,然后基于角速度計(jì)算線速度.Lopez-Nicolas等[45]定義了移動機(jī)器人的3種路徑,分別為旋轉(zhuǎn)、直線、對數(shù)螺旋曲線路徑.直接利用單應(yīng)性矩陣的元素,針對3種路徑設(shè)計(jì)多階段式的控制算法.

基于單應(yīng)性矩陣的2.5D視覺伺服,單應(yīng)性矩陣的估計(jì)誤差以及分解出R時(shí)產(chǎn)生的誤差,會導(dǎo)致系統(tǒng)存在穩(wěn)態(tài)誤差.為此,2011年Zhang等[46]不采用單應(yīng)性矩陣,而是在考慮移動機(jī)器人的2自由度平移和1自由度旋轉(zhuǎn)的約束情況下,直接估計(jì)旋轉(zhuǎn)角和平移量.然后,旋轉(zhuǎn)采用基于位置的控制,平移采用基于圖像的控制,形成2.5D混合視覺伺服.

2.3 基于基本矩陣的視覺伺服

基于基本矩陣的視覺伺服,利用極線幾何約束形成方程(9),在圖像空間估計(jì)兩個(gè)視點(diǎn)之間的基本矩陣F,然后結(jié)合內(nèi)參數(shù)矩陣計(jì)算本質(zhì)矩陣E.也可以在焦距歸一化成像空間,利用估計(jì)本質(zhì)矩陣E.對本質(zhì)矩陣E分解獲得旋轉(zhuǎn)矩陣R和平移向量te,用于對姿態(tài)和位置的控制.

1999年Basri等[47]利用估計(jì)本質(zhì)矩陣E.利用E t=0求解出,然后利用求解帶有比例因子,在的基礎(chǔ)上,利用3個(gè)視點(diǎn)構(gòu)成的直線交比不變性確定出t.由于不可逆,所以采用其第3列,采用E的前兩列叉乘作為第3列,保留和E的前兩列,構(gòu)成新的等式.兩邊乘以的逆,獲得旋轉(zhuǎn)矩陣R.利用獲得的R和t分別控制姿態(tài)和平移,將相機(jī)從當(dāng)前視點(diǎn)運(yùn)動到期望視點(diǎn).2009年Sebastian等[48]將式(9)作為約束,引入基于圖像雅可比矩陣的視覺伺服,提高了視覺伺服的魯棒性.

基于極線幾何的視覺方法,在移動機(jī)器人的控制中比較常見[49?53].例如,文獻(xiàn)[49]和[50]采用基于極線幾何的方法,設(shè)計(jì)了對準(zhǔn)、趨近策略,第1步對準(zhǔn)目標(biāo),第2步接近目標(biāo),實(shí)現(xiàn)了移動機(jī)器人對目標(biāo)的趨近.2013年,Montijano等[52]利用極線幾何約束,實(shí)現(xiàn)了多移動機(jī)器人的一致性控制.2014年,Mitic等[53]提出了一種基于演示和極線約束的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法,用于非完整約束移動機(jī)器人的視覺控制.

在視覺伺服的收斂過程中,在當(dāng)前圖像與期望圖像比較接近時(shí),極線約束退化.此時(shí),難以準(zhǔn)確估計(jì)兩個(gè)視點(diǎn)之間的位姿[10].

2.4 其他視覺伺服方法

2002年Andref f等[54]提出了基于線特征的視覺伺服,實(shí)現(xiàn)了姿態(tài)與位置控制的解耦.直線的方向在3D笛卡爾空間進(jìn)行估計(jì),不同方向直線的交匯點(diǎn)作為特征點(diǎn)用于位置控制.當(dāng)不同方向的直線形成正交三面體(Orthogonal trihedron)時(shí),控制律與深度無關(guān),控制系統(tǒng)漸近穩(wěn)定.其他情況下,需要采用激光器測距獲得交匯點(diǎn)的深度信息.交匯點(diǎn)的深度獲取問題,限制了該方法的應(yīng)用.

2008年,Wang等[55]提出了分別采用點(diǎn)、線特征的自適應(yīng)視覺伺服方法.基于相機(jī)透視成像模型和機(jī)器人模型,分別推導(dǎo)了點(diǎn)、線特征的圖像雅可比矩陣,并分別利用其轉(zhuǎn)置將特征偏差轉(zhuǎn)化為關(guān)節(jié)力矩.該方法將深度Z作為公共項(xiàng)從點(diǎn)、線交互矩陣中提出,剩余的交互矩陣不含有深度Z,稱為深度無關(guān)的交互矩陣.利用該方法在3自由度機(jī)械臂上進(jìn)行的實(shí)驗(yàn)中,機(jī)械臂末端位置的變化范圍很小,X、Y、Z方向的變化范圍均為mm級.實(shí)際上,如果不對深度進(jìn)行估計(jì),則該方法相當(dāng)于采用了固定深度Z=1.在深度變化較大的情況下,視覺伺服過程中產(chǎn)生的機(jī)器人末端軌跡會存在較大波動.2013年Liu等[56]分別推導(dǎo)了距離、角度、面積、質(zhì)心的圖像雅可比矩陣,但僅利用質(zhì)心坐標(biāo)的交互矩陣進(jìn)行了3自由度機(jī)器人的視覺伺服實(shí)驗(yàn).利用質(zhì)心的交互矩陣轉(zhuǎn)置,將特征偏差轉(zhuǎn)化為關(guān)節(jié)力矩,控制機(jī)器人的運(yùn)動.同樣的,深度相當(dāng)于固定值Z=1.

將多種控制器相結(jié)合,有利于發(fā)揮不同視覺伺服方法的優(yōu)勢.例如,2010年Lopez-Nicolas等[57]的前兩列叉乘作為分別基于兩個(gè)視點(diǎn)之間的單應(yīng)性矩陣和極線幾何設(shè)計(jì)了兩個(gè)控制器,利用開關(guān)控制律將這兩個(gè)控制器結(jié)合在一起,可避免基于單應(yīng)性矩陣或極線幾何的單一控制器的不足.

部分研究人員將對象的CAD模型作為先驗(yàn)知識用于視覺伺服[58?62].例如,Marchand等[59]提出了一種基于對象的2D-3D模型的視覺跟蹤方法,首先在2D空間對對象進(jìn)行跟蹤,然后在3D空間對對象進(jìn)行跟蹤.其中,2D空間的跟蹤基于仿射變換,3D空間的跟蹤基于CAD模型匹配[60].2005年Yesin等[61]針對微裝配,設(shè)計(jì)了基于CAD模型的跟蹤方法.2010年Tamadazte等[62]設(shè)計(jì)了一種基于CAD模型的跟蹤方法,采用點(diǎn)到直線的交互矩陣,實(shí)現(xiàn)了微裝配的視覺控制.

2011年Dame等[63]提出了一種基于互信息(Mutual information)的視覺伺服方法,以整幅圖像作為參考,將參考圖像的熵加當(dāng)前圖像的熵減去兩者的聯(lián)合熵定義為互信息特征,推導(dǎo)了互信息特征的交互矩陣.該方法的優(yōu)點(diǎn)是不需要匹配或者跟蹤圖像特征,對于光照變化魯棒,而且在同一個(gè)任務(wù)中可以有不同的圖像模式.該方法具有較高的精度,但笛卡爾空間的運(yùn)動路徑不夠合理,收斂速度較慢.

3 若干關(guān)鍵問題

3.1 相機(jī)選擇

常用的相機(jī)類型包括透視投影相機(jī)和全景相機(jī)等.透視投影相機(jī)可以采用小孔模型描述,應(yīng)用比較廣泛.在鏡頭畸變較小可以忽略或者經(jīng)過畸變校正后,透視投影相機(jī)的成像具有下列特點(diǎn):直線的圖像仍然是直線,不同視點(diǎn)下具有極線幾何約束.上述特點(diǎn)為點(diǎn)、線特征提取,特別是直線特征提取,帶來較大的便利.針對透視投影相機(jī)采集的圖像,提取出特征點(diǎn)后,可以計(jì)算交互矩陣、單應(yīng)性矩陣、基本矩陣等,進(jìn)而用于視覺伺服.事實(shí)上,前面討論的交互矩陣、單應(yīng)性矩陣、基本矩陣等,都是基于透視投影相機(jī)模型的.可見,透視投影相機(jī)適合于對對象的視覺跟蹤,即適合于視覺伺服.全景相機(jī)可以采用球面模型描述,在移動機(jī)器人中應(yīng)用較多.全景相機(jī)由二次曲面反射鏡和透視投影相機(jī)構(gòu)成,二次曲面反射鏡將360度方向的場景反射到透視投影相機(jī),成像后的圖像因尺度壓縮不同而具有很大畸變.全景相機(jī)能夠直接給出對象的方位,在移動機(jī)器人的路徑跟蹤和對象跟蹤中具有優(yōu)勢[64?67].例如,2008年Hadj-Abdelkader等[66]針對中心折返式全景相機(jī),推導(dǎo)出直線特征的交互矩陣,分別實(shí)現(xiàn)了6自由度機(jī)械臂和非完整約束移動機(jī)器人的視覺伺服.2010年Becerra等[67]基于1D的三視張量,實(shí)現(xiàn)了移動機(jī)器人的全向視覺控制.

3.2 特征選擇與誤差表征

視覺系統(tǒng)的常用特征包括點(diǎn)、直線、圓、面積、矩[67?70]、熵[71]等特征.一般地,點(diǎn)特征的抗干擾能力較差,直線和圓特征的抗干擾能力較強(qiáng),面積和矩特征的抗干擾能力最強(qiáng).在視覺伺服中,上述特征均有應(yīng)用[72?84].例如,2005年Mahony等[74]利用平行線Plcker坐標(biāo)構(gòu)成圖像特征,實(shí)現(xiàn)了4旋翼無人機(jī)基于圖像的視覺伺服.2008年Mahony等[75]采用質(zhì)心和光流特征,實(shí)現(xiàn)了基于動態(tài)圖像的視覺伺服.2010年Lopez-Nicolas等[77]采用三視點(diǎn)張量構(gòu)成交互矩陣,2017年Chen等[78]采用三視點(diǎn)張量估計(jì)方向和帶比例因子的位移,實(shí)現(xiàn)了移動機(jī)器人的視覺伺服.1998年Lane等[80]基于光流進(jìn)行運(yùn)動估計(jì)和目標(biāo)識別,但光流法可有效跟蹤的自由度較少[81].2012年Lin等[21]定義了4個(gè)低階矩不變量,實(shí)現(xiàn)了基于模型的視覺跟蹤.2013年Zhao等[82]利用改進(jìn)的圖像矩,實(shí)現(xiàn)了6自由度機(jī)器人的基于圖像的視覺伺服.2011年Fomena等[84]基于球面投影設(shè)計(jì)了一種位置與姿態(tài)分離的視覺伺服方法.其中,利用3個(gè)點(diǎn)的球面投影的笛卡爾空間距離,構(gòu)成3個(gè)旋轉(zhuǎn)不變量,用于位置控制;利用兩個(gè)點(diǎn)的圖像確定轉(zhuǎn)軸和轉(zhuǎn)角,用于姿態(tài)控制.

雖然點(diǎn)特征的抗干擾能力較差,但點(diǎn)特征既可用于基于交互矩陣的視覺伺服,又可用于基于單應(yīng)性矩陣和基于基本矩陣的視覺伺服.點(diǎn)特征用于基于交互矩陣的視覺伺服時(shí),由多個(gè)點(diǎn)特征計(jì)算點(diǎn)交互矩陣,在圖像空間實(shí)現(xiàn)視覺伺服.點(diǎn)特征用于基于單應(yīng)性矩陣的視覺伺服時(shí),利用4個(gè)及以上的點(diǎn)特征計(jì)算單應(yīng)性矩陣H.點(diǎn)特征用于基于基本矩陣的視覺伺服時(shí),利用8個(gè)及以上的點(diǎn)特征計(jì)算基本矩陣F.H或F分解出姿態(tài)矩陣R和平移向量te后,在笛卡爾空間實(shí)現(xiàn)視覺伺服.直線、圓、面積、矩等特征僅用于基于交互矩陣的視覺伺服,分別計(jì)算出其交互矩陣后,在圖像空間實(shí)現(xiàn)視覺伺服.

選擇的特征不同,對應(yīng)的誤差表征方式也不同.對于點(diǎn)特征,其誤差表征方式包括圖像特征偏差、笛卡爾空間偏差、式(20)所示的.值得注意的是,式(20)所示的是作為笛卡爾空間誤差對待的,但實(shí)際上它們既不屬于笛卡爾空間,也不屬于圖像空間.對于直線特征,其誤差表征方式為直線在焦距歸一化成像平面上的極坐標(biāo)參數(shù)ρ、θ的偏差.其中,θ的偏差較常用.對于圓特征,表征誤差的方式為圖像空間橢圓的二元二次方程的系數(shù)偏差,共5個(gè)參數(shù)[16].對于面積和矩等特征,表征誤差的方式為圖像空間的面積偏差和矩的偏差.在確定了特征以及誤差表征方式后,就確定了是在圖像空間還是在笛卡爾空間設(shè)計(jì)控制律.

部分研究人員采用對象的整體特征,以避免特征提取與匹配[35,85?87].例如,2011年Collewet等[85]利用所有像素點(diǎn)的亮度作為特征,采用基于交互矩陣的視覺伺服,實(shí)現(xiàn)了對目標(biāo)的定位與跟蹤.2012年Silveira等[35]提出了一種直接視覺伺服方法,利用對象的像素強(qiáng)度進(jìn)行匹配優(yōu)化,估計(jì)當(dāng)前視點(diǎn)與期望視點(diǎn)之間的投影參數(shù),如含有姿態(tài)的矩陣G=ARA?1和極點(diǎn)等.該方法可避免特征點(diǎn)提取與匹配,提高魯棒性.

3.3 深度估計(jì)

由式(1)可知,點(diǎn)交互矩陣與深度有關(guān),基于點(diǎn)交互矩陣的視覺伺服需要估計(jì)深度.在相機(jī)的運(yùn)動已知的情況下,可以根據(jù)相機(jī)運(yùn)動和特征點(diǎn)的變化估計(jì)深度,見式(28).此外,在當(dāng)前視點(diǎn)與期望視點(diǎn)的深度相差不是很大時(shí),可以采用期望視點(diǎn)的深度,見第2.1.1節(jié).

2008年Luca等[88]提出了一種基于狀態(tài)觀測器的深度估計(jì)方法.定義狀態(tài)為,輸出為,其中,(u,v)是特征點(diǎn)的圖像坐標(biāo),(u0,v0)是光軸中心點(diǎn)即主點(diǎn)的圖像坐標(biāo).Luca等建立了狀態(tài)方程,設(shè)計(jì)了狀態(tài)觀測器.在相機(jī)運(yùn)動為非純旋轉(zhuǎn)的情況下,利用觀測器可以得到深度Z.但在相機(jī)進(jìn)行純旋轉(zhuǎn)運(yùn)動時(shí),不能對深度進(jìn)行觀測.2010年Cheah等[89]設(shè)計(jì)了一種基于自適應(yīng)雅可比矩陣的視覺控制方法,將深度作為機(jī)器人關(guān)節(jié)角的函數(shù),根據(jù)機(jī)器人的關(guān)節(jié)角對深度信息進(jìn)行估計(jì).該方法將深度與機(jī)器人的關(guān)節(jié)角關(guān)聯(lián),具有較大的局限性.

在基于單應(yīng)性矩陣的2.5D視覺伺服中,ρ1=Z/d?,ρ2=Z/Z?.ρ2可以利用式 (7)估計(jì),如果期望視點(diǎn)下的Z?和d?已知,則可以計(jì)算出ρ1.在基于基本矩陣的視覺伺服中,利用兩個(gè)視點(diǎn)的極線幾何估計(jì)出的位置矢量te帶比例因子,給控制帶來不便.為解決上述問題,部分研究人員采用三視幾何方法[47,50].例如,Basri等[47]利用3個(gè)視點(diǎn)構(gòu)成的直線交比不變性確定出t.Becerra等[50]以增加中間輔助視點(diǎn)的方式,將視覺伺服分為對準(zhǔn)和趨近目標(biāo)兩步,第1步調(diào)整姿態(tài)和位置從而對準(zhǔn)目標(biāo),第2步保持姿態(tài)并調(diào)整位置以便趨近目標(biāo).該方法對相機(jī)的標(biāo)定誤差不靈敏.

部分研究人員采用其他輔助傳感器獲得深度.例如,2009年Xie等[90]采用激光結(jié)構(gòu)光測距獲得特征的深度信息,將位置控制與姿態(tài)控制分離,設(shè)計(jì)了開關(guān)式視覺伺服方法.該方法包括3個(gè)階段,分別為旋轉(zhuǎn)階段、平移階段和精確對準(zhǔn)階段.其中,在平移階段,采用矩形的4個(gè)角點(diǎn)和激光光斑作為特征,旋轉(zhuǎn)量設(shè)定為0,采用測距獲得的深度計(jì)算平移圖像雅可比矩陣,利用基于圖像的視覺伺服將圖像特征移動到期望特征附近.

深度估計(jì)的準(zhǔn)確性對視覺伺服的性能具有重要影響.在視覺伺服中如何有效估計(jì)深度,仍然是亟待解決的問題.

3.4 位姿解耦

位置控制與姿態(tài)控制的耦合作用給視覺伺服系統(tǒng)的性能帶來不利影響,位姿解耦的目的是消除位置控制與姿態(tài)控制之間的耦合.但實(shí)際上,位置控制與姿態(tài)控制之間的耦合作用是難以消除的.例如,第2.2.1節(jié)的基于位置的視覺伺服方法,雖然位置控制和姿態(tài)控制在控制律上是解耦的,但在運(yùn)行過程中,姿態(tài)控制會對相機(jī)的位置控制產(chǎn)生影響,姿態(tài)與位置的耦合作用并不能夠消除.在姿態(tài)調(diào)整量較大的情況下,對象可能出相機(jī)的視野,導(dǎo)致視覺伺服失敗.類似地,第2.2.2節(jié)的解耦控制和第2.2.3節(jié)的2.5D視覺伺服,也存在上述問題.Anh等[30]的分離控制方法,分別選擇表征位置、姿態(tài)的6個(gè)特征,針對每一個(gè)自由度分別設(shè)計(jì)控制器.這種選擇不同特征的分離控制方法,同樣存在耦合影響問題.

另一種思路是在設(shè)計(jì)控制律時(shí)考慮耦合影響.對于安裝在6自由度工業(yè)機(jī)器人末端的相機(jī),相機(jī)的平移對表征姿態(tài)的特征不會產(chǎn)生影響,但相機(jī)的旋轉(zhuǎn)會對表征位置的特征產(chǎn)生影響.因此,在設(shè)計(jì)工業(yè)機(jī)器人的視覺伺服控制律時(shí),可以先設(shè)計(jì)旋轉(zhuǎn)控制律,再設(shè)計(jì)平移控制律,并對旋轉(zhuǎn)運(yùn)動導(dǎo)致的平移在平移控制律中進(jìn)行補(bǔ)償,從而降低旋轉(zhuǎn)對平移的影響[28,31].對于安裝在移動機(jī)器人上的相機(jī),由于受非完整性約束(Nonholonomic constraints),相機(jī)在垂直于移動機(jī)器人前進(jìn)的側(cè)向上不能直接平移,只能結(jié)合旋轉(zhuǎn)運(yùn)動才能產(chǎn)生側(cè)向移動,平移與旋轉(zhuǎn)的耦合更加緊密.因此,在設(shè)計(jì)移動機(jī)器人的視覺伺服控制律時(shí),往往先設(shè)計(jì)旋轉(zhuǎn)控制律,再結(jié)合旋轉(zhuǎn)角速度設(shè)計(jì)平移控制律[51].文獻(xiàn)[49]和[50]將移動機(jī)器人的視覺伺服分為兩個(gè)階段,第1階段為對準(zhǔn),通過旋轉(zhuǎn)運(yùn)動使得移動機(jī)器人正對著被跟蹤對象;第2階段為趨近,通過向前平移運(yùn)動使得移動機(jī)器人接近被跟蹤對象.在設(shè)計(jì)控制律時(shí),結(jié)合運(yùn)動機(jī)構(gòu)的特性,考慮姿態(tài)控制與位置控制的耦合作用,對于改善視覺伺服系統(tǒng)的性能具有重要作用.但也有研究人員給定移動機(jī)器人的前進(jìn)速度,然后只設(shè)計(jì)移動機(jī)器人的旋轉(zhuǎn)控制律.例如,2011年Cherubini等[91]設(shè)定非完整約束移動機(jī)器人以恒速運(yùn)動,分別采用基于姿態(tài)和基于圖像的視覺伺服方法,計(jì)算出移動機(jī)器人的角速度,實(shí)現(xiàn)對路徑的趨近與跟蹤.

3.5 系統(tǒng)穩(wěn)定性與目標(biāo)丟失

理論上,基于圖像的視覺伺服系統(tǒng),能夠?qū)崿F(xiàn)局部穩(wěn)定;基于位置的視覺伺服系統(tǒng),能夠?qū)崿F(xiàn)全局漸近穩(wěn)定[92].對于基于位置的視覺伺服系統(tǒng),只要被跟蹤對象處于相機(jī)視野內(nèi),且獲得的相機(jī)當(dāng)前位姿正確,則通過合理選擇控制參數(shù)能夠保證系統(tǒng)的穩(wěn)定性[93].對于基于圖像的視覺伺服系統(tǒng),在采用點(diǎn)特征時(shí),存在多解問題和交互矩陣奇異問題.由PnP(Perspective-n-point)問題可知,對于1組特征點(diǎn)的圖像坐標(biāo),相機(jī)可能有多個(gè)對應(yīng)視點(diǎn),即存在多解.如果不對笛卡爾空間的特征點(diǎn)進(jìn)行約束,即使有無窮多個(gè)特征點(diǎn),也會存在多解問題[94].多解問題對于控制非常不利,會導(dǎo)致出現(xiàn)較大的波動.如果4個(gè)可區(qū)分的特征點(diǎn)共面且其中任意3個(gè)特征點(diǎn)不共線,則PnP問題具有唯一解.因此,對于基于點(diǎn)交互矩陣的視覺伺服,需要選擇至少4個(gè)共面特征點(diǎn),且需要滿足4個(gè)共面特征點(diǎn)中任意3個(gè)特征點(diǎn)不共線.在交互矩陣的秩小于6時(shí),可以增加補(bǔ)償項(xiàng),避免出現(xiàn)相機(jī)速度過高現(xiàn)象.

無論基于圖像的視覺伺服還是基于位置的視覺伺服,都存在目標(biāo)丟失問題.一旦被跟蹤對象從相機(jī)的視野中丟失,則導(dǎo)致視覺伺服失敗.為解決目標(biāo)丟失問題,研究人員提出了一系列策略[95?106].最簡單的方法是對旋轉(zhuǎn)量進(jìn)行限制,例如2007年Metni等[95]為了保證對象不出相機(jī)的視野,將每一次的旋轉(zhuǎn)角度限定到很小的范圍內(nèi).另一種策略是采用開關(guān)式方法避免目標(biāo)丟失[96?97].例如,2004年Chesi等[96]設(shè)計(jì)了一種開關(guān)式方法,使得圖像特征在視覺伺服過程中保持在相機(jī)的視野內(nèi).2005年Deng等[97]提出了一種混合運(yùn)動控制策略,利用開關(guān)控制切換基于位置的視覺伺服和基于圖像的視覺伺服,以避免圖像奇異與局部極小.將對象在相機(jī)視野內(nèi)作為約束,對相機(jī)路徑進(jìn)行規(guī)劃或者優(yōu)化,是避免目標(biāo)丟失的一類有效方法[98?103].例如,2003年Mezouar等[98]對基于圖像的視覺伺服的相機(jī)3D軌跡進(jìn)行優(yōu)化,在優(yōu)化中引入對象處于相機(jī)視野內(nèi)以及機(jī)械臂的關(guān)節(jié)限位等約束,以避免目標(biāo)丟失和關(guān)節(jié)限位導(dǎo)致的視覺伺服失敗.2003年Kragic等[99]提出對視覺線索投票的方法,以提高視覺伺服的魯棒性.2014年Ibarguren等[100]在獲得圖像特征后經(jīng)粒子濾波估計(jì)位姿,采用基于位置的視覺伺服,提高系統(tǒng)的魯棒性.2004年Chesi等[101]以目標(biāo)為中心設(shè)定圓弧,控制相機(jī)在圓弧上運(yùn)動,保證目標(biāo)處于相機(jī)的視野中.2005年Cowan等[102]認(rèn)為可視特征集及其圖像是微分流形,而且是全局微分同胚的,可采用微分同胚在全局范圍內(nèi)保持圖像特征在相機(jī)視野內(nèi).2006年Schramm等[103]利用兩個(gè)視點(diǎn)的多個(gè)匹配點(diǎn)特征的圖像坐標(biāo),計(jì)算出G=A?1RA和.對G進(jìn)行特征值分解獲得轉(zhuǎn)角θ和矢量,對θ插值得到,進(jìn)而獲得中間插值的姿態(tài)Ri.對插值獲得,即獲得中間插值的位置.利用插值進(jìn)行路徑規(guī)劃,可以細(xì)分姿態(tài)變化,保證對象的特征處于相機(jī)視野內(nèi).上述運(yùn)動規(guī)劃方法以及限制旋轉(zhuǎn)角的方法,存在的不足之處是明顯降低了視覺伺服的收斂速度.采用學(xué)習(xí)或者自適應(yīng)策略,也是解決目標(biāo)丟失的有效途徑[104?106].例如,2010年Wang等[104]針對移動機(jī)器人,提出了一種基于圖像的視覺伺服與Q學(xué)習(xí)相結(jié)合的方法,通過Q學(xué)習(xí)確定機(jī)器人的行為,使得視覺特征保持在相機(jī)的視野內(nèi).2011年Gans等[105]采用欠定任務(wù)函數(shù)調(diào)節(jié)圖像特征的均值與方差,通過調(diào)整任務(wù)函數(shù)以保持特征點(diǎn)處于相機(jī)的視野內(nèi).2012年,Fang等[106]針對移動機(jī)器人提出了一種自適應(yīng)主動視覺伺服方法.在移動機(jī)器人運(yùn)動時(shí),攝像機(jī)旋轉(zhuǎn)使得被觀測點(diǎn)位于圖像中心.該方法采用單應(yīng)性矩陣估計(jì)移動機(jī)器人與目標(biāo)之間的位姿.在攝像機(jī)的內(nèi)參數(shù)經(jīng)過預(yù)先標(biāo)定的情況下,推導(dǎo)出了攝像機(jī)旋轉(zhuǎn)速度與圖像特征偏差、移動機(jī)器人角速度之間的關(guān)系.該方法能夠保證移動機(jī)器人運(yùn)動過程中目標(biāo)始終處于相機(jī)的視野內(nèi).

此外,由式(1)可知,平移產(chǎn)生的特征點(diǎn)圖像特征變化較小,旋轉(zhuǎn)產(chǎn)生的特征點(diǎn)圖像特征變化較大,特別是繞X、Y軸的旋轉(zhuǎn)引起的特征點(diǎn)圖像特征變化最大.一般地,平移不會導(dǎo)致目標(biāo)丟失,旋轉(zhuǎn)后進(jìn)行平移補(bǔ)償可以使得目標(biāo)保持在相機(jī)視野內(nèi).

3.6 系統(tǒng)標(biāo)定

如果采用的特征處在相機(jī)的焦距歸一化成像平面上,例如前述特征m,則需要對相機(jī)的內(nèi)參數(shù)進(jìn)行標(biāo)定.相機(jī)的內(nèi)參數(shù)經(jīng)過預(yù)先標(biāo)定后,利用特征點(diǎn)的圖像坐標(biāo)和相機(jī)內(nèi)參數(shù),可以計(jì)算出特征點(diǎn)在焦距歸一化成像平面上位置矢量m.如果采用圖像平面的特征,則相機(jī)的內(nèi)參數(shù)需要包含在交互矩陣內(nèi),同樣需要對相機(jī)的內(nèi)參數(shù)進(jìn)行標(biāo)定.例如,文獻(xiàn)[88]采用點(diǎn)的圖像坐標(biāo)作為特征,在交互矩陣中包含了放大系數(shù)k和主點(diǎn)圖像坐標(biāo)(u0,v0).除了交互矩陣之外,在獲取式(7)所示的單應(yīng)性矩陣或者式(10)所示的基本矩陣時(shí),均需要相機(jī)的內(nèi)參數(shù).可見,無論是基于交互矩陣的視覺伺服,還是基于單應(yīng)性矩陣、基本矩陣的視覺伺服,都需要對相機(jī)的內(nèi)參數(shù)進(jìn)行標(biāo)定.相機(jī)的內(nèi)參數(shù)一般采用預(yù)先標(biāo)定的方式.基于圖像的視覺伺服,對相機(jī)內(nèi)參數(shù)的誤差不靈敏,只需要對相機(jī)內(nèi)參數(shù)粗略標(biāo)定即可.基于位置的視覺伺服,例如第2.2節(jié)和第2.3節(jié)中的視覺伺服方法,分別需要從單應(yīng)性矩陣H或者本質(zhì)矩陣E中分解出旋轉(zhuǎn)變換矩陣R和位移矢量需要獲得準(zhǔn)確的H或者E,從而需要準(zhǔn)確的相機(jī)內(nèi)參數(shù).

前述視覺伺服的控制律,大部分是針對相機(jī)坐標(biāo)系給出的.裝載相機(jī)的運(yùn)動機(jī)構(gòu)的坐標(biāo)系,往往與相機(jī)的坐標(biāo)系不同,這就需要標(biāo)定兩者之間的關(guān)系,即進(jìn)行外參數(shù)的標(biāo)定.通常,為了提高使用的方便性,在安裝相機(jī)時(shí)使得相機(jī)坐標(biāo)系與運(yùn)動機(jī)構(gòu)坐標(biāo)系的坐標(biāo)軸平行,以避免外參數(shù)的標(biāo)定.

為了克服相機(jī)參數(shù)標(biāo)定帶來的不便,大量研究人員致力于研究無標(biāo)定或者在線標(biāo)定視覺伺服方法[107?117]. 例如,Piepmeier 等[109?110]提出了一種無標(biāo)定視覺伺服方法,利用Broyden法[111]或牛頓法在線估計(jì)圖像雅可比矩陣,實(shí)現(xiàn)了Eye-in-hand視覺系統(tǒng)的視覺伺服.2003年Shen等[112]針對無標(biāo)定的Eye-to-hand視覺系統(tǒng),在線估計(jì)視覺系統(tǒng)的旋轉(zhuǎn)變換矩陣.2006年,Liu等[113]提出了無標(biāo)定視覺伺服方法,采用結(jié)合Slotine-Li方法的自適應(yīng)算法,在線最小化特征點(diǎn)在投影平面的誤差,實(shí)現(xiàn)了機(jī)器人對平面上點(diǎn)特征的跟蹤.2017年,Zhang等[114]提出了一種無標(biāo)定視覺伺服方法,用于移動機(jī)器人的控制.該方法分為兩個(gè)階段,第1階段采用自適應(yīng)速度控制器,將角度誤差和側(cè)向位置誤差調(diào)整到零附近;第2階段采用比例控制器調(diào)整縱向位置誤差.2004年Malis[116]提出了一種不依賴于相機(jī)內(nèi)參數(shù)的視覺伺服方法,采用3個(gè)空間點(diǎn)圖像坐標(biāo)組成的矩陣的逆與圖像點(diǎn)坐標(biāo)構(gòu)成針對攝像機(jī)內(nèi)參數(shù)的不變性變量,利用不變性變量實(shí)現(xiàn)了視覺伺服.2011年Kosmopoulos[117]將小工作空間內(nèi)的雅可比矩陣看作是常數(shù),通過離線標(biāo)定獲得.由于上述方法做了許多假設(shè),所以其在實(shí)際應(yīng)用中受到限制.

4 典型應(yīng)用與未來趨勢

4.1 典型應(yīng)用

視覺伺服具有廣泛的應(yīng)用前景,近年來在工業(yè)、農(nóng)業(yè)、交通、航空航天、醫(yī)療等眾多領(lǐng)域均有視覺伺服應(yīng)用的報(bào)道.視覺伺服在工業(yè)領(lǐng)域的應(yīng)用極其廣泛[118?120].例如,1998年Horaud等[118]將基于交互矩陣的視覺伺服用于機(jī)器人的趨近抓取.2000年Xiao等[119]針對Eye-to-hand視覺系統(tǒng),采用基于交互矩陣的視覺伺服控制目標(biāo)的線速度,實(shí)現(xiàn)了工業(yè)機(jī)器人力位混合控制.2007年Lippiello等[120]采用混合視覺系統(tǒng),在由多臺工業(yè)機(jī)器人構(gòu)成的制造單元中實(shí)現(xiàn)了基于位置的視覺伺服.

除了在工業(yè)領(lǐng)域的應(yīng)用之外,視覺伺服在微裝配領(lǐng)域的應(yīng)用也很廣泛,常用于操作手或微零件的趨近和對準(zhǔn)控制等[121?126].例如,2000年Ralis等[123]采用由粗到精的視覺伺服策略,在不考慮Z方向平移的情況下,利用基于交互矩陣的視覺伺服,實(shí)現(xiàn)了微裝配系統(tǒng)的精確定位.2004年Ferreira等[124]提出了一種基于視覺伺服和虛擬現(xiàn)實(shí)的自動微裝配系統(tǒng),采用基于推動的微操作策略,利用基于位置的視覺伺服實(shí)現(xiàn)硅片的軌跡跟蹤,將硅片運(yùn)動到期望位置和姿態(tài);采用基于視覺的力傳感方法,實(shí)現(xiàn)微夾鉗的微夾持力控制.2008年Wang等[125]采用基于圖像矩的視覺伺服,實(shí)現(xiàn)了微軸孔的裝配.2008年Wang等[126]采用基于位置的視覺伺服控制,實(shí)現(xiàn)了微零件的自動裝配.

視覺伺服也常用于生物醫(yī)學(xué)領(lǐng)域的微操作,用于注射針對細(xì)胞或胚胎的對準(zhǔn)[127?131].例如,2002年Sun等[128]將視覺伺服用于生物醫(yī)學(xué)領(lǐng)域,利用自主微機(jī)器人系統(tǒng)實(shí)現(xiàn)了生物細(xì)胞注射.2009年Zhang等[129]采用基于位置的視覺伺服控制,實(shí)現(xiàn)了注射針對細(xì)胞的趨近與注射.2009年Sakaki等[130]采用基于圖像的視覺伺服,利用5自由度機(jī)械臂實(shí)現(xiàn)了對細(xì)胞的定位和注射.2017年,Zhuang等[131]將視覺伺服用于斑馬魚幼體心臟微注射系統(tǒng).

視覺伺服在醫(yī)療機(jī)器人領(lǐng)域的應(yīng)用也比較常見,常用于對組織的定位與跟蹤[132?134].例如,1997年Wei等[132]將視覺伺服用于腹腔鏡膽囊切除術(shù),根據(jù)圖像坐標(biāo)確定機(jī)器人的運(yùn)動方向,實(shí)現(xiàn)了運(yùn)動方向解耦.2003年Krupa等[133]基于交比不變性估計(jì)激光指向儀器與人體組織之間的距離.基于運(yùn)動標(biāo)定獲得的圖像雅可比矩陣,對2個(gè)旋轉(zhuǎn)自由度和沿Z方向的平移自由度進(jìn)行估計(jì).結(jié)合圖像特征的坐標(biāo)和深度信息,實(shí)現(xiàn)儀器對指向的人體組織的定位.使用過程中,該指向儀器根據(jù)圖像特征誤差,利用視覺伺服算法實(shí)現(xiàn)在圖像平面內(nèi)的跟蹤與對準(zhǔn).2002年Abolmaesumi等[134]將超聲探頭加裝在機(jī)器人上,以超聲圖像中的探針為特征,利用圖像雅可比矩陣建立探針圖像特征變化與機(jī)器人運(yùn)動之間的關(guān)系,采用基于圖像的視覺伺服,實(shí)現(xiàn)了對探針跟蹤頸動脈的有效控制.

基于圖像的視覺伺服常用于無人機(jī)控制中,用于目標(biāo)跟蹤以及自主降落等[135?145].例如,2006年Mejias等[140]基于Kalman濾波在圖像空間跟蹤目標(biāo),實(shí)現(xiàn)自主直升機(jī)在城區(qū)的視覺伺服.2008年Guenard等[141]以4點(diǎn)構(gòu)成的靶標(biāo)質(zhì)心為特征,采用基于圖像的視覺伺服,實(shí)現(xiàn)了4旋翼無人機(jī)相對于靶標(biāo)的懸停控制.2009年Bourquardez等[142]針對4旋翼無人機(jī),采用基于圖像的視覺伺服,實(shí)現(xiàn)了無人機(jī)的平移運(yùn)動控制.2017年,Xie等[143]提出了一種輸入飽和的基于圖像視覺伺服方法,采用內(nèi)環(huán)控制無人機(jī)的高度,外環(huán)控制無人機(jī)的側(cè)向速度和偏航速度.2012年Mahony等[144]撰寫了關(guān)于多旋翼無人機(jī)控制的教程,認(rèn)為未來無人機(jī)基于視覺的感知與控制包括兩種方法,分別為SLAM方法和基于圖像雅可比矩陣的視覺伺服方法.基于位置的視覺伺服在無人機(jī)控制中也有應(yīng)用.例如,2014年P(guān)linval等[33]利用基于單應(yīng)性矩陣的解耦控制方法,實(shí)現(xiàn)了無人直升機(jī)對地面目標(biāo)的視覺跟蹤.

此外,2002年Marchand等[146]將視覺伺服應(yīng)用于虛擬現(xiàn)實(shí).2003年Gracias等[147]將視覺伺服用于水下機(jī)器人,基于單應(yīng)性估計(jì)機(jī)器人的位姿,創(chuàng)建基于馬賽克(Mosaic-based)的海底地圖;利用創(chuàng)建的海底地圖進(jìn)行導(dǎo)航,采用基于圖像雅可比矩陣的視覺伺服實(shí)現(xiàn)對規(guī)劃路徑的跟蹤.2014年Mehta等[148]將視覺伺服用于柑橘收獲機(jī)器人,采用視覺伺服控制機(jī)器人的作業(yè),其姿態(tài)采用基于位置的控制,位置采用基于圖像的控制.2015年Mehta等[149]將視覺伺服用于導(dǎo)彈制導(dǎo),通過單應(yīng)性矩陣計(jì)算出目標(biāo)在導(dǎo)彈坐標(biāo)系中的位置,以及坐標(biāo)系之間的姿態(tài)矩陣.2015年Cai等[150]提出了基于模板匹配的視覺伺服,用于空間系留機(jī)器人對非合作目標(biāo)的跟蹤.2017年,Wang等[151]針對具有內(nèi)窺鏡視覺反饋的軟體機(jī)器人,基于分段常曲率假設(shè)設(shè)計(jì)了一種自適應(yīng)視覺伺服方法.基于圖像特征對機(jī)器人操作器實(shí)際長度和目標(biāo)位置進(jìn)行在線估計(jì),消除軟體機(jī)器人不確定性的影響.

4.2 未來趨勢

傳統(tǒng)的視覺伺服并未考慮路徑合理性與約束問題.例如,基于圖像的視覺伺服,雖然在圖像空間相機(jī)的軌跡是合理的,但在3D空間相機(jī)的軌跡不盡合理,在偏移較大時(shí)會導(dǎo)致伺服失敗.為此,研究人員對相機(jī)的運(yùn)動軌跡進(jìn)行路徑規(guī)劃[98,152?160].例如,2003年Mezouar等[98]針對基于圖像的視覺伺服,在生成的期望軌跡上引入約束,包括對象處于相機(jī)視野內(nèi)以及機(jī)械臂的關(guān)節(jié)限位等,進(jìn)而對相機(jī)運(yùn)動軌跡進(jìn)行優(yōu)化,以避免視覺伺服失敗.2005年P(guān)omares等[152]提出基于運(yùn)動流的視覺伺服,用于軌跡跟蹤時(shí)在圖像空間和笛卡爾空間產(chǎn)生正確的行為.2007年Chesi等[153]考慮工業(yè)機(jī)器人視覺伺服中的約束問題,包括可視性、工作空間(含避障等)、關(guān)節(jié)限位等,建立了包含跨圖像區(qū)域、軌跡長度和曲率的目標(biāo)函數(shù),通過優(yōu)化獲得視覺伺服的全局路徑[154].2009年Gracia等[155]在視覺伺服中考慮濾波、視覺系統(tǒng)時(shí)延等因素.2009年Fontanelli等[156]通過建立擴(kuò)展視覺地圖,存儲一系列圖像、搜索相位、拓?fù)渑c空間信息的轉(zhuǎn)換關(guān)系、連通性、可行路徑等信息,采用視覺伺服實(shí)現(xiàn)了移動機(jī)器人在大場景中的自主導(dǎo)航.為提高視覺伺服的魯棒性,2013年Kazemi等[157]提出了一種隨機(jī)全動態(tài)路徑規(guī)劃方法.該方法考慮相機(jī)動態(tài)、圖像臨界集和物理約束,生成連續(xù)可微的相機(jī)軌跡.通過迭代擴(kuò)展搜索樹并跟蹤機(jī)器人空間中的軌跡,搜索相機(jī)的狀態(tài)空間尋找可行軌跡.相機(jī)軌跡投影到圖像空間生成期望的圖像軌跡,用于基于圖像的視覺伺服.2010年Tahri等[158]采用ESM優(yōu)化圖像雅可比矩陣的偽逆,減小估計(jì)誤差,提高視覺伺服系統(tǒng)的性能.2016年,Gao等[160]提出了一種多層次模型預(yù)測的基于圖像的視覺伺服方法,用于水下機(jī)器人的控制.外環(huán)利用非線性模型預(yù)測控制器生成期望速度,在可視性和速度約束下對預(yù)測的圖像軌跡進(jìn)行優(yōu)化.在動態(tài)速度跟蹤內(nèi)環(huán),設(shè)計(jì)了基于神經(jīng)網(wǎng)絡(luò)的模型參考自適應(yīng)控制器,用于在具有不確定性的情況下保證速度跟蹤誤差的收斂性.考慮笛卡爾空間相機(jī)路徑的合理性與運(yùn)動機(jī)構(gòu)約束問題,利用優(yōu)化方法對相機(jī)路徑進(jìn)行規(guī)劃,是視覺伺服未來的重要發(fā)展方向之一.

學(xué)習(xí)能力對提高視覺伺服系統(tǒng)性能具有重要幫助,因此,大量研究人員致力于對視覺伺服系統(tǒng)賦予學(xué)習(xí)能力[161?165].例如,2008年Zhao等[161]提出了一種基于外觀特征的機(jī)器人視覺伺服方法,利用小波神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像雅可比矩陣功能.2013年Miljkovic等[162]將基于神經(jīng)網(wǎng)絡(luò)的增強(qiáng)學(xué)習(xí)引入工業(yè)機(jī)器人的視覺伺服,建立了表示學(xué)習(xí)樣本的數(shù)據(jù)庫,用于加速神經(jīng)網(wǎng)絡(luò)的收斂速度并實(shí)時(shí)學(xué)習(xí)機(jī)器人的行為.為保證特征的可視性,視覺伺服分為兩步,第1步中的機(jī)器人對準(zhǔn)行為采用神經(jīng)網(wǎng)絡(luò)增強(qiáng)學(xué)習(xí)控制器實(shí)現(xiàn),第2步中的趨近行為采用開關(guān)控制在傳統(tǒng)的基于圖像的視覺伺服和神經(jīng)網(wǎng)絡(luò)增強(qiáng)學(xué)習(xí)之間切換實(shí)現(xiàn).2015年Sadeghzadeh等[163]將自學(xué)習(xí)引入視覺伺服,利用模糊神經(jīng)網(wǎng)絡(luò)和Q學(xué)習(xí)實(shí)現(xiàn)了機(jī)械臂的視覺伺服.2018年,Shi等[164]提出了高度與速度解耦的視覺伺服控制方法,利用模糊Q學(xué)習(xí)實(shí)現(xiàn)對無人機(jī)控制增益的調(diào)節(jié).2015年Zhao等[165]利用兩個(gè)神經(jīng)網(wǎng)絡(luò),解耦計(jì)算繞X、Y軸旋轉(zhuǎn)的圖像矩,可避免機(jī)械臂視覺伺服中的奇異問題.此外,示教編程是指示教者在相機(jī)前演示期望的動作,由機(jī)器人跟蹤并重現(xiàn)這些動作.示教編程是機(jī)器人模仿人的過程,屬于模仿學(xué)習(xí).2007年Jiang等[166]認(rèn)為機(jī)器人的模仿過程是在圖像平面的具有未知時(shí)變圖像雅可比矩陣的離散跟蹤控制問題.采用一系列神經(jīng)網(wǎng)絡(luò)逼近演示軌跡采樣點(diǎn)處的未知圖像雅可比矩陣,局部網(wǎng)絡(luò)的時(shí)變權(quán)重通過重復(fù)跟蹤即間接迭代學(xué)習(xí)控制(Indirect iterative learning control)進(jìn)行識別.如何結(jié)合機(jī)器學(xué)習(xí)的最新研究成果,提高視覺伺服系統(tǒng)的學(xué)習(xí)能力,大幅度改善視覺伺服系統(tǒng)的適應(yīng)能力,將是視覺伺服未來的重要發(fā)展方向之一.

在視覺伺服的實(shí)際應(yīng)用中,往往存在大量的先驗(yàn)知識,將這些先驗(yàn)知識結(jié)合到視覺伺服中,有利于更好地完成跟蹤、趨近等任務(wù)[167?169].例如,2007年Mansard等[167]將一個(gè)任務(wù)分解為多個(gè)子任務(wù),然后采用基于交互矩陣的視覺伺服分別進(jìn)行控制,降低了完成任務(wù)的難度.2014年Larouche等[168]利用EKF(Extended Kalman filter)估計(jì)目標(biāo)的運(yùn)動狀態(tài),利用視覺伺服和運(yùn)動預(yù)測控制,實(shí)現(xiàn)了機(jī)械臂對非合作目標(biāo)的捕獲.2015年Tsai等[169]提出了一種混合開關(guān)反應(yīng)式視覺伺服,用于5自由度機(jī)械臂的拾取和擺放任務(wù).先驗(yàn)知識的加入,可以有效避免視覺伺服失敗,有利于改進(jìn)運(yùn)動靈活性.例如,由于移動機(jī)器人受到非限定性約束,沿垂直于驅(qū)動輪的水平方向不能直接平移.在需要沿垂直于驅(qū)動輪的水平方向平移時(shí),需要結(jié)合旋轉(zhuǎn)運(yùn)動.采用類似于車輛變換車道的方式,在旋轉(zhuǎn)運(yùn)動后進(jìn)行適當(dāng)?shù)姆聪蛐D(zhuǎn),可以在旋轉(zhuǎn)后使得對象在相機(jī)視野內(nèi).如果在旋轉(zhuǎn)后對象移出相機(jī)的視野,那么適當(dāng)?shù)姆聪蛐D(zhuǎn)能夠使得對象重新回到相機(jī)的視野內(nèi),降低了對旋轉(zhuǎn)運(yùn)動量的限制.因此,如何充分利用先驗(yàn)知識,提高運(yùn)動的靈活性,提高系統(tǒng)應(yīng)用的方便性,是視覺伺服未來的重要發(fā)展方向之一.

網(wǎng)絡(luò)化有利于對計(jì)算能力的大幅度提升,將復(fù)雜的計(jì)算放在云端,可以極大地簡化本地控制系統(tǒng)[170].例如,2013年Wu等[170]提出基于云的網(wǎng)絡(luò)化視覺伺服,采用網(wǎng)絡(luò)化的3D計(jì)算,提高了分布計(jì)算能力.因此,基于網(wǎng)絡(luò)化的視覺伺服也是未來發(fā)展趨勢之一.

5 結(jié)論

為了更好地體現(xiàn)不同的視覺伺服方法的特點(diǎn),本文針對單目視覺系統(tǒng),介紹了視覺伺服的運(yùn)動映射關(guān)系,結(jié)合誤差表征介紹了視覺伺服的控制律設(shè)計(jì).對影響視覺伺服的關(guān)鍵因素,例如相機(jī)選擇、特征選擇、誤差表征、深度估計(jì)、位姿解耦、目標(biāo)保持、相機(jī)標(biāo)定等,分別進(jìn)行了分析和論述.最后,給出了視覺伺服在微裝配、醫(yī)療機(jī)器人和無人機(jī)等不同領(lǐng)域的典型應(yīng)用,并指出了視覺伺服未來的主要發(fā)展方向.