鄒 俞,晁建剛,林萬(wàn)洪
(中國(guó)航天員科研訓(xùn)練中心,北京100094)
我國(guó)載人航天事業(yè)穩(wěn)步發(fā)展,航天任務(wù)中存在大量需要航天員操作的環(huán)節(jié)。目前航天員的主要訓(xùn)練模式是在地面上進(jìn)行模擬訓(xùn)練。航天員訓(xùn)練中存在物品傳遞、設(shè)備組裝等大量抓持操作,通過(guò)虛擬現(xiàn)實(shí)仿真訓(xùn)練代替實(shí)物仿真訓(xùn)練,具有成本低、易更新等大量?jī)?yōu)勢(shì)。隨著近些年虛擬現(xiàn)實(shí)(Virtual Reality,VR)技術(shù)的發(fā)展,將 VR技術(shù)引進(jìn)航天員訓(xùn)練,利用VR技術(shù)構(gòu)建與航天任務(wù)體驗(yàn)一致的虛擬環(huán)境,使航天員沉浸其中,并通過(guò)手勢(shì)操作等自然人機(jī)交互方式與虛擬環(huán)境進(jìn)行交互的仿真訓(xùn)練方式逐漸被應(yīng)用到航天員訓(xùn)練中[1]。
手勢(shì)操作是仿真訓(xùn)練中自然人機(jī)交互的重要方式。目前對(duì)虛擬手抓持規(guī)則的研究,主要分為基于幾何的抓持規(guī)則[2-4]和基于物理的抓持規(guī)則[5-7]。
基于幾何的抓持規(guī)則中,最簡(jiǎn)單的抓持規(guī)則是碰撞檢測(cè)抓持[8],這種抓持規(guī)則實(shí)現(xiàn)了非精確抓持,但存在大量的誤抓持現(xiàn)象。為了減少誤抓持,李志華等提出了基于點(diǎn)接觸平面法矢的抓持規(guī)則[8],楊曉雯等提出了基于有效閾值角度的抓持規(guī)則[9],以及基于這兩種規(guī)則改進(jìn)的抓持規(guī)則[10-13],該抓持規(guī)則通過(guò)接觸點(diǎn)數(shù)量、法矢等條件進(jìn)行判別,大量減少了誤抓持判定的現(xiàn)象。國(guó)內(nèi)學(xué)者也對(duì)上述抓持規(guī)則提出改進(jìn)的方案,如胡晨等[14]提出的適應(yīng)物體形狀的虛擬手抓持規(guī)則,通過(guò)物體形狀和接觸點(diǎn)位姿關(guān)系判定抓持。
基于物理的抓持規(guī)則是指滿足力封閉的抓持。Nguyen首先提出力封閉的概念是指手指提供力平衡物體所受外力合力[16],并指出各手指的施加力必須在摩擦錐范圍內(nèi)[16-17];在力封閉基礎(chǔ)上,Salisbury等[18-20]針對(duì)三維情況下的抓持,推導(dǎo)得出滿足力封閉抓持的充要條件是初始接觸力的正線性組合必須充滿整個(gè)旋量空間;Bicchi等[21-23]提出將力封閉性的抓持判別轉(zhuǎn)換為常微分方程的穩(wěn)定性問(wèn)題,采用Lyapunov直接法[24]對(duì)力封閉的條件進(jìn)行判別;國(guó)內(nèi)學(xué)者也對(duì)此提出過(guò)改進(jìn)的方案,如秦志強(qiáng)等[25]提出將非線性的摩擦錐約束轉(zhuǎn)換為對(duì)稱矩陣的正定線性約束問(wèn)題。
基于幾何的抓持規(guī)則通過(guò)生活經(jīng)驗(yàn)總結(jié)出的幾何約束條件制定抓持規(guī)則,一定程度上滿足了具有沉浸感的仿真要求,但依然會(huì)出現(xiàn)破壞沉浸感的情況?;谖锢淼淖コ忠?guī)則,從受力模型的角度計(jì)算是否符合實(shí)際抓持,具有良好的仿真效果,但存在運(yùn)算量巨大、難以實(shí)時(shí)仿真的問(wèn)題。目前航天員虛擬訓(xùn)練系統(tǒng)中尚未引進(jìn)基于物理的抓持規(guī)則。本文提出力封閉虛擬手抓持規(guī)則,通過(guò)力與力矩計(jì)算制定符合實(shí)際抓持體驗(yàn)的抓持規(guī)則,為航天員虛擬訓(xùn)練虛擬手抓持提供一種方法。
力封閉穩(wěn)定抓持指滿足以下兩個(gè)條件的抓持[14]:
1)抗干擾:抓持過(guò)程中,手指對(duì)物體施加力必須能平衡物體所受除手指施加力外其他力的合力;
2)穩(wěn)定性:抓持時(shí)每根手指施加的力必須滿足摩擦錐條件,保證手指抓持時(shí)接觸點(diǎn)不會(huì)發(fā)生滑動(dòng)。
指尖與物體的接觸模型可分為三種[24]:無(wú)摩擦接觸模型、有摩擦接觸模型和軟指接觸模型。不同接觸模型下第i個(gè)手指施加在物體上的合力及力矩記作fi,滿足式(1):
其中 A 表示接觸矩陣; fci(fin,fio,fit,fis,fip,fiq)表示接觸點(diǎn)i處,手指對(duì)物體施加的力和力矩,其中fin表示接觸力的法向力分量,fio和fit表示接觸力的切向力分量,fis表示接觸力的法向力矩分量,fip和fiq表示接觸力的切向力矩分量。
圖1為軟指接觸模型。在有摩擦接觸模型中計(jì)算手指壓力和摩擦力的基礎(chǔ)上,考慮了手指可施加接觸點(diǎn)法矢方向的力矩的因素,使接觸模型更接近實(shí)際抓持的物理模型。此時(shí)接觸矩陣A=且fin≥0,表示手指在接觸點(diǎn)施加的是壓力而非拉力。
圖1 軟指模型Fig.1 Soft finger model
軟指模型摩擦錐條件通過(guò)線性模型[26]求解,如式(2)所示:
上式中,μi和μsi分別表示摩擦系數(shù)和力矩系數(shù)。當(dāng)滿足摩擦錐條件時(shí),保證了手指抓持物體時(shí)不會(huì)發(fā)生相對(duì)滑動(dòng)。
假設(shè)手指和物體的接觸模型是軟指模型,如圖2所示,將所有向量在物體坐標(biāo)系上表示,則第i個(gè)手指施加在物體上的作用力和力矩可表示為wi=Gifi, 其中為第i個(gè)接觸力的螺旋矩陣,其中 ni=[nixniyniz]T為第i個(gè)接觸點(diǎn)的單位內(nèi)法矢,ri= [rixriyriz]T為第i個(gè)接觸點(diǎn)的位置矢量,fi= [finfiofitfis]T為第i個(gè)手指給物體的作用力,fin為作用力的法向分量,fio和fit分別為接觸力的兩個(gè)切向分量,fis為法向力矩。
圖2 軟指模型多指抓持Fig.2 Multi-finger graspingon soft finger model
1)抓持矩陣G行滿秩,即rank(G) =6。
2)內(nèi)力集與嚴(yán)格約束力集的交集非空,即Sc∩S0≠φ。
由上述條件可推出力封閉穩(wěn)定抓持的非線性
求解(3)式可得其通解,如式(4)所示:
其中G+為G的廣義逆矩陣,W為G的零空間矩陣, y ∈ R4m-rank(G)為任意向量。 由式(11)可以看到,軟手指多指模型的接觸力可以分為兩部分:f=g+h,其中g(shù)=G+F為操作力,h=Wy為內(nèi)力。
對(duì)軟指接觸模型,抓持穩(wěn)定的條件為對(duì)任意的 F∈R R6,存在作用力f∈Sc,滿足F = Gf[15]。規(guī)劃計(jì)算機(jī)判別算法,分為以下兩個(gè)步驟:
步驟2:判斷內(nèi)力集和嚴(yán)格約束力集的交集是否為空:若Sc∩S0≠φ,則滿足力封閉;否則抓持不滿足力封閉穩(wěn)定。
滿足Sc∩S0≠φ的充要條件為式(6):
將式(5)代入式(6),得式(7):
其中,
令yTAiy和yTBiy(對(duì) i= 1,2…,m)的最大值最小化,同時(shí)限制向量y的模,可將該問(wèn)題轉(zhuǎn)化為非線性規(guī)劃求解,如式(8)所示:
最優(yōu)解記為(y?,η?),若η?≥0,抓持不滿足力封閉穩(wěn)定性,若η?<0,抓持滿足力封閉穩(wěn)定性。
通過(guò)上述過(guò)程,滿足步驟(1)、(2),即確定該抓持是滿足力封閉的穩(wěn)定抓持。在此基礎(chǔ)上計(jì)算抓持力的生成。令由前文知,內(nèi)力h =
Wy?滿 足 摩 擦 錐 約 束, 記 δ = h
hiin對(duì)任意 δh滿足 δh> 0, 稱
iiδhi為“可提供壓力”。
1)若對(duì)任意gi都滿足摩擦錐約束,則f=G+F+OWy,滿足摩擦錐約束。
2)若存在 gi不滿足摩擦錐約束,記 δgi=有 δg< 0, 稱 δgi為“需求壓力”。 令則 ? > 0。故得f= G+F +?Wy滿足摩擦錐約束。
根據(jù)不同人抓持物體的習(xí)慣不同,有些人偏向用更大的力抓持。所以設(shè)置抓持穩(wěn)定比值α滿足α≥1,針對(duì)不同人的抓持習(xí)慣可以制定不同的α值,默認(rèn)α=1。
綜上得穩(wěn)定靜力抓持模型如式(9)所示:
力封閉虛擬手抓持規(guī)則基于以下兩點(diǎn):一是指尖與物體表面為軟指接觸模型;二是每根手指可以對(duì)物體施加閾值范圍內(nèi)任意大小的接觸力,且力大小的求解由穩(wěn)定靜力抓持模型決定。
在虛擬手抓持力封閉判別的基礎(chǔ)上,考慮實(shí)際抓持中,手指能承受的壓力是有限的,所以穩(wěn)定靜力抓持模型求解的力f=G+F+Wy,必須滿足在某一閾值范圍內(nèi)(閾值記作fmax),才能實(shí)現(xiàn)穩(wěn)定抓持。參考成人手指可提供持續(xù)壓力數(shù)據(jù),閾值大小如表1所示。
表1 成人手指可持續(xù)提供最大壓力Table 1 Maximum sustainable pressure provided by adult fingers /N
綜上可得力封閉虛擬手抓持規(guī)則,是在力封閉穩(wěn)定抓持的基礎(chǔ)上判別是否符合手指可承受力。即是否滿足故得力封閉虛擬手抓持規(guī)則的非線性規(guī)劃計(jì)算機(jī)判別算法,分為以下三個(gè)步驟:
步驟1:判別抓持矩陣是否滿秩,若rank(G)<6,則抓持不是力封閉穩(wěn)定抓持,否則轉(zhuǎn)向步驟2。
步驟2:判斷內(nèi)力集和嚴(yán)格約束力集的交集是否為空,若Sc∩S0≠φ,則轉(zhuǎn)向步驟3,否則抓持不是力封閉穩(wěn)定的。
步驟3:判斷抓持力是否在手指可承受范圍內(nèi),即手指是否可提供力。若則符合力封閉虛擬手抓持規(guī)則,否則不符合。
故得出力封閉虛擬手抓持規(guī)則的判定流程圖如圖3所示。
圖3 穩(wěn)定抓持判定流程圖Fig.3 Flow chart of stable grasping determination
根據(jù)上述流程圖,若已知手指在抓持對(duì)象上接觸點(diǎn)的位置矢量和內(nèi)法矢,以及物體所受外力情況,便能判斷該抓持是否滿足力封閉虛擬手抓持規(guī)則。
針對(duì)力封閉虛擬手抓持規(guī)則,設(shè)計(jì)物體抓持試驗(yàn)驗(yàn)證在給定接觸點(diǎn)位置、接觸點(diǎn)內(nèi)法矢和物體所受外力的情況下判別抓持是否滿足力封閉穩(wěn)定抓持。
通過(guò)抓持球體試驗(yàn)驗(yàn)證不同抓持接觸點(diǎn)和內(nèi)法矢對(duì)抓持的影響。如圖4所示,假設(shè)球體質(zhì)量為1 kg,受豎直向下100 N的作用力,指尖與物體的摩擦系數(shù)為μ=0.4,扭矩系數(shù)μsi=0.6,手指數(shù)量m=3,設(shè)置三組抓持手姿:三指赤道對(duì)稱、三指R/2處對(duì)稱和三指不對(duì)稱。
圖4 抓持球體示意圖Fig.4 diagram of grasping sphere
通過(guò)接觸點(diǎn)位置、內(nèi)法矢信息計(jì)算抓持矩陣G,并將G和外力Fe代入穩(wěn)定靜力抓持模型,求解各手指抓持力。結(jié)果如式(10)所示:
實(shí)例2中,大拇指、食指和中指的接觸點(diǎn)位置
通過(guò)接觸點(diǎn)位置、內(nèi)法矢信息計(jì)算抓持矩陣G,并將G和外力Fe代入穩(wěn)定靜力抓持模型,求解得η?=1.45e-5,即Sc∩S0=φ,不滿足力封閉穩(wěn)定抓持,故無(wú)抓持模型無(wú)解。
通過(guò)接觸點(diǎn)位置、內(nèi)法矢信息計(jì)算抓持矩陣G,并將G和外力Fe代入穩(wěn)定靜力抓持模型,求解各手指抓持力。結(jié)果如式(11)所示:
驗(yàn)證是否滿足抓持規(guī)則,結(jié)果如表2所示??梢钥吹剑簩?shí)例1中,滿足力封閉抓持,且求解的各手指抓持力滿足在手指可提供的抓持力范圍內(nèi),滿足抓持規(guī)則;實(shí)例2中,Sc∩S0=φ,即不滿足力封閉抓持,抓持時(shí)會(huì)發(fā)生滑動(dòng),故不滿足抓持規(guī)則;實(shí)例3中,滿足力封閉抓持條件,但求解的抓持力中中指和食指不足以提供抓持所需的壓力,故不滿足抓持規(guī)則。
可以看到,不同接觸點(diǎn)和內(nèi)法矢決定虛擬手能否穩(wěn)定抓持物體。當(dāng)手姿不滿足抓持規(guī)則時(shí)會(huì)發(fā)生相對(duì)滑動(dòng)或者手指不足以提供可以抓持物體的力的情況。
表2 抓持球體力封閉抓持規(guī)則判定結(jié)果Table 2 Results of the force-closed grasping rules for grasping sphere
通過(guò)抓持球體試驗(yàn)驗(yàn)證被抓持物體摩擦系數(shù)對(duì)抓持的影響。設(shè)置對(duì)比組μ=0.7,兩組結(jié)果分別如表3、表4所示。
1)通過(guò)模型能在判別是否符合力封閉的基礎(chǔ)上,求取每根手指的力及法向力矩;
2)μ=0.4時(shí),3種抓取都是行滿秩,但由于第二種手姿抓取η?>0,所以它不滿足力封閉的抓取。對(duì)比μ=0.7,則由于相同壓力下可提供的摩擦力范圍更大,求得η?=-0.2240,滿足力封閉的抓持,但是由于所需力不滿足手指可提供的壓力,故不滿足抓持規(guī)則。同理對(duì)比第一、三種抓持手姿下,外力相同的情況下,由于摩擦系數(shù)更大,所需的壓力變小,每根手指所需提供的力更小,符合真實(shí)的抓持體驗(yàn);
可以看到,摩擦系數(shù)對(duì)能否抓持有影響,摩擦系數(shù)越大、物體越容易被抓持。
表3 μ=0.4軟指模型球體抓持結(jié)果分析Table 3 Analysis of μ=0.4 the soft finger model grasping sphere
表4 μ=0.7軟指模型球體抓持結(jié)果分析Table 4 Analysis of μ=0.7 the soft finger model grasping sphere
驗(yàn)證不同外力對(duì)抓持的影響。抓持圓柱體如圖5所示。假設(shè)圓柱體質(zhì)量為1 kg,受豎直向下10 N、豎直向上10 N、水平向右10 N和水平向右100 N的作用力。指尖與物體的摩擦系數(shù)μ=0.4,扭矩系數(shù)μsi=0.6,手指數(shù)量m=3。大拇指、食指和中指的接觸點(diǎn)位置分別為(45/2,0,35/2)、( -45/4,(45 3)/4,35/2)和( - 45/4, - (45 3) /4,35/2),內(nèi)法矢分別為( -45/2,0,0)、(45/4,( -45 3) /4,0)和(45/4,(45 3) /4,0)。
圖5 抓持柱體示意圖
實(shí)例1中,通過(guò)接觸點(diǎn)位置、內(nèi)法矢信息計(jì)算抓持矩陣G,并將G和外力Fe為豎直向下10 N,代入穩(wěn)定靜力抓持模型,求解各手指抓持力。結(jié)果如式(12)所示:
實(shí)例2中,通過(guò)接觸點(diǎn)位置、內(nèi)法矢信息計(jì)算抓持矩陣G,并將G和外力Fe為豎直向上10 N,代入穩(wěn)定靜力抓持模型,求解各手指抓持力。結(jié)果如式(13)所示:
實(shí)例3中,通過(guò)接觸點(diǎn)位置、內(nèi)法矢信息計(jì)算抓持矩陣G,并將G和外力Fe為豎直向右10 N,代入穩(wěn)定靜力抓持模型,求解各手指抓持力。結(jié)果如式(14)所示:
實(shí)例4中,通過(guò)接觸點(diǎn)位置、內(nèi)法矢信息計(jì)算抓持矩陣 G,并將 G和外力 Fe為豎直向右100 N,代入穩(wěn)定靜力抓持模型,求解各手指抓持力。結(jié)果如式(15)所示:
軟指模型圓柱體抓持結(jié)果如表5所示,可以看出,兩種手姿下抓取圓柱體的數(shù)據(jù)幾乎相同。因?yàn)檫@兩種手姿抓持的區(qū)別僅僅是外力的方向相反,所以得到幾乎相同的數(shù)據(jù)。進(jìn)一步驗(yàn)證了該模型獲取的物理力符合抓持實(shí)際。
驗(yàn)證是否滿足抓持規(guī)則,結(jié)果如表6所示,三組實(shí)例都滿足抓持規(guī)則。實(shí)例1和2兩種手姿下,關(guān)于物體坐標(biāo)系xoy平面對(duì)稱,都滿足力封閉抓持,且各手指所需力的大小相同;實(shí)例3中,受力與前兩組實(shí)例不同,故抓持結(jié)果不同,且為保持力矩平衡,手指所需提供壓力較大;實(shí)例4中,外力較實(shí)例3增大,故手指不可提供足夠壓力,不滿足抓持規(guī)則??梢钥吹?,外力對(duì)抓持有影響,外力越大越難以抓持;不同方向外力也對(duì)抓持存在影響。
表5 軟指模型圓柱體持結(jié)果分析Table 5 Analysis of the soft finger model grasping the cylinder
表6 抓持柱體力封閉抓持規(guī)則判定結(jié)果Table 6 Results of the force-closed grasping rules for grasping cylinder
對(duì)六組球體抓持試驗(yàn)和四組柱體抓持試驗(yàn)的抓持規(guī)則判別時(shí)間進(jìn)行統(tǒng)計(jì),每組試驗(yàn)進(jìn)行100次,結(jié)果如表7所示,可以看到力封閉虛擬手抓持規(guī)則通過(guò)抓持受力模型進(jìn)行抓持判斷,能實(shí)現(xiàn)更符合實(shí)際抓持的仿真,但計(jì)算時(shí)間難以滿足虛擬現(xiàn)實(shí)實(shí)時(shí)仿真60 fps的刷新率要求。
由試驗(yàn)結(jié)果可以看到,力封閉穩(wěn)定抓持判別,能在獲取抓持點(diǎn)位置、內(nèi)法矢和外力等條件下,通過(guò)力與力矩計(jì)算,判斷是否能穩(wěn)定抓持該物體。
表7 抓持規(guī)則判別時(shí)間Table 7 The time of grasping rule calculation
1)抓持手姿:不同手姿(接觸點(diǎn)位置和內(nèi)法矢)影響是否能抓持;
2)摩擦系數(shù):摩擦系數(shù)越大,越容易被抓持;
3)外力:外力方向影響是否能抓持:外力越大,越難以抓持。
在力封閉判別和穩(wěn)定抓持靜力模型的基礎(chǔ)上,提出了力封閉虛擬手抓持規(guī)則,針對(duì)靜態(tài)物體抓持,通過(guò)接觸點(diǎn)信息和手指抓持信息判斷是否符合力封閉以及手指可提供壓力。該抓持規(guī)則有以下特點(diǎn):
1)通過(guò)穩(wěn)定抓持靜力模型求解接觸點(diǎn)所需壓力,判別該手指是否能提供所需壓力,符合人手抓持物體的真實(shí)判別條件;
2)區(qū)分不同手指可提供壓力,人手的不同手指骨骼、肌肉的差別決定其可提供壓力大小不同,該規(guī)則符合人手抓持的真實(shí)判別條件。
雖然力封閉虛擬手抓持規(guī)則有上述優(yōu)勢(shì),通過(guò)手姿接觸點(diǎn)判別能否提供滿足該姿勢(shì)下抓持物體的力,但依然存在一些不足。一是計(jì)算涉及非線性規(guī)劃求解,要保證求解的精度會(huì)導(dǎo)致計(jì)算復(fù)雜度很高,很難實(shí)現(xiàn)實(shí)時(shí)求解;二是不同年齡、不同性別的人,手指可提供壓力不同,文章沒(méi)有針對(duì)這些差異制定人手手指最大可提供壓力的判別條件。針對(duì)上述問(wèn)題,隨著計(jì)算機(jī)性能的提高,必然能滿足實(shí)時(shí)求解力封閉條件的要求。同時(shí)針對(duì)不同性別,需要進(jìn)一步測(cè)量不同性別的人手手指可提供最大壓力。
目前主流的通過(guò)經(jīng)驗(yàn)總結(jié)的幾何規(guī)則制定具有計(jì)算簡(jiǎn)單、實(shí)時(shí)性強(qiáng)等優(yōu)勢(shì),且能一定程度上符合實(shí)際抓持的體驗(yàn)。但是其不涉及或涉及較少的力與力矩的計(jì)算,在仿真實(shí)際抓持過(guò)程中難免會(huì)出現(xiàn)不符合實(shí)際抓持體驗(yàn)的情況。而通過(guò)力與力矩計(jì)算制定的基于物理的虛擬手抓持規(guī)則能更符合實(shí)際抓持,很好地仿真抓持過(guò)程,但是計(jì)算復(fù)雜度高、難以滿足實(shí)時(shí)性,目前難以應(yīng)用。所以需要研究基于物理的抓持規(guī)則并對(duì)其計(jì)算過(guò)程進(jìn)行優(yōu)化,實(shí)現(xiàn)滿足實(shí)時(shí)性要求的目的。隨著計(jì)算機(jī)性能的不斷提高,由基于幾何的虛擬手抓持規(guī)則向基于物理的虛擬手抓持規(guī)則過(guò)渡也是虛擬手抓持研究的必然趨勢(shì)。