張 超，張旭輝,2,3，杜昱陽(yáng),2,3，楊文娟，張楷鑫

(1.西安科技大學(xué) 機(jī)械工程學(xué)院，陜西 西安 710054；2.陜西省礦山機(jī)電裝備智能監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054;3.陜西省煤礦機(jī)電設(shè)備智能檢測(cè)與控制科技創(chuàng)新團(tuán)隊(duì)，陜西 西安 710054)

0 引 言

隨著煤礦綜采工作面智能化推進(jìn)，煤炭開(kāi)采效率大幅提升，然而由于其復(fù)雜的工況環(huán)境和繁瑣的工序?qū)е孪锏谰蜻M(jìn)自動(dòng)化進(jìn)展緩慢[1]。當(dāng)前采掘工作隊(duì)配比為1∶3.1，且掘進(jìn)過(guò)程以人工操作為主，不能保證巷道成型質(zhì)量。推動(dòng)掘進(jìn)的自動(dòng)化、智能化和無(wú)人化研究是提高掘進(jìn)速度，保證掘進(jìn)安全的有效途徑，掘進(jìn)裝備的位姿自主測(cè)量是實(shí)現(xiàn)自動(dòng)化、智能化的前提。

當(dāng)前巷道掘進(jìn)作業(yè)中以地測(cè)部門(mén)按照巷道設(shè)計(jì)走向固定在掘進(jìn)機(jī)后方巷道一定位置的點(diǎn)激光指向儀為掘進(jìn)基準(zhǔn)，根據(jù)前方煤壁上的激光光斑作掘進(jìn)方向指示。這種指向方式要求掘進(jìn)機(jī)司機(jī)經(jīng)驗(yàn)豐富，但仍然會(huì)出現(xiàn)超挖欠挖，巷道成形不佳。這種落后的指向方式迫切地需要改變，為此許多專(zhuān)家學(xué)者做了大量的研究工作。文獻(xiàn)[2]提出了基于全站儀的掘進(jìn)機(jī)位姿測(cè)量方法，并在現(xiàn)場(chǎng)測(cè)試了有效性，但是難以實(shí)現(xiàn)自主測(cè)量。慣性導(dǎo)航技術(shù)應(yīng)用在煤礦領(lǐng)域[3-4]，該方法可直接獲得位姿信息，抗干擾強(qiáng)，但嚴(yán)重的累積誤差導(dǎo)致需要其他信息定時(shí)修正。杜雨馨等[5]以十字激光器為特征源，利用視覺(jué)測(cè)量技術(shù)實(shí)時(shí)獲取部分位姿信息，無(wú)法得到巷道軸線距離。文獻(xiàn)[6]將雙目相機(jī)與激光指向儀剛性連接拍攝機(jī)身上的特征達(dá)到求解位姿的目的，雙目測(cè)量距離一般很近，導(dǎo)致距離較遠(yuǎn)時(shí)測(cè)量失效?；趇GPS定位技術(shù)[7]，基于空間交匯測(cè)量技術(shù)[8]、基于超寬帶測(cè)量技術(shù)[9]等均能實(shí)現(xiàn)位姿測(cè)量，但其系統(tǒng)較為復(fù)雜，難以持續(xù)化運(yùn)行。楊文娟等[10]將激光指向儀改進(jìn)為兩個(gè)平行激光指向儀束，利用單目視覺(jué)技術(shù)實(shí)現(xiàn)復(fù)雜背景下機(jī)身實(shí)時(shí)位姿獲取，并在井下成功應(yīng)用。

綜上所述，懸臂式掘進(jìn)機(jī)位姿測(cè)量可以分為：人工測(cè)量、半自動(dòng)測(cè)量和自主測(cè)量[11]。結(jié)構(gòu)簡(jiǎn)單、操作方便的自主測(cè)量方式是今后采掘裝備的發(fā)展趨勢(shì)?；诖?，提出了基于雙目立體視覺(jué)的懸臂式掘進(jìn)機(jī)位姿自主測(cè)量方法，該方法采用紅外LED特征替代巷道環(huán)境特征，構(gòu)建雙目視覺(jué)位姿測(cè)量結(jié)構(gòu)，旨在為實(shí)現(xiàn)巷道掘進(jìn)自動(dòng)化、智能化和無(wú)人化研究提供借鑒。

1 雙目視覺(jué)測(cè)量方案

1.1 雙目視覺(jué)測(cè)量原理

理想情況下雙目視覺(jué)空間點(diǎn)坐標(biāo)測(cè)量原理如圖1所示。雙目相機(jī)左右視圖的成像原點(diǎn)一致、兩相機(jī)光軸平行及成像平面的極線行對(duì)齊[12]。以左相機(jī)坐標(biāo)系為世界坐標(biāo)系，在空間中有一點(diǎn)P，相對(duì)于雙目相機(jī)的中心的世界坐標(biāo)為(XW,YW,ZW)。

圖1 雙目視覺(jué)測(cè)量原理Fig.1 Principle of measurement in binocular vision

雙目相機(jī)中左右相機(jī)光心分別是Ol、Or，焦距為f，基線距離為B。世界中點(diǎn)P在左右相機(jī)成像平面中的成像點(diǎn)為xl(xl,yl)、xr(xr,yr)。在理想狀態(tài)下左右相機(jī)的光心一致，即

(1)

根據(jù)相似三角形原理可得：

(2)

(3)

聯(lián)立式(2)和(3)從而可得：

(4)

為保證測(cè)量符合測(cè)量原理，開(kāi)展測(cè)量的第一步工作應(yīng)該是利用雙目相機(jī)標(biāo)定原理獲得雙目相機(jī)各自的內(nèi)參數(shù)，根據(jù)雙目立體校正技術(shù)對(duì)雙目視覺(jué)進(jìn)行校正[13]。

1.2 懸臂式掘進(jìn)機(jī)雙目視覺(jué)位姿測(cè)量方案

懸臂式掘進(jìn)機(jī)雙目視覺(jué)測(cè)量系統(tǒng)結(jié)構(gòu)如圖2所示。將掘進(jìn)機(jī)簡(jiǎn)化為長(zhǎng)方體模型，將雙目相機(jī)固定在機(jī)身上鏡頭朝向機(jī)尾方向，便于拍攝后方的圖像特征。

圖2 懸臂式掘進(jìn)機(jī)雙目視覺(jué)測(cè)量系統(tǒng)結(jié)構(gòu)Fig.2 Measurement structure of binocularvision for cantileverro adheader

在掘進(jìn)機(jī)機(jī)身重心處建立機(jī)身坐標(biāo)系Ob-XbYbZb，其中x方向指向掘進(jìn)機(jī)左側(cè)并垂直于前進(jìn)方向，y方向垂直向上，z方向于前進(jìn)方向一致；建立雙目視覺(jué)測(cè)量坐標(biāo)系Oc-XcYcZc，3個(gè)方向均與機(jī)身坐標(biāo)系各方向平行但方向相反。

懸臂式掘進(jìn)機(jī)雙目視覺(jué)位姿測(cè)量方案如圖3所示。首先采用張正友標(biāo)定原理對(duì)雙目相機(jī)進(jìn)行內(nèi)參數(shù)標(biāo)定，獲得兩相機(jī)內(nèi)參數(shù)和兩相機(jī)之間的變換矩陣。利用雙目相機(jī)采集雙目圖像獲得雙目圖像序列，根據(jù)標(biāo)定得到的參數(shù)利用雙目校正技術(shù)實(shí)現(xiàn)雙目圖像的立體校正，隨后利用區(qū)域生長(zhǎng)的方法實(shí)現(xiàn)圖像特征分割并采用高斯擬合的方式實(shí)現(xiàn)特征的快速精確提取。將前后2幀雙目圖像進(jìn)行環(huán)形匹配實(shí)現(xiàn)雙目圖像的時(shí)域特征匹配，得到獲得4組匹配好的特征點(diǎn)組，即2組相鄰時(shí)刻雙目圖像特征點(diǎn)。根據(jù)前述三角測(cè)量原理，結(jié)合相機(jī)內(nèi)參數(shù)計(jì)算得到2組3D空間坐標(biāo)，最后利用運(yùn)動(dòng)估計(jì)方法求解機(jī)身的運(yùn)動(dòng)參數(shù)。

圖3 懸臂式掘進(jìn)機(jī)雙目視覺(jué)位姿測(cè)量方案Fig.3 Measure mentpro gramme of binocular visual for cantilever roadheader

2 雙目圖像特征選取

2.1 紅外LED圖像特征

在視覺(jué)測(cè)量技術(shù)中，常用的圖像特征有點(diǎn)特征、線特征、圖形特征和邊緣特征。在煤礦井下巷道掘進(jìn)中，低照度、高粉塵和機(jī)電設(shè)備眾多且集中等造成圖像特征不明顯或特征缺失，因此，通過(guò)人為構(gòu)建圖像特征的方法可以有效地保證穩(wěn)定的特征。在研究截割頭位姿視覺(jué)測(cè)量方法[14-15]時(shí)采用了一種紅外LED燈作為圖像特征，有效地避免了雜光的干擾，增加了特征的穩(wěn)定性，在此基礎(chǔ)上，人為構(gòu)建紅外LED標(biāo)靶作為圖像特征。雙目相機(jī)拍攝的紅外LED雙目圖像如圖4所示。

圖4 紅外LED雙目圖像Fig.4 Binocu larimages based on infrared LED

2.2 紅外LED圖像井下應(yīng)用

在山西某礦綜掘工作面，基于紅外LED特征的截割頭位姿視覺(jué)測(cè)量方法在井下成功應(yīng)用。如圖5所示，是現(xiàn)場(chǎng)拍攝的井下紅外LED標(biāo)靶圖像和在高粉塵、低照度、大水霧中拍攝的標(biāo)靶圖像。

由圖5a近距離拍攝的紅外LED標(biāo)靶圖像可以看出，在巷道掘進(jìn)過(guò)程中高粉塵、大水霧和低照度等工況十分惡劣；圖5b是未掘進(jìn)時(shí)工業(yè)相機(jī)拍攝的紅外LED標(biāo)靶圖像，可以看出特征非常清晰；圖5c中紅外LED標(biāo)靶受到了粉塵水霧的影響，但是光斑特征依然清晰。在煤礦井下應(yīng)用時(shí)，紅外LED標(biāo)靶安裝在截割臂上，距離截割頭和前煤壁較近，在此種情況下圖像特征依然可以精確提取說(shuō)明這種方案是可行的。

圖5 紅外LED標(biāo)靶在煤礦井下的應(yīng)用Fig.5 Application of infrared LED targetin underground coal mine

紅外LED標(biāo)靶放置在掘進(jìn)機(jī)后方一定位置處，受到的粉塵和水霧影響較小，因此采用紅外LED作為視覺(jué)測(cè)量中的圖像特征。

3 特征提取與匹配

3.1 特征提取

圖像特征提取即準(zhǔn)確地提取紅外LED光斑中心。光斑中心精確定位分為光斑區(qū)域分割和中心點(diǎn)定位2個(gè)步驟。

3.1.1 光斑區(qū)域分割

采用紅外SE3470燈組成的紅外LED標(biāo)靶作為圖像特征，在基于紅外LED特征的雙目圖像中，每個(gè)光斑區(qū)域具有很強(qiáng)的連通性。紅外LED燈的圖像特征成像如圖6所示，特征點(diǎn)成像近似橢圓，且其灰度值從光斑中心向邊緣減小。

圖6 紅外LED光源成像與放大Fig.6 Imaging and amplifi cation of infrared LED light source

根據(jù)這種特性，采用區(qū)域生長(zhǎng)的方法對(duì)雙目圖像進(jìn)行光斑區(qū)域分割。區(qū)域生長(zhǎng)算法的思想是將具有相似性的像素點(diǎn)合并到一起[16]。利用區(qū)域生長(zhǎng)的算法實(shí)現(xiàn)紅外LED特征點(diǎn)光斑區(qū)域分割的關(guān)鍵在于確定生長(zhǎng)種子點(diǎn)、區(qū)域生長(zhǎng)和停止生長(zhǎng)的條件。在雙目圖像中光斑區(qū)域較多，采用人機(jī)交互的方式確定種子點(diǎn)不能滿(mǎn)足需求，因此提出一種自動(dòng)確定種子生長(zhǎng)點(diǎn)的區(qū)域分割方法。具體實(shí)現(xiàn)步驟如下：

步驟①：創(chuàng)建一個(gè)全黑的空白圖像J，即灰度值J(x,y)=0。

步驟②：以原圖像I(x,y)>T&J(x,y)=0為種子的自動(dòng)判定條件，確定多種子點(diǎn)起始生長(zhǎng)點(diǎn)坐標(biāo),其中T為閾值，(x,y)為像素坐標(biāo)。

步驟③：判斷種子點(diǎn)(x0,y0)周?chē)?鄰域像素(x,y)與種子像素灰度值之差的絕對(duì)值小于某個(gè)閾值，如果滿(mǎn)足條件，將(x,y)與(x0,y0)合并為統(tǒng)一區(qū)域，并將其灰度值寫(xiě)入圖像J，并壓入堆棧。

步驟④：從堆棧中取出一個(gè)像素，把它當(dāng)做新的種子點(diǎn)(x0,y0)返回到步驟②，直到堆棧為空，此時(shí)一個(gè)光斑區(qū)域分割結(jié)束。

步驟⑤：重復(fù)步驟①—④直到圖像中每個(gè)點(diǎn)都有歸屬，生長(zhǎng)結(jié)束。如圖7所示是利用區(qū)域生長(zhǎng)算法實(shí)現(xiàn)的雙目左圖像區(qū)域分割結(jié)果。

圖7 左圖像光斑區(qū)域分割Fig.7 Region-dependent segment ation of spotsin leftimage

3.1.2 光斑中心定位

通過(guò)區(qū)域生長(zhǎng)算法實(shí)現(xiàn)了特征點(diǎn)光斑區(qū)域分割，獲得了各個(gè)區(qū)域的所有像素坐標(biāo)。一個(gè)光斑圖像的灰度分布如圖8所示，近似于二維高斯分布[17]，其模型是：

圖8 光斑圖像的灰度分布情況Fig.8 Grayscale distribution of spot image

(5)

式中：I0為紅外LED的總能量；(x,y)為高斯分布函數(shù)區(qū)域內(nèi)一點(diǎn)坐標(biāo)；(x0,y0)為光斑的成像中心坐標(biāo)；σpsf為高斯函數(shù)的均方差。

采用粗提取的方法提取光斑的中心點(diǎn)(x′,y′)，記粗提取中心點(diǎn)左邊的像素點(diǎn)坐標(biāo)為(xl,y′)，中心點(diǎn)右側(cè)的像素坐標(biāo)(xr,y′)，中心點(diǎn)上方的像素點(diǎn)坐標(biāo)為(x′,yup)，中心點(diǎn)下方的像素點(diǎn)坐標(biāo)為(x′,ydown)。由公式(6)可知：

(6)

對(duì)于(xl,y′)、(x′,y′)、(xr,y′)三點(diǎn)，可以得出以下方程組：

(7)

由此可計(jì)算出光斑中心點(diǎn)坐標(biāo)為：

(8)

由此可知，光斑中心點(diǎn)(x0,y0)可以快速計(jì)算得出。光斑中心點(diǎn)定位結(jié)果如圖9所示。

圖9 光斑中心定位結(jié)果Fig.9 Location of spot center

3.2 特征點(diǎn)匹配

懸臂式掘進(jìn)機(jī)雙目視覺(jué)位姿測(cè)量方法中的特征點(diǎn)匹配是時(shí)域特征點(diǎn)匹配，即同一幀左右圖像的特征點(diǎn)匹配和相鄰兩幀之間的特征點(diǎn)匹配,本文采用環(huán)形匹配策略實(shí)現(xiàn)特征點(diǎn)精確匹配。環(huán)形匹配策略結(jié)構(gòu)如圖10所示。

圖10 特征點(diǎn)環(huán)形匹配策略Fig.10 Ring-matching strategy for feature points

沿時(shí)間軸方向選擇t1、t2時(shí)刻2幀圖像，截取前后兩幀雙目圖像，t1時(shí)刻左右圖像分別是Pl1和Pr1，t2時(shí)刻左右圖像分別是Pl2和Pr2。根據(jù)前文所述方法實(shí)現(xiàn)雙目圖像中光斑中心的精確定位。環(huán)形匹配具體的實(shí)現(xiàn)過(guò)程如下：

步驟①：建立匹配坐標(biāo)系。在每幅圖像中，取所有特征點(diǎn)像素坐標(biāo)中x和y方向坐標(biāo)值的最大和最小值，計(jì)算各自的平均值組成新的坐標(biāo)A(xav,yav)，以此為原點(diǎn)，x和y方向不變建立匹配坐標(biāo)系。并求取每個(gè)特征點(diǎn)與坐標(biāo)A(xav,yav)的特征向量。

以Pl1圖像中為例，假設(shè)特征點(diǎn)Pi坐標(biāo)為(xi,yi)，其中(i=1,2,3,…,n)。計(jì)算xi中的最大值xmax和最小值xmin，并計(jì)算兩者的平均值，記為xav；同理計(jì)算出yi中的最大值ymax和最小值ymin，并計(jì)算兩者的平均值，記為yav。組成新的坐標(biāo)點(diǎn)A(xav,yav)。

(9)

(10)

其平均值為

(11)

同理：

(12)

(13)

其平均值為

(14)

(15)

(16)

(17)

步驟③:匹配成功后，繼續(xù)匹配t1時(shí)刻右圖像中對(duì)應(yīng)的特征點(diǎn)。t2時(shí)刻右圖像中的匹配成功的特征點(diǎn)按步驟②找到t1時(shí)刻右圖像中的匹配點(diǎn)，若不滿(mǎn)足，返回t2時(shí)刻左圖像選擇新的特征點(diǎn)進(jìn)行匹配。

步驟④:匹配成功后，繼續(xù)匹配t1時(shí)刻左圖像中對(duì)應(yīng)的特征點(diǎn)。t1時(shí)刻右圖像中的匹配成功的特征點(diǎn)按步驟②找到t1時(shí)刻左圖像中的匹配點(diǎn)，若不滿(mǎn)足，返回匹配t2時(shí)刻左圖像選擇新的特征點(diǎn)進(jìn)行匹配。

步驟⑤:匹配成功后，繼續(xù)匹配t2時(shí)刻左圖像中對(duì)應(yīng)的特征點(diǎn)。將t1時(shí)刻左圖像中的匹配得到的特征點(diǎn)對(duì)應(yīng)的特征向量按照步驟②對(duì)t2時(shí)刻左圖像進(jìn)行匹配，若匹配得到的特征點(diǎn)與起始匹配點(diǎn)一致，匹配成功；否則匹配失敗。

步驟⑥:選擇t2時(shí)刻左圖像新的特征點(diǎn)按步驟②—⑤循環(huán)執(zhí)行，直至t2時(shí)刻左圖像中所有特征點(diǎn)已執(zhí)行匹配過(guò)程。

環(huán)形匹配結(jié)果如圖11所示。

圖11 特征點(diǎn)環(huán)形匹配結(jié)果Fig.11 Result soffeature point sbasedon ring matching

4 懸臂式掘進(jìn)機(jī)運(yùn)動(dòng)估計(jì)

利用環(huán)形匹配結(jié)果，結(jié)合雙目視覺(jué)測(cè)量原理就可以計(jì)算出相機(jī)坐標(biāo)系的2組3D點(diǎn)空間坐標(biāo)。那么基于雙目視覺(jué)的懸臂式掘進(jìn)機(jī)運(yùn)動(dòng)估計(jì)問(wèn)題就變成了已知2組匹配好的3D點(diǎn)坐標(biāo)求解相鄰時(shí)刻的運(yùn)動(dòng)變換參數(shù)[18]。

假設(shè)2組3D點(diǎn)表示為

P=p1,…,pn,P′=p1′,…,pn′

(18)

求解變換矩陣R,D滿(mǎn)足：

?i,pi=Rpi′+D

(19)

得到的R和D就是相機(jī)運(yùn)動(dòng)的變換矩陣。采用線性代數(shù)方法求解(SVD)該問(wèn)題。

定義第i對(duì)點(diǎn)的誤差項(xiàng)為

ei=pi-Rpi′+D

(20)

則構(gòu)建其最小二乘問(wèn)題，求解R和D使得誤差平方和達(dá)到極?。?/p>

(21)

首先定義兩組點(diǎn)的質(zhì)心：

(22)

將公式(21)中的最小二乘函數(shù)可化簡(jiǎn)為

(23)

交叉項(xiàng)中pi-p-R(pi′-p)在求和之后為0，因此目標(biāo)函數(shù)可以?xún)?yōu)化為

(24)

1)計(jì)算2組點(diǎn)的質(zhì)心位置p，p′，然后計(jì)算每個(gè)點(diǎn)的去質(zhì)心坐標(biāo)：

qi=pi-p;qi′=pi′-p′

(25)

2)根據(jù)以下優(yōu)化問(wèn)題計(jì)算旋轉(zhuǎn)矩陣：

(26)

3)根據(jù)第(2)步計(jì)算結(jié)果R，求得D:

展開(kāi)R的誤差項(xiàng)：

(27)

顯然第1項(xiàng)與R無(wú)關(guān)，RTR=I，第2項(xiàng)也與R無(wú)關(guān)，所以目標(biāo)函數(shù)簡(jiǎn)化為：

(28)

定義矩陣：

(29)

所以W是一個(gè)3×3的矩陣，對(duì)其進(jìn)行SVD分解得到：

W=U∑VT

(30)

當(dāng)W滿(mǎn)秩時(shí)，R為

R=UVT

(31)

解得R后，代入公式(25)即可求出D。式中R是一個(gè)3×3的矩陣，表示兩幀圖像之間姿態(tài)的旋轉(zhuǎn)矩陣，D是一個(gè)平移向量，表示2幀圖像之間的位移變化量。

將采集的第一幀圖像時(shí)的載體位姿作為初始姿態(tài)，記為P0，包括旋轉(zhuǎn)矩陣R0和平移矩陣T0，則

(33)

通常初始位姿P0由煤礦地測(cè)科利用全站儀測(cè)量得到。設(shè)Pk為第k個(gè)位姿，Rk,Tk,k=0,1,2,…,k表示每1幀的旋轉(zhuǎn)矩陣和平移矩陣。則具體每個(gè)時(shí)刻的位姿計(jì)算如下：

(34)

由相鄰兩幀即可得到位移量和姿態(tài)角的變化量，將一小段離散化的位移按照時(shí)間順序進(jìn)行迭代計(jì)算，便可得到懸臂式掘進(jìn)機(jī)連續(xù)的運(yùn)動(dòng)軌跡，如圖12所示。

圖12 懸臂式掘進(jìn)機(jī)運(yùn)動(dòng)軌跡推算Fig.12 Calculation of trajectory of cantileverroad header

5 雙目視覺(jué)位姿測(cè)量策略

由于雙目視覺(jué)測(cè)量原理自身的不足導(dǎo)致測(cè)量距離有限，考慮基于雙目立體視覺(jué)的懸臂式掘進(jìn)機(jī)位姿測(cè)量方法在實(shí)際使用中存在標(biāo)靶移動(dòng)問(wèn)題，提出了一種雙標(biāo)靶交叉移動(dòng)的懸臂式掘進(jìn)機(jī)雙目視覺(jué)位姿測(cè)量使用策略。如圖13所示，將雙目相機(jī)固定在懸臂式掘進(jìn)機(jī)上，通過(guò)采集布置在后方的雙紅外LED標(biāo)靶A和B的圖像實(shí)現(xiàn)機(jī)身位姿檢測(cè)的目的。

圖13 雙標(biāo)靶雙目測(cè)量初始狀態(tài)Fig.13 Initialstate of doubletar getbino cularmea surement

在實(shí)際工作中，隨著掘進(jìn)效率的提升，掘進(jìn)機(jī)前進(jìn)的速度越來(lái)越快，雙目的測(cè)量距離很難保證長(zhǎng)距離或超長(zhǎng)距離測(cè)量，此時(shí)可以通過(guò)交叉移動(dòng)的方式，既保證測(cè)量的精度，也能保證測(cè)量的連續(xù)性。如圖14所示，在標(biāo)靶和相機(jī)之間的距離超過(guò)雙目視覺(jué)測(cè)量距離而不能滿(mǎn)足測(cè)量精度時(shí)，保證B標(biāo)靶保持不動(dòng)正常工作，同時(shí)切斷A的供電使其前移至雙目位姿測(cè)量的最小測(cè)量距離處，打開(kāi)電源使其正常工作。移動(dòng)期間，雙目視覺(jué)位姿檢測(cè)連續(xù)工作沒(méi)有中斷，這樣就保證了測(cè)量的連續(xù)性。

圖14 標(biāo)靶A斷電前移Fig.14 Target A forward after power off

將A移動(dòng)至前方后，再按照同樣的方法移動(dòng)B至前側(cè)，如圖15所示。如此循環(huán)交替移動(dòng)即可實(shí)現(xiàn)連續(xù)測(cè)量，彌補(bǔ)了其測(cè)量距離不足的缺陷。

圖15 標(biāo)靶B斷電前移Fig.15 Target B for ward after power off

6 試驗(yàn)結(jié)果與分析

為有效地驗(yàn)證基于雙目視覺(jué)的懸臂式掘進(jìn)機(jī)位姿測(cè)量性能，論文分別從位置和姿態(tài)測(cè)量2個(gè)方面進(jìn)行驗(yàn)證。

1)雙目視覺(jué)位置測(cè)量精度試驗(yàn)。

采用MYNTEYE的D1000-IR-120/Color雙目相機(jī)和SE347-003880 nm紅外LED燈組成的被測(cè)標(biāo)靶構(gòu)成雙目視覺(jué)位姿測(cè)量系統(tǒng)。將加裝了紅外濾鏡的雙目相機(jī)固定在精度為0.1 mm的高精度移動(dòng)平臺(tái)，并將紅外LED光源組成的被測(cè)標(biāo)靶固定于機(jī)身后方一定距離處。如圖16所示是搭建的雙目視覺(jué)位置測(cè)量動(dòng)態(tài)試驗(yàn)平臺(tái)。

圖16 雙目視覺(jué)位置測(cè)量試驗(yàn)驗(yàn)證平臺(tái)Fig.16 Experimental veri fication platform for binocular visual position measurement

通過(guò)調(diào)整相機(jī)橫向位移，每次移動(dòng)5 cm并利用雙目圖像采集軟件采集固定于機(jī)身后方2 m處的紅外LED標(biāo)靶圖像。以初始位置(0,0,0)和初始姿態(tài)(0°,0°,0°)為起始位姿，得到連續(xù)的位姿測(cè)量結(jié)果。如圖17所示是測(cè)量距離為2 m時(shí)，雙目視覺(jué)測(cè)量方法在X方向的測(cè)量結(jié)果。

圖17 測(cè)量距離為2 m時(shí)X方向?qū)嶋H位移Fig.17 Actual displacement in X direction when measuring distance is 2 m

從上圖中可以得到，雙目視覺(jué)在X方向的位移變換情況與高精度的位移變化情況完全吻合，但是由于存在測(cè)量誤差的情況，出現(xiàn)了小幅的偏差。如圖18所示是與雙目相機(jī)保持同步運(yùn)動(dòng)時(shí)高精度移動(dòng)平臺(tái)位移數(shù)據(jù)。

圖18 X方向位移誤差Fig.18 Displace menterror of X directional

如圖18所示是X方向位移測(cè)量誤差，可以看出誤差在±30 mm以?xún)?nèi)。如圖19和圖20是在移動(dòng)過(guò)程中雙目視覺(jué)位姿測(cè)量得到的Y和Z方向的位移變化情況。

圖19 Y方向的位移變化Fig.19 Displace ment changein Y direction

其中Y方向的測(cè)量誤差在(-20 mm，0 mm)之間，Z方向測(cè)量誤差在±10 mm以?xún)?nèi)。如圖20—圖22所示，分別是通過(guò)雙目視覺(jué)位姿測(cè)量方法計(jì)算得到的橫滾角、航向角和俯仰角姿態(tài)值。

圖20 Z方向的位移變化Fig.20 Displace ment changein Z direction

圖21 橫滾角變化情況Fig.21 Variationo frol langle

圖22 航向角變化情況Fig.22 Variation of rawangle

其中，橫滾角測(cè)量誤差在±0.2°以?xún)?nèi)，航向角在(-0.5°，0.3°)之內(nèi)變化，俯仰角在(-0.72°，0°)之間變化。從總體上來(lái)說(shuō)，姿態(tài)的變化相對(duì)穩(wěn)定且精度高。

圖23 俯仰角變化情況Fig.23 Variation of pitchangle

2)雙目視覺(jué)測(cè)量姿態(tài)測(cè)量試驗(yàn)。

試驗(yàn)器材包括MYEYEN120雙目相機(jī)，紅外LED標(biāo)靶，精度為0.01°的高精度三軸轉(zhuǎn)臺(tái)。為便于研究，將雙目相機(jī)固定在高精度三軸轉(zhuǎn)臺(tái),如圖24所示。

圖24 雙目視覺(jué)位姿測(cè)量實(shí)驗(yàn)驗(yàn)證平臺(tái)Fig.24 Experimental verification plat form for binocular visual position measurement

通過(guò)旋轉(zhuǎn)雙目相機(jī)并利用雙目圖像采集軟件采集固定于機(jī)身后方2 m處的紅外LED標(biāo)靶圖像。如圖25所示是高精度三軸轉(zhuǎn)臺(tái)回轉(zhuǎn)角數(shù)據(jù)變化情況，圖26是通過(guò)雙目視覺(jué)計(jì)算得到的航向角數(shù)據(jù)，可以看出姿態(tài)變化情況基本一致。

圖25 雙目視覺(jué)航向角與高精度三軸轉(zhuǎn)臺(tái)對(duì)比Fig.25 Comparison of positive and high precision triaxial turbine with dual visual camera

圖26 雙目視覺(jué)測(cè)量航向角誤差值Fig.26 Error of heading anglemea sured by binocular vision

繪制得到的誤差結(jié)果如圖26所示，可以得到航向角的誤差在±1°以?xún)?nèi)。如圖27和圖28分別是俯仰角和橫滾角姿態(tài)測(cè)量情況，可以看出其在(-1.2°，1°)以?xún)?nèi)變化。

圖27 航向角誤差值Fig.27 Errorin heading angle

圖28 雙目視覺(jué)測(cè)量橫滾角Fig.28 Roll angle of Binocular visionmea surement

雙目視覺(jué)位姿檢測(cè)的橫滾角在0.1°以?xún)?nèi)變化，但是由于安裝過(guò)程相機(jī)不是絕對(duì)水平的原因，橫滾角出現(xiàn)了小幅的降低。

7 結(jié) 論

1)煤礦井下高粉塵、低照度的實(shí)際工況環(huán)境，造成了嚴(yán)重的圖像特征缺失，因此采用穩(wěn)定的紅外LED光源組成特征標(biāo)靶作為視覺(jué)測(cè)量的目標(biāo)。

2)提出了一種基于雙目立體視覺(jué)的懸臂式掘進(jìn)機(jī)位姿測(cè)量方法，采用高斯擬合法計(jì)算紅外LED多光斑中心特征提出，同時(shí)采用環(huán)形匹配策略實(shí)現(xiàn)雙目視覺(jué)的前后時(shí)域特征匹配并驗(yàn)證了匹配的正確性，根據(jù)雙目視覺(jué)基本測(cè)量原理計(jì)算出光斑中心的空間三維坐標(biāo)，最后利用3D-3D運(yùn)動(dòng)估計(jì)計(jì)算出空間位姿。

3)搭建試驗(yàn)驗(yàn)證平臺(tái)評(píng)估了其測(cè)量性能。理論與實(shí)驗(yàn)表明：該測(cè)量方法在X方向即橫向位移的測(cè)量誤差在±30 mm，航向角的測(cè)量誤差在±1°以?xún)?nèi)，滿(mǎn)足煤礦井下巷道掘進(jìn)的要求。