国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

面向ARV的視覺輔助水下對接方法研究

2021-02-02 02:38魏志祥
海洋工程 2021年1期
關(guān)鍵詞:位姿坐標(biāo)系直線

魏志祥,吳 超

(上海交通大學(xué) 船舶建筑與海洋工程學(xué)院,上海 200240)

在水下機(jī)器人研究領(lǐng)域,水下對接技術(shù)是一個(gè)研究熱點(diǎn),具有重要的科學(xué)意義和實(shí)用價(jià)值。在水下機(jī)器人的開發(fā)應(yīng)用中,遠(yuǎn)距離的水下通信、長時(shí)間水下作業(yè)的能源供給及信息交換等問題是困擾水下機(jī)器人發(fā)展的幾個(gè)核心問題[1]。如果能有一個(gè)合理、有效的深水對接和釋放水下機(jī)器人的方法,將使?jié)撍鞯乃伦鳂I(yè)范圍、水下隱蔽性能得到大大提高,也可節(jié)省大量回收釋放時(shí)間。面向自治纜控水下機(jī)器人(ARV),針對ARV完成水下作業(yè)后與中繼器一起回收的需求,利用ARV實(shí)現(xiàn)與中繼器的水下對接并通過鎧裝臍帶纜起升完成整體回收。在這個(gè)過程中,水下對接技術(shù)是一項(xiàng)關(guān)鍵技術(shù)。

自治纜控水下機(jī)器人是一種面向極端環(huán)境或特殊使命任務(wù)、集AUV和ROV技術(shù)特點(diǎn)于一體的多功能水下機(jī)器人。ARV自帶能源并通過光纖微纜實(shí)現(xiàn)與水面控制臺(tái)的實(shí)時(shí)通信和數(shù)據(jù)交互,其多操控模式靈活切換機(jī)制及人機(jī)共融的技術(shù)特點(diǎn)可以保障其在復(fù)雜海洋環(huán)境下實(shí)現(xiàn)高難度的使命任務(wù)[2]。當(dāng)ARV在深海作業(yè)時(shí),布放和回收需要花費(fèi)很長時(shí)間,如果作業(yè)海域海況較差,回收過程還會(huì)增加一定風(fēng)險(xiǎn)。為了提高ARV的水下作業(yè)時(shí)間、工作效率和降低風(fēng)險(xiǎn),研究有效的水下對接技術(shù)顯得尤為重要[3]。

國內(nèi)外研究人員針對水下對接技術(shù)的研究中,在近距離引導(dǎo)方面一般采用視覺引導(dǎo)的方式。利用視覺技術(shù)輔助水下對接的方法主要分為兩類。一是在對接口周圍布置水下燈,利用視覺伺服算法對水下機(jī)器人進(jìn)行定位[4-5]。該方法優(yōu)點(diǎn)是作用距離較遠(yuǎn),但是由于光的散射作用,在圖像處理時(shí)對水下燈的光心估計(jì)存在較大誤差,因此布置水下燈引導(dǎo)定位的方式大多應(yīng)用于對接精度較低的場景。另一種方法是在對接口附近布置特定圖形的識(shí)別面板,利用SLAM算法識(shí)別面板上的特征點(diǎn)從而對水下機(jī)器人進(jìn)行位姿估計(jì)[6-7]。這種方法的優(yōu)點(diǎn)是定位精度高,但是計(jì)算量較大,而且由于水下光照不足導(dǎo)致特征點(diǎn)誤匹配率較高。其他定位方法的研究中,F(xiàn)igueiredo等[8]以3個(gè)圓球?yàn)橛^測目標(biāo),利用四元數(shù)解算相對位姿關(guān)系。Park和Kim[9]采用基于模型的位姿估計(jì)方法,并加入了kalman濾波器平滑估計(jì)值,實(shí)現(xiàn)了ROV 在水下對特定模型的高精度定位。在大多數(shù)水下對接的方法中都存在精度不足或者計(jì)算量大的缺點(diǎn),并不能很好滿足計(jì)算資源有限的ARV水下高精度對接的技術(shù)特點(diǎn)。

針對ARV水下對接系統(tǒng)中高精度對接的需求,對近距離視覺引導(dǎo)水下對接技術(shù)展開研究?;诜瓷涔馍⑸漭^弱的特點(diǎn),設(shè)計(jì)了在框體對接裝置的入口處布置反光帶的方案,以反光帶為目標(biāo)設(shè)計(jì)了圖像處理和特征點(diǎn)提取的算法,建立單目視覺系統(tǒng)輔助對接,并針對水下對接的準(zhǔn)確度和實(shí)時(shí)性的要求對算法進(jìn)行優(yōu)化,通過對反光帶頂點(diǎn)的識(shí)別定位對接裝置,同時(shí)解算出目標(biāo)的空間坐標(biāo),從而快速獲得ARV相對于對接裝置的位置和姿態(tài)。最后通過與引導(dǎo)燈方案的對比試驗(yàn),驗(yàn)證本文算法的有效性,為潛水器實(shí)現(xiàn)水下自主對接提供參考依據(jù)。

1 圖像處理

參考傳統(tǒng)水下對接方法中的引導(dǎo)燈方案,考慮到直接光源的散射以及易被周圍環(huán)境干擾的特點(diǎn),采用反射光源引導(dǎo)ARV水下對接。利用反射光散射小,辨識(shí)度高的特性,設(shè)計(jì)了基于反光帶的視覺輔助水下對接系統(tǒng),如圖1所示,適用于水面工作人員在視覺引導(dǎo)下完成高精度的水下對接任務(wù),以及實(shí)時(shí)為操作者反饋數(shù)據(jù)。本系統(tǒng)在中繼器導(dǎo)向口框架上布置反光帶,為了視覺引導(dǎo)的方便,反光帶盡量使用規(guī)則的方形。導(dǎo)向口框架的頂點(diǎn)處安裝水下燈,用作反光帶的光源,并且不直射于導(dǎo)向口正對方向。ARV本體部分,首部端平面內(nèi)布置攝像機(jī),攝像機(jī)安裝位置為ARV首部端平面正中心,在正常對接時(shí),攝像機(jī)與中繼器導(dǎo)向口中心連線需要同ARV航行方向平行,用以保證目標(biāo)識(shí)別后解算出的攝像機(jī)位姿即為ARV本體位姿。

ARV水下對接采用視覺系統(tǒng)輔助對接,目標(biāo)為中繼器對接口反光帶頂點(diǎn),目的是精確、快速地捕捉目標(biāo),從而實(shí)時(shí)獲取目標(biāo)在圖像坐標(biāo)系的坐標(biāo),并解算出ARV相對于中繼器的位置和姿態(tài)。視覺輔助對接系統(tǒng)的第一步是對獲取的圖像進(jìn)行特征提取。具體步驟如圖2所示。為驗(yàn)證視覺算法的可行性,拍攝中繼器圖片進(jìn)行處理,其中導(dǎo)向口正對攝像頭,如圖3所示。

圖2 圖像處理流程

圖3 中繼器圖像

1.1 顏色檢測

由于反光帶并不是直接光源,如果使用直接閾值處理二值化后的圖像效果甚微。因此采用顏色檢測的方式,突出反光帶特征。顏色檢測一般采取將RGB色彩空間轉(zhuǎn)換到HSV色彩空間的方式。在HSV顏色模型中,H代表色調(diào),S代表飽和度,V代表亮度。轉(zhuǎn)換公式如式(1)所示。

(1)

利用HSV色彩空間的色調(diào)值、飽和度、亮度作為圖像分割閾值,并使用形態(tài)學(xué)操作對中繼器圖像進(jìn)行處理,突出反光帶特征。效果圖如圖4所示。

1.2 邊緣提取

經(jīng)過顏色檢測突出反光帶特征后,需要繪制出圖像的外形特征。采用canny算子[10]實(shí)現(xiàn)邊緣提取,便于后期的特征點(diǎn)提取。為消除冗余信息,首先使用高斯平滑濾波器卷積降噪,這里使用size=5的高斯內(nèi)核,然后運(yùn)用一對卷積陣列(分別作用于x和y方向),計(jì)算梯度幅值和方向,如式(2)所示。利用非極大值抑制技術(shù)排除非邊緣像素, 僅保留一些細(xì)線條(候選邊緣),然后通過設(shè)置兩個(gè)滯后閾值(高閾值和低閾值)獲取邊緣圖像,如圖5所示。

(2)

1.3 直線檢測

為了精確定位特征點(diǎn)坐標(biāo),采用檢測邊緣圖像中的直線特征的方式,輔助完成圖片特征點(diǎn)的快速提取?;舴蜃儞Q[11]是常用的提取直線特征的方法,采用累計(jì)概率霍夫變換[12],目的在于更加快速地尋找直線特征,減少計(jì)算的時(shí)間成本。

在霍夫變換中,采用極坐標(biāo)系表示直線,即用式(3)表示直線。對于點(diǎn)(x0,y0),可以利用式(4)統(tǒng)一定義通過該點(diǎn)的一族直線。對(x0,y0)在極坐標(biāo)對極徑極角平面繪出所有通過它的直線,將得到一條正弦曲線。對所有點(diǎn)進(jìn)行上述操作,如果兩個(gè)不同的點(diǎn)經(jīng)過上述操作后得到的曲線在平面θ-r相交,說明它們經(jīng)過同一條直線?;舴蚓€變換要做的就是追蹤圖像中每個(gè)點(diǎn)對應(yīng)曲線的交點(diǎn),如果交于一點(diǎn)的曲線數(shù)量超過了閾值,就可以認(rèn)為該點(diǎn)代表的參數(shù)對(θ0,r0)在原圖像中為一條直線。

(3)

r0=x0cosθ+y0sinθ

(4)

使用的累計(jì)概率霍夫變換,比標(biāo)準(zhǔn)霍夫變換更精確、更快速。首先隨機(jī)獲取邊緣圖像上的前景點(diǎn),映射到極坐標(biāo)系畫曲線;當(dāng)極坐標(biāo)系里面有交點(diǎn)達(dá)到最小投票數(shù),將該點(diǎn)對應(yīng)xy坐標(biāo)系的直線L找出來;最后搜索邊緣圖像上前景點(diǎn),在直線L上的點(diǎn)(且點(diǎn)與點(diǎn)之間距離小于設(shè)定閾值的)連成線段,然后這些點(diǎn)全部刪除,并且記錄該線段的參數(shù)(起始點(diǎn)和終止點(diǎn))。效果圖如圖6所示。

2 視覺定位

基于水下對接的任務(wù)需求,ARV需要精準(zhǔn)對接尺寸與其相當(dāng)?shù)膶涌?,因此設(shè)計(jì)的視覺輔助對接系統(tǒng)采用識(shí)別反光帶四個(gè)頂點(diǎn)的高精度定位方法。而圖片特征點(diǎn)的提取就成為事關(guān)對接成敗的關(guān)鍵。提取特征點(diǎn)之后,需要解算攝像機(jī)位姿,實(shí)現(xiàn)ARV定位,從而輔助完成ARV水下對接任務(wù)。

2.1 特征點(diǎn)提取

圖7 特征點(diǎn)提取流程圖

在上一步的圖像處理過程中,得到了圖片的邊緣圖像,如果直接采用角點(diǎn)檢測再篩選特征點(diǎn)的方式,計(jì)算量相對較大,不符合設(shè)計(jì)的視覺輔助系統(tǒng)實(shí)現(xiàn)快速定位的實(shí)時(shí)性要求。因此優(yōu)化算法,利用霍夫變換獲取邊緣圖像的直線特征,再通過圖像的直線信息提取特征點(diǎn),極大地減少了計(jì)算量,并提高了識(shí)別的準(zhǔn)確性。具體流程如圖7所示。

經(jīng)過霍夫線變換得到邊緣圖像的直線特征,并獲取了直線的起始點(diǎn)(x1,y1)和終止點(diǎn)(x2,y2),直線的數(shù)學(xué)模型如式(5)所示,任意兩直線交點(diǎn)的表達(dá)式如式(6)所示,遍歷圖像中的所有直線,可求出所有直線兩兩之間的交點(diǎn)。

(5)

(6)

由于交點(diǎn)的坐標(biāo)位置基本都在反光帶的范圍內(nèi),設(shè)計(jì)的提取反光帶頂點(diǎn)的思想是,隨機(jī)抽取任意四個(gè)交點(diǎn)的坐標(biāo)位置,比較任意四點(diǎn)圍成的封閉圖形(可能是四邊形,也可能是三角形甚至是直線)的面積,圍成面積最大的四邊形的四個(gè)交點(diǎn)即為反光帶頂點(diǎn)。為了方便求解四點(diǎn)圍成的封閉圖形面積,需要建立統(tǒng)一的面積公式:

(7)

(8)

這種算法雖然可以確定反光帶頂點(diǎn),但是遍歷了四次直線特征的交點(diǎn),時(shí)間復(fù)雜度是O(n4),浪費(fèi)了大量時(shí)間資源,也不滿足實(shí)時(shí)性的要求,所以需要改進(jìn)算法。

(9)

通過設(shè)計(jì)的算法快速精確地篩選關(guān)鍵信息,提取特征點(diǎn),效果圖如圖8所示。圖中四個(gè)三角點(diǎn)為檢測出的反光帶頂點(diǎn),小圓點(diǎn)為其余直線特征形成的交點(diǎn)。

圖8 效果圖

圖9 坐標(biāo)系描述

2.2 位姿估計(jì)

提取特征點(diǎn)之后,需要解算攝像機(jī)位姿。也就是將特征點(diǎn)在像素坐標(biāo)系中的坐標(biāo)變換到世界坐標(biāo)系的坐標(biāo)。單目視覺位姿估計(jì)理論的基礎(chǔ)在于攝像機(jī)的針孔成像模型,如圖9所示,成像過程涉及到四個(gè)坐標(biāo)系:世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系[13]。

在本文的世界坐標(biāo)系{T}中,原點(diǎn)建立在中繼器導(dǎo)向口反光帶四個(gè)頂點(diǎn)確定的平面上,考慮到中繼器導(dǎo)向口邊緣近似為矩形,所以將中繼器導(dǎo)向口中心點(diǎn)設(shè)置為{T}的原點(diǎn)。Zt軸垂直于反光帶平面向外,Xt軸指向中繼器右舷,Yt軸豎直向下。

相機(jī)坐標(biāo)系{C}中,以相機(jī)的光心為坐標(biāo)原點(diǎn),X軸和Y軸分別平行于圖像坐標(biāo)系的X軸和Y軸,相機(jī)的光軸為Z軸,用(Xc,Yc,Zc)表示其坐標(biāo)值。

像素坐標(biāo)系與圖像坐標(biāo)系的轉(zhuǎn)換關(guān)系如式(10)所示,其中(u0,v0)是圖像坐標(biāo)系原點(diǎn)在像素坐標(biāo)系中的坐標(biāo),dx和dy分別是每個(gè)像素在圖像平面x和y方向上的物理尺寸。

(10)

圖像坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系如式(11)所示,其中f為焦距(像平面與相機(jī)坐標(biāo)系原點(diǎn)的距離)。

(11)

相機(jī)坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系如式(12)所示,其中R為3×3正交旋轉(zhuǎn)矩陣,t為三維平移向量。

(12)

所以像素坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換關(guān)系如式(13)所示。

(13)

(14)

(15)

方程(15)中有9個(gè)未知數(shù),每個(gè)特征點(diǎn)可以提供兩個(gè)獨(dú)立的方程,再結(jié)合r和r2正交的條件,所以至少需要4個(gè)特征點(diǎn)才能使用最優(yōu)解法解得姿態(tài)矩陣[R,t]。

圖10 視覺輔助系統(tǒng)

轉(zhuǎn)換為PnP問題求解位姿后,建立視覺輔助系統(tǒng),如圖10所示,圖中白色十字準(zhǔn)心代表相機(jī)正中心,粗黑色十字準(zhǔn)心代表中繼器入口正中心點(diǎn)在圖像中的位置,當(dāng)兩個(gè)十字準(zhǔn)心重合時(shí),表示ARV本體正對于中繼器,即可以成功對接。ARV本體實(shí)時(shí)位姿根據(jù)PnP算法解算并將歐拉角信息顯示在實(shí)時(shí)圖像上。中繼器入口正中心點(diǎn)在圖像位置的求解過程下式所示,其中s為相機(jī)在Z軸的坐標(biāo)值,M為相機(jī)內(nèi)參,pi為識(shí)別的特征點(diǎn)在像素坐標(biāo)系的坐標(biāo),Pi為特征點(diǎn)在世界坐標(biāo)系的坐標(biāo),P′為中繼器入口中心點(diǎn)在世界坐標(biāo)系的坐標(biāo)。

3 試驗(yàn)與分析

為了驗(yàn)證本方法的有效性,以及與引導(dǎo)燈方案的精度相比較,在水下環(huán)境進(jìn)行模型試驗(yàn)。試驗(yàn)平臺(tái)包括矩形板、4個(gè)白光LED水下燈、反光帶、計(jì)算機(jī)、CMOS攝像頭和標(biāo)定板等。矩形板大小32 cm×22 cm,模擬中繼器對接口,正中心標(biāo)記十字準(zhǔn)心,便于后期分析試驗(yàn)誤差。在矩形板四個(gè)角上布置LED燈進(jìn)行引導(dǎo)燈方案試驗(yàn),在四周布置反光帶進(jìn)行反光帶方案試驗(yàn)。攝像機(jī)使用Logitech的C525,分辨率為720 p,最大幀數(shù)為30 FPS,配自動(dòng)對焦鏡頭。圖像識(shí)別算法基于OpenCV3.4視覺庫,在Visual Studio 2015開發(fā)環(huán)境中設(shè)計(jì)。

試驗(yàn)對比近距離下引導(dǎo)燈方案和反光帶方案的精度和耗時(shí),結(jié)果如圖11所示??梢钥闯?,引導(dǎo)燈在水中散射嚴(yán)重,而且容易在周圍形成反光區(qū)域,可能對前處理中的光源區(qū)域預(yù)測造成影響。相比之下,反光帶在水中的邊緣更為清晰,更容易提取所需特征。

圖11 近距離試驗(yàn)對比

試驗(yàn)結(jié)果分別計(jì)算兩種算法識(shí)別得到的中心與矩形板中心之間的誤差,分析兩種方案的準(zhǔn)確率。調(diào)整攝像機(jī)與目標(biāo)的相對位姿,分別通過兩種方案拍攝100幀畫面,并計(jì)算每一幀耗時(shí),結(jié)果如表1所示。

表1 試驗(yàn)結(jié)果對比

為了證明算法在不同作用距離下的有效性,模擬ARV本體與中繼器由遠(yuǎn)及近的對接過程,調(diào)整相機(jī)與目標(biāo)的相對距離,設(shè)計(jì)了不同距離下的兩種方案對比試驗(yàn),并均勻采樣,記錄下矩形板中心點(diǎn)的理論值和兩種方案的解算值,分析兩種方案的準(zhǔn)確度和效率。圖12記錄了相機(jī)分別距離矩形板0.5 m,1 m,1.5 m,2 m,2.5 m時(shí)兩種方案的效果圖,可以看出距離越遠(yuǎn),引導(dǎo)燈的干擾信息越多。誤差估計(jì)和計(jì)算耗時(shí)的對比如圖13~14所示。

圖12 不同距離下試驗(yàn)對比

圖13 誤差估計(jì)

圖14 效率對比

結(jié)果顯示,在水下環(huán)境下,反光帶方案明顯優(yōu)于引導(dǎo)燈方案。在近距離的試驗(yàn)中,設(shè)計(jì)的基于反射光源特征識(shí)別的方案,經(jīng)過將算法優(yōu)化至O(n)的時(shí)間復(fù)雜度后,不僅在位置估計(jì)上更為精確(其中縱向位移優(yōu)化50%),還在計(jì)算速度上有超過40%的提升。在由遠(yuǎn)及近的試驗(yàn)中,對兩種方案而言,攝像機(jī)與目標(biāo)的距離越遠(yuǎn),位置估計(jì)誤差越大,計(jì)算耗時(shí)越長,但是在相同距離下,反光帶方案在準(zhǔn)確率和計(jì)算效率上均優(yōu)于引導(dǎo)燈方案。所以相比引導(dǎo)燈方案,反光帶方案更適合于ARV的水下對接。

4 結(jié) 語

為了滿足ARV系統(tǒng)高精度水下對接的需求,針對傳統(tǒng)視覺引導(dǎo)中水下燈散射較大導(dǎo)致精度誤差的問題,提出了一種基于單目視覺識(shí)別反射光源的方法。以反光帶圖像為目標(biāo),設(shè)計(jì)了圖像處理和特征點(diǎn)提取的算法。經(jīng)過顏色檢測、邊緣提取、霍夫變換等預(yù)處理,通過分析圖像的幾何特征優(yōu)化提取速度。再以反光帶特征點(diǎn)為基礎(chǔ)計(jì)算ARV本體位姿,利用位姿信息輔助水下對接。最后為了驗(yàn)證本方法的有效性,在水下環(huán)境設(shè)計(jì)了與引導(dǎo)燈方案的對比試驗(yàn)。試驗(yàn)結(jié)果表明:

1) 隨著作用距離增大,反光帶方案和引導(dǎo)燈方案的準(zhǔn)確率和計(jì)算效率均有所下降。

2) 在距離相同的條件下,基于反射光源識(shí)別的方法有效提升了位置估計(jì)的準(zhǔn)確率。在計(jì)算速度上,本方法較引導(dǎo)燈方案也有顯著提升。

試驗(yàn)結(jié)果證明,本方法可以精準(zhǔn)、快速地提取水下對接的視覺引導(dǎo)信息,輔助水面工作人員實(shí)現(xiàn)ARV與中繼器對接,提升水下對接效率與成功率。在未來的研究中,將在水下試驗(yàn)中運(yùn)用該方法,為實(shí)現(xiàn)潛水器的水下自主對接提供參考依據(jù)。

猜你喜歡
位姿坐標(biāo)系直線
獨(dú)立坐標(biāo)系橢球變換與坐標(biāo)換算
基于位置依賴的密集融合的6D位姿估計(jì)方法
船舶清理機(jī)器人定位基準(zhǔn)位姿測量技術(shù)研究
優(yōu)化ORB 特征的視覺SLAM
畫直線
基于單目視覺的工件位姿六自由度測量方法研究
坐標(biāo)系背后的故事
三角函數(shù)的坐標(biāo)系模型
求坐標(biāo)系內(nèi)三角形的面積
畫直線
高淳县| 乡城县| 江陵县| 同德县| 平乐县| 永春县| 孝义市| 广宁县| 鹤庆县| 乳山市| 宁蒗| 闽清县| 阳朔县| 鸡泽县| 忻州市| 乌拉特前旗| 博白县| 景洪市| 志丹县| 吉林市| 呼和浩特市| 德安县| 吉林省| 凤山市| 榆林市| 永平县| 林州市| 上饶县| 高碑店市| 淳化县| 稻城县| 土默特左旗| 大方县| 大冶市| 锡林郭勒盟| 邻水| 安泽县| 荆门市| 德州市| 太康县| 嘉祥县|