国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于雙目立體視覺的海上吊裝定位研究

2022-08-26 05:31蕭昊菁曹旭陽(yáng)
起重運(yùn)輸機(jī)械 2022年15期
關(guān)鍵詞:尺度空間視差雙目

蕭昊菁 曹旭陽(yáng)

大連理工大學(xué) 大連 116024

0 引言

在海洋運(yùn)輸、海洋工程建設(shè)、海洋資源開采等領(lǐng)域中,船舶起重機(jī)是必不可少的作業(yè)裝備。受海洋風(fēng)浪的影響,起重船在實(shí)際作業(yè)過(guò)程中,會(huì)產(chǎn)生橫搖、縱搖、艏搖等6個(gè)自由度的復(fù)雜運(yùn)動(dòng),導(dǎo)致物資在懸空期間發(fā)生不可控的位姿變化,影響物資的安全補(bǔ)給[1],故開發(fā)一套具有海上吊裝定位能力的裝置有著巨大的工程應(yīng)用價(jià)值。

視覺測(cè)量技術(shù)具有高精度,非接觸,實(shí)時(shí)在線檢測(cè)的特點(diǎn)。近幾年來(lái),在圖像識(shí)別、快速跟蹤、多相機(jī)立體視覺領(lǐng)域取得了重要成果[2]。視覺測(cè)量作為非接觸測(cè)量,被測(cè)物體的運(yùn)動(dòng)狀態(tài)不會(huì)發(fā)生改變,且檢測(cè)對(duì)象不局限于人眼所能看到的范圍,紅外遙感圖像、雷達(dá)微波圖像,依然可以觀測(cè)[3]。

鑒于視覺測(cè)量在定位方面具有傳統(tǒng)傳感器所不具備的優(yōu)越性,考慮將其應(yīng)用到海上吊裝定位系統(tǒng)中。目前,在物體三維測(cè)量領(lǐng)域里,視覺測(cè)量的產(chǎn)品主要以3種形式出現(xiàn),分別是單目、雙目和多目視覺。單目視覺的應(yīng)用較為普遍,該方法的優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)單、相機(jī)標(biāo)定容易。但其需要借助慣性傳感器提供的數(shù)據(jù),且難以獲得準(zhǔn)確的深度位置信息[4];多目視覺有較高的定位精度,但操作復(fù)雜,維護(hù)困難,而且價(jià)格高昂[5]。雙目視覺可直接獲得目標(biāo)物體的三維深度信息,且其在進(jìn)行位姿測(cè)量方面具有效率高、精度合適、系統(tǒng)結(jié)構(gòu)簡(jiǎn)單、成本低等優(yōu)點(diǎn),在虛擬現(xiàn)實(shí)、機(jī)器人導(dǎo)航及非接觸式測(cè)量等許多方向均具有重要的應(yīng)用價(jià)值[6]。

針對(duì)于上述情況,通過(guò)對(duì)雙目立體視覺定位方法的研究,結(jié)合海上復(fù)雜的吊裝環(huán)境需要,以Sift尺度空間為基礎(chǔ)對(duì)被吊物特征提取算法進(jìn)行優(yōu)化,采用Lucas-Kanade算法對(duì)被吊物進(jìn)行目標(biāo)追蹤,最終利用SGBM算法對(duì)被吊物進(jìn)行立體匹配,并求取被吊物的實(shí)時(shí)三維坐標(biāo)。實(shí)驗(yàn)表明,該方法能夠計(jì)算得到被吊物在吊裝過(guò)程中與目標(biāo)點(diǎn)的相對(duì)位置,為指導(dǎo)海上吊裝作業(yè)提供數(shù)據(jù)支撐。

1 雙目視覺定位方法原理介紹

如圖1所示,視覺定位的基本原理是利用攝像機(jī)獲取被吊物在吊裝過(guò)程中局部環(huán)境信息,通過(guò)圖像算法處理得到被吊物與目標(biāo)點(diǎn)之間的三維位置關(guān)系進(jìn)而指導(dǎo)起重作業(yè)。

圖1 雙目視覺定位方法示意圖

雙目立體視覺定位方法是通過(guò)從2個(gè)視角觀察被吊物[7],利用三角幾何原理計(jì)算感知圖像中的視差,獲取被吊物三維坐標(biāo)信息。指導(dǎo)起重機(jī)在吊裝過(guò)程中的運(yùn)動(dòng)和方向控制,使被吊物能精確吊裝到目標(biāo)位置,從而保障海上船用起重機(jī)吊裝作業(yè)的安全性與穩(wěn)定性。

其工作流程如圖2所示,具體實(shí)施步驟主要可分為3步:首先,由相機(jī)獲得被吊物的圖像并通過(guò)sift尺度空間進(jìn)行預(yù)處理識(shí)別被吊物特征點(diǎn);然后利用Lucas-Kanade光流估計(jì)法追蹤被吊物運(yùn)動(dòng)路徑;再通過(guò)SGBM算法計(jì)算被吊物的立體信息,確定被吊物與目標(biāo)點(diǎn)之間的相對(duì)三維坐標(biāo),進(jìn)而通過(guò)上位機(jī)轉(zhuǎn)化為電信號(hào)輸出,指導(dǎo)起重機(jī)的作業(yè)。

圖2 雙目視覺定位方法工作流程圖

2 定位算法概述

2.1 Sift尺度空間原理

本裝置應(yīng)用的場(chǎng)景為海上吊裝,需識(shí)別的吊裝位置隨波浪浮沉,忽大忽小,為了使計(jì)算機(jī)能對(duì)被吊物在不同尺度下有統(tǒng)一的認(rèn)知,通過(guò)高斯金字塔建立圖像不同尺度的尺度空間,分析被吊物在不同尺度下均存在的特點(diǎn)。

接下來(lái)建立差分高斯金字塔提取圖像中的特征點(diǎn):將每個(gè)像素點(diǎn)要和其圖像域(同一尺度空間)和尺度域(相鄰的尺度空間)的所有相鄰點(diǎn)進(jìn)行比較,當(dāng)其大于(或者小于)所有相鄰點(diǎn)時(shí),將該點(diǎn)作為特征點(diǎn)。

如圖3所示,將中間的檢測(cè)點(diǎn)和其所在圖像的3×3鄰域8個(gè)像素點(diǎn),以及其相鄰的上下2層的3×3領(lǐng)域18個(gè)像素點(diǎn),共26個(gè)像素點(diǎn)進(jìn)行比較,得出圖像的特征點(diǎn)。

圖3 特征點(diǎn)提取示意圖

每個(gè)特征點(diǎn)可以得到位置、尺度和方向3個(gè)信息(x,y,σ,θ)。

其中,點(diǎn)L(x,y)的梯度的模m(x,y)為

具有多個(gè)方向的關(guān)鍵點(diǎn)可以被復(fù)制成多份,然后將方向值分別賦給復(fù)制后的特征點(diǎn),1個(gè)特征點(diǎn)就產(chǎn)生了多個(gè)坐標(biāo)、尺度相等,但是方向不同的特征點(diǎn)。計(jì)算每個(gè)梯度方向的累加值,即可形成1個(gè)種子點(diǎn),即每個(gè)特征點(diǎn)由4個(gè)種子點(diǎn)組成,每個(gè)種子點(diǎn)有8個(gè)方向的向量信息。如圖4所示,1個(gè)特征點(diǎn)就可產(chǎn)生32維的Sift特征向量。

圖4 32維的sift特征向量示意圖

通過(guò)特征向量表示特征點(diǎn)的方法可篩選出圖像中的特征點(diǎn),采用Sift尺度空間算法可以得出圖像中的中心點(diǎn)、邊緣角點(diǎn)等后續(xù)視覺檢測(cè)工作中需要識(shí)別的特征點(diǎn)。

2.2 Lucas-Kanade光流估計(jì)

經(jīng)過(guò)Sift尺度空間原理特征提取后,得到被吊物的特征點(diǎn)及相關(guān)特征信息,基于特征點(diǎn)可對(duì)被吊物進(jìn)行目標(biāo)追蹤。

光流就是像素在某時(shí)刻運(yùn)動(dòng)的瞬時(shí)速度,利用這個(gè)瞬時(shí)速度可以估計(jì)到上一幀該像素點(diǎn)在下一幀的對(duì)應(yīng)位置[8]。假設(shè)1個(gè)像素在第1幀的光強(qiáng)度為I(x,y,t),當(dāng)其移動(dòng)了(dx,dy)的距離到下一幀用了dt的時(shí)間。由于是同一個(gè)像素點(diǎn)的移動(dòng),該像素在運(yùn)動(dòng)前后的光強(qiáng)度是不變的,即

式中的Ix、Iy、It均可由圖像數(shù)據(jù)求得,而(u,v)即為所求光流矢量。

Lucas-Kanade光流估計(jì)是通過(guò)對(duì)攝像機(jī)采集到的圖像序列進(jìn)行重采樣和去噪預(yù)處理,利用光流法計(jì)算出各點(diǎn)的光流值,得出各點(diǎn)的光流場(chǎng)。然后對(duì)光流場(chǎng)進(jìn)行閾值分割,區(qū)分出前景與背景,得出目標(biāo)區(qū)域。經(jīng)過(guò)區(qū)域連通便可識(shí)別出目標(biāo)區(qū)域并統(tǒng)計(jì)其特征信息[9]。流程如圖5所示。

圖5 Lucas-Kanade光流目標(biāo)追蹤流程圖

2.3 SGBM算法

完成目標(biāo)追蹤后,對(duì)識(shí)別出的目標(biāo)使用SGBM算法進(jìn)行視差圖計(jì)算。SGBM算法核心步驟為:選取匹配基元;構(gòu)建基于多個(gè)方向的掃描線的代價(jià)能量和函數(shù);求取能量代價(jià)和函數(shù)的最優(yōu)解[10]。OpenCV中SGMB算法的實(shí)現(xiàn)主要分為以下4個(gè)步驟:

1)預(yù)處理

采用水平Sobel算子把圖像做處理,其中Sobel算子為

2)代價(jià)計(jì)算

使用采樣方法對(duì)經(jīng)預(yù)處理得到的圖像梯度信息計(jì)算梯度代價(jià)、使用采樣方法對(duì)源圖像計(jì)算SAD代價(jià)。如圖6所示,計(jì)算方法為輸入左右視圖2幅圖像,對(duì)左視圖,依次掃描,選定1個(gè)錨點(diǎn):構(gòu)造一個(gè)類似于卷積核的小窗口,用窗口覆蓋左視圖的圖像,選擇出窗口覆蓋區(qū)域內(nèi)的所有像素點(diǎn);同樣用窗口覆蓋右視圖的圖像并選擇出覆蓋區(qū)域的像素點(diǎn);將左邊覆蓋區(qū)域減去右邊覆蓋區(qū)域,并求出所有像素點(diǎn)灰度差的絕對(duì)值之和;移動(dòng)右邊圖像的窗口,重復(fù)設(shè)定范圍內(nèi)像素點(diǎn)的處理;將范圍內(nèi)SAD值最小的窗口定義為左視圖錨點(diǎn)的最佳匹配的像素塊。

圖6 SAD代價(jià)計(jì)算示意圖

3)動(dòng)態(tài)規(guī)劃

在像素點(diǎn)周圍,以45°為間隔設(shè)置8個(gè)路徑。在每個(gè)方向上按照動(dòng)態(tài)規(guī)劃的思想進(jìn)行能量累積,然后將各個(gè)方向上的匹配代價(jià)相加得到總的匹配代價(jià)為

式中:L為當(dāng)前路徑累積的代價(jià)函數(shù),P1、P2為像素點(diǎn)與相鄰點(diǎn)視差存在較小和較大差異情況下的平滑懲罰。

4)后處理

在完成動(dòng)態(tài)規(guī)劃后,需要對(duì)窗口進(jìn)行唯一性檢測(cè),最低代價(jià)對(duì)應(yīng)的視差值才是該像素點(diǎn)的視差,否則該像素點(diǎn)的視差為0。接著對(duì)視差圖中空白的部分進(jìn)行亞像素插值,通過(guò)得到的左視察圖計(jì)算右視差圖。

經(jīng)過(guò)SGBM獲得視差映射后,通過(guò)簡(jiǎn)單的矩陣相乘可提取物體的深度信息,即可輸出所需的三維點(diǎn)陣。

3 實(shí)驗(yàn)研究

3.1 模擬實(shí)驗(yàn)平臺(tái)

為了驗(yàn)證文中方法的可行性、準(zhǔn)確性以及實(shí)時(shí)性,搭建模擬實(shí)驗(yàn)平臺(tái)進(jìn)行結(jié)果驗(yàn)證。采用一組GM37-545型直流減速電機(jī)來(lái)模擬海浪運(yùn)動(dòng)下被吊物的晃動(dòng);采用長(zhǎng)130 mm,寬75 mm,高90 mm的紙箱模擬被吊物,如圖7所示。被吊物上裝有姿態(tài)傳感器可實(shí)時(shí)測(cè)量計(jì)算當(dāng)前的空間坐標(biāo)與雙目視覺計(jì)算結(jié)果相比對(duì);如圖8所示,采用CAM-AR0135-3T16雙目相機(jī)進(jìn)行數(shù)據(jù)采集,連接計(jì)算機(jī)進(jìn)行計(jì)算測(cè)量。

圖7 模擬被吊物

圖8 實(shí)驗(yàn)雙目相機(jī)

3.2 算法仿真實(shí)驗(yàn)和結(jié)果分析

采用Python3.7和OpenCV3.4庫(kù)進(jìn)行算法仿真實(shí)驗(yàn)。被吊物擺動(dòng)的過(guò)程中選取了擺動(dòng)過(guò)程中的幾張圖片,利用算法進(jìn)行三維坐標(biāo)計(jì)算。首先,對(duì)圖片進(jìn)行圖像預(yù)處理,利用sift尺度空間方法進(jìn)行特征點(diǎn)提取,然后利用Lucas-Kanade光流估計(jì)對(duì)被吊物進(jìn)行跟蹤,最后用SGBM算法計(jì)算出圖像的視差圖并輸出三維坐標(biāo)。

識(shí)別后的部分視差對(duì)比圖如圖9所示。實(shí)驗(yàn)中被吊物X軸擺幅在±50 mm、Y軸擺幅在±20 mm、Z軸擺幅在±170 mm。被吊物在不同位姿下三維識(shí)別坐標(biāo)與測(cè)量值的誤差對(duì)比如表1~表3所示。

圖9 識(shí)別后的視差對(duì)比圖

由表1~表3分析可知,算法可以很好地識(shí)別出被吊物并計(jì)算出其三維坐標(biāo),雖與實(shí)際真值之間存在一定誤差,但誤差值在可控范圍內(nèi),可以滿足實(shí)際工作需求。

表1 X軸向結(jié)果對(duì)比 mm

表3 Z軸向結(jié)果對(duì)比 mm

表2 Y軸向結(jié)果對(duì)比 mm

4 結(jié)語(yǔ)

為了研究海上吊裝過(guò)程中被吊物的定位及位姿變化過(guò)程,提出了一種可應(yīng)用于海上吊裝的雙目視覺立體定位方法。本文基于現(xiàn)有雙目視覺立體定位原理,結(jié)合Sift尺度空間原理、Lucas-Kanade光流估計(jì)、SGBM算法等方法搭建了模擬實(shí)驗(yàn)平臺(tái)。獲取實(shí)驗(yàn)數(shù)據(jù)并進(jìn)行數(shù)據(jù)分析,實(shí)驗(yàn)證明雙目立體視覺定位方法能夠得到被吊物的三維位姿,為海上吊裝精準(zhǔn)作業(yè)提供檢測(cè)方法。

猜你喜歡
尺度空間視差雙目
采用雙目視覺和自適應(yīng)Kalman濾波的作物行識(shí)別與跟蹤
霜 降 蘇美玲
基于雙目視覺的機(jī)器人定位與導(dǎo)航算法
基于歸一化互相關(guān)的半透明遮擋視差估計(jì)
基于自適應(yīng)窗的立體相機(jī)視差圖優(yōu)化方法研究
視差邊緣優(yōu)化的SGM 密集深度估計(jì)算法?
Kobe—one of the greatest basketball players
基于雙目測(cè)距的卡爾曼濾波船舶軌跡跟蹤
居住區(qū)園林空間尺度研究
基于降采樣歸一化割的多尺度分層分割方法研究
吐鲁番市| 乌海市| 仲巴县| 施甸县| 临邑县| 襄汾县| 江孜县| 桂东县| 盖州市| 两当县| 太湖县| 浦县| 太白县| 准格尔旗| 水富县| 德昌县| 道孚县| 贡觉县| 南宁市| 旬邑县| 清新县| 谷城县| 安徽省| 河西区| 邛崃市| 赣州市| 大港区| 大悟县| 饶阳县| 贡嘎县| 天镇县| 定西市| 广州市| 晋中市| 江陵县| 同德县| 绥化市| 京山县| 湖州市| 鄂州市| 福建省|