国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

無人水面艇感知技術(shù)發(fā)展綜述

2022-09-09 06:54朱健楠虞夢苓楊益新西北工業(yè)大學(xué)航海學(xué)院
船舶經(jīng)濟(jì)貿(mào)易 2022年8期
關(guān)鍵詞:障礙物攝像機(jī)水面

朱健楠 虞夢苓 楊益新/西北工業(yè)大學(xué)航海學(xué)院

由于無人駕駛的發(fā)展,目前無人車和無人機(jī)已廣泛應(yīng)用于各種場景。與此同時,應(yīng)用于水面的無人艇(USV)有望在未來代替人類發(fā)揮重要作用。近年來,無人艇被廣泛用于執(zhí)行多種軍事及非軍事任務(wù),代替作業(yè)人員執(zhí)行危險或耗時耗力的任務(wù),在港口防護(hù)及艦船兵力保護(hù)、海上偵察監(jiān)視、反潛作戰(zhàn)、水上搜救、后勤補(bǔ)給、水質(zhì)監(jiān)測、水文采樣、海洋環(huán)境測繪、水域生態(tài)保護(hù)等方面發(fā)揮著重要作用,提高工作效能的同時也降低了作業(yè)人員的傷亡。

國內(nèi)外無人艇發(fā)展現(xiàn)狀

作為無人艇的創(chuàng)始者,以色列埃爾比特系統(tǒng)公司推出的“銀色馬林魚”具有劃時代的戰(zhàn)略意義。隨后,無人艇SCOUT、水面高速無人艇PROTECTOR、測量雙體船海豚(MESSIN)、無人艇ROBOAT、無人艇JingHai-I以及各種無人艇海上協(xié)議相繼推出。近年來,各企業(yè)也陸續(xù)推出商用水面無人艇。Fraunhofer CML等8家機(jī)構(gòu)聯(lián)合開展海上智能無人駕駛航行網(wǎng)絡(luò)(MUNIN)計劃。日本29家單位聯(lián)合組織開展“智能船舶應(yīng)用平臺(SSAP1)”項目。英國羅爾斯·羅伊斯公司發(fā)起“先進(jìn)自主水運(yùn)應(yīng)用項目(AAWA)”,并與Finferries聯(lián)合推出全球第一艘無人駕駛渡輪“Falco”號。日本船舶機(jī)械與設(shè)備協(xié)會(JSMEA)、挪威雅苒(Yara)公司與康士伯海事(Kongsberg Maritime)、芬蘭瓦錫蘭公司、韓國現(xiàn)代重工集團(tuán)聯(lián)合微軟、英特爾、SK航運(yùn)等企業(yè)相繼推出更加智能自主的無人駕駛商船。國內(nèi)云洲智能、歐卡智能等公司也相繼推出具備不同功能的小型水面無人艇。

以上對無人艇的研發(fā)改進(jìn)均以其平穩(wěn)航行為基礎(chǔ),而無人艇安全航行的關(guān)鍵在于迅速避障并能實時優(yōu)化航路,即自主船舶對周圍水域環(huán)境的準(zhǔn)確感知。因此,對于無人艇的核心要求是使其能夠通過感知周圍環(huán)境及自身情況來實現(xiàn)態(tài)勢感知,從而實現(xiàn)目標(biāo)檢測、跟蹤、導(dǎo)航定位等功能。感知系統(tǒng)包括外部環(huán)境感知系統(tǒng)及自身狀態(tài)感知系統(tǒng),能夠為無人艇的決策與控制提供必要的數(shù)據(jù)源支持。

基于感知技術(shù)在無人艇領(lǐng)域的重要性,國內(nèi)外學(xué)者紛紛展開無人艇感知技術(shù)的研究?,F(xiàn)有的無人艇感知技術(shù)理論主要分為二大類:⑴無人艇外部環(huán)境感知,包括搭載雷達(dá)、聲吶、視覺傳感器、毫米波雷達(dá)及激光雷達(dá)(LiDAR)等多種傳感器來實現(xiàn)目標(biāo)檢測、目標(biāo)跟蹤等功能;⑵無人艇自身狀態(tài)感知,包括搭載慣性測量單元(IMU)、GPS等傳感器實現(xiàn)無人艇的自定位,這也是無人艇確定其相對于環(huán)境位置的能力體現(xiàn)。

目標(biāo)檢測

無人艇環(huán)境感知面臨一個嚴(yán)峻的問題是如何實現(xiàn)準(zhǔn)確??堪逗途珳?zhǔn)避障,而解決這個問題需要無人艇具備良好的水面目標(biāo)檢測能力。針對目標(biāo)檢測,現(xiàn)階段學(xué)者們主要考慮以下2種應(yīng)用場景:第一種是面向避障功能的目標(biāo)檢測,包括岸線、冰山、移動船只、航行中的不明障礙物等;第二種是面向作業(yè)功能的目標(biāo)檢測,包括橋梁結(jié)構(gòu)、港口設(shè)施以及水中生物、水體環(huán)境、海底結(jié)構(gòu)等。

⒈面向避障功能的目標(biāo)檢測

針對避障進(jìn)行的目標(biāo)檢測是現(xiàn)階段學(xué)者們研究較多的領(lǐng)域,各國學(xué)者采用不同的傳感器,并改進(jìn)算法進(jìn)行USV航行過程中的目標(biāo)檢測。

有機(jī)構(gòu)提出現(xiàn)階段利用全景攝像機(jī)分析水面情況的USV目標(biāo)檢測研究現(xiàn)況,主要檢測航行過程中的非水物體,包括海岸線、航行危險物以及其他移動船只等。該方法利用卡爾曼濾波器來完成特征定位,能夠很好地檢測固定目標(biāo)的特征。另有機(jī)構(gòu)基于雷達(dá)圖像數(shù)據(jù)提出了自適應(yīng)圖像平滑和魯棒圖像分割算法,實現(xiàn)海面目標(biāo)檢測,適用于USV高速運(yùn)動避障,但是針對運(yùn)動目標(biāo)的檢測仍然存在限制。

美國圣地亞哥太空與海軍作戰(zhàn)系統(tǒng)中心一直參與USV避障技術(shù)的研發(fā),Larson等提出了一種基于USV的障礙物檢測系統(tǒng),主要用單目攝像機(jī)和雷達(dá)進(jìn)行目標(biāo)檢測,通過使用遠(yuǎn)場協(xié)商性避障組件和近場反應(yīng)性避障組件來避開障礙物,改進(jìn)了快速避開固定及移動障礙物的遠(yuǎn)距離路徑規(guī)劃系統(tǒng),提升避障成功率,效果如圖1所示。

圖1 單目視覺海岸線及障礙物檢測及測距

此后,Onunka等僅通過雷達(dá)輔助障礙物檢測,提出了一種利用雷達(dá)測距方程預(yù)測功率范圍頻譜的方法,在具有足夠信噪比信息的情況下,通過連續(xù)波(CW)雷達(dá)系統(tǒng)預(yù)測距離范圍,進(jìn)行障礙物檢測。Wang等提出了一種通過單目攝像機(jī)和立體視覺方法的USV障礙物檢測系統(tǒng),該系統(tǒng)可以實時檢測和定位30—100米內(nèi)的多個障礙物,能捕捉到航速最高可達(dá)12節(jié)的高速障礙物。他們提出通過左右攝像機(jī)可分別進(jìn)行單目檢測,然后用立體視覺方法對兩側(cè)攝像機(jī)的圖像進(jìn)行處理,計算出三維(3D)檢測結(jié)果的目標(biāo)識別方法,其結(jié)果如圖2所示。

圖2 檢測結(jié)果

Kristan等解決了通過約束無監(jiān)督分割方法進(jìn)行在線檢測存在的問題,提出了一種可通過USV捕獲的單個視頻幀進(jìn)行快速連續(xù)的障礙物圖像地圖估計,不需要紋理特征提取的圖形模型,降低了計算量,提升計算速度和視覺目標(biāo)檢測算法穩(wěn)定性,能夠?qū)崿F(xiàn)多種動態(tài)目標(biāo)檢測,但其采用原則上的信息融合方法,并未結(jié)合其他外部傳感器,導(dǎo)致目標(biāo)檢測精度受限,給出4種受限情況,見圖3。

圖3 分割失效例子

除水上目標(biāo)的檢測,海岸線的準(zhǔn)確邊界檢測也是航道上目標(biāo)檢測的一個主要研究方向,該方向可利用谷歌地圖獲得的區(qū)域俯視圖來構(gòu)建靜態(tài)障礙物地圖。現(xiàn)已提出多種利用攝像機(jī)檢測海岸邊緣線的方法,但是仍需考慮水面環(huán)境隨時間和光照變化,無人艇動態(tài)情況下所獲得的準(zhǔn)確邊界信息。

Mei等參考無人車邊界檢測的研究基礎(chǔ),提出了一種適用于USV的基于特征和邊緣相結(jié)合的自適應(yīng)海岸線檢測方法,通過采樣補(bǔ)丁進(jìn)行顏色分割以自適應(yīng)地提取河流邊界,結(jié)合顏色分割和霍夫變換獲得河流邊界定位信息,在理論上盡可能消除顏色隨時間和光照條件的變化產(chǎn)生的影響。該方法雖構(gòu)建USV模型,但是目前尚未很好直接應(yīng)用在USV控制系統(tǒng)中。

為了使USV在水面上航行時避開障礙物,Dong等提出了一種通過在USV上使用攝像機(jī)檢測自然環(huán)境下的河岸,從而實現(xiàn)自動導(dǎo)航避障的海岸線檢測方法。研究了基于單目攝像機(jī)的彩色圖像水岸線檢測,其結(jié)果也可以作為移動障礙物檢測、避障以及多傳感器信息融合的基礎(chǔ),比傳統(tǒng)的LOG算法更快、更準(zhǔn)確,并且可以提高河岸定位的準(zhǔn)確性,該方法的檢測率可以達(dá)到82.3%,但是當(dāng)水反射光非常強(qiáng)時,該算法會部分失效。近年來,本文作者為解決水面反射問題展開深入研究,取得了一定效果,如圖4所示。

圖4 岸線檢測結(jié)果

⒉面向作業(yè)功能的目標(biāo)檢測

此外,面向作業(yè)場景中的目標(biāo)檢測,Murphy等討論了水上、水下和空中航行器的協(xié)作使用,結(jié)合USV進(jìn)行橋梁檢測,并提出了用于橋梁檢查的全功能USV的7個里程碑式改進(jìn):標(biāo)準(zhǔn)化任務(wù)載荷,橋梁狀態(tài)監(jiān)測,通過改進(jìn)人機(jī)交互來實現(xiàn)遠(yuǎn)程操作,增加3D避障,改善定位能力,處理大型數(shù)據(jù)以及支持協(xié)同感知。

同年,Heidarsson等提出了一種用于USV障礙物檢測和避障的單波束主動聲吶,體現(xiàn)USV僅依靠聲吶數(shù)據(jù)來導(dǎo)航和避開湖泊及港口環(huán)境中障礙物的潛力,還提出了一種可以通過對俯拍圖像進(jìn)行分類,學(xué)習(xí)障礙物地圖的用于USV的技術(shù)。隨后,Han等通過融合安裝在USV上的IMU、攝像機(jī)和LiDAR的測量結(jié)果,解決了由于橋梁附近GPS信號遮擋,測量精度不夠的情況下,水上橋梁結(jié)構(gòu)的3D重建問題,見圖5。

圖5 三攝像機(jī)根據(jù)USV軌跡識別橋墩結(jié)構(gòu)合成圖像

Huntsberger等基于無人系統(tǒng)控制問題,通過聯(lián)合AUV和USV,對水下珊瑚進(jìn)行目標(biāo)檢測及實時監(jiān)測(如圖6所示),進(jìn)一步對珊瑚進(jìn)行識別。也有學(xué)者進(jìn)行類似用途的目標(biāo)檢測研究,如沉船考古勘探、海洋棲息地探測采樣、水電站狀況調(diào)研、動態(tài)環(huán)境監(jiān)測、石油泄漏檢測、浮游植物監(jiān)測等。

圖6 不同珊瑚檢測與識別

Papadopoulos等 使用USV搭載激光掃描儀和側(cè)掃聲吶掃描水線上方和下方的海洋結(jié)構(gòu),針對海洋環(huán)境中的3D表面重建問題進(jìn)行研究,主要作用于GPS信號缺失情況下的目標(biāo)檢測及海底重構(gòu),圖7所示為該方法下的碼頭檢測結(jié)果。Beall等提出了對水下環(huán)境和生態(tài)系統(tǒng)演變的定期檢測技術(shù),通過二維圖像構(gòu)建3D模型,獲取高精度海底地形,如圖8所示。

目前,為了發(fā)揮不同傳感器的優(yōu)勢,基于多傳感器檢測信息融合的目標(biāo)檢測趨勢得到了進(jìn)一步的發(fā)展,可以進(jìn)一步進(jìn)行運(yùn)動目標(biāo)的檢測。同時由于深度學(xué)習(xí)的興起,基于圖像的目標(biāo)檢測是目前的主流檢測方式,但是該類方法需要依賴大量的前期訓(xùn)練數(shù)據(jù)積累,針對不確定的目標(biāo)檢測仍然存在一定的局限性。

圖7-8 碼頭檢測和海底地形重構(gòu)

圖11 岸邊遮擋對導(dǎo)航定位的影響

圖12 每幀中選取特征點(diǎn)實現(xiàn)構(gòu)圖及定位

目標(biāo)跟蹤

除了目標(biāo)檢測方法,進(jìn)一步對運(yùn)動目標(biāo)進(jìn)行跟蹤以獲得更準(zhǔn)確的實時信息也得到了廣泛的研究。由于光線和時間的影響,水面運(yùn)動目標(biāo)的周圍環(huán)境經(jīng)常發(fā)生變化,同時也存在各種無法準(zhǔn)確預(yù)設(shè)的干擾;由于目標(biāo)的運(yùn)動,目標(biāo)自身的大小和形狀也會隨時間發(fā)生變化,因此相較于在水面復(fù)雜環(huán)境中準(zhǔn)確檢測目標(biāo),準(zhǔn)確跟蹤運(yùn)動目標(biāo)的研究更具有挑戰(zhàn)性。

將信息融合方法應(yīng)用到水面目標(biāo)檢測與跟蹤任務(wù)中能夠帶來更好的跟蹤效果,一般是基于攝像機(jī)和LiDAR融合或者攝像機(jī)與GPS的融合等。Fefilatyev等提出了一種在公海視頻中自動檢測和跟蹤海上船只的技術(shù),基于單個視頻幀進(jìn)行海上船只檢測,并借助跟蹤算法通過視頻序列跟蹤檢測目標(biāo),通過濾除未顯示視頻序列中各幀之間檢測一致的噪聲,提高了檢測及跟蹤的精度,圖9展示了該系統(tǒng)的目標(biāo)跟蹤效果。

圖9 環(huán)境影響下時間軸上目標(biāo)跟蹤情況

Wolf等介紹了一種USV的感知和規(guī)劃系統(tǒng),其目標(biāo)是檢測和跟蹤中至遠(yuǎn)距離的船只,但目前無法實現(xiàn)多種類型目標(biāo)的檢測和跟蹤。Shin針對大浪、水面有霧等惡劣條件下目標(biāo)跟蹤問題,根據(jù)試驗得到該系統(tǒng)目標(biāo)檢測和跟蹤的距離最遠(yuǎn)為500米。蕭正莫等通過集成單目攝像機(jī)與GPS和IMU數(shù)據(jù)信息,將測距能力提高500—1000米。

近年來,國內(nèi)也有一些學(xué)者基于實際出發(fā),將研發(fā)系統(tǒng)搭載在無人艇上進(jìn)行動態(tài)目標(biāo)跟蹤。張磊等提出了一種基于GNC框架的三體船,能夠自主探測周圍環(huán)境,并對具有一定特征的動態(tài)目標(biāo)進(jìn)行跟蹤航行。曾文靜針對海面目標(biāo)跟蹤,將均值漂移算法和卡爾曼濾波結(jié)合,以在一定程度上實現(xiàn)目標(biāo)尺度的自適應(yīng)跟蹤。時俊楠考慮目標(biāo)位置和尺度的實時變化,采用聯(lián)合估計的fDSST跟蹤算法,結(jié)合姿態(tài)變化信息進(jìn)行目標(biāo)跟蹤。

為實現(xiàn)遠(yuǎn)距離目標(biāo)實時檢測并跟蹤,多傳感器信息融合是目前的研究熱點(diǎn),也是未來一段時間的發(fā)展趨勢,能夠有效提升USV的目標(biāo)跟蹤性能。但目前尚未提出能夠?qū)崿F(xiàn)真正的信息融合并且能夠?qū)δ繕?biāo)進(jìn)行長時間的準(zhǔn)確檢測跟蹤。

實時定位

為更好實現(xiàn)USV在自主執(zhí)行任務(wù)中不出問題,精準(zhǔn)的導(dǎo)航及自定位也至關(guān)重要。良好的導(dǎo)航定位能力是實現(xiàn)USV實時優(yōu)化航路的基本。

針對應(yīng)用環(huán)境通常是高度動態(tài)和非結(jié)構(gòu)化的問題,Subramanian等為了實現(xiàn)在高度非結(jié)構(gòu)化的海洋環(huán)境中USV能夠真正的自主長期運(yùn)行的目標(biāo),提出了結(jié)合使用單個全景攝像機(jī)的圖像分析以及USV位置和運(yùn)動信息,利用USV實時創(chuàng)建海岸線地圖的新方法,圖10為其全景攝像機(jī)輔助檢測出的岸線結(jié)果?;赨SV的導(dǎo)航定位,Leedekerken等提出了一種使用自主水面航行器的新型海洋制圖系統(tǒng),解決橋梁或樹葉冠層附近GPS遮擋問題。

圖10 岸線檢測

Han等提出了主要作用于阻擋GPS信號的大型建筑附近操作的USV定位算法。該算法是一種相對導(dǎo)航方法,用LiDAR檢測橋墩及其輪廓,并使用LiDAR測量結(jié)果通過對橋墩的截面幾何形狀進(jìn)行分類和參數(shù)化來估算結(jié)構(gòu)形狀和中心位置,該方法允許在GPS信號缺失的情況下估計USV的位置,通過在同步定位框架下,構(gòu)建橋墩結(jié)構(gòu)的參數(shù)地圖,即時定位并繪制地圖(SLAM)。

針對在岸邊的植被或城市居住區(qū)無法常規(guī)使用視線全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)的問題,船只的精確定位是關(guān)鍵挑戰(zhàn),Kriechbaumer等提出通過附在USV上的全景攝像機(jī)裝置評估獨(dú)立的視覺里程計,將其作為一種新穎的低成本定位策略,并使用基于特征的SLAM方法在663m長的運(yùn)河上進(jìn)行了測試。

Wang等將基于雙目攝像機(jī)的視覺SLAM算法應(yīng)用于USV,并在港口環(huán)境中采集視頻數(shù)據(jù)進(jìn)行實驗。Ma等為了克服GPS信號缺失問題及干擾問題,提出了一種基于雷達(dá)和衛(wèi)星圖像的實時定位算法來確定USV位置。

近年來,隨著USV應(yīng)用場景的擴(kuò)展,在GPS信號缺失情況下的USV定位問題亟待解決。目前通過IMU確定無人船姿態(tài),SLAM算法實時建圖確定場景情況是解決該類問題的主流方法,但是定位精度仍受到信息缺失的影響,精確快速的無人艇自定位方法仍需進(jìn)一步深入研究。

結(jié) 論

無人艇的感知系統(tǒng)對無人艇安全自主執(zhí)行任務(wù)影響極大,近年來得到了越來越廣泛地研究,但目前國內(nèi)外對其研究仍無法使無人艇實現(xiàn)真正無人化地執(zhí)行任務(wù),其中存在一些感知效果仍有待提升:

⑴系統(tǒng)穩(wěn)定性?,F(xiàn)階段無人艇智能化水平還有待提高。無人艇與無人車的工作模式類似,但是其工作環(huán)境更加惡劣,對自身系統(tǒng)的抗干擾性和抗打擊能力要求比無人車更高。

⑵目標(biāo)檢測能力。由于光照反射、水面不確定因素等原因,無人艇檢測結(jié)果將受到較大干擾,目前的檢測方法仍存在局限性,檢測準(zhǔn)確率有待提升。

鑒于無人艇在應(yīng)用方面的廣闊前景以及在輕量化、能源消耗等方面展現(xiàn)出的巨大優(yōu)勢,各國都致力于無人艇的研究,目前正處于飛速發(fā)展的關(guān)鍵階段。未來這一領(lǐng)域的發(fā)展應(yīng)該是圍繞上述問題的解決而展開,發(fā)展趨勢主要是:

⑴多傳感器融合。隨著計算機(jī)日益成熟,無人艇的發(fā)展呈現(xiàn)模塊化的趨勢。未來無人艇系統(tǒng)將逐步成為各體系的模塊化組成,其技術(shù)體系勢必是多傳感器融合。模塊化可以使無人艇智能選擇合適的方法,搭載不同的傳感器進(jìn)行感知探測,使感知系統(tǒng)適用于各種不同任務(wù),同時提升系統(tǒng)性能。

⑵實現(xiàn)高度智能化。未來,無人艇需具有對感知信息自主分析和自適應(yīng)學(xué)習(xí)的能力,通過不斷數(shù)據(jù)學(xué)習(xí),適應(yīng)不同的水面及天氣環(huán)境,降低錯誤率,一是具有記憶和思維能力,能夠存儲感知到的外部信息同時利用已有的知識對感知到的信息進(jìn)行分析;二是具有學(xué)習(xí)能力和自適應(yīng)能力,通過不斷學(xué)習(xí)積累知識,使自己能夠適應(yīng)環(huán)境變化,形成決策并執(zhí)行。同時需要至少具備滿足各種水域和天氣環(huán)境的水面圖像增強(qiáng)復(fù)原系統(tǒng),能根據(jù)外界環(huán)境自適應(yīng)對圖像進(jìn)行復(fù)原,保留圖像的關(guān)鍵信息。

⑶多領(lǐng)域算法融合。傳統(tǒng)的感知算法在感知準(zhǔn)確性上受到了限制,隨著機(jī)器學(xué)習(xí)的進(jìn)一步發(fā)展,深度學(xué)習(xí)感知算法的融合研究為傳統(tǒng)感知算法注入了新鮮血液,帶來了魯棒性強(qiáng)、準(zhǔn)確度高等優(yōu)點(diǎn),將進(jìn)一步提升水面無人艇感知環(huán)境的能力?!?/p>

猜你喜歡
障礙物攝像機(jī)水面
高低翻越
水黽是怎樣浮在水面的
SelTrac?CBTC系統(tǒng)中非通信障礙物的設(shè)計和處理
趕飛機(jī)
攝像機(jī)低照成像的前世今生
新安訊士Q6155-E PTZ攝像機(jī)
如何消除和緩解“攝像機(jī)恐懼癥”
一塊水面
高清新陣營
沧州市| 汶川县| 峨边| 兰坪| 仁化县| 昭觉县| 徐汇区| 喜德县| 凤翔县| 桦甸市| 五莲县| 唐海县| 青浦区| 辰溪县| 盐边县| 同心县| 鸡泽县| 望都县| 扬中市| 萝北县| 乐平市| 五华县| 五莲县| 崇文区| 绥阳县| 泗洪县| 灵川县| 长治市| 丰顺县| 铁力市| 忻城县| 贡觉县| 永吉县| 永兴县| 鲜城| 池州市| 江陵县| 武隆县| 浦县| 肥城市| 洪江市|