張 偉,潘 珺,宮 鵬,李子軒,郭帥克,高賽博

面向UUV回收過(guò)程的單目視覺(jué)導(dǎo)引燈陣跟蹤方法

張 偉,潘 珺*,宮 鵬,李子軒,郭帥克,高賽博

(哈爾濱工程大學(xué) 智能科學(xué)與工程學(xué)院,黑龍江 哈爾濱,150001)

無(wú)人水下航行器(UUV)在進(jìn)行水下作業(yè)過(guò)程中,受到自身可攜帶載荷和環(huán)境的制約,導(dǎo)致其作業(yè)時(shí)間不能過(guò)長(zhǎng)和作業(yè)距離不能過(guò)遠(yuǎn),需要在一定時(shí)間內(nèi)回收以供給能量、獲得數(shù)據(jù)并布置新任務(wù)。深入研究UUV視覺(jué)跟蹤問(wèn)題,對(duì)實(shí)現(xiàn)UUV快速、準(zhǔn)確、安全的回收有著重要意義。基于此,文中對(duì)UUV回收的單目視覺(jué)多目標(biāo)跟蹤問(wèn)題進(jìn)行了研究。以非線性卡爾曼濾波器為基礎(chǔ),提出基于非對(duì)稱光陣列的UUV回收跟蹤方法。首先,對(duì)單目攝像機(jī)采集的水下圖像進(jìn)行預(yù)處理,提取光源陣列的特征信息。其次,初始化目標(biāo)軌跡,提出了基于非對(duì)稱L型光源陣列的軌跡確定方法。再次,權(quán)衡觀測(cè)器與濾波器設(shè)計(jì)了尋優(yōu)代價(jià)矩陣,應(yīng)用改進(jìn)的匈牙利算法將檢測(cè)與目標(biāo)軌跡相匹配,并根據(jù)匹配結(jié)果對(duì)卡爾曼濾波器的先驗(yàn)結(jié)果進(jìn)行修正。最后,通過(guò)水下目標(biāo)跟蹤實(shí)驗(yàn),驗(yàn)證了所提方法的工程有效性。

無(wú)人水下航行器; 回收; 多目標(biāo)跟蹤; 單目視覺(jué); 非線性卡爾曼濾波器

0 引言

近年來(lái),隨著無(wú)人水下航行器(unmanned un- dersea vehicle,UUV)技術(shù)[1]的飛速發(fā)展,聲光導(dǎo)引相結(jié)合的回收策略在UUV回收過(guò)程中逐漸成為主流。其中,遠(yuǎn)距離聲學(xué)導(dǎo)引定位技術(shù)已相對(duì)成熟[2],而近距離光學(xué)導(dǎo)引跟蹤的準(zhǔn)確性和魯棒性是當(dāng)前需要攻克的難題。因此,對(duì)水下引導(dǎo)光源目標(biāo)進(jìn)行快速穩(wěn)定的跟蹤,具有十分重要的意義。

目前,國(guó)內(nèi)外學(xué)者提出許多基于視覺(jué)傳感器的跟蹤方法,如核相關(guān)濾波(kernel correlation filter,KCF)[3]、三維形狀識(shí)別[4]、時(shí)空上下文(spatio- temporal context,STC)[5]等。其中Henriques等[3]提出采用核函數(shù)的跟蹤方法,通過(guò)非線性變化將原始空間中的輸入信息反饋到高維特征空間的標(biāo)量函數(shù)上,減小了計(jì)算量,但在目標(biāo)光源處于遮擋或信息丟失情況下,局部信息難以維持跟蹤精度,導(dǎo)致跟蹤框漂移,需要進(jìn)行再檢測(cè)、再跟蹤。Zhang等[5]提出的跟蹤方法基于貝葉斯框架,使用統(tǒng)計(jì)學(xué)建立跟蹤目標(biāo)與周?chē)鷧^(qū)域的時(shí)空關(guān)系,計(jì)算置信圖求得似然概率最大的位置,將其作為下一幀目標(biāo)最有可能出現(xiàn)的位置,但UUV進(jìn)行動(dòng)基座回塢時(shí),引導(dǎo)燈陣附近背景發(fā)生較大變化,導(dǎo)致跟蹤效果不夠理想,可能引起跟蹤失敗。

文中提出一種非對(duì)稱光源陣列導(dǎo)引回收策略,將整體光源陣列分離為若干個(gè)子光源,同時(shí)結(jié)合陣列剛體信息,利用非線性卡爾曼濾波器,僅通過(guò)單目視覺(jué)相機(jī),在部分前景光源發(fā)生遮擋,背景幀發(fā)生較大變化時(shí)仍能得到較好的跟蹤效果,并通過(guò)水池UUV跟蹤實(shí)驗(yàn),驗(yàn)證了其合理性和有效性。

1 UUV回收裝置設(shè)計(jì)

1.1 叉柱式回收裝置

UUV的叉柱式回收裝置由待回收UUV腹部前端的回收柱和母船背部上的回收叉組成,如圖1所示。當(dāng)回收柱靠近回收叉時(shí),鎖緊裝置會(huì)自動(dòng)鎖死,完成回收。其中,回收柱長(zhǎng)度為50 cm; 回收叉由2個(gè)長(zhǎng)度為80 cm、開(kāi)角為90°的叉子組成,材質(zhì)為空心的鋁合金,鎖緊裝置安裝在回收叉交叉處。

圖1 UUV回收裝置示意圖

1.2 非對(duì)稱光列陣

非對(duì)稱光源陣列位于回收叉下端的L型軌道上。由4個(gè)同一型號(hào)D550的光源組成。確保目標(biāo)光源形狀、發(fā)光面積等在硬件層面相同。其中,縱向共有3個(gè)光源,分別記為A、B、C; 以C為中心沿橫向設(shè)置光源D(如圖2和圖3所示)。

圖2 非對(duì)稱光陣列俯視圖

圖3 UUV回收叉底座示意圖

2 導(dǎo)引燈陣跟蹤方法

2.1 目標(biāo)導(dǎo)引光源探測(cè)與識(shí)別

2.1.1 方法介紹

在UUV近距離對(duì)接過(guò)程中,攝像機(jī)持續(xù)對(duì)目標(biāo)光源進(jìn)行探測(cè),當(dāng)部分目標(biāo)光源首次進(jìn)入攝像機(jī)視野時(shí)(識(shí)別出目標(biāo)光源個(gè)數(shù)大于0時(shí)),通過(guò)計(jì)算光源質(zhì)心與采集圖像中心的像素誤差,控制UUV執(zhí)行機(jī)構(gòu)調(diào)整自身位置,直至攝像機(jī)視野中首次捕捉到完整的4個(gè)目標(biāo)光源時(shí),初始化目標(biāo)光源軌跡,執(zhí)行跟蹤過(guò)程。

由于目標(biāo)光源到達(dá)攝像機(jī)感光元件路途中受到散射、吸收及各種噪聲的影響,使得攝像機(jī)光能發(fā)生改變,原始圖像常常難以滿足目標(biāo)跟蹤的精度要求,所以要對(duì)原始圖像進(jìn)行預(yù)處理[6]。處理方法如下: 應(yīng)用改進(jìn)的閾值分割方法及二值區(qū)域(binary large object,BLOB)分析[7]提取出其突出特征,然后利用數(shù)學(xué)形態(tài)學(xué)操作對(duì)目標(biāo)光源輪廓進(jìn)行修正,從而識(shí)別出目標(biāo)引導(dǎo)光源[8-9]。

2.1.2 改進(jìn)自適應(yīng)閾值分割方法

1) 利用傳統(tǒng)自適應(yīng)閾值分割方法,進(jìn)行預(yù)分割,結(jié)合BLOB分析[7],生成前景連通區(qū)域;

3) 根據(jù)相應(yīng)閾值分割對(duì)應(yīng)區(qū)域;

4) 最后,應(yīng)用數(shù)學(xué)形態(tài)學(xué)閉操作、開(kāi)操作及補(bǔ)洞操作平滑邊緣輪廓,填補(bǔ)空洞,即可獲得目標(biāo)光源較為理想的分割圖像。

2.1.3 目標(biāo)光源提取對(duì)比實(shí)驗(yàn)

圖4為單目攝像機(jī)采集到的水下原始圖像,圖5為利用傳統(tǒng)自適應(yīng)閾值分割處理后的圖像,可見(jiàn)目標(biāo)光源附近的背景信息被過(guò)多地劃分到前景區(qū)域,導(dǎo)致B、C兩燈產(chǎn)生區(qū)域連通。因此,傳統(tǒng)自適應(yīng)閾值分割方法不能有效地分離目標(biāo)光源與背景,從而導(dǎo)致跟蹤失敗。

圖4 攝像機(jī)采集原始圖像

圖5 傳統(tǒng)自適應(yīng)閾值分割處理后的圖像

采用改進(jìn)的自適應(yīng)閾值分割方法對(duì)原始圖像進(jìn)行處理,得到效果圖如圖6所示。交并比(inter- section over union,IOU)比例圖像如圖7所示,其中,黃色標(biāo)線為標(biāo)記的正確結(jié)果(ground-truth),紅色標(biāo)線是預(yù)測(cè)的結(jié)果(predicted)。IOU是2個(gè)區(qū)域重疊部分除以2個(gè)區(qū)域集合部分得到的結(jié)果,IOU比例越接近于1代表光源識(shí)別性能越好。引導(dǎo)光源IOU識(shí)別性能定量對(duì)比見(jiàn)表1,可見(jiàn)利用文中改進(jìn)后自適應(yīng)閾值分割方法的識(shí)別性能優(yōu)于傳統(tǒng)自適應(yīng)閾值分割方法及典型直接閾值分割方法,可以有效分離出目標(biāo)光源,降低了特征提取過(guò)程中存在的誤差,達(dá)到了較好的識(shí)別效果。

2.2 導(dǎo)引燈陣跟蹤方法

2.2.1 方法介紹

在近距離接駁階段,UUV常常受到各種噪聲的干擾,卡爾曼濾波能夠從一系列存在測(cè)量噪聲的數(shù)據(jù)中估計(jì)動(dòng)態(tài)系統(tǒng)的狀態(tài)。文中對(duì)回收平臺(tái)導(dǎo)引燈陣的跟蹤主要是利用擴(kuò)展卡爾曼濾波算法,該算法是將觀測(cè)器攝像頭采集到的燈陣像素位置信息(如表2所示)作為狀態(tài)輸入卡爾曼濾波器,計(jì)算并得到每個(gè)軌跡在下一幀位置的最優(yōu)估計(jì),然后根據(jù)預(yù)測(cè)的結(jié)果和每個(gè)新檢測(cè)到的燈陣目標(biāo)計(jì)算歐幾里得距離(如表3所示),再將度量結(jié)果聯(lián)合燈陣的剛體信息生成代價(jià)函數(shù)矩陣,最后使用匈牙利匹配算法根據(jù)閾值將目標(biāo)與軌跡相匹配,最終實(shí)現(xiàn)目標(biāo)跟蹤。

圖6 文中算法處理后的圖像

圖7 文中算法處理后IOU圖像

表1 引導(dǎo)光源IOU識(shí)別性能定量對(duì)比

表2 檢測(cè)到的目標(biāo)位置

2.2.2 目標(biāo)燈陣軌跡初始化

表3 檢測(cè)目標(biāo)中心歐幾里得距離

圖8 首次檢測(cè)到的4個(gè)目標(biāo)光源

至此,即可確定檢測(cè)到的目標(biāo)與回收引導(dǎo)燈陣的對(duì)應(yīng)關(guān)系,如圖9所示。最后,生成ABCD目標(biāo)光源軌跡,并記錄軌跡信息。可以看到,將光源陣列設(shè)計(jì)為非對(duì)稱的L型,可以僅通過(guò)簡(jiǎn)單邊的關(guān)系確定目標(biāo)光源軌跡的初始位置,相較于其他已有的線性陣列、方形陣列、圓形陣列等,從根本上簡(jiǎn)化了軌跡確定的開(kāi)銷(xiāo),大大減少了其他陣列出現(xiàn)誤判、錯(cuò)判的可能性,提高了目標(biāo)跟蹤的穩(wěn)定性。

圖9 初始化檢測(cè)目標(biāo)軌跡

2.2.3 目標(biāo)燈陣軌跡預(yù)測(cè)與匹配

1) 結(jié)合BLOB特征分析[10]改進(jìn)的擴(kuò)展卡爾曼濾波算法

在UUV水下回收近距離視覺(jué)跟蹤過(guò)程中,往往由于水中懸浮物,抑或是引導(dǎo)光源超出攝像機(jī)視域范圍,從而發(fā)生遮擋情況,導(dǎo)致跟蹤失敗。而擴(kuò)展卡爾曼濾波算法[11-12]能夠從含有不確定信息的動(dòng)態(tài)系統(tǒng)中,對(duì)系統(tǒng)下一步的走向做出有根據(jù)的預(yù)測(cè),有一定的抗遮擋能力,在水下目標(biāo)跟蹤中具有良好的性能?；诖?文中利用BLOB特征分析對(duì)已初始化的目標(biāo)光源軌跡進(jìn)行特征描述,將得到的面積、質(zhì)心及外接矩形長(zhǎng)寬作為狀態(tài)向量代入卡爾曼濾波狀態(tài)方程,得到軌跡預(yù)測(cè)位置。

2) 加入尋優(yōu)代價(jià)函數(shù)改進(jìn)匈牙利匹配算法

1) 利用BLOB分析得到目標(biāo)光源的特征信息(運(yùn)動(dòng)質(zhì)心、面積及外接矩形);

2) 將得到的特征信息代入卡爾曼濾波器;

3) 用卡爾曼濾波器對(duì)下一幀對(duì)應(yīng)的目標(biāo)區(qū)域進(jìn)行預(yù)測(cè),當(dāng)下一幀到來(lái)時(shí),在預(yù)測(cè)區(qū)域附近作軌跡匹配;

4) 根據(jù)匹配結(jié)果,對(duì)卡爾曼濾波器進(jìn)行修正,繼續(xù)重復(fù)1)～4)步驟。

2.2.4 目標(biāo)導(dǎo)引等陣跟蹤實(shí)驗(yàn)

實(shí)驗(yàn)使用的測(cè)試樣本是在實(shí)驗(yàn)室中錄制的約 300 幀目標(biāo)光源移位的圖像序列。實(shí)驗(yàn)環(huán)境如下: Windows10 64位操作系統(tǒng)、64位 MATLAB 2018a、英特爾 i7 4720HQ 處理器及8 GB 內(nèi)存。實(shí)驗(yàn)跟蹤過(guò)程中任取4幀圖像如圖10所示。

如圖10所示,其中圖10(a)、(c)識(shí)別出4個(gè)目標(biāo)光源,并進(jìn)行了正確的軌跡匹配實(shí)現(xiàn)跟蹤; 對(duì)于圖10(b),識(shí)別出3個(gè)目標(biāo)光源,目標(biāo)光源A超出攝像機(jī)視域,仍然完成了正確的軌跡匹配實(shí)現(xiàn)跟蹤,并標(biāo)記出了目標(biāo)光源A的預(yù)測(cè)位置; 對(duì)于圖10(d),識(shí)別出2個(gè)目標(biāo)光源,目標(biāo)光源A、B超出攝像機(jī)視域,仍正確匹配軌跡完成跟蹤,因?yàn)轭A(yù)測(cè)位置超出圖像范圍,所以未進(jìn)行標(biāo)記。

圖10 任意提取的4幀圖像

3 實(shí)驗(yàn)結(jié)果比較與分析

為了驗(yàn)證文中算法的穩(wěn)定性,實(shí)驗(yàn)所用的跟蹤視頻序列中加入了部分目標(biāo)光源超出攝像機(jī)視域的情況,導(dǎo)致目標(biāo)光源信息丟失,可看作目標(biāo)光源被遮擋,遮擋概率為33.06%。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的主觀分析和客觀評(píng)價(jià)指標(biāo)分析,證明所提算法的有效性。

3.1 實(shí)驗(yàn)結(jié)果

為了衡量實(shí)驗(yàn)的跟蹤精度,更直觀地展示跟蹤性能,以人工標(biāo)定的4個(gè)目標(biāo)光源位置為標(biāo)準(zhǔn),繪制了4個(gè)目標(biāo)光源的Benchmark精確度曲線[8]、跟蹤誤差曲線及跟蹤坐標(biāo)曲線(以目標(biāo)光源A為例)。

由圖11可知,在跟蹤誤差閾值為13時(shí),Ben- chmark精確度達(dá)到90%以上,具有良好的跟蹤效果,對(duì)光源A的跟蹤誤差曲線和跟蹤橫縱坐標(biāo)曲線分析可知,即使目標(biāo)光源發(fā)生遮擋,使得連續(xù)跟蹤軌跡發(fā)生斷裂,文中算法仍能對(duì)目標(biāo)光源軌跡做出較為準(zhǔn)確的預(yù)測(cè),整體預(yù)測(cè)趨勢(shì)符合人工標(biāo)定位置坐標(biāo)變化趨勢(shì),證明了算法的有效性。

3.2 客觀評(píng)價(jià)指標(biāo)

選擇較為主流的CLEAR MOT跟蹤評(píng)價(jià)體系[13]來(lái)判別跟蹤算法對(duì)目標(biāo)光源的跟蹤性能。判別過(guò)程主要是利用上文提出的目標(biāo)識(shí)別算法提取目標(biāo)光源區(qū)域,之后利用改進(jìn)的目標(biāo)跟蹤方法進(jìn)行實(shí)驗(yàn)。對(duì)于評(píng)價(jià)指標(biāo),主要利用CLEAR MOT跟蹤評(píng)價(jià)體系中的召回率(RCLL)、檢測(cè)正確率(PRCN)、漏檢數(shù)(FP)、誤判數(shù)(FN)、誤配數(shù)(IDs)、連續(xù)軌跡斷裂數(shù)(FM)、多目標(biāo)跟蹤準(zhǔn)確度(MOTA)及多目標(biāo)跟蹤精確度(MOTP)評(píng)價(jià)指標(biāo),如表4所示。

圖11 跟蹤精度曲線

表4 CLEAR MOT評(píng)價(jià)指標(biāo)

通過(guò)評(píng)價(jià)指標(biāo)可以看出,添加遮擋后,文中算法在檢測(cè)到目標(biāo)、對(duì)位置的跟蹤預(yù)測(cè)以及軌跡的匹配仍非常精準(zhǔn)。其中: PRCN達(dá)到99.76%; MOTA達(dá)到84.65%; MOTP為13.24像素級(jí)別; 視覺(jué)跟蹤的FPS為13.1; 滿足UUV每秒2拍的采集速度,符合實(shí)驗(yàn)要求。

3.3 實(shí)驗(yàn)結(jié)果比較

傳統(tǒng)的KCF算法跟蹤目標(biāo)光源時(shí),跟蹤框的大小是固定不變的。但由于攝像機(jī)是固定在運(yùn)動(dòng)的UUV上,其采集的水下圖像中目標(biāo)光源的尺寸和姿態(tài)處于不斷變化中,導(dǎo)致跟蹤精度下降甚至跟蹤失敗,不適用于尺度變化的目標(biāo)跟蹤。因此,將采集到的水下圖像序列分別同改進(jìn)后尺度變化的KCF算法[14]和文中算法進(jìn)行比較,如圖12所示。

圖12 跟蹤結(jié)果對(duì)比圖

圖中: (a)、(b)、(c)為改進(jìn)后尺度變化KCF算法跟蹤結(jié)果; (d)、(e)、(f)為文中算法跟蹤結(jié)果。可以看到,當(dāng)攝像機(jī)視野中出現(xiàn)完整4個(gè)目標(biāo)光源(15幀)及部分目標(biāo)光源超出視域(30幀)時(shí),2種方法均有不錯(cuò)的表現(xiàn)。但當(dāng)目標(biāo)光源重新返回UUV視域(62幀)時(shí),KCF算法錯(cuò)將部分光源信息劃分為正樣本,跟蹤框產(chǎn)生漂移,導(dǎo)致跟蹤精度下降; 而文中算法仍有較好的跟蹤表現(xiàn),平均跟蹤精度如表5所示。因此,文中提出方法具有較大的場(chǎng)景適用范圍。

表5 跟蹤精度對(duì)比表

4 結(jié)束語(yǔ)

文中針對(duì)UUV回收過(guò)程中的視覺(jué)導(dǎo)引跟蹤問(wèn)題,設(shè)計(jì)了一種簡(jiǎn)單可行的導(dǎo)引回收機(jī)械方案,提出了有效、穩(wěn)定的 UUV視覺(jué)導(dǎo)引燈陣跟蹤方法,并對(duì)所提方法進(jìn)行了水池跟蹤實(shí)驗(yàn)驗(yàn)證,實(shí)驗(yàn)表明,文中算法具有工程有效性。文中算法建立在忽略背景光和偽光源干擾的基礎(chǔ)上,后續(xù)研究若能對(duì)背景光進(jìn)行有效抑制以及消除偽光源干擾,則可以更好地實(shí)現(xiàn)跟蹤問(wèn)題,增強(qiáng)算法的普適性。

[1] 鐘宏偉. 國(guó)外無(wú)人水下航行器裝備與技術(shù)現(xiàn)狀及展望[J]. 水下無(wú)人系統(tǒng)學(xué)報(bào),2017,25(3): 215-225.

Zhong Hong-wei. Review and Prospect of Equipment and Techniques for Unmanned Undersea Vehicle in Foreign Countries[J]. Journal of Unmanned Undersea Systems,2017,25(3): 215-225.

[2] 孫大軍,鄭翠娥,張居成,等. 水聲定位導(dǎo)航技術(shù)的發(fā)展與展望[J]. 中國(guó)科學(xué)院院刊. 2019,34(3): 331-338.

Sun Da-jun,Zheng Cui-e,Zhang Ju-cheng,et al. Development and Prospect for Underwater Acoustic Positioning and Navigation Technology[J]. Bulletin of Chinese Academy of Sciences,2019,34(3): 331-338.

[3] Henriques J F,Caseiro R,Martins P,et al. High-Speed Tracking with Kernelized Correlation Filters[C]//IEEE Conference on Industrial Electronics and Applications. Wollongong,NSW,Australia: IEEE,2016.

[4] Wirtz M,Hildebrandt M,Gaudig C. Design and Test of a Robust Docking System for Hovering AUVs[C]//Oceans 2012. Yeosu,South Korea: IEEE,2012.

[5] Zhang K,Zhang L,Yang M H,et al. Fast Tracking via Spatio-Temporal Context Learning[EB/OL]. arXiv: 1311. 1939,2013. (2013-11-08)[2020-03-05]. https://www. re- searchgate.net/publication/258345794.

[6] 邊信黔,王曉娟．基于散射模型的水下圖像復(fù)原[J]．機(jī)器人,2010,32(6): 721-725．

BianXin-qian,WangXiao-juan. Underwater Image Restoration Based on Scattering Model[J]. Robot,2010,32(6): 721-725.

[7] 馬永華,耿瑞芳,張罡. 基于Blob算法的機(jī)器視覺(jué)圖像識(shí)別方法的研究[J]. 儀器儀表用戶,2008,15(4): 1-2.

Ma Yong-hua,Geng Rui-fang,Zhang Gang. Research on Machine Vision Image Recognition Method Based on Blob Algorithm[J]. Instrument Users,2008,15(4): 1-2.

[8] Wu Y,Lim J,Yang M H. Object Tracking Benchmark[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,37(9): 1834-1848.

[9] Otsu N. A Threshold Selection Method from Gray-Level Histograms[J]. IEEE Transactions on Systems,Man,and Cybernetics,2007,9(1): 62-66.

[10] Zhang W,Wang X,Chen T,et al. Fast Target Extraction Based on Bayesian BLOB Analysis and Simulated Annealing for Underwater Images[J]. IEEE Journal on Robotics and Automation,2017,32(2): 101-108.

[11] Einicke G A,White L B. Robust Extended Kalman Filtering[J]. IEEE Transactions on Signal Processing,1999,47(9): 2596-2599.

[12] Garcia-Fernandez F,Morelande R,Grajal J,et al. Truncated Unscented Kalman Filtering[J]. IEEE Transactions on Signal Processing,2012,60(7): 3372-3386.

[13] Bernardin K,Stiefelhagen R. Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics[J/OL]. EURASIP Journal on Image and Video Processing,2008(1). [2020-03-05]. http://citeseerx.ist.psu.edu/my- citeseer/login.

[14] 張偉,李子軒,宮鵬,等. UUV接駁單目視覺(jué)導(dǎo)引燈陣定位方法[J]. 水下無(wú)人系統(tǒng)學(xué)報(bào),2019,27(3): 313-318.

Zhang Wei,Li Zi-xuan,Gong Peng,et al. Positioning Method of Monocular Vision Guided Lamp Array with UUV Connection[J]. Journal of Underwater Unmanned Systems,2019,27(3): 313-318.

Monocular Vision Guided Lamp Array Tracking Method for the UUV Recovery Process

,*,,,,

(College of Automation,Harbin Engineering University,Harbin 150001,China)

An unmanned undersea vehicle(UUV) is restricted by its carrying load and environment during underwater operation,reducing the maximum operation time and distance. As a result,periodical UUV recovery is necessary to supply it with energy,obtain data,and arrange new tasks. Further study on UUV vision tracking is important to realize a rapid,accurate,and safe UUV recovery. In this study,problems caused by the monocular visual multi-target tracking for UUV recovery are investigated. A recovery tracking method of UUVs based on the nonlinear Kalman filter and asymmetric light array is proposed. First,underwater images collected by the monocular camera are preprocessed to extract characteristic information of the light source array. Afterward,the target trajectory is determined through a method based on the asymmetric L-shaped light source array. The optimal cost matrix is thereafter established by weighing the observer and the filter,and the detection is matched to the target trajectory using the improved Hungarian algorithm. Prior results of the Kalman filter are modified according to these results. Finally,the engineering effectiveness of the proposed method is verified through underwater target tracking experiments.

unmanned undersea vehicle; recovery; multi-target tracking; monocular vision; nonlinear Kalman filter

TJ630.33; TP242.62

A

2096-3920(2021)04-0435-07

10.11993/j.issn.2096-3920.2021.04.010

張偉,潘珺,宮鵬,等. 面向UUV回收過(guò)程的單目視覺(jué)導(dǎo)引燈陣跟蹤方法[J]. 水下無(wú)人系統(tǒng)學(xué)報(bào),2021,29(4): 435-441.

2020-09-04;

2020-11-21.

國(guó)家自然科學(xué)基金(5207110590).

通信作者簡(jiǎn)介:潘 珺(1993-),男,在讀碩士,主要研究方向?yàn)榭刂瓶茖W(xué)與工程.

(責(zé)任編輯: 許 妍)