盧艷軍,劉 颯

(沈陽航空航天大學(xué)自動化學(xué)院,遼寧 沈陽 110136)

0 引言

無人機以其成本低、效率較高、無人員傷亡風(fēng)險、機動性能好、使用方便等優(yōu)勢,被廣泛應(yīng)用于軍事和民用領(lǐng)域。無人機導(dǎo)航可以通過慣性導(dǎo)航系統(tǒng)(inertial navigation system,INS)、全球定位系統(tǒng)(global position system,GPS)、歐洲伽利略導(dǎo)航系統(tǒng)以及中國北斗衛(wèi)星導(dǎo)航來實現(xiàn),然而其信號不是總能獲取的。當(dāng)失去GPS 信號時,隨著時間的推移,慣性測量單元(inertial measurement unit,IMU)的累積誤差會越來越大,導(dǎo)致導(dǎo)航無法滿足任務(wù)要求,甚至?xí)斐筛鼑?yán)重的后果。計算機視覺可以通過視覺采集設(shè)備對視覺信息進行采集,并通過計算機系統(tǒng)對視覺信息進行處理、分析,實現(xiàn)對目標(biāo)的檢測、識別、跟蹤、定位等功能,且抗干擾能力很強。因此,將視覺采集引入無人機導(dǎo)航,利用視覺采集的實時信息與IMU 和GPS 進行融合,可以很好地解決系統(tǒng)失去定位的問題。

視覺導(dǎo)航通過視覺傳感器選取一個既定目標(biāo)作為絕對零點,將其作為坐標(biāo)系的原點供IMU 參照比對,并將二者信息融合實現(xiàn)無人機自身定位,以便完成更高級的任務(wù),如無人機自主著陸控制[1-3]和撞線回收[4]等。

1 視覺導(dǎo)航

隨著計算機視覺技術(shù)的迅速崛起,視覺傳感器在無人機導(dǎo)航領(lǐng)域引發(fā)了新的研究熱潮。以單目相機、雙目立體相機、RGB-D 相機和魚眼相機等為代表的視覺傳感器,可采集豐富的環(huán)境信息,且價格低廉、魯棒性好。

本文以多種視覺傳感器在導(dǎo)航系統(tǒng)中的視覺處理流程為主線,對近年來該領(lǐng)域的相關(guān)科研成果進行了梳理,詳細(xì)分析了視覺導(dǎo)航中各種圖像處理和信息融合方法的優(yōu)勢和缺陷,并對該領(lǐng)域的發(fā)展前景進行了展望。

2 視覺處理過程

在無人機視覺導(dǎo)航中,計算機視覺技術(shù)首先對視覺傳感器采集到的、反饋到上位機上的圖像信息進行預(yù)處理,然后對圖像信息進行特征提取和圖像識別,最終將輸出位置信息與IMU 融合,完成后續(xù)定位跟蹤導(dǎo)航任務(wù)。視覺處理過程如圖1 所示。

圖1 視覺處理過程圖Fig.1 Visual processing diagram

2.1 圖像預(yù)處理

獲取圖像質(zhì)量的優(yōu)劣直接關(guān)系到識別算法的設(shè)計和精度。為了保證獲取圖像的質(zhì)量,通常需要對視覺傳感器采集到的原始圖像信息進行去噪、灰度化和二值化等預(yù)處理。

濾波是一種典型去噪方法,可以有效抑制噪聲并保留真實的信息。楊磊[5]等通過一種自適應(yīng)高通濾波器,較大程度地保留圖像中小目標(biāo)對象的頻率信息,提高了圖像預(yù)處理的魯棒性;尹業(yè)宏[6]等使用GAUSS 濾波,克服了邊界效應(yīng)以獲得較好的圖像。林國清[7]等采用填充的方法去除孔類噪聲;符宇[8]在單目避障系統(tǒng)中采用維納濾波和基于邊緣檢測的小波去噪算法,提高了圖像復(fù)原的質(zhì)量。

灰度化在實際圖像預(yù)處理時往往不會單獨出現(xiàn),而是伴隨著其他方法同時處理目標(biāo)圖像。如:柴洪林[9]在實現(xiàn)無人機夜間自主著陸時,采用灰度形態(tài)學(xué)和鄰域處理的方法對視頻圖像進行預(yù)處理;索文凱[10]通過灰度變換、色相飽和度(hue,saturation,valus,HSV)色彩變換、HU 不變距匹配等方法,保障了合作目標(biāo)的準(zhǔn)確識別率;王輝[11]還提出了改進的非線性全局映射灰度化方法,以應(yīng)對邊緣特性丟失和模糊的情況。

二值化旨在區(qū)分環(huán)境和目標(biāo)。王紅雨和尹午榮[12]等通過將簡單的二值化描述方式擴充到三維向量,增強了局部二值模式算子(local binary patterns,LBP)對局部紋理特征的描述能力及其抗噪能力,進而使目標(biāo)與環(huán)境區(qū)分開。

2.2 目標(biāo)特征檢測提取

無人機在執(zhí)行導(dǎo)航定位任務(wù)時,需要以某個或某些靜態(tài)或動態(tài)的目標(biāo)作為參照物,從而確定坐標(biāo)零點以獲取全局信息,或者鎖定已識別目標(biāo)進行跟蹤。因此,對“零點”的特征檢測提取尤為重要。這關(guān)乎接下來的定位導(dǎo)航精度。

2.2.1 靜態(tài)目標(biāo)特征檢測提取

常見的靜態(tài)目標(biāo)檢測提取方法包括角點檢測、尺度不變特征轉(zhuǎn)換(scale-invariant feature transform,SIFT)算法檢測、加速穩(wěn)健特征(speeded up robust features,SURF)檢測、隨機抽樣一致(random sample consensus,RANSAC)算法等。

角點特征對圖像圖形的分析理解具有重要的作用,是圖像圖形的重要特征信息之一?；叶葓D像、二值圖像、輪廓邊緣等均可作為角點檢測的依據(jù)。在實際應(yīng)用中,基于灰度圖像的角點檢測方法以其快速性好、準(zhǔn)確性高和魯棒性突出等優(yōu)勢,成為較為合適的角點檢測方法。Harris 角點檢測和SUSAN 角點檢測是典型的基于灰度圖像的角點檢測方法。趙世杰在研究基于雙目視覺融合慣性導(dǎo)航的無人機狀態(tài)估計時,采用Harris 角點檢測保留圖像特征提高算法速度[13]。劉磊提出了一種改進的SUSAN 特征檢測算法,提高了檢測算法的魯棒性[14]。

SIFT 算法基于尺度不變特征,在處理圖像幾何變形、分辨率差異、旋轉(zhuǎn)等方面有較好效果,是計算機視覺的典型特征提取算法[15]。Jean Liénard 等利用SIFT特征檢測,實現(xiàn)了在低成本無人機處理硬件條件下圖像的三維場景重建[16]。包曉安和詹秀娟等利用SIFT特征檢測,解決了目標(biāo)丟失重新找回的問題[17]。Xing C 等為了提高無人機序列圖像的匹配精度,使用了SIFT 算法對其進行特征匹配[18]。

SURF 算法則是SIFT 算法的高效變種,在模糊邊緣或特征點較少的影像中能更為精準(zhǔn)地提取目標(biāo)物的角點,且實時性更強[19]。李鮮在研究未知環(huán)境中的無人機物體識別系統(tǒng)時,使用SURF 特征檢測并利用雙目立體視覺技術(shù)完成了三維點云的表面重建[20]。王亭亭等利用SURF 算法,在復(fù)雜環(huán)境下較好地實現(xiàn)了對目標(biāo)的追蹤效果[21]。劉琴琴等在提高圖像偽造內(nèi)容的檢測精度研究中,利用 Forstner 檢測算子提取圖像的特征點,同時改進SURF 生成特征向量,提高了檢測算法的精度[22]。R.A.Persad 等使用SURF 描述符匹配關(guān)鍵點,以提高準(zhǔn)確性[23]。

RANSAC 可在被觀測數(shù)據(jù)包含噪聲、外點等各類缺陷時,通過迭代的方法估算其數(shù)學(xué)模型參數(shù),并從中得到有用樣本數(shù)據(jù)。Shirin M 等使用RANSAC 算法實現(xiàn)了對包括房屋、墻體以及地面的建筑物平面圖像的三維點云重建,且提高了算法精度[24]。

2.2.2 動態(tài)目標(biāo)特征檢測提取

無人機在執(zhí)行飛行任務(wù)時,通常選取運動目標(biāo)作為既定目標(biāo)完成跟蹤或定位。根據(jù)檢測原理,將運動目標(biāo)檢測方法分為背景差法、幀間差分法和光流法三類。

將一幅或多幅背景圖像的平均值作為背景圖像,利用此背景圖像減去后續(xù)序列圖像的當(dāng)前幀和背景圖像,以實現(xiàn)背景去除的方法被稱為背景差分法。采用該方法所得到的像素數(shù)大于設(shè)定閾值,即可判定運動物體存在于被監(jiān)控場景中。背景差分法的數(shù)學(xué)表達式如下:

式中:IDL為背景幀差圖;BL為背景亮度分量;i為幀數(shù);N為序列總幀數(shù);T為閾值。

利用序列的兩幀相減得到亮度差的絕對值。將其與閾值作比較,以判定運動物體是否存在于被監(jiān)控場景中的運動目標(biāo)檢測方法被稱為幀間差分法。其數(shù)學(xué)表達式如下:

式中:IDM為相鄰幀差圖;IM為亮度分量。

光流法的基本原理是:基于亮度恒定、幀間小運動和空間一致的假設(shè)前提,根據(jù)圖像序列中像素在時間域上的變化和圖像相鄰幀之間的相關(guān)性,得到圖像當(dāng)前幀與上一幀之間存在的對應(yīng)關(guān)系,從而計算出相鄰幀之間物體的運動信息。光流法的數(shù)學(xué)表達式如下:

式中:Ix、Iy、It分別為圖像像素點灰度沿x、y、t方向的偏導(dǎo)數(shù);(u,v)為所求光流矢量。

龍迎春等利用混合高斯模型的背景差法,在攝像頭靜止階段對運動目標(biāo)進行檢測,實現(xiàn)了對目標(biāo)的靜止跟蹤[25]。賈其臣使用背景差法檢測目標(biāo)完成了對行人的檢測與跟蹤計數(shù)[26]。劉磊采用RASUAC 算法剔除誤匹配點,同時使用三幀差法對目標(biāo)進行檢測,并實現(xiàn)準(zhǔn)確定位[14]。祝奔奔等使用金字塔LK 光流法檢測目標(biāo)提高了障礙物識別的精度[27]。李成美等使用Shi-Tomasi 角點檢測和金字塔LK 光流法結(jié)合檢測目標(biāo)[28]。邱鵬瑞使用改進的光流法解決了無人機由于飛行不穩(wěn)導(dǎo)致的無法定點懸停的問題[29]。吳琦使用補償角速率的光流微分法計算幀間像素點小位移,并用前后誤差算法提取精度較高的點,以避免像素點跟蹤錯誤,提高了光流測速的精度[30]。

另外,王長亮使用方向梯形度直方圖(histogram of oriected gradient,HOG)特征和局部二值模式(local binary patterns,LBP)特征融合,提高了人體檢測準(zhǔn)確度[31];王松使用改進ViBe 檢測算法,提高了算法的檢測性能[32]。

2.2.3 存在的問題及展望

Harris 角點檢測算子具有不受光照旋轉(zhuǎn)影響的優(yōu)勢,但是其旋轉(zhuǎn)不變性、對灰度平移和尺度變化不敏感、不具有尺度不變性等劣勢,使其效果不佳。許佳佳等針對其不具有尺度不變性的缺點,以傳統(tǒng)的Harris算法為基礎(chǔ)構(gòu)建高斯尺度空間,提取了具有尺度不變性的角點特征[33]。雖然SIFT 和SURF 檢測具有較好的旋轉(zhuǎn)魯棒性,但對圖像實時性要求較高的系統(tǒng),此檢測將不再適用。李言俊[34]等以SIFT 特征向量生成過程為基礎(chǔ),把歐氏距離替換為準(zhǔn)歐式距離作為度量,以衡量特征描述符之間的相似度,使SIFT 特征匹配效率得以提高,最終使實時性得到提升。胡訪宇[35]等使用圖變換匹配(graph transform matching,GTM)方法對使用SURF 算法配準(zhǔn)的遙感圖像進行去除誤配,使結(jié)果更準(zhǔn)確。韓文靜[36]等在SURF 算法中加入了RANSAC剔除誤匹配點算法的程序,提升了定位精度和實時性。而精度和實時性都較好的RANSAC 算法在沒有進一步優(yōu)化時,算法的計算量明顯偏大。賈彤[37]在RANSAC 算法中引入了衡量因子η,通過取η值高的情況作為樣本,從而減少了迭代次數(shù)和時間消耗。

背景差法勝在原理算法設(shè)計簡單。但在各種噪聲干擾和復(fù)雜環(huán)境條件下,其背景建模的難度極大。Hong Liang 使用高斯混合模型背景法減少了物體檢測和背景建模的時間,同時進一步提高慢運動目標(biāo)的檢測精度和速度[38]。幀間差分法應(yīng)用于動態(tài)環(huán)境時具有較好的適應(yīng)性和穩(wěn)定性,但在環(huán)境運動速度過快或過慢的極端情況時將出現(xiàn)檢測失敗[39]。QU J J[40]將背景差法和幀間差分法相結(jié)合,有效地解決了漏檢、誤檢等情況。光流法在檢測識別目標(biāo)位置方面具有較高的精度,但其對光照異常敏感且具有實時性差的缺陷。為了提高光流法的檢測實時性,楊葉梅提出一種基于高斯金字塔的改進光流法,并將基于最大類間方差的圖像分割法和形態(tài)學(xué)濾波中的開、閉運算結(jié)合使用,使運動區(qū)域提取的時間得以縮短[41]。

特征提取檢測的目的在于明顯區(qū)別目標(biāo)與周圍環(huán)境信息,穩(wěn)、準(zhǔn)、快地檢測、識別出系統(tǒng)自身所需信息。無人機在執(zhí)行飛行作戰(zhàn)任務(wù)時,需要綜合各方面性能要求以及成本問題,從而客觀選取更為合適的檢測方法。

2.3 視覺目標(biāo)跟蹤

當(dāng)視覺傳感器選定的“零點”為動態(tài)目標(biāo)時,無人機在完成對此目標(biāo)的檢測后,需要對其進行識別定位跟蹤,并協(xié)同導(dǎo)航,以確保后續(xù)導(dǎo)航任務(wù)的精度。在計算機視覺領(lǐng)域中,視覺目標(biāo)跟蹤是一個極為重要的分支,具有廣泛的應(yīng)用范圍。作為人機交互、無人駕駛等領(lǐng)域發(fā)展的基礎(chǔ),其越來越受到學(xué)術(shù)界的重視。在線跟蹤時,為了捕捉目標(biāo)和背景在跟蹤過程中的變化,必須不斷更新外觀模型。視覺目標(biāo)跟蹤基本框圖如圖2所示。

圖2 視覺目標(biāo)跟蹤基本框圖Fig.2 Basic block diagram of visual target tracking

2.3.1 目標(biāo)跟蹤方法

視覺目標(biāo)跟蹤算法可根據(jù)其觀測模型分為生成式方法和判別式方法。近年來,以相關(guān)濾波和深度學(xué)習(xí)為代表的判別式跟蹤方法以其速度快、效果好的優(yōu)勢,逐步取代生成式跟蹤方法,一躍成為學(xué)術(shù)界的研究熱點。

基于相關(guān)濾波的跟蹤思想是在目標(biāo)區(qū)域訓(xùn)練回歸器,再在下一幀的目標(biāo)區(qū)域中尋找響應(yīng)最大的位置(即目標(biāo)位置),公式如下:

式中:F為目標(biāo)區(qū)域傅里葉變換;H為濾波模板傅里葉變換,H*為H的共軛轉(zhuǎn)置;G為最終響應(yīng)。

為減少計算量,采用如下模板更新策略:

式中:η為模板更新速率。

生成類方法的原理是以當(dāng)前幀對目標(biāo)區(qū)域建立的模型為基礎(chǔ),在下一幀尋找與所建立目標(biāo)區(qū)域數(shù)學(xué)模型最為相似的區(qū)域作為預(yù)測位置。其中,粒子濾波、卡爾曼濾波、Camshift 和Meanshift 等是具代表性的生成類目標(biāo)跟蹤方法。齊會云為提高對動態(tài)目標(biāo)的跟蹤效果,使用基于CS 模型的交互式多模型例子濾波算法,提升了跟蹤精度[42]。劉磊使用粒子濾波算法完成了對運動目標(biāo)的跟蹤[14]。李成美等利用卡爾曼濾波法預(yù)測目標(biāo)下一幀位置,完成了動態(tài)目標(biāo)的精準(zhǔn)跟蹤[28]。李曉松[43]和賈其臣[26]使用了同樣的方法對目標(biāo)進行預(yù)測。王長亮針對人體形態(tài)易發(fā)生變化和出現(xiàn)遮擋的問題,使用了Camshift 算法與擴展卡爾曼算法融合的跟蹤算法[31]。賈配洋等針對目標(biāo)識別速度慢的問題,提出了以Apriltags 識別算法結(jié)合卡爾曼算法,實現(xiàn)實時跟蹤目標(biāo)[44]。Ha N P 等利用可見光傳感器和卡爾曼濾波,完成了無人機在無GPS 情況下的安全降落[45]。張仁蒲使用改進的Meanshift 算法,也同樣解決了目標(biāo)遮擋丟失的問題[46]。

判別類方法的原理是將當(dāng)前幀中的目標(biāo)區(qū)域和背景區(qū)域分別作為正、負(fù)樣本用以訓(xùn)練分類器,并使用此分類器在下一幀數(shù)據(jù)中尋找最優(yōu)目標(biāo)區(qū)域。其中,核相關(guān)濾波(kernel correlation filter,KCF)算法、高效卷積算子(efficient convolution operators,ECO)以及基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)式判別跟蹤方法是受到研究者廣泛關(guān)注的基于相關(guān)濾波的判別類跟蹤方法。王松使用KCF 算法完成了對視頻中運動目標(biāo)的檢測[32]。程子一等應(yīng)用改進的KCF 算法解決了目標(biāo)被嚴(yán)重遮擋的問題[47]。劉金花使用視覺處理器(graphics processing unit,GPU) 加速KCF 算法,實現(xiàn)了目標(biāo)的高速跟蹤[48]。王楊使用改進的KCF 算法解決了目標(biāo)較大形變的問題[49]。劉延飛等在KCF 的基礎(chǔ)上提出了一種基于異常值檢測的方法,為目標(biāo)丟失后何時載入目標(biāo)重檢測定位提供可靠的依據(jù)[50]。ECO 算法是以CCOT 算法為基礎(chǔ),從模型大小、樣本集大小和更新策略三個方面加以提速演進而來的。在對比了多種相關(guān)濾波算法后,Danelljan M 等闡明了ECO 算法在實時性和快速準(zhǔn)確性方面的優(yōu)勢[51]。翁靜文等提出的ECOHC(ECO+HOG+CN 特征)、跟蹤算法解決了無人機指定行人跟蹤中目標(biāo)遮擋嚴(yán)重、尺度變化大的問題[52]。由于深度特征對目標(biāo)具有強大的表示能力,因此其與神經(jīng)網(wǎng)絡(luò)的結(jié)合在計算機視覺目標(biāo)跟蹤領(lǐng)域得到了充分的發(fā)展。Michels J 等利用深度學(xué)習(xí)完成了在非結(jié)構(gòu)化的戶外環(huán)境高速駕駛遠(yuǎn)程控制車的任務(wù)[53]。Mannar S 等則利用監(jiān)督學(xué)習(xí)導(dǎo)出與障礙物間的真實距離,從而實施避障[54]。Fornari G 等使用人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)作為邊緣檢測器,通過視覺完成GPS 被破壞情況下的無人機自主跟蹤導(dǎo)航[55]。另外,Choi H 等又提出一種非線性自適應(yīng)觀測器,通過估計狀態(tài)和參數(shù)仿真實現(xiàn)無人機對目標(biāo)的跟蹤[56]。李曉偉等也通過基于上下文的STC 算法驗證了其對運動目標(biāo)跟蹤的有效性[57]。

2.3.2 存在的問題及展望

視覺目標(biāo)跟蹤本身就是一個極具挑戰(zhàn)的任務(wù),而且運動場景往往較為復(fù)雜、多變。要想出色地完成目標(biāo)跟蹤的任務(wù),就必須考慮目標(biāo)遮擋、形變、尺度變換以及背景雜亂等問題,同時必須考慮實時性和準(zhǔn)確性。

粒子濾波是基于蒙特卡洛方法的一種順序重要性采集法,用于表示從后驗概率中提取的隨機狀態(tài)粒子的分布。盡管它在非線性、非高斯系統(tǒng)中具有優(yōu)勢,但需要大量樣本才能逼近系統(tǒng)的后驗概率密度,因而會由于算法復(fù)雜程度的提升而產(chǎn)生樣本貧化的問題。因此,在保證樣本多樣性和有效性的同時,如何克服樣本貧化的是該算法亟待解決的問題?？柭鼮V波的使用過程中,當(dāng)運動目標(biāo)長時間被遮擋時會產(chǎn)生目標(biāo)丟失的問題。Camshift 是由Meanshift 推演而來的。雖然其在目標(biāo)大小發(fā)生變化時可自適應(yīng)調(diào)整跟蹤區(qū)域,但在目標(biāo)出現(xiàn)運動過快的極端情況下仍會發(fā)生目標(biāo)丟失的問題。KCF 使用的是多通道梯度的HOG 特征,其跟蹤響應(yīng)速度極快、實時性好。但對于高速運動的目標(biāo),無法實現(xiàn)跟蹤且目標(biāo),一旦被遮擋也會導(dǎo)致跟蹤失敗。相比之下,僅以性能來說,ECO 是目前較好的相關(guān)濾波算法,但其深度特征的能力并沒有發(fā)揮出來。未來對于ECO 的研究重點應(yīng)該是在不改變現(xiàn)有優(yōu)秀性能的前提下,發(fā)揮其深度特征的作用。而深度學(xué)習(xí)執(zhí)行的分類任務(wù)是區(qū)分類間差距,這與目標(biāo)任務(wù)所研究的對于環(huán)境信息和目標(biāo)信息的區(qū)分存在著本質(zhì)上的不同。若要使基于深度學(xué)習(xí)的目標(biāo)跟算法得到長足的發(fā)展,必須將在分類圖像數(shù)據(jù)集上訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)遷移到目標(biāo)跟蹤。

2.4 數(shù)據(jù)融合

從圖像中提取的目標(biāo)特征可用于估計無人機自身的運動狀態(tài)。無人機的定位和導(dǎo)航問題的解決將依賴于這些運動狀態(tài)的準(zhǔn)確估計。將視覺傳感器信息、GPS 數(shù)據(jù)信息、慣性傳感器數(shù)據(jù)信息進行融合,可使無人機位置的估計更加準(zhǔn)確。

一種思路是利用光流傳感器與慣性導(dǎo)航系統(tǒng)融合,以完成無人機的自主導(dǎo)航任務(wù)。IMU 組合光流傳感器估計位置和速度如圖3 所示。

圖3 IMU 組合光流傳感器估計位置和速度示意圖Fig.3 IMU combined optical flow sensor estimation position and velocity diagram

李濤等提出了一種基于擴展卡爾曼濾波的,將慣導(dǎo)系統(tǒng)、光流、磁強計和氣壓計數(shù)據(jù)融合的組合導(dǎo)航系統(tǒng)。該系統(tǒng)有效地解決了在速度、位置、姿態(tài)估計過程中存在累計誤差的問題[58]。化雪薈在無人機靜止或處于勻速運動狀態(tài)時,將陀螺儀和磁強計的數(shù)據(jù)進行融合,以估計無人機的姿態(tài)。在無人機處于加速或減速的狀態(tài)時,使用陀螺儀數(shù)據(jù)來估計無人機的姿態(tài)。較僅使用捷聯(lián)慣性導(dǎo)航系統(tǒng)對無人機姿態(tài)進行估計而言,該方案使無人機姿態(tài)估計的誤差大大降低[59]。余超凡等通過將塊匹配法采到的光流值與IMU 數(shù)據(jù)進行卡爾曼濾波,實時獲取當(dāng)前的環(huán)境信息,為后續(xù)實時避障提供了實時路徑規(guī)劃[60]。張午陽等利用了光流傳感器和超聲波模塊,完成了無GPS 情況下的定點懸停[61]。曾幼涵等也用光流傳感器和慣性元件的融合,完成了無人機在無GPS 下的導(dǎo)航[62]。Mostafa M 等通過擴展卡爾曼濾波將光流數(shù)據(jù)、雷達數(shù)據(jù)、IMU 數(shù)據(jù)、氣壓計和磁力計計量值進行融合增強了無人機在全球衛(wèi)星導(dǎo)航系統(tǒng)(global navigation satellite system,GNSS)信號中斷期間的導(dǎo)航精度[63]。Amedeo V 等利用車輛之間的差分GPS 和基于視覺的跟蹤(DGPS/Vision)構(gòu)建虛擬的附加導(dǎo)航傳感器,然后將其信息進行擴展卡爾曼過濾,以實現(xiàn)多無人機協(xié)作導(dǎo)航[64]。Arreola L 等通過將密集光流算法、GPS 和慣性元件融合,完成了低成本的懸停和跟蹤[65]。

另一種思路是利用視覺SLAM 法完成定位導(dǎo)航。曹美會等利用視覺SLAM 輔助測量位置信息,從而控制無人機在GPS 缺失情況下的自主飛行控制[66]。Jean Liénard 等利用VSLAM 完成了三維景象的實時重建[16]。

還有一些研究者使用基于模型的信息融合法實現(xiàn)無人機自主導(dǎo)航。Hinas A 等通過基于OODA 的高級決策算法,分辨出無人機本身是處于定位、下降還是懸停階段,然后通過Mavros 連續(xù)向自動駕駛儀發(fā)送本地位置信息,以實現(xiàn)導(dǎo)航任務(wù)[67]。

3 結(jié)論

視覺導(dǎo)航的研究內(nèi)容主要集中于視覺圖像預(yù)處理、目標(biāo)檢測提取、目標(biāo)識別跟蹤和數(shù)據(jù)融合等方面。背景差法、幀間差分法、光流法等是運動目標(biāo)跟蹤的典型方法。而在靜態(tài)目標(biāo)跟蹤時,通常使用角點提取、SIFT 算法檢測、SURF 檢測、RANSAC 算法等方法。狀態(tài)估計可由目標(biāo)跟蹤通過分析特征來實現(xiàn),同時與其他傳感器采集到的數(shù)據(jù)進行融合,卡爾曼濾波、粒子濾波、人工神經(jīng)網(wǎng)絡(luò)是常用方法。

由于現(xiàn)實條件的制約,很多問題還亟待解決。首先,由于無人機受到載重、續(xù)航等物理條件的約束,需要對無人機視覺導(dǎo)航進行更加深入的研究,以適應(yīng)無人機在飛行速度上的提升和算法處理實時性方面的提高。與理想條件相比,實際應(yīng)用中的環(huán)境噪聲干擾等不確定因素會導(dǎo)致實物試驗的失敗。所以,如何將技術(shù)較為成熟的地面機器人視覺導(dǎo)航研究成果推廣到無人機視覺導(dǎo)航中、如何在不過分犧牲導(dǎo)航精度的前提下提升無人機算法的響應(yīng)速度、如何使無人機在未知環(huán)境下自適應(yīng)地估計自身狀態(tài)從而完成導(dǎo)航任務(wù),將成為需要進一步探討的重點問題。