張謙 鄔依林
摘 要: 基于魯棒濾波的無人機著陸相對導(dǎo)航方法是通過設(shè)計的魯棒高階容積濾波相對導(dǎo)航濾波器實現(xiàn)無人機著陸導(dǎo)航,缺乏無人機導(dǎo)航圖像預(yù)處理過程,導(dǎo)航準(zhǔn)確性差。為此,提出基于智能視覺的無人機著陸導(dǎo)航方法,采用基于視覺的無人機導(dǎo)航特征提取方法,通過高、低帽濾波器增強無人機視頻跑道圖像,使用Ostu分割法對增強無人機視頻跑道圖像做二值化處理和去噪預(yù)處理,通過Hough變換提取預(yù)處理后無人機跑道圖像中跑道的直線特征。依據(jù)獲取的直線特征,進行無人機姿態(tài)角和位置運算以及換算后,獲取無人機的姿態(tài)角和位置,實現(xiàn)無人機著陸的自主導(dǎo)航。實驗證明,所提方法能夠有效地對無人機著陸進行導(dǎo)航,并且準(zhǔn)確性和效率較高。
關(guān)鍵詞: 智能視覺; 無人機; 著陸導(dǎo)航; 圖像預(yù)處理; 特征提?。?姿態(tài)角
中圖分類號: TN965?34; TP391 文獻標(biāo)識碼: A 文章編號: 1004?373X(2018)16?0132?03
Abstract: The unmanned aerial vehicle (UAV) landing relative navigation method based on robust filtering achieves UAV landing navigation by means of the designed robust high?order volume?filtering relative navigation filter, resulting in lack of the preprocessing process of UAV navigation images, and poor navigation accuracy. Therefore, a UAV landing navigation method based on intelligent vision is proposed. The vision?based UAV navigation feature extraction method is adopted. The high and low hat filters are used to enhance UAV video runway images. The Ostu segmentation method is used to perform binarization processing and denoising preprocessing for enhanced UAV video runway images. The Hough transform is used to extract the linear feature of runways in preprocessed UAV runway images. According to the obtained linear feature, the attitude angle and position of the UAV are obtained after calculation and conversion of the attitude angle and position of the UAV, so as to realize autonomous navigation of UAV landing. The experimental results show that the proposed method can effectively navigate UAV landing, and has high accuracy and efficiency.
Keywords: intelligent vision; UAV; landing navigation; image preprocessing; feature extraction; attitude angle
無人機具有體積小、靈活性高、耗費低等特點,當(dāng)下,已經(jīng)較為廣泛地運用于監(jiān)控、通信、拍攝等諸多領(lǐng)域[1]。研究無人機在監(jiān)控中的著陸過程,對于確保無人機回收質(zhì)量和安全性,具有重要的價值。以往研究出的無人機著陸導(dǎo)航方法由于導(dǎo)航精度差、效率低等缺點已經(jīng)逐漸被淘汰。隨著智能視覺技術(shù)的極速發(fā)展,利用智能視覺信息實現(xiàn)無人機著陸導(dǎo)航的方法得到研究人員越來越多的關(guān)注[2]。傳統(tǒng)基于魯棒濾波的無人機著陸相對導(dǎo)航方法,通過設(shè)計的魯棒高階容積濾波相對導(dǎo)航濾波器實現(xiàn)對無人機著陸的準(zhǔn)確導(dǎo)航,缺乏無人機導(dǎo)航圖像預(yù)處理過程,導(dǎo)航準(zhǔn)確性差?;诖?,本文提出了基于智能視覺的無人機著陸導(dǎo)航方法,提高無人機著陸導(dǎo)航效率和準(zhǔn)確率[3]。
1.1 基于視覺的無人機導(dǎo)航特征的提取
1.1.1 圖像預(yù)處理
無人機在空中飛行時,通過對機場跑道指示燈的特征點提取,能夠?qū)ε艿赖拇笾挛恢眉胺较蜻M行估算[4]。但由于噪聲和其他光源等外在因素的存在,跑道上的特征點難以實現(xiàn)準(zhǔn)確提取。為了解決這個問題,需要對跑道的特征視頻圖像實施預(yù)處理,減少或消除其他光源的影響。首先用灰度形態(tài)學(xué)中的高、低帽濾波器使圖像增強,然后用Ostu分割法對增強后圖像做二值化處理得到二值化圖像,并進行圖像去噪處理。
相對于跑道邊光源分散的散射光,指示燈的燈光比較集中,這樣對跑道邊緣做出的計算只是簡單的運算,為了確保檢測結(jié)果的準(zhǔn)確性以及運算速度,要保證充足的特征點。為消除高亮度而又相對孤立的噪聲假設(shè)跑道上的指示燈多于其他的散射光源,邊緣的指示燈多于入口處的指示燈,對其二值化圖像中的高灰度(碼值為1)像素點實施區(qū)域處理。設(shè)[bw]是原圖像的二值圖像,[bwi,j=1],對像素點[i,j]的[I×J]鄰域進行觀察,若這個鄰域中全部像素灰度值相加小于閾值T,則像素點[i,j]是二值圖像內(nèi)的噪聲,小鄰域和大鄰域分別對圖像的微小噪聲、較大且單獨的噪聲實施去噪。
1.1.2 無人機跑道圖像中直線特征提取
經(jīng)過圖像預(yù)處理后,無人機視頻跑道圖像內(nèi)的噪聲被大幅消除,使有效信息被保存,在去噪圖像內(nèi)進行關(guān)聯(lián)信息的提取能夠獲取跑道兩邊及中線指示燈的方位,即跑道的大概方位[5]。同側(cè)指示燈呈直線排列是指示燈的特征,在此特征的基礎(chǔ)上,用Hough變換來檢測跑道的邊緣和中線。也就是采用Hough變換提取預(yù)處理后無人機導(dǎo)航圖像中跑道的直線特征。本文對無人機導(dǎo)航二值圖像內(nèi)3條最長的直線最大值進行提取,在提取無人機圖像中跑道直線特征時,若出現(xiàn)最大點數(shù)過差異直線的情況,平均差異直線的參數(shù)獲取新直線為特征線。
1.2 無人機姿態(tài)角和位置的計算
1.2.1 攝像機姿態(tài)角和位置的計算
相對于無人機,攝像機是靜止的,所以攝像機同地面坐標(biāo)的姿態(tài)角與無人機同地面的姿態(tài)角一致,通過第1節(jié)提取的無人機跑道圖像的直線特征能夠獲取攝像機的姿態(tài)角[6]。通過攝像機同地面坐標(biāo)系的3個歐拉角得到地面坐標(biāo)系至攝像機坐標(biāo)系的變換矩陣為[T=TcbTbi]。
1) 在入口處指示燈的成像內(nèi)提取直線進行滾動角的計算,設(shè)[l3]是平面內(nèi)入口處指示燈的成像,[kl3]為其斜率,可得滾動角為:
2) 通過圖像豎直中線的方位同圖像內(nèi)消失點的誤差進行偏航角的計算。在進行偏航角的計算時,會出現(xiàn)偏航角為零與偏航角非零兩種情況。偏航角為零時,圖像較為簡單,算法參照文獻[7]的算法即可。偏航角非零的情況下,滾動角同樣存在非零的可能性,圖像會變得相對繁瑣,這時采用的解決方法是對[I′]進行補償,即以圖像中心[O]為中心轉(zhuǎn)動[I′]的坐標(biāo)[ψ]角,通過轉(zhuǎn)動后的坐標(biāo)對偏航角[ψ]進行計算,其中i為攝影機位置,具體如圖1所示。
上述過程基于提取的無人機跑道圖像中直線特征,對攝像機姿態(tài)角和位置計算結(jié)果的換算得到無人機的姿態(tài)角和位置,完成無人機著陸的智能導(dǎo)航。
為了驗證使用本文方法對無人機進行導(dǎo)航時對于障礙物躲避的準(zhǔn)確性[9],采用本文方法對兩個連續(xù)的障礙物進行躲避試驗。兩個障礙物分別為靜止的物體和行走的人員,試驗結(jié)果如圖2所示。
對圖2進行分析能夠得到,通過本文方法對靜止障礙物和動態(tài)障礙物都能夠進行識別并控制無人機進行成功躲避,并且在上一個障礙物成功躲避后會自動對前進方向上的下一個障礙物進行尋找。實驗結(jié)果表明,無人機使用本文方法能夠有效地對無人機前進方向上的障礙物進行躲避。實驗為了驗證本文方法對無人機導(dǎo)航的效率,使用本文方法、基于直線稀疏光流場的無人機姿態(tài)估計導(dǎo)航方法以及基于魯棒濾波的無人機著陸相對導(dǎo)航方法[10]進行效率對比的試驗,結(jié)果見表1。
通過對表1分析能夠得到,使用本文方法對無人機進行著陸導(dǎo)航所用的時間遠(yuǎn)遠(yuǎn)低于其他兩種方法進行無人機著陸導(dǎo)航所用時間,說明使用本文方法能夠提高無人機著陸導(dǎo)航的效率。
本文提出基于智能視覺的無人機著陸導(dǎo)航方法,對無人機視頻跑道圖像進行預(yù)處理,在預(yù)處理后圖像上提取無人機跑道直線特征,再結(jié)合無人機姿態(tài)角和位置的計算,實現(xiàn)無人機高效率與高準(zhǔn)確性的著陸導(dǎo)航。
[1] 張春曉,林招榮,姚毅剛.視覺信息輔助無人機偵察目標(biāo)定位技術(shù)研究進展[J].航天返回與遙感,2016,37(6):1?10.
ZHANG Chunxiao, LIN Zhaorong, YAO Yigang. Advances in target location based on visual information for UAV photoelectric reconnaissance [J]. Spacecraft recovery & remote sensing, 2016, 37(6): 1?10.
[2] 蔡鳴,孫秀霞,徐嵩,等.視覺技術(shù)輔助的無人機自主著陸組合導(dǎo)航研究[J].應(yīng)用光學(xué),2015,36(3):343?350.
CAI Ming, SUN Xiuxia, XU Song, et al. Vision/INS integrated navigation for UAV autonomous landing [J]. Journal of applied optics, 2015, 36(3): 343?350.
[3] 黃楠楠,劉貴喜,張音哲,等.無人機視覺導(dǎo)航算法[J].紅外與激光工程,2016,45(7):269?277.
HUANG Nannan, LIU Guixi, ZHANG Yinzhe, et al. Unmanned aerial vehicle vision navigation algorithm [J]. Infrared and laser engineering, 2016, 45(7): 269?277.
[4] 呂科,施澤南,李一鵬.微型無人機視覺定位與環(huán)境建模研究[J].電子科技大學(xué)學(xué)報,2017,46(3):543?548.
L? Ke, SHI Zenan, LI Yipeng. Visual localization and environment mapping for micro aerial vehicles [J]. Journal of University of Electronic Science and Technology of China, 2017, 46(3): 543?548.
[5] 黃穎輝.無人機姿態(tài)視覺導(dǎo)航位置測量仿真研究[J].計算機仿真,2017,34(4):51?54.
HUANG Yinghui. Simulation research on attitude measurement based on visual navigation for unmanned aerial vehicle [J]. Computer simulation, 2017, 34(4): 51?54.
[6] 周朗明,鐘磬,張躍強,等.運用跑道平面結(jié)構(gòu)化線特征的固定翼無人機視覺導(dǎo)航算法[J].國防科技大學(xué)學(xué)報,2016,38(3):182?190.
ZHOU Langming, ZHONG Qing, ZHANG Yueqiang, et al. Vision?based landing method using structured line features of runway surface for fixed?wing unmanned aerial vehicles [J]. Journal of National University of Defense Technology, 2016, 38(3): 182?190.
[7] 關(guān)震宇,李杰,楊歡,等.基于直線稀疏光流場的微小型無人機姿態(tài)信息估計方法研究[J].兵工學(xué)報,2014,35(11):1851?1859.
GUAN Zhenyu, LI Jie, YANG Huan, et al. Research on attitude estimation of micro UAV based on sparse line optical flow field [J]. Acta Armamentarii, 2014, 35(11): 1851?1859.
[8] 楊新鋒,田廣強,路新華.基于智能視覺分析無人機發(fā)動機轉(zhuǎn)速測量方法[J].計算機仿真,2015,32(9):72?74.
YANG Xinfeng, TIAN Guangqiang, LU Xinhua. Engine speed measurement method for unmanned aerial vehicle (UAV) based on intelligent vision analysis [J]. Computer simulation, 2015, 32(9): 72?74.
[9] ANGELOPOULOU M E, BOUGANIS C S. Vision?based egomotion estimation on FPGA for unmanned aerial vehicle navigation [J]. IEEE transactions on circuits & systems for video technology, 2014, 24(6): 1070?1083.
[10] 陳誠,王小剛,秦武韜,等.基于魯棒濾波的無人機著陸相對導(dǎo)航方法[J].中國慣性技術(shù)學(xué)報,2017,25(3):415?420.
CHEN Cheng, WANG Xiaogang, QIN Wutao, et al. Unmanned aerial vehicle landing navigation algorithm based on robust filter [J]. Journal of Chinese inertial technology, 2017, 25(3): 415?420.