国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于PNP的多尺度目標(biāo)視覺(jué)智能輔助降落系統(tǒng)

2020-02-04 07:28夏路王琳梁穎茜
航空科學(xué)技術(shù) 2020年10期
關(guān)鍵詞:計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)

夏路 王琳 梁穎茜

摘要:小型無(wú)人機(jī)系統(tǒng)一般有氣壓計(jì)、陀螺儀、加速度計(jì)、光流計(jì)和GPS等機(jī)載傳感器,由于飛行過(guò)程中機(jī)體結(jié)構(gòu)產(chǎn)生的振動(dòng)、建筑物遮擋和電磁干擾等因素,無(wú)人機(jī)的姿態(tài)和位置信息測(cè)量包含嚴(yán)重的測(cè)量噪聲,無(wú)法滿(mǎn)足精確降落要求,為保證無(wú)人機(jī)自主降落精度、實(shí)時(shí)性和安全性,利用計(jì)算機(jī)視覺(jué)技術(shù)和深度學(xué)習(xí)框架設(shè)計(jì)多尺度目標(biāo)視覺(jué)智能輔助降落系統(tǒng),針對(duì)GPS定位系統(tǒng)受到嚴(yán)重干擾情況,通過(guò)多尺度合作目標(biāo)和PNP算法進(jìn)行精確姿態(tài)和位置解算,從而向無(wú)人機(jī)系統(tǒng)提供精確的降落導(dǎo)航信息,在50Hz仿真條件下,視覺(jué)智能輔助降落系統(tǒng)在距目標(biāo)20cm處能提供0.7cm/1.2°的定位精度,距目標(biāo)15m處能夠提供12cm/3°的定位精度,平均精度約為3cm/2°,能夠滿(mǎn)足無(wú)人機(jī)自主降落要求。

關(guān)鍵詞:計(jì)算機(jī)視覺(jué);深度學(xué)習(xí);合作目標(biāo);自主降落

中圖分類(lèi)號(hào):TP391.9文獻(xiàn)標(biāo)識(shí)碼:ADOI:10.19452/j.issn1007-5453.2020.10.004

美國(guó)空軍新版《科技戰(zhàn)略》中為了提供有韌性的信息共享確立了基于視覺(jué)、天文和磁的替代導(dǎo)航的關(guān)鍵技術(shù)[1]。由于無(wú)人機(jī)駕駛員處于地面環(huán)境中,無(wú)法及時(shí)從飛行環(huán)境中獲得多項(xiàng)直接的感覺(jué)輸入,包括無(wú)人機(jī)周?chē)h(huán)境的視覺(jué)信息、運(yùn)動(dòng)感覺(jué)等,所以需要無(wú)人機(jī)自主進(jìn)行視覺(jué)導(dǎo)航[2]。無(wú)人機(jī)視覺(jué)導(dǎo)航技術(shù)是指無(wú)人機(jī)通過(guò)機(jī)載攝像機(jī)獲取周?chē)h(huán)境與目標(biāo)的圖像信息,然后通過(guò)分析處理圖像來(lái)獲取運(yùn)動(dòng)目標(biāo)的信息,最后將視覺(jué)反饋信息作為無(wú)人機(jī)控制回路的輸入,從而實(shí)現(xiàn)無(wú)人機(jī)的自主飛行。

國(guó)外科研機(jī)構(gòu)和大學(xué)對(duì)無(wú)人機(jī)光學(xué)視覺(jué)輔助降落的研究較早。1991年,美國(guó)南加州大學(xué)研究人員利用機(jī)載相機(jī)和處理平臺(tái)實(shí)現(xiàn)了無(wú)人機(jī)在預(yù)知環(huán)境條件下的自主降落[3]。2016年,德國(guó)航空航天中心的研究人員實(shí)現(xiàn)了固定翼無(wú)人機(jī)在75km/h汽車(chē)車(chē)頂?shù)淖灾鹘德鋄4]。Tsai等[5]設(shè)計(jì)了T形的黑白圖標(biāo)合作目標(biāo)輔助無(wú)人機(jī)著陸,用Hu不變矩識(shí)別T形目標(biāo),利用canny邊緣檢測(cè)以及hough變換提取T形中的特征。

國(guó)內(nèi)對(duì)光學(xué)視覺(jué)輔助無(wú)人機(jī)降落的研究起步較晚。南京航空航天大學(xué)通過(guò)檢測(cè)地平線(xiàn)和跑道線(xiàn)進(jìn)行無(wú)人機(jī)位姿估算的方法,對(duì)固定翼無(wú)人機(jī)視覺(jué)輔助自主降落進(jìn)行了研究[6];浙江大學(xué)基于雙目立體視覺(jué)的信息,估算無(wú)人機(jī)的飛行參數(shù),對(duì)無(wú)人機(jī)視覺(jué)輔助自主降落階段的導(dǎo)航技術(shù)進(jìn)行了研究[7]。南京航空航天大學(xué)徐貴力課題組[8-9]考慮到夜間著陸問(wèn)題,選擇波段為8~14mm的高發(fā)率粉體,制成黑色紅外涂料,噴涂于T形合作目標(biāo)表面,利用不變矩算法實(shí)現(xiàn)目標(biāo)和特征的檢測(cè)[10]。2016年,國(guó)內(nèi)部分大學(xué)和研究機(jī)構(gòu)逐漸由模型算法轉(zhuǎn)向?qū)嶓w試驗(yàn),如南京航空航天大學(xué)的無(wú)人機(jī)紅外視覺(jué)自動(dòng)降落引導(dǎo)系統(tǒng)和哈爾濱工業(yè)大學(xué)的無(wú)人機(jī)自主計(jì)算視覺(jué)定位方法等[11-12]。

圖像處理技術(shù)以及攝像機(jī)硬件的發(fā)展使計(jì)算機(jī)視覺(jué)技術(shù)與無(wú)人機(jī)的導(dǎo)航問(wèn)題相互關(guān)聯(lián)。首先,依靠視覺(jué)所提供的實(shí)時(shí)信息可以與慣性導(dǎo)航和全球衛(wèi)星定位系統(tǒng)信息進(jìn)行融合,彌補(bǔ)后兩者的缺陷,提高導(dǎo)航精度[13]。其次,攝像機(jī)相對(duì)傳統(tǒng)傳感器而言更善于捕捉運(yùn)動(dòng)信息,從應(yīng)用的角度來(lái)看,視覺(jué)信號(hào)的抗干擾性能較強(qiáng),而無(wú)線(xiàn)電和GPS信號(hào)則易受阻塞[14]。最后,攝像機(jī)屬于被動(dòng)傳感器,利用的是可見(jiàn)光或者紅外線(xiàn)這種自然信息,這在軍事隱蔽偵察上尤為重要[15]。

目前無(wú)人機(jī)視覺(jué)導(dǎo)航主要有兩種形式:一種是將機(jī)載攝像頭拍攝的圖像通過(guò)遠(yuǎn)距離圖像傳輸模塊發(fā)送回地面站,將數(shù)字圖像處理與導(dǎo)航解算的工作放在地面站上運(yùn)行,將解算得到的導(dǎo)航信息通過(guò)數(shù)據(jù)傳輸模塊發(fā)送回?zé)o人機(jī)。這種方法的優(yōu)點(diǎn)在于容易實(shí)現(xiàn),且計(jì)算能力強(qiáng)大,缺點(diǎn)在于圖像傳輸過(guò)程中會(huì)受到較大干擾造成圖像失真,同時(shí)存在一定的時(shí)延,無(wú)法滿(mǎn)足實(shí)時(shí)性要求。另一種方法則是采用機(jī)載運(yùn)算模塊進(jìn)行圖像處理,攝像頭獲取的數(shù)字圖像直接通過(guò)串口傳輸給機(jī)載的圖像處理模塊,地面站只負(fù)責(zé)監(jiān)視無(wú)人機(jī)飛行狀態(tài),保證安全。這種方法具有很高的獨(dú)立性,能夠脫離地面站獨(dú)立工作,數(shù)據(jù)傳輸基本沒(méi)有延時(shí),但受到機(jī)載圖像處理模塊的性能限制,運(yùn)算能力有限,并且增加了無(wú)人機(jī)的載荷。

近年來(lái),計(jì)算機(jī)視覺(jué)技術(shù)飛速發(fā)展,目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)中最基礎(chǔ)和最重要的任務(wù)之一,誕生了很多性能良好的算法,如基于運(yùn)動(dòng)目標(biāo)的幀差法與背景建模法、基于區(qū)域?qū)?zhǔn)的模板匹配法、基于特征檢測(cè)的SIFT算法以及基于深度學(xué)習(xí)的Yolo和SSD等檢測(cè)算法[16]。

1系統(tǒng)總體設(shè)計(jì)

一般來(lái)說(shuō),任何降落導(dǎo)引系統(tǒng)都要滿(mǎn)足三個(gè)要求:可靠性、完整性和準(zhǔn)確性[17]。小型無(wú)人機(jī)系統(tǒng)視覺(jué)降落導(dǎo)航系統(tǒng)整體處理流程圖如圖1所示,攝像機(jī)安裝于機(jī)腹云臺(tái)并保持鏡頭始終豎直向下。相機(jī)將采集到的圖像傳輸?shù)綑C(jī)載電腦并由其進(jìn)行實(shí)時(shí)處理,得到靶標(biāo)相對(duì)于相機(jī)的空間位置及姿態(tài)信息??蛇x結(jié)合飛控回傳的飛機(jī)GPS信息,輸出降落目標(biāo)的精確GPS位置,直接作為飛控的導(dǎo)航點(diǎn)使用。

1.1合作目標(biāo)設(shè)計(jì)

子目標(biāo)按照Aruco協(xié)議進(jìn)行設(shè)計(jì),采用5×5分辨率25bits二維碼,邊緣留空一位作為識(shí)別邊界,按照漢明碼標(biāo)準(zhǔn)進(jìn)行編制和奇偶校驗(yàn),具有一定的容錯(cuò)能力。每個(gè)子目標(biāo)在漢明碼規(guī)則下?lián)碛形ㄒ坏氖M(jìn)制編碼,用于存在多個(gè)子目標(biāo)時(shí)進(jìn)行區(qū)分,如圖2所示。

導(dǎo)航系統(tǒng)設(shè)計(jì)工作范圍為15~0.3m,單個(gè)目標(biāo)無(wú)法覆蓋全段,因此需要使用多個(gè)不同尺寸目標(biāo)進(jìn)行引導(dǎo)。最終的合作靶標(biāo)設(shè)計(jì)如圖3所示。

1.2硬件設(shè)計(jì)

硬件平臺(tái)選擇NVIDIA Jetson TX2圖形計(jì)算核心板,配合OV5640型攝像頭、XCB-Lite-A04型機(jī)載底板,能夠滿(mǎn)足在油污、振動(dòng)等惡劣環(huán)境下穩(wěn)定工作的要求。

通信方面使用串口進(jìn)行,保證了圖像處理系統(tǒng)的適配性。機(jī)載圖像處理系統(tǒng)在保證了處理實(shí)時(shí)性的同時(shí)減少了空地?cái)?shù)據(jù)傳輸量,節(jié)省了機(jī)載硬件的功耗,保證了無(wú)人機(jī)的續(xù)航性能不受影響。

1.3軟件總體架構(gòu)

軟件核心采用C++編寫(xiě),使用開(kāi)源深度學(xué)習(xí)架構(gòu)Darknet和基于其構(gòu)建的YOLOv3tiny;Intel公司的OpenCV開(kāi)源計(jì)算機(jī)視覺(jué)處理庫(kù)進(jìn)行圖像處理;Nvidia公司的CUDA庫(kù)進(jìn)行Tegra架構(gòu)下的GPU加速;開(kāi)源數(shù)學(xué)庫(kù)Eigen進(jìn)行數(shù)學(xué)運(yùn)算加速。軟件通信部分采用Python編寫(xiě),單獨(dú)創(chuàng)建線(xiàn)程保證通信穩(wěn)定性。整體算法架構(gòu)如圖4所示。

2系統(tǒng)總體設(shè)計(jì)

2.1目標(biāo)搜索策略

目標(biāo)搜索策略的任務(wù)是在多種復(fù)雜視場(chǎng)下,從圖像中搜索合作目標(biāo)并提取其特征點(diǎn)的方法。由于級(jí)聯(lián)分類(lèi)器訓(xùn)練數(shù)據(jù)的特點(diǎn),其對(duì)背景的泛化能力較弱,而且當(dāng)目標(biāo)在視野中尺寸很小時(shí)表現(xiàn)欠佳,需要一個(gè)能夠較好處理小目標(biāo)的檢測(cè)機(jī)制。此外,無(wú)人機(jī)飛行環(huán)境復(fù)雜多變,干擾目標(biāo)較多,需要一個(gè)環(huán)境適應(yīng)性很強(qiáng)的目標(biāo)檢測(cè)算法。針對(duì)此要求,決定采用YOLO目標(biāo)檢測(cè)架構(gòu),如圖5所示。

YOLO是由Joseph Redmon等于2016年提出的一種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法[18]。該算法在目標(biāo)分類(lèi)準(zhǔn)確率、運(yùn)算速度和背景誤檢率上均取得了較大突破,但在目標(biāo)位置準(zhǔn)確度上表現(xiàn)較差。系統(tǒng)利用其高魯棒性來(lái)處理復(fù)雜背景下的目標(biāo)大致位置問(wèn)題,將目標(biāo)具體位置確定放置于后續(xù)步驟進(jìn)行。作者給出了其基于darknet深度學(xué)習(xí)架構(gòu)的開(kāi)源工程,系統(tǒng)使用了該網(wǎng)絡(luò)的小型化加速模型YOLOv3Tiny,并使用CUDA進(jìn)行GPU加速,使其處理速度達(dá)到10ms以?xún)?nèi),滿(mǎn)足系統(tǒng)實(shí)時(shí)性要求。

2.1.1區(qū)域生長(zhǎng)

由于合作目標(biāo)主體顏色為白色,在陽(yáng)光下呈現(xiàn)較高亮度,所以系統(tǒng)選擇亮度最高點(diǎn)進(jìn)行區(qū)域生長(zhǎng),確定白色主體的全部范圍。區(qū)域生長(zhǎng)具體算法如下:(1)圖片全部標(biāo)記為背景,選定當(dāng)前點(diǎn)為生長(zhǎng)原點(diǎn),并將其壓入邊緣棧;(2)遍歷邊緣棧內(nèi)所有點(diǎn),將其8鄰域范圍內(nèi)背景點(diǎn)壓入待處理?xiàng)?;?)清空邊緣棧;(4)計(jì)算前景區(qū)域的平均灰度;(5)遍歷待處理?xiàng)#瑢⒑推骄叶炔钤陂撝捣秶鷥?nèi)的點(diǎn)加入前景區(qū)域,同時(shí)將該點(diǎn)壓入邊緣棧;(6)清空待處理?xiàng)#唬?)重復(fù)步驟(2)直至邊緣棧為空。

該算法優(yōu)點(diǎn)為能夠完整地保留目標(biāo)邊界,不受光照條件和陰影的影響;缺點(diǎn)是計(jì)算代價(jià)大,處理速度較慢。所以在實(shí)際過(guò)程中,系統(tǒng)會(huì)將圖像分辨率壓縮至720×555處理。

2.1.2像素級(jí)角點(diǎn)提取方法

角點(diǎn)提取使用了Shi-Tomasi算子,該算子為Harris算子的改進(jìn),具有篩選能力強(qiáng)、計(jì)算代價(jià)小、適應(yīng)性強(qiáng)等特點(diǎn),但精度只能達(dá)到像素級(jí)別,適合作為初步特征點(diǎn)提取方法使用。當(dāng)一個(gè)檢測(cè)窗口在圖像上移動(dòng)時(shí),對(duì)于一個(gè)二值邊緣圖像有如下情況。當(dāng)窗口處于平滑區(qū)域(見(jiàn)圖6(a))時(shí),窗口在各個(gè)方向上移動(dòng)時(shí)沒(méi)有變化;當(dāng)窗口在邊緣上(見(jiàn)圖6(b))時(shí),窗口在邊緣方向上移動(dòng)時(shí)沒(méi)有變化,在垂直邊緣方向上移動(dòng)時(shí)具有變化;當(dāng)處于角點(diǎn)(見(jiàn)圖6(c))時(shí),窗口在各個(gè)方向上移動(dòng)均有變化。Shi-Tomasi和Harris角點(diǎn)檢測(cè)均依據(jù)窗口在各個(gè)方向上的變化程度決定是否為角點(diǎn)。

2.1.3角點(diǎn)亞像素化

由于像素級(jí)角點(diǎn)并不能滿(mǎn)足系統(tǒng)的精度要求,需要對(duì)其進(jìn)行亞像素化處理,利用灰度梯度求得精確角點(diǎn)位置。具體方法為利用二次多項(xiàng)式來(lái)逼近角點(diǎn)響應(yīng)函數(shù)R(x,y),找到其亞像素級(jí)極值相應(yīng)位置,得到角點(diǎn)的亞像素級(jí)精確位置。

可直接解出角點(diǎn)的亞像素級(jí)坐標(biāo)(x,y)。

YOLO檢測(cè)目標(biāo)的相關(guān)結(jié)果如圖7所示。仿真結(jié)果表明,該視覺(jué)識(shí)別策略,可使無(wú)人機(jī)在復(fù)雜環(huán)境條件下,實(shí)現(xiàn)對(duì)目標(biāo)圖像的檢測(cè)與識(shí)別,環(huán)境適應(yīng)性較強(qiáng)。

2.2姿態(tài)解算

無(wú)人機(jī)的著陸過(guò)程中,如何獲取高精度的無(wú)人機(jī)的位姿對(duì)于控制無(wú)人機(jī)準(zhǔn)確安全著陸至目標(biāo)點(diǎn)具有十分重要的意義[19]。姿態(tài)解算部分是從圖像到空間坐標(biāo)的映射環(huán)節(jié),是保障導(dǎo)航系統(tǒng)精度的核心。其主要由圖像解碼和PNP姿態(tài)解算兩步組成。其中圖像解碼部分負(fù)責(zé)提取圖像特征點(diǎn)并判斷識(shí)別有效性,PNP姿態(tài)解算負(fù)責(zé)由特征點(diǎn)像平面位置向空間位姿信息的映射。

由于合作靶標(biāo)使用Aruco標(biāo)準(zhǔn)編碼,該步驟可以使用開(kāi)源庫(kù)進(jìn)行實(shí)現(xiàn),簡(jiǎn)化了程序設(shè)計(jì)并減少了姿態(tài)解算環(huán)節(jié)造成的誤差,便于后續(xù)濾波。

2.2.1圖像解碼

靶標(biāo)大致位置確定后,對(duì)其進(jìn)行自適應(yīng)二值化,得到增強(qiáng)后的靶標(biāo)圖像(見(jiàn)圖8)。檢測(cè)圖像中的候選靶標(biāo),并以其4個(gè)角點(diǎn)為每個(gè)靶標(biāo)的特征參數(shù)進(jìn)行下一步處理。

使用上一步提取到的4個(gè)角點(diǎn),對(duì)靶標(biāo)進(jìn)行透視變換,轉(zhuǎn)換為標(biāo)準(zhǔn)大小的正方形圖形,再按照靶標(biāo)位數(shù)劃分正方形網(wǎng)格,統(tǒng)計(jì)每個(gè)網(wǎng)格內(nèi)部一定范圍內(nèi)的白色像素?cái)?shù)目,大于一定閾值認(rèn)為該單元格值為1,否則值為0,如圖9、圖10所示。

接著按照漢明碼規(guī)范對(duì)圖像中二維碼進(jìn)行數(shù)據(jù)分類(lèi),奇數(shù)列為校驗(yàn)位,偶數(shù)列為數(shù)據(jù)位,將最終結(jié)果轉(zhuǎn)換為十進(jìn)制便可得到靶標(biāo)的id值。

當(dāng)確定完靶標(biāo)id后,便開(kāi)始對(duì)矩形靶標(biāo)的4個(gè)角點(diǎn)進(jìn)行亞像素細(xì)化,使用Shi-Tomasi算子進(jìn)行亞像素迭代,獲得精確的角點(diǎn)坐標(biāo)。

2.2.2 PNP姿態(tài)解算

姿態(tài)解算部分的主要問(wèn)題是根據(jù)特征點(diǎn)在像素坐標(biāo)系下的位置和其在靶標(biāo)固連坐標(biāo)系下的位置,求解出相機(jī)坐標(biāo)系和靶標(biāo)固連坐標(biāo)系間的姿態(tài)轉(zhuǎn)化矩陣,進(jìn)而和慣導(dǎo)聯(lián)合解算,得到靶標(biāo)的空間姿態(tài)和位置,用于進(jìn)一步引導(dǎo)。

姿態(tài)解算為典型的PNP問(wèn)題,由4個(gè)位于同一平面但不共線(xiàn)的已知坐標(biāo)點(diǎn)可以解出兩坐標(biāo)系間唯一的旋轉(zhuǎn)和平移矩陣。具體解決方案采于Levenberg-Marquardt optimization (LM)方法迭代求解位姿的最大似然估計(jì)。該算法最大的優(yōu)點(diǎn)在于對(duì)噪聲不是很敏感,在高斯噪聲影響下也能夠穩(wěn)定輸出姿態(tài),平均誤差為1.3°,3.4cm,位于可接受范圍內(nèi)。

算法流程為:(1)從點(diǎn)集中隨機(jī)遍歷n組每組4個(gè)不同點(diǎn);(2)對(duì)每組運(yùn)行PNP算法解得n組不同姿態(tài)解;(3)對(duì)每組解求全局誤差,選擇誤差最小解作為迭代初值;(4)運(yùn)行LM優(yōu)化算法,迭代求解姿態(tài)最大似然估計(jì)直至誤差小于閾值;(5)將姿態(tài)旋轉(zhuǎn)矩陣轉(zhuǎn)換為四元數(shù)和,輸出四元數(shù)與平移矢量。

2.3濾波器設(shè)計(jì)

2.3.1坐標(biāo)系定義

通過(guò)訓(xùn)練的多個(gè)強(qiáng)Haar分類(lèi)器對(duì)上一級(jí)的有效輸出進(jìn)行處理,每一級(jí)都會(huì)輸出有效和無(wú)效區(qū)域結(jié)果,只有通過(guò)全部級(jí)聯(lián)分類(lèi)的區(qū)域才會(huì)被作為最終的有效區(qū)域輸出。當(dāng)全部區(qū)處理完成后,對(duì)各個(gè)大小Mask的結(jié)果進(jìn)行融合便可得到全圖像的目標(biāo)可能性圖像。這種分類(lèi)手段有效地保證了分類(lèi)結(jié)果的穩(wěn)定性,但當(dāng)目標(biāo)過(guò)小時(shí)可能會(huì)導(dǎo)致可能性圖像中目標(biāo)被過(guò)濾導(dǎo)致無(wú)法檢測(cè),因此使用級(jí)聯(lián)分類(lèi)器時(shí)應(yīng)保證目標(biāo)在視場(chǎng)中擁有足夠的尺寸。

3仿真

對(duì)于全系統(tǒng)的仿真基于A(yíng)irSim和Unreal3平臺(tái)進(jìn)行,如圖13所示。AirSim為微軟公司的開(kāi)源仿真平臺(tái),其內(nèi)部整合了動(dòng)力學(xué)、導(dǎo)航與控制系統(tǒng)的完整仿真模型[21],基于Unreal3的圖形處理引擎保證了其在進(jìn)行視覺(jué)仿真時(shí)的真實(shí)性,因此選擇其作為平臺(tái)能夠很好地完成仿真任務(wù)。本文進(jìn)行仿真時(shí),分別以無(wú)人機(jī)的第一和第三視角觀(guān)測(cè)了無(wú)人機(jī)對(duì)目標(biāo)識(shí)別后執(zhí)行的自主降落行為。第三視角的無(wú)人機(jī)飛行狀態(tài)如圖14所示。第一視角下,無(wú)人機(jī)對(duì)目標(biāo)的識(shí)別狀態(tài)如圖15所示。

仿真動(dòng)畫(huà)結(jié)果表明,無(wú)人機(jī)可在復(fù)雜環(huán)境條件下準(zhǔn)確地對(duì)目標(biāo)進(jìn)行識(shí)別,能在對(duì)目標(biāo)進(jìn)行識(shí)別后實(shí)現(xiàn)自主降落。

對(duì)無(wú)人機(jī)視覺(jué)輔助降落過(guò)程進(jìn)行實(shí)際飛行驗(yàn)證時(shí),以第一視角得到的觀(guān)測(cè)視頻的部分截圖如圖16所示。

無(wú)人機(jī)在起飛至一定高度后,標(biāo)識(shí)物進(jìn)入機(jī)載相機(jī)視野,無(wú)人機(jī)開(kāi)始自主降落。無(wú)人機(jī)對(duì)目標(biāo)進(jìn)行識(shí)別跟蹤,實(shí)時(shí)修正自身速度,最終通過(guò)識(shí)別目標(biāo)成功降落至目標(biāo)區(qū)域。

視覺(jué)輔助自主降落任務(wù)完成后,將飛行日志導(dǎo)出整理,跟蹤與降落過(guò)程中機(jī)體與地面目標(biāo)之間相對(duì)距離如圖17所示。由圖17可知,無(wú)人機(jī)在高度25m處識(shí)別目標(biāo)后,開(kāi)始進(jìn)行自主降落,在距目標(biāo)5m處,出現(xiàn)輕微振蕩波動(dòng)。在此過(guò)程中,位置誤差的散點(diǎn)圖如圖18所示。

由位置誤差散點(diǎn)圖可知,無(wú)人機(jī)在自主降落過(guò)程中存在較明顯位置誤差,但是由于誤差較小,故而對(duì)最終降落結(jié)果影響較小,足以滿(mǎn)足降落需求,但是仍需在后續(xù)工作中對(duì)其進(jìn)行優(yōu)化處理。

4結(jié)論

本文設(shè)計(jì)了一種基于PNP的多尺度目標(biāo)單目視覺(jué)智能輔助降落系統(tǒng),利用視覺(jué)拍攝目標(biāo)地域?qū)崟r(shí)環(huán)境信息,作為基礎(chǔ)數(shù)據(jù),經(jīng)計(jì)算機(jī)技術(shù)和控制傳感器運(yùn)算處理,作為決策控制依據(jù),引導(dǎo)無(wú)人機(jī)進(jìn)行自主降落。針對(duì)GPS定位系統(tǒng)受到嚴(yán)重干擾情況,利用多尺度合作目標(biāo)和成熟的PNP算法進(jìn)行了精確姿態(tài)解算。通過(guò)算法優(yōu)化和軟硬件系統(tǒng)的實(shí)現(xiàn),滿(mǎn)足了無(wú)人機(jī)自主降落時(shí)對(duì)降落精度、實(shí)時(shí)性及安全性的要求。

參考文獻(xiàn)

[1]袁成.美國(guó)空軍新版《科技戰(zhàn)略》提出新目標(biāo)和新舉措[J].航空科學(xué)技術(shù), 2019,30(7):85-86. Yuan Cheng. The new version of the US Air Force Science and Technology Strategy puts forward new goals and new measures[J]. Aeronautical Science & Technology, 2019,30(7):85-86.(in Chinese)

[2]劉朝君,王亞龍,張立豐.基于飛控響應(yīng)類(lèi)型的無(wú)人機(jī)遙控駕駛技術(shù)研究[J].航空科學(xué)技術(shù), 2019,30(6):62-67. Liu Chaojun, Wang Yalong, Zhang Lifeng. Research on drone remote control technology based on flight control response type[J]. Aeronautical Science & Technology, 2019,30(6):62-67.(in Chinese)

[3]Sharp C S,Shakernia O,Sastry S S. A vision system for landing an unmanned aerial vehicle[C]// IEEE International Conference on Robotics &Automation,2003.

[4]Jiskra P. Contact modeling and experimental validation for start and landing of VTOL UAVs[C]//DLR-Interner Bericht,2016.

[5]Tsai A C,Gibbens P W,Stone R H. Terminal phase visionbased target recognition and 3d pose estimation for a tailsitter,vertical takeoff and landing unmanned air vehicle[C]// Pacific-Rim Symposium on Image and Video Technology,2006:672-681.

[6]賈配洋.無(wú)人機(jī)高速移動(dòng)降落技術(shù)研究[D].北京:中國(guó)科學(xué)院大學(xué),2017. Jia Peiyang. Research on UAV high-speed mobile landing technology [D]. Beijing: University of Chinese Academy of Sciences , 2017.(in Chinese)

[7]張光富.基于合成視覺(jué)的3D重建技術(shù)研究[D].杭州:浙江大學(xué),2008. Zhang Guangfu. Research on 3D reconstruction technology based on synthetic vision [D]. Hangzhou:Zhejiang University, 2008.(in Chinese)

[8]Xu G,Zhang Y,Ji S,et al. Research on computer visionbased for UAV autonomous landing on a ship[J]. Pattern Recognition Letters,2009,30(6):600-605.

[9]嵇盛育,徐貴力,馮文玲.基于紅外視覺(jué)的無(wú)人機(jī)自主著艦合作目標(biāo)的研究[J].紅外技術(shù),2007, 29(10): 593-597. Tong Shengyu, Xu Guili, Feng Wenling. Research on cooperative target of autonomous landing of UAV based on infrared vision [J]. Infrared Technology, 2007, 29 (10): 593-597.(in Chinese)

[10]魏祥灰.著陸區(qū)域視覺(jué)檢測(cè)及無(wú)人機(jī)自主著陸導(dǎo)引研究[D].南京:南京航空航天大學(xué),2019. Wei Xianghui. Research on visual detection of landing area and autonomous landing guidance of UAV [D]. Nanjing: Nanjing University ofAeronautics andAstronautics, 2019.(in Chinese)

[11]吳賽飛,王新華,賈森,等.基于紅外視覺(jué)的固定翼無(wú)人機(jī)自動(dòng)降落引導(dǎo)系統(tǒng)[J].電子測(cè)量技術(shù),2016,39(3):131-135. Wu Saifei, Wang Xinhua, Jia Sen, et al. Automatic landing guidance system of fixed-wing UAV based on infrared vision[J]. Electronic Measurement Technology, 2016,39(3): 131-135.(in Chinese)

[12]樊瓏.多旋翼無(wú)人機(jī)視覺(jué)引導(dǎo)降落研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2016. Fan Long. Research on vision-guided landing of multirotor UAV[D]. Harbin: Harbin Institute of Technology, 2016.(in Chinese)

[13]Allen D W,Eric N J,Alison A P. Vision-aided inertial navigation for flight control [C]// AIAA Guidance,Navigation and Control Conference,2005:348-360.

[14]楊忠,方挺,樊瓊劍,等.基于視覺(jué)傳感器的UAV編隊(duì)飛行[C]//第27屆中國(guó)控制會(huì)議, 2008: 592-597. Yang Zhong, Fang Ting, Fan Qiongjian, et al. UAV formation flying based on vision sensor [C]// 27th China Control Conference, 2008: 592-597.(in Chinese)

[15]周立偉,劉玉巖.口標(biāo)探測(cè)與識(shí)別[M].北京:北京理工大學(xué)出版社, 2002. ZhouLiwei,LiuYuyan.Spokenlabeldetectionand recognition [M]. Beijing: Beijing Institute of Technology Press, 2002.(in Chinese)

猜你喜歡
計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)
基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識(shí)別算法
雙目攝像頭在識(shí)別物體大小方面的應(yīng)用
機(jī)器視覺(jué)技術(shù)發(fā)展及其工業(yè)應(yīng)用
危險(xiǎn)氣體罐車(chē)液位計(jì)算機(jī)視覺(jué)監(jiān)控識(shí)別報(bào)警系統(tǒng)設(shè)計(jì)
有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)