張小東，郝向陽，孫國鵬，徐亞麗

1. 西安測繪總站，陜西 西安 710000； 2. 信息工程大學(xué)導(dǎo)航與空天目標(biāo)工程學(xué)院，河南 鄭州 450000

張小東，郝向陽，孫國鵬，等.旋翼無人機(jī)單目視覺障礙物徑向光流檢測法[J].測繪學(xué)報(bào)，2017,46(9)：1107-1115.

10.11947/j.AGCS.2017.20160510.

ZHANG Xiaodong,HAO Xiangyang,SUN Guopeng,et al.Monocular Vision Obstacle Detection Method Based on Radial Optical Flow for Rotor UAV[J]. Acta Geodaetica et Cartographica Sinica,2017,46(9):1107-1115. DOI:10.11947/j.AGCS.2017.20160510.

旋翼無人機(jī)單目視覺障礙物徑向光流檢測法

張小東1,2，郝向陽2，孫國鵬2，徐亞麗2

1. 西安測繪總站，陜西 西安 710000； 2. 信息工程大學(xué)導(dǎo)航與空天目標(biāo)工程學(xué)院，河南 鄭州 450000

針對(duì)旋翼無人機(jī)在室外復(fù)雜環(huán)境下傳統(tǒng)金字塔LK光流法檢測障礙物準(zhǔn)確性不高，適應(yīng)性差的問題，提出了一種基于徑向光流的單目視覺自主實(shí)時(shí)障礙物檢測方法。該方法通過融合金字塔LK光流與切向光流求解徑向光流，并基于徑向光流設(shè)計(jì)了一種新的障礙物判定策略檢測障礙物。試驗(yàn)表明，與傳統(tǒng)金字塔LK光流法相比，在不增加算法復(fù)雜度的情況下，該方法具有更高的準(zhǔn)確性和更強(qiáng)的適應(yīng)性，可滿足工程實(shí)踐中無人機(jī)自主避障要求。

旋翼無人機(jī);單目視覺;障礙物檢測;徑向光流;金字塔LK光流;切向光流

目前旋翼無人機(jī)的應(yīng)用越來越廣泛，實(shí)現(xiàn)智能化是無人機(jī)發(fā)展的必然趨勢，其中自主避障是無人機(jī)實(shí)現(xiàn)智能化的一個(gè)亟需解決的問題。視覺傳感器具有隱蔽性好、信息豐富、目標(biāo)完整等優(yōu)點(diǎn)，是實(shí)現(xiàn)自主導(dǎo)航與避障的一種較為優(yōu)良的環(huán)境感知系統(tǒng)。目前，國內(nèi)外許多高校和研究機(jī)構(gòu)都開展了無人機(jī)視覺導(dǎo)航與避障技術(shù)研究。文獻(xiàn)[1—2]采用立體視覺實(shí)現(xiàn)了旋翼無人機(jī)室內(nèi)避障飛行；文獻(xiàn)[3]采用深度相機(jī)獲得室內(nèi)環(huán)境的位置信息，實(shí)現(xiàn)了室內(nèi)自主避障飛行，但他們的方法只適用于室內(nèi)已知環(huán)境，不能滿足室外復(fù)雜環(huán)境的避障需求。文獻(xiàn)[4]采用光流法與運(yùn)動(dòng)補(bǔ)償，實(shí)現(xiàn)了障礙物檢測；文獻(xiàn)[5]采用人工識(shí)別與光流法，實(shí)現(xiàn)了無人機(jī)的自主著陸和室外避障飛行；文獻(xiàn)[6]采用SLAM與光流法，實(shí)現(xiàn)了固定翼無人機(jī)的自主避障；文獻(xiàn)[7]采用光流法實(shí)現(xiàn)了旋翼無人機(jī)室外避障飛行；文獻(xiàn)[8]采用二值模板匹配與光流法，實(shí)現(xiàn)了無人機(jī)自主著陸與室外避障；文獻(xiàn)[9]采用光流融合方法實(shí)現(xiàn)了旋翼無人機(jī)室外避障。他們都采用光流法檢測障礙物從而實(shí)現(xiàn)無人機(jī)避障，但是這些方法都要求無人機(jī)必須向正前方飛行，否則會(huì)降低障礙物檢測的準(zhǔn)確性與可靠性?，F(xiàn)有的視覺避障研究大部分都基于圖像分割，圖像深度提取，以及眾多的光流算法[10-12]。圖像分割方法計(jì)算效率高，但精度比較低[13]。深度提取方法需構(gòu)建3D地圖，難以滿足無人機(jī)實(shí)時(shí)避障的要求[14-15]。光流法能兼顧實(shí)時(shí)性與準(zhǔn)確性，是一種較為優(yōu)良的障礙物檢測算法，但傳統(tǒng)光流算法只適用于沿正前方的理想飛行，當(dāng)飛行偏離理想軌跡時(shí)，其準(zhǔn)確性與適應(yīng)性不能滿足避障要求。

針對(duì)傳統(tǒng)光流算法在室外復(fù)雜環(huán)境下障礙物檢測準(zhǔn)確性不高的問題，本文提出一種基于徑向光流的旋翼無人機(jī)單目視覺自主實(shí)時(shí)障礙物檢測方法。該方法用金字塔LK光流與切向光流求差得到徑向光流，可消除切向光流帶來的誤差，提高了算法的準(zhǔn)確性，能夠滿足無人機(jī)的室外避障飛行。

1 徑向光流原理及計(jì)算

根據(jù)環(huán)境條件或作業(yè)需求，無人機(jī)在飛行過程中不僅有正前方向的移動(dòng)，還有上下左右的移動(dòng)，可將無人機(jī)正前方向的移動(dòng)稱為徑向移動(dòng)，垂直于正前方向的移動(dòng)稱為切向移動(dòng)。由無人機(jī)徑向移動(dòng)產(chǎn)生的光流稱為徑向光流，切向移動(dòng)產(chǎn)生的光流稱為切向光流，求解金字塔LK光流和切向光流的矢量差可得到徑向光流。徑向光流是檢測障礙物的重要依據(jù)，本節(jié)重點(diǎn)介紹徑向光流的基本原理與計(jì)算方法。

1.1 金字塔LK光流

光流法是一種能根據(jù)相對(duì)較小變化產(chǎn)生流動(dòng)向量的圖像運(yùn)動(dòng)表達(dá)方式[16]。光流含有豐富的運(yùn)動(dòng)信息，反映了運(yùn)動(dòng)載體拍攝到圖像的變化[17-18]，因此可以用來確定載體與目標(biāo)的相對(duì)運(yùn)動(dòng)。常見的光流法中LK光流法具有較好的穩(wěn)健性，因此本文采用LK光流求解圖像的光流。

LK光流算法基于以下3個(gè)假設(shè)，相鄰兩幅影像之間滿足：①亮度恒定；②運(yùn)動(dòng)是“小運(yùn)動(dòng)”；③空間一致，臨近點(diǎn)有相似運(yùn)動(dòng)，保持相鄰[19]。

由假設(shè)(1)亮度恒定可以得到一個(gè)約束方程

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)

(1)

式中，I(x,y,t)是t時(shí)刻圖像中點(diǎn)(x,y)的亮度；Δx與Δy分別為x與y在Δt時(shí)間內(nèi)的增量。

由假設(shè)②可知像素的移動(dòng)足夠小，對(duì)圖像約束方程使用泰勒公式，并舍去高次項(xiàng)，可得

(2)

將式(2)代入式(1)可得

(3)

對(duì)式(3)兩邊同時(shí)除以Δt，即可得到光流約束方程

Ixvx+Iyvy+It=0

(4)

將式(4)寫成矩陣形式

(5)

將式(5)記為：Av=b。由于光流偏差與各點(diǎn)光流與中心點(diǎn)的距離相關(guān)，距離越大，光流偏差也越大，給予靠近中心的像素更多的權(quán)重會(huì)更有利。因此，取一個(gè)從中心向四周遞減的W函數(shù)作為權(quán)值函數(shù)，從而加強(qiáng)控制領(lǐng)域中心部分的光流偏差。采用最小二乘法求解式(5)可得LK光流v為

(6)

LK方法要求必須滿足小運(yùn)動(dòng)，亮度不變以及區(qū)域一致，但無人機(jī)運(yùn)動(dòng)較快使圖像中近距離物體產(chǎn)生的光流變化較大，不能滿足假設(shè)條件，導(dǎo)致最終求得的光流值有較大的偏差，因此本文采用圖像金字塔對(duì)光流進(jìn)行從粗到精的估計(jì)，如圖1所示。在圖像金字塔的最高層計(jì)算光流，用得到的運(yùn)動(dòng)估計(jì)結(jié)果作為下一層金字塔的起始點(diǎn)，重復(fù)這個(gè)過程至金字塔最底層，這樣就能將不滿足運(yùn)動(dòng)假設(shè)的可能性降到最低[20]。

圖1 金字塔LK光流原理Fig.1 Principle of Pyramid LK optical flow

1.2 切向光流

切向光流是無人機(jī)切向移動(dòng)產(chǎn)生的光流，表示了前一幀圖像到后一幀圖像的整體移動(dòng)量。本文根據(jù)連續(xù)兩幀圖像的單應(yīng)矩陣H求解切向光流。

單應(yīng)矩陣可以表示空間中同一平面的任意兩幅圖像的對(duì)應(yīng)關(guān)系[21]，而本文所用的影像并非來自同一平面。為解決這一問題，本文使用RANSAC算法對(duì)所有的特征點(diǎn)進(jìn)行篩選，取盡可能多的點(diǎn)在同一平面，將這個(gè)平面稱為最優(yōu)障礙物平面。用最優(yōu)障礙物平面上的點(diǎn)計(jì)算單應(yīng)矩陣H，可降低計(jì)算誤差。

(7)

vqi=(xk+1,yk+1)i-(xk,yk)i

(8)

切向光流表示兩幀圖像之間整體的移動(dòng)量，在圖像上均勻選取n×n個(gè)點(diǎn)，分別求解切向光流，然后求均值可得這兩幀圖像的切向光流vq

(9)

1.3 光流融合計(jì)算徑向光流

金字塔LK光流是由于無人機(jī)的實(shí)際運(yùn)動(dòng)產(chǎn)生的光流，無人機(jī)的運(yùn)動(dòng)可分解為徑向移動(dòng)與切向移動(dòng)，因此金字塔LK光流可分解為徑向光流與切向光流。如圖3所示，左上圖為金字塔LK光流，左下圖為切向光流，二者求矢量差可得到右圖的徑向光流。徑向光流公式如下

vj=v-vq

(10)

圖3 光流示意圖Fig.3 Diagram of the optical flow

2 徑向光流檢測障礙物

光流可以表示連續(xù)兩幀圖像上像素點(diǎn)的運(yùn)動(dòng)量[22]，徑向光流的大小能夠表示前方物體的距離遠(yuǎn)近。本節(jié)通過分析攝像機(jī)成像得到徑向光流與運(yùn)動(dòng)的關(guān)系，并基于此設(shè)定檢測閾值，比較檢測閾值與徑向光流的大小進(jìn)行障礙物檢測。

2.1 光流的原理與分析

分析攝像機(jī)成像原理可得影響徑向光流的基本因素。本文采用針孔攝像機(jī)模型[23-24]。如圖4所示，空間一點(diǎn)對(duì)一張平面進(jìn)行中心投影，令投影中心位于一個(gè)歐氏坐標(biāo)系的原點(diǎn)，平面Z=f被稱為圖像平面。在針孔攝像機(jī)模型下，物點(diǎn)M被映射到圖像平面上的一點(diǎn)，該點(diǎn)是連接物點(diǎn)M與投影中心的直線與圖像平面的交點(diǎn)，稱為像點(diǎn)m。圖中，投影中心C為攝像機(jī)中心，攝像機(jī)中心到圖像平面的垂線稱為攝像機(jī)的主軸，而主軸與圖像平面的交點(diǎn)P為圖像中點(diǎn)，過物點(diǎn)M平行于圖像平面的平面稱為物平面。

圖4 針孔攝像機(jī)幾何模型Fig.4 Geometric model of pinhole camera

連續(xù)拍攝兩幀圖像，其成像模型如圖5所示，C1、C2為攝像機(jī)中心；P1、P2為兩幀圖像的中點(diǎn)；D為基線長度；d1、d2為物距，即攝像機(jī)中心到物平面的距離；H為物點(diǎn)M到主軸的距離；h1、h2為像點(diǎn)m1、m2到主軸的距離。在圖像坐標(biāo)系內(nèi)，像點(diǎn)m1到m2的矢量即為兩幀圖像上物點(diǎn)M產(chǎn)生的光流。

圖5 兩幀圖像的成像模型Fig.5 The imaging model of two-frame image

根據(jù)相似三角形原理，可知

(11)

飛行過程中保持焦距不變，故f1=f2，由圖5可知D=d1-d2，代入式(11)可得光流的表達(dá)式為

|v|=h1D/d2

(12)

由式(12)可知，光流與特征點(diǎn)到圖像中點(diǎn)的距離h1成正比，與基線長度D成正比，與物距d2成反比?；€長度D是無人機(jī)的飛行速度V與拍攝時(shí)間間隔t的乘積，因此光流與速度V和拍攝間隔t成正比。

2.2 障礙物檢測

利用運(yùn)動(dòng)視差可以判斷場景物體與觀察者的相對(duì)距離[25-26]。將攝像頭看作運(yùn)動(dòng)的觀察者，由于觀察者觀察位置的遠(yuǎn)近不同，前方物體出現(xiàn)的視角變化也不同，即產(chǎn)生的光流存在差異。距離攝像頭近的物體視角變化較大，產(chǎn)生光流較大，距離攝像頭遠(yuǎn)的物體，視角變化較小，產(chǎn)生光流較小，距離為無窮遠(yuǎn)時(shí)，光流為零[27]。利用這一原理來估計(jì)障礙物到無人機(jī)的距離。

如圖6所示，L為危險(xiǎn)距離，到無人機(jī)的距離大于L的區(qū)域?yàn)榘踩珔^(qū)域，小于L的區(qū)域?yàn)槲ｋU(xiǎn)區(qū)域。若目標(biāo)物體進(jìn)入無人機(jī)危險(xiǎn)區(qū)域，則會(huì)影響到無人機(jī)飛行，判定其為障礙物，需要采取避障行為；若未進(jìn)入危險(xiǎn)區(qū)域，則判定為非障礙物，則飛行路線不變。如圖6中所示，檢測到前方有3個(gè)物體，其中物體Ⅰ進(jìn)入了危險(xiǎn)區(qū)域，物體Ⅱ、Ⅲ未進(jìn)入危險(xiǎn)區(qū)域，因此物體Ⅰ為障礙物，物體Ⅱ、Ⅲ不是障礙物。

圖6 障礙物檢測模型Fig.6 Obstacle detection model

由2.1節(jié)內(nèi)容知，徑向光流與特征點(diǎn)到圖像中點(diǎn)的距離h1成正比，與基線長度D成正比，與物距d2成反比，當(dāng)物距d2大于危險(xiǎn)距離L時(shí)無人機(jī)處于安全狀態(tài)，取d2=L處的光流值作為核心閾值WL。核心閾值可以表示為

WL=h1D/L

(13)

試驗(yàn)發(fā)現(xiàn)，越靠近圖像中點(diǎn)的系統(tǒng)誤差越大，圖像中點(diǎn)的理論光流為0，但真值往往不為0，會(huì)引起障礙物的誤檢。為避免這一現(xiàn)象，給閾值增加一個(gè)較小的基本閾值W0，通常基本閾值W0的取值范圍為0.1～0.3。檢測障礙物所用的檢測閾值W為核心閾值與基礎(chǔ)閾值之和，公式如下

W=h1D/L+W0

(14)

比較徑向光流與檢測閾值的大小，若徑向光流大于檢測閾值，則物距d2小于危險(xiǎn)距離L，檢測到前方有障礙物，若徑向光流小于檢測閾值，則前方物體未進(jìn)入無人機(jī)危險(xiǎn)區(qū)域，檢測到無障礙物。

徑向光流檢測障礙物算法的實(shí)現(xiàn)流程如下：

(1) 通過金字塔LK光流法求解兩幀圖像上同名點(diǎn)的光流向量集合

Ja={(as0，ae0)，(as1,ae1)…，(asn，aen)}

(15)

式中，n為同名點(diǎn)個(gè)數(shù)；n∈N；Ja為光流向量集合；(asi,aei)為每個(gè)光流的起點(diǎn)與終點(diǎn)。

(2) 計(jì)算兩幀圖像的切向光流vq。

(3) 求解金字塔LK光流與切向光流的矢量差，得到徑向光流的向量集合

Jb={(bs0，be0)，…，(bsn，ben)}

(16)

式中，(bsi,bei)=(asi,aei-vq)。

(4) 計(jì)算每個(gè)徑向光流的大小

(17)

(5) 計(jì)算前一幀圖像上的特征點(diǎn)到圖像中心點(diǎn)的距離

(18)

式中，(Ox,Oy)是圖像中點(diǎn)的坐標(biāo)。

(6) 將徑向光流中|vji|>0.3h1i的奇異點(diǎn)從向量集合中剔除。

(7) 根據(jù)已知的危險(xiǎn)距離L、基線長度D設(shè)定檢測閾值W

W=h1D/L+W0

(19)

(8) 比較徑向光流與檢測閾值，當(dāng)|vji|>Wi時(shí)，認(rèn)為障礙物進(jìn)入無人機(jī)的危險(xiǎn)區(qū)域。

3 試 驗(yàn)

本節(jié)設(shè)計(jì)了兩組試驗(yàn)對(duì)徑向光流檢測障礙物算法的性能進(jìn)行驗(yàn)證，采用高精度視覺導(dǎo)航工控平臺(tái)模擬無人機(jī)飛行進(jìn)行半實(shí)物仿真試驗(yàn)，采用四旋翼無人機(jī)進(jìn)行實(shí)際飛行試驗(yàn)。

3.1 半實(shí)物仿真試驗(yàn)

半實(shí)物仿真試驗(yàn)以高精度視覺導(dǎo)航工控平臺(tái)為試驗(yàn)平臺(tái)，如圖7所示。該平臺(tái)可以控制攝像機(jī)上下、左右、前后運(yùn)動(dòng)，誤差為0.01 mm，攝像機(jī)像素為640×480像素。試驗(yàn)用沙盤模擬障礙物，用攝像機(jī)的移動(dòng)模擬無人機(jī)飛行，攝像機(jī)方向始終豎直向下，攝像機(jī)的上下移動(dòng)為徑向移動(dòng)，攝像機(jī)的前后左右移動(dòng)為切向移動(dòng)。由于該設(shè)備的精度高，誤差小，因此試驗(yàn)結(jié)果具有較高的可靠性。

圖7 高精度視覺導(dǎo)航工控平臺(tái)Fig.7 High-precision visual navigation industrial control platform

試驗(yàn)1：分別用傳統(tǒng)金字塔LK光流與徑向光流檢測障礙物

攝像機(jī)在高為1.9 m處拍攝第1幀圖像，向下移0.1 m又向右移0.05 m后拍攝第2幀圖像。由于沙盤有0.2 m的起伏高度，所以物距d2的取值范圍為1.6～1.8 m，攝像機(jī)的切向移動(dòng)產(chǎn)生了切向光流。分別用金字塔LK光流與徑向光流對(duì)障礙物(有光流的區(qū)域)進(jìn)行檢測。

圖8為金字塔LK光流的障礙物檢測結(jié)果。圖8(a)為金字塔LK光流。根據(jù)危險(xiǎn)距離L設(shè)定閾值，當(dāng)L為1.8 m、1.7 m、1.6 m時(shí)對(duì)應(yīng)的閾值為W1、W2、W3。比較金字塔LK光流與檢測閾值檢測障礙物，其理想結(jié)果為：L=1.8 m時(shí)，整個(gè)沙盤進(jìn)入危險(xiǎn)區(qū)域，全區(qū)域都有光流；L=1.7 m時(shí)，只有沙盤凸起處進(jìn)入危險(xiǎn)區(qū)域，部分區(qū)域有光流；L=1.6 m時(shí)，全區(qū)域未進(jìn)入危險(xiǎn)區(qū)域，無光流。實(shí)際檢測結(jié)果如圖8(b)、(c)、(d)所示，左側(cè)較小的光流被剔除，右側(cè)較大的光流未被剔除，與理想結(jié)果完全不符合。因此，當(dāng)存在切向光流時(shí)，傳統(tǒng)金字塔LK光流不能準(zhǔn)確檢測到障礙物。

圖9為徑向光流的障礙物檢測結(jié)果。圖9(a)為金字塔LK光流，圖9(b)為切向光流，圖9(c)為徑向光流。比較徑向光流與檢測閾值的大小檢測障礙物，圖9(d)為L=1.8 m時(shí)閾值W1的檢測結(jié)果，全區(qū)域都有光流；圖9(e)為L=1.7 m時(shí)閾值W2的檢測結(jié)果，只有沙盤凸起區(qū)域有光流；圖9(f)為L=1.6 m時(shí)閾值W3的檢測結(jié)果，全區(qū)域無光流，檢測結(jié)果與理想結(jié)果完全符合。因此，徑向光流可以規(guī)避切向光流的影響，準(zhǔn)確檢測到障礙物。

圖8 金字塔LK光流檢測障礙物Fig.8 Pyramid LK optical flow detect obstacle

圖9 徑向光流檢測障礙物Fig.9 Radial optical flow detect obstacle

試驗(yàn)2：在不同物距、不同閾值條件下用徑向光流檢測障礙物

攝像機(jī)在高為1.9 m、1.8 m、1.7 m處各拍攝一幀圖像，且在拍攝過程中除了徑向移動(dòng)，還有切向移動(dòng)。第1、2幀圖像的物距d2的范圍為1.6～1.8 m，第2、3幀圖像的物距d2的范圍為1.5～1.7 m，危險(xiǎn)距離L=1.7 m對(duì)應(yīng)閾值W1，L=1.6 m對(duì)應(yīng)閾值W2。若物距d2小于危險(xiǎn)距離L，則這一區(qū)域進(jìn)入危險(xiǎn)區(qū)域，可判定其為障礙物。比較徑向光流與檢測閾值檢測障礙物，結(jié)果如圖10所示。

圖10 障礙物檢測結(jié)果Fig.10 Obstacle detection results

當(dāng)物距d2=1.6～1.8 m，L=1.7 m，閾值為W1時(shí)，檢測結(jié)果如圖10(a)所示，沙盤上只有凸起部分為障礙物；當(dāng)物距d2=1.5～1.7 m，L=1.7 m，閾值為W1時(shí)，如圖10(b)所示，整個(gè)沙盤都是障礙物；當(dāng)物距d2=1.6～1.8 m，L=1.6 m，閾值為W2時(shí)，如圖10(c)所示，全區(qū)域無障礙物；當(dāng)物距d2=1.5～1.7 m，L=1.6 m，閾值為W2時(shí)，如圖10(d)所示，沙盤上凸起區(qū)域?yàn)檎系K物。從試驗(yàn)結(jié)果可以看出，當(dāng)物體進(jìn)入危險(xiǎn)區(qū)域時(shí)徑向光流可以準(zhǔn)確檢測到障礙物。

半實(shí)物仿真試驗(yàn)結(jié)果表明，徑向光流可以規(guī)避切向光流引入的誤差，檢測效果遠(yuǎn)高于傳統(tǒng)的金字塔LK光流法，當(dāng)障礙物進(jìn)入預(yù)設(shè)的危險(xiǎn)區(qū)域時(shí)，用徑向光流可以準(zhǔn)確的檢測到障礙物。

3.2 無人機(jī)實(shí)際飛行試驗(yàn)

采用四旋翼無人機(jī)進(jìn)行室外實(shí)際飛行試驗(yàn)對(duì)本文提出的障礙物檢測算法的性能進(jìn)行驗(yàn)證。旋翼無人機(jī)主要參數(shù)如下：最大時(shí)速為20 km/h；最長飛行時(shí)間為25 min；CCD攝像機(jī)像素為480×270像素。用無人機(jī)采集圖像，然后用PC平臺(tái)進(jìn)行數(shù)據(jù)處理，最后用算法進(jìn)行障礙物檢測。

試驗(yàn)1：室外環(huán)境下分別用傳統(tǒng)金字塔LK光流與徑向光流檢測障礙物。

本試驗(yàn)以距離無人機(jī)較近的樹冠為目標(biāo)障礙物，其他物體作為背景，無人機(jī)以1 m/s的速度向前飛行，在風(fēng)的作用下有向左的切向移動(dòng)。每隔0.5 s采集一幀圖像，采用距離目標(biāo)障礙物約為5 m和4.5 m的兩幀圖像進(jìn)行試驗(yàn)。由此可知物距d2=4.5 m，基線長度D=0.5 m，當(dāng)危險(xiǎn)距離L為4.5 m、3.5 m時(shí)，對(duì)應(yīng)的閾值W1、W2。分別用金字塔LK光流和徑向光流檢測障礙物，結(jié)果如圖11所示。

圖11 障礙物檢測結(jié)果Fig.11 Obstacle detection results

圖11(a)為金字塔LK光流，圖11(b)為徑向光流。圖11(c)、(d)為金字塔LK光流法的檢測結(jié)果，當(dāng)L=4.5 m，閾值為W1時(shí)，如圖11(c)所示，左側(cè)黑色線框中不該被剔除的光流被剔除，存在漏檢，右下角黑色線框中該被剔除的光流未被剔除，存在誤檢；當(dāng)L=3.5 m，閾值為W2時(shí)，如圖11(d)所示，左側(cè)漏檢區(qū)域變得更大。圖11(e)、(f)為徑向光流法的檢測結(jié)果，當(dāng)L=4.5 m，閾值為W1時(shí)，如圖11(e)所示，可準(zhǔn)確檢測到障礙物；當(dāng)L=3.5 m，閾值為W2時(shí)，如圖11(f)所示，檢測到無障礙物。從試驗(yàn)結(jié)果可以看出，當(dāng)存在切向光流時(shí)，傳統(tǒng)金字塔LK光流法會(huì)有漏檢或錯(cuò)檢，而徑向光流可以準(zhǔn)確檢測到障礙物。

試驗(yàn)2：在不同物距、不同閾值條件下用徑向光流檢測障礙物。

無人機(jī)飛行環(huán)境不變，采用距離目標(biāo)障礙物分別約為5.5 m、5 m和4.5 m的3幀圖像進(jìn)行試驗(yàn)?；€長度D=0.5 m，第1、2幀圖像的對(duì)應(yīng)物距d2=5 m，第2、3幀圖像的對(duì)應(yīng)物距d2=4.5 m。取危險(xiǎn)距離L為5 m、4.5 m時(shí)對(duì)應(yīng)的閾值為W1、W2。用徑向光流檢測障礙物，結(jié)果如圖12所示。

圖12(a)為d2=5 m，閾值為W1時(shí)的障礙物檢測結(jié)果，可檢測到目標(biāo)障礙物；圖12(b)為d2=5 m，閾值為W2時(shí)的檢測結(jié)果，檢測到無障礙物，此時(shí)目標(biāo)障礙物未進(jìn)入危險(xiǎn)區(qū)域；圖12(c)為d2為4.5 m，閾值為W2時(shí)的檢測結(jié)果，可檢測到目標(biāo)障礙物。從試驗(yàn)結(jié)果看出，若障礙物進(jìn)入無人機(jī)的危險(xiǎn)區(qū)域，二者之間的距離小于危險(xiǎn)距離，則用徑向光流可以檢測到障礙物，若障礙物未進(jìn)入危險(xiǎn)區(qū)域，二者之間的距離大于危險(xiǎn)距離，則檢測結(jié)果為無障礙物。

無人機(jī)實(shí)際飛行試驗(yàn)的結(jié)果表明：徑向光流檢測障礙物的方法能夠規(guī)避無人機(jī)切向運(yùn)動(dòng)引入的誤差，對(duì)障礙物的檢測效果良好，可以滿足無人機(jī)室外環(huán)境下的自主避障需求。

4 結(jié) 論

旋翼無人機(jī)在室外環(huán)境下運(yùn)動(dòng)狀態(tài)多變，傳統(tǒng)光流法不能在同時(shí)有徑向運(yùn)動(dòng)和切向運(yùn)動(dòng)的情況下準(zhǔn)確檢測到障礙物，針對(duì)這一問題，本文提出了一種徑向光流檢測障礙物的方法。旋翼無人機(jī)的實(shí)際運(yùn)動(dòng)可以分解為徑向運(yùn)動(dòng)和切向運(yùn)動(dòng)，用金字塔LK光流求解得到無人機(jī)實(shí)際運(yùn)動(dòng)產(chǎn)生的光流，通過單應(yīng)矩陣求解得到切向移動(dòng)產(chǎn)生的切向光流，二者求矢量差可得無人機(jī)徑向移動(dòng)產(chǎn)生的徑向光流。徑向光流與被檢測物體的物距成反比，設(shè)無人機(jī)在危險(xiǎn)距離處的徑向光流為檢測閾值，比較被檢測物體產(chǎn)生的徑向光流與檢測閾值的大小可以判定被檢測物體是否進(jìn)入危險(xiǎn)區(qū)域，從而檢測出障礙物的位置。半實(shí)物仿真試驗(yàn)與實(shí)際飛行試驗(yàn)結(jié)果表明：

(1) 徑向光流檢測障礙物的準(zhǔn)確性較高，當(dāng)被檢測物體進(jìn)入無人機(jī)危險(xiǎn)區(qū)域時(shí)可以準(zhǔn)確檢測到障礙物。

(2) 徑向光流能夠規(guī)避無人機(jī)切向移動(dòng)引入的誤差，可用于室外環(huán)境下旋翼無人機(jī)自主避障。

本文提出的障礙物檢測方法為無人機(jī)自主避障提供了一種新的思路。需要指出的是，本文只是在視覺避障領(lǐng)域進(jìn)行了初步的探究，還存在許多不足之處需要在后續(xù)工作中繼續(xù)完善。

[1] REINEMAN B D, LENAIN L, STATOM N M, et al. Development and Testing of Instrumentation for UAV-based Flux Measurements within Terrestrial and Marine Atmospheric Boundary Layers[J]. Journal of Atmospheric and Oceanic Technology, 2013, 30(7): 1295-2954.

[2] 馬源. 基于雙目立體視覺的深度感知技術(shù)研究[D]. 北京: 北京理工大學(xué), 2015.

MA Yuan. Research on Depth Perception Based on the Binocular Stereo Vision[D]. Beijing: Beijing Institute of Technology, 2015.

[3] CHAO Haiyang, CAO Yongcan, CHEN Yangquan. Autopilots for Small Unmanned Aerial Vehicles: A Survey[J]. International Journal of Control, Automation and Systems, 2010, 8(1): 36-44.

[4] ZINGG S, SCARAMUZZA D, WEISS S, et al. MAV Navigation through Indoor Corridors Using Optical Flow[C]∥Proceedings of the 2010 IEEE International Conference on Robotics and Automation (ICRA). Anchorage, AK: IEEE, 2010: 3361-3368.

[5] LIYANAGE D K, PERERA M U S. Optical Flow Based Obstacle Avoidance for the Visually Impaired[C]∥Proceedings of the 2012 IEEE Business Engineering and Industrial Applications Colloquium (BEIAC). Kuala Lumpur: IEEE, 2012: 284-289.

[6] LIAU Y S, ZHANG Qun, LI Yanan, et al. Non-metric Navigation for Mobile Robot Using Optical Flow[C]∥Proceedings of the 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Vilamoura: IEEE, 2012: 4953-4958.

[7] SRINIVASAN M V, MOORE R J D, THURROWGOOD S, et al. From Biology to Engineering: Insect Vision and Applications to Robotics[M]∥BARTH F G, HUMPHREY J A C, SRINIVASAN M V. Frontiers in Sensing. Vienna: Springer, 2012: 19-39.

[8] 徐偉杰. 基于視覺的微小型無人直升機(jī)位姿估計(jì)與目標(biāo)跟蹤研究[D]. 杭州: 浙江大學(xué), 2012.

XU Weijie. Research on Vision-based Pose Estimation and Object Tracking for Miniature Unmanned Helicopter[D]. Hangzhou: Zhejiang University, 2012.

[9] 趙海, 陳星池, 王家亮, 等. 基于四軸飛行器的單目視覺避障算法[J]. 光學(xué) 精密工程, 2014, 22(8): 2232-2241.

ZHAO Hai, CHEN Xingchi, WANG Jialiang, et al. Obstacle Avoidance Algorithm Based on Monocular Vision for Quad-rotor Helicopter[J]. Optics and Precision Engineering, 2014, 22(8): 2232-2241.

[11] 易禮智. 基于機(jī)器視覺的避障智能小車系統(tǒng)研究[D]. 長沙: 中南大學(xué), 2012.

YI Lizhi. Research on Obstacle Avoidance Smart Car System Based on Machine Vision[D]. Changsha: Central South University, 2012.

[12] 鄭海華. 基于視覺的平地探測機(jī)器人避障研究[D]. 長沙: 中南大學(xué), 2014.

ZHENG Haihua. Research on Obstacle Avoidance of Flat Detection Robot Based on Vision[D]. Changsha: Central South University, 2014.

[13] 劉正東, 高鵬, 楊靜宇. 一種用于道路避障的雙目視覺圖像分割方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2005, 22(4): 249-251.

LIU Zhengdong, GAO Peng, YANG Jingyu. Binocular Image Segmentation Algorithm for Obstacles Avoidance[J]. Application Research of Computers, 2005, 22(4): 249-251.

[14] KENDOUL F, FANTONI A, NONAM A. Optic Flow-based Vision System for Autonomous 3D Localization and Control of Small Aerial Vehicles[J]. Robotics and Autonomous Systems, 2009, 57(6-7): 591-602.

[15] GRIGORESCU S M, MACESANU G, COCIAS T T, et al. Robust Camera Pose and Scene Structure Analysis for Service Robotics[J]. Robotics and Autonomous Systems, 2011, 59(11): 889-909.

[16] VO V, LY N. An Effective Approach for Human Actions Recognition Based on Optical Flow and Edge Features[C]∥Proceedings of the 2012 International Conference on Control, Automation and Information Sciences (ICCAIS). Ho Chi Minh City: IEEE, 2012: 24-29.

[17] CHATTERJEE A, RAKSHIT A, SINGH N N. 基于視覺的自主機(jī)器人導(dǎo)航[M]. 連曉峰, 譯. 北京: 機(jī)械工業(yè)出版社, 2014.

CHATTERJEE A, RAKSHIT A, SINGH N N. Vision Based Autonomous Robot Navigation[M]. LIAN Xiaofeng, trans. Beijing: Machinery Industry Press, 2014.

[18] 張正鵬, 江萬壽, 張靖. 自適應(yīng)運(yùn)動(dòng)結(jié)構(gòu)特征的車載全景序列影像匹配方法[J]. 測繪學(xué)報(bào), 2015, 44(10): 1132-1141. DOI: 10.11947/j.AGCS.2015.20140622.

ZHANG Zhengpeng, JIANG Wanshou, ZHANG Jing. An Matching Method for Vehicle-borne Panoramic Image Sequence Based on Adaptive Structure from Motion Feature[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(10): 1132-1141. DOI: 10.11947/j.AGCS.2015.20140622.

[19] BRADSKI G, KAEHLER A. 學(xué)習(xí)OpenCV[M]. 于仕琪, 劉瑞禎, 譯. 北京: 清華大學(xué)出版社, 2009: 358-366.

BRADSKI G, KAEHLER A. Learning OpenCV[M]. YU Shiqi, LIU Ruizhen, trans. Beijing: Tsinghua University Press, 2009: 358-366.

[20] 李佳田, 李顯凱, 李應(yīng)蕓, 等. 航空?qǐng)D像光流場的逆向金字塔計(jì)算方法[J]. 測繪學(xué)報(bào), 2016, 45(9): 1059-1064. DOI: 10.11947/j.AGCS.2016.20150367.

LI Jiatian, LI Xiankai, LI Yingyun, et al. A Backward Pyramid Oriented Optical Flow Field Computing Method for Aerial Image[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(9): 1059-1064. DOI: 10.11947/j.AGCS.2016.20150367.

[21] HARTLEY R, ZISSERMAN A. Multiple View Geometry in Computer Vision[M]. Cambridge: Cambridge University Press, 2004.

[22] EBERLI D, SCARAMUZZA D, WEISS S, et al. Vision Based Position Control for MAVs Using One Single Circular Landmark[J]. Journal of Intelligent & Robotic System, 2011, 61(1-4): 495-512.

[23] HARTLEY R, ZISSERMAN A. 計(jì)算機(jī)視覺中的多視圖幾何[M]. 韋穗, 楊尚駿, 章權(quán)兵, 譯. 合肥: 安徽大學(xué)出版社, 2002.

HARTLEY R, ZISSERMAN A. Multiple View Geometry in Computer Vision[M]. WEI Hui, YANG Shangjun, ZHANG Quanbing, trans. Hefei: Anhui University Press,

2002.

[24] 崔燕茹. 基于雙目視覺的障礙物識(shí)別與重建[D]. 南昌: 南昌航空大學(xué), 2012.

CUI Yanru. Obstacle Recognition and Reconstruction Based on Binocular Vision[D]. Nanchang: Nanchang Hangkong University, 2012.

[25] STEFANOSKI N, WANG O, LANG M, et al. Automatic View Synthesis by Image-domain-warping[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3329-3341.

[26] 夏軍營, 徐小泉, 熊九龍. 利用平行透視投影模型的位姿迭代估計(jì)[J]. 光學(xué) 精密工程, 2012, 20(6): 1342-1349.

XIA Junying, XU Xiaoquan, XIONG Jiulong. Iterative Pose Estimation Using Paraperspective Camera Model[J]. Optics and Precision Engineering, 2012, 20(6): 1342-1349.

[27] 戴碧霞. 基于光流的微小型飛行器室內(nèi)避障方法研究[D]. 成都: 電子科技大學(xué), 2015.

DAI Bixia. Research on Obstacle Avoidance Method of MAV in Indoor Environment Based on Optical Flow[D]. Chengdu: University of Electronic Science and Technology of China, 2015.

Monocular Vision Obstacle Detection Method Based on Radial Optical Flow for Rotor UAV

ZHANG Xiaodong1,2,HAO Xiangyang2,SUN Guopeng2,XU Yali2

1. Xi’an Division of Surveying and Mapping,Xi’an 710000,China； 2. Information Engineering University, School of Navigation and Aerospace Engineering, Zhengzhou 450000, China

To solve the problem of traditional Pyramid LK optical flow algorithm’s poor accuracy and adaptability for rotor UAV to detect obstacle in complex outdoor environment, a monocular autonomous real-time obstacle detection method based on radial optical flow is proposed. In the optical flow, the radial optical flow is computed by fusing Pyramid LK optical flow with tangential optical flow, and a new obstacles decision strategy to detect obstacles based on the radial optical flow is put forward. Experimental results show that without increasing the complexity of algorithm, the proposed method can get a higher accuracy and better adaptability than traditional Pyramid LK algorithm, which can meet the requirements of UAV autonomous obstacle avoidance.

rotor UAV; monocular vision; obstacle detection; radial optical flow; Pyramid LK optical flow; tangential optical flow

Information Engineering University “2110 Project” Construction Project (No. 510087)

ZHANG Xiaodong(1991—)，male, master, majors in visual navigation and visual inspection.

HAO Xiangyang

P235

A

1001-1595(2017)09-1107-09

信息工程大學(xué)“2110工程”建設(shè)項(xiàng)目(510087)

(責(zé)任編輯：張艷玲)

2016-10-24

修回日期： 2017-05-31

張小東(1991—)，男，碩士，研究方向?yàn)橐曈X導(dǎo)航與視覺檢測。

E-mail： 1228024443@qq.com

郝向陽