摘要：旋翼無(wú)人機(jī)以靈活性和高效性的特點(diǎn)被廣泛應(yīng)用于植保、空中測(cè)繪、搜救等任務(wù)，但在這些任務(wù)中，環(huán)境往往是復(fù)雜的、未知的，導(dǎo)致無(wú)人機(jī)時(shí)刻面臨各類障礙物的威脅。針對(duì)低空旋翼無(wú)人機(jī)在未知戶外環(huán)境中的避障任務(wù)，總結(jié)了當(dāng)前主流的基于全景視覺(jué)技術(shù)的全向障礙物感知中的關(guān)鍵技術(shù)，從無(wú)人機(jī)姿態(tài)感知、3D環(huán)境感知、目標(biāo)感知、障礙物感知等方面展開(kāi)詳細(xì)說(shuō)明，指出制約避障技術(shù)發(fā)展的關(guān)鍵因素，并討論了其發(fā)展趨勢(shì)。

關(guān)鍵詞：無(wú)人機(jī)全景視覺(jué)障礙物感知避障

ResearchonKeyTechnologiesofOmnidirectionalVisionObstaclePerceptioninLow-AltitudeRotorcraftUAVs

JIANGXiaoyanDUJinpingWUXiaofeiDUXinBAIJunpingHUAJieZHANGGuohua

HebeiInstituteofMechanicalandElectricalTechnology，Xingtai，HebeiProvince，054000China

Abstract：Withthecharacteristicsofflexibilityandefficiency，low-altituderotorcraftunmannedaerialvehicles（UAVs）arewidelyusedinplantprotection，aerialmapping，searchandrescueandothertasks.However，inthesetasks，theenvironmentisoftencomplexandunknown，resultinginthethreatofvariousobstacles.Aimingattheobstacleavoidancetaskoflow-altituteUAVsinunknownoutdoorenvironment，thispapersummarizesthekeytechnologiesofomnidirectionalobstacleperceptionbasedonOmnidirectionalVisiontechnology，elaboratesfromUAVattitudeperception，3Denvironmentperception，targetperception，obstacleperceptionandotheraspects，pointsoutthekeyfactorsrestrictingthedevelopmentofobstacleavoidancetechnology，anddiscussesitsdevelopmenttrend.

KeyWords：UAV;Omnidirectionalvision;Obstacleperception;Obstacleavoidance

低空無(wú)人機(jī)在自主飛行過(guò)程中需要依靠機(jī)器視覺(jué)感知環(huán)境，并快速提取障礙物的大小、移動(dòng)方向等信息。但實(shí)際的視覺(jué)圖像包含了大量的冗余信息，將圖像傳輸?shù)降孛嬲具M(jìn)行處理，非常耗時(shí)，這對(duì)機(jī)載處理器的計(jì)算能力和相應(yīng)的可視化算法提出了更高的要求。

全景視覺(jué)系統(tǒng)通常追求較大的視場(chǎng)，從普通相機(jī)到魚(yú)眼相機(jī)，視場(chǎng)的增加會(huì)在視覺(jué)成像中引入嚴(yán)重畸變，需通過(guò)相機(jī)標(biāo)定、畸變矯正等措施消除幾何形變，其效果直接影響后續(xù)的特征提取、特征匹配、全景圖拼接、障礙物檢測(cè)定位等圖像算法的有效性與準(zhǔn)確性。因此，采用哪種全景視覺(jué)系統(tǒng)架構(gòu)以獲得高成像質(zhì)量和大視場(chǎng)的全景圖像就顯得尤為重要。全景視覺(jué)系統(tǒng)一般由圖像傳感器、圖像處理和全景成像等模塊組成。根據(jù)視覺(jué)傳感器的數(shù)量，其可分為單目全景和多目全景；根據(jù)視覺(jué)傳感器結(jié)構(gòu)不同，其又可分為普通多目全景、魚(yú)眼全景、折反射全景等。近年來(lái)，隨著技術(shù)的突破和硬件的發(fā)展，全景視覺(jué)在無(wú)人機(jī)領(lǐng)域得到了迅速的發(fā)展和應(yīng)用。例如：EVOII和Mavic3配備了高分辨率視覺(jué)傳感器用以輔助實(shí)現(xiàn)避障和導(dǎo)航，但是，EVOII在實(shí)現(xiàn)全方位避障時(shí)在4個(gè)對(duì)角線方向仍有盲點(diǎn)，Mavic3在顏色純粹的表面、光線變化快的環(huán)境、尺寸小的障礙物、能見(jiàn)度低的場(chǎng)景等情況下效果較差。

針對(duì)無(wú)人機(jī)在低空域復(fù)雜環(huán)境中的應(yīng)用，本文回顧和總結(jié)了全景視覺(jué)障礙物感知中關(guān)鍵技術(shù)的研究與應(yīng)用現(xiàn)狀，討論了存在的瓶頸問(wèn)題，并擬定下一步研究方向。

1飛行姿態(tài)感知

無(wú)人機(jī)的飛行姿態(tài)包括高度、速度、加速度等。目前，主流的基于視覺(jué)的姿態(tài)感知方法包括光流和視覺(jué)SLAM。

1.1光流

光流是指給定像素在連續(xù)幀之間的移動(dòng)速度矢量。Parrot在2010年發(fā)布的ARDrone是最早使用光流進(jìn)行速度估計(jì)和定位的無(wú)人機(jī)產(chǎn)品[1]，它使用超聲波測(cè)距，有效范圍約為4m，可以在室內(nèi)精確懸停和跟蹤。目前，市場(chǎng)上很多低空無(wú)人機(jī)都采用光流模塊輔助狀態(tài)估計(jì)。

1.2視覺(jué)SLAM

視覺(jué)SLAM是一種通過(guò)視覺(jué)傳感器獲取周圍環(huán)境的三維稀疏地圖，以及無(wú)人機(jī)在其中的位置、姿態(tài)等信息的技術(shù)。自2003年帝國(guó)理工學(xué)院開(kāi)發(fā)出第一個(gè)實(shí)時(shí)視覺(jué)SLAM系統(tǒng)[2]以來(lái)，其理論框架逐漸成熟。單攝像頭SLAM系統(tǒng)具有較好的通用性，但無(wú)法準(zhǔn)確獲取現(xiàn)實(shí)世界中的相機(jī)軌跡和三維點(diǎn)云[3]。使用兩個(gè)或多個(gè)相機(jī)可以克服這個(gè)問(wèn)題，但相對(duì)而言，需要更多的計(jì)算量。高端無(wú)人機(jī)往往使用專用的視覺(jué)計(jì)算芯片來(lái)加速視覺(jué)SLAM算法

23D環(huán)境感知

3D環(huán)境感知的目標(biāo)是利用視覺(jué)圖像信息恢復(fù)場(chǎng)景的3D密集地圖。

2.1視覺(jué)深度估計(jì)

視覺(jué)深度估計(jì)的目的是估計(jì)場(chǎng)景的深度，即場(chǎng)景中每個(gè)點(diǎn)到相機(jī)成像平面上對(duì)應(yīng)像素點(diǎn)之間的垂直距離。

2.1.1基于主動(dòng)視覺(jué)的方法

該方法通常使用投射到被測(cè)物體的表面的結(jié)構(gòu)光[4]，其特點(diǎn)是主動(dòng)視覺(jué)系統(tǒng)主動(dòng)改變內(nèi)部參數(shù)（焦距、光圈等）和外部參數(shù)（位置、方向、光源條件等），與環(huán)境進(jìn)行主動(dòng)交互，獲得更有價(jià)值的視覺(jué)數(shù)據(jù)。在低空無(wú)人機(jī)的應(yīng)用中，源功率限制了投射強(qiáng)度和投射距離，因此可以測(cè)量的深度是有限的。另外，室外場(chǎng)景中存在大量的紅外波段光，導(dǎo)致紅外圖案容易被污染，從而使該方法失效。

2.1.2基于被動(dòng)視覺(jué)的深度估計(jì)

與主動(dòng)視覺(jué)相比，基于被動(dòng)視覺(jué)的方法不存在光源干擾的問(wèn)題，不受室內(nèi)和室外限制。其典型方法是雙目視差估計(jì)[5]、典型應(yīng)用是ZED雙目攝像機(jī)[6]，其準(zhǔn)確性取決于雙目圖像中特征點(diǎn)的正確匹配度。當(dāng)紋理缺失或光照較差時(shí)，匹配難度較大。近年來(lái)，基于深度學(xué)習(xí)的雙目視差估計(jì)方法在解決該問(wèn)題時(shí)取得了很好的進(jìn)展[7]，但過(guò)度依賴GPU計(jì)算單元的性能，難以保證實(shí)時(shí)性。

2.23D地圖表示與更新

3D地圖表示的一種簡(jiǎn)單方法是將場(chǎng)景地圖劃分成小方塊，根據(jù)落在方格內(nèi)的三維點(diǎn)的數(shù)量，給出每個(gè)方格被占領(lǐng)的概率（稱為占據(jù)圖[8]）。在3D空間中，方格越精細(xì)，消耗的內(nèi)存就越多?？紤]到全局地圖中存在大量占用概率為零的空白方格，提高存儲(chǔ)效率的一種解決方案是只保存非空白方格，并采用八樹(shù)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行管理，以便快速檢索[9]。

3障礙物感知

為了保證低空無(wú)人機(jī)在復(fù)雜環(huán)境下的自主、安全飛行，自主快速識(shí)別和躲避障礙物的能力至關(guān)重要。

3.1基于視覺(jué)測(cè)距的障礙物感知

利用3D地圖獲取場(chǎng)景深度，進(jìn)一步重建局部三維障礙物圖，用于障礙物檢測(cè)和定位，規(guī)劃飛行路徑。目前，主流避障方案大多采用該方法，其缺點(diǎn)是視覺(jué)測(cè)距的精度和范圍相對(duì)有限。此外，可視化算法的運(yùn)行需要大量的計(jì)算資源，這對(duì)實(shí)時(shí)避障是一個(gè)挑戰(zhàn)。

隨著硬件的發(fā)展，障礙物感知算法的性能和計(jì)算效率有了很大的提高。第一種思路：基于形態(tài)Haar小波[10]，首先定位障礙物候選區(qū)域，其次提取生成候選區(qū)域的HOG特征，最后利用支持向量機(jī)實(shí)現(xiàn)障礙物的識(shí)別和分類。該方法特征提取過(guò)程復(fù)雜，不能全面提取有效特征，甚至出現(xiàn)無(wú)效特征。第二種思路：基于區(qū)域建議的典型R-CNN級(jí)數(shù)算法[11]，結(jié)合空中目標(biāo)的特點(diǎn)，F(xiàn)asterR-CNN[12]算法在光照變化和復(fù)雜背景條件下對(duì)小目標(biāo)、多目標(biāo)和被遮擋目標(biāo)的檢測(cè)取得了理想的效果。第三種思路：不帶區(qū)域建議的目標(biāo)檢測(cè)模型只需要前向傳播操作即可完成目標(biāo)檢測(cè)，典型算法如YOLO[13]系列檢測(cè)算法。

3.2基于光流法的障礙物感知

當(dāng)物體移動(dòng)時(shí)，視覺(jué)系統(tǒng)獲得變化的信息，通過(guò)神經(jīng)系統(tǒng)的處理，確定障礙物與自身之間的碰撞時(shí)間（Time-To-Collision，TTC）[14]。因此，該算法旨在從光電流中提取TTC以進(jìn)行避障飛行。目前，基于TTC的避障技術(shù)已成功應(yīng)用于輔助駕駛中。在低空無(wú)人機(jī)上實(shí)現(xiàn)基于光學(xué)電流的障礙物感知存在兩個(gè)難點(diǎn)。

3.2.1光流計(jì)算的質(zhì)量和效率

Lucas-Kanade方法[15]雖然計(jì)算效率高，但只能計(jì)算稀疏特征點(diǎn)處的光流，存在遺漏障礙物的風(fēng)險(xiǎn)。然而，傳統(tǒng)的密集光流算法涉及大量?jī)?yōu)化[16]，在CPU計(jì)算能力有限的情況下，無(wú)法滿足實(shí)時(shí)性要求。基于神經(jīng)網(wǎng)絡(luò)的光流計(jì)算部署在低空無(wú)人機(jī)上，在GPU計(jì)算能力足夠的情況下，可以達(dá)到實(shí)時(shí)性。

3.2.2從光流中獲得準(zhǔn)確的TTC

QUANQ[17]基于前向飛假設(shè)計(jì)算TTC，YANGG等人[18]通過(guò)分析局部區(qū)域的面積尺度計(jì)算TTC。后者對(duì)無(wú)人機(jī)飛行模式的依賴較小，但兩種計(jì)算方法都是近似計(jì)算方法，誤差較大。

4瓶頸歸納

以上關(guān)鍵技術(shù)各有優(yōu)缺點(diǎn)，在特定任務(wù)和特定場(chǎng)景中取得了很好的檢測(cè)效果。但在實(shí)際應(yīng)用中，一些共性難點(diǎn)的存在仍然制約著基于全景視覺(jué)的障礙物感知技術(shù)的發(fā)展與應(yīng)用。

首先，機(jī)載處理器的算力瓶頸是實(shí)現(xiàn)全景視覺(jué)避障系統(tǒng)的最大挑戰(zhàn)。由于負(fù)載和功耗的限制，加之避障系統(tǒng)所采用的視覺(jué)算法消耗了大量的CPU計(jì)算資源，目前，在低空無(wú)人機(jī)中，能夠滿足視覺(jué)感知系統(tǒng)的機(jī)載計(jì)算單元的產(chǎn)品很少，大部分產(chǎn)品使用NVIDIAJetson系列模塊。近年來(lái)，研究人員提出了許多基于深度學(xué)習(xí)的方法。從視覺(jué)SLAM方法[19]可以看出，在紋理丟失和強(qiáng)光條件下，神經(jīng)網(wǎng)絡(luò)對(duì)提高視覺(jué)感知能力非常有幫助。然而，基于深度學(xué)習(xí)的方法依賴于大量的真值數(shù)據(jù)進(jìn)行訓(xùn)練，耗時(shí)且費(fèi)力。

其次，惡劣環(huán)境對(duì)避障算法的影響。針對(duì)霧、雨、雪等特殊自然環(huán)境，HEKM等人[20]、FUXY等[21]和LIUYF等人[22]分別設(shè)計(jì)了提高實(shí)時(shí)圖像質(zhì)量的算法，通過(guò)采集惡劣環(huán)境下的數(shù)據(jù)，訓(xùn)練得到了相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型。WANGRZ等人[23]利用無(wú)人機(jī)的動(dòng)力學(xué)特性來(lái)輔助自我狀態(tài)感知。另外，從硬件層面來(lái)說(shuō)，紅外傳感器可以增強(qiáng)在黑暗中的感知能力。事件相機(jī)[24]作為一種仿生視覺(jué)傳感器，能夠感知場(chǎng)景的亮度變化，具有高fps（高達(dá)100萬(wàn)幀）、低延遲（微秒級(jí)）、高動(dòng)態(tài)光照范圍、低功耗等優(yōu)點(diǎn)，非常適合應(yīng)用于輕型和小型無(wú)人機(jī)。

5結(jié)語(yǔ)

構(gòu)建高度智能的視覺(jué)感知系統(tǒng)是低空無(wú)人機(jī)在復(fù)雜三維空間中實(shí)現(xiàn)靈活飛行的關(guān)鍵。隨著深度學(xué)習(xí)和機(jī)器視覺(jué)的快速發(fā)展，在特定的環(huán)境下，基于全景視覺(jué)的障礙物感知已經(jīng)有了相應(yīng)的解決方案，但仍存在計(jì)算效率低、環(huán)境條件影響等技術(shù)瓶頸。下一步，基于本文的工作，本課題組將在全景圖像拼接、實(shí)時(shí)障礙物檢測(cè)（尤其是小型動(dòng)態(tài)目標(biāo)）、有效避障策略等方面開(kāi)展創(chuàng)新實(shí)踐研究。

參考文獻(xiàn)

• BRISTEAUPJ，CALLOUF，VISSIèRED，etal.ThenavigationandcontroltechnologyinsidetheAR.DronemicroUAV[J].IFACProceedingsVolumes，2011，44（1）：1477-1484.

• DAVISONAJ，REIDID，MOLTONND，etal.MonoSLAM：Real-timesinglecameraSLAM[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2007，29（6）：1052-1067.

• TRIGGSB，MCLAUCHLANPF，HARTLEYRI，etal.Bundleadjustment—Amodernsynthesis[C].VisionAlgorithms：TheoryandPractice，1999，1883：298-372.

• SALVIJ，PAGESJ，BATLLEJ.Patterncodificationstrategiesinstructuredlightsystems[J].PatternRecognition，2004，37（4）：827-849.

• SCHARSTEIND，SZELISKIR.Ataxonomyandevaluationofdensetwo-framestereocorrespondencealgorithms[J].InternationalJournalofComputerVision，2002，47（1）：7-42.

• FIRDAUSAR，HUTAGALUNGA，SYAHPUTRAA，etal.Indoorlocalizationusingpositionaltrackingfeatureofstereocameraonquadcopter[J].Electronics，2023，12（2）：406.

• KHAMISS，F(xiàn)ANELLOS，RHEMANNC，etal.Stereonet：Guidedhierarchicalrefinementforreal-timeedge-awaredepthprediction[C]//ProceedingsoftheEuropeanConferenceonComputerVision（ECCV）.2018：573-590.

• GUIZILINIV，RAMOSF.Unsupervisedfeaturelearningfor3Dscenereconstructionwithoccupancymaps[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence，2017，31（1）.

• HORNUNGA，WURMKM，BENNEWITZM，etal.OctoMap：Anefficientprobabilistic3Dmappingframework basedonoctrees[J].AutonomousRobots，2013，34（3）：189-206.

• CHENJ，NIUJL，CHENDH.ResearchonintelligentwheelchairobstacleavoidancebasedonAdaBoost[C]//AppliedMechanicsandMaterials，2013，312：685-689.

• GIRSHICKR，DONAHUEJ，DARRELLT，etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//IEEEConferenceonComputerVisionandPatternRecognition，2014：580-587.

• SALVADORA，GIRó-I-NIETOX，MARQUéSF，etal.FasterR-CNNfeaturesforinstancesearch[C].IEEEConferenceonComputerVisionandPatternRecognitionWorkshops，2016：9-16.

• WUWT，LIUH，LILL，etal.ApplicationoflocalfullyconvolutionalneuralnetworkcombinedwithYOLOv5algorithminsmalltargetdetectionofremotesensingimage[J].PloSOne，2021，16（10）：e0259283.

• GALBRAITHJM，KENYONGT，ZIOLKOWSKIRW.Time-to-collisionestimationfrommotionbasedonprimatevisualprocessing[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2005，27（8）：1279-1291.

• BAKERS，MATTHEWSI.Lucas-kanade20yearson：Aunifyingframework[J].InternationalJournalofComputerVision.2004，56（3）：221-255.

• MENZEM，HEIPKEC，GEIGERA.Discreteoptimizationforopticalflow[C]//GermanConferenceonPatternRecognition，2015：16-28.

• QUANQ.Introductiontomulticopterdesignandcontrol[M].Singapore：Springer，2017.

• YANGG，RAMANAND.Upgradingopticalflowto3dsceneflowthroughopticalexpansion[C]//IEEE/CVFConferenceonComputerVisionandPatternRecognition，2020：1334-1343.

• CZARNOWSKIJ，LAIDLOWT，ClarkR，etal.Deepfactors：Real-timeprobabilisticdensemonocularSLAM[J].IEEERoboticsandAutomationLetters，2020，5（2）：721-728.

• HEKM，SUNJ，TANGXO.Singleimagehazeremovalusingdarkchannelprior[J].IEEETransactionsonPatternAnalysisandMachineOIntelligence，2010，33（12）：2341-2353.

• FUXY，HUANGJB，DINGXH，etal.Clearingtheskies：Adeepnetworkarchitectureforsingle-imagerainremoval[J].IEEETransactionsonImageProcessing，2017，26（6）：2944-2956.

• LIUYF，JAWDH，HUANGSC，eta1.DesnowNet：Context-awaredeepnetworkforsnowremoval[J].IEEETransactionsonImageProcessing，2018，27（6）：3064-3073.

• WANGRZ，ZOUDP，XUCQ，etal.Anaerodynamicmodel-aidedstateestimatorformulti-rotorUAVs[C]//2017IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems（IROS），2017：2164-2170.

• GALLEGOG，DELBRUCKT，ORCHARDGM，etal.Eventbasedvision：Asurvey[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2020（99）：1.