黃穎杰　梅領(lǐng)亮　王勇　何鵬　練彬　王瑛

摘要：為了進(jìn)一步提高識別無人機(jī)的效率，提出基于紅外與可見光圖像融合的無人機(jī)探測方法，并且對配準(zhǔn)算法進(jìn)行改進(jìn)，搭配Canny邊緣檢測ORB特征檢測的融合配準(zhǔn)算法。首先，搭建雙目攝像頭、采集無人機(jī)圖像;接著，對圖像進(jìn)行Laplace預(yù)處理、Canny邊緣檢測ORB特征檢測配準(zhǔn)、Harr小波變換融合。將得到的融合圖像和融合前的可見光圖像分別進(jìn)行YOLOv3檢測框架。實(shí)驗(yàn)表明，圖像融合后的識別，mAP從92.45%提高到了93.39%。證明通過圖像融合的方法，可以提高對無人機(jī)識別的準(zhǔn)確率。

關(guān)鍵詞：圖像融合;無人機(jī);目標(biāo)識別;紅外圖像;可見光圖像

中圖分類號：TP18? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）07-0001-08

近年來，由于無人機(jī)影響逐漸變大，從中國民航局公布的2017年成都雙流機(jī)場的無人機(jī)入侵的“黑飛”事件到2020年軍用無人機(jī)摧毀了亞美尼亞一輛裝甲車，需要對無人機(jī)的識別準(zhǔn)確率提出了更嚴(yán)格的要求。大部分提高識別準(zhǔn)確率的方法都是從算法方面進(jìn)行提升，本文嘗試在圖像質(zhì)量方面進(jìn)行提升，增強(qiáng)無人機(jī)圖像在YOLOv3中的識別效果。識別無人機(jī)的難度大的具體原因主要有以下三點(diǎn)：

1） 離干擾物距離近。無人機(jī)的飛行環(huán)境一般都有較多的房屋建筑和綠植等像素較為豐富的物體。干擾具體表現(xiàn)在樹木和建筑物造成的像素的摻雜、遮擋。

2） 低速飛行或懸停。這些都給雷達(dá)探測帶來了挑戰(zhàn)，雷達(dá)探測的主要原理是利用多普勒效應(yīng)，效應(yīng)越明顯，無人機(jī)顯示越清晰。但是低速飛行的無人機(jī)，使得效應(yīng)特別不明顯。如果為了檢測不動或慢飛的無人機(jī)，卸裝多普勒元件，則會受到不動物體環(huán)境的干擾。

3） 尺寸小。這會讓探測設(shè)備接收到的信息驟減。同時由于目標(biāo)尺寸較小，對于原始可見光圖像，輪廓清晰的優(yōu)勢變小，容易被背景物體像素影響，識別起來難度加大。

針對識別無人機(jī)的需求，文獻(xiàn)[1]提出一種基于對范圍內(nèi)的目標(biāo)進(jìn)行自動探測的方法，區(qū)分有價值目標(biāo)和無價值目標(biāo)，提高探測的效果;文獻(xiàn)[2]提出對雷達(dá)探測無人機(jī)的算法進(jìn)行優(yōu)化;文獻(xiàn)[3]提出了對激光探測無人機(jī)的算法進(jìn)行優(yōu)化;文獻(xiàn)[4]采用雙邊濾波結(jié)合去霧算法進(jìn)行圖像增強(qiáng)處理，提高了無人機(jī)的圖像質(zhì)量;文獻(xiàn)[5]著重于處理目標(biāo)的大小問題，在FasterR-CNN下優(yōu)化其特征提取層。本文實(shí)驗(yàn)提高識別無人機(jī)準(zhǔn)確率的方法為紅外和可見光圖像融合，得到信息熵更高的圖像，原理和優(yōu)勢如下：

紅外成像原理：物體發(fā)射出紅外輻射的差值形成的紅外圖像，紅外波長0.75μm～ 1000μm。優(yōu)勢為全天候適應(yīng)，劣勢為圖像分辨率低，著重于輪廓信息，容易產(chǎn)生欠曝，曝光不足。如圖 1所示。

可見光成像原理：利用光反射原理成像，可見光的波長在0.39μm～ 0.75μm。優(yōu)點(diǎn)為目標(biāo)細(xì)節(jié)更加清晰，缺點(diǎn)為受光線和天氣等自然條件的影響，容易產(chǎn)生過曝，降低圖片質(zhì)量。如圖 2所示。

本文實(shí)驗(yàn)依次對可見光圖像和紅外圖像進(jìn)行預(yù)處理、配準(zhǔn)、融合，得到信息更充足的圖像。可以觀察到融合圖像相對于可見光圖像的背景像素干擾較少，無人機(jī)邊緣更加清晰，圖像中過曝和欠曝也較少，如圖 3所示。

1 相關(guān)工作

1.1 硬件平臺

本文實(shí)驗(yàn)中使用的雙目攝像頭是深圳市新成像電子科技有限公司的可見光紅外USB攝像頭模塊，型號為HM2131，可見光攝像頭和紅外攝像頭的像素為200萬，最大分辨率為1920*1080，感光元件類型為CMOS，如圖 4所示。

1.2 軟件平臺

基于VS2017+OpenCV3.4，實(shí)現(xiàn)對雙目攝像頭的調(diào)用，捕獲左右攝像頭的幀圖像，并且顯示左右攝像頭獲得的圖像，以按下空格保存圖像，如圖 5所示。

1.3 數(shù)據(jù)集拍攝環(huán)境

由于本實(shí)驗(yàn)平臺中的紅外相機(jī)與可見光的雙目攝像頭位置關(guān)系保持在同一場景，無法跟隨無人機(jī)運(yùn)動軌跡調(diào)整攝像頭角度，因此只能手動調(diào)整雙目攝像頭的方向?qū)崿F(xiàn)手動跟隨無人機(jī)。同時由于對無人機(jī)監(jiān)管時的場景多是天空背景，背景較為簡單。針對這兩點(diǎn)要求，本文選擇大廈背面、馬路邊、樹林邊等位置實(shí)現(xiàn)對無人機(jī)的拍攝，增強(qiáng)數(shù)據(jù)集的訓(xùn)練效果，拍攝場景圖如圖 6所示。按照訓(xùn)練集：測試集為5：1的比例，總共得到訓(xùn)練集2565張，待融合的測試集中，可見光圖像和紅外圖像各498張。

1.4 數(shù)據(jù)集標(biāo)注

在數(shù)據(jù)集訓(xùn)練和測試前，需要對數(shù)據(jù)集的圖像目標(biāo)進(jìn)行框選分類，也是識別無人機(jī)的前期工作。圖 7為實(shí)驗(yàn)數(shù)據(jù)集中訓(xùn)練集圖像的標(biāo)注結(jié)果圖。圖 8為待用于融合和測試的可見光圖像的標(biāo)注結(jié)果圖。圖 9是可見光和紅外圖像融合圖像的標(biāo)注結(jié)果圖。從圖中可以看出，對圖像中不同位置和不同尺寸的目標(biāo)進(jìn)行了框選并歸類為“drone”。為了保證實(shí)驗(yàn)的準(zhǔn)確性，可見光數(shù)據(jù)集和融合數(shù)據(jù)集的唯一區(qū)別就是融合效果，這也是實(shí)驗(yàn)核心之一，不對融合圖像進(jìn)行二次預(yù)處理，并且保證標(biāo)注文件保持一致，即在其他變量一定的情況下，融合圖像帶來的圖像質(zhì)量改變，為實(shí)驗(yàn)的唯一變量。本文就研究這唯一的變量對無人機(jī)的識別影響效果開展實(shí)驗(yàn)研究。

綜上，由訓(xùn)練集得到相對應(yīng)的2565份標(biāo)注文件，由可見光得到相對應(yīng)的498份標(biāo)注文件，并且復(fù)制這498份標(biāo)注文件當(dāng)作融合圖像的標(biāo)注文件。

2 預(yù)處理

2.1 預(yù)處理算法選擇

紅外圖像通過物體發(fā)射出紅外輻射的差值形成像，具有全天候適應(yīng)的優(yōu)勢，但由于紅外圖像的劣勢，紅外圖像分辨率低、圖像常常欠曝、邊緣信息不夠完善，會影響圖像未能將筆者感興趣的信息更清晰地呈現(xiàn)出來。另外，待配準(zhǔn)和待融合的圖像往往具有對比度不夠或者圖像不匹配等問題。綜上兩點(diǎn)原因，需要對數(shù)據(jù)集進(jìn)行預(yù)處理，才能更準(zhǔn)確地配準(zhǔn)和融合。在預(yù)處理算法中，主要分為濾波、邊緣增強(qiáng)、灰度形態(tài)學(xué)、算術(shù)運(yùn)算等類型，由于實(shí)驗(yàn)中無人機(jī)屬于小目標(biāo)，所以對無人機(jī)的邊緣輪廓信息極其重要，同時也有利于接下來的邊緣提取，故選擇邊緣增強(qiáng)的Laplace算法。

2.2 Laplace算法

Laplace濾波首先對輸入圖片[I]采用非線性函數(shù)[ri]處理，獲得[rI]，然后對[rI]進(jìn)行拉普拉斯金字塔分解，獲得[LrI]，最后把金字塔中系數(shù)[LlrIx，y]作為圖像[LlOx，y]中的系數(shù)，重構(gòu)后即可獲得拉普拉斯濾波圖像，[ri]如式（1）：

其中[fi=i-rii-g]為連續(xù)函數(shù)，[ri]的定義如式（2）：

其中[g=GlIx，y]為高斯金字塔在[l]層中[x，y]位置的系數(shù)。當(dāng)[0≤α<1]時，圖像表現(xiàn)出來的細(xì)節(jié)信息更多;當(dāng)[α>1]時，圖像表現(xiàn)出來的細(xì)節(jié)信息更少;當(dāng)[0≤β<1]時，減少圖像的取值范圍;當(dāng)[β>1]時，增加圖像的取值范圍。[σr]的作用是把細(xì)節(jié)信息和邊緣信息清晰化，即亮度閾值。

把圖像分解為兩層金字塔，拉普拉斯金字塔分解：

公式如式（3）：

其中[L0O]為第0層拉普拉斯金字塔，[Gσp=12πσ2pGσp]為高斯核[σp]的標(biāo)準(zhǔn)化，[p=x，y]為金字塔相應(yīng)層上的點(diǎn)，[Ip]為[p]點(diǎn)的像素值，[σp]用于構(gòu)建金字塔，*為卷積操作。代入函數(shù)[ri]，并令[L0I=I-Gσp*I，g=Ip]可以得到如式（4）：

然后，上采樣殘差圖像，并加到公式（4）兩邊，擴(kuò)展卷積，得到濾波后的圖像金字塔輸出圖像如式（5）：

式（5）和雙邊濾波公式相似，其中[Gσp]可以看作空間權(quán)重，函數(shù)[f]可以看作值域權(quán)重。

綜上可得到Laplace預(yù)處理后的圖像。

3 配準(zhǔn)

3.1 配合算法選擇

在本文實(shí)驗(yàn)中，雙目攝像頭和無人機(jī)雖然都位于同一場景內(nèi)，但是拍攝無人機(jī)時，始終存在角度不同，造成兩個攝像頭的同幀圖像不完全一致問題。在融合可見光和紅外圖像前，需要對紅外圖像和可見光圖像進(jìn)行配準(zhǔn)工作，即將待配準(zhǔn)圖像（本文為紅外圖像）變換參數(shù)，利用平移、旋轉(zhuǎn)及尺度縮放等相關(guān)圖像處理，對齊可見光圖像，才能使融合達(dá)到最佳效果。在圖像配準(zhǔn)算法中，可分為基于灰度信息、基于圖像特征及基于變換域三種類型。由于實(shí)驗(yàn)中是不同色度圖像進(jìn)行融合，即不能采用基于灰度信息的配準(zhǔn)方法。由于本次實(shí)驗(yàn)的數(shù)據(jù)中，大多數(shù)背景都為設(shè)定的大廈背面、馬路邊、樹林邊，該類場景的特征較為明顯。針對這一特點(diǎn)，文獻(xiàn)[6]采用的是Sobel邊緣檢測;文獻(xiàn)[7]采用的是SURF算法邊緣檢測;文獻(xiàn)[8]采用的是SIFT和ORB特征檢測算法在地形三維重建中的配準(zhǔn)算法;文獻(xiàn)[9-10]采用基于Canny邊緣SURF特征的紅外與可見光圖像配準(zhǔn)算法;本文采用的是Canny邊緣檢測和ORB[11-13]特征檢測的配準(zhǔn)算法。由于紅外的邊緣提取不夠明顯，為了提取紅外和可見光異源圖像中穩(wěn)定性較好的邊緣輪廓，在ORB特征檢測算法的基礎(chǔ)上，得到紅外圖像的Canny邊緣圖，將第一次得到的Canny邊緣圖經(jīng)過RANSAC[14]篩選，獲得更清晰的配準(zhǔn)信息。

3.2 Canny邊緣檢測和ORB特征檢測

3.2.1 Canny邊緣檢測算法

檢測算法的考量指標(biāo)是每個檢測算法優(yōu)劣差別的參考參數(shù)。Canny邊緣檢測算法根據(jù)考量指標(biāo)有取舍地運(yùn)用了濾波方法和梯度計算方法，使Canny成為檢測的質(zhì)和量都表現(xiàn)不錯的邊緣檢測算法。其步驟包括圖像平滑、梯度計算、非極大值抑制、確定高低閾值和邊緣檢測，以下為該步驟的介紹：

圖像處理，即采用高斯濾波算法處理圖像信息的每一行和每一列，在此得到的函數(shù)等式為：[Gx=exp-x22σ22πσ]，其中等式左邊為高斯函數(shù)，等式右邊的[σ]為標(biāo)準(zhǔn)差。此外，還會得到一個平滑信息[I'x，y]。

梯度計算，目的是得到上述平滑信息[I'x，y]中具體圖像像素點(diǎn)的[Mx，y]和[θx，y]，其中[M]代表的是該像素點(diǎn)的幅值信息，[θx，y]代表的是該像素點(diǎn)的方向信息。需要對上述像素點(diǎn)的關(guān)于[x]和[y]軸方向的計算，從而可以計算得到該像素點(diǎn)的梯度[dyx，y]。綜合以上信息，使用兩個2×2的行列式配合得到的平滑信息[I'x，y]對圖像信息進(jìn)行卷積，兩個行列式具體如[H1、H2]所式（6）：

非極大值抑制：目的是確定[Mx，y]點(diǎn)是否為邊緣點(diǎn)。而判定條件為該點(diǎn)是否為局部最大值點(diǎn)，如果是局部最大值點(diǎn)則為邊緣點(diǎn)，若不是則把[Mx，y=0]。是否為局部最大點(diǎn)可以在3×3的圖像大小中對比前文得到的該點(diǎn)的[I'x，y]的[Mx，y]。

舍棄部分值：利用手動設(shè)置的參數(shù)，調(diào)整高閾值[Vh]和低閾值[VI]，目的是刪選更合要求的邊緣點(diǎn)和像素點(diǎn)，使得二者達(dá)到預(yù)設(shè)的平衡。

邊緣檢測：在滿足前一步的條件下，得到在[VI]和[Vh之間]的像素點(diǎn)，并且可以得到其相對應(yīng)的邊緣點(diǎn)，通過這部分邊緣點(diǎn)得到邊緣檢測，獲得滿足前一步條件下的邊緣，即優(yōu)質(zhì)邊緣。即得到信息邊緣圖。

3.2.2 ORB特征匹配算法

由上述得到的信息邊緣圖，再進(jìn)行ORB（Oriented FAST and Rotated BRIEF）特征匹配算法。主流特征匹配算法的兩步是檢測特征點(diǎn)及其匹配。在該算法中，使用的是oFAST（Oriented FAST）算法，即由FAST算法升級優(yōu)化得到。FAST是目前被證實(shí)最快的特征點(diǎn)提取算法。也就是說，使用FAST算法得到特征點(diǎn)后，為了使旋轉(zhuǎn)后的特征點(diǎn)不變，定義特征點(diǎn)方向，生成特征向量。然后由該特征向量和漢明距離[15]得到關(guān)于特征向量間的重復(fù)程度。

第一步，Oriented FAST特征點(diǎn)檢測。角點(diǎn)即目標(biāo)圖像在某一范圍內(nèi)，像素相差明顯的點(diǎn)，Oriented FAST是由FAST算法升級優(yōu)化得到的。由文獻(xiàn)[16]可得：特征帶的概念為任一像素點(diǎn)的灰度值與其鄰域中的絕大部分像素點(diǎn)的灰度值相差大于提前設(shè)定的值時，就設(shè)定該點(diǎn)為特征點(diǎn)。當(dāng)某像素點(diǎn)[p]的與其鄰域中16個像素點(diǎn)的灰度值相差大于提前設(shè)定的值時，則符合以下函數(shù)，如式（10）：

需要補(bǔ)充的是，像素點(diǎn)[p]的灰度值為[Ip]，像素點(diǎn)[p]鄰域中某一點(diǎn)的灰度值為[Ix]，提前設(shè)定的相差值則為[t]，式（11）表示的是所有符合條件的像素點(diǎn)[x]的[fdetIx，Ip]的總和。在該步驟中，需要設(shè)定一個值[T]，由前文計算出來的[N]比該[T]值大時，則斷定所對應(yīng)的點(diǎn)[p]為特征點(diǎn)。影響角點(diǎn)進(jìn)行匹配的因素為角點(diǎn)的有效個數(shù)，而決定這個數(shù)字的因素為前文設(shè)置的[t]與[T]。

Oriented FAST與FAST最大的區(qū)別是，Oriented FAST在FAST提取出特征點(diǎn)后，定義了一個特征點(diǎn)方向，讓一個原本不具備方向信息的特征點(diǎn)，優(yōu)化成旋轉(zhuǎn)變化后都不會變形的特征點(diǎn)。在該算法中，存在一個由像素點(diǎn)和質(zhì)心決定的主方向。

第二步，Rotated BRIEF特征點(diǎn)。該算法是借由BRIEF算法的方法確定的特征點(diǎn)。即在限定的條件下，在特征點(diǎn)附近對比其與其他點(diǎn)的灰度值，由一定條件生成的對比像素點(diǎn)對，對比的結(jié)果可以得到一條能表示BRIEF描述子特征向量的條件函數(shù)。當(dāng)該點(diǎn)灰度值小于被對比點(diǎn)時，則輸出1;當(dāng)該點(diǎn)灰度值大于或等于被對比點(diǎn)時，則輸出0，條件函數(shù)如式（12）：

需要補(bǔ)充的是，該點(diǎn)的灰度值為[px]，被對比點(diǎn)的灰度值為[py]，由上可得，特征描述子的公式如式（13）：

在這一步可以得到，Rotated BRIEF代入了Oriented FAST定義的一個特征點(diǎn)方向后，再由像素對比對可以得到一串涉及角度的信息。

第三步，對特征點(diǎn)進(jìn)行配準(zhǔn)。最后結(jié)果則得到配準(zhǔn)后的圖像。根據(jù)漢明距離得到的配準(zhǔn)方法可以有兩個類型，第一個類型是把漢明距離減去比前者小的漢明距離，得到的結(jié)果再取絕對值，該值越小則越有配準(zhǔn)價值;另一種類型是直接把漢明距離最小所對應(yīng)的兩個點(diǎn)選為對點(diǎn)。但是，這兩個方法都需要面對一個舍取范圍的問題，以得到更優(yōu)化的配準(zhǔn)。取舍的范圍限定得太低，會減少干擾信息的影響，但同時會舍去一些優(yōu)質(zhì)配準(zhǔn)點(diǎn)，當(dāng)取舍范圍限定得太高，可以得到大部分的配準(zhǔn)點(diǎn)，但是也要面臨著干擾信息的影響，所以范圍的限定，對配準(zhǔn)結(jié)果的影響較大。

4 融合

4.1 融合算法選擇

在本文實(shí)驗(yàn)中，圖像融合是將紅外攝像頭和可見光攝像頭采集到的目標(biāo)圖像，經(jīng)過前文所述的操作后，再進(jìn)一步圖像處理，將紅外和可見光圖像進(jìn)行某種方式的信息整合，結(jié)合了紅外圖像信息，得到的圖像質(zhì)量會比之前的可見光圖像更高。圖像融合算法中，可分為像素級融合、特征級融合、決策級融合。像素級融合，顧名思義就是利用像素信息進(jìn)行融合，該融合從最原本的信息著手處理，能夠得到最原本的信息。特征性融合更多是利用圖像內(nèi)的物體形狀特征進(jìn)行匹配融合，常用于物體的邊角、紋理信息明顯的圖像。決策級融合則是綜合了像素級融合和特征級融合的特點(diǎn)，根據(jù)具體情況取其最優(yōu)綜合方案。在本文的實(shí)驗(yàn)中，無人機(jī)類型的小目標(biāo)識別對細(xì)節(jié)的要求較高，故選擇像素級融合的小波變換。

4.2 Harr小波變換：信號分解與重構(gòu)

對圖像信號的分解和圖像信息的重構(gòu)，Harr小波變換的實(shí)現(xiàn)過程如下[17]：

首先，在某一變化條件下，獲取信號[ft]的值，另外采集信號[ank=fk2n]，并且要求變化時間范圍大于或等于1/N。得到式（14）：

將[ft]函數(shù)用另一種方式表達(dá)出來。

接著，將信號進(jìn)行拆分。把等式左邊的[fnx]分布拆分為式（15）：

接著，加工得到的圖像信號。用式（16）表示：

其中[blk]為需要調(diào)參的參數(shù)，具體參數(shù)由具體情況而取最優(yōu)值。[b1k]為最優(yōu)解。

最后，對圖像信號進(jìn)行重新組合。設(shè)方程式為式（17）：

將上述等式代入該條件：

已知[a0]，與[b1l=0，1，2，…，n-1]是前面的分解與重構(gòu)得到的修改參數(shù)。

5 識別

5.1 算法的選擇

本文采用的識別算法是YOLOv3[18]，是one-stage結(jié)構(gòu)，輸入圖片，輸出bounding box和分類標(biāo)簽，由一個網(wǎng)絡(luò)完成。Faster-RCNN對小目標(biāo)檢測的效果很差、檢測速度較慢，屬于two-stage結(jié)構(gòu)，輸入圖片，生成建議區(qū)域（Region Proposal），然后送入分類器分類。兩個任務(wù)由不同的網(wǎng)絡(luò)完成，因此，two-stage結(jié)構(gòu)的特征層經(jīng)過多次卷積核才得到，這時的特征層就比較高了，抽象的層次越高，細(xì)節(jié)保留就越少。SSD對小目標(biāo)的信息保留能力較差，由于目標(biāo)跟蹤對實(shí)時性的要求比較高，而無人機(jī)又屬于小目標(biāo)，需要更高的信息，因此本文選擇了耗時最小的YOLOv3算法作為無人機(jī)識別算法。

5.2 YOLOv3

經(jīng)過主干特征提取網(wǎng)絡(luò)Darknet-53后，如圖 10所示，持續(xù)下采樣，高和寬不斷被壓縮，通道數(shù)不斷擴(kuò)張，此時得到一堆特征層，可以表示輸入的圖片特征，為了適應(yīng)不同尺度的檢測，網(wǎng)絡(luò)對不同尺度的特征圖進(jìn)行融合，得到三種不同尺度的特征圖，對應(yīng)預(yù)測尺寸不同的目標(biāo)。

首先，計算[IoUIntersectionoverUnion]，如式（18）所示：

其中，Pred為經(jīng)過特征提取網(wǎng)絡(luò)和回歸預(yù)測后得到的預(yù)測框，GT為Labelimg中標(biāo)注的真實(shí)框，IoU即兩個框的相似比例。當(dāng)IoU>0.5時，即為：TP（TruePositive），當(dāng)IoU<=0.5時，即為：FP（False Positive），當(dāng)沒有檢測到GT的數(shù)量時，即為：FN（False Negative），即可得到查準(zhǔn)率：Precision，公式如式（19），召回率Recall，公式如式（20）所示：

對應(yīng)不同的檢測結(jié)果框，會得到不同的置信度（IoU），取不同的置信度，可以獲得不同的Precision和不同的Recall。當(dāng)取得置信度夠密集時，就可以獲得非常多的Precision和Recall。此時Precision和Recall可以在圖片上X軸為Recall和Y軸為Precision的坐標(biāo)圖上畫出一條線，這條線下部分的面積就是該類的AP值。mAP就是所有的類的AP值求平均。

6 實(shí)驗(yàn)

6.1 數(shù)據(jù)集

在搭建的硬件平臺和軟件平臺的基礎(chǔ)上，對無人機(jī)進(jìn)行拍攝。訓(xùn)練集方面，如圖 11所示，總共獲得2565張，背景多為建筑和樹木的干擾信息。測試集方面，如圖 12和圖13所示，總共得到498張可見光圖像，498張紅外圖像。

6.2 預(yù)處理結(jié)果

由于對后續(xù)的Canny邊緣提取中，紅外圖像的成像特殊性，紅外目標(biāo)物體熱輻射通常會出現(xiàn)邊緣信息模糊的現(xiàn)象，使得其對下一步邊緣提取和匹配效果造成影響。為了更好地利用邊緣信息進(jìn)行配準(zhǔn)，提前對紅外圖像進(jìn)行Laplace預(yù)處理。圖 14為原始可見光圖像，圖 15為拉普拉斯濾波處理后獲得的增強(qiáng)圖像，可以發(fā)現(xiàn)，可見光圖像的細(xì)節(jié)明顯增強(qiáng)，可用于提升圖像融合中的細(xì)節(jié)信息。

6.3 配準(zhǔn)

分別把紅外圖像和可見光圖像通過Canny邊緣檢測得到的紅外圖像邊緣圖（如圖 16所示）、可見光圖像邊緣圖（如圖 17所示），即在ORB特征檢測算法的基礎(chǔ)上，得到紅外圖像的Canny邊緣圖，獲得清晰的配準(zhǔn)信息，得到配準(zhǔn)信息后完成可見光和紅外圖像的配準(zhǔn)，如圖 18所示。

6.4 融合

將可見光和紅外圖像融合后，得到融合圖像圖 19，由表 1可看出，能達(dá)到可將光和紅外圖像的中和，融合后的圖像比可見光的信息熵更高，圖像信息更多。

6.5 識別

在訓(xùn)練無人機(jī)數(shù)據(jù)集時，首先使用Labelimg對訓(xùn)練集進(jìn)行標(biāo)注，得到2565張訓(xùn)練集。同樣的方式對可見光圖像進(jìn)行標(biāo)注，得到498張可見光訓(xùn)練集。由表 2可得，測試得到mAP為92.45%，以同樣的標(biāo)注文件和498張融合圖像傳入網(wǎng)絡(luò)，測試得到mAP為93.39%，比原來提高了0.94%，證明融合圖像對識別有著正向作用。

7 結(jié)束語

本文整個流程圖如圖 20所示，由雙目攝像頭和可見光攝像頭拍攝所得的圖像，制作數(shù)據(jù)集，經(jīng)過Laplace預(yù)處理，再由Canny邊緣檢測ORB特征檢測融合配準(zhǔn)算法進(jìn)行配準(zhǔn)，最后經(jīng)過Harr小波融合得到融合圖像，并且對融合前后的圖像進(jìn)行無人機(jī)識別，得到不同的mAP值，提高了0.94%，證明圖像融合對無人機(jī)識別存在著積極的作用。在無人機(jī)識別方面，與以往文獻(xiàn)相比，首次使用紅外和可見光融合的角度提高識別率。在圖像配準(zhǔn)方面，與以往的文獻(xiàn)相比，首次將Canny和ORB算法融合進(jìn)行配準(zhǔn)。與此同時，Canny閾值和ORB閾值的閾值選取方面，可以進(jìn)一步加入自適應(yīng)算法，提高手動選擇的準(zhǔn)確率和時間。

參考文獻(xiàn)：

[1] 王海羅.基于視覺感知的無人機(jī)目標(biāo)識別與跟蹤技術(shù)研究[D].北京：北京理工大學(xué)，2015.

[2] 張宏偉，許道明，馬俊濤，等.Radon變換的雷達(dá)低慢小目標(biāo)檢測方法[J].現(xiàn)代防御技術(shù)，2018，46（3）：105-111.

[3] 李菠.基于激光探測技術(shù)的低空慢速小目標(biāo)航跡測量與定位研究[D].太原：中北大學(xué)，2017.

[4] 傅小明.復(fù)雜天氣下飛行目標(biāo)物識別跟蹤技術(shù)的研究[D].成都：電子科技大學(xué)，2020.

[5] 曹靖豪，張俊舉，黃維，等.基于多尺度特征融合的無人機(jī)識別與檢測[J].空天防御，2021，4（1）：60-64，70.

[6] 李潔，袁知博，秦嘉悅.基于Sobel算子邊緣檢測的太陽電池缺陷特征提取方法[J].太陽能學(xué)報，2021，42（1）：63-68.

[7] 羅楠，孫權(quán)森，耿蕾蕾，等.一種擴(kuò)展SURF描述符及其在遙感圖像配準(zhǔn)中的應(yīng)用[J].測繪學(xué)報，2013，42（3）：383-388.

[8] 周坤，谷晨鵬，張東，等.SIFT和ORB特征檢測算法在地形三維重建中的研究與應(yīng)用[J].測繪與空間地理信息，2021，44（3）：44-48.

[9] 汪鵬，金立左.基于Canny邊緣SURF特征的紅外與可見光圖像配準(zhǔn)算法[J].工業(yè)控制計算機(jī)，2020，33（4）：64-65.

[10] 王俊影.可見光、熱成像雙光譜融合體溫篩查系統(tǒng)的研究[D].廣州：廣東工業(yè)大學(xué)，2020.

[11] 曾世聰，郭太良，林志賢.基于ORB和角點(diǎn)方向夾角約束的快速圖像配準(zhǔn)方法[J].電視技術(shù)，2015，39（9）：75-79.

[12] 劉威，趙文杰，李德軍，等.一種基于ORB檢測的特征點(diǎn)匹配算法[J].激光與紅外，2015，45（11）：1380-1384.

[13] 張云生，鄒崢嶸.基于改進(jìn)ORB算法的遙感圖像自動配準(zhǔn)方法[J].國土資源遙感，2013，25（3）：20-24.

[14] CHUM O，MATAS J，KITTLER J. Locally optimized RANSA-C[C]//Proceedings of the 2013 Joint Pattern Recognition Symposium. Berlin： Springer， 2003：236-243.

[15] Hamady M，Walker J J，Harris J K，et al.Error-correcting barcoded primers for pyrosequencing hundreds of samples in multiplex[J].Nature Methods，2008，5 （3）：235-237.

[16] Rosten E，Drummond T.Machine learning for high-speed corner detection[C]//ECCV'06：Proceedings of the 9th European conference on Computer Vision - Volume Part I.2006：430-443.

[17] 陳科百.基于小波變換的滾動軸承故障診斷[J].內(nèi)燃機(jī)與配件，2020（2）：37-39.

[18] Redmon J，F(xiàn)arhadi A.YOLOv3：an incremental improvement[EB].arXiv：1804.02767v1，2018.

[19] Ren S Q，He K M，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[20] 樊璐，張軼.一種新的行人多目標(biāo)跟蹤算法[J].計算機(jī)應(yīng)用與軟件，2021，38（4）：190-196，214.

【通聯(lián)編輯：唐一東】

收稿日期：2021-11-15

基金項(xiàng)目：2020年東莞市科技裝備動員專項(xiàng)資金（KZ2020-02）;2019年廣東省科技創(chuàng)新戰(zhàn)略專項(xiàng)資金（2019B090904007）;廣東省科技計劃項(xiàng)目資金（2020B010190001）

作者簡介：黃穎杰（1997—），男，廣東梅州人，碩士，研究方向?yàn)橛嬎銠C(jī)視覺;梅領(lǐng)亮（1973—），男，浙江杭州人，教授，碩士，研究方向?yàn)橛嬎銠C(jī)視覺;王勇（1968—），男，湖南長沙人，教授，博士，計算機(jī)視覺;何鵬（1987—），男，河南鄭州人，博士，研究方向?yàn)轱w秒、皮秒、納秒激光;練彬（1984—），男，廣東梅州人，碩士，研究方向?yàn)檐娒袢诤?王瑛（1970—），女，湖南長沙人，教授，博士，研究方向?yàn)橛嬎銠C(jī)視覺。