陳州全,黃 俊,鄭元杰

(重慶郵電大學(xué) 通信與信息工程學(xué)院,重慶400065)

0 引 言

隨著近年來(lái)科學(xué)技術(shù)的發(fā)展,自動(dòng)駕駛技術(shù)也得到了充分的發(fā)展[1]。自動(dòng)駕駛不僅極大地方便了行人的交通出行,而且還可以減少道路交通事故的發(fā)生[2],是未來(lái)汽車(chē)技術(shù)發(fā)展的首要方向。環(huán)境感知是自動(dòng)駕駛領(lǐng)域的關(guān)鍵技術(shù)[3],目標(biāo)檢測(cè)在環(huán)境感知中發(fā)揮著重大的作用,它是規(guī)劃、決策和控制的基礎(chǔ)[4]。

傳統(tǒng)的目標(biāo)檢測(cè)算法主要基于單一傳感器進(jìn)行,但無(wú)論是基于毫米波雷達(dá)還是基于激光雷達(dá),又或是基于攝像頭對(duì)目標(biāo)進(jìn)行檢測(cè),都存在一定程度上的檢測(cè)缺陷[5]。文獻(xiàn)[6]采用高斯隱馬爾科夫模型來(lái)學(xué)習(xí)調(diào)頻連續(xù)波(Frequency Modulated Continuous Wave,FMCW)毫米波雷達(dá)檢測(cè)結(jié)果的標(biāo)簽數(shù)據(jù),以此來(lái)獲取目標(biāo)的相對(duì)距離以及相對(duì)速度。文獻(xiàn)[7]開(kāi)創(chuàng)性地提出了PointNet網(wǎng)絡(luò),將其應(yīng)用于激光雷達(dá)的檢測(cè)中,實(shí)現(xiàn)端到端的特征學(xué)習(xí)。之后,文獻(xiàn)[8]在PointNet的基礎(chǔ)上進(jìn)行改進(jìn),又提出了檢測(cè)效果更好的VoxelNet。它將空間劃分為一個(gè)一個(gè)的體素,然后進(jìn)行3D卷積,以對(duì)激光雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè),但3D卷積運(yùn)算量大,導(dǎo)致實(shí)時(shí)性不強(qiáng)。對(duì)此,文獻(xiàn)[9]提出PointPillars,將雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行柱擴(kuò)張,將無(wú)序點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為有序的點(diǎn)云柱,然后進(jìn)行2D卷積,彌補(bǔ)了VoxelNet網(wǎng)絡(luò)的不足,提升了檢測(cè)的速度。文獻(xiàn)[10]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)毫米波雷達(dá)圖像中的目標(biāo)進(jìn)行檢測(cè),為毫米波安檢系統(tǒng)中圖像的智能化檢測(cè)奠定了基礎(chǔ)。盡管基于單傳感器的目標(biāo)檢測(cè)算法已經(jīng)取得了不菲的成績(jī),但在一些復(fù)雜場(chǎng)景,如雨霧、強(qiáng)光、夜晚等場(chǎng)景中,其檢測(cè)效果仍然不夠理想[11]。

基于此,本文提出了一種基于注意力的毫米波雷達(dá)和視覺(jué)融合目標(biāo)檢測(cè)算法。該算法主要分為兩部分:毫米波雷達(dá)數(shù)據(jù)編碼部分以及數(shù)據(jù)融合目標(biāo)檢測(cè)部分。毫米波雷達(dá)數(shù)據(jù)編碼部分在PointPillars激光雷達(dá)編碼的基礎(chǔ)上得到啟發(fā),提出一種適用于毫米波雷達(dá)的扇形點(diǎn)云柱編碼(Fan-shaped Cloud Pillar Code,FCPC)的數(shù)據(jù)編碼方法,充分考慮不同傳感器坐標(biāo)位置之間的關(guān)系以及毫米波雷達(dá)點(diǎn)云數(shù)據(jù)相較于激光雷達(dá)更稀疏且近密遠(yuǎn)疏等特點(diǎn),將毫米波雷達(dá)點(diǎn)云數(shù)據(jù)在三維空間進(jìn)行扇形柱擴(kuò)張,扇形柱的面積隨著距離的增加非線(xiàn)性擴(kuò)張,然后對(duì)每個(gè)扇形柱中的點(diǎn)進(jìn)行編碼,以生成毫米波雷達(dá)點(diǎn)云前景偽圖像。數(shù)據(jù)融合目標(biāo)檢測(cè)部分采用注意力機(jī)制(Convolutional Block Attention Mechanism,CBAM)對(duì)毫米波雷達(dá)編碼數(shù)據(jù)以及RGB攝像頭數(shù)據(jù)進(jìn)行融合,然后將融合特征利用Yolov4-tiny進(jìn)行目標(biāo)檢測(cè)。本文在公開(kāi)的大型自動(dòng)駕駛數(shù)據(jù)集Nuscenes[12]上進(jìn)行算法驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,本文所提的毫米波雷達(dá)和視覺(jué)融合目標(biāo)檢測(cè)算法在面對(duì)雨霧、遮擋以及暗光等復(fù)雜場(chǎng)景時(shí),相較于傳統(tǒng)模型進(jìn)行目標(biāo)檢測(cè)具有更高的檢測(cè)精度以及更強(qiáng)的模型魯棒性。

1 相關(guān)工作

1.1 FCPC毫米波雷達(dá)扇形點(diǎn)云柱編碼

PointPillars是針對(duì)激光雷達(dá)點(diǎn)云進(jìn)行的一種點(diǎn)云編碼方式,其編碼過(guò)程如圖1所示。它首先以自我為中心,在H×W的空間生成R個(gè)底面積為h×w的立方柱體,對(duì)點(diǎn)云柱中每個(gè)點(diǎn)的原始坐標(biāo)(x,y,z)進(jìn)行維度擴(kuò)張,加入反射比r以及(xc,yc,zc,xp,yp),將原有的一個(gè)點(diǎn)擴(kuò)張為D=9維的向量,其中xc,yc,zc代表所有點(diǎn)的中心值,xp,yp代表離中心距離的偏移。

圖1 PointPillars編碼過(guò)程

由于激光雷達(dá)點(diǎn)云數(shù)據(jù)的稀疏性,對(duì)于點(diǎn)云柱集合R,將會(huì)含有大量的空柱體。為此,PointPillars對(duì)每個(gè)樣本施加約束,規(guī)定:對(duì)每個(gè)樣本非空點(diǎn)云柱的數(shù)量為P,對(duì)于多于數(shù)量P的集合R,對(duì)其進(jìn)行采樣,少則進(jìn)行補(bǔ)零;其次,對(duì)每個(gè)點(diǎn)云柱,約束其內(nèi)點(diǎn)數(shù)數(shù)量為N,同樣,在點(diǎn)云柱中多于點(diǎn)數(shù)N的進(jìn)行采樣,少則進(jìn)行補(bǔ)零。經(jīng)過(guò)上述操作,將無(wú)序的激光雷達(dá)點(diǎn)云數(shù)據(jù)編碼成一個(gè)大小為(D,P,N)的張量。

對(duì)于編碼生成的(D,P,N)的張量,采用一個(gè)卷積核為1×1的卷積層進(jìn)行通道整合,以生成一個(gè)(C,P,N)大小的張量,然后對(duì)每個(gè)點(diǎn)云柱中的所有點(diǎn)進(jìn)行最大池化,得到一個(gè)大小為(C,P)的特征矩陣。因?yàn)镻代表的是非空點(diǎn)云柱的數(shù)量,因此,可以將P個(gè)非空點(diǎn)云柱依據(jù)原坐標(biāo)變換關(guān)系將其變換映射到原始檢測(cè)范圍內(nèi)得到大小為(C,H,W)的點(diǎn)云偽圖像,然后再通過(guò)SSD[13]進(jìn)行目標(biāo)框的回歸預(yù)測(cè)。但這種編碼方式只適用于單一傳感器,因?yàn)槠湮瓷婕暗狡渌麄鞲衅髦g同步的問(wèn)題,且與激光雷達(dá)不同的是,毫米波雷達(dá)具有較激光雷達(dá)點(diǎn)云數(shù)據(jù)更加稀疏的特點(diǎn),并具備近密遠(yuǎn)疏[14]的特點(diǎn),因此,如果直接采用PointPillars編碼方式將使得毫米波雷達(dá)和攝像頭數(shù)據(jù)之間無(wú)法建立信息上的相關(guān)性,從而無(wú)法得到較好的推理結(jié)果。本文在PointPillars與文獻(xiàn)[15]CRF-Net的啟發(fā)下,提出了一種適用于多傳感器毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的編碼方式——扇形點(diǎn)云柱編碼,其結(jié)構(gòu)如圖2所示。FCPC以毫米波雷達(dá)為原點(diǎn)(為更好地進(jìn)行表示,這里只繪制出一半的區(qū)域進(jìn)行說(shuō)明),在水平地沿原點(diǎn)位置以角度α從左向右進(jìn)行區(qū)域分,同時(shí)在原點(diǎn)以增長(zhǎng)速率l向外進(jìn)行圓形擴(kuò)張,通過(guò)公式(1)可以計(jì)算得到在增長(zhǎng)率為l、角度為α下的面積增長(zhǎng)s。

圖2 FCPC雷達(dá)點(diǎn)云編碼流程

(1)

由公式(1)可以看出,s的增長(zhǎng)是非線(xiàn)性的,且隨著距離的增加,面積非線(xiàn)性增加,符合毫米波雷達(dá)點(diǎn)云近密遠(yuǎn)疏的特性。

對(duì)于空間體素集合N中的每個(gè)點(diǎn)p(x,y,z),對(duì)其維度進(jìn)行擴(kuò)張。由于在Nuscenes數(shù)據(jù)集中毫米波雷達(dá)點(diǎn)云數(shù)據(jù)中z軸數(shù)據(jù)都為0,因此,在編碼中去掉z軸信息,并加入RCS反射截面積r,它是目標(biāo)在雷達(dá)接收方向上反射雷達(dá)信號(hào)能力的度量,能在一定程度上反映出目標(biāo)的體積大小,為目標(biāo)檢測(cè)提供了信息互補(bǔ)的作用。除此之外,在此基礎(chǔ)上再加入(xp,yp,xc,yc,vx,vy,dyn,ph0,amb)等10個(gè)維度信息,將其擴(kuò)展為D=12維的向量,其中,(xp,yp)為空間體素中的中心坐標(biāo);(xc,yc)為點(diǎn)相對(duì)中心點(diǎn)的偏移量;(vx,vy)為自我運(yùn)動(dòng)補(bǔ)償速度;dyn為群集動(dòng)態(tài)屬性,用于指示是否物體是否正在移動(dòng);ph0為群集的虛警概率,可用于對(duì)不同場(chǎng)景進(jìn)行一定區(qū)分;amb為多普勒狀態(tài)模糊解,用于粗略估計(jì)目標(biāo)狀態(tài)。根據(jù)圖2所示區(qū)域劃分,依據(jù)角度從左向右,l從中心向外增長(zhǎng)的規(guī)則,對(duì)空間區(qū)域分別進(jìn)行編號(hào),然后在空間進(jìn)行扇形區(qū)域堆疊。我們規(guī)定,在空間中非空扇形柱的數(shù)量為P,且每個(gè)扇形柱中點(diǎn)云數(shù)量為N,多則進(jìn)行采樣,少則補(bǔ)零,從而將H×W的空間進(jìn)行扇形編碼為大小為(D,P,N)的張量,然后將其通過(guò)一個(gè)1×1的卷積層和relu層,并在每個(gè)扇形柱中對(duì)每個(gè)點(diǎn)進(jìn)行全局最大池化,以生成大小為(C,P)的毫米波雷達(dá)特征圖。將P個(gè)有效非空點(diǎn)云柱首先根據(jù)原坐標(biāo)索引映射回原始空間坐標(biāo),然后再根據(jù)毫米波雷達(dá)和攝像機(jī)的旋轉(zhuǎn)和平移矩陣以及攝像機(jī)的內(nèi)外參數(shù)將其映射到長(zhǎng)寬為H1和W1的2D圖像上,從而生成一個(gè)與原始圖像長(zhǎng)寬同樣大小但通道不同的2D偽圖像,其維度為(C,H1,W1)。

1.2 融合目標(biāo)檢測(cè)網(wǎng)絡(luò)

整個(gè)融合網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。首先將編碼的毫米波雷達(dá)數(shù)據(jù)通過(guò)一個(gè)1×1的卷積進(jìn)行通道整合,然后將其通過(guò)CBAM[16]進(jìn)行特征提取生成毫米波雷達(dá)特征數(shù)據(jù)M1。其中CBAM代表注意力模塊,其結(jié)構(gòu)如圖3下半部分所示。通過(guò)引入注意力機(jī)制,可以使得模型更加關(guān)注主干特征,從而進(jìn)一步地減少背景造成的干擾。它主要由兩部分組成,分別是通道注意力和空間注意力。在給定的特征圖上,通道注意力首先對(duì)通道進(jìn)行最大池化以及平均池化,然后將它們分別輸入一個(gè)全連接層來(lái)自適應(yīng)的調(diào)整權(quán)重參數(shù),并將兩者數(shù)據(jù)在維度上進(jìn)行逐點(diǎn)相加,并經(jīng)過(guò)一個(gè)Sigmoid函數(shù)將通道注意力權(quán)重歸一化到0～1之間,然后在將輸入特征與其進(jìn)行逐像素相乘,以此來(lái)調(diào)整輸入特征的比重。

圖3 融合目標(biāo)檢測(cè)網(wǎng)絡(luò)

空間注意力模塊沿著給定特征圖在通道方向上進(jìn)行最大池化與平均池化,并將兩者進(jìn)行堆疊,然后再依次通過(guò)一個(gè)7×7大小卷積核的卷積層以及Sigmoid激活層,得到空間注意力特征矩陣。最后將輸入特征與該權(quán)重參數(shù)進(jìn)行相乘,以得到空間維度上的特征。

同一時(shí)刻,對(duì)攝像頭采集RGB圖片數(shù)據(jù)做同樣處理,通過(guò)調(diào)整卷積核的數(shù)量,生成和毫米波雷達(dá)數(shù)據(jù)同維度大小的數(shù)據(jù),然后再經(jīng)過(guò)CBAM注意力模塊得到相同大小維度的圖片特征數(shù)據(jù)M2,對(duì)其進(jìn)行逐像素相加融合,生成融合特征M。

在檢測(cè)方面,考慮到車(chē)載實(shí)時(shí)性的問(wèn)題,本文選取Yolov4-tiny進(jìn)行目標(biāo)檢測(cè)以及回歸。Yolov4-tiny是Yolov4[17]的精簡(jiǎn)版本,在原Yolov4網(wǎng)絡(luò)的基礎(chǔ)上移除了一些冗余的卷積層,其網(wǎng)絡(luò)結(jié)構(gòu)如圖3右上半部分所示。它主要由兩部分組成,分別為CSPDark-53-Tiny特征提取模塊和FPN特征金字塔多尺度特征融合模塊組成,將生成的融合特征M輸入Yolov4-tiny進(jìn)行目標(biāo)檢測(cè)以及邊界框的回歸。

1.3 損失函數(shù)改進(jìn)

在Yolov4-tiny中,使用交叉熵來(lái)進(jìn)行分類(lèi)損失的計(jì)算,它表述了真實(shí)概率和預(yù)測(cè)輸出概率之間的距離,其表達(dá)式為

Lloss=-ylgy′-(1-y)lg(1-y′)=

(2)

式中:y表示真實(shí)概率;y′表示預(yù)測(cè)概率。在交叉熵?fù)p失中,正負(fù)樣本所占比例一樣,但在實(shí)際中,往往正樣本數(shù)遠(yuǎn)遠(yuǎn)小于負(fù)樣本數(shù),因此,通過(guò)交叉熵?fù)p失計(jì)算類(lèi)別損失將極大降低模型的檢測(cè)精度。

為了解決上述在訓(xùn)練中由于正負(fù)樣本不均的問(wèn)題,本文引入Focal Loss[18]對(duì)原分類(lèi)損失以及置信度損失進(jìn)行改進(jìn)。與交叉熵?fù)p失所不同的是,Focal Loss在交叉熵?fù)p失的基礎(chǔ)上引入調(diào)節(jié)因子α和χ以此來(lái)調(diào)節(jié)正負(fù)樣本不均衡的問(wèn)題,其表達(dá)式為

Lfloss=-αy(1-y′)χlgy′-

(1-α)(1-y)(y′)χlg(1-y′)=

(3)

在本文中,根據(jù)Focal Loss 原論文推薦,將α設(shè)置為0.25,χ設(shè)置為2。

2 實(shí)驗(yàn)結(jié)果分析

2.1 數(shù)據(jù)集

本文采用Nuscenes數(shù)據(jù)集進(jìn)行算法驗(yàn)證。它包含1 000個(gè)場(chǎng)景,并包含140萬(wàn)張圖片,130萬(wàn)個(gè)毫米波雷達(dá)掃描幀以及140萬(wàn)個(gè)對(duì)象邊界框,涵蓋多達(dá)23個(gè)類(lèi)別。因?yàn)楸疚闹饕槍?duì)自動(dòng)駕駛前方車(chē)輛的檢測(cè),因此本文選取bus.bendy、bus.rigid、car、construction、motorcycle、truck、bicycle、trailer共8類(lèi)進(jìn)行實(shí)驗(yàn)。由于bus.bendy和bus.rigid同屬于bus類(lèi)別,且其在整個(gè)數(shù)據(jù)集中占比較小,因此,將其統(tǒng)一合并為bus類(lèi)別,合并之后各數(shù)據(jù)占比如圖4所示。

Nuscenes數(shù)據(jù)集包含的類(lèi)別注釋都是3D框,因此,在本文的檢測(cè)任務(wù)中,需要將其從3D框轉(zhuǎn)換為2D平面框經(jīng)過(guò)預(yù)處理轉(zhuǎn)換過(guò)后的對(duì)象標(biāo)注框如圖5所示。

圖5 3D邊界到2D邊界框轉(zhuǎn)換

每一幀毫米波雷達(dá)包含125個(gè)點(diǎn)左右,其中每個(gè)點(diǎn)含有18個(gè)維度,包含速度、角度、坐標(biāo)、RCS、多普勒狀態(tài)模糊解等。由于毫米波雷達(dá)點(diǎn)云數(shù)據(jù)較少,因此,將毫米波雷達(dá)相鄰前后3幀點(diǎn)云數(shù)據(jù)進(jìn)行聚合。

毫米波雷達(dá)和攝像頭位于不同的空間位置,因此,在進(jìn)行算法融合之前,需要對(duì)毫米波雷達(dá)和攝像頭數(shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)齊。在數(shù)據(jù)集中,毫米波雷達(dá)和攝像頭數(shù)據(jù)位置坐標(biāo)都是基于車(chē)輛慣性導(dǎo)航單元給出,且擁有各自相對(duì)于車(chē)輛慣性導(dǎo)航位置的旋轉(zhuǎn)和平移矩陣。以攝像頭坐標(biāo)為參考系,攝像頭坐標(biāo)相對(duì)于車(chē)輛慣性導(dǎo)航單元平移矩陣為T(mén)1,毫米波雷達(dá)平移矩陣為T(mén)2,則毫米波雷達(dá)到相機(jī)坐標(biāo)的平移矩陣為T(mén)由公式(4)給出:

T=T1-T2。

(4)

同理,攝像機(jī)的旋轉(zhuǎn)矩陣為R1,毫米波雷達(dá)的旋轉(zhuǎn)矩陣為R2,則毫米波雷達(dá)轉(zhuǎn)換到相機(jī)的旋轉(zhuǎn)矩陣R由公式(5)給出:

R=R1·R2。

(5)

對(duì)此可將毫米波雷達(dá)坐標(biāo)點(diǎn)(xr,yr,zr)通過(guò)公式(6)轉(zhuǎn)換到攝像機(jī)的空間坐標(biāo)系中,對(duì)應(yīng)點(diǎn)坐標(biāo)為(xr1,yr1,zr1)。

(6)

經(jīng)過(guò)坐標(biāo)對(duì)齊之后的毫米波雷達(dá)數(shù)據(jù)在2D圖像上表示如圖6所示。

圖6 毫米波雷達(dá)到2D圖像映射圖

由于毫米波雷達(dá)僅有(x,y)軸信息,而不含有z軸高度信息,因此將毫米波雷達(dá)數(shù)據(jù)映射到2D圖中時(shí),為更直觀(guān)地進(jìn)行表述,以顏色的深淺代表目標(biāo)距離的遠(yuǎn)近。

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本文實(shí)驗(yàn)平臺(tái)為Ubuntu 16.04,使用Python3.8作為開(kāi)發(fā)語(yǔ)言,深度學(xué)習(xí)框架為T(mén)ensorflow2.2,CUDA版本為10.2。數(shù)據(jù)集為經(jīng)過(guò)篩選過(guò)濾的Nuscenes數(shù)據(jù)集。

對(duì)搭建的數(shù)據(jù)融合網(wǎng)絡(luò)采用梯度下降的方式進(jìn)行訓(xùn)練。為了加快模型的收斂,采用遷移學(xué)習(xí)的策略,加載預(yù)訓(xùn)練VOC數(shù)據(jù)集權(quán)重對(duì)模型進(jìn)行參數(shù)初始化,同時(shí)采用凍結(jié)訓(xùn)練的方式,在前50個(gè)Epoch時(shí),凍結(jié)模型一半的訓(xùn)練參數(shù),設(shè)置學(xué)習(xí)率為1×10-3,batch設(shè)置為16,然后進(jìn)行模型解凍,再進(jìn)行前向傳播100次,batch設(shè)置為8,學(xué)習(xí)率設(shè)置為1×10-5,總迭代次數(shù)為150輪。訓(xùn)練時(shí),優(yōu)化器為Adam,并設(shè)置Loss提前終止條件。圖7顯示了訓(xùn)練過(guò)程中損失函數(shù)的變化過(guò)程。

圖7 訓(xùn)練過(guò)程loss變化曲線(xiàn)

從圖7中可以看出,在訓(xùn)練到50個(gè)Epoch將模型進(jìn)行解凍訓(xùn)練時(shí),Loss進(jìn)行了突變,但是隨著訓(xùn)練輪次的繼續(xù)進(jìn)行,Loss繼續(xù)下降,最后在訓(xùn)練到132個(gè)Epoch的時(shí)候,模型損失不再下降,終止訓(xùn)練。

2.3 評(píng)價(jià)指標(biāo)

本文使用平均精度(mean Average Precision,mAP)以及每秒幀率(Frame per Second,FPS)對(duì)模型進(jìn)行評(píng)估。計(jì)算mAP需要首先計(jì)算精確度p和召回率r,其公式分別如式(7)和(8)所示:

(7)

(8)

式(7)和(8)中:TP表示樣本為正樣本而預(yù)測(cè)結(jié)果也為正樣本;FP表示樣本為負(fù)樣本而預(yù)測(cè)為正樣本;FN表示樣本為正樣本但是預(yù)測(cè)為負(fù)樣本。以p為縱軸,r為橫軸,繪制p-r曲線(xiàn),平均精確度(Average Precision,AP)被定義為p-r曲線(xiàn)下的面積,其表達(dá)式為

(9)

mAP被定義為所有類(lèi)別AP的平均值,其表達(dá)式為

(10)

式中:n表示一共有多少類(lèi),在本文中,共有7類(lèi),因此n為7。

FPS是衡量目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)速度的一個(gè)指標(biāo),其含義是在單位時(shí)間中模型能檢測(cè)多少幀,其定義為

(11)

式中:Tstart表示檢測(cè)開(kāi)始的時(shí)間;Tend表示檢測(cè)結(jié)束時(shí)間。

2.4 實(shí)驗(yàn)結(jié)果

本文共分為3組進(jìn)行測(cè)試,分別對(duì)應(yīng)正常天氣、遮擋、暗光等環(huán)境,檢測(cè)結(jié)果如圖8所示。

在圖8中,第一組為在正常天氣環(huán)境下使用測(cè)試集中圖片進(jìn)行檢測(cè)的結(jié)果。從第一組實(shí)驗(yàn)可以看出,在正常天氣下,通過(guò)圖片進(jìn)行檢測(cè)和通過(guò)融合毫米波雷達(dá)數(shù)據(jù)進(jìn)行檢測(cè)都能都精確地將目標(biāo)檢測(cè)出來(lái),未出現(xiàn)漏檢的情況。這是因?yàn)樵谡Ｌ鞖?攝像頭能提供豐富的像素信息,因此能精準(zhǔn)地將目標(biāo)進(jìn)行檢測(cè)出來(lái)。

第二組實(shí)驗(yàn)為目標(biāo)遮擋的情況。由檢測(cè)結(jié)果可以看出,在僅使用圖片數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)時(shí),Yolov4-tiny出現(xiàn)了漏檢的情況,而融合毫米波雷達(dá)數(shù)據(jù)之后,則能較好地對(duì)目標(biāo)進(jìn)行檢測(cè)。這是因?yàn)樵谡趽醯那闆r下,攝像頭無(wú)法獲取目標(biāo)的特征信息,將會(huì)將其視為背景進(jìn)行處理,而編碼后的毫米波雷達(dá)數(shù)據(jù)則提供目標(biāo)的特征信息,因此,在遮擋的情況下,僅使用圖片進(jìn)行目標(biāo)檢測(cè)將造成一定的漏檢。

第三組為在夜晚暗光條件下進(jìn)行的測(cè)試。由檢測(cè)結(jié)果可以看出,僅使用圖像信息進(jìn)行目標(biāo)檢測(cè)存在大量漏檢的情況,后面光照較暗的小車(chē)和右邊被遮擋的車(chē)輛都未能檢測(cè)出來(lái),而本文的融合算法能在目標(biāo)模糊以及光照不強(qiáng)的情況下依然能將目標(biāo)檢測(cè)出來(lái),具有較強(qiáng)的抗干擾性。

為了更進(jìn)一步的驗(yàn)證本文所提融合算法的性能,本文在同樣的環(huán)境下,先后測(cè)試了Yolov3[19]、Yolov4[17]、Yolov4-tiny、Efficientnet[20]、Faster-RCNN[21]等目標(biāo)檢測(cè)網(wǎng)絡(luò),并使用平均精度以及每秒檢測(cè)幀數(shù)進(jìn)行模型評(píng)估,檢測(cè)結(jié)果如表1所示。

表1 本文算法與其他算法的對(duì)比

由表1可以看出,Yolov4的平均精度達(dá)到了60.83,但是其檢測(cè)速度只有44.81;Yolov4-tiny雖然檢測(cè)速度較高,但是其檢測(cè)精度卻相較于Yolov4下降了19.31的精度;本文提出的融合算法在檢測(cè)精度上高達(dá)61.82,不僅檢測(cè)精度與Yolov4相當(dāng),而且其檢測(cè)速度也達(dá)到了53.84,較原始Yolov4網(wǎng)絡(luò)提高了9.03。綜合檢測(cè)精度以及檢測(cè)速度來(lái)看,本文所提的毫米波雷達(dá)與攝像頭融合目標(biāo)檢測(cè)算法優(yōu)于其他算法。

2.5 消融實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證本文各模塊的有效性,分別對(duì)編碼方式、融合方式以及損失函數(shù)進(jìn)行消融實(shí)驗(yàn),實(shí)驗(yàn)共分5組進(jìn)行,結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)結(jié)果

由表2可以看出,當(dāng)采用FCPC毫米波雷達(dá)編碼策略時(shí),其mAP相較于原始基模型時(shí)有較為明顯的提升;其次,從第2～4組實(shí)驗(yàn)可以看出,本文所采用的CBAM融合策略以及Focal Loss損失改進(jìn)策略都在一定程度上提升了檢測(cè)精度。綜合以上5組實(shí)驗(yàn),可以看出本文所提改進(jìn)方向的有效性。

3 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)目標(biāo)檢測(cè)算法基于圖像進(jìn)行處理,在面對(duì)如雨霧,遮擋,強(qiáng)光等復(fù)雜場(chǎng)景下,目標(biāo)容易造成漏檢、誤檢的情況,本文提出了一種基于毫米波雷達(dá)與攝像頭數(shù)據(jù)進(jìn)行融合的目標(biāo)檢測(cè)算法,并在Nuscenes數(shù)據(jù)集上進(jìn)行模型驗(yàn)證與對(duì)比。實(shí)驗(yàn)結(jié)果顯示,本文所提融合算法相較于基于圖像進(jìn)行目標(biāo)檢測(cè)算法具有更強(qiáng)的抗干擾能力以及更高的檢測(cè)精度。由于條件限制,本文所提算法未在實(shí)車(chē)上進(jìn)行測(cè)試,因此,在后續(xù)工作中將考慮利用實(shí)車(chē)對(duì)算法性能進(jìn)行進(jìn)一步驗(yàn)證并改進(jìn)。