摘 要：為了解決單傳感器在復(fù)雜環(huán)境下目標(biāo)檢測精度低問題，提出了一種基于RD-YOLO的毫米波雷達(dá)和視覺融合的顯著性目標(biāo)檢測方法。首先設(shè)計(jì)了能夠?qū)⒑撩撞ɡ走_(dá)點(diǎn)云轉(zhuǎn)換為圖像的方法，使毫米波雷達(dá)和視覺數(shù)據(jù)在模型輸入時(shí)實(shí)現(xiàn)特征融合；然后通過動(dòng)態(tài)互補(bǔ)注意力機(jī)制，對兩個(gè)圖像分支生成特征設(shè)置空間和通道動(dòng)態(tài)注意力權(quán)重；最后采用YOLOv8檢測融合后特征，引入改進(jìn)損失函數(shù)Focal Loss以解決樣本不均衡問題。在數(shù)據(jù)集nuScenes上開展的相關(guān)實(shí)驗(yàn)表明，與YOLOv5、YOLOv7、YOLOv8、Faster R-CNN和FCOS相比，所提方法目標(biāo)檢測綜合性能良好，均值平均精度比原始YOLOv8提升了9.19%。

關(guān)鍵詞：顯著性目標(biāo)檢測；特征融合；毫米波雷達(dá)；雷達(dá)點(diǎn)云轉(zhuǎn)換；動(dòng)態(tài)互補(bǔ)注意力機(jī)制

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A

Salient target detection using millimeter wave radar and visual fusion based on the RD-YOLO

WANG Yang WANG Chenfei ZHANG Guanghai ZHANG Jun HOU Hailun OUYANG Shaoxiong

（1. School of Big Data amp; Artificial Intelligence， Wuhu University， Wuhu 241000， China; 2. School of Computer and Information， Anhui Normal University， Wuhu 241002， China; 3. Wuhu Research Center for Big Data and Artificial Intelligence， Wuhu 241003， China）

Abstract： To address the problem of low detection accuracy in single sensor target detection in complex environments， this paper proposes a salient target detection method based on the RD-YOLO using millimeter wave radar and visual fusion. Firstly， a method was designed to convert millimeter wave radar point clouds into images， enabling feature fusion between millimeter wave radar and visual data during model input. Then， the spatial and channel dynamic attention weights were set for the two image branching generation features through an interactive complementary attention mechanism. Finally， using YOLOv8 to detect the fused features， an improved loss function Focal Loss was introduced to solve the problem of imbalanced samples. Relevant experiments were conducted on the nuScenes dataset. The results show that， compared with YOLOv5， YOLOv7， YOLOv8， Faster R-CNN， and FCOS， the method proposed in this paper has good overall performance in object detection， with an average accuracy improvement of 9.19% compared to the original YOLOv8.

Key words： salient target detection; feature fusion; millimeter-wave radar; radar point cloud to image; dynamic complementary attention module

自動(dòng)駕駛系統(tǒng)需有效感知周圍環(huán)境，而感知任務(wù)的關(guān)鍵之一是顯著性目標(biāo)檢測[1]。由于單一毫米波雷達(dá)的目標(biāo)檢測技術(shù)在惡劣天氣和光照不足條件下存在檢測精度無法保證等問題，因此，基于毫米波雷達(dá)和基于視覺傳感器的目標(biāo)檢測在自動(dòng)駕駛領(lǐng)域受到了廣泛關(guān)注。毫米波雷達(dá)能夠精確測量多個(gè)目標(biāo)距離、相對速度和角度。毫米波雷達(dá)與視覺傳感器融合在一定程度上能夠進(jìn)一步提高顯著性目標(biāo)檢測和跟蹤性能。然而，在毫米波雷達(dá)與視覺融合過程中，傳統(tǒng)方法難以實(shí)現(xiàn)惡劣天氣和復(fù)雜場景下的目標(biāo)精準(zhǔn)檢測。本文從通道和空間兩個(gè)方面考慮，引入動(dòng)態(tài)互補(bǔ)注意力機(jī)制（DCAM），提出基于RD-YOLO的毫米波雷達(dá)和視覺融合顯著性目標(biāo)檢測方法。首先利用適用于毫米波雷達(dá)的RPTI方法生成毫米波雷達(dá)點(diǎn)云圖像，然后采用DCAM融合上述圖像數(shù)據(jù)和攝像頭采集數(shù)據(jù)，之后在YOLOv8上基于融合后的特征進(jìn)行顯著性目標(biāo)檢測。

1 RD-YOLO模型

圖1為基于RD-YOLO的網(wǎng)絡(luò)結(jié)構(gòu)，主要由主干、頸部和頭部3個(gè)部分構(gòu)成。輸入端將毫米波雷達(dá)點(diǎn)云數(shù)據(jù)處理后，變換成2D雷達(dá)點(diǎn)云圖像，再和RGB圖像一起輸入網(wǎng)絡(luò)；對輸入圖像進(jìn)行數(shù)據(jù)增強(qiáng)和處理后輸出識(shí)別結(jié)果。下面依次對RPTI毫米波雷達(dá)點(diǎn)云圖像轉(zhuǎn)換、融合顯著性目標(biāo)檢測網(wǎng)絡(luò)和改進(jìn)損失函數(shù)等關(guān)鍵環(huán)節(jié)進(jìn)行描述。

1.1 RPTI

對于沒有雷達(dá)點(diǎn)的未知區(qū)域，像素值均為0。毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的處理過程為：1）對毫米波雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行坐標(biāo)變換；2）賦予雷達(dá)點(diǎn)云像素值；3）對雷達(dá)點(diǎn)云進(jìn)行整體渲染。處理攝像頭圖像平面范圍內(nèi)所有雷達(dá)點(diǎn)后可以生成雷達(dá)圖像，其尺寸與前置攝像頭相同，攝像頭分辨率為1 600×900。雷達(dá)圖像生成模型中涉及兩種情形，見圖3。第一種情形是當(dāng)圖像平面的雷達(dá)點(diǎn)M和N之間的距離l是渲染半徑r的兩倍及以上；第二種情形是當(dāng)雷達(dá)點(diǎn)M和N之間的距離l小于渲染半徑r的兩倍時(shí)。為進(jìn)一步完成顯著性目標(biāo)檢測，需對毫米波雷達(dá)點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行預(yù)處理。利用毫米波雷達(dá)檢測來生成目標(biāo)的實(shí)時(shí)算法（RRPN），將生成的結(jié)果用于顯著性目標(biāo)檢測網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過融合毫米波雷達(dá)和攝像頭數(shù)據(jù)來獲得更高精度和可靠性。RRPN提供了一種注意力機(jī)制：將底層計(jì)算資源數(shù)據(jù)集的重要部分通過透視變換生成興趣區(qū)域（region of interest， ROI），并將毫米波雷達(dá)獲得的車輛坐標(biāo)映射到攝像頭視圖坐標(biāo)。但毫米波雷達(dá)檢測并不總是映射到圖像中物體的中心；且毫米波雷達(dá)難以提供檢測物體大小的信息。

為了解決這個(gè)問題，本文提出了使用 Faster R-CNN錨定邊界框方法。以每個(gè)POI為中心生成多個(gè)大小不同、縱橫比各異的邊界框。本文使用4種尺寸和3種縱橫比來生成這些錨點(diǎn)。雷達(dá)探測到的物體距離信息被用于縮放生成的錨點(diǎn)，錨點(diǎn)比例因子使用式（2）計(jì)算。

1.2 DCAM模塊

為使雷達(dá)點(diǎn)云圖像和RGB圖像能夠有效地產(chǎn)生圖像細(xì)節(jié)特征，獲得更大的感受野，本文基于文獻(xiàn)[1]提出了圖4所示的特征融合DCAM模塊，旨在區(qū)分CNN和transformer在特性、語義和分辨率方面的差異。

1.3 Focal Loss

Focal Loss[3]的引入是為了解決目標(biāo)檢測場景訓(xùn)練過程中樣本不平衡問題，如式（6）所示：

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)集

文獻(xiàn)[4]是大規(guī)模自動(dòng)駕駛數(shù)據(jù)集，23個(gè)對象類別140萬張圖片由3D邊界框注釋。 實(shí)驗(yàn)選取8個(gè)對象類別，并將占比較小的bus類別中bus.bendy、bus.rigid合并。為了便于算法訓(xùn)練，將nuScenes數(shù)據(jù)集三維注釋框轉(zhuǎn)換為二維注釋框，見圖5。

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

為驗(yàn)證算法有效性，在nuScense數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)和對比實(shí)驗(yàn)。本文實(shí)驗(yàn)環(huán)境配置和參數(shù)設(shè)置見表1。對搭建的數(shù)據(jù)融合網(wǎng)絡(luò)采用梯度下降的方式初始化。

2.3 評價(jià)指標(biāo)

2.4 實(shí)驗(yàn)結(jié)果

圖6（a）、圖6（b）和圖6（c）分別是在正常天氣、有遮擋和光線較暗環(huán)境下對圖像信息和融合毫米波雷達(dá)數(shù)據(jù)進(jìn)行目標(biāo)顯著性檢測實(shí)驗(yàn)。每一組實(shí)驗(yàn)依次包含3種場景：輸入原圖、YOLOv8標(biāo)記圖和RD-YOLO結(jié)果圖。

第一組實(shí)驗(yàn)表明，在正常天氣情況下，兩種情況均未出現(xiàn)漏檢，說明攝像頭能夠提供檢測所需的足夠多的像素信息，可以進(jìn)行精準(zhǔn)檢測。第二組實(shí)驗(yàn)表明，YOLOv8在僅有圖像信息時(shí)會(huì)出現(xiàn)漏檢，這說明部分重要信息因遮擋無法被攝像頭獲取。而毫米波雷達(dá)數(shù)據(jù)經(jīng)過轉(zhuǎn)換并經(jīng)過DCAM處理后能夠獲得顯著性目標(biāo)數(shù)據(jù)信息，能夠提升檢測效果。第三組實(shí)驗(yàn)是在光線較暗背景下進(jìn)行的。由測試結(jié)果可知，在對圖像信息進(jìn)行檢測時(shí)，因?yàn)椴糠止饩€較暗被誤認(rèn)為了背景信息，或有部分重要信息因遮擋而未被檢測到，因此出現(xiàn)了大量的漏檢。RD-YOLO檢測效果依然很好，說明其抗干擾能力強(qiáng)。

為比較不同雷達(dá)點(diǎn)云圖像渲染半徑對顯著性目標(biāo)檢測精度的影響，選取六組不同雷達(dá)點(diǎn)云圖像渲染的半徑長度，分別進(jìn)行實(shí)驗(yàn)，通過檢測精度結(jié)果分析，半徑為7的渲染方案效果最好，檢測結(jié)果見表2。

2.5 消融實(shí)驗(yàn)

為對各模塊有效性進(jìn)一步驗(yàn)證，分別對RPTI、DCAM及損失函數(shù)進(jìn)行消融實(shí)驗(yàn)。結(jié)果見表4。

3 結(jié)論

針對自動(dòng)駕駛復(fù)雜環(huán)境下的顯著性目標(biāo)問題，提出了基于RD-YOLO的毫米波雷達(dá)和視覺融合的顯著性目標(biāo)檢測方法。實(shí)驗(yàn)表明，該方法在自動(dòng)駕駛復(fù)雜場景下能取得一定的檢測效果。但對于惡劣天氣和復(fù)雜交通環(huán)境，如何在有限感受野情形下增強(qiáng)獲得感知超大或小規(guī)模顯著性目標(biāo)的檢測能力是未來需要進(jìn)一步開展的研究內(nèi)容。

參考文獻(xiàn)：

[1]MAM C， XIA C， XIE C， et al. Boosting broader receptive fields for salient object detection[J]. IEEE Transactions on Image Processing， 2023， 32（2）： 1026-1038.

[2]高潔， 朱元， 陸科. 基于雷達(dá)和相機(jī)融合的目標(biāo)檢測方法[J]. 計(jì)算機(jī)應(yīng)用， 2021， 41（11）： 3242-3250.

[3]ALJOHANI N R， FAYOUMI A， HASSAN S U. A novel focal-loss and class-weight-aware convolutional neural network for the classification of in-text citations[J]. Journal of Information Science， 2023， 49（1）： 79-92.

[4]MINOVSKI D， A HLUND C， MITRA K. Modeling quality of IoT experience in autonomous vehicles[J]. IEEE Internet of Things Journal， 2020， 7（5）： 3833-3849.

[5]TIAN Z， SHEN C H， CHEN H， et al. FCOS： a simple and strong anchor-free object detector[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（4）： 1922-1933.

[6]薛陽， 葉曉康， 孫越， 等. 基于Faster-RCNN的汽車漆面缺陷部位檢測[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2023， 40（8）： 193-200.