摘要：多傳感器融合是一項(xiàng)結(jié)合多傳感器數(shù)據(jù)的綜合性前沿技術(shù)，在自動(dòng)駕駛的感知和定位應(yīng)用中占有非常重要的地位。汽車的自動(dòng)駕駛級(jí)別越高，對(duì)傳感器性能的要求就越高，而傳感器進(jìn)行目標(biāo)檢測(cè)具有高度的復(fù)雜性和多變性，因此單一傳感器已無法滿足不同場(chǎng)景下目標(biāo)檢測(cè)的準(zhǔn)確性要求，必須采用多傳感器融合的方式進(jìn)行目標(biāo)追蹤。文章基于多傳感器融合的背景，提出目標(biāo)檢測(cè)的整體設(shè)計(jì)方案，分析目標(biāo)檢測(cè)系統(tǒng)涉及的多源傳感器信息處理系統(tǒng)設(shè)計(jì)方案、多模態(tài)傳感器數(shù)據(jù)信息融合方案、有限數(shù)據(jù)弱監(jiān)督學(xué)習(xí)目標(biāo)檢測(cè)方案，并從數(shù)據(jù)層、特征層、決策層3個(gè)信息融合處理層次闡述多傳感器融合的方式。

關(guān)鍵詞：自動(dòng)駕駛；多傳感器融合；目標(biāo)檢測(cè)

中圖分類號(hào)：U463.6；TP212"""""" 文獻(xiàn)標(biāo)識(shí)碼：A""""" 文章編號(hào)：1674-0688（2024）01-0095-03

0 引言

自動(dòng)駕駛汽車與外界信息交互過程可以分為環(huán)境感知系統(tǒng)、智能決策和執(zhí)行控制3個(gè)部分。精確、實(shí)時(shí)地感知汽車周圍的路況，是實(shí)現(xiàn)自動(dòng)駕駛控制決策的前提。自動(dòng)駕駛汽車需要通過機(jī)器視覺技術(shù)獲取周圍環(huán)境的大量信息，如障礙物、車輛和行人、道路標(biāo)線、交通信號(hào)等目標(biāo)物體的信息，并輸出目標(biāo)物體的位置坐標(biāo)、尺寸等空間信息，從而獲得對(duì)復(fù)雜環(huán)境的正確理解和把握。目前，廣泛使用的目標(biāo)檢測(cè)車載感知傳感器有攝像頭、毫米波雷達(dá)、超聲波雷達(dá)和激光雷達(dá)等，不同的傳感器各有優(yōu)劣，而在各種復(fù)雜環(huán)境下，單個(gè)傳感器無法精確識(shí)別周圍目標(biāo)。為提高整個(gè)感知系統(tǒng)的魯棒性，實(shí)現(xiàn)對(duì)自動(dòng)駕駛汽車功能性和安全性的全面覆蓋，可采用多傳感器融合的方式，應(yīng)用攝像頭、激光雷達(dá)、毫米波雷達(dá)等不同類型的傳感器融合并識(shí)別不同種類的感知信息，進(jìn)行多層次、多方位的處理，完成不同光照、不同天氣條件下的感知任務(wù)。

多傳感器融合是一種涉及人工智能、信號(hào)處理、概率統(tǒng)計(jì)等多學(xué)科交叉的新技術(shù)。目前，已有的環(huán)境感知解決方案中，大多采用基于攝像頭、激光雷達(dá)、毫米波雷達(dá)等傳感器采集和融合數(shù)據(jù)，進(jìn)行道路場(chǎng)景下的目標(biāo)及障礙物檢測(cè)。在多傳感器融合的應(yīng)用研究中，ZHANG等［1］研究高級(jí)輔助駕駛系統(tǒng)（ADAS），提出一種基于相機(jī)和激光雷達(dá)的車輛檢測(cè)方法；王海等［2］提出一種基于激光雷達(dá)和毫米波雷達(dá)的車輛目標(biāo)檢測(cè)算法；WANG等［3］將單目相機(jī)和毫米波雷達(dá)進(jìn)行融合，提出一種協(xié)同的融合方法，實(shí)現(xiàn)車輛檢測(cè)精度和計(jì)算效率之間的平衡；莫春媚［4］基于相機(jī)和毫米波雷達(dá)，利用 YOLO 目標(biāo)檢測(cè)算法進(jìn)行動(dòng)態(tài)目標(biāo)識(shí)別，將雷達(dá)數(shù)據(jù)投射到圖像中，實(shí)現(xiàn)兩者的信息融合，其測(cè)試效果較單一傳感器有明顯的提升。然而，面對(duì)復(fù)雜的道路環(huán)境，現(xiàn)有的傳感器融合技術(shù)仍存在一定的局限性，如自動(dòng)駕駛汽車環(huán)境感知隨機(jī)類融合算法的性能不足、人工智能類算法耗時(shí)、費(fèi)力等。本文針對(duì)這些問題，總結(jié)目標(biāo)檢測(cè)的關(guān)鍵技術(shù)以及信息融合方式，將機(jī)器學(xué)習(xí)中的弱監(jiān)督學(xué)習(xí)方法應(yīng)用于多源傳感融合技術(shù)中，實(shí)現(xiàn)少量標(biāo)注樣本下的多源傳感融合。

1 目標(biāo)檢測(cè)整體框架

本文依據(jù)自動(dòng)駕駛汽車全天時(shí)環(huán)境感知的需求，設(shè)計(jì)了基于攝像頭、毫米波雷達(dá)、激光雷達(dá)的多源傳感器融合的目標(biāo)檢測(cè)系統(tǒng)，其總體技術(shù)方案如圖1所示。首先，通過不同傳感器提取檢測(cè)目標(biāo)的多種類型的特征，將多源特征數(shù)據(jù)進(jìn)行特征融合和動(dòng)態(tài)目標(biāo)檢測(cè)，分析動(dòng)態(tài)目標(biāo)的特性，進(jìn)行動(dòng)態(tài)目標(biāo)的層次劃分和屬性分類。其次，通過傳感器獲取環(huán)境中的客體數(shù)據(jù)，其中涉及各類傳感器數(shù)據(jù)的處理以及同類或異類傳感器數(shù)據(jù)的融合。目標(biāo)檢測(cè)系統(tǒng)的關(guān)鍵技術(shù)包括多源傳感器信息處理系統(tǒng)的設(shè)計(jì)、多模態(tài)傳感器數(shù)據(jù)信息融合技術(shù)、有限數(shù)據(jù)弱監(jiān)督學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)，以此實(shí)現(xiàn)全天時(shí)的環(huán)境感知。

2 目標(biāo)檢測(cè)關(guān)鍵技術(shù)方案

2.1 多源傳感器信息處理系統(tǒng)設(shè)計(jì)方案

多源傳感器信息處理系統(tǒng)包括攝像頭、毫米波雷達(dá)、激光雷達(dá)一體化模組和數(shù)據(jù)處理部分，一體化模組根據(jù)視場(chǎng)角、安裝方式、檢測(cè)距離等將3類傳感器組合成一體，數(shù)據(jù)處理部分根據(jù)數(shù)據(jù)處理量選擇合適的計(jì)算單元組成信息處理系統(tǒng)。多源傳感器信息處理系統(tǒng)（見圖2）包含不同傳感器的信號(hào)轉(zhuǎn)換接口和收發(fā)器、計(jì)算單元、數(shù)據(jù)存儲(chǔ)模塊、人機(jī)交互界面。計(jì)算單元通過數(shù)據(jù)轉(zhuǎn)換接口和收發(fā)器獲取攝像頭、毫米波雷達(dá)和激光雷達(dá)的數(shù)據(jù)，通過人機(jī)交互界面展示數(shù)據(jù)，并且將必要的數(shù)據(jù)存入數(shù)據(jù)存儲(chǔ)模塊用于算法升級(jí)。多源傳感器信息處理系統(tǒng)具備采集多源傳感數(shù)據(jù)、融合算法部署、感知效果評(píng)估等功能。

2.2 多模態(tài)傳感器數(shù)據(jù)信息融合方案

多源傳感數(shù)據(jù)信息融合采用分層級(jí)式多模態(tài)傳感器數(shù)據(jù)信息融合方案（見圖3），將數(shù)據(jù)分為原始傳感數(shù)據(jù)層、模塊檢測(cè)數(shù)據(jù)層、融合目標(biāo)數(shù)據(jù)層3個(gè)部分。原始傳感器數(shù)據(jù)層為傳感器輸出的原始圖像和點(diǎn)云，每類傳感器采用對(duì)應(yīng)的方式進(jìn)行信號(hào)預(yù)處理（主要包括視覺處理、關(guān)聯(lián)濾波、點(diǎn)云聚類3種操作），以此獲得模塊檢測(cè)數(shù)據(jù)，然后通過弱監(jiān)督學(xué)習(xí)方式將不同傳感器的數(shù)據(jù)進(jìn)行融合，輸出可靠的融合目標(biāo)數(shù)據(jù)，最終得到目標(biāo)物的類別、位置、速度等信息。

2.3 有限數(shù)據(jù)弱監(jiān)督學(xué)習(xí)目標(biāo)檢測(cè)方案

有限數(shù)據(jù)弱監(jiān)督學(xué)習(xí)目標(biāo)檢測(cè)方案設(shè)計(jì)如下：首先通過多源傳感器信息處理系統(tǒng)采集所有傳感器的數(shù)據(jù)，制作原始數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；其次選取少量特征數(shù)據(jù)進(jìn)行人工標(biāo)注，將標(biāo)注好的數(shù)據(jù)與原始數(shù)據(jù)分組匹配用于算法訓(xùn)練；最后設(shè)計(jì)弱監(jiān)督學(xué)習(xí)算法模型，采用分組訓(xùn)練和多實(shí)例學(xué)習(xí)方式完成算法模型訓(xùn)練。

3 傳感器融合方式

多傳感器融合又稱多傳感器數(shù)據(jù)融合，傳感器數(shù)據(jù)融合的原理與人的大腦綜合處理來自五官的信息類似，是利用計(jì)算機(jī)技術(shù)將多個(gè)傳感器獲取的不同數(shù)據(jù)、信息在一定的準(zhǔn)則下集中進(jìn)行關(guān)聯(lián)和分析處理，得到更準(zhǔn)確、可靠的對(duì)外界環(huán)境的描述，從而保證場(chǎng)景數(shù)據(jù)信息的適用性，提高系統(tǒng)決策的正確性。信息融合還能提升決策的可靠性和正確性，降低系統(tǒng)的應(yīng)用成本。數(shù)據(jù)的處理需經(jīng)過數(shù)據(jù)獲取、特征提取、決策識(shí)別3個(gè)層級(jí)，在不同的層級(jí)進(jìn)行信息融合時(shí)，策略不同、應(yīng)用場(chǎng)景不同，產(chǎn)生的結(jié)果也不同。信息融合處理的層次可分為數(shù)據(jù)層融合、特征層融合、決策層融合。

3.1 數(shù)據(jù)層融合

數(shù)據(jù)層融合也稱像素級(jí)融合，是低層次、集中式的融合方式，首先將同類別傳感器采集的原始數(shù)據(jù)進(jìn)行融合，其次從融合數(shù)據(jù)中提取特征向量并進(jìn)行判斷識(shí)別，主要的目的是盡量消除干擾對(duì)實(shí)際測(cè)量數(shù)據(jù)的影響，輸送可靠、準(zhǔn)確的數(shù)據(jù)。

數(shù)據(jù)層融合的主要優(yōu)點(diǎn)如下：由于在傳感器輸出端進(jìn)行融合，能盡可能地保留原始數(shù)據(jù)，提供其他數(shù)據(jù)融合層次無法提供的細(xì)微信息，使檢測(cè)精度得到提高。數(shù)據(jù)層融合存在的問題如下：①由于融合在數(shù)據(jù)的最底層進(jìn)行，容易受不穩(wěn)定性、不確定性因素的影響；②需要處理的傳感器數(shù)據(jù)信息計(jì)算量大，處理代價(jià)較高，不利于實(shí)施；③要求提供對(duì)同一觀測(cè)對(duì)象的同類觀測(cè)數(shù)據(jù)。

3.2 特征層融合

特征層屬于中間層次，其融合是從各個(gè)傳感器采集的數(shù)據(jù)中提取出能體現(xiàn)監(jiān)測(cè)對(duì)象屬性的特征向量，將特征融合成單一的特征向量并運(yùn)用模式識(shí)別的方法進(jìn)行處理。這種方式可行的原因是部分關(guān)鍵的特征信息可以代替全部數(shù)據(jù)信息。相比數(shù)據(jù)層融合，特征層融合所消耗的內(nèi)存減少和信息數(shù)量的等級(jí)降低，極大地提高了算法的實(shí)時(shí)性。

3.3 決策層融合

決策層融合屬于高層次融合，在特征提取的基礎(chǔ)上進(jìn)行一定的判別、分類以及簡(jiǎn)單的邏輯運(yùn)算，做出識(shí)別判斷，再在此基礎(chǔ)上根據(jù)應(yīng)用需求完成信息融合和較高級(jí)的決策。決策層融合的優(yōu)勢(shì)在于不要求傳感器為同類，并且對(duì)傳感器本身的依賴程度低、通信量較小，因此信息處理成本較低、實(shí)時(shí)性好，具有良好的容錯(cuò)率。但是，決策層融合的過程會(huì)產(chǎn)生較大的數(shù)據(jù)損失，使決策的精度下降，而且各個(gè)傳感器均要求有獨(dú)立的算法，對(duì)計(jì)算平臺(tái)的要求較高。

4 結(jié)語

綜上所述，傳感器對(duì)環(huán)境感知的性能決定了自動(dòng)駕駛汽車是否能適應(yīng)復(fù)雜多變的交通環(huán)境，自動(dòng)駕駛的級(jí)別越高，對(duì)傳感器性能的要求就越高，而單個(gè)傳感器已經(jīng)無法滿足不同場(chǎng)景下目標(biāo)檢測(cè)的準(zhǔn)確性要求，只有將多個(gè)類型的傳感器進(jìn)行融合，才能更大限度地發(fā)揮傳感器的優(yōu)勢(shì)，提高整車自動(dòng)駕駛系統(tǒng)的可靠性和安全性。本文針對(duì)智能車輛環(huán)境感知隨機(jī)類融合算法性能不足等問題，提出了多源傳感器融合的目標(biāo)檢測(cè)系統(tǒng)總體技術(shù)方案，提出目標(biāo)檢測(cè)的關(guān)鍵技術(shù)，根據(jù)攝像頭、激光雷達(dá)、毫米波雷達(dá)的特點(diǎn)開發(fā)多源傳感器一體化模組，實(shí)現(xiàn)多個(gè)傳感器數(shù)據(jù)的融合和數(shù)據(jù)匹配及數(shù)據(jù)格式的標(biāo)準(zhǔn)化，可獲得目標(biāo)物體更多的狀態(tài)信息，同時(shí)達(dá)到實(shí)時(shí)檢測(cè)的效果。在自動(dòng)駕駛需求的驅(qū)動(dòng)下，未來傳感器融合技術(shù)的應(yīng)用將呈現(xiàn)明顯的增長(zhǎng)趨勢(shì)。汽車制造將是傳感器融合技術(shù)最重要的應(yīng)用領(lǐng)域，該領(lǐng)域的發(fā)展將催生更多的新技術(shù)和新方案，多傳感器融合技術(shù)將迎來巨大的發(fā)展空間。

5 參考文獻(xiàn)

［1］ZHANG F，CLARKE D，KNOLL A.Vehicle detection based on LiDAR and camera fusion［C］.IEEE.International Conference on Intelligent Transportation Systems，2014：1620-1625.

［2］王海，劉明亮，蔡英鳳，等.基于激光雷達(dá)與毫米波雷達(dá)融合的車輛目標(biāo)檢測(cè)算法［J］.江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，42（4）：389-394.

［3］WANG X，XU L，SUM H B，et al.On-road vehicle detection and tracking using MMW radar and monovision fusion［J］.Intelligent Transporteation Systems，2016，17（7）：2075-2084.

［4］莫春媚.基于視覺與雷達(dá)信息融合的智能車環(huán)境感知算法研究［D］.重慶：重慶大學(xué)，2018.

*陜西工業(yè)職業(yè)技術(shù)學(xué)院科研基金資助項(xiàng)目“基于弱監(jiān)督學(xué)習(xí)的全天時(shí)多源傳感融合感知技術(shù)研究與應(yīng)用”（2023YKYB-016）。

【作者簡(jiǎn)介】韓丹，女，陜西西安人，碩士，講師，研究方向：智能網(wǎng)聯(lián)汽車技術(shù)。

【引用本文】韓丹.自動(dòng)駕駛中基于多傳感器融合的目標(biāo)檢測(cè)分析［J］.企業(yè)科技與發(fā)展，2024（1）：95-97.