張 藝，嚴(yán)翌，李 靜

（長安大學(xué)，陜西 西安 710061）

0 引 言

多傳感器信息融合環(huán)境感知技術(shù)在提高道路環(huán)境感知能力方面具有舉足輕重的作用，在目標(biāo)探測方面，與傳統(tǒng)單一的感知相比，道路環(huán)境的信息獲取能力更高、更準(zhǔn)確、更兼容[1]。本文要解決的問題是構(gòu)建一個交通數(shù)據(jù)采集系統(tǒng)，使該系統(tǒng)可以實(shí)現(xiàn)在低能見度的情況下利用多個傳感器準(zhǔn)確、實(shí)時、有效地檢測前方道路環(huán)境，對獲取到的數(shù)據(jù)進(jìn)行融合處理，從而對移動目標(biāo)（例如行人或汽車）進(jìn)行精確識別。交通數(shù)據(jù)采集系統(tǒng)可以為車與車、車與人、車與路側(cè)設(shè)備之間的互通提供可靠的信息。

1 交通數(shù)據(jù)采集系統(tǒng)框架

1.1 設(shè)備選型

不同傳感器有著不同的特點(diǎn)與性能，使用多個傳感器采集多種信息源與數(shù)據(jù)，從而獲得完整、確切、高效的綜合信息[2-3]。激光雷達(dá)是通過發(fā)射的線束掃描周圍環(huán)境來獲得距離信息，從而對周圍環(huán)境進(jìn)行感知，但激光雷達(dá)對光線變化的適應(yīng)性較弱，無法獲得顏色信息，且價格昂貴，實(shí)用性較差。毫米波雷達(dá)探測范圍廣，抗天氣干擾能力強(qiáng)，但分辨率不高。相機(jī)成本低，檢測精度高，但魯棒性較低。表1列出了常用傳感器的優(yōu)缺點(diǎn)與用途。

交通數(shù)據(jù)采集系統(tǒng)選取激光雷達(dá)、毫米波雷達(dá)、全景相機(jī)作為主要傳感器對環(huán)境進(jìn)行感知，本系統(tǒng)中激光雷達(dá)選取鐳神CH16的16線激光雷達(dá)，毫米波雷達(dá)選擇Delphi SRR2，相機(jī)選擇DS-2CD3T46FWDV2-I8S槍型攝像機(jī)。

1.2 數(shù)據(jù)傳輸

可以對激光雷達(dá)采集的數(shù)據(jù)進(jìn)行可視化操作，形成激光點(diǎn)云圖。相機(jī)采集到的數(shù)據(jù)為二維圖像，通過數(shù)據(jù)線可以直接進(jìn)行數(shù)據(jù)傳輸。毫米波雷達(dá)采集的數(shù)據(jù)為數(shù)據(jù)幀格式，如圖1所示。

表1 不同傳感器性能對比

圖1 數(shù)據(jù)幀格式

數(shù)據(jù)幀由8個字節(jié)組成，不同顏色代表不同的message。message的類別由幀ID決定，毫米波雷達(dá)可同時識別64個目標(biāo)，ID范圍為500～53F，如圖2所示。

圖2 數(shù)據(jù)幀解析界面

將數(shù)據(jù)幀進(jìn)行可視化處理，再將可視化后的圖像與其他信息融合。Delphi ESR毫米波雷達(dá)通過Kvaser將數(shù)據(jù)幀進(jìn)行可視化處理，設(shè)置界面如圖3所示。

圖3 數(shù)據(jù)幀可視化設(shè)置界面

數(shù)據(jù)幀可視化后的界面如圖4所示。每一個方框代表一個目標(biāo)，有綠色交叉線的方框表示系統(tǒng)根據(jù)目標(biāo)速度、加速度等信息將目標(biāo)判定為虛假目標(biāo)。

圖4 數(shù)據(jù)幀可視化界面

1.3 融合框架

通過交通數(shù)據(jù)采集系統(tǒng)獲取周圍環(huán)境信息的關(guān)鍵是將激光雷達(dá)、毫米波雷達(dá)與相機(jī)采集的數(shù)據(jù)進(jìn)行有效融合[4-5]。首先將毫米波雷達(dá)數(shù)據(jù)解析之后與相機(jī)圖像進(jìn)行融合，確定感興趣的區(qū)域，使用神經(jīng)網(wǎng)絡(luò)算法對車輛進(jìn)行識別，得出結(jié)果1；然后將稀疏的激光點(diǎn)云數(shù)據(jù)進(jìn)行補(bǔ)全，得到密集點(diǎn)云圖，將密集點(diǎn)云圖與相機(jī)圖像進(jìn)行融合，通過神經(jīng)網(wǎng)絡(luò)算法進(jìn)行目標(biāo)識別，得到結(jié)果2；最后采用D-S證據(jù)理論將結(jié)果1與結(jié)果2進(jìn)行結(jié)果判決，得到最終的目標(biāo)識別結(jié)果。融合框架如圖5所示。

圖5 融合框架

2 異質(zhì)傳感器空間標(biāo)定

2.1 相機(jī)標(biāo)定

相機(jī)成像會使圖像有不同程度的畸變，相機(jī)標(biāo)定的目的是建立一個相機(jī)成像幾何模型，從而矯正透鏡的畸變[6]。要解決這一問題，首先需要建立相機(jī)成像幾何模型，最關(guān)鍵的就是要得到相機(jī)的內(nèi)參和外參。通過相機(jī)標(biāo)定，可以得到5個內(nèi)參、3個外參、2個畸變參數(shù)，并且這些參數(shù)具有高估計(jì)精度。通過這些參數(shù)，可以對相機(jī)圖像進(jìn)行畸變矯正、圖像矯正等處理。本文采用張正友標(biāo)定法（該方法由張正友教授在1998年提出），即一種基于單平面棋盤格的攝像機(jī)標(biāo)定方法，只需要一張打印出來的黑白棋盤格圖片即可。該方法不僅能夠解決傳統(tǒng)標(biāo)定法進(jìn)行高精度標(biāo)定時存在的問題，而且相對于自標(biāo)定而言，提高了標(biāo)定精度，可操作性強(qiáng)。

張正友標(biāo)定法通過棋盤格上8個點(diǎn)的坐標(biāo)計(jì)算出單應(yīng)性矩陣，從而可以表示出世界平面到圖像平面之間的轉(zhuǎn)換關(guān)系。

標(biāo)定用的棋盤格平面到相機(jī)圖像平面的轉(zhuǎn)換關(guān)系為：

式中：s為任意比例因子；R為旋轉(zhuǎn)矩陣，且是一個單位正交矩陣；(R,t)為外參矩陣，ri為R的第i列，t為平移矩陣；A為攝像機(jī)內(nèi)參數(shù)。

式中：α和β是圖像u和v軸中的比例因子；γ為畸變因子，是描述2個圖像軸偏斜的參數(shù)。

把A[r1,r2,t]稱為單應(yīng)性矩陣H，即：

一個對應(yīng)點(diǎn)能夠提供2個方程，在矩陣H中有8個未知參數(shù)，所以至少需要8個方程進(jìn)行求解，就至少需要4個對應(yīng)點(diǎn)，才能算出世界平面到圖像平面的單應(yīng)性矩陣H。

將單應(yīng)性矩陣寫作行向量的形式，行向量中每一個元素為一個列向量，即：

由3個單應(yīng)性矩陣作為約束條件，計(jì)算5個內(nèi)參參數(shù)，得到內(nèi)參矩陣，最后基于內(nèi)參矩陣估算外參矩陣。

2.2 坐標(biāo)系轉(zhuǎn)換

由于相機(jī)和雷達(dá)安裝位置以及采集獲取的維度信息不同，不能將三者數(shù)據(jù)直接進(jìn)行融合處理，需要先進(jìn)行預(yù)處理[7]。首要的工作就是將檢測目標(biāo)在2個傳感器的空間位置上相互對應(yīng)，為此需建立多個坐標(biāo)系，分別為激光雷達(dá)坐標(biāo)系、毫米波雷達(dá)坐標(biāo)系、攝像頭坐標(biāo)系、世界坐標(biāo)系、圖像坐標(biāo)系以及像素坐標(biāo)系，通過坐標(biāo)系之間的轉(zhuǎn)化使得三種傳感器在空間上彼此對齊。

本文中的坐標(biāo)系轉(zhuǎn)換可以實(shí)現(xiàn)雷達(dá)坐標(biāo)系、三維世界坐標(biāo)系、攝像機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系的統(tǒng)一，將雷達(dá)獲取的車輛信息在視頻圖像上生成感興趣區(qū)域。圖6所示為三維世界坐標(biāo)系與二維像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。相機(jī)的成像可以將三維空間中多個相互平行的曲面投影到一個二維平面上，即三維空間到二維空間平面的轉(zhuǎn)換是多對一的映射關(guān)系。

圖6 坐標(biāo)系轉(zhuǎn)換

3 多傳感器融合算法

3.1 融合算法

數(shù)據(jù)融合方法可以根據(jù)融合層次的不同分為三個層級，即像素級融合、特征級融合、決策級融合。像素級融合作為最底層的融合方法，主要從傳感器獲取的原始數(shù)據(jù)中直接提取特征，對同一事物的不同特征進(jìn)行融合。該操作一般發(fā)生在特征提取之前，常用的方法有平均與加權(quán)平均方法、基于金字塔變換的圖像融合方法、基于Ridgelet變換的圖像融合方法等；特征級融合的方法主要有人工神經(jīng)網(wǎng)絡(luò)、聚類方法、K階最近鄰法等；決策級融合是圖像數(shù)據(jù)融合的最高層次，它的結(jié)果可以作為決策的要素，一般發(fā)生在各種傳感器獨(dú)立說明之后，常用方法有Bayes推斷、D-S證據(jù)推理等[8]。

本文中，雷達(dá)與相機(jī)的融合采用人工神經(jīng)網(wǎng)絡(luò)方法，最后的結(jié)果采用特征級融合D-S證據(jù)推理進(jìn)行結(jié)果判決。融合層次確定了2個主要問題，一是多源原始圖像數(shù)據(jù)進(jìn)行預(yù)處理的程度；二是在信息處理中的融合層次。

3.2 目標(biāo)識別

采用YOLO算法對融合后的二維圖像進(jìn)行目標(biāo)識別。YOLO將對象檢測重新定義為一個回歸問題[9]。它將單個卷積神經(jīng)網(wǎng)絡(luò)（CNN）應(yīng)用于整個圖像，將圖像分成網(wǎng)格，并預(yù)測每個網(wǎng)格的類概率和邊界框。每個邊界框可以使用4個描述符進(jìn)行描述，即邊界框的中心、高度、寬度、值映射到對象所屬的類[10]。最后對每個類的對象應(yīng)用一個稱為“非最大抑制（Non Max Suppression）”的方法過濾出“置信度”小于閾值的邊界框，以此作為目標(biāo)識別結(jié)果的預(yù)測依據(jù)。

4 實(shí)驗(yàn)與結(jié)論分析

4.1 實(shí)驗(yàn)結(jié)果

將交通數(shù)據(jù)采集裝置放置在學(xué)校某十字路口段，從早晨9點(diǎn)至10點(diǎn)對來往車輛數(shù)據(jù)進(jìn)行采集與預(yù)處理后，通過系統(tǒng)的目標(biāo)識別以及結(jié)果判決等過程，得到最終的車輛識別結(jié)果。根據(jù)圖像中的車輛有無遮擋物、車速、車型大小等指標(biāo)將識別難度分類為簡單、中等、困難三個層級，并對三個層級的目標(biāo)識別結(jié)果進(jìn)行對比，其中結(jié)果1為激光雷達(dá)點(diǎn)云與相機(jī)圖像融合后的識別結(jié)果；結(jié)果2為毫米波雷達(dá)與相機(jī)圖像融合后的識別結(jié)果；結(jié)果3為結(jié)果1與結(jié)果2使用D-S證據(jù)推理進(jìn)行判決后的結(jié)果。精度值對比見表2所列。

4.2 結(jié)論與分析

從表中可知，三種傳感器融合后的檢測結(jié)果皆高于傳感器兩兩融合后的檢測精度，在識別難度為困難的類別中精度值提高最多。

表2 檢測結(jié)果精度值對比 %

5 結(jié) 語

本文提出的基于多傳感器融合的交通數(shù)據(jù)采集系統(tǒng)能夠有效提高目標(biāo)的識別精度。