唐錫軍，葉忠杰

(1.浙江公路技師學(xué)院，杭州 310023；2.浙江交通職業(yè)技術(shù)學(xué)院，杭州 311112)

0 引 言

隨著我國(guó)經(jīng)濟(jì)的蓬勃發(fā)展，交通物流與城市建設(shè)日益發(fā)達(dá)，載貨汽車已經(jīng)成為主要運(yùn)輸工具之一。根據(jù)《機(jī)動(dòng)車運(yùn)行安全技術(shù)條件GB7258-2017》，載貨汽車(goods vehicle)是指設(shè)計(jì)和制造上主要用于載運(yùn)貨物或牽引掛車的汽車，包括以載運(yùn)貨物為主要目的的專用汽車。隨著貨運(yùn)交通量的增加以及貨運(yùn)車輛向大型化、重載化方向發(fā)展，貨車對(duì)道路交通安全的負(fù)面影響也越來(lái)越明顯。其中，大型貨車內(nèi)輪差的存在易產(chǎn)生車身側(cè)面的碰擦事故，開(kāi)展面向內(nèi)輪差區(qū)域的人車測(cè)距預(yù)警相關(guān)技術(shù)研究，對(duì)降低此類交通事故發(fā)生頻次具有重要意義。

通過(guò)檢索，國(guó)內(nèi)外學(xué)者對(duì)人、車進(jìn)行視覺(jué)測(cè)距研究主要分為單目相機(jī)測(cè)量和雙目相機(jī)測(cè)量?jī)深悾孩偈褂脝文肯鄼C(jī)的研究包括王玉波等[1]利用SSD算法對(duì)行人進(jìn)行檢測(cè)，并結(jié)合單目視覺(jué)的相似三角形原理實(shí)現(xiàn)對(duì)行人的測(cè)距；HY Ju等[2]利用相機(jī)小孔成像模型中目標(biāo)物大小和實(shí)際距離成反比的特性，通過(guò)計(jì)算當(dāng)前目標(biāo)物邊框和參考框大小的比值預(yù)估目標(biāo)的距離。②使用雙目相機(jī)的研究包括：利用SSD算法識(shí)別目標(biāo)并依據(jù)雙目相機(jī)三角測(cè)量原理獲取邊框中心點(diǎn)周圍的深度信息，將9個(gè)領(lǐng)域點(diǎn)的平均值作為目標(biāo)點(diǎn)的深度信息。張仲楠等[3]使用YOLOV5獲取左右圖像上目標(biāo)的滅差、面積比重、長(zhǎng)、寬、高5個(gè)特征，通過(guò)基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的距離預(yù)測(cè)模型回歸出目標(biāo)距離。

通常交通場(chǎng)景下目標(biāo)深度信息提取的復(fù)雜性表現(xiàn)為：目標(biāo)物種類繁雜、移動(dòng)速度快、深度圖信息缺失、匹配測(cè)量點(diǎn)不恰當(dāng)?shù)?。為進(jìn)一步提高交通場(chǎng)景下獲取目標(biāo)距離信息的速度和精準(zhǔn)度，本文提出了基于YOLOV5目標(biāo)檢測(cè)和改進(jìn)的深度圖多點(diǎn)測(cè)量相結(jié)合的測(cè)距方法。通過(guò)基于深度學(xué)習(xí)的YOLOV5目標(biāo)檢測(cè)獲取目標(biāo)邊框信息，選取目標(biāo)類別、邊框尺寸作為參數(shù)生成擬合目標(biāo)外形的掩碼圖，與深度圖中利用掩碼圖匹配目標(biāo)深度測(cè)量點(diǎn)的集合，后經(jīng)摒棄異常值等數(shù)據(jù)處理手段，獲取目標(biāo)的深度信息。

1 實(shí)驗(yàn)材料與實(shí)驗(yàn)方法

1.1 實(shí)驗(yàn)材料

1.1.1 貨車基本參數(shù)

貨車選用東風(fēng)商用車天錦中卡倉(cāng)柵式載貨車，展示了實(shí)驗(yàn)貨車的基本參數(shù)，如表1所示。根據(jù)阿克曼轉(zhuǎn)向模型計(jì)算可得車輛最大內(nèi)輪差約為1.8m。

表1 實(shí)驗(yàn)貨車參數(shù)信息

1.1.2 相機(jī)選型及系統(tǒng)信息

相機(jī)選用intel的RealSense D435i RGBD深度攝像頭，依靠3D結(jié)構(gòu)光技術(shù)獲取深度信息，其結(jié)構(gòu)組成主要包括：一個(gè)RGB相機(jī)，一個(gè)紅外激光發(fā)射器和兩個(gè)紅外傳感器，展示了相機(jī)的基本結(jié)構(gòu)，如表2所示。

實(shí)驗(yàn)系統(tǒng)硬件配置：AMD Ryzen 75800H、16G內(nèi)存、NVIDIA GeForce RTX 3060 6G GPU；系統(tǒng)軟件環(huán)境：Win10系統(tǒng)、Python 3.8.11、Pytorch1.9.0、opencv4.5.3.56、CUDA11.5.76、JetBrains Pycharm Community Edition 2021.1.3。

表2 D435i相機(jī)參數(shù)信息

1.1.3 設(shè)備安裝及內(nèi)輪差校準(zhǔn)

相機(jī)的安裝位置參數(shù)為：貨車車身右側(cè)，距地高度1200mm，距車頭3000mm，水平角度0°，如圖1(a)所示。在圖1(b)所示的阿克曼轉(zhuǎn)向模型中，r為外前輪最小轉(zhuǎn)彎半徑，d為車的輪間距，l為車的軸距，RD為內(nèi)前輪最小轉(zhuǎn)彎半徑，Rd為內(nèi)后輪最小轉(zhuǎn)彎半徑，ΔR為內(nèi)輪差，由相關(guān)參數(shù)和計(jì)算公式[4-5]可得實(shí)驗(yàn)車輛理論內(nèi)輪差長(zhǎng)度為1720mm，經(jīng)實(shí)地測(cè)量貨車內(nèi)輪差為1880mm。

圖1 設(shè)備安裝及內(nèi)輪差計(jì)算

1.2 實(shí)驗(yàn)方法

實(shí)驗(yàn)在場(chǎng)地上進(jìn)行，實(shí)驗(yàn)場(chǎng)景如圖2所示。

(a)實(shí)驗(yàn)環(huán)境 (b)目標(biāo)識(shí)別

本研究中深度信息的獲取流程如圖3所示，realsense相機(jī)不間斷采集RGB圖像并通過(guò)YOLOV5獲取檢測(cè)目標(biāo)的邊框信息，匹配深度圖測(cè)量區(qū)域，并使用改進(jìn)的多點(diǎn)測(cè)量方法提取目標(biāo)的深度信息，實(shí)現(xiàn)高精度的人車測(cè)距。

圖3 深度信息獲取流程圖

2 深度信息的獲取

2.1 目標(biāo)框的獲取

獲取深度信息的第一步需從圖像中提取目標(biāo)ROI區(qū)域，以此獲取待檢測(cè)目標(biāo)的邊框信息。交通場(chǎng)景下檢測(cè)模型不僅需要保持較高的計(jì)算效率、檢測(cè)性能，還需要較好的魯棒性。

2.1.1 原始圖像采集

針對(duì)不同時(shí)間段，外界光線對(duì)圖像的影響，綜合考慮魯棒性的要求，實(shí)驗(yàn)分上午、中午、傍晚三個(gè)時(shí)段，共采集320個(gè)樣本用于模型訓(xùn)練，包含行人、車輛等不同類別，利用realsense相機(jī)拍攝RGB圖像以及深度圖像。

2.1.2 YOLOV5目標(biāo)檢測(cè)

考慮到計(jì)算效率和檢測(cè)性能要求，本研究選用YOLOV5作為檢測(cè)模型。YOLOV5[6-7]通過(guò)引入數(shù)據(jù)增加、自適應(yīng)錨定框、跨階段局部網(wǎng)絡(luò)等策略，相比于KICA[8]一定程度上提升了識(shí)別速率與檢測(cè)的準(zhǔn)確度，在本實(shí)驗(yàn)硬件系統(tǒng)下檢測(cè)速率可達(dá)到每秒50fps。如圖4所示，對(duì)于每一幀RGB圖像，YOLOV5返回目標(biāo)檢測(cè)物體邊框的四個(gè)坐標(biāo)、類別、置信度共六個(gè)參數(shù)。

圖4 YOLOV5目標(biāo)檢測(cè)算法獲取邊框

2.2 深度信息的獲取

獲取檢測(cè)目標(biāo)的邊框位置信息，以匹配深度圖像的合適測(cè)量點(diǎn)，從而得到目標(biāo)的深度信息。經(jīng)過(guò)偽彩色處理之后的深度圖如圖5所示，基于結(jié)構(gòu)光原理獲取的深度圖存在空洞、噪聲、像素點(diǎn)缺失等缺陷，缺陷嚴(yán)重程度受環(huán)境光照強(qiáng)度影響，直接選取目標(biāo)框中心作為深度測(cè)量點(diǎn)，測(cè)量誤差較大。本研究采用經(jīng)過(guò)改進(jìn)的多點(diǎn)測(cè)量方法來(lái)獲取深度信息，相較于孔洞填充、空間濾波器等深度圖預(yù)處理[9]方法和“8鄰域”均值[10]求距離法，實(shí)時(shí)性好，算力要求低，且準(zhǔn)確度高。

圖5 基于結(jié)構(gòu)光原理的深度圖缺陷

2.3 改進(jìn)的多點(diǎn)測(cè)量深度信息獲取方法

針對(duì)場(chǎng)景和對(duì)象特點(diǎn)，本研究提出了一種改進(jìn)的多點(diǎn)測(cè)量深度信息獲取方法，通過(guò)在目標(biāo)的深度信息匹配階段引入自適應(yīng)掩碼圖和異常值處理，以擴(kuò)大目標(biāo)深度信息的參考范圍并舍去錯(cuò)誤信息，從而提高目標(biāo)深度值的精度。由于所引入的策略作用于目標(biāo)深度信息匹配時(shí)，不再受噪聲、像素點(diǎn)缺失影響，因而可以在深度圖不經(jīng)過(guò)預(yù)處理的情況下精準(zhǔn)測(cè)量目標(biāo)的深度信息，其流程如圖6所示。

圖6 自適應(yīng)深度信息獲取方法流程圖

2.3.1 掩碼圖的生成

針對(duì)車輛目標(biāo)，如圖7(a)所示的矩形框更能擬合車輛外形特征，深度信息選取區(qū)域的中心點(diǎn)坐標(biāo)為(x,y),矩形框?qū)挾葹閣idth，高度為height,其中：

x=x1+w/2,

y=y1+h/2,

width=w/10

height=h/10

式中：x1，y1為目標(biāo)框在RGB圖像像素坐標(biāo)系下左上角的坐標(biāo)值，w為目標(biāo)框的寬度，h為目標(biāo)框的高度。

針對(duì)行人目標(biāo)，如圖7(b)所示的橢圓形框更能擬合車輛外形特征，深度信息選取區(qū)域的中心點(diǎn)坐標(biāo)為(x,y),橢圓形框長(zhǎng)軸為a，短軸為b，其中：

x=x1+w/2,

y=y1+h/2,

a=w/8

b=h/8

式中：x1，y1為目標(biāo)框在RGB圖像像素坐標(biāo)系下左上角的坐標(biāo)值，w為目標(biāo)框的寬度，h為目標(biāo)框的高度。

圖7 自適應(yīng)深度信息獲取方法示意圖

2.3.2 深度圖信息截取與異常值處理

將原始深度圖和掩碼圖進(jìn)行按位與操作，得到新的深度圖new depth,其中：

new depth=depth&mask，

式中：depth為原始深度圖像，mask為生成的掩碼圖。

通過(guò)原始深度圖與掩碼圖的按位與操作，得到標(biāo)深度信息選取區(qū)域深度信息的集合，針對(duì)該區(qū)域存在的深度信息缺失導(dǎo)致的深度測(cè)量精度下降問(wèn)題，需要對(duì)其進(jìn)行去0值處理，將該區(qū)域深度信息值的中位數(shù)值作為目標(biāo)距離測(cè)量值。

3 實(shí)驗(yàn)與分析

為驗(yàn)證改進(jìn)的多點(diǎn)測(cè)量法在深度圖未經(jīng)濾波處理?xiàng)l件下的魯棒性，在試驗(yàn)場(chǎng)采集圖像120幅，其中上午、下午、傍晚三時(shí)間段分別40幅。實(shí)驗(yàn)算法在Win10系統(tǒng)上工作，對(duì)采集的120幅圖像的實(shí)驗(yàn)處理結(jié)果進(jìn)行分類統(tǒng)計(jì)分析。

本實(shí)驗(yàn)將每個(gè)樣本的實(shí)際距離、預(yù)測(cè)距離和誤差進(jìn)行對(duì)比，部分預(yù)測(cè)值與實(shí)際值對(duì)比結(jié)果如表3所示?！?鄰域”均值法平均相對(duì)誤差為12.64%，改進(jìn)的多點(diǎn)測(cè)量法平均相對(duì)誤差為4.30%。在上午陽(yáng)光對(duì)結(jié)構(gòu)光干擾情況較嚴(yán)重的情況下，“8鄰域”均值法平均誤差達(dá)到24.42%，誤差較大，改進(jìn)的多點(diǎn)測(cè)量法平均相對(duì)誤差為4.22%，誤差處于較低水平，因此在全天各個(gè)時(shí)間段，該測(cè)量算法相比“8鄰域”均值法都表現(xiàn)出較為優(yōu)越的性能。

表3 部分預(yù)測(cè)值與實(shí)際值對(duì)比結(jié)果

4 結(jié) 語(yǔ)

針對(duì)貨車內(nèi)輪差危險(xiǎn)區(qū)域目標(biāo)測(cè)距深度信息匹配階段不準(zhǔn)確的問(wèn)題，引入了改進(jìn)的多點(diǎn)測(cè)量法，通過(guò)YOLOV5算法獲取目標(biāo)邊框信息，依據(jù)目標(biāo)類別、中心點(diǎn)坐標(biāo)和邊框長(zhǎng)寬匹配目標(biāo)的深度信息，緩解了基于IR stereo結(jié)構(gòu)光原理獲取深度信息方式帶來(lái)的深度信息缺失問(wèn)題，提升了測(cè)距的魯棒性和準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明：在深度圖信息未經(jīng)濾波處理的條件下，該測(cè)距算法的平均誤差維持在4.30%的水平，每秒的處理速度為36幀，滿足貨車內(nèi)輪差危險(xiǎn)區(qū)域預(yù)警的實(shí)時(shí)性和準(zhǔn)確性要求。