鄒 斌，袁宇翔*

(1.武漢理工大學(xué)現(xiàn)代汽車零部件技術(shù)湖北省重點實驗室武漢430070；2.汽車零部件技術(shù)湖北省協(xié)同創(chuàng)新中心，武漢430070)

0 引言

安全車距是指后方車輛為避免與前方車輛發(fā)生意外碰撞與前車保持的必要間隔距離.ADAS(車輛駕駛輔助系統(tǒng))可以依靠視覺傳感器檢測行人及交通標(biāo)志，但由于相機(jī)安裝基線短，雙目視覺對遠(yuǎn)距離目標(biāo)測距精度低，單目視覺在無幾何約束下僅能確定目標(biāo)方位，無法測量前方車輛距離.

智能交通技術(shù)的不端發(fā)展，推動基于車聯(lián)網(wǎng)[1-2]和智能識別[3-4]的道路標(biāo)志識別方法，如依托車聯(lián)網(wǎng)技術(shù)可以從網(wǎng)絡(luò)中獲得道路標(biāo)志集合尺度信息，依托智能識別技術(shù)可以識別前方車輛車型與道路標(biāo)志類型；科研人員同時還提出了依靠道路幾何標(biāo)志的前方車輛單目視覺測距方法，然而未考慮融合物聯(lián)網(wǎng)、云計算等新方法，只能適用于單臺車輛，以及固定有限的道路標(biāo)識.

為此，本文首先提出融合物聯(lián)網(wǎng)、智能識別、云計算技術(shù)的車聯(lián)網(wǎng)模型，在基礎(chǔ)上提出以交通標(biāo)志、車道分界線為合作標(biāo)志的單目視覺測距方法，最后綜合應(yīng)用單目視覺測距方法，給出前方車輛自適應(yīng)視覺測距方案.這種融合物聯(lián)網(wǎng)、智能識別和云計算的前方單目視覺測距，對未來智能交通的輔助駕駛，能提供有效的車輛測距手段.

1 適用于單目視覺測距的車聯(lián)網(wǎng)模型設(shè)計

1.1 車聯(lián)網(wǎng)模型及交通要素目標(biāo)識別原理

如圖1所示[2]，車聯(lián)網(wǎng)模型是實現(xiàn)單目視覺測距的物理基礎(chǔ).計算中心是車聯(lián)網(wǎng)云模型的管理和計算中心，可通過中繼站接收車輛運動信息并傳輸服務(wù)響應(yīng).中繼站可和多個車輛、計算中心響應(yīng)、通信.車輛端提供車輛導(dǎo)航、輔助駕駛功能.云計算模型客戶端層為車載智能終端，可通過服務(wù)訪問點向上層發(fā)送服務(wù)請求并接受服務(wù)響應(yīng).通信層通過服務(wù)訪問點連接客戶端和云端，融合互聯(lián)網(wǎng)、3G/4G、衛(wèi)星等多種通信網(wǎng)絡(luò).云層是車聯(lián)網(wǎng)云模型的計算/控制/數(shù)據(jù)中心，可響應(yīng)客戶端服務(wù)請求，運算能力強(qiáng).

圖1 適用于單目視覺測距的車聯(lián)網(wǎng)模型Fig.1 Internet of cars for monocular vision measurement

如圖2所示，基于視覺的目標(biāo)檢測分類、車道線提取已在ADAS系統(tǒng)集成應(yīng)用，具備向車聯(lián)網(wǎng)模型移植條件.通過快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)可檢測、識別交通目標(biāo)[3-4]，使用交通目標(biāo)訓(xùn)練網(wǎng)絡(luò)，獲得樣本候選區(qū)域并將坐標(biāo)與視覺任務(wù)示例圖像輸入網(wǎng)絡(luò)，得到深度卷積特征；然后，經(jīng)過池化層將特征規(guī)格化并輸入全連接層，并行回歸計算特征分類及檢測框坐標(biāo)值；經(jīng)多次迭代訓(xùn)練得到同視覺任務(wù)強(qiáng)相關(guān)的目標(biāo)檢測模型.在此基礎(chǔ)上，通過全連接層獲取包含每個候選區(qū)域的最終特征向量并輸入到分類器，利用非極大值抑制，判斷出候選區(qū)域的目標(biāo)類別與位置；最后利用判斷值與實際標(biāo)注值之間的差別得到損失函數(shù)，通過反向傳播與隨機(jī)梯度下降法優(yōu)化網(wǎng)絡(luò)參數(shù)得到輸出網(wǎng)絡(luò).實驗證明，目標(biāo)檢測成功率超過85%，對15種交通標(biāo)志分類成功率接近90%.為獲取車輛寬度[1]，研究人員使用AdaBoost和聚合通道特征對車輛初步檢測，利用車輛幾何尺寸約束濾除誤檢結(jié)果，在車輛ROI區(qū)域內(nèi)利用車尾部特征對車輛精確定位.實驗證明，檢測車輛誤差均值為1.086 3像素.為提取車道分界線，首先提取地平線及圖像ROI區(qū)域，對道路圖像二值處理并用Canny算子提取邊緣；然后對圖像逆透視變換得到俯視圖像并進(jìn)行Hough變換，調(diào)整Hough變換閾值參數(shù)及直線角度，篩選出車道線；最后，配準(zhǔn)含車道線的圖像，得到車道線輪廓及部分角點.

圖2 應(yīng)用于自主駕駛的視覺目標(biāo)檢測分類、車道線提取功能Fig.2 Object detection and lane extraction function used in autonomous driving

1.2 基于車聯(lián)網(wǎng)云模型的單目視覺測距實現(xiàn)方法

圖3給出了基于車聯(lián)網(wǎng)云模型的單目視覺測距實現(xiàn)方法，車輛端采集道路前方圖像后，在計算中心、中繼站分別運行前車目標(biāo)、交通標(biāo)志檢測識別分類功能，返回前方車輛及交通標(biāo)志尺度信息；在車輛端部署車道分界線提取功能，向附近中繼站請求其尺度信息.根據(jù)車載毫米波雷達(dá)輸出的前車距離信息，選取輔助合作標(biāo)志從而確定單目視覺測量策略.車輛端匯集全部幾何尺度信息實現(xiàn)前車測距.當(dāng)車輛行駛環(huán)境要素變化較小時，通過計算中心、中繼站一次性檢測、車輛端持續(xù)跟蹤目標(biāo)、實時測距，使計算任務(wù)同計算能力相匹配，可確保單目視覺測距功能實時性.

2 應(yīng)用道路合作標(biāo)志的單目視覺測距方法

圖3 單目視覺測距實現(xiàn)方法Fig.3 Realization of monocular visual measurement

如圖4所示，車道分界線在不同環(huán)境下其長度、寬度、前后間隔為固定值；車道上方交通標(biāo)志包括主要標(biāo)志和輔助標(biāo)志，主要標(biāo)志又分為指示標(biāo)志、指路標(biāo)志等6種，其中指示及指路標(biāo)志的高度、寬度有著統(tǒng)一規(guī)定.應(yīng)用車載單目相機(jī)測量前方車輛距離時，可引入車道分界線、指路標(biāo)志尺寸信息，合理設(shè)定坐標(biāo)系，實現(xiàn)前方車輛測距.

2.1 單目視覺測量數(shù)學(xué)建模

根據(jù)相機(jī)數(shù)學(xué)模型[7-8]，利用幾何尺寸固定的合作標(biāo)志，獲取前方車輛深度信息.參考典型單目視覺成像模型，建立世界坐標(biāo)系O-XwYwZw、相機(jī)坐標(biāo)系O-XcYcZc、圖像物理坐標(biāo)系o-xy、圖像坐標(biāo)系I-uv，如圖5所示.

若世界坐標(biāo)系某一坐標(biāo)點Po(Xw,Yw,Zw)，該點從世界坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系下坐標(biāo)為(Xc,Yc,Zc)，再轉(zhuǎn)換到像平面坐標(biāo)系下坐標(biāo)為(x,y)，再轉(zhuǎn)換到圖像坐標(biāo)系下像素坐標(biāo)為(u,v)，上述轉(zhuǎn)換關(guān)系用齊次坐標(biāo)系表示為

圖4 用于輔助單目視覺測量的交通標(biāo)志Fig.4 Traffic signs for monocular visual measurement

圖5 視覺測量坐標(biāo)系模型Fig.5 Visual measurement coordinate system model

式中：R為3×3正交變換矩陣；T為三維平移向量；OT=(0,0,0)T；f為相機(jī)焦距；u0,v0為CCD相機(jī)光軸與像平面交點(x0,y0)的坐標(biāo)；dx,dy為CCD光電耦合元件的尺寸大小；kx,ky為X,Y軸方向的放大系數(shù)；Min為相機(jī)內(nèi)參數(shù)矩陣mij(i=1,2,3;j=1,2,3,4)投影矩陣參數(shù).

2.2 基于水平方向合作標(biāo)志的單目視覺測距

對于某個在世界坐標(biāo)系下坐標(biāo)已知的空間點，通過相機(jī)在圖像坐標(biāo)系成像，成像點(u,v)和空間點(Xw,Yw,Zw)可由式(2)獲得.

設(shè)相機(jī)主光軸與水平地面近似平行，則可認(rèn)為道路上所有位置已知點的坐標(biāo)Zw=0.通過增加上述幾何約束，可以簡化式(3).如果存在n個空間點，且世界坐標(biāo)系下(Xwi,Ywi,Zwi)坐標(biāo)已知；同時，通過直線檢測方法提取出各空間點在圖像坐標(biāo)系下的坐標(biāo)(ui,vi)，且m34≠ 0，則可獲得

B=[u1v1…unvn]T，由式(3)可知，獲取場景中4組以上空間點在世界坐標(biāo)系下的坐標(biāo)，可以求解系數(shù)矩陣m'為

圖6 基于水平方向合作標(biāo)志的目標(biāo)測距Fig.6 Visual measurement based on horizontal cooperative sign

如圖6所示，獲得系數(shù)矩陣m'后，通過車輛目標(biāo)識別分割，推算前方車輛目標(biāo)外接矩形同道路平面交線L0的兩個端點為Car1,Car2，在圖像中坐標(biāo)(u1,v1),(u2,v2)，可以得出前方車輛在世界坐標(biāo)系下的位置Pcar1(Xw1,Yw1,Zw1),Pcar2(Xw2,Yw2,Zw2).前方車輛、本車均在道路平面行駛，即Zwi=0.通過計算中心對前方車輛進(jìn)行車型識別，獲取車輛類型及車輛世界坐標(biāo)系下水平方向?qū)挾?，即交線L0兩端點Car1,Car2的幾何關(guān)系為

綜合上述幾何約束及投影關(guān)系，計算前方車輛在世界坐標(biāo)系下的位置，即

由于式(6)為超定方程，通過最小二乘方法，解得未知量X=[Xw1,Yw1,Xw2,Yw2]T，則前方車輛距本車距離為

2.3 基于垂直(光軸)方向合作標(biāo)志的單目視覺測距

除車道分界線外，道路中矩形交通標(biāo)志可應(yīng)用于前方車輛距離測量.若上述矩形在相機(jī)空間坐標(biāo)系和圖像坐標(biāo)系下面積已知，且矩形目標(biāo)平面同相機(jī)主光軸垂直，可以計算出矩形目標(biāo)在相機(jī)坐標(biāo)系下的空間位置[7].

圖7 基于垂直方向合作標(biāo)志的目標(biāo)測距Fig.7 Vision measurement based on vertical cooperative sign

如圖7所示，假設(shè)車載相機(jī)鏡頭畸變較小，在車輛前方Zc=Zc0平面上，有一矩形目標(biāo)，寬高比為α，目標(biāo)寬為L1，高為L2，面積為S，為設(shè)其4個角點在相機(jī)坐標(biāo)系下的坐標(biāo)為(XC1,YC1,ZC0)，(XC2,YC2,ZC0)，(XC3,YC3,ZC0)，(XC4,YC4,ZC0)；在像平面成像后，目標(biāo)在圖像坐標(biāo)系下坐標(biāo)為(u1,v1)，(u2,v2)，(u3,v3)，(u4,v4)，寬為l1，高為l2，面積為s，且圖像坐標(biāo)系的成像平面中心點為(u0,v0)，則像素(ui,vi)和空間點(Xci,Yci,Zc0)間的對應(yīng)關(guān)系為

則可以計算出矩形目標(biāo)的深度，即前方車輛同本車距離為

式中：kx,ky分別為X,Y軸方向放大系數(shù)，根據(jù)Faugeras提出的線性模型攝像機(jī)內(nèi)外參數(shù)標(biāo)定方法，在相機(jī)使用前將相機(jī)內(nèi)參數(shù)預(yù)先標(biāo)定，利用6個及以上控制點，代入式(2)，組成超定方程，通過最小二乘方法，求解矩陣M的各個參數(shù)，其中，令m1=[m11m12m13]T，m2=[m21m22m23]T，則kx=‖m1?m3‖，ky=‖m2?m3‖.

3 前方車輛自適應(yīng)視覺測距方案設(shè)計

城市內(nèi)車道分界線常為劃2 m間隔4 m；交通標(biāo)志常出現(xiàn)在路口附近，如矩形交通指示牌尺寸寬為4 m，高為2 m.如圖8所示，車輛應(yīng)參考車載毫米波雷達(dá)測距信息獲取前車距離范圍，自適應(yīng)選取相機(jī)視野內(nèi)含幾何約束的交通標(biāo)志，確保單目視覺測距連續(xù)、可用.

圖8 單目視覺測距合作標(biāo)志應(yīng)用策略Fig.8 Application of monocular vision measurement

如圖8(a)所示，前車距離2 m＜D≤10 m，相機(jī)視野內(nèi)車道分界線不完整，當(dāng)前車尾部可見時，可用于輔助視覺測距.通過計算中心識別前方車型，返回前方車輛尾部面積信息S，車輛端獲取前車在圖像坐標(biāo)系下面積為s；選用垂直方向合作目標(biāo)輔助測距方法，預(yù)先標(biāo)定相機(jī)參數(shù)kx,ky，則前方車輛距離為

如圖8(b)所示，前車距離10 m＜D≤20 m，相機(jī)視野內(nèi)前車尾部、車道兩側(cè)邊界線可作為合作標(biāo)志輔助視覺測距.計算中心識別車型返回尾部寬度信息L0，車輛端獲取分界線的圖像坐標(biāo)(ui,vi),i=1,2,3,…,8，推算車輛尾部平面同道路平面交界線的端點(u10,v10)、(u20,v20)；車輛端通過向中繼站請求該區(qū)域車道分界線、交通標(biāo)志尺度信息，并合理設(shè)置世界坐標(biāo)系原點，推算合作標(biāo)志坐標(biāo)(Xi,Yi,Zi),i=1,2,3,…,8，獲得透視參數(shù)矩陣m'；根據(jù)透視投影關(guān)系，建立融合車輛寬度信息的超定方程，通過最小二乘方法，解得車輛尾部平面同道路平面交線端點坐標(biāo)X=[Xw1,Yw1,Xw2,Yw2]T，則前方車輛距離為

如圖8(c)所示，前車距離20 m＜D≤30 m，相機(jī)視野內(nèi)前車尾部、車道兩側(cè)邊界線可作為合作標(biāo)志輔助視覺測距.在該距離下，車輛尾部可見，車道分界線距相機(jī)較遠(yuǎn)的角點不能準(zhǔn)確提取，故利用車道線兩側(cè)端點作為幾何約束，則前方車輛距離為

如圖8(d)所示，前車距離D＞30 m，相機(jī)視野內(nèi)遠(yuǎn)方車道邊界線不清晰，前車尾部、交通標(biāo)志可作為合作標(biāo)志輔助視覺測距.通過計算中心進(jìn)行車型識別，向車輛端返回前方車輛尾部、交通標(biāo)志面積信息S1、S2，車輛端獲取前車目標(biāo)的坐標(biāo)，在圖像坐標(biāo)系下面積為s1、s2；選用垂直方向合作目標(biāo)輔助測距，車輛同最近交通標(biāo)志距離為D1，則前方車輛距離為

4 實驗及分析

4.1 仿真實驗

通過AutoCAD構(gòu)建4個三維模型，對式(10)～式(13)所述4種工況進(jìn)行驗證.環(huán)境中車道寬為4 m，車道線長2 m、寬0.2 m；矩形交通標(biāo)志寬4 m，高2 m；模擬車載相機(jī)安裝位置為(0 m,0 m,2 m)，焦距30 mm，圖像分辨率為1024×768，內(nèi)參數(shù)kx、ky乘積為；前方貨車高度設(shè)為4.5 m，寬度約為3.4 m，每個環(huán)境的場景與相機(jī)視圖如圖9所示.根據(jù)前文分析結(jié)果，前方車距變化時，選用視場內(nèi)相應(yīng)的交通標(biāo)識空間及圖像坐標(biāo)作為幾何約束，如表1所示，獲得前方車輛單目視覺測距結(jié)果，如表2和表3所示.

表1 視覺測距應(yīng)用的幾何約束Table 1 Geometric constraint of monocular vision measurement

圖9 單目視覺測量仿真實驗Fig.9 Experiment of monocular vision measurement

表2 單目視覺測距結(jié)果1(仿真)Table 2 Result of monocular vision measurement

4.2 真實環(huán)境

如圖10所示，使用測距儀(200 m測距誤差1%)測量前方目標(biāo)距離10.600 m，使用分辨率1 080×1 440的相機(jī)采集圖像；車道寬4 m，矩形交通指示牌寬4 m，高2 m，前方車輛寬1.51 m，高1.86 m，視覺測距結(jié)果如表4和表5所示.

表3 單目視覺測距結(jié)果2(仿真)Table 3 Result of monocular vision measurement

圖10 測量環(huán)境、工程偵查測距儀及真實環(huán)境實驗Fig.10 Engineering investigation rangefinder prototype and real environment experiment

表4 單目視覺測距結(jié)果1(真實環(huán)境)Table 4 Result of monocular vision measurement in real envirnment

表5 單目視覺測距結(jié)果2(真實環(huán)境)Table 5 Result of monocular vision measurement in real envirnment

分析上述實驗結(jié)果可得結(jié)論如下：

(1)單目視覺測距精度隨前車距離增加而降低.

(2)選用垂直合作標(biāo)志的單目視覺測距精度高于選用水平合作標(biāo)志的單目視覺測距精度，當(dāng)視野內(nèi)同時出現(xiàn)兩種合作標(biāo)志，優(yōu)先選用垂直合作標(biāo)志作為輔助定位標(biāo)志；

(3)若前方車輛距離在40 m內(nèi)，且圖像中車輛寬度提取誤差小于6 pixel，則視覺測距誤差不超過10%，可作為駕駛輔助系統(tǒng)測距手段之一，實現(xiàn)視覺同雷達(dá)“識別—探測”數(shù)據(jù)融合.

5 結(jié)論

本文介紹了一種面向未來智能交通系統(tǒng)的前方車輛單目視覺測量方法，車輛獲得多種道路要素幾何尺度信息后實現(xiàn)前方車輛距離單目視覺測量；與毫米波雷達(dá)同時使用，可豐富ADAS系統(tǒng)測距手段.本文提出了單目視覺測距功能在車聯(lián)網(wǎng)模型中部署方案，使用靜態(tài)方法測試了單目視覺測距正確性.未來應(yīng)重點提升單目視覺測量精度，提升方案同智能交通系統(tǒng)、ADAS適配性、兼容性.