梁 軍，錢晨陽，陳 龍，王文颯，趙彤陽

(1.江蘇大學汽車與交通工程學院，江蘇鎮(zhèn)江212013；2.中國重型汽車集團有限公司汽車研究總院，濟南225000)

0 引 言

隨著車聯(lián)網(wǎng)及自動駕駛技術的發(fā)展，CAV 與HV 共存的城市交通流運行模式勢必在智能交通系統(tǒng)發(fā)展階段長期存在.CAV 與HV 共存，加劇研究交通流的復雜性，使車路協(xié)同的實施難度陡峭上升[1].混行交通流場景下，鳴笛[2]、燈語[3]，以及V2V通信[4-5]均能有效地表達道路運行車輛的駕駛意圖，提高車路協(xié)同效果.鳴笛為駕駛員提供聲音輔助判斷條件，但是聲音在嘈雜交通環(huán)境下會失效；V2V為CAV高效自動駕駛決策提供基礎，但是V2V 傳感器容易受周圍信號干擾；燈語不受噪聲影響，可見度高，駕駛意圖表現(xiàn)明顯，且易于識別.因此，在交互時，燈語比其他方式有優(yōu)勢，燈語信號承載車輛駕駛員的駕駛決策，對燈語信號進行準確而快速地識別，能夠提高CAV智能化水平，提高道路通行能力，減少交通事故發(fā)生.

針對燈語向外界表達的駕駛意圖：LIU 等[6]利用發(fā)光二極管(Light Emitting Diode, LED)快速開關的特性與光電探測器(Photo Detector, PD)探究基于光通信技術的V2V 吞吐量和錯誤率，表明燈光信息可用于車—車通訊；FROHLICH等[7]利用轉向燈的頻率對駕駛意圖進行識別，使用頻率特征訓練Adaboost 分類器識別轉向燈的燈語意圖，但是在識別過程中忽視了轉向燈的顏色特征，且沒有對前照燈燈語進行研究；NARMANLIOGLU等[8]研究夜晚車尾燈間斷亮起表示的駕駛意圖，提出在多車跟馳環(huán)境下的尾燈信號中繼模型，該方法識別率高，但容易發(fā)生誤檢.

綜上，為實現(xiàn)對前照燈燈語意圖(VHI)的識別，以混行交通流場景下典型燈語意圖識別為背景，構建CAV 對HV 的VHI 識別模型及關鍵算法.采用KLT 算法和車輛匹配算法對發(fā)出燈語信息HV的前照燈(VH)進行感知、定位、跟蹤；設計基于VH投射模型和道路反射模型的光通道增益算法，計算光輻射通量變化；利用光輻射通量和車載傳感器數(shù)據(jù)作為雙層隱馬爾可夫模型(DHMM)的輸入，實現(xiàn)VHI 識別.最后，對模型及算法進行實驗驗證與測試.

1 混行交通環(huán)境下車輛VHI分析

1.1 VHI時空特征

從時間角度看，車輛行駛狀態(tài)，即縱向加速度、縱向急動度、航向角、橫向加速度、VH 閃爍次數(shù)，是影響駕駛意圖的時序因素[9]，反映了駕駛員的期望駕駛意圖及車輛的下一階段行駛軌跡；從空間角度看，周圍交通狀況是影響駕駛員發(fā)出燈語的空間因素.

1.2 混行交通流環(huán)境下人工駕駛車輛燈語特點

(1)實時性，需要CAV在短時間內(nèi)對VHI進行識別，并做出相應自動駕駛決策.

(2)限定性，限定典型燈語示意場景的HV 燈語信息才能被CAV接受并理解.

(3)可見性，光照變化易于被光電傳感器捕捉.

2 VHI識別模型設計

VHI 識別模型由燈光感知、光數(shù)據(jù)處理、VHI識別3個模塊組成，如圖1所示.

2.1 燈光感知模塊

使用RGB和HSV顏色空間對VH圖像進行顏色分割，形成二值化圖像[10].在HSV中設置閾值分割條件：飽和度為(0.9,1.0)，明度為(0.0,0.1)，其中，飽和度和明度均已歸一化，定義變換得到的圖像為Image HSV. HV 常用LED 作為VH，顏色為白色，在檢測中同時關注紅、綠、藍分量，定義變換得到的圖像為Image RGB，轉換規(guī)則[12]為

式中：F(x,y)為變換后的像素值大??；fR(x,y)為紅色像素值；fG(x,y)為綠色像素值；fB(x,y)為藍色像素值；(x,y)為像素坐標；R(x,y)為紅分量；G(x,y)為綠分量；B(x,y)為藍分量.

圖1 VHI 識別模型Fig.1 VHI recognition model

對Image HSV 進行高斯變換，對Image RGB進行非線性變換，實現(xiàn)VH 區(qū)域針對性增強.采用KLT算法標記ROI(Region of Interest)并跟蹤；采用車輛匹配算法確定ROI是否屬于同一輛HV，該算法基于VH 保持在同一水平線上和燈對關于中軸線對稱的特性，如圖2所示，實現(xiàn)ROI配對，約束條件為

式中：a1、b1分別為區(qū)域1 的寬度和長度；a2、b2分別為區(qū)域2的寬度和長度；d1、d2為誤差距離.

圖2 前照燈配對檢測Fig.2 VH matching detection

2.2 光數(shù)據(jù)處理模塊

光數(shù)據(jù)處理模塊采用基于VH 投射模型和路面反射模型[11]的光通道增益算法，計算CAV 接受到的光通輻射通量.

2.2.1 VH投射模型

文獻[12]給出等照度圖，如圖3 所示，在進行遠近光切換時，VH光線會在路面上形成反射.

圖3 遠近光燈在路面上形成的等照度圖Fig.3 Illuminance diagrams of road surface from a pair of low or high beam headlamp

根據(jù)上述等照圖特性和光學理論[13]，建立VH投射模型，如圖4所示.

式中：E為照度(lx)；dΦ為光通量(l m)；S為光照射面積(m2)；θ為立體角(sr)；I(α,β)為光強(cd)；α為水平角(°)；β為垂直角(°)；d為距離(m)；h為離地高度(m)；ω為入射角(°).

2.2.2 路面反射模型

路面反射光強度R(φ)模型，如圖5所示，數(shù)學公式為

式中：ρ為反射率；φ為反射角(°).

圖4 VH 投射模型Fig.4 VH illuminance calculation model

圖5 路面反射Fig.5 Reflection of road

2.2.3 光通道增益算法

根據(jù)式(8)和式(9)，推導光通道增益算法，如圖6所示.由于左右VH 具有相同的輸出光分布[14]，僅對左側大燈(Left Side Headlight,LSH)進行分析，h1為前照燈離地高度(m)，h2為光電探測器(Photo Detector，PD)離地高度(m).

圖6 光通道增益算法Fig.6 Optical channel gain algorithm

點C處垂直照度ELSH-C計算公式為

式中：ILSH(αC,βC)為LSH 在方向(αC,βC)上的光強(cd)；ωC為入射角(°)；dLSH-C為從LSH到達點C的距離(m)；LED的輻射發(fā)光效率Γ為250.3 lm/W[15]，則在C處的垂直光輻射通量dPLSH-C為

來自位置A的PD 接收到反射光輻射通量dPA-LSH-RL為

式中：SPD為PD 的面積(m2)；dC-PD為C與PD 之間的距離(m)；φC從點C到PD的反射光線(Reflected Light,RL)與法線的夾角(°)；ωRL為RL與水平線的夾角(°).

來自于RL的光輻射通量PA-LSH-RL為

式中：Ω為PD的視場角(°)；S為總照射面積(m2).

來自于LSH 的直射光線(Direct line,DL)的光輻射通量PA-LSH-DL為

式中：ILSH(αA,βA)為沿方向(αA,βA)的光強(cd)；SPD為感光面積(m2)；ωDL為DL與水平線的夾角(°).

PD接收到來自左側燈的光輻射通量PA-LSH為

同理可得來自右側燈的光輻射通量PA-RSH，則來自HV左側、右側燈的總光輻射通量PA為

將PA變化曲線圖輸入VHI 識別模塊，識別VH 閃爍次數(shù).若PA出現(xiàn)一次峰值，則VH 閃爍一次；若PA出現(xiàn)兩次峰值，則VH閃爍兩次.

2.3 VHI識別模塊

利用隱馬爾可夫模型(Hidden Markov Model，HMM)處理動態(tài)時間序列的能力[16]和基于HMM算法的駕駛行為預測模型[17]，構建DHMM模型，如圖7所示，識別在混行交通環(huán)境下VHI.

圖7 DHMM 模型Fig.7 DHMM model

Step 1基于車輛加速、減速相關的縱向加速度和縱向急動度，建立描述加速、減速的HMM 模型，觀察序列用多維向量的形式表達為

式中：x1(t)為縱向加速度；x2(t)為縱向急動度.

利用Baum-Welch 算法[18]迭代優(yōu)化加速、減速操作的HMM參數(shù)，應用Forward-Backward算法計算采集到的駕駛行為數(shù)據(jù)對HMM的似然度，選取似然度最大的模型作為識別結果.同理，基于航向角和橫向加速度構建變道HMM 模型；基于HV 車速構建車速分級HMM；基于光輻射通量變化構建VH閃爍次數(shù)HMM模型.由此，得到特定時間段內(nèi)操作層HMM的4維識別結果.

Step 2將4 維識別結果，按特定場景下的燈語意圖進行劃分，作為意圖層HMM 的觀察序列，表達式為

式中：u(t)、v(x)、m(t)、n(t)分別為加速、減速，轉向，車速，VH 閃爍次數(shù)的操作層HMM 識別結果.在操作層HMM 中，前向向量αt(i)和后向向量βt(i)的迭代公式為和在參數(shù)λ給定的條件下，前向向量αt(i)為在t時刻隱狀態(tài)為Si時，觀察序列O1,O2,…,On發(fā)生的概率；后向向量βt(i)為觀察序列Ot+1,Ot+2,…,OT發(fā)生的概率.aij從狀態(tài)Si到Sj的轉移概率；bi[Q2(l)]為在隱狀態(tài)Si時觀測值Q2(l)發(fā)生的概率.

Step 3建立多維離散HMM模型為

式中：Π為意圖層的初始概率矢量；ξ為意圖層模型的狀態(tài)轉移概率矩陣；ζ1,ζ2,ζ3,ζ4分別為加速、減速，變道，車速和光輻射通量4組觀察序列的觀察值概率矩陣.

利用Baum-Welch 算法進行迭代優(yōu)化，得到“提醒催行”“變道超車”“加速超車”的多維離散HMM 參數(shù).實時獲取數(shù)據(jù)，識別HV 運動狀態(tài)，組成觀察序列輸入HMM意圖層，分別計算意圖層產(chǎn)生序列的概率則燈語意圖為似然度最大的HV行駛狀態(tài)序列.

3 實驗驗證

3.1 實驗說明

實驗利用PreScan-Simulink 駕駛員在環(huán)聯(lián)合仿真實驗平臺.設計3種燈語示意典型場景，如圖8所示.

3.2 實驗1 HV-VH感知及跟蹤

3.2.1 實驗設定

在PreScan中設置1輛裝有PD和攝像頭(幀率60 frame/s，分辨率720 pixel×480 pixel)的CAV，2 輛HV，加入光源模擬自然光引起的加性高斯白噪聲.在各場景下CAV 設定為自動駕駛，HV-2 按設定軌跡行駛，3 名駕駛員操控HV-1 做出挑燈動作.圖9為選取特征明顯的VH二值化圖像和感興趣區(qū)域(ROI).

圖8 燈語示意典型場景Fig.8 VHI typical scenarios

圖9 燈語示意典型場景下二值化圖像和ROIFig.9 Binary image and ROI under VHI typical scenarios

選取3 s內(nèi)VH檢出率η為感知準確度評價指標，由準確檢出VH-ROI 張數(shù)DT與所有二值化圖像張數(shù)DC(180張)的比值得到，即

以VH 匹配算法中估計角度誤差γ，單位為(°)，作為評價跟蹤定位精度指標，γ越小跟蹤定位精度越高，計算公式為

3.2.2 實驗結果及分析

車燈感知實驗結果如表1 所示，不同場景下VH檢出率基本相同，場景(a)中VH檢出率最高，為97.2%.跟蹤定位實驗結果如圖10 所示，不同場景下的估計角度誤差γ變化趨勢基本相同，因為KLT和車輛匹配算法的結合能有效利用每幀圖像之間的連續(xù)信息去除誤檢.定位跟蹤精度隨d1接近0而增大.綜上，燈光感知模塊基本不受場景限制，越靠近CAV時的VH檢出率和定位跟蹤精度越高.

表1 VH 檢測實驗結果Table 1 Results of headlights detection experiment

圖10 3 種燈語示意典型場景下燈語車的角度誤差Fig.10 Angle error under 3 VHI typical scenarios

實驗增加噪聲環(huán)節(jié)，提高仿真數(shù)據(jù)在實際交通狀況下的準確性，考慮車輛匹配算法的計算效率，將誤差角度γ放在二維中計算.因為燈語特點的連續(xù)性及實際車輛寬度無法忽略，所以，KLT算法和車輛匹配算法能快速鎖定VH，實驗結果理論上滿足實際要求.

3.3 實驗2 VHI識別

3.3.1 實驗設定

選取10位不同年齡段的駕駛員(男性、女性駕駛員各5 名)，分別駕駛HV-1 在3 個場景中做相應的挑燈動作，獲取實驗數(shù)據(jù)集.HV-1 的VH 和PD相關參數(shù)設置如表2所示.

表2 參數(shù)設置Table 2 Parameter set

3.3.2 實驗結果及分析

利用收集的3類燈語意圖數(shù)據(jù)訓練DHMM模型參數(shù)，為提醒催行、超車變道、提醒加速超車設定似然度值.將1 s內(nèi)的縱向加速度、縱向急動度、航向角、橫向加速度、光輻射通量數(shù)據(jù)分別輸入對應的操作層HMM 模型，得到4 維識別結果，再輸入意圖層HMM識別燈語意圖并顯示.

在3類典型燈語場景下，選取1號駕駛員實驗后輸出的PD接受到的光輻射通量變化圖，如圖11所示，其中，未經(jīng)處理的PA以灰色表示，濾波處理后的PA以黑色表示.DHMM 中VHI 識別結果如圖12所示，平均識別率如表3所示.3種典型燈語示意場景中“提示催行”“變道超車”“加速超車”的平均識別率為96.6%，滿足VHI的識別可行性要求.

圖11 光輻射通量PA 變化Fig.11 Change of optical radiant flux PA

圖12 10 位駕駛員在3 類場景中燈語意圖識別結果Fig.12 Headlights intention recognition results of 10 drivers in 3 typical scenarios

表3 VHI 識別率Table 3 VHI recognition rates

4 結 論

(1)創(chuàng)新提出了混行交通環(huán)境下CAV對HV的VHI 識別模型，實驗結果表明在1 s 內(nèi)VH 感知準確率達96.8%，定位跟蹤精度小于1°，VHI 平均識別率達到96.6%.該方法初步驗證了在3 種主要燈語場景中，燈語意圖識別的可行性與適用性.

(2)燈語意圖識別模型結合了圖像識別與光輻射通量算法的兩重優(yōu)勢，通過建立DHMM模型及算法識別MV 前照燈閃爍次數(shù)和駕駛意圖得出燈語意圖.基于DHMM 的意圖識別模型計算速度快，占用車載系統(tǒng)資源少，充分考慮了識別準確性和實時性，基本滿足實際使用要求.

(3)未來可研究在更復雜的混行交通環(huán)境下的HV 駕駛員的挑燈動作對VHI 識別模型進行完善優(yōu)化，將其應用到CAV的輔助駕駛系統(tǒng)當中.