唐 坤,戴語琴,徐永能,郭唐儀,邵 飛

(1.南京理工大學(xué) 自動化學(xué)院, 南京 210094; 2.陸軍工程大學(xué) 野戰(zhàn)工程學(xué)院, 南京 210023)

0 引言

交通事故不僅對社會經(jīng)濟(jì)發(fā)展造成嚴(yán)重?fù)p害,而且是應(yīng)急救援等特殊情況下人員物資安全投送的重大威脅。數(shù)據(jù)表明,我國2019年共發(fā)生交通事故247 646起,造成直接財產(chǎn)損失就高達(dá)134 618萬元[1]。超過90%的交通事故與異常駕駛行為有關(guān),行駛速度每增加5%,造成傷害和致命交通事故數(shù)量將分別增加10%～20%[2]。因此,對異常駕駛行為進(jìn)行分析與識別是預(yù)防交通事故、提升交通安全的重要途徑,為人員物資的安全與高效投送提供可靠保障。

國內(nèi)外學(xué)者對駕駛行為進(jìn)行了廣泛研究[3-4],從方法層面來看,目前研究大致可以分為基于分析的方法與數(shù)據(jù)驅(qū)動的方法兩類[5]。前者以駕駛員心理與生理信號為基礎(chǔ),例如腦電信號EEG[6]、皮電信號EDA[7]、眼動信號EOG[8]等,通過構(gòu)建精確的分析模型對異常駕駛行為進(jìn)行識別。由于心理與生理信號具有較高的時間分辨率,能夠滿足精細(xì)化的駕駛行為分析需求,基于分析的方法得到了廣泛應(yīng)用[9-10]。然而,心理與生理信號通過駕駛佩戴的傳感設(shè)備獲取,存在較強的侵入性與干擾性[11]。與基于分析的方法不同,數(shù)據(jù)驅(qū)動的方法利用機器學(xué)習(xí)等方法對數(shù)據(jù)進(jìn)行分析,將蘊含在數(shù)據(jù)中的信息轉(zhuǎn)化為知識,實現(xiàn)駕駛行為的非顯式建模。由于采用非侵入方式進(jìn)行數(shù)據(jù)采集并自動構(gòu)建數(shù)據(jù)與駕駛行為之間的關(guān)聯(lián)模型,數(shù)據(jù)驅(qū)動的方法具有顯著優(yōu)勢,已經(jīng)成為駕駛行為研究的熱點方向[12]。從數(shù)據(jù)角度而言,數(shù)據(jù)驅(qū)動的方法主要包括兩類:基于圖像視頻[13]與基于傳感器數(shù)據(jù)[14]。得益于機器視覺近些年的迅猛發(fā)展,基于圖像數(shù)據(jù)的方法具備了較多的成熟方案。然而,圖像數(shù)據(jù)容易受光照等因素的影響,應(yīng)用場景受限,而且視頻數(shù)據(jù)量較大,需要消耗大量的計算資源?；趥鞲衅鲾?shù)據(jù)的方法需要為車輛安裝大量專用傳感器,安裝與維護(hù)成本極高,較難推廣應(yīng)用[15]。

隨著智能手機的大量普及,手機內(nèi)集成的傳感器種類日益豐富,通過融合智能手機多傳感器數(shù)據(jù)進(jìn)行駕駛行為分析得到越來越廣泛的關(guān)注[16]。手機傳感器能夠以非侵入的方式實時記錄車輛運動狀態(tài)信息,與專用傳感器相比,具有成本低、易獲取、非侵入、易普及等優(yōu)點。利用手機傳感器數(shù)據(jù)進(jìn)行駕駛行為分析的關(guān)鍵在于如何從傳感器數(shù)據(jù)中提取高質(zhì)量的特征表達(dá)[17]。近年來,深度學(xué)習(xí)(deep learning)在計算機視覺、自然語言處理等領(lǐng)域取得了巨大成功[18-19]。得益于深度網(wǎng)絡(luò)結(jié)構(gòu),深度學(xué)習(xí)模型能夠逐層從數(shù)據(jù)中挖掘潛在知識,在特征提取與數(shù)據(jù)挖掘方面展現(xiàn)出獨特的優(yōu)勢[20]。鑒于深度學(xué)習(xí)模型強大表征能力,利用深度學(xué)習(xí)方法從數(shù)據(jù)中挖掘交通模式已經(jīng)成為交通研究的重要趨勢[21]。

鑒于此,從數(shù)據(jù)驅(qū)動的角度出發(fā),以低成本無侵入的手機傳感器為基礎(chǔ),通過多傳感器數(shù)據(jù)融合,分析自然駕駛條件下的駕駛行為模式與數(shù)據(jù)特性,提出一種基于Encoder-Decoder深度學(xué)習(xí)模型與Attention機制的異常駕駛行為在線識別方法,并利用真實數(shù)據(jù)進(jìn)行實驗對模型的有效性進(jìn)行驗證。主要工作包括:

1) 分析駕駛行為特性與數(shù)據(jù)模式,挖掘異常駕駛行為的數(shù)據(jù)表現(xiàn)特征,驗證基于手機多傳感數(shù)據(jù)融合進(jìn)行異常駕駛行為識別的可行性。

2) 提出基于Encoder-Decoder深度網(wǎng)絡(luò)與SVM的異常駕駛行為識別模型,通過融合Attention機制,增強了模型的注意力,并提高了異常駕駛行為識別精度。

3) 利用真實的自然駕駛數(shù)據(jù)進(jìn)行實驗,分析不同特征提取器與分類器組合模型的異常駕駛行為識別性能,再通過實驗對比,驗證了所提模型的有效性。

1 數(shù)據(jù)簡介與預(yù)處理

1.1 數(shù)據(jù)簡介

本文中所采用的駕駛行為數(shù)據(jù)來自于公開數(shù)據(jù)集Driver Behavior Dataset[22]。該數(shù)據(jù)集通過智能手機中的慣性測量單元傳感器采集,加速度計、線性加速度計、陀螺儀與磁力計分別記錄車輛在xyz三個方向上的加速度、線性加速度、角速度與磁場力。整個數(shù)據(jù)集包含4段實驗行程,平均每段行程持續(xù)約13 min,具體如表1所示。

表1 異常駕駛事件數(shù)據(jù)統(tǒng)計量

1.2 特征提取

由于駕駛行為的復(fù)雜性,單個傳感器很難對其進(jìn)行較好地表征,本文中采用多傳感器融合的方式對駕駛行為進(jìn)行描述。如圖1所示。通過對不同傳感器的數(shù)據(jù)進(jìn)行融合,各時刻的駕駛行為可以用一個維度為12的特征向量xt∈R12進(jìn)行描述。由于綜合考慮了多個傳感器數(shù)據(jù),相較于單傳感器而言,xt具有更為全面的駕駛行為描述能力。

圖1 駕駛行為描述特征構(gòu)建

1.3 數(shù)據(jù)預(yù)處理

鑒于原始數(shù)據(jù)存在數(shù)據(jù)缺失、量綱各異和類間不平衡等問題,因此有必要采用以下步驟對初始數(shù)據(jù)進(jìn)行預(yù)處理。

步驟1缺失數(shù)據(jù)處理。查找缺失數(shù)據(jù)記錄,確定數(shù)據(jù)缺失性質(zhì),針對偶然性缺失,采用插值法進(jìn)行補全,針對結(jié)構(gòu)性缺失,將缺失記錄從數(shù)據(jù)中剔除。

步驟2數(shù)據(jù)歸一化。不同傳感器度量單位不同,為了消除量綱的影響,采用最大最小值歸一化方法(Min-Max Scaling)對各個特征維度上的數(shù)據(jù)進(jìn)行歸一化。

步驟3非平衡數(shù)據(jù)處理。數(shù)據(jù)中異常駕駛為少數(shù)類,正樣本與負(fù)樣本分布不平衡,通過對正常駕駛下采樣和對異常駕駛上采樣,使得正負(fù)樣本比例盡量平衡。

步驟4特征分布正態(tài)化。利用正態(tài)概率圖(Normal Probability Plot)對各種特征進(jìn)行正態(tài)性檢驗,針對非正態(tài)分布特征,采用對數(shù)化等方法進(jìn)行正態(tài)分布變換。

2 異常駕駛行為識別模型

2.1 總體框架

本文中提出模型的總體框架如圖2所示。主要包括輸入編碼、注意力學(xué)習(xí)、特征解碼、序列重構(gòu)、殘差計算與駕駛行為分類等步驟,具體流程如下所示。

圖2 模型總體框架

步驟6SVM分類。將重構(gòu)誤差E={e1,e2,…,eT}與原始序列Xorigin={x1,x2,…,xT}拼接得到混合分類特征向量X={(x1,e1),(x2,e2),…,(xT,eT)},將其輸入至SVM進(jìn)行分類得到ot,t=1,2,…,T,實現(xiàn)異常駕駛行為識別。

2.2 基于LSTM的Encoder-Decoder模塊

首先,將預(yù)處理后的駕駛行為時間序列數(shù)據(jù)Xorigin輸入至Encoder-Decoder模型中的Encoder模塊。Encoder-Decoder模型是一種強大的時間序列處理框架[23],如圖3(a)所示。

圖3 Encoder-Decoder模型結(jié)構(gòu)

(1)

(2)

式中:g(·)為映射函數(shù),通常采用全連接層實現(xiàn)。

在解碼階段,利用語義向量c與之前時刻輸出{y1,y2,…,yt-1}計算Encoder在各時刻的輸出,如下所示

(3)

式中:yt為Decoder在當(dāng)前時刻的輸出;yt-1為上一時刻的輸出;c表示語義編碼向量。

2.3 注意力模塊

(4)

式中:Wa為權(quán)重矩陣;va為變換系數(shù);上標(biāo)T代表矩陣轉(zhuǎn)置。然后,對相關(guān)性得分進(jìn)行歸一化,計算Encoder隱含層狀態(tài)對Decoder隱含層狀態(tài)的影響權(quán)重,如下所示

(5)

(6)

(7)

式中:Wc為轉(zhuǎn)換矩陣。在此基礎(chǔ)上,計算decoder在t時刻的最終輸出yt,如下所示

yt=Whost+bho

(8)

式中:Who為隱含層輸出系數(shù)矩陣;bf為偏置項。

2.4 支持向量機模塊

(9)

式中:w為超平面法向量,b為偏置,xi與yi∈{+1,-1}分別為第i個樣本的特征向量與分類標(biāo)簽,m為樣本的數(shù)量。利用拉格朗日乘子法對上式進(jìn)行轉(zhuǎn)換,得到下述優(yōu)化問題:

(10)

(11)

基于上述最優(yōu)分割超平面,對于任一樣本x,其分類決策函數(shù)如下所示

f(x)=sgn((w*)T·x+b*)

(12)

式中:sgn(·)為符號函數(shù),輸出為“1”或“-1”,分別代表異常駕駛與正常駕駛,從而實現(xiàn)異常駕駛行為識別。

3 模型結(jié)果與分析

3.1 實驗設(shè)置

對于每個時刻t,利用該時刻及前T-1個時刻的時間序列構(gòu)建駕駛行為特征描述張量Xt=[xt-T+1,xt-T+2,…,xt]。通過對實驗數(shù)據(jù)進(jìn)行預(yù)處理,獲得駕駛行為數(shù)據(jù)樣本共 155 496條,其中正常駕駛132 970條,異常駕駛22 526條,按照3∶1∶1的比例將數(shù)據(jù)劃分為訓(xùn)練集、驗證集與測試集。模型采用PyTorch 1.9.0實現(xiàn),實驗環(huán)境為Intel(R) Core(TM) i7-9700 CPU、16G DDR4內(nèi)存、NVIDIA GeForce RTX 2080 GPU。模型超參數(shù)通過網(wǎng)格搜索調(diào)優(yōu)確定,設(shè)置LSTM 層數(shù)為3,各層維度分別為{128,128,64},batch_size為128,使用Adam優(yōu)化器對模型進(jìn)行訓(xùn)練,最大迭代次數(shù)為2 000。為了防止模型過擬合,采用丟棄法構(gòu)建dropout層,并采用早停法(early stopping)對模型進(jìn)行訓(xùn)練。為了驗證模型的穩(wěn)定性,采用5折交叉驗證對模型性能進(jìn)行評估。

為了驗證模型性能,將提出模型與多種典型的特征提取器與分類器組合模型進(jìn)行對比,對比特征提取器包括循環(huán)神經(jīng)網(wǎng)絡(luò)RNN、長短時記憶網(wǎng)絡(luò)LSTM與Bidirectional LSTM,對比分類器包括Logistic分類器、Random Forest隨機森林,并采用多種廣泛使用的分類評價指標(biāo)對模型性能進(jìn)行評價,包括準(zhǔn)確率Accuracy、精確率Precision、召回率Recall、Fβ-score。

3.2 駕駛行為特征分析

正常駕駛數(shù)據(jù)分布如圖4所示。從圖中可以看出,正常駕駛情況下,線加速度與角加速度均圍繞0值上下振動,不存在長時間持續(xù)增大或減小情況,最大值與最小值均處在合理范圍之內(nèi),具有較強的規(guī)律性與穩(wěn)定性。

圖4 正常駕駛行為特征分析

急加速/急剎車、急性左/右轉(zhuǎn)彎、急速左/右變道數(shù)據(jù)分布狀態(tài)分別如圖5所示。

圖5 異常駕駛行為特征分析

急加速狀態(tài)表現(xiàn)為線加速度短時間內(nèi)突然急劇增長,在達(dá)到峰值后振動式緩慢下降,而急剎車狀態(tài)反應(yīng)為線加速度短時間內(nèi)突然急速負(fù)向增長,在達(dá)到峰值后緩慢增加。急性左轉(zhuǎn)彎情況下陀螺儀角加速度先增后減,數(shù)據(jù)曲線呈現(xiàn)上凸現(xiàn)象,而急性右轉(zhuǎn)彎情況下陀螺儀角加速度先減后增,數(shù)據(jù)曲線呈現(xiàn)下凹現(xiàn)象。急速左變道情況下角加速度反應(yīng)為先增后減,然后先減后增,數(shù)據(jù)呈現(xiàn)變幅正弦函數(shù)分布,而急速右變道情況下角加速度反應(yīng)為先減后增,然后先增后減,數(shù)據(jù)呈現(xiàn)變幅負(fù)正弦函數(shù)分布。結(jié)果表明,異常駕駛行為導(dǎo)致傳感器數(shù)據(jù)波動劇烈,具有顯著的突變性,且與正常駕駛行為數(shù)據(jù)之間存在較大差異,具有顯著的離群性。

3.3 模型性能分析

各模型異常駕駛行為識別結(jié)果如表2所示。從表中可以看出,各指標(biāo)計算結(jié)果整體上從上至下呈現(xiàn)遞增趨勢。當(dāng)特征提取器為LSTM時,基于SVM的異常駕駛識別準(zhǔn)確率、精確率、召回率與F1-score分別為0.881、0.560、0.836與0.671,高于其他2種分類器。這表明,相較于Logistic與RF,SVM能夠獲得更好地異常駕駛行為識別結(jié)果。當(dāng)利用SVM作為分類器時,本文中提出模型的異常駕駛行為識別準(zhǔn)確率、精確率、召回率與F1-score分別為0.901、0.614、0.861與0.717,均高于其他對比模型。這表明,本文中提出模型能夠以最高的精確率對絕大多數(shù)異常駕駛行為進(jìn)行識別。提出模型的ROC曲線面積AUC1與PRC曲線面積AUC2分別為0.959與0.833,在各模型中表現(xiàn)最優(yōu)。這表明本文中提出模型能夠更好地對異常駕駛行為進(jìn)行識別。

表2 異常駕駛事件數(shù)據(jù)統(tǒng)計量

對比模型RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型識別結(jié)果的混淆矩陣如圖6(a)～(e)所示。在采用SVM分類器的情況下,提出模型獲得了最優(yōu)的異常駕駛行為識別結(jié)果。如圖6(e)所示,模型的總體識別準(zhǔn)確率為90.1%,正常駕駛行為與異常駕駛行為的查全率分別為90.8%與86.1%,查準(zhǔn)率分別為97.5%與61.4%,正常駕駛行為誤判的比例僅為2.5%。結(jié)果表明,提出模型能夠?qū)Ω嗟恼ｑ{駛行為與異常駕駛行為進(jìn)行正確識別,同時具有最低的誤判率。

圖6 混淆矩陣

為了研究模型在非平衡數(shù)據(jù)集上的分類能力,采用受試者工作特征曲線ROC與精確率-召回率曲線PRC對識別結(jié)果進(jìn)行評價。對比模型RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型的ROC曲線與PRC曲線分別如圖7(a)～(e)所示。同一特征提取器下,利用Logistic、RF與SVM分類器進(jìn)行異常駕駛行為識別的ROC曲線“左上凸”程度與PRC曲線“右上凸”程度依次遞增,對應(yīng)曲線下的面積也依次遞增。這表明SVM具有比 Logistic與RF分類器更好的異常駕駛行為識別效果。同一分類器下,RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型的ROC曲線“左上凸”與PRC曲線“右上凸”程度呈現(xiàn)依次遞增規(guī)律,對應(yīng)曲線下的面積AUC同樣依次遞增。結(jié)果表明,提出模型能夠?qū)崿F(xiàn)絕大多數(shù)異常駕駛行為的準(zhǔn)確識別,具有更高的正常駕駛行為與異常駕駛行為的區(qū)分率,與所對照的同類方法相比,擁有更好的ROC曲線“左上凸”性與PRC曲線“右上凸”性,以及對應(yīng)更高的ROC曲線面積與PRC曲線面積。

圖7 ROC曲線與PRC曲線

4 結(jié)論

1) 基于手機多傳感器融合數(shù)據(jù)的特征分析法是汽車駕駛行為識別的有效可行手段,具有非接觸式、易獲取等優(yōu)點。該特性分析法對異常駕駛行為所造成的數(shù)據(jù)異常波動而產(chǎn)生離群值狀態(tài)的識別具備實時性和較高的準(zhǔn)確性。

2) 本文中所采用的注意力機制Attention能夠為不同時刻的Decoder構(gòu)建考慮上下文信息的個性化語義向量,提升模型注意力,進(jìn)而提高了異常駕駛行為的識別準(zhǔn)確率。

3) 支持向量機(SVM)對Encoder-Decoder所提取的特征進(jìn)行汽車異常駕駛行為的識別,要比Logistic與隨機森林RF分類模型具有更好的效果。

4) 本課題的后續(xù)工作將對駕駛行為與駕駛員情緒狀態(tài)的關(guān)聯(lián)性,通過車內(nèi)視頻數(shù)據(jù)融合前述技術(shù)方法開展更加多源性的非接觸式傳感信息處理和識別算法研究。