牛清寧，周志強，金立生，劉文超，于鵬程

（1.公安部道路交通安全研究中心，北京100062；2.吉林大學交通學院，吉林長春130022）

基于眼動特征的疲勞駕駛檢測方法

牛清寧1，周志強1，金立生2，劉文超1，于鵬程1

（1.公安部道路交通安全研究中心，北京100062；2.吉林大學交通學院，吉林長春130022）

為了提高疲勞駕駛檢測模型準確率和實時性，基于駕駛模擬實驗，利用SmartEye系統(tǒng)提取了駕駛?cè)瞬煌{駛狀態(tài)下眼動數(shù)據(jù)。基于眼動參數(shù)協(xié)議，提出了眨眼頻率、PERCLOS、注視方向和注視時間4個特征參數(shù)的計算方法。分析了各特征參數(shù)的最優(yōu)時窗，針對不同特征參數(shù)最優(yōu)時窗差異，提出了滑移時窗的數(shù)據(jù)融合方法。基于支持向量機，搭建了疲勞駕駛檢測模型。實驗結(jié)果表明，該模型可以有效地進行疲勞狀態(tài)檢測，準確率能夠達到83.84%。

疲勞駕駛；眼動特征；支持向量機；滑移時窗；時窗；檢測模型

疲勞駕駛是導致道路交通事故的主要因素之一。Klauer等研究發(fā)現(xiàn)，疲勞駕駛引發(fā)交通事故的概率是正常駕駛的4～6倍［1］。每年由疲勞駕駛而引起的交通事故占事故總數(shù)的20%左右，占特大交通事故的40%以上［2?3］。因此，需要對駕駛?cè)说鸟{駛狀態(tài)進行實時檢測，當出現(xiàn)疲勞駕駛時，給予有效的預警，對于降低交通事故及人員傷亡有著十分重要的現(xiàn)實意義。

疲勞駕駛檢測方法分為主觀檢測和客觀檢測。主觀檢測主要通過主觀調(diào)查表、駕駛?cè)俗晕矣涗洷?、斯坦福睡眠尺度表和皮爾遜疲勞量表等評定駕駛?cè)说钠跔顟B(tài)［4］?？陀^檢測包括基于生理信號檢測的方法（腦電信號、肌電信號和皮電信號等）［5］、基于生理反應(yīng)檢測的方法（眼動特征、面部朝向等）［6］和基于駕駛行為檢測的方法（方向盤轉(zhuǎn)角、車道偏移量等）［7?8］。其中，基于駕駛?cè)搜蹌犹卣鞯姆墙佑|式檢測方法被廣泛采用［6］。Lenskiy等基于顏色和紋理實現(xiàn)了駕駛?cè)搜鄄康臏蚀_定位和分割，提取了眨眼頻率和眼睛閉合時間進行疲勞狀態(tài)的檢測［9］。成波等利用多重回歸對PERCLOS、平均睜眼程度以及最長閉合時間3個指標進行融合實現(xiàn)了對疲勞狀態(tài)的檢測，準確率為76.7%［10］。胡淑燕等利用從眼電信號提取出的11個眼瞼運動特征參數(shù)搭建了基于支持向量機的駕駛?cè)似陬A測模型，實現(xiàn)了疲勞駕駛的提前預測［11］。

目前的研究主要集中在眼部區(qū)域的定位和分割，而在疲勞特征參數(shù)的選擇及檢測模型的優(yōu)化方面，大多采用單個或少量幾個眼瞼運動參數(shù)來判斷駕駛?cè)说钠诔潭龋?1］。同時，在多特征參數(shù)融合及不同特征參數(shù)最優(yōu)時窗選擇優(yōu)化方面存在一定的不足，各特征參數(shù)都在同一固定時窗內(nèi)計算，并沒有考慮其差異性。本文通過駕駛模擬實驗，利用SmartEye系統(tǒng)提取駕駛?cè)说难蹌犹卣鲄?shù)：眨眼頻率、PERCLOS、注視方向和注視時間，提出利用滑移時窗融合的方法，實現(xiàn)各特征參數(shù)在其最優(yōu)時窗內(nèi)的融合，基于支持向量機搭建疲勞駕駛檢測模型。

1 疲勞駕駛實驗

在駕駛模擬實驗的基礎(chǔ)上，利用SmartEye系統(tǒng)采集20名駕駛?cè)苏ｑ{駛和疲勞駕駛狀態(tài)下的眼動數(shù)據(jù)。

1.1 實驗平臺

采用自行開發(fā)的奔騰B50駕駛模擬實驗平臺進行駕駛模擬實驗，駕駛模擬實驗平臺如圖1（a）所示。駕駛?cè)搜蹌訑?shù)據(jù)通過SmartEye系統(tǒng)直接讀取。SmartEye系統(tǒng)是由瑞典Smart Eye AB公司提供的一類非接觸式眼睛跟蹤系統(tǒng)，包括4個攝像頭和2組紅外光源，分別位于駕駛?cè)俗笥覂蓚?cè)，如圖1（b）所示，可以采集不同光照條件下駕駛?cè)搜蹌訑?shù)據(jù)。

圖1 實驗平臺Fig.1 Experimental platform

1.2 實驗駕駛?cè)撕蛯嶒瀳鼍?/p>

相關(guān)研究表明，年輕男性駕駛?cè)耸瞧隈{駛事故的高危人群［2，12］。依據(jù)實驗要求，招募20名具有合法駕照的駕駛?cè)耍ㄅ?名，男14名）進行駕駛模擬實驗，年齡21～39歲（均值為26.7，標準差為5.23）。

運用Multigen Creator和Vage自行設(shè)計高速公路場景，該場景模擬長春到四平高速公路（長平高速公路）進行設(shè)計，雙向4車道，單車道寬3.75 m，中間隔離帶寬3 m，全長96 km，車速限制80～120 km／h。

1.3 實驗過程

整個實驗過程分為正常駕駛和疲勞駕駛2個階段進行。每位駕駛?cè)硕急仨氝M行2個階段的實驗，首先進行正常駕駛實驗，2次實驗時間間隔為3周。在實驗前2天提前通知駕駛?cè)?，實驗?2 h內(nèi)禁止飲酒。

1.3.1 正常駕駛

正常駕駛實驗前1 d要求駕駛?cè)吮ＷC充足的睡眠，實驗時間選擇在駕駛?cè)苏Ｐ菹⒑缶Τ渑娴纳衔邕M行。從上午10∶00開始，持續(xù)2 h。實驗前20 min研究人員介紹實驗過程及注意事項，駕駛?cè)耸煜ゑ{駛環(huán)境，不記錄實驗數(shù)據(jù)，只記錄后100 min實驗數(shù)據(jù)。

1.3.2 疲勞駕駛

疲勞駕駛實驗前1天限制駕駛?cè)怂邥r間為凌晨1∶00～6∶00共5 h。疲勞駕駛實驗選擇最易出現(xiàn)疲勞狀態(tài)的時間，從下午2∶00開始［12］，持續(xù)2 h或駕駛?cè)擞捎谶^度疲勞而要求中止實驗。

1.4 實驗數(shù)據(jù)

同步采集的實驗數(shù)據(jù)包括駕駛?cè)搜蹌訁?shù)、道路前景視頻和駕駛?cè)嗣娌恳曨l。其中眼動特征參數(shù)采樣頻率為50 Hz，道路前景視頻和面部視頻采樣頻率為10 Hz。

1.5 疲勞狀態(tài)評價

研究表明，駕駛?cè)似诔潭茸晕覍崟r評價與面部視頻他人評價之間存在明顯的一致性［13］，為了避免實時自評侵入性影響和個人主觀差異性影響，本文采用視頻他評的方法確定駕駛?cè)似诔潭?。實驗結(jié)束后根據(jù)駕駛?cè)说拿娌恳曨l和道路前景視頻，由3名經(jīng)過訓練的研究人員依據(jù)KSS睡眠尺度表［14］對駕駛?cè)似诔潭泉毩⑦M行評分（KSSscore），取其平均值作為疲勞狀態(tài)的客觀評分。為保持數(shù)據(jù)的一致性，當3名研究人員評分結(jié)果差異較大時，重新確認原有評分。實驗開始和結(jié)束時，要求駕駛?cè)艘罁?jù)KSS睡眠尺度表對其疲勞狀態(tài)進行自我評價，作為該駕駛?cè)似诔潭瓤陀^依據(jù)。

依據(jù)KSSscore得分，對采集駕駛?cè)搜蹌訑?shù)據(jù)分段記錄，包括：駕駛?cè)司幪?、開始時間、結(jié)束時間、持續(xù)時間和KSSscore。

如果KSSscore≤3，認為駕駛?cè)颂幱谡ｑ{駛狀態(tài)，如果KSSscore≥7，認為駕駛?cè)颂幱谄隈{駛狀態(tài)［15］。

1.6 眼動參數(shù)

利用SmartEye系統(tǒng)采集的駕駛?cè)搜蹌訁?shù)協(xié)議如表1所示。

表1 SmartEye系統(tǒng)協(xié)議Table1 Protocol of SmartEye system

2 眼動特征參數(shù)

在駕駛模擬實驗的基礎(chǔ)上，利用SmartEye系統(tǒng)采集20名駕駛?cè)苏ｑ{駛和疲勞駕駛狀態(tài)下的眼動數(shù)據(jù)。

眨眼頻率、PERCLOS、注視方向和注視時間是目前常用的有效特征參數(shù)，根據(jù)眼動參數(shù)協(xié)議提取有效特征參數(shù)。

2.1 眨眼頻率

眨眼頻率（blink frequency，BF），即單位時間內(nèi)眨眼次數(shù)。一般正常并經(jīng)過充分休息的眼睛眨眼頻率約2～4 s／次，每次眨眼時間為0.25～0.3 s。當駕駛?cè)颂幱谄隈{駛狀態(tài)時，眨眼頻率會增加或減少［9］。

第i個時窗內(nèi)BF的計算公式為

式中：BTei為第i個時窗結(jié)束時的總眨眼次數(shù)；BTsi為第i個時窗開始時的總眨眼次數(shù)；Tbf為BF的計算時窗大小，眨眼頻率最優(yōu)計算時窗為60 s［12］。

2.2 PERCLOS

P80為常用的PERCLOS（percentage of eyelid closure time）計算標準，是指單位時間內(nèi)眼睛睜開程度小于20%所占的比例［6］。

P80計算公式為

式中：f0為樣本采樣頻率；TP80為P80的計算時窗大小，P80的最優(yōu)計算時窗為10 s［12］；np為單位時窗內(nèi)眼睛閉合程度超過80%的次數(shù)。

np的計算公式為

式中：LELj為第j幀圖像的左眼瞼尺寸，RELj為第j幀圖像的右眼瞼尺寸，LELM為駕駛?cè)俗笱鄄€平均尺寸，RELM為駕駛?cè)擞已鄄€平均尺寸，第i個時窗的np初始化為0。

由于駕駛?cè)藗€體差異性，對每位駕駛?cè)巳?00組正常駕駛狀態(tài)下眼瞼尺寸計算LELM和RELM：

2.3 注視方向和注視時間

相關(guān)研究表明，駕駛?cè)诉B續(xù)2 s注視區(qū)域偏離正常道路前方，發(fā)生交通事故概率增加2倍［16］。出現(xiàn)疲勞駕駛時，駕駛?cè)艘暰€方向長時間偏離正常道路前方的次數(shù)增加。因此，注視方向和注視時間可以作為疲勞駕駛檢測有效特征參數(shù)。

將駕駛?cè)说淖⒁晠^(qū)域分為正常注視區(qū)域G1和非正常注視區(qū)域G0。利用正常注視區(qū)域內(nèi)注視時間比例ftr來表示駕駛?cè)说淖⒁晻r間和注視方向。ftr的計算公式為

式中：Tftr為ftr的計算時窗大小，本文Tftr＝2s；nf為單位時窗內(nèi)注視方向在正常注視區(qū)域內(nèi)注視次數(shù)。

nf計算公式為

式中：GDXj為第j幀圖像的視線方向X方向分量，GDYj為第j幀圖像的視線方向Y方向分量，第i個時窗的nf初始化為0。

3 疲勞駕駛檢測模型

疲勞駕駛與眼動特征之間存在復雜的非線性關(guān)系，本文采用支持向量機建立疲勞駕駛檢測模型。

3.1 支持向量機

支持向量機（support vector machine，SVM）是基于統(tǒng)計學習的理論提出的，現(xiàn)已成為機器學習和數(shù)據(jù)挖掘的標準工具之一，被廣泛應(yīng)用于模式識別等領(lǐng)域［7］。

3.2 特征參數(shù)組

眨眼頻率、PERCLOS、正常注視區(qū)域內(nèi)注視時間比3個參數(shù)構(gòu)成特征參數(shù)組作為支持向量機模型的輸入X＝［BF，P80，ftr］。

3.3 滑移時窗

圖2 滑移時窗示意圖Fig.2 Schematic diagram of slip time window

本文選擇滑移時間Δt＝2 s。因此，BF的重復率為96.7%，P80的重復率為80%，F(xiàn)TR的重復率為0。

在已經(jīng)劃分的眼動數(shù)據(jù)段內(nèi)選擇持續(xù)時間大于2 min的數(shù)據(jù)段，利用滑移時窗的特征參數(shù)組融合方法，提取并融合疲勞駕駛和正常駕駛的有效眼動特征參數(shù)組。共得到4 500組正常駕駛樣本和3 000組疲勞駕駛樣本。

3.4 模型訓練

核函數(shù)的選擇對于SVM模型的訓練分類準確率存在直接影響，目前常用的核函數(shù)主要有：線性核函數(shù)、多項式核函數(shù)、徑向基核函數(shù)和Sigmoid核函數(shù)［17］。其中徑向基核函數(shù)對于處理駕駛?cè)俗⒁饬顟B(tài)檢測方面存在一定的優(yōu)勢［7］，因此，選擇徑向基核函數(shù)。

基于SVM疲勞駕駛檢測模型由Libsvm實現(xiàn)［17］。隨機選擇3 000組正常駕駛樣本和2 000組疲勞駕駛樣本作為訓練集。采用網(wǎng)格尋優(yōu)的方式選擇參數(shù)γ和懲罰參數(shù)C，并進行5?fold交叉驗證，得到最優(yōu)的［C，γ］值。最優(yōu)γ＝8，最優(yōu)C＝0.25。

4 結(jié)果分析

4.1 準確率分析

利用剩余1 500組正常駕駛樣本和1 000組疲勞駕駛樣本構(gòu)成測試集對構(gòu)建的SVM模型進行測試。模型測試結(jié)果如表2所示。

表2 SVM模型輸出結(jié)果Table2 Test results of SVM model

由表2可以知道，模型正確識別正常駕駛樣本1 232個，誤識別268個，正確識別疲勞駕駛樣本864個，誤識別136個，合計正確識別2 096個，誤識別404個。本文采用準確率、靈敏度［7］和特異度［7］對建立的SVM模型進行綜合評價，評價結(jié)果如下：模型檢測準確率為83.84%，靈敏度為86.4%，特異度為82.13%。

模型的靈敏度為86.4%，其中有136個疲勞樣本被誤識為正常樣本。對比道路前景視頻和駕駛?cè)嗣娌恳曨l可知，136個誤識樣本主要來自2個視頻段，道路前景視頻顯示，這2個視頻段均出現(xiàn)明顯的車道偏離，而駕駛?cè)嗣娌恳曨l顯示的眼動特征參數(shù)與正常駕駛相比并沒有明顯的差異，但出現(xiàn)了打哈欠、揉眼睛等疲勞現(xiàn)象。造成誤判的原因是本文主要基于駕駛?cè)说难蹌犹卣鬟M行檢測，沒有考慮面部特征，特征參數(shù)選擇不夠全面。模型的特異度為82.13%，其中有268個正常樣本被誤識為疲勞樣本。對比駕駛?cè)嗣娌恳曨l可知，268個誤識樣本來自同一駕駛?cè)?，而該駕駛?cè)说恼Ｑ垲l率明顯低于其他駕駛?cè)苏ｑ{駛時的眨眼頻率。造成誤識的原因是駕駛?cè)藗€體差異。

4.2 實時性分析

采用滑移時窗的數(shù)據(jù)融合方法，實現(xiàn)了各特征參數(shù)值在其最優(yōu)時窗內(nèi)計算。同時，BF最優(yōu)計算時窗為60 s，P80的最優(yōu)計算時窗為10 s，都大于模型的檢測周期2 s，因此，該模型明顯提高了疲勞駕駛檢測的實時性。

5 結(jié)論

本文基于駕駛模擬實驗，提取了駕駛?cè)搜蹌犹卣鳎罱似隈{駛模型，實現(xiàn)了疲勞駕駛檢測。得到的主要結(jié)論如下：

1）眨眼頻率、PERCLOS、注視方向和注視時間4個特征參數(shù)可以用于疲勞駕駛檢測。

2）不同特征參數(shù)的最優(yōu)時窗之間存在一定差異性。

3）利用滑移時窗的方法實現(xiàn)了不同特征參數(shù)在其最優(yōu)時窗內(nèi)的融合，提高了檢測系統(tǒng)準確率和實時性。

本文研究的特征參數(shù)只考慮了駕駛?cè)说难蹌犹卣鳎覜]有考慮個人差異性因素的影響。因此，在研究駕駛?cè)藗€體差異性的基礎(chǔ)上，融合駕駛行為、面部特征等多特征的疲勞駕駛檢測系統(tǒng)，是下一步研究的重點。

［1］KLAUER S G，DINGUS T A，NEALE V L，et al.The im?pact of driver inattention on near?crash／crash risk：an analy?sis using the 100?car naturalistic driving study data［R］.Washington：National Highway Traffic Safety Administra?tion，2006.

［2］趙曉華，許士麗，榮建，等.基于ROC曲線的駕駛疲勞腦電樣本熵判定閾值研究［J］.西南交通大學學報，2013，48（1）：178?183.ZHAO Xiaohua，XU Shili，RONG Jian，et al.Discriminat?ing threshold of driving fatigue based on the electroencepha?lography sample entropy by receiver operating characteristic curve analysis［J］.Journal of Southwest Jiaotong University，2013，48（1）：178?183.

［3］FORSMAN P M，VILA B J，SHORT R A，et al.Efficient driver drowsiness detection at moderate levels of drowsiness［J］.Accident Analysis and Prevention，2013，50：341?350.

［4］吳紹斌，高利，王劉安.基于腦電信號的駕駛疲勞檢測研究［J］.北京理工大學學報，2009，29（12）：1072?1075.WU Shaobin，GAO Li，WANG Liuan.Detecting driving fa?tigue based on electroencephalogram［J］.Transactions of Beijing Institute of Technology，2009，29（12）：1072?1075.

［5］彭軍強，吳平東，殷罡.疲勞駕駛的腦電特性探索［J］.北京理工大學學報，2007，27（7）：585?589.PENG Junqiang，WU Pingdong，YIN Gang.Exploring the characters of electro encephalogram for fatigued drivers［J］.Transactions of Beijing Institute of Technology，2007，27（7）：585?589.

［6］AHLSTROM C，NYSTR?M M，HOLMQVIST K，et al.Fit?for?duty test for estimation of drivers'sleepiness level：eyemovements improve the sleep／wake predictor［J］.Transpor?tation Research Part C，2013，26：20?32.

［7］JIN L S，NIU Q N，HOU H J，et al.Driver cognitive dis?traction detection using driving performance measures［J］.Discrete Dynamics in Nature and Society，2012，2012：1?12.

［8］李偉，何其昌，范秀敏.基于汽車操縱信號的駕駛員疲勞狀態(tài)檢測［J］.上海交通大學學報，2010，44（2）：292?296.LI Wei，HE Qichang，F(xiàn)AN Xiumin.Detection of driver's fatigue based on vehicle performance output［J］.Journal of Shanghai Jiaotong University，2010，44（2）：292?296.

［9］LENSKIY A A，LEE J S.Driver's eye blinking detection u?sing novel color and texture segmentation algorithms［J］.In?ternational Journal of Control Automation and Systems，2012，10（2）：317?327.

［10］成波，張廣淵，馮睿嘉，等.基于眼睛狀態(tài)識別的駕駛員疲勞實時監(jiān)測［J］.汽車工程，2008，30（11）：1001?1005.CHENG Bo，ZHANG Guangyuan，F(xiàn)ENG Ruijia，et al.Re?al time monitoring of driver fatigue based on eye state rec?ognition［J］.Automotive Engineering，2008，30（11）：1001?1005.

［11］胡淑燕，鄭鋼鐵.應(yīng)用支持向量機的眼瞼參數(shù)疲勞預測［J］.北京航空航天大學學報，2009，35（8）：929?932.HU Shuyan，ZHENG Gangtie.Driver fatigue prediction with eyelid related parameters by support vector machine［J］.Journal of Beijing University of Aeronautics and Astro?nautics，2009，35（8）：929?932.

［12］SAHAYADHAS A，SUNDARAJ K，MURUGAPPAN M.Detecting driver drowsiness based on sensors：a review［J］.Sensors，2012，12：16937?16953.

［13］張希波，成波，馮睿嘉.基于方向盤操作的駕駛?cè)似跔顟B(tài)實時檢測方法［J］.清華大學學報：自然科學版，2010，50（7）：1072?1076.ZHANG Xibo，CHENG Bo，F(xiàn)ENG Ruijia.Real?time de?tection of driver drowsiness based on steering performance［J］.Journal of Tsinghua University：Science and Technol?ogy，2010，50（7）：1072?1076.

［14］?KERSTEDT T，GILLBERG M.Subjective and objective sleepiness in the active individual［J］.International Jour?nal of Neuroscience，1990，52：29?37.

［15］INGRE M，?KERSTEDT T，PETERS B，et al.Subjective sleepiness，simulated driving performance and blink dura?tion：Examining individual differences［J］.Journal of Sleep Research，2006，15：47?53.

［16］YEKHSHATYAN L，LEE J D.Changes in the correlation between eye and steering movements indicate driver distrac?tion［J］.IEEE Transactions on Intelligent Transportation System，2013，14（1）：136?145.

［17］CHANG C C，LIN C J.LIBSVM：a library for support vec?tor machines［EB／OL］.（2011?05?20）.http：／／www.csie.ntu.edu.tw／～cjlin／libsvm／index.html＃GUI.

Detection of driver fatigue based on eye movements

NIU Qingning1，ZHOU Zhiqiang1，JIN Lisheng2，LIU Wenchao1，YU Pengcheng1
（1.Road Traffic Safety Research Center of Ministry of Public Security，Beijing 100062，China；2.College of Transportation，Jilin Uni?versity，Changchun 130022，China）

In order to improve the accuracy and real time performance of the driver fatigue detection model，based on driving simulation experiment，the eye movement data in different driving states were collected using SmartEye system.According to the protocol of SmartEye system，a calculation method was proposed to obtain the characteris?tic parameters，including blink frequency，PERCOLS，gaze direction and fixation time.The best time window of different characteristic parameters was analyzed.For the best time window of each characteristic parameter was dif?ferent，the slip time window was proposed to fuse the data.A diver fatigue detection model was developed based on the support vector machine.Validation tests showed that the method based on the driver's eye movements has a suc?cessful fatigue detection，whose accuracy reaches 83.84%.

driver fatigue；eye movements；support vector machine；slip time window；time window；detection model

10.3969／j.issn.1006?7043.201311044

http：／／www.cnki.net／kcms／detail／23.1390.U.20150109.1535.018.html

U461.91

A

1006?7043（2015）03?0394?05

2013?11?13.網(wǎng)絡(luò)出版時間：2015?01?09.

教育部新世紀優(yōu)秀人才基金資助項目（NCET?10?0435）；高校博士學科點專項科研基金資助項目（20110061110036）；吉林省人才開發(fā)基金資助項目（801121100417）；吉林省科技廳國際合作資助項目（20130413056GH）.

牛清寧（1987?），男，助理研究員，博士；金立生（1975?），男，教授，博士生導師.

金立生，E?mail：jinls＠jlu.edu.cn.