游 峰 梁昭德

(華南理工大學土木與交通學院 廣州 510006)

0 引 言

疲勞駕駛是道路交通事故的主要誘因之一.根據美國國家高速交通安全委員會(NHTSA)的研究，有22%～24%的交通事故和駕駛人的精神狀態(tài)有關；在我國，每年因疲勞駕駛而引起的交通事故占總起數(shù)的20%，占特大交通事故的40%以上.因此，研究基于駕駛人疲勞狀態(tài)的事故預警系統(tǒng)，對減少交通事故、保障駕駛人的人身安全有重大意義.

目前，駕駛人疲勞檢測方法主要有基于心電圖( ECG)、腦電圖( EEG)等生理數(shù)據的特征檢測方法、基于方向盤轉角[1]和車輛行駛軌跡等駕駛行為數(shù)據的特征檢測方法，以及基于圖像的眼睛、嘴巴開度等面部特征[2]的檢測方法三種.其中，基于圖像的駕駛人面部特征的檢測方法具有非接觸、低成本等優(yōu)點，日益成為研究的熱點.賈小云[3]運用AdaBoost級聯(lián)分類器進行人臉特征檢測，結合Haar提取人臉特征，LBP特征檢測眼部和嘴角，最后用PERCLOS原理統(tǒng)計眼睛閉合頻率完成疲勞狀態(tài)判別.唐廣發(fā)等[4]用灰度投影法和灰度變換標準差對人眼進行定位，再提取眼睛上下眼瞼點獲取眼睛開度的大小.楊非等先通過ASM算法對人臉特征進行定位，再應用灰度積分投影法，對瞳孔中心進行定位，增加準確度.牛耕田等[5]用Gabor小波提取圖像特征，再用PCA方法進行特征降維完成識別.為提高駕駛人眼睛特征的準確率，劉志強[6]使用眼鏡式眼動儀采集眼部注視點等特征參數(shù)訓練SVM模型.除此之外，還有基于Tensor PCA[7]、隱馬爾科夫模型[8]等技術的疲勞檢測研究.

上述研究方法多在人臉檢測和人眼檢測的基礎上研究駕駛人疲勞狀態(tài).但在車輛行駛的過程中，駕駛人面部成像干擾諸多，如光線入射角度變化、光照強弱變化、駕駛人面部受樹蔭疊加等.此外，為完成復雜駕駛任務，如并線、會車、超車等，駕駛人常調整視野朝向，頭部姿態(tài)變化劇烈，這部分干擾常使人眼的定位和跟蹤性能下降，甚至失效.

近年來，使用卷積神經網絡提取圖像特征的方法引起國內外的廣泛關注，此類方法能夠在訓練迭代的過程中自動更新目標特征，不依賴于人工參與，并能挖掘目標的深層信息，從而比傳統(tǒng)的模式識別方法更具魯棒性.卷積神經網絡的這些特性，為提升疲勞檢測算法的魯棒性提供新的解決方案，本文提出一個基于卷積神經網絡的駕駛人疲勞檢測系統(tǒng)，預處理階段應用方向梯度直方圖(HOG)、特征點檢測、旋轉變換三個算法解決頭部姿態(tài)變化的問題，特征檢測階段應用卷積神經網絡算法檢測人臉特征，對抗駕駛人面部光照，樹蔭干擾等問題.疲勞檢測階段在前述算法的基礎上，根據PERCLOS原則綜合一段時間內駕駛人疲勞的幀數(shù)判斷駕駛人精神狀態(tài)，完成預警.

1 駕駛人人臉定位和姿態(tài)校正

1.1. 基于方向梯度直方圖(HOG)的人臉定位算法

采用方向梯度直方圖(HOG)算法從復雜背景中定位人臉.首先將采集的原始圖像轉為灰度圖，再利用Gamma公式進行顏色空間的標準化，即

I(x,y)=I(x,y)gamma

(1)

然后，計算圖像每個像素方向梯度的幅值和方向：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(2)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(3)

(4)

(5)

式中：H(x,y)為像素值；Gx(x,y)為水平梯度；Gy(x,y)為垂直梯度；G(x,y)為梯度幅值；α(x,y)為梯度方向.

將圖像分成若干個單元格，一定數(shù)量的單元格組合成區(qū)間，對區(qū)間內單元格的梯度向量進行歸一化，生成全局的特征描述向量.最后，使用SVM分類器在原圖中尋找人臉的疑似區(qū)域.

1.2 基于局部約束模型(CLNF)的人臉特征點定位算法

在1.1的基礎上，應用Conditional Local Neural Fields (CLNF)算法定位人臉特征點，特征點包括包括下巴的頂部、眼睛外部輪廓、眉毛的內部輪廓等.在人臉的疑似區(qū)域，CLNF定位方法通過將人臉特征點分布的先驗知識與圖像的局部差異作對比，得到可信的特征點分布.圖1為標準的特征點示意圖.

圖1 標準特征點模板

1.3 駕駛人人臉旋轉變換

為確保變換后人臉的眼睛和嘴唇與標準樣本位置相同，提取人臉特征點對原人臉圖片進行旋轉變換，旋轉的θ角由人臉特征點的檢測值和標準值之間的夾角求得，變換矩陣見式(6).

*xT

(6)

2 基于卷積神經網絡的駕駛人疲勞特征提取

2.1 卷積神經網絡(CNN)基本結構

卷積神經網絡的核心結構是卷積層，卷積層常用作網絡的輸入層和中間層.該結構主要進行卷積計算，使用的卷積核與前一層的輸入維數(shù)相同[9].卷積核的參數(shù)在訓練時根據反向傳播算法不斷調整，以最小化誤差.卷積計算表達式為

(7)

卷積層的輸出直接與激活函數(shù)相連，激活函數(shù)的作用是給神經網絡引入非線性，目前研究人員普遍采用ReLU激活函數(shù)，即

f(x)=max(0,x)

(8)

卷積層之間要通過池化層對上一層的特征輸出進行降維以簡少計算量，池化的原理是對一個區(qū)域內的所有元素進行運算，最終輸出一個元素值代替這個區(qū)域內的所有輸出，通常采用的方法有均值池化、高斯池化和最大值池化幾種.文中網絡采用最大值池化，使用一個區(qū)域內所有元素中的最大值作為該區(qū)域的輸出.

網絡的末端通常是全連接層和輸出層，全連接層把上一層的輸入壓縮成一維的特征向量，供輸出層進行分類，全連接層的表達式為

f(x)=W*X+B

(9)

輸出層根據網絡的實際需要設計損失函數(shù)，對于通常的多分類網絡，采用Softmax函數(shù)，表達式為

(10)

包含以上基本結構的卷積神經網絡(CNN)見圖2.

圖2 卷積神經網絡(CNN)基本結構圖

2.2 基于Openface的人臉特征提取網絡訓練

通常一個性能較好的神經網絡需要使用大量的樣本進行訓練，每次處理相似任務都重頭設計和訓練網絡將耗費大量的時間和資源，使用Finetune技巧可以復用已經設計好的原型網絡，簡化算法開發(fā)的流程.本文使用OpenFace卷積網絡作為Finetune的原型網絡，修改其網絡結構，構建特定的駕駛人疲勞樣本庫并對該網絡進行訓練，實現(xiàn)疲勞判別.

OpenFace網絡[10]是一個有代表性的開源的人臉特征提取網絡，該由谷歌研究人員開發(fā)，使用LFW人臉數(shù)據集及YouTube Faces DB數(shù)據集訓練及測試，分別取得了99.63% 和95.12%的正確率，能滿足本文人臉特征提取算法的需要.該網絡的原始結構見表1.

表1 卷積網絡結構表

由表1可知，Openface網絡最終輸出一個128維的特征向量，該向量是人臉高級特征的抽象，包含有用于疲勞分類所需的信息，但不能直接用于本文的疲勞分類，因此在Finetune開始前必須對網絡的結構進行更改，并對各層的學習率進行重新設定，主要步驟如下.

步驟1準備好疲勞駕駛的訓練樣本和測試樣本.

步驟2計算疲勞駕駛數(shù)據集的均值文件，因為特定領域的圖像均值文件會跟原始網絡訓練時使用的均值文件參數(shù)不一樣.

步驟3修改網絡結構參數(shù)，在網絡的最后再增加一個輸出層，損失函數(shù)使用Softmax，如式10所示，輸出分類類別為2，訓練開始時隨機初始化該層權值.

步驟4設置網絡訓練參數(shù)，由于新的數(shù)據庫較小，不適合進行全局finetune，故網絡訓練時僅對最后兩層的權值進行更新.最后一層是全新的初始化權值，故學習率略微提高，最終網絡訓練參數(shù)表2.

步驟5加載原始網絡的權值參數(shù)，啟動訓練.

3 疲勞檢測實驗結果分析

為驗證算法的魯棒性和有效性，使用Ubuntu系統(tǒng)完成了疲勞檢測網絡的訓練和測試，實驗數(shù)據包括從132名志愿者中采集的5 160幅人臉圖像，男女比例約為1∶1.每幅圖像中人臉朝向，眼睛開度，嘴巴開度，是否佩戴眼睛等表情狀態(tài)都略有不同，圖像在不同光照條件下采集，包含實驗室和室外采集的圖像數(shù)據.數(shù)據庫中的圖像均經過預處理步驟，即人臉檢測，特征點定位與仿射變換.處理過的圖像隨后被人工標注成正負兩類，分別是疲勞人臉和非疲勞人臉，正樣本數(shù)為3 360，負樣本數(shù)為3 470，正負樣本比約為1∶1.

表2 網絡訓練參數(shù)表

訓練時將數(shù)據庫分為樣本集和測試集：5 830幅圖像用于訓練，1 000幅圖像用于測試.訓練輸出曲線見圖3，經過120批次迭代，網絡的正確率穩(wěn)定不再變化，表示特征提取模型完成.

圖3 Finetune誤差下降曲線

使用PERCLOS原則判斷一段時間內駕駛人是否疲勞， PERCLOS可以簡單表示為一段連續(xù)時間內駕駛人疲勞的圖像幀數(shù)與總幀數(shù)取值，即

(11)

在清醒狀態(tài)下0≤P≤0.15，在疲勞狀態(tài)下P≥0.4.本文使用卷積神經網絡算法代替?zhèn)鹘y(tǒng)的特征檢測算法逐幀判斷駕駛人狀態(tài)，再計算P的取值判斷駕駛人是否疲勞，因此，算法的精度取決于卷積神經網絡對單幀圖像疲勞判別的正確率.

實驗準備階段，在室內和實車環(huán)境下錄制視頻并分解為圖像幀，使用本文算法逐幀進行檢測，并將檢測結果和人工標注結果進行對比，計算其敏感度TP/(TP+FP)和特異度TN/(TN+FN)，這兩個值分別表示該網絡檢測疲勞樣本的準確率和非疲勞樣本的準確率.

最終結果見表3，在測試中發(fā)現(xiàn)，室內環(huán)境下的疲勞檢測的敏感度為97%，特異度為95%，，接近openface原始網絡提取人臉特征的敏感度(99%)和特異度(95%).這表明openface網絡提取出的人臉特征經過Finetune后確實可以用于疲勞分類，驗證了本文算法的有效性.測試中還發(fā)現(xiàn)，進行實車測試時，網絡的敏感度和特異度分別下降為88%和85%.造成這兩項指標下降的原因是多方面的，最主要的原因可能是戶外駕駛的過程中駕駛人頭部會大幅搖動，這種干擾影響了HOG算法和CLNF算法的精度，使人臉歪斜地進入神經網絡，從而使網絡得出錯誤的結果，降低了準確率.

表3 室內和實車識別結果

為了說明本文算法對傳統(tǒng)特征檢測算法的優(yōu)勢，將本文方法與文獻[9-12]等所提出方法的識別率進行對比，結果見表4.進行室內檢測實驗時，文中方法與基于Adaboost和小波的方法較為接近，準確度均大于95%，比基于瞳孔定位的準確度略高.進行實車檢測實驗時，與文獻[13-15]的方法進行對比，該方法采用混合樣本(室內加室外)測試，正確率為85%，而本文室外檢測精度綜合為87%，比之略高.綜上，基于卷積神經網絡的疲勞特征檢測方法比傳統(tǒng)的特征識別方法具有一定優(yōu)勢[16-19].

表4 文獻數(shù)據對比 %

4 結 束 語

本文以駕駛人疲勞為切入點，在傳統(tǒng)計算機視覺方法的基礎上引入了卷積神經網絡(CNN)方法進行特征提取和分類.與傳統(tǒng)的基于瞳孔狀態(tài)等單一視覺特征的檢測方法相比，卷積神經網絡能收集駕駛人臉部的所有信息，有效對抗戶外惡劣環(huán)境的干擾，提高算法的魯棒性.實驗結果顯示，該算法正確率高，魯棒性好.

本系統(tǒng)也有一些不足，如無法在夜間進行工作，模型數(shù)據量大，不適合小型設備使用等.后期的研究工作將努力解決這些問題.

參考文獻

[1] 金立生.基于轉向盤操作的疲勞駕駛檢測方法[J].交通信息與安全,2014(5):103-107.

[2] 楊非,龐玉,劉宗強.駕駛員疲勞檢測中眼睛特征提取算法研究[J].機電一體化,2017(7):23-28.

[3] 賈小云.面部特征融合的電力作業(yè)頭疲勞檢測方法研究[J].電網與清潔能源,2016(9):17-21+28.

[4] 唐廣發(fā),張會林.人眼疲勞預測技術的研究[J].計算機工程與應用,2016(9):213-218.

[5] 牛耕田,王昌明,孟紅波.基于多尺度稀疏表示的面部疲勞識別[J].計算機科學,2016(8):282-285+291.

[6] 劉志強.基于眼部特征的疲勞駕駛辨識方法研究[J].重慶理工大學學報(自然科學),2016(10):11-15+33.

[7] WU J,TRIVEDI M M. Simultaneous eye tracking and blink detection with interactive particle filters[J]. 2008(1):1-17.

[8] WANG J, XU W, GONG Y. Real-time driving danger-level prediction[J]. Engineering Applications of Artificial Intelligence, 2010,23(8):1247-1254.

[9] LE C Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015(2):436-444.

[10] 李東,彭亦功,一種基于HSV和LBP特征融合的眼疲勞診斷方法[J].自動化儀表,2016(10):77-82.

[11] 廖建國.基于眼動特征的駕駛員疲勞駕駛檢測技術研究[J].湖南科技大學學報，2016(1):70-73.

[12] 趙雪鵬.基于級聯(lián)卷積神經網絡的疲勞檢測[J].光電子·激光,2017(5):497-502.

[13] ZHANG R H,HE Z C,WANG H W,et al.Study on self-tuning tyre friction control for developing main-servo loop integrated chassis control system[J]. IEEE Access, 2017(5):664-670.

[14] YOU F,ZHANG R H,GUO L,et al.Trajectory planning and tracking control for autonomous lane change maneuver based on the cooperative vehicle infrastructure system[J].Expert Systems with Application, 2015,42(14):1593-1596.

[15] ZHANG R H,MA Y B,YOU F,et al. Exploring to direct the reaction pathway for hydrogenation of levulinic acid into gvalerolactone for future Clean-Energy Vehicles over a magnetic Cu-Ni catalyst[J].International Journal of Hydrogen Energy, 2017,42(4):185-194.

[16] 陳東偉,張喆,韓娜，等.多算法融合的疲勞駕駛監(jiān)測算法設計與實現(xiàn)[J].太原理工大學學報,2016,47(4):518-522.

[17] 肖賽,雷葉維.駕駛疲勞致因及監(jiān)測研究進展[J].交通科技與經濟,2017,19(4):14-19.

[18] 蔡羽,徐朝陽.疲勞駕駛檢測模塊設計及仿真驗證[J].電子設計工程,2018,26(1):183-188.

[19] 李巖,石柏軍,張兆元，等.基于行車數(shù)據的長途客車駕駛員駕駛行為識別方法研究[J].機械設計與制造工程,2017,46(12):105-108.