盧 偉，胡海陽，王家鵬，王 玲，Yiming Deng

?

基于卷積神經(jīng)網(wǎng)絡(luò)面部圖像識別的拖拉機駕駛員疲勞檢測

盧 偉1,2，胡海陽1，王家鵬1，王 玲1，Yiming Deng3

（1. 南京農(nóng)業(yè)大學(xué)工學(xué)院，南京 210031； 2. 江蘇省現(xiàn)代設(shè)施農(nóng)業(yè)技術(shù)與裝備工程實驗室，南京 210031； 3. Michigan State University，College of Engineering，East Lansing，48824）

針對疲勞駕駛極易造成拖拉機交通事故這一問題，該文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)面部特征識別的拖拉機駕駛員疲勞檢測方法。首先，利用伽馬亮度校正對駕駛員面部圖像進行光照預(yù)處理，再通過小波包去除圖像中的椒鹽噪聲和高斯噪聲，對預(yù)處理后的圖像分別通過PCA-SCM人臉特征識別定位算法和基于人臉核心特征庫及膚色模型的人臉識別算法進行駕駛員面部的識別定位，并通過比對這2種算法識別的偏差大小校驗算法識別的有效性，以減小拖拉機工作振動時采樣對圖像中人臉定位精度的影響。將提取到的駕駛員面部圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)進行深度學(xué)習(xí)和訓(xùn)練，并建立駕駛員疲勞視覺檢測模型，從而實現(xiàn)基于拖拉機駕駛員面部圖像的疲勞檢測。統(tǒng)計訓(xùn)練過程中各項參數(shù)變化情況并進行T-SNE降維迭代分析，與其他常規(guī)方法相比，CNN在檢測準確度和檢測效率方面都有較為明顯的優(yōu)勢。試驗表明，所提出的檢測模型準確率98.9%，圖片識別效率38 ms/幀（Inter i7-4510U雙核處理器），能夠?qū)崿F(xiàn)拖拉機駕駛員疲勞狀況的實時檢測，該研究可為解決疲勞駕駛這一安全問題提供參考。

拖拉機；圖像處理；算法；疲勞駕駛；PCA-SCM；卷積神經(jīng)網(wǎng)絡(luò)；面部識別

0 引 言

中國是農(nóng)業(yè)大國，農(nóng)業(yè)的發(fā)展直接關(guān)系著社會的發(fā)展與穩(wěn)定。農(nóng)業(yè)機械化是有效提高生產(chǎn)率的重要途徑，其中拖拉機是農(nóng)業(yè)機械化的重要部分，到2015年年底，中國農(nóng)用大中型拖拉機數(shù)量約607萬臺，小型拖拉機約 1 703萬臺。由于農(nóng)忙時間較為集中，拖拉機駕駛員往往長時間超負荷疲勞駕駛，再加上拖拉機運行時顛簸劇烈，噪聲較大，周圍環(huán)境較為單一，使駕駛員容易產(chǎn)生視覺疲勞，進一步加劇了拖拉機駕駛員的疲勞，這是造成拖拉機交通事故的重要原因。近20 a來中國拖拉機交通事故死亡人數(shù)48 327人，受傷人數(shù)152 753人，直接財產(chǎn)損失43 203萬元，其中53%的災(zāi)難性事故與駕駛員的疲勞有關(guān)[1-2]，疲勞駕駛已成為拖拉機交通事故發(fā)生的最主要原因。

目前，拖拉機駕駛員疲勞檢測的研究較為少見，而汽車駕駛員疲勞檢測研究較多，其可大致分為主觀檢測和客觀檢測2類。主觀檢測方法主要由駕駛員自主記錄調(diào)查表、FS-14疲勞量表、卡羅林斯卡睡量表、皮爾遜疲勞量表和斯坦福睡眠尺度表等，該方法易受駕駛者和研究者主觀判斷的影響且無法實時檢測，存在較大的局限性?？陀^方法主要分為3類，即基于駕駛員生理參數(shù)檢測[3-7]、基于車輛行為檢測[8-9]、基于計算機視覺檢測[1,10-12]。基于駕駛員生理參數(shù)測量的檢測的方法是通過檢測駕駛員的生理特征，如心電圖、腦電圖、眼電圖、皮膚導(dǎo)電率、呼吸頻率等特征來判斷是否疲勞，這類方法雖然疲勞判別較為精確，但存在設(shè)備安裝復(fù)雜、成本較高、佩戴不便甚至?xí)绊戱{駛員的駕駛狀態(tài)等問題?；谲囕v行為的檢測方法是通過對駕駛過程中車輛參數(shù)如車速、加速度、方向盤轉(zhuǎn)角的檢測來判斷駕駛員疲勞狀況，這類方法易受車型、道路狀況等的限制，且需要在車輛行為具有明顯異常時才能判斷出來，具有一定的局限性。基于計算機視覺檢測駕駛員疲勞駕駛的方法是通過機器視覺檢測人眼的眨眼頻率、嘴角的張合狀態(tài)以及頭部的偏移狀態(tài)等來綜合分析疲勞狀態(tài)，屬于非接觸式檢測，一般先進行圖像采集，再對所采集圖像進行分析和建模得到駕駛員的疲勞狀態(tài)，白中浩等[13]提出了一種基于主動形狀模型及模糊推理的汽車駕駛員疲勞駕駛檢測方法，采用ASM(active shape model)人臉特征定位并選取眼睛和嘴巴2個面部特征對駕駛員狀態(tài)進行綜合判斷；鄧正宏等[14]采用優(yōu)化等照度線法和優(yōu)化mouthmap法提取圖片中汽車駕駛員眼睛和嘴巴特征參數(shù)并通過模糊神經(jīng)網(wǎng)絡(luò)建立疲勞分類器來識別駕駛員疲勞程度；Jia等[12]基于AdaBoost級聯(lián)分類算法，利用LBP(local binary pattern)表示眼睛和嘴巴特征并結(jié)合PERCLOS原理進行汽車駕駛員疲勞狀態(tài)的檢測。

拖拉機駕駛員疲勞檢測與汽車駕駛員疲勞檢測存在較大的差異，汽車駕駛室多安裝深色的單向透視玻璃，駕駛室內(nèi)部光線變化平緩，且人臉多位于固定的座椅前方，背景變化較小，而拖拉機駕駛室四面多為雙向透視玻璃，且背景多為變化的植物或雜草，環(huán)境干擾較多；汽車多駕駛于平整的瀝青及水泥路面，路面狀況較為單一，而拖拉機多駕駛于溝壑縱橫的農(nóng)田，頻繁的顛簸振動易造成圖片中人頭像的抖動，因此，現(xiàn)有的汽車駕駛員疲勞檢測方法無法直接用于拖拉機駕駛員疲勞檢測。本文擬提出一種基于卷積神經(jīng)網(wǎng)絡(luò)面部圖像識別的拖拉機駕駛員疲勞檢測方法，對面部所有特征進行識別訓(xùn)練，以提高復(fù)雜農(nóng)田環(huán)境下駕駛員疲勞識別速度及魯棒性。

1 圖像采集及圖像預(yù)處理

根據(jù)中國拖拉機駕駛?cè)藛T性別分布情況[15]，從南京農(nóng)業(yè)大學(xué)工學(xué)院招募學(xué)生60人，其中男性77%，女性23%，并進行拖拉機駕駛指導(dǎo)和培訓(xùn)。分別選取早晨、上午、中午、下午、傍晚等各個正常耕作時間段，每人分別進行2 h的駕駛試驗，其清醒狀態(tài)和疲勞狀態(tài)采用基于奇異系統(tǒng)的中樞疲勞腦電信號分析進行區(qū)分[16]。每人隨機拍攝清醒狀態(tài)和疲勞狀態(tài)的樣本照片各10張，樣本總量1 200張，其中900張作為訓(xùn)練集，150張作為驗證集，150張作為測試集。系統(tǒng)測試的拖拉機型號為常發(fā)DFD504A（額定功率：80 kW，整機尺寸：6 100× 3 400×3 100 (mm×mm×mm)，前進速度：1.02~20 m/min），數(shù)據(jù)采集的攝像頭型號為SR300（分辨率：1 920×1 080像素，30幀/s），攝像頭安裝位置如圖1所示。

圖1 駕駛員疲勞檢測攝像頭安裝示意圖

1.1 光照預(yù)處理——伽馬亮度校正（GIC）

拖拉機駕駛室一般為四面透明玻璃環(huán)繞或完全敞篷結(jié)構(gòu)，其工作環(huán)境和光照情況較為復(fù)雜，極易影響攝像頭檢測效果，故首先對采集的圖像進行光照預(yù)處理。光照預(yù)處理主要有基于模型和基于預(yù)處理2類方法[17]，基于模型的方法需要附加多種約束條件和先驗知識，且計算量大，其實際應(yīng)用受到限制。而基于預(yù)處理的方法簡單高效，方便實用，比較經(jīng)典的有直方圖變換，伽馬亮度校正(GIC, gamma intensity correction)[18]、色彩空間轉(zhuǎn)換[19-20]、色感一致處理[21]、色彩相似度法[22]、自商圖SQI (self- guotient image)[23]、Retinex變換[24]、離散余弦變換DCT(discrete cosine tramsform)[25]、經(jīng)驗?zāi)B(tài)分解EMD(empirical mode decomposition)[26]等方法。由于拖拉機作業(yè)時駕駛員圖像采集所受環(huán)境影響主要是光照不均，且人臉疲勞檢測需要較高的處理速度，故有效弱化圖像亮度不均帶來的影響和較低的算法復(fù)雜度尤為重要。直方圖變換雖可改善圖像質(zhì)量，但往往會在均衡之后造成一些不連續(xù)色斑；色彩空間轉(zhuǎn)換未解決色彩通道間的相關(guān)性問題；色感一致處理存在需要精確估計光源位置的困難；色彩相似度法對光照劇烈變化較為敏感；自商圖SQI、Retinex變換、離散余弦變換DCT、經(jīng)驗?zāi)B(tài)分解EMD等方法算法復(fù)雜度較高。而Gamma亮度校正是對圖像像素值進行矯正，矯正后不會給圖像帶來不連續(xù)斑塊，也不需要考慮光源位置以及色彩通道之間的相關(guān)性問題，且具有處理速度快的優(yōu)點，因此，選用Gamma亮度校正法進行光照預(yù)處理。

令代表[0,255]像素灰度值區(qū)間，代表Gamma值區(qū)間，為一個像素值（∈），為區(qū)間中點，則到的映射為[18]

則任意像素都存在確定的Gamma值與之對應(yīng)，取Gamma校正函數(shù)為

過亮或過暗的人臉圖像經(jīng)過Gamma亮度校正后減弱了光照影響，可以有效減少光照對人臉識別的影響，如圖2所示為Gamma亮度校正前后效果對比圖。

1.2 小波去噪

由于拖拉機駕駛室四面透光的結(jié)構(gòu)設(shè)計以及工作環(huán)境的復(fù)雜性和作業(yè)過程的振動，人臉圖像在采集過程中的噪聲主要以椒鹽噪聲和高斯噪聲為主[27]，而小波去噪是根據(jù)信號和噪聲小波變換的不同表現(xiàn)形態(tài)，構(gòu)造出相應(yīng)的規(guī)則，對信號和噪聲的小波變換系數(shù)進行處理，處理的實質(zhì)在于減小以至完全剔除由噪聲產(chǎn)生的系數(shù)，同時最大限度地保留有效信號對應(yīng)的小波系數(shù)，對于椒鹽噪聲和高斯噪聲具有較好的去噪效果[28]，故選用小波進行圖像去噪處理。

圖2 Gamma亮度校正效果

本文采用軟閾值小波去噪去除椒鹽噪聲，其閾值函數(shù)如下[29]

閾值選用最優(yōu)閾值VisuShrink閾值，即

VisuShrink閾值函數(shù)同硬閾值函數(shù)、軟閾值函數(shù)及半軟閾值函數(shù)所不同，它擁有更高的導(dǎo)數(shù)階，在噪聲小波系數(shù)與有用信號小波系數(shù)之間存在一個平滑過渡區(qū)，更符合自然信號(這里為所處理的圖像)的連續(xù)特性，故其重構(gòu)信號(圖像)更為平滑，去噪效果如圖3所示。

圖3 小波去噪效果

1.3 人臉識別定位

人臉檢測定位算法大致可分為2大類：基于顯式特征的方法和基于隱式特征的方法。常用的基于顯式特征的方法有基于膚色模型的方法、模板匹配的方法和基于先驗知識的方法，基于隱式特征的方法有特征臉法、人工神經(jīng)網(wǎng)絡(luò)法、支持向量機法和積分圖像法。因拖拉機工作過程中顛簸較大，且圖像背景復(fù)雜多變，為提高人臉定位識別算法的準確性，本文采用基于人臉核心特征的PCA-SCM（principal component analysis - skin color model）人臉識別定位算法進行人臉的識別定位，即先通過人臉核心特征的主成分分析進行人臉初步定位，再采用膚色模型[30]對其進行校驗，最后將所定位的人臉區(qū)域進行切割提取，主要步驟如下：

1）建立人臉核心特征樣本庫。準備一定數(shù)量的人臉圖片，截取人臉核心特征樣本，將人臉核心特征樣本進行歸一化處理。

2）生成人臉核心檢測分類器。準備包含正負樣本的樣本庫，設(shè)置人臉核心特征訓(xùn)練集和特征測試集，采用Adaboost分類器進行分類，根據(jù)特征訓(xùn)練集訓(xùn)練檢測分類器，根據(jù)特征測試集完善檢測分類器，分類器的形式為

3）形成人臉核心特征記憶空間。輸入若干已標定特征人臉圖片，使用人臉核心檢測分類器檢測并截取人臉核心特征，使用PCA算法生成人臉核心特征記憶空間，包括左眼、右眼、鼻子、嘴巴記憶空間，空間形式為

4）基于人臉核心特征初步定位人臉。輸入待識別圖片，根據(jù)人臉核心特征檢測分類器提取待識別人臉核心特征，將待識別人臉核心特征對象與人臉核心特征記憶空間中對象進行比較，根據(jù)各個人臉核心特征的比較結(jié)果和系統(tǒng)設(shè)置的閾值初步確定人臉位置。

5）建立YCbCr色彩空間高斯膚色模型。從RGB色彩空間線性變化到Y(jié)CbCr色彩空間，將亮度分量分離

則高斯模型(,2)，其中=(C, C)，為對應(yīng)的協(xié)方差矩陣，C和C分別為C和C所對應(yīng)的均值。

6）相似度計算。根據(jù)所有像素點距高斯分布中心的距離計算膚色的相似度，得到一個基于原始圖像的灰度圖像，相似度計算式為

7）二值化。將灰度圖像選取適當閾值，皮膚和非皮膚區(qū)域分別用0和1表示，可能為皮膚區(qū)域的條件為[31]

8）膨脹與腐蝕。判斷圖像中是否存在過多的較小區(qū)域，如果存在執(zhí)行開運算，即先腐蝕后膨脹提取骨干信息、平滑去噪；如果不存在則執(zhí)行閉運算，先膨脹后腐蝕將2個鄰近的目標連接起來。

9）去除假區(qū)域。使用遞歸算法，對執(zhí)行開或閉運算后的二值化圖像進行統(tǒng)計，尋找可能是人臉的區(qū)域，接著對其計算區(qū)域的外接矩形的填充率、長寬比、大小等以進一步判別真假。

10）確定人臉區(qū)域。計算區(qū)域中每列含有的白色像素點數(shù)，定位最大值所在列，并以其為中心向兩側(cè)分別找尋人臉左右邊界，接著在左右邊界與區(qū)域邊界劃定的范圍內(nèi)找尋人臉上部邊界，最后根據(jù)人臉長寬比經(jīng)驗值確定下部邊界。將所定位區(qū)域與4）定位結(jié)果進行比對，若在允許誤差范圍內(nèi)，則返回定位結(jié)果，若誤差超出允許范圍，則跳過繼續(xù)定位下一張。經(jīng)試驗確定，誤差允許范圍為兩定位區(qū)域所確定圖片重合面積不小于任一定位區(qū)域所確定圖片面積的80%。

11）將所定位的人臉區(qū)域圖像進行切割提取。將所有原始圖像中10）所確定的區(qū)域保留，其余部分刪除。

2 基于CNN的駕駛員疲勞檢測

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種，已成為當前圖像理解領(lǐng)域的研究熱點[32-33]，其權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使網(wǎng)絡(luò)輸入為多維圖像時尤為方便，圖像可直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程，故本文采用卷積神經(jīng)網(wǎng)絡(luò)的方法進行駕駛員疲勞檢測，如圖4為所搭卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。所建神經(jīng)網(wǎng)絡(luò)主要由輸入層、2個卷積層、2個池化層、2個全連接層和輸出層組成，批尺寸選用30，卷積層對輸入層進行16個通道的特征采樣，經(jīng)池化層將特征圖降維后，全連接層對提取的特征進行分類，繼而得到正確率和損失率，變維層用于將標識是否疲勞的標簽數(shù)據(jù)二值化，優(yōu)化器選用adamoptimizer，通過使用動量（參數(shù)的移動平均數(shù)）來改善梯度下降，促進超參數(shù)動態(tài)調(diào)整，從而進一步最小化網(wǎng)絡(luò)的損失函數(shù)，使網(wǎng)絡(luò)達到更好的判別效果。

2.1 卷積

在卷積層，將一個可學(xué)習(xí)的卷積核與經(jīng)過批處理的前層特征圖進行卷積，卷積后的多個特征圖進行組合后，經(jīng)過偏置處理并通過一個激活函數(shù)，得到輸出特征圖

式中x是卷積層的第個通道的輸出，x1是經(jīng)過批處理的前層第個通道輸入特征圖，M為其前層第個通道輸入特征圖子集，k代表卷積核，b代表偏置，本文卷積層一所采用的卷積核尺寸為3′3′3，卷積層二所采用的卷積核尺寸為3′3′16，采樣通道數(shù)為16，批尺寸為30。

注：二維數(shù)據(jù)：批尺寸×通道數(shù)；四維數(shù)據(jù)：批尺寸×圖片寬×圖片高×通道數(shù)。

Note: Two-dimensional data: batch size × number of channels; Four-dimensional data: batch size × picture width × picture height × number of channels.

圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.4 CNN structure diagram

激活函數(shù)采用修正線性單元(ReLU)[33-34]

相對于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中最常用的兩個激活函數(shù)Logistic-Sigmoid、Tanh-Sigmoid而言，ReLU有著單側(cè)抑制、興奮邊界更為寬闊以及稀疏激活性等特點，可以更好地從有效的數(shù)據(jù)的維度上，學(xué)習(xí)到相對稀疏的特征，起到自動化解離效果，減少參數(shù)的相互依存關(guān)系，緩解過擬合問題的發(fā)生，從而提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率。

2.2 池化(pooling)

2.2.1 最大值池化(max-pooling)

池化技術(shù)在保持原數(shù)據(jù)旋轉(zhuǎn)、平移、伸縮等不變性的條件下將小鄰域內(nèi)的特征點整合得到新的特征

常用池化技術(shù)有mean-pooling，max-pooling和Stochastic-pooling，其中，最大值池化可以有效減少卷積層參數(shù)誤差造成估計均值的偏移，更多的保留紋理信息。本文選用最大值池化，選取池化核尺寸為3′3，步長為2′2，池化層二池化核尺寸為3′3，步長為1′1。

2.2.2 局部響應(yīng)歸一化(LRN)

LRN(local response normalization)模仿神經(jīng)系統(tǒng)中活躍神經(jīng)元對相鄰神經(jīng)元的側(cè)抑制機制，對局部神經(jīng)元的活動創(chuàng)建競爭機制，使得響應(yīng)比較大的值相對更大，從而有效提高模型的范化能力，其公式如下[35]

經(jīng)最大值池化處理后，再進行局部響應(yīng)歸一化處理，構(gòu)成圖4中的池化層。

2.3 光柵化與全連接

式中x為全連接層的輸出向量，x1為其輸入向量，k為其權(quán)重系數(shù)，b為其偏置項。

2.4 自適應(yīng)矩估計優(yōu)化器(AdamOptimizer)

Adam算法根據(jù)損失函數(shù)對每個參數(shù)的梯度的一階矩估計和二階矩估計動態(tài)調(diào)整針對于每個參數(shù)的學(xué)習(xí)速率?；谔荻认陆档姆椒ǎ看蔚鷧?shù)的學(xué)習(xí)步長都有一個確定的范圍，不會因為很大的梯度導(dǎo)致很大的學(xué)習(xí)步長，參數(shù)的值比較穩(wěn)定。其衰減方式與動量類似，梯度第一個時刻平均值為：

梯度的第二時刻非中心方差值為

按照以下公式迭代更新[36]

與其他自適應(yīng)學(xué)習(xí)率算法相比，Adam方法收斂速度更快，學(xué)習(xí)效果更優(yōu)，且可糾正其他優(yōu)化方法存在的學(xué)習(xí)率消失、收斂過慢或是高方差的參數(shù)更新導(dǎo)致?lián)p失函數(shù)波動較大等問題。

拖拉機駕駛員疲勞檢測算法流程如圖5所示。

圖5 拖拉機駕駛員疲勞檢測算法流程圖

3 試驗結(jié)果

用Python語言搭建上述神經(jīng)網(wǎng)絡(luò)，在LINUX系統(tǒng)中運行，使用Nvidia Geforce GTX650顯卡訓(xùn)練網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)正確率和損失率的變化曲線如圖6所示。

由圖6可知，接近3 000步的時候，正確率已經(jīng)基本穩(wěn)定于0.97，損失率也基本穩(wěn)定于0.04。

圖6 網(wǎng)絡(luò)訓(xùn)練正確率與損失率變化曲線

圖7為卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果T-SNE降維迭代時序圖，T-SNE(t-distributed stochastic neighbor embedding)屬于非線性降維的一種，用分布定義低維空間中點的相似性，可以保證高維空間中相似的數(shù)據(jù)點在低維空間中盡量接近?？梢钥闯?，整個卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程將最初無規(guī)則的初始數(shù)據(jù)，隨著迭代次數(shù)的增加，逐步聚合、劃分、聚類，最終將其分為有較大區(qū)分度的2類數(shù)據(jù)，即將疲勞圖像和非疲勞圖像較為明確的劃分開來，達到了疲勞判別的目的。

圖 7 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果T-SNE降維迭代時序圖

表1為不同疲勞駕駛檢測方法對所采集數(shù)據(jù)驗證集所得正確率和檢測時間的對比[37-41]，運行環(huán)境為Inter i7-4510U雙核處理器，可見采用卷積神經(jīng)網(wǎng)絡(luò)進行疲勞駕駛識別，可有效提高識別的準確率和檢測效率。

綜上可見，與常規(guī)的動態(tài)模板匹配[40]和BP神經(jīng)網(wǎng)絡(luò)疲勞檢測相比，CNN在檢測準確度和檢測時間方面都有較為明顯的優(yōu)勢，和模糊推理的檢測方法相比，雖然檢測準確率相當，但由于CNN本身所具有的獨特卷積核結(jié)構(gòu)，可以更有效更快捷地提取出圖像中更多更有用的信息，在檢測效率上仍有著較大的優(yōu)勢。

表1 駕駛員疲勞檢測不同方法比較

4 結(jié) 論

針對拖拉機駕駛員疲勞駕駛易造成拖拉機交通事故，本文通過攝像頭對駕駛員進行實時圖像采集，利用伽馬亮度校正和小波去噪對所采集的圖像進行光照預(yù)處理，有效減少拖拉機周圍光照的影響，采用基于人臉核心特征的PCA-SCM人臉識別定位算法進行人臉識別定位，在此基礎(chǔ)上，應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)算法對駕駛員的面部疲勞特征進行檢測，駕駛員疲勞檢測識別率達98.9%，單幀圖片的檢測時間為38 ms，能夠滿足農(nóng)田作業(yè)時拖拉機駕駛員疲勞駕駛檢測的實時性要求，且檢測精度較好，具有較好的現(xiàn)實意義和實用價值。

[1] Mandal B, Li L, Wang G S, et al. Towards detection of bus driver fatigue based on robust visual analysis of eye state[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(3): 545－557.

[2] Li Z, Chen L, Peng J, et al. Automatic detection of driver datigue using driving operation information for transportation tafety.[J]. Sensors (Basel, Switzerland), 2017, 17(6): 1212－1223.

[3] Lenis G, Reichensperger P, Sommer D, et al. Detection of microsleep events in a car driving simulation study using electrocardiographic features[J]. Current Directions in Biomedical Engineering, 2016, 2(1): 283?287.

[4] Zhang X, Li J, Liu Y, et al. Design of a fatigue detection system for high-speed trains based on driver vigilance using a wireless wearable EEG[J]. Sensors, 2017, 17(3): 486.

[5] 李銳，蔡兵，劉琳，等. 基于模型的駕駛員眼睛狀態(tài)識別[J]. 儀器儀表學(xué)報，2016，37(1)：184－191. Li Rui, Cai Bing, Liu Lin, et al. Model-based driver eye status recognition [J]. Chinese Journal of Scientific Instrument, 2016, 37(1): 184?191.(in Chinese with English abstract)

[6] 胥川，裴賽君，王雪松. 基于無侵入測量指標的個體差異化駕駛疲勞檢測[J]. 中國公路學(xué)報，2016，29(10)：118－125. Yan Chuan, Yan Saijun, Wang Xuesong. Individual differential driving fatigue detection based on non-intrusive measurement index[J]. China Journal of Highway and Transport, 2016, 29(10): 118－125. (in Chinese with English abstract)

[7] 趙永超，孔德剛. 拖拉機駕駛員頸部疲勞的肌電評價[J]. 農(nóng)業(yè)工程學(xué)報, 2010, 26(3): 146－150.Zhao Yongchao, Kong Degang. Electromyographic evaluation of tractor driver neck fatigue [J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2010, 26(3): 146－150. (in Chinese with English abstract)

[8] 胥川，王雪松，陳小鴻，等. 基于決策樹的駕駛疲勞等級分析與判定[J/OL]. 同濟大學(xué)學(xué)報(自然科學(xué)版)，2015，43(1)：75－81. Yan Chuan, Wang Xuesong, Chen Xiaohong, et al. Analysis and Judgment of driver's fatigue level based on decision tree [J/OL]. Journal of Tongji University (Natural Science Edition), 2015, 43(1): 75－81. (in Chinese with English abstract)

[9] Li Z, Li S E, Li R, et al. Online detection of driver fatigue using steering wheel angles for real driving conditions[J]. Sensors: Basel, Switzerland, 2017, 17(3): 495－507.

[10] Feng D, Feng M Q. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection– A review[J]. Engineering Structures, 2018, 156(5): 105－117.

[11] Decost B L, Jain H, Rollett A D, et al. Computer vision and machine learning for autonomous characterization of AM powder feedstocks[J]. The Minerals, Metals & Materials Society, 2017, 69(3): 456－465.

[12] Jia X, Zhou L, Ren J, et al. Research on fatigue driving detection method of facial features fusion[J]. Power System & Clean Energy, 2016, 32(9): 17－21, 28.

[13] 白中浩，焦英豪，白芳華. 基于主動形狀模型及模糊推理的駕駛疲勞檢測[J]. 儀器儀表學(xué)報，2015，36(4)：768－775. Bai Zhonghao, Jiao Yinghao, Bai Fanghua. Driving fatigue detection based on active shape model and fuzzy inference [J]. Chinese Journal of Scientific Instrument, 2015, 36(4): 768－775. (in Chinese with English abstract)

[14] 鄧正宏，黃一杰，李翔，等. 基于視頻的駕駛疲勞檢測技術(shù)的研究[J]. 西北工業(yè)大學(xué)學(xué)報，2015(6)：1001－1006. Deng Zhenghong, Huang Yijie, Li Xiang, et al. Research on video-based driving fatigue detection technology [J]. Journal of Northwestern Polytechnical University, 2015(6): 1001?1006. (in Chinese with English abstract)

[15] 龍冬平，李同昇，苗園園，等. 中國農(nóng)業(yè)現(xiàn)代化發(fā)展水平空間分異及類型[J]. 地理學(xué)報，2014，69(2)：213－226.Long Dongping, Li Tongsheng, Miao Yuanyuan, et al. Spatialdifferentiation and types of China's agricultural modernization development level[J]. Acta Geographica Sinica, 2014, 69(2): 213－226. (in Chinese with English abstract)

[16] 張崇，于曉琳，楊勇，等. 基于奇異系統(tǒng)的中樞疲勞腦電信號分析[J].生物醫(yī)學(xué)工程學(xué)雜志，2014，31(5)：1132－1134，1138. Zhang Chong, Yu Xiaolin, Yang Yong, et al. Analysis of central fatigue brain electrical signals based on singular system[J]. Journal of Biomedical Engineering, 2014, 31(5): 1132－1134, 1138. (in Chinese with English abstract)

[17] 孔銳，張冰. 光照變化條件下人臉識別方法研究[J].系統(tǒng)仿真學(xué)報，2016，28(3)：689－695. Kong Rui, Zhang Bing. Research on face recognition method under changing lighting conditions[J]. Journal of System Simulation, 2016, 28(3): 689?695. (in Chinese with English abstract)

[18] Gupta B, Tiwari M. Minimum mean brightness error contrast enhancement of color images using adaptive gamma correction with color preserving framework[J]. Optik - International Journal for Light and Electron Optics, 2016, 127(4): 1671?1676.

[19] Hiyama D, Shimobaba T, Kakue T, et al. Acceleration of color computer-generated hologram from RGB–D images using color space conversion[J]. Optics Communications, 2015, 340: 121－125.

[20] Cernadas E, Fernández-Delgado M, González-Rufino E, et al. Influence of normalization and color space to color texture classification[J]. Pattern Recognition, 2017, 61: 120－138.

[21] Nguyen R M H, Price B, Cohen S, et al. Group-theme recoloring for multi‐Image color consistency[J]. Computer Graphics Forum, 2017, 36(7): 83－92.

[22] Berretti S, Bimbo A D, Vicario E. Spatial arrangement of color in retrieval by visual similarity[J]. Pattern Recognition, 2002, 35(8): 1661－1674.

[23] Tsai H H, Chang Y C. Facial expression recognition using a combination of multiple facial features and support vector machine[J]. Soft Computing, 2017, 10(4): 1－17.

[24] 葛微，李桂菊，程宇奇，等. 利用改進的Retinex進行人臉圖像光照處理[J]. 光學(xué)精密工程，2010，18(4)：1011－1020. Ge Wei, Li Gguiju, Cheng Yuqi, et al. Facial image illumination processing using improved Retinex[J]. Optics and Precision Engineering, 2010, 18(4): 1011－1020. (in Chinese with English abstract)

[25] 鄭有志，覃征. 基于二維經(jīng)驗?zāi)B(tài)分解的醫(yī)學(xué)圖像融合算法[J]. 軟件學(xué)報，2009，20(5)：1096－1105. Zheng Youzhi, Zhai Zheng. Medical image fusion algorithm based on two-dimensional empirical mode decomposition[J]. Journal of Software, 2009, 20(5): 1096－1105. (in Chinese with English abstract)

[26] Zhao X, Tao Y, He P, et al. Denoising algorithm of semi-soft threshold based on wavelet neighborhood[J]. Foreign Electronic Measurement Technology, 2016, 35(4): 42－45.

[27] 張旗，梁德群，樊鑫，等. 基于小波域的圖像噪聲類型識別與估計[J]. 紅外與毫米波學(xué)報，2004(4)：281－285. Zhang Qi, Liang Dequn, Fan Xin, et al. Image noise type identification and estimation based on wavelet domain[J]. Journal of Infrared and Millimeter Waves, 2004(4): 281－285. (in Chinese with English abstract)

[28] Chen Y M, Wei Y Q, Liu D Y, et al. Variable-order fractional numerical differentiation for noisy signals by wavelet denoising[J]. Journal of Computational Physics, 2016, 311(3): 338－347.

[29] 趙雪鵬，孟春寧，馮明奎，等. 基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的疲勞檢測[J]. 光電子激光，2017(5)：497－502. Zhao Xuepeng, Meng Chunyu, Feng Mingkui, et al. Fatigue detection based on cascade convolution neural network [J]. Optoelectronics Laser, 2017(5): 497－502.

[30] Pujol F A, Pujol M, Jimeno-Morenilla A, et al. Face detection based on skin color segmentation using fuzzy entropy[J]. Entropy, 2017, 19(1): 26－48.

[31] 胡曉燕，張宇.基于膚色的人臉檢測算法研究[J].合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版)，2012，35(7)：908－912. Hu Xiaoyan, Zhang Yu. Research on face detection algorithm based on skin color[J]. Journal of Hefei University of Technology(Natural Science), 2012, 35(7): 908－912. (in Chinese with English abstract)

[32] Liang X, Xu C, Shen X, et al. Human parsing with contextualized convolutional neural network[J]. IEEE Transactions on Pattern Analysis And Machine Intelligence, 2017, 39(1): 115－127.

[33] 趙凱旋, 何東健.基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體身份識別方法[J].農(nóng)業(yè)工程學(xué)報, 2015, 31(5): 181－187.

Zhao Kaixuan, He Dongjian. Dairy cattle individual identification method based on convolutional neural network[J]. Chinese Journal of Agricultural Engineering, 2015, 31(5): 181－187. (in Chinese with English abstract)

[34] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436?444.

[35] Liu Y, Li H, Yan J, et al. Recurrent scale approximation for object detection in CNN[J].Computer Society, 2017, 7(9): 571－579.

[36] Prugel-Bennett A, Tayarani-Najaran M H. Maximum Satisfiability: Anatomy of the fitness landscape for a hard combinatorial optimization problem[J]. IEEE Transactions on Evolutionary Computation, 2012, 16(3): 319－338.

[37] 王琳, 孫傳恒, 李文勇, 等.基于深度圖像和BP神經(jīng)網(wǎng)絡(luò)的肉雞體質(zhì)量估測模型[J].農(nóng)業(yè)工程學(xué)報, 2017, 33(13): 199－205.

Wang Lin, Sun Chuanheng, Li Wenyong, et al. Broiler body weight estimation model based on depth image and BP neural network[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2017, 33( 13): 199－205. (in Chinese with English abstract)

[38] 韓丁, 武佩, 張強, 等. 基于顏色矩的典型草原牧草特征提取與圖像識別[J].農(nóng)業(yè)工程學(xué)報, 2016, 32(23): 168－175.

[39] Han Ding, Wu Pei, Zhang Qiang, et al. Feature extraction and image recognition of typical grass pastures based on color moments[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2016, 32(23): 168－175 . (in Chinese with English abstract)

[40] Gong J, Liu J Y, Wang L J, et al. Computer-aided detection of pulmonary nodules using dynamic self-adaptive template matching and a FLDA classifier[J]. Physica Medica, 2016, 32(12): 1502－1535.

[41] Lin F J, Sun I F, Yang K J, et al. Recurrent fuzzy neural cerebellar model articulation network fault-tolerant control of six-phase permanent magnet synchronous motor position servo drive[J]. IEEE Transactions on Fuzzy Systems, 2016, 24(1): 153－167.

Tractor driver fatigue detection based on convolution neural network and facial image recognition

Lu Wei1,2, Hu Haiyang1, Wang Jiapeng1, Wang Ling1, Yiming Deng3

(1.210031,; 2.210031,; 3.48824,)

Tractor is a popular tool for agricultural farming in the world. But many factors such as high labor intensity, absence of sleeping and monotonous environment make driver fatigued easily in farming season. Aiming at the phenomenon of fatigue driving which is the major reason for tractor traffic accidents, a tractor fatigue detection method based on facial feature recognition using convolution neural network was proposed.Firstly, 1200 driving images were sampled during different daytimes by 60 drivers in which the male accounted for 77%. Then the face images of tractor drivers were pretreated by gamma intensity correction (GIC) method, aimed to solve the problem of the uneven brightness of images with fast processing speed because of its simple algorithm,and hence reduce the influence of illumination of faces. Due to the complex working environment of the tractor and the special surrounding window design, wavelet denoising method was applied in image denoising because it is powerful for the removal of impulse noise and Gaussian noise which are the main noise in the images. In addition, principal component analysis – skin color model (PCA-SCM) method was used to detectand locate faces and then skin color model was applied to rectify and extract the facial area. For improving the face recognition precision, dual-face recognition and checking algorithm was proposed. Firstly, core feature face database was established and human face recognition classifier was generated. Secondly the core feature memory space of human face was formed to locate human face in image. Thirdly, to establish a Gaussian skin color model in YCbCr color space and perform the binary converting, bloat and corrosion methods were also applied to remove fake areas for improving accuracy. In the end, the obtained face position was compared with the previous one to evaluate the effectiveness of this image. Finally, the drivers’ facial images were input to the convolution neural network (CNN) for training, and the driver fatigue detection model was established to identify the fatigue of tractor driver based on the face image. The neural network was mainly composed of an input layer, 2 convolution layers, 2 pooling layers, 2 fully connected layers and an output layer. The batch size was 30, and the convolution layer sampled 16 channels of input layer. After reducing the dimension of the feature map by the pooling layer, the full connection layer classified the extracted features and then the correctness rate and the loss rate were obtained. The AdamOptimizer was selected as the optimizer to improve the gradient descent by using the momentum (moving average of the parameters). The hyperparameters were dynamically adjusted to minimize the loss function of the network to achieve better discrimination. Additionally, the changes of weight parameter and bias parameter in convolutional layer and all-connected layer were analyzed, as well as the change trend of correctness rate and loss rate. The T-SNE dimensionality reduction iterative analysis was applied in CNN training. Compared with other methods of fatigue driving detection, such as dynamic template matching and BP (back propagation) neural network, CNN has obvious advantages in detecting correctness and detecting speed. Due to the unique convolutional kernel structure of CNN, more and more useful information in the image can be extracted more efficiently and quickly. CNN still has good detection efficiency compared with the fuzzy inference detection method. Experiments showed that the proposed detection model’s accuracy rate is 98.9%, and the recognition time for each frame of image is 38ms (Using Inter i7-4510U dual-core processor), which demonstrate that the proposed image processing method using CNN can realize fatigue detection of tractor driver in real time.

tractors; image processing; alogrithms; fatigue driving; PCA-SCM; convolution neural network; face recognition

盧 偉，胡海陽，王家鵬，王 玲，Yiming Deng. 基于卷積神經(jīng)網(wǎng)絡(luò)面部圖像識別的拖拉機駕駛員疲勞檢測[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(7)：192－199. doi：10.11975/j.issn.1002-6819.2018.07.025 http://www.tcsae.org

Lu Wei, Hu Haiyang, Wang Jiapeng, Wang Ling, Yiming Deng. Tractor driver fatigue detection based on convolution neural network and facial image recognition[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 192－199. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.07.025 http://www.tcsae.org

2017-08-18

2018-02-01

國家自然科學(xué)基金青年基金（51405239）；江蘇省農(nóng)機三新工程項目（SZ120170036）；Asia hub on WEF and Agriculture，NAU-MSU聯(lián)合研究項目（2017-H-11）

盧 偉，男，博士，副教授，主要從事機器人傳感與控制及無損檢測技術(shù)研究，E-mail：njaurobot@njau.edu.cn

10.11975/j.issn.1002-6819.2018.07.025

U463.6；TP391.41

A

1002-6819(2018)-07-0192-08