趙曉琳，王世剛，姜秀紅，王曉燕，趙文婷

(吉林大學(xué)通信工程學(xué)院，長(zhǎng)春130012)

基于人眼狀態(tài)的駕駛員疲勞檢測(cè)

趙曉琳，王世剛，姜秀紅，王曉燕，趙文婷

(吉林大學(xué)通信工程學(xué)院，長(zhǎng)春130012)

為提高駕駛員疲勞檢測(cè)的準(zhǔn)確性，提出一種改進(jìn)的眼睛狀態(tài)檢測(cè)方法。利用“參考白”算法對(duì)原始幀圖像做光照補(bǔ)償處理，基于膚色特征檢測(cè)出人臉;利用積分投影法將人臉和眼睛分割出來(lái)，結(jié)合眉毛和眼睫毛之間距離的變化、眼睛區(qū)域黑色像素點(diǎn)的個(gè)數(shù)變化這兩個(gè)參數(shù)對(duì)眼睛的狀態(tài)做出判斷。若連續(xù)5幀圖像眼睛均為閉合狀態(tài)，則系統(tǒng)給出疲勞警報(bào)。實(shí)驗(yàn)結(jié)果表明，利用兩個(gè)參數(shù)檢測(cè)的準(zhǔn)確率高于單個(gè)參數(shù)檢測(cè)的準(zhǔn)確率。關(guān)鍵詞:疲勞檢測(cè);膚色特征;眼睛狀態(tài)

0 引 言

駕駛員疲勞是引發(fā)交通事故的一個(gè)重要因素。據(jù)數(shù)據(jù)統(tǒng)計(jì)，有20%的交通事故發(fā)生原因是疲勞駕駛，因此，對(duì)駕駛員做出實(shí)時(shí)準(zhǔn)確的疲勞警告尤為重要。近年來(lái)，駕駛員檢測(cè)系統(tǒng)正在被廣泛研究，通過(guò)檢測(cè)駕駛員的疲勞程度并給駕駛員發(fā)送疲勞警報(bào)信息，減少交通事故的發(fā)生。國(guó)內(nèi)外的研究人員主要從駕駛員的生理信息、面部信息以及車(chē)輛狀態(tài)3方面對(duì)駕駛員的疲勞進(jìn)行研究?；隈{駛員生理信息的檢測(cè)方法需要在駕駛員的身體上加一些測(cè)量設(shè)備，檢測(cè)駕駛員的生理參數(shù)，如心電圖、腦電圖、脈搏等。當(dāng)駕駛員疲勞時(shí)，這些生理信號(hào)會(huì)發(fā)生變化，可利用設(shè)備的測(cè)量值變化判斷是否疲勞。前人對(duì)采集到的不同駕駛員的腦電圖信號(hào)(EEG:Electro Encephalo Gram)作處理，提取出不同EEC不同波段的特征，以此區(qū)分出駕駛員的疲勞程度?；谲?chē)輛狀態(tài)的檢測(cè)方法通過(guò)檢測(cè)方向盤(pán)轉(zhuǎn)動(dòng)、車(chē)輛速度、轉(zhuǎn)彎角度的異常，判斷駕駛員是否疲勞，但由于道路狀況、駕駛員的駕駛習(xí)慣等外界干擾，這種方法很難保證檢測(cè)結(jié)果的準(zhǔn)確性。王斐等［1］通過(guò)采集駕駛員的腦電信號(hào)，結(jié)合對(duì)應(yīng)的方向盤(pán)操縱數(shù)據(jù)，將駕駛員的疲勞程度分為3類(lèi)進(jìn)行定性分析，分類(lèi)檢測(cè)效果較理想?；隈{駛員面部信息的檢測(cè)方法通過(guò)檢測(cè)駕駛員的眼睛閉合度、眨眼頻率、頭部位置、打哈欠等判斷駕駛員是否疲勞。該方法是非接觸式的，受外界干擾較少，也是被普遍采用的研究方法。Dong等［2］利用眼睛狀態(tài)分析駕駛員的疲勞程度，提出一種利用眼瞼之間距離的變化判斷眼睛狀態(tài)的方法。當(dāng)眼瞼之間的距離小于標(biāo)準(zhǔn)值時(shí)，將眼睛判為閉合狀態(tài)。Seifoory等［3］利用虹膜分析眼睛狀態(tài)，當(dāng)虹膜存在時(shí)，說(shuō)明眼睛是睜開(kāi)的;否則，眼睛是閉合的。文獻(xiàn)［4］通過(guò)水平投影圖的曲線(xiàn)斜率得到眼睛邊界，然后利用相鄰幀圖像眼睛區(qū)域內(nèi)像素點(diǎn)個(gè)數(shù)差的變化趨勢(shì)分析眼睛的睜閉狀態(tài)。文獻(xiàn)［5］通過(guò)兩幀圖像之間的差異分割出臉部區(qū)域，然后基于鼻孔和下巴之間距離的變化檢測(cè)駕駛員是否打哈欠。牛清寧等［6］利用滑移時(shí)窗的方法對(duì)眨眼頻率、PERCLOS(Percentage of Eyelid Closure)、注視方向和注視時(shí)間這4個(gè)特征數(shù)據(jù)進(jìn)行融合，搭建了疲勞駕駛檢測(cè)模型。

1 疲勞狀態(tài)檢測(cè)

圖1 疲勞檢測(cè)流程示意圖Fig.1 The fatigue detection system

筆者提出了一種改進(jìn)的雙參數(shù)眼睛狀態(tài)判斷方法，通過(guò):1)臉部檢測(cè);2)眉眼區(qū)域檢測(cè);3)眼睛狀態(tài)分析;4)實(shí)驗(yàn)結(jié)果與比較4部分眼睛狀態(tài)進(jìn)行分析。先對(duì)眉毛和睫毛之間的距離與閾值n1進(jìn)行比較，若大于閾值，再判斷眼睛區(qū)域黑色像素點(diǎn)的個(gè)數(shù)是否大于閾值n2，若是，則判斷眼睛為睜開(kāi)狀態(tài);否則將眼睛狀態(tài)判斷為閉合。如果在連續(xù)5幀圖像中，眼睛均為閉合狀態(tài)，則對(duì)駕駛員進(jìn)行疲勞警告。

系統(tǒng)流程示意圖如圖1所示。

2 臉部檢測(cè)

2.1 光照補(bǔ)償

人臉的檢測(cè)是整個(gè)疲勞系統(tǒng)檢測(cè)的第1步，在分割出的人臉基礎(chǔ)上，對(duì)眼睛檢測(cè)可以提高檢測(cè)的準(zhǔn)確性。影響臉部檢測(cè)的主要因素有駕駛員頭部的轉(zhuǎn)動(dòng)、光照等，其中在駕駛時(shí)駕駛員頭部的轉(zhuǎn)動(dòng)是微弱的，但光照強(qiáng)度會(huì)隨著駕駛環(huán)境和時(shí)間發(fā)生變化。鑒于此，選擇一種改進(jìn)的“參考白”算法對(duì)原始圖像進(jìn)行光照補(bǔ)償［7］，圖2是光照補(bǔ)償前后對(duì)比圖，光照補(bǔ)償前的圖像(見(jiàn)圖2a)。首先檢測(cè)圖像中像素點(diǎn)的亮度，按照亮度值的大小對(duì)圖像中的像素點(diǎn)從高到低排序，得到亮度值在前5%的像素(參考白);然后設(shè)置亮度值在前5%的像素點(diǎn)的灰度值均為255，即將這些像素點(diǎn)的3種色彩分量R、G、B均調(diào)到最大值255;最后依比例對(duì)圖像的RGB 3個(gè)分量進(jìn)行線(xiàn)性調(diào)整，得到光照補(bǔ)償后的圖像(見(jiàn)圖2b)。

圖2 光照補(bǔ)償前后對(duì)比圖Fig.2 The contrast figure before and after illumination

其中比例的設(shè)計(jì)方法如下。

2)計(jì)算 Rsum，Gsum，Bsum在像素中占的比例，并找出3者中的最大值 Mr，

2．2 人臉?lè)指?/p>

在對(duì)人臉進(jìn)行檢測(cè)時(shí)，一種比較簡(jiǎn)單有效的方法就是基于膚色特征的檢測(cè)。將圖像由RGB色彩空間轉(zhuǎn)換到HSV色彩空間和YCbCr色彩空間進(jìn)行處理。在YCbCr色彩空間，亮度分量Y和色度信息CbCr是獨(dú)立的，利用膚色的聚類(lèi)特性可以很好地將膚色區(qū)域提取出來(lái)。在HSV色彩空間，色調(diào)Hue在膚色區(qū)域和非膚色區(qū)域有明顯的不同值。采用

Cr≥140 and Cr≤165 and Cb≥140 and Cb≤195 and H≥0.01 and H≤0.1 (1)所示的規(guī)則對(duì)膚色區(qū)域提取。

圖3a是原始圖像，首先將膚色點(diǎn)和非膚色點(diǎn)區(qū)分出來(lái)，得到一個(gè)二值圖像(見(jiàn)圖3b);然后對(duì)此二值圖像進(jìn)行連通性分析等數(shù)學(xué)形態(tài)學(xué)處理。通過(guò)對(duì)處理后的二值圖像作水平積分投影和垂直積分投影，定位人臉的邊界，進(jìn)而提取出人臉區(qū)域。圖3c是分割出的人臉膚色區(qū)域二值圖像，圖3d是人臉膚色區(qū)域的RGB圖像。

圖3 人臉?lè)指顖DFig.3 Face segmentation results

3 眉眼區(qū)域檢測(cè)

眼睛在人臉的上半部分，利用積分投影法對(duì)人臉上半部分處理，得到眉眼區(qū)域［8-10］。圖4a是睜眼狀態(tài)二值圖像，圖4b是睜眼狀態(tài)灰度圖像，圖4c是閉眼狀態(tài)二值圖像，圖4d是閉眼狀態(tài)灰度圖像。

圖4 檢測(cè)到的眼睛睜閉圖像Fig.4 Imageswhen eyes are open and close

4 眼睛狀態(tài)分析

當(dāng)眼睛處于睜開(kāi)狀態(tài)時(shí)，眉毛和眼睛上部的睫毛之間距離小;但當(dāng)眼睛閉合時(shí)，眉毛和睫毛之間的距離會(huì)增大。因此，基于眉毛和睫毛之間的距離變化分析眼睛的睜閉狀態(tài)是可行的。對(duì)眉眼區(qū)域的灰度圖像像素點(diǎn)的x坐標(biāo)求均值，得到圖5所示的眼睛狀態(tài)及其均值圖像。從圖5可以發(fā)現(xiàn)，均值圖像上有兩個(gè)明顯的波谷，第1個(gè)波谷是眉毛，第2個(gè)波谷是睫毛區(qū)域。將這兩個(gè)波谷之間的距離與閾值n1對(duì)比，若小于閾值，則眉毛和睫毛之間的距離較近，此時(shí)將眼睛判斷為睜開(kāi)狀態(tài)(見(jiàn)圖5a，圖5b);閉眼狀態(tài)及均值圖像如圖5c，圖5d所示。筆者經(jīng)統(tǒng)計(jì)計(jì)算，得到的閾值n1=21，即兩波谷之間的距離若大于21，則說(shuō)明此時(shí)眼睛是閉合的。

另外，觀(guān)察睜眼和閉眼的二值圖像(見(jiàn)圖4a和圖4c)，可以發(fā)現(xiàn)睜眼二值圖像中黑色像素點(diǎn)的個(gè)數(shù)明顯多于閉眼二值圖像，因此通過(guò)將眼睛區(qū)域黑色像素點(diǎn)的個(gè)數(shù)與設(shè)定的閾值n2比較，也可以判斷眼睛的狀態(tài)。為了提高檢測(cè)的準(zhǔn)確性，將這兩種方法結(jié)合在一起。如果基于波谷之間的距離將眼睛判斷為睜開(kāi)狀態(tài)，再將此眼睛區(qū)域黑色像素點(diǎn)個(gè)數(shù)與閾值比較，若大于閾值則眼睛睜開(kāi);否則判斷眼睛狀態(tài)為閉合。

圖5 眼睛狀態(tài)及其均值圖像Fig.5 Mean imageswhen eye open and close

5 實(shí)驗(yàn)結(jié)果與比較

當(dāng)檢測(cè)到連續(xù)5幀圖像的眼睛狀態(tài)均為閉合時(shí)，認(rèn)為駕駛員此時(shí)處于疲勞狀態(tài)，給出疲勞警報(bào)。在光照變化的環(huán)境下錄制一段駕駛員人物視頻，然后將視頻轉(zhuǎn)換為大小為1 280×720像素的RGB圖像，在Matlab環(huán)境下對(duì)其中連續(xù)的180幀圖像進(jìn)行檢測(cè)，實(shí)驗(yàn)結(jié)果如表1所示。從表1可以看出，利用兩個(gè)參數(shù)綜合檢測(cè)的結(jié)果優(yōu)于單個(gè)參數(shù)。

鑒于本實(shí)驗(yàn)中采用的駕駛員睜眼和閉眼狀態(tài)的變化較明顯，在一定程度上提高了眼睛狀態(tài)檢測(cè)的準(zhǔn)確率，通過(guò)3種方法的對(duì)比，將兩個(gè)參數(shù)結(jié)合后檢測(cè)的結(jié)果仍然優(yōu)于單個(gè)參數(shù)的檢測(cè)結(jié)果。

表1 3種疲勞檢測(cè)方法準(zhǔn)確率比較結(jié)果Tab.1 The accuracy of comparison results of 3 fatigue detection methods

6 結(jié) 語(yǔ)

筆者在對(duì)眼睛狀態(tài)進(jìn)行檢測(cè)時(shí)，利用了眉毛和眼睛之間的特征變化關(guān)系，而不需要精確檢測(cè)到眼睛，減小了搜索范圍，是一種新的判斷眼睛狀態(tài)的方法。結(jié)合兩個(gè)參數(shù)進(jìn)行判斷，與單一參數(shù)相比對(duì)疲勞判斷的準(zhǔn)確率和可靠性更高?？纱蠓档陀捎隈{駛員疲勞駕駛而引發(fā)的交通事故，為保證駕駛員的生命財(cái)產(chǎn)安全提供了新的防范措施。

［1］王斐，王少楠，王惜慧，等.基于腦電圖識(shí)別結(jié)合操縱特征的駕駛疲勞檢測(cè) ［J］.儀器儀表學(xué)報(bào)，2014，35(2):398-404. WANG Fei，WANG Shaonan，WANG Xihui，etal.Driver Fatigue Detection Based on EEG Recognition and Vehicle Handling Characteristics［J］.Chinese Journal of Scientific Instrument，2014，35(2):398-404.

［2］DONGW，WU X.Fatigue Detection Based on the Distance of Eyelid［C］∥Workshop VLSIDesign and Video.Tech Suzhou，China:IEEE，2005:365-368.

［3］SEIFOORY H，TAHERKHANI D，ARZHANG B，et al.An Accurate Morphological Drowsy Detection［C］∥2011 International Conference on Signal.Shanghai，China:ICEEA，2011:51-54.

［4］GAN L，CUIB，WANGW.Driver Fatigue Detection Based on Eye Tracking［C］∥Intelligent Controland Automation，2006. WCICA 2006.The Sixth World Congress on.Dalian，China:IEEE，2006:5341-5344.

［5］YUFENG L，ZENGCAIW.Detecting Driver Yawning in Successive Images［C］∥Bioinformatics and Biomedical Engineering，ICBBE 2007.The 1st International Conference on.Wuhan，China:IEEE，2007:581-583.

［6］牛清寧，周志強(qiáng)，金立生，等.基于眼動(dòng)特征的疲勞駕駛檢測(cè)方法 ［J］.哈爾濱工程大學(xué)學(xué)報(bào)，2015，36(3):394-398. NIU Qingning，ZHOU Zhiqiang，JIN Lisheng，et al.Detection of Driver Fatigue Based on Eye Movements［J］.Journal of Harbin Engineering University，2015，36(3):394-398.

［7］HSU R L，ABDEL-MOTTALEB M，JAIN A K.Face Detection in Color Images［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2002，24(5):696-706.

［8］方君院，陸玲.基于灰度投影的眼睛定位研究［J］.湖南農(nóng)機(jī):學(xué)術(shù)版，2011，38(1):142-143. FANG Junyuan，LU Ling.Eye Location Based on Gray Projection［J］.Hunan Agricultural Machinery:Academic Edition，2011，38(1):142-143.

［9］TABRIZI P R，ZOROOFI R A.Drowsiness Detection Based on Brightness and Numeral Features of Eye Image［C］∥Intelligent Information Hiding and Multimedia Signal Processing，IIH-MSP'09.Fifth International Conference on.Kyoto，Japan:IEEE，2009:1310-1313.

［10］程國(guó)，丁正生，劉亞亞.基于混合投影峰分析的人眼定位方法［J］.五邑大學(xué)學(xué)報(bào):自然科學(xué)版，2010，24(3):50-55. CHENG Guo，DING Zhengsheng，LIU Yaya.Eye Location Method Based on Hybrid Projection Peak Analysis［J］.Journal of Wuyi University:Natural Science，2010，24(3):50-55.

(責(zé)任編輯:劉東亮)

Driver Fatigue Detection Based on Eye State

ZHAO Xiaolin，WANG Shigang，JIANG Xiuhong，WANG Xiaoyan，ZHAOWenting

(College of Telecommunication Engineering，Jilin University，Changchun 130012，China)

To improve the accuracy of driver fatigue detection，presents an improved eye state detectionmethod. Firstly，we use“reference white”algorithm for the processing of illumination compensation on original frame image，then segment the skin region from background based on color feature.Secondly，we use gray-scale integral projection method to segment face and eyes，combining two parameters that change in the distance between eyebrow and eyelash the change in the number of black pixels in the eye region to judge the state of eyes.If the eyes are found closed for5 consecutive frame images，the system will give a fatigue alert.The results show that the use of two parameters is better than the use of a single parameter.

fatigue detection;color feature;eye state

TP391

A

1671-5896(2015)04-0449-05

2014-12-01

博士點(diǎn)基金資助項(xiàng)目(20120061110091)

趙曉琳(1990— )，女，山東聊城人，吉林大學(xué)碩士研究生，主要從事駕駛員疲勞檢測(cè)研究，(Tel)86-15714404874 (E-mail)zhaoxl2009@126.com;王世剛(1962— )，男，長(zhǎng)春人，吉林大學(xué)教授，博士生導(dǎo)師，主要從事圖像與視頻信號(hào)智能處理研究，(Tel)86-13504325626(E-mail)wangshigang@vip.sina.com。