李新浩 蔣順彥 何文 曾曉文
摘要:隨著社會經(jīng)濟(jì)的發(fā)展,機(jī)動(dòng)車輛與日俱增,由駕駛疲勞引起的交通問題越來越受到人們的關(guān)注。盡管目前已有一些簡單的防疲勞駕駛的檢測方法,但是具有非接觸式的、實(shí)時(shí)性的、高靈敏度和可靠性防疲勞駕駛的監(jiān)測方法至今在國內(nèi)尚未得到很好的解決。
本設(shè)計(jì)是通過在視頻中使用Kalman法對人臉進(jìn)行自動(dòng)跟蹤,然后利用DSP進(jìn)行一系列圖像處理,最后得到眼睛的二值化圖像,從而判斷出眼睛開合狀態(tài)或眨眼頻率。根據(jù)采集的數(shù)據(jù),結(jié)合PERCLOS法來判斷駕駛員是否出現(xiàn)疲倦,并在出現(xiàn)疲倦特征的時(shí)候做出警告。如果在多次警告后駕駛員的精神狀態(tài)依然沒有改善的情況下,系統(tǒng)會自動(dòng)降低車速,并通過汽車后窗上的電子屏以文字“疲勞駕駛,正在減速,請您留意”提示,以保證行車安全。同時(shí),系統(tǒng)還會持續(xù)地發(fā)出警告,直到駕駛員重新復(fù)位系統(tǒng)。而且,該系統(tǒng)還具有行車記錄功能,每秒鐘都會把當(dāng)前行車的部分?jǐn)?shù)據(jù),如當(dāng)前時(shí)間、車速、駕駛員眨眼次數(shù)、精神狀況等記錄下來。
關(guān)鍵詞:疲勞駕駛 ;人臉自動(dòng)跟蹤;疲勞判斷;DSP;預(yù)警系統(tǒng)
1 前言
疲勞駕駛是當(dāng)今交通安全的重要隱患之一。駕駛?cè)嗽谄跁r(shí),其對周圍環(huán)境的感知能力、形勢判斷能力和對車輛的操控能力都有不同程度的下降,因此很容易發(fā)生交通事故。統(tǒng)計(jì)數(shù)據(jù)表明,在2007 年至2008 年我國直接由疲勞駕駛導(dǎo)致的死亡人數(shù)分別占機(jī)動(dòng)車駕駛?cè)私煌ㄕ厥驴偹劳鋈藬?shù)的11.35% 、10.91% 和12.5% ,大約每年有9000 人死于疲勞駕駛。因此,研究開發(fā)高性能的駕駛?cè)似跔顟B(tài)實(shí)時(shí)監(jiān)測及預(yù)警技術(shù),對改善我國交通安全狀況意義重大本作品較為突出的難題有以下幾點(diǎn):
(1)人臉的自動(dòng)跟蹤
本作品所介紹的防止疲勞駕駛測試系統(tǒng)是以車速作為觸發(fā)的。當(dāng)車速低于70km/h時(shí),系統(tǒng)處于休眠模式,不會對人眼進(jìn)行監(jiān)測。當(dāng)車速超過這個(gè)閥值時(shí),系統(tǒng)就會進(jìn)入檢測模式,開始對駕駛員的精神狀態(tài)進(jìn)行監(jiān)視。駕駛員的臉不可能一直保持在同一個(gè)位置,所以監(jiān)視時(shí)如何自動(dòng)找到跟蹤人臉便是疲勞檢測的首要解決的問題。初步確定可利用Kalman自動(dòng)跟蹤人臉。
(2)人眼開合狀態(tài)的檢測判別
眼睛在臉部的相對位置基本能找出眼睛的位置,但系統(tǒng)要有普遍適用性,所以對于不同駕駛員的眼睛來說,根據(jù)相關(guān)文獻(xiàn),用模式識別的話分類得到的結(jié)果起伏比較大,穩(wěn)定性不好,所以要找到穩(wěn)定性好的識別方法。同時(shí)檢測速度要快,因?yàn)檎Q蹠r(shí)間很短,容易漏判。所以也要求檢測判別要快。
(3)汽車自動(dòng)減速
當(dāng)幾次聲音預(yù)警提示后,駕駛員精神狀態(tài)仍未改善的話,系統(tǒng)進(jìn)入車速自動(dòng)控制模式。通過控制模塊將車速自動(dòng)減慢到60km/h。減速要做到及時(shí),而且不能減到低于60km/h,因?yàn)楦咚俟飞宪囁僮畹蜑?0km/h,再低容易出交通事故。
2 系統(tǒng)功能與指標(biāo)
2.1 功能介紹
本設(shè)計(jì)是通過在視頻中對人臉進(jìn)行自動(dòng)跟蹤,找出眼部圖像,然后利用DSP進(jìn)行一系列圖像處理,最后得到眼睛的二值化圖像,從而判斷出眼睛開合狀態(tài)。根據(jù)采集的數(shù)據(jù)判斷出駕駛員是否出現(xiàn)疲倦,并在出現(xiàn)疲倦特征的時(shí)候做出警告。警告是高音量的聲音提醒,以便駕駛員聽到。打瞌睡報(bào)警反應(yīng)時(shí)間是2-3秒(高速路2秒,市區(qū)路3秒),報(bào)警次數(shù)為3次長聲,其他情況(如看后視鏡時(shí)間過長)報(bào)警反應(yīng)時(shí)間是5-7秒,報(bào)警次數(shù)為3次短聲,如果在多次警告后駕駛員的精神狀態(tài)依然沒有改善的情況下,系統(tǒng)會自動(dòng)降低車速,并通過汽車后窗上的電子屏以文字“疲勞駕駛,正在減速,請您留意”提示,以保證行車安全。同時(shí),系統(tǒng)還會持續(xù)地發(fā)出警告,直到駕駛員重新復(fù)位系統(tǒng)。
另外,本系統(tǒng)還有防止駕駛員開車的時(shí)候左顧右盼的功能,當(dāng)攝像頭在一定時(shí)間(設(shè)為3秒)內(nèi)追蹤不到人臉,即認(rèn)為是駕駛員頭部沒有正對著前方,這時(shí)系統(tǒng)也會給予相應(yīng)的聲音提示報(bào)警,直到駕駛員頭部重新正對著前方。
最后,該系統(tǒng)還具有行車記錄功能,每秒鐘都會把當(dāng)前行車的部分?jǐn)?shù)據(jù),如當(dāng)前時(shí)間、車速、駕駛員眨眼次數(shù)、精神狀況等記錄下來。相當(dāng)于汽車的“黑匣子”。
2.2指標(biāo)介紹
1)當(dāng)車速低于70km/h時(shí),人臉跟蹤系統(tǒng)不啟動(dòng);當(dāng)車速超過這個(gè)閥值時(shí),系統(tǒng)就會進(jìn)入檢測模式;
2)當(dāng)駕駛員眼睛持續(xù)閉合2秒且PERCLOS>0.4,發(fā)出一次警告;
3)當(dāng)駕駛員在一分鐘內(nèi)眨眼次數(shù)超過20次,發(fā)出一次警告;
4)當(dāng)一分鐘內(nèi)眨眼幀率,發(fā)出一次警告;
5)當(dāng)警告次數(shù)累積到8次,而駕駛員沒有對系統(tǒng)進(jìn)行復(fù)位,系統(tǒng)就會自動(dòng)控制模式,直到車速低于60km/h為止,以保證駕駛員的安全。
3 基于駕駛員行為特征的檢測方法
從人體疲勞特征的研究結(jié)果來看,疲勞駕駛的典型反應(yīng)包括:眼簾的頻繁眨動(dòng);瞳孔逐漸變小,甚至閉合;哈欠增多;頭部前傾或后仰;方向盤微調(diào),駕車左右搖擺;反應(yīng)能力下降等。從剛才提到的各種疲勞駕駛典型反應(yīng)來看,監(jiān)測瞳孔變化的難度很大,監(jiān)測頭部運(yùn)動(dòng)狀況,方向盤微調(diào)等又很難用一個(gè)量化的標(biāo)準(zhǔn)去衡量。而監(jiān)測眼睛眨動(dòng)狀態(tài)比較容易跟蹤,眨動(dòng)次數(shù)和眼睛閉合情況也可以清晰地監(jiān)測出來。因此,通過監(jiān)測眼睛狀態(tài)來判斷駕駛員是否處于疲勞狀態(tài)這種方法,相對來說是最有效直觀的。
此方法最適用于檢測駕駛員的精神狀況。隨著數(shù)字圖像處理技術(shù)的發(fā)展,可以利用圖像處理技術(shù)來實(shí)時(shí)監(jiān)控駕駛員精神狀況,而不影響駕駛員的操作。只需通過攝像頭持續(xù)不斷地檢測和捕捉駕駛員的眼睛,結(jié)合圖像處理器提取其特征信息并進(jìn)行處理,可以較為有效地分析出駕駛員的精神狀態(tài)。
4 DSP(數(shù)字信號處理器)
DSP由于具備硬件浮點(diǎn)運(yùn)算器,速度能大大提高,DSP在圖像處理方面相當(dāng)強(qiáng)大,但DSP的開發(fā)難度相對比較大,成本較高。有些在計(jì)算機(jī)平臺上的關(guān)于視覺識別的函數(shù)庫可以要移植到DSP上,可以減少開發(fā)時(shí)間。具有浮點(diǎn)運(yùn)算強(qiáng),實(shí)時(shí)性強(qiáng),能將計(jì)算機(jī)平臺上的視覺識別函數(shù)庫移植到DSP上的優(yōu)點(diǎn);綜合從開發(fā)時(shí)間和實(shí)時(shí)性這兩方面考慮,使用PC機(jī),能減少開發(fā)時(shí)間;將計(jì)算機(jī)平臺上關(guān)于視覺識別的函數(shù)庫移植到DSP上,減少DSP開發(fā)的難度;利用DSP浮點(diǎn)運(yùn)算強(qiáng)的特點(diǎn),增強(qiáng)疲勞檢測判別模塊的實(shí)時(shí)性。
5 圖像處理算法方案論證
采用模式識別的方式在圖像中先找出人臉的位置,并對人臉進(jìn)行追蹤,在歸一化后的人臉圖中根據(jù)眼睛在臉部的相對位置,基本能找出眼睛的位置。再對眼睛圖像進(jìn)行一系列的圖像處理,最后通過處理得到的二值化圖像判斷眼睛的開合度。
由于人臉在整個(gè)圖像中所占的比例比較大,追蹤起來比較容易,檢測的準(zhǔn)確率相對比較高。而通常駕駛員在駕駛的過程中頭部擺動(dòng)的角度都比較小的,根據(jù)眼睛在臉部的相對位置,基本能找出眼睛的位置。然而用模式識別找眼睛的話,對眼睛的樣本要求比較嚴(yán)格,而且在測試過程中發(fā)現(xiàn),對于不同測試者的眼睛,分類所得的結(jié)果起伏比較大,穩(wěn)定性沒有二值化處理的好。再次,Gabor特征提取的速度比較慢,而眨眼的時(shí)間卻很短,容易漏判。
總結(jié)與展望
本作品確定了整個(gè)疲勞監(jiān)測系統(tǒng)的系統(tǒng)框架,研究了在系統(tǒng)實(shí)現(xiàn)過程中較重要的圖像預(yù)處理算法,采用非線性分段色彩變換空間中基于膚色模型的人臉檢測技術(shù),將膚色與非膚色區(qū)域分離;并研究了Kalman濾波跟蹤方法,提高了系統(tǒng)的實(shí)時(shí)性。結(jié)合PC機(jī)和DSP對采集的信息進(jìn)行處理,從而更高效率地對駕駛員的精神狀況進(jìn)行實(shí)時(shí)判別。本方案具有廣闊的市場前景,應(yīng)用意義重大。
參考文獻(xiàn):
[1]黎亞平,周杰,黃磊,吳仲兵.國內(nèi)外駕駛疲勞狀態(tài)檢測技術(shù)的現(xiàn)狀與發(fā)展[J].中國單片機(jī)公共實(shí)驗(yàn)室南京研發(fā)中心,2010(5):11-12.
[2]黃席樾,鄧金城.基于人臉識別技術(shù)的駕駛員疲勞檢測方法研究[J].重慶大學(xué)學(xué)報(bào),2005(5):10-13.