李 榮，劉 坤，高文鵬

( 1．黑龍江工程學(xué)院汽車與交通工程學(xué)院，哈爾濱150020; 2．河北工業(yè)大學(xué)控制科學(xué)與工程學(xué)院，天津300019; 3．哈爾濱工業(yè)大學(xué)生命科學(xué)與技術(shù)學(xué)院，哈爾濱150001)

基于視覺的目標(biāo)姿態(tài)估計算法

李 榮1，劉 坤2，高文鵬3

( 1．黑龍江工程學(xué)院汽車與交通工程學(xué)院，哈爾濱150020; 2．河北工業(yè)大學(xué)控制科學(xué)與工程學(xué)院，天津300019; 3．哈爾濱工業(yè)大學(xué)生命科學(xué)與技術(shù)學(xué)院，哈爾濱150001)

駕駛員頭部姿態(tài)在一定程度上反映駕駛員的意圖。為了避免由駕駛員主觀因素造成交通事故，基于計算機(jī)視覺的動態(tài)頭部姿態(tài)估計算法，首先檢測視頻中的正面人臉，以此為基準(zhǔn)，利用SIFT算法對視頻序列中人臉特征進(jìn)行匹配與跟蹤，計算不同視角下的頭部姿態(tài)角度，再通過記錄不同姿態(tài)角度保持的時間來判別駕駛員的行為意識，從而給駕駛員警示，進(jìn)而避免交通事故。實(shí)驗(yàn)表明，該系統(tǒng)可以精確估算駕駛員頭部姿態(tài)，提高駕駛安全性。

駕駛員;疲勞檢測;頭部姿態(tài)評估

收稿日期: 2013-01-10
基金項(xiàng)目:黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目( 12511454)
第一作者簡介:李 榮( 1977-)，女，內(nèi)蒙古自治區(qū)呼和浩特人，講師，博士，研究方向:機(jī)器人、智能駕駛等，E-mail: mizzle0929@126．com。

0引言

隨著汽車制造業(yè)的飛速發(fā)展，汽車已經(jīng)成為人類最主要的交通工具。汽車在帶給人類舒適和便捷的同時也帶來一些負(fù)面效應(yīng)，其中最嚴(yán)重、危害最大的就是交通事故。據(jù)統(tǒng)計，2012年我國發(fā)生涉及人員傷亡的路口交通事故4. 6萬起，造成1. 1萬人死亡、5萬人受傷。根據(jù)歐洲的一項(xiàng)研究表明，駕駛員只要在有碰撞危險0. 5 s前得到“預(yù)警”，就能避免50%的碰撞事故。若在1 s前得到“預(yù)警”，則可避免90%的事故發(fā)生。因此，開發(fā)研究能實(shí)時獲取道路和車輛信息，及時提醒駕駛員，或自動采取措施以避免出現(xiàn)危險的汽車碰撞預(yù)警系統(tǒng)，成為一項(xiàng)極有研究價值的課題。

目前，常用的評價疲勞駕駛有兩種方法。第一種方法，利用檢測駕駛員的生理信號的方式，例如腦電圖、心電圖、呼吸氣流等手段。駕駛員產(chǎn)生疲勞時，生理機(jī)能下降，會出現(xiàn)如頭重、心跳加快、脈搏加速、氣喘等。有些學(xué)者利用檢測駕駛員的生理信號的方式來研究駕駛員的疲勞程度[1-3]，這種方案的優(yōu)點(diǎn)是在疲勞初期檢測，具有一定的可靠性，缺點(diǎn)是使用不方便，且成本很高。另一種評價方法是通過檢測駕駛員的駕駛行為，通過同正常駕駛狀態(tài)比較，查找出差異如打哈欠、頻繁點(diǎn)頭、大角度偏離正常駕駛方向、表情變化少、眼睛呆滯等現(xiàn)象[4-6]。這類方法的優(yōu)點(diǎn)是通過視覺和圖像識別方法進(jìn)行監(jiān)控，不需要接觸式傳感檢測，不干擾駕駛員正常操作，缺點(diǎn)是受天氣、路況、光照、車型等因素影響。這樣的檢測系統(tǒng)需要有計算機(jī)進(jìn)行數(shù)據(jù)的實(shí)時處理，因此成本也較高，且判別結(jié)果存在誤差。隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，針對上述問題，筆者研究利用廉價的網(wǎng)絡(luò)攝像頭對駕駛員的頭部姿態(tài)進(jìn)行不斷獲取且傳給后臺處理器，通過適當(dāng)?shù)乃惴▽︻^部姿態(tài)進(jìn)行估計，將結(jié)果反饋給報警裝置，當(dāng)駕駛員處于危險駕駛姿態(tài)時提供警報，會大幅度減少交通事故的發(fā)生。

1疲勞識別系統(tǒng)框架的建立

研究主要是針對中低檔價位的乘用車，通過利用價格低廉的網(wǎng)絡(luò)攝像頭和自身研發(fā)的智能圖像識別軟件，來代替智能駕駛系統(tǒng)等裝置，在駕駛員行駛過程中輔助駕駛員進(jìn)行危險情況的識別。該系統(tǒng)的硬件結(jié)構(gòu)主要由網(wǎng)絡(luò)攝像頭、圖像采集卡、計算機(jī)、定時電路等設(shè)備組成，對獲取的圖像信息，利用基于視頻和靜態(tài)圖像的頭部姿態(tài)估計，將處理完的信息即駕駛員頭部角度的變化傳給預(yù)警系統(tǒng)，系統(tǒng)根據(jù)結(jié)果發(fā)出相應(yīng)的警告，為駕駛員進(jìn)行道路交通安全提供保障。整體流程如圖1所示。

圖1 駕駛員疲勞識別系統(tǒng)流程Fig．1 Flow of detection system for fatigue driving

2駕駛員頭部姿態(tài)估計

駕駛員在駕駛過程中，其頭部姿態(tài)很大程度上暗示其注意力，因此可以通過捕捉駕駛員長時間低頭、抬頭、歪頭以及頻繁點(diǎn)頭等這些反常的動作，來識別其駕駛過程是否走神或疲勞。我們可以假定，駕駛員朝正前方看，表明其注意力集中，正在注視前方的道路，若其頭部長時間偏轉(zhuǎn)一側(cè)或偏移角度過大，則表明駕駛員此時走神或者疲勞，有必要給他發(fā)送提醒警示。

2. 1頭部姿態(tài)的表示方法及正面基準(zhǔn)圖像

頭部姿態(tài)的轉(zhuǎn)動包括三個自由度，即分別為繞x、y、z軸的轉(zhuǎn)動，相應(yīng)的運(yùn)動分別稱為橫轉(zhuǎn)( Pitch)、傾斜( Yaw)和俯仰( Roll)。頭部姿態(tài)估計都是相對駕駛員在正常駕駛過程中頭部位姿而言的，把這一姿態(tài)叫做正面基準(zhǔn)圖像。為簡化算法，采用主動設(shè)置方式，即駕駛員初次使用該系統(tǒng)時，保持駕車姿勢，目視前方，將此時的圖像作為正面基準(zhǔn)圖像，并把此時的坐標(biāo)系作為標(biāo)準(zhǔn)坐標(biāo)系，如圖2所示。

圖2 正面基準(zhǔn)姿態(tài)Fig．2 Frontal head’s pose

2. 2 圖像特征匹配

給定輸入的視頻序列，首先檢測正面人臉的位置。以正面人臉為基準(zhǔn)，標(biāo)記正面人臉圖像的姿態(tài)角度為0°。而網(wǎng)絡(luò)攝像頭獲取的駕駛員在駕駛過程中視頻序列同基準(zhǔn)圖像在不同角度、光線、遮擋等因素下有著很大的差異。圖像特征匹配，檢測到匹配點(diǎn)的數(shù)目直接影響匹配結(jié)果的準(zhǔn)確性。對于滿足傳統(tǒng)隱含假設(shè)的特征點(diǎn)文中按已有算法進(jìn)行匹配[4]，對于不滿足假設(shè)條件的區(qū)域，即難以直接匹配的區(qū)域通過優(yōu)化的方法進(jìn)行匹配，獲取更多的匹配點(diǎn)，算法如圖3所示。利用SIFT算法對相鄰幀圖像之間進(jìn)行特征點(diǎn)檢測和匹配[5]，然后利用駕駛員膚色等先驗(yàn)知識，對特征匹配結(jié)果進(jìn)行過濾和跟蹤，得到不同圖像之間的人臉區(qū)域。實(shí)驗(yàn)結(jié)果表明，70× 80像素的圖像上，大概可以獲得150個特征點(diǎn)。

圖3 圖像特征匹配算法框架Fig．3 Frame of image feature’s matching

2. 3 頭部姿態(tài)估計

基于人臉區(qū)域內(nèi)的特征匹配結(jié)果，利用對極幾何的方法估計兩幅圖像之間的姿態(tài)角度。即三維空間中某一特征點(diǎn)X，被投影到兩個不同的視角中，成像點(diǎn)位x1、x2，而成像點(diǎn)僅與攝像機(jī)的參數(shù)和相機(jī)間的相對姿態(tài)有關(guān)，文中駕駛員頭部姿態(tài)，即考慮頭部與攝像頭之間的相對運(yùn)動，則滿足:

F為基本矩陣，是極限約束的代數(shù)表示。圖4所示的e1、e2為對極點(diǎn)，即兩攝像機(jī)的基線與成像平面的交點(diǎn); C1、C2為兩個相機(jī)的中心; l'表示第一副圖像中的x1點(diǎn)，在第二副圖像中的相應(yīng)的對極線。即

圖4 兩幅圖像間的極限幾何關(guān)系Fig．4 Ultimate geometric relationship of two images

首先，根據(jù)歸一化的線性8點(diǎn)算法獲取基礎(chǔ)矩陣。其次，在此基礎(chǔ)上進(jìn)行駕駛員頭部姿態(tài)角度。設(shè)攝像機(jī)的內(nèi)參數(shù)為K，則攝像機(jī)矩陣為

x = PX為圖像上的一點(diǎn)，則存在K-1，使得

則空間一點(diǎn)X在攝像機(jī)歸一化矩陣下的像為x^。與歸一化攝像機(jī)矩陣對應(yīng)的基礎(chǔ)矩陣為攝像機(jī)本質(zhì)矩陣與基本矩陣的關(guān)系:本質(zhì)矩陣包含了旋轉(zhuǎn)和平移矢量信息，即:

通過式( 6)可從本質(zhì)矩陣中獲取旋轉(zhuǎn)矩陣R。旋轉(zhuǎn)矩陣可轉(zhuǎn)化為歐拉角，即分別繞z、y、x的旋轉(zhuǎn)角度為α、β、γ，旋轉(zhuǎn)矩陣可表達(dá)為

基于人臉區(qū)域內(nèi)的特征匹配結(jié)果，利用動態(tài)姿態(tài)估計算法估計圖像之間的基礎(chǔ)矩陣和本質(zhì)矩陣，進(jìn)而估計任意兩幅相鄰圖像幀之間繞旋轉(zhuǎn)軸x、y、z三個方向的相對角度。利用RANSAC算法[6]過濾圖像匹配中存在的錯誤匹配，獲得正確的關(guān)于圖像間基礎(chǔ)矩陣的模型估計結(jié)果。

3實(shí)驗(yàn)結(jié)果分析

使用該系統(tǒng)進(jìn)行頭部姿態(tài)估計時，采用駕駛員上車后獲取的基準(zhǔn)圖像為標(biāo)準(zhǔn)正面人臉坐標(biāo)系，設(shè)駕駛員內(nèi)眼角連線的中心為坐標(biāo)原點(diǎn)。通過網(wǎng)絡(luò)攝像頭獲取的每一幀圖像，通過圖像特征匹配算法獲取足夠多的特征點(diǎn)，利用RANSAC算法將錯誤的匹配點(diǎn)過濾，然后利用頭部姿態(tài)估計算法，計算駕駛員人臉相對于標(biāo)準(zhǔn)坐標(biāo)系的旋轉(zhuǎn)矩陣，進(jìn)而估計出該幀的駕駛員頭部姿態(tài)相對于正面姿態(tài)的α、β、γ旋轉(zhuǎn)角度。圖5為利用網(wǎng)絡(luò)攝像頭拍攝的兩端駕駛員模擬錄像，其中5a表示的是正常駕駛狀態(tài)下，利用該系統(tǒng)處理完的駕駛員頭部橫滾姿態(tài)，即此時駕駛員大部分時間目視前方，而且頭部有小幅度的左右轉(zhuǎn)動(即橫滾)觀察路況。圖5b記錄的駕駛員處于疲勞狀態(tài)，駕駛過程中，每隔一段時間會出現(xiàn)頭部大幅度低下(即俯視)，接著會迅速抬起，而且大幅度點(diǎn)頭的頻率越來越高。圖5c表示駕駛員頭部長時間左偏(即偏航)，持續(xù)時間長過120幀，表示可能駕駛員走神或瞌睡。如果出現(xiàn)圖5b及5c情況，系統(tǒng)會發(fā)出警報，提醒駕駛員。

圖5 駕駛員頭部姿態(tài)估計Fig．5 Head pose estimation of driver

4 結(jié)束語

基于視覺的目標(biāo)姿態(tài)估計算法，可以精確估算駕駛員的頭部姿態(tài)，提高其駕駛安全性。該算法以正面人臉為基準(zhǔn)，通過不同圖像之間的特征匹配結(jié)果計算頭部姿態(tài)的相對角度，進(jìn)而獲得每幀圖像中頭部姿態(tài)的絕對角度。實(shí)驗(yàn)表明，姿態(tài)估計算法可以給出精確的姿態(tài)估計結(jié)果，在駕駛員駕駛過程中起到一定的輔助駕駛作用，可以有效避免交通事故。

[1]HUANG K，TRIVEDI M M，GANDHI T．Driver’s view and vehicle surround estimation using omnidirectional video stream[C]/ / Proceedings of IEEE Intelligent Vehicles Symposium．Ohio: Columbus．2003: 444-449．

[2] 李 力，王飛躍，鄭南寧，等．駕駛行為智能分析的研究與發(fā)展[J]．自動化學(xué)報，2007，33( 10) : 1014-1022．

[3] VIOLA P，JONES M．Rapid objects detection using a boosted cascade of simple features[J]．Computer Vision and Pattern Recognition，2001，31( 6) : 511-518．

[4] 武 勃，黃 暢，艾海舟．基于連續(xù)算法的多視角人臉檢測．計算機(jī)研究與發(fā)展[J]．2005，42( 9) : 1612-1621．

[5] DAVID G，LOWE．Distinctive image features from scale invariant key points[J]．International Journal of Computer Vision，2004，60( 2) : 91-110．

[6] MATAS J，CHUM O．Randomized RANSAC with T-d test[J]．Image and Vision Computing，2004，22( 10) : 837-842．

(編輯 徐 巖)

Research of detection system for fatigue driving based on head pose estimation

LI Rong1，LIU Kun2，GAO Wenpeng3

( 1．School of Automobile&Traffic Engineering，Heilongjiang Institute of Technology，Harbin 150001，China; 2．School of Control Science&Engineering，Hebei University of Technology，Tianjin 300019，China; 3．School of Life Science&Technology，Harbin Institute of Technology，Harbin 150001，China)

Aimed at preventing traffic accident due to the subjective factor of drivers，this paper is focused on identifying drivers’head gesture，a reflection of drivers’intention and proposes an algorithm for dynamic head pose estimation based on computer vision．The algorithm consists of firstly estimating the relative pose between adjacent views，using Scale-Invariant Feature Transform ( SIFT) descriptors to match the corresponding feature points between two adjacent views，estimating the different frames within different pose range，and using the time of the pose range to judge the drivers’behavior consciousness for preventing traffic accident．The experiment shows that the algorithm capable of accurate estimation of drivers’head gesture can aid an improvement in driving safety．

driver; fatigue detection;head pose estimation

10. 3969/j．issn．2095-7262. 2014. 01. 022

TP391

2095-7262( 2014) 01-0099-04

A