謝國波，陳云華，張 靈，丁伍洋

（廣東工業(yè)大學(xué)計算機學(xué)院，廣東 廣州 510006)

基于嘴巴特征點曲線擬合的哈欠檢測＊

謝國波，陳云華，張 靈，丁伍洋

（廣東工業(yè)大學(xué)計算機學(xué)院，廣東 廣州 510006)

針對疲勞分析中哈欠檢測具有嘴角點定位困難、嘴巴張開大小及持續(xù)時間因人而異的特點，提出一種基于嘴巴內(nèi)輪廓角點檢測與曲線擬合的哈欠檢測方法。首先利用角點檢測獲取嘴巴內(nèi)輪廓上的若干點，對這些點進行曲線擬合建立嘴唇內(nèi)輪廓數(shù)學(xué)模型；然后再對張口度曲線進行時間維度的分析，對哈欠進行二次判決。實驗結(jié)果表明，該方法不僅能夠更精確地獲取開口度的大小，而且還能夠降低哈欠的誤檢率。

角點檢測；輪廓提?。磺€擬合；哈欠檢測

1 引言

哈欠是反映疲勞的重要特征，基于哈欠與眨眼檢測的疲勞分析在智能交通領(lǐng)域擁有廣闊的應(yīng)用前景。目前，國內(nèi)外進行哈欠檢測的方法主要依據(jù)的是嘴巴的形態(tài)特征。Lu Yu-feng等［1］對兩幀圖像進行差分來定位人臉，通過檢測鼻孔與下巴的距離來判斷是否有哈欠產(chǎn)生。該方法在頭部發(fā)生偏轉(zhuǎn)的情況下，下巴難以準(zhǔn)確定位，并且當(dāng)攝像頭與人的距離發(fā)生改變時，從圖像上檢測到的鼻孔與下巴的距離也會發(fā)生相應(yīng)的變化，因而會產(chǎn)生誤判。文獻［2，3］先從單幅圖像中分割出嘴巴，根據(jù)嘴巴張開區(qū)域的大小來檢測哈欠。該方法僅考慮單幅靜態(tài)圖像中嘴巴的狀態(tài)，沒有考慮哈欠的時間特性，而且提取的張口形狀是不規(guī)則圖形，當(dāng)頭部發(fā)生傾斜時，不能有效地判斷。Wang Tie sheng等［4］先定位兩邊嘴角，然后檢測嘴唇的上下邊界獲取嘴巴的高寬比，并通過對張口度的分析判斷哈欠的產(chǎn)生。該方法依賴于嘴角點定位的準(zhǔn)確性，其中任何一個嘴角點定位不準(zhǔn)確都會影響到檢測結(jié)果；而且不同的嘴形和嘴唇厚度也會對結(jié)果產(chǎn)生一定的影響。此外，上述方法在判別哈欠時均未對張口的持續(xù)時間進行分析，導(dǎo)致短時間內(nèi)或者瞬時的嘴巴張大（如驚訝時張大嘴)會被誤判為哈欠。

針對上述方法中的不足，本文提出一種基于嘴巴特征點曲線擬合的哈欠檢測方法。先對圖像進行人臉檢測和嘴巴粗定位；然后對嘴巴區(qū)域進行Harris角點檢測，利用檢測到的角點坐標(biāo)擬合出嘴巴內(nèi)輪廓曲線，計算張口度，得到張口度曲線和哈欠張口度閾值。對張口度曲線進行時間維度的分析，將結(jié)果分為哈欠、非哈欠和疑似哈欠，對于疑似哈欠的情況，根據(jù)哈欠、驚訝、大聲喊話時張嘴的不同特點進行二次判決。實驗結(jié)果表明，采用角點檢測和曲線擬合方法提取嘴巴內(nèi)輪廓能夠獲取到更加精確的張口度大小，對張口度曲線進行時間維度分析的哈欠二次判決方法能夠提高哈欠檢測的準(zhǔn)確率，減少誤判。

2 嘴巴內(nèi)輪廓提取

2.1 人臉檢測與嘴巴定位

在彩色視頻圖像中，膚色是區(qū)分人臉與非人臉的顯著特征，因而也是人臉檢測的最常用的特征之一。相對于RGB顏色空間，膚色在YCrCb色彩空間具有更好的聚類特性。采用文獻［5］中的方法檢測人臉，并獲取嘴巴的粗略位置，然后利用文獻［6］中給出的唇色模型，得到嘴巴區(qū)域的位置，嘴巴檢測結(jié)果如圖1所示。

Figure 1 Diagram of face detection and mouth location results圖1 人臉檢測與嘴巴定位結(jié)果

2.2 嘴巴角點檢測

角點作為圖像上的特征點，包含有重要的信息，對圖像圖形的理解和分析具有重要價值。由于角點特征具有旋轉(zhuǎn)不變性和不隨光照條件變化而變化的特點，利用角點檢測嘴巴的內(nèi)輪廓點，不僅準(zhǔn)確而且結(jié)果穩(wěn)定。

采用Harris角點檢測算法［7］對嘴巴區(qū)域進行檢測，主要步驟如下：

（1)設(shè)置高斯窗口函數(shù)：

其中，Ix、Iy分別為原始圖像像素點在水平和垂直方向上的梯度。

（3)計算每個像素點的Harris角點響應(yīng)函數(shù)：

其中，k為Harris算子的參數(shù)，一般取值為0.04～0.06，計算出的響應(yīng)函數(shù)CRF所對應(yīng)的極大值點就是圖像的角點。嘴巴角點檢測的結(jié)果見圖2。

Figure 2 Diagram of mouth inner contour corner detection results圖2 嘴巴內(nèi)輪廓角點檢測結(jié)果圖

2.3 嘴巴內(nèi)輪廓模型

采用Harris角點檢測可獲取嘴巴內(nèi)輪廓上角點的坐標(biāo)，通過對這些坐標(biāo)點進行曲線擬合可獲取嘴唇的內(nèi)輪廓曲線，從而更準(zhǔn)確地計算張口度的值。嘴唇區(qū)域的Harris角點檢測結(jié)果如圖2所示。

嘴唇的內(nèi)輪廓形似拋物線，因而本文選取分段拋物線作為擬合曲線，采用最小二乘法獲取嘴唇內(nèi)輪廓線，建立相應(yīng)的數(shù)學(xué)模型。由于Harris角點提供的坐標(biāo)是基于圖像像素點的坐標(biāo)，因而角點坐標(biāo)值受到圖像尺寸的影響，在進行擬合前要對坐標(biāo)進行相應(yīng)的變換。本文以檢測到的最左側(cè)角點（x0，y0)為坐標(biāo)原點，其它點的坐標(biāo)均轉(zhuǎn)化為該點的相對坐標(biāo)，并以最左側(cè)和最右角點坐標(biāo) （x0，y0)、（xn，yn)的連線為水平坐標(biāo)軸創(chuàng)建坐標(biāo)系，如圖3所示。

設(shè)任意一點 （xi，yi)變換后的坐標(biāo)為，)，則有：

Figure 3 Mouth inner contour curves coordinate transformation diagram圖3 嘴巴內(nèi)輪廓曲線坐標(biāo)轉(zhuǎn)換示意圖

其中，θ為嘴角連線相對水平位置的夾角，且：

當(dāng)檢測到兩個嘴角的縱坐標(biāo)相差很大時，表明頭部產(chǎn)生了傾斜，此時需要根據(jù)公式（9)對檢測到的嘴唇輪廓點進行坐標(biāo)轉(zhuǎn)換。

利用公式（7)完成坐標(biāo)轉(zhuǎn)換后，進行分段二次函數(shù)最小二乘曲線擬合得到嘴巴張開時的內(nèi)輪廓曲線，如圖4所示。其對應(yīng)的數(shù)學(xué)模型如下：

其中，a1＜0，a2＞0，f1（x)對應(yīng)上嘴唇內(nèi)輪廓曲線，f2（x)對應(yīng)下嘴唇內(nèi)輪廓曲線。

Figure 4 Mouth inner contour curve fitting diagram圖4 嘴巴內(nèi)輪廓曲線擬合結(jié)果

3 哈欠檢測

3.1 張口度曲線

人在打哈欠時，嘴巴最明顯的特征就是張開的程度會變大，并且較大的張口度會維持一段時間。由于嘴唇內(nèi)輪廓區(qū)域高寬比相對于嘴唇外輪廓高寬比更能夠反映張口度的大小，因此本文依據(jù)嘴唇的內(nèi)輪廓，給出張口度的定義為：嘴巴張開時，嘴唇內(nèi)輪廓曲線所圍區(qū)域的高度與寬度的比值為：

其中，H表示嘴巴張開的高度；L表示兩個嘴角間的距離，如圖3所示；x1和x2為上下嘴唇內(nèi)輪廓曲線的交點的橫坐標(biāo)。對每一幀視頻實時求取張口度即可生成張口度曲線。為了描述方便，將張口度隨時間變化的曲線稱為M曲線。

3.2 哈欠初次判決

已有的哈欠檢測方法由于未考慮張口度持續(xù)時間，容易將瞬時張大嘴巴如驚訝等誤判為哈欠，為此，本文在張口度閾值的基礎(chǔ)上增加張口持續(xù)幀數(shù)的檢測；同時，為了滿足哈欠檢測的實時性，本文的哈欠檢測分兩步進行：

第1步 根據(jù)張口度閾值進行哈欠初判；

第2步 對條件區(qū)域的哈欠進行二次判決。

現(xiàn)有哈欠檢測的文獻中并沒有給出一個準(zhǔn)確的哈欠閾值，本文張口度的閾值根據(jù)多次實驗的經(jīng)驗值確定。張口度超過βT的持續(xù)幀數(shù)記為t。如果是由驚訝或者大聲講話所導(dǎo)致的瞬時嘴巴張大，張口度超過閾值的持續(xù)時間必然會很小，因此，可按照張口度超過閾值βT的持續(xù)幀數(shù)t進行哈欠初判。判決規(guī)則如下：

（1)當(dāng)t∈ （0，T1)時，為非哈欠區(qū)。在此區(qū)域內(nèi)的點表示嘴巴張大維持的時間短，可能是驚訝等表情引起的嘴巴瞬間張大。

（2)當(dāng)t∈ ［T1，T2)時，為條件哈欠區(qū)。在此區(qū)域不能直接判別是否產(chǎn)生了哈欠，需進行二次判決。

（3)當(dāng)t∈ ［T2，150)時，為絕對哈欠區(qū)。在此區(qū)域內(nèi)嘴巴張大的持續(xù)時間長，因此可以判定為產(chǎn)生了哈欠。

其中，T1和T2的值根據(jù)多次實驗的經(jīng)驗值確定，時間維度的哈欠判別區(qū)域劃分如圖5所示。其中，整個檢測時間范圍內(nèi)張口度均未達(dá)到判決門限βT的被認(rèn)為是嘴巴正?；顒訝顟B(tài)，如講話等。

3.3 哈欠二次判決

對條件哈欠區(qū)的情況，需要進行二次判別。二次判別的依據(jù)是哈欠的過程比大聲說話或瞬間張大嘴的過程要長，因此稍低于初次判決門限βT的張口度會持續(xù)更長的時間（對應(yīng)于嘴小的人)；而瞬時的張大嘴或大聲說話時稍低于判決門限βT的張口度持續(xù)時間仍然很短。為此，取二次判決閾值為張口度，持續(xù)時間為T′，即已處于條件區(qū)域且滿足張口度超過β′T的持續(xù)幀數(shù)在T′以上時，才被判定為產(chǎn)生了哈欠，否則未產(chǎn)生哈欠。

Figure 5 Yawning discrimination zoning in time dimension圖5 時間維度的哈欠判別區(qū)域劃分

4 實驗結(jié)果與分析

選擇不同性別、不同年齡的192名測試者，在實驗室和駕駛室分別進行視頻采集。測試者的年齡和性別的分布如表1所示。測試者在錄制視頻時，可以打哈欠、講話、面露驚訝的表情，頭部可以傾斜、扭轉(zhuǎn)，靠近或者遠(yuǎn)離攝像頭，每人至少打一次哈欠，有一次驚訝張嘴，講話若干。選取180段視頻進行哈欠檢測：至少包含了一次哈欠的視頻共60段，至少包含了一次驚訝張大嘴的視頻共60段，無哈欠也無驚訝張嘴的視頻共60段。經(jīng)過多次反復(fù)實驗得出：典型的哈欠是張口度超過0.65，且持續(xù)幀數(shù)大于或等于25幀；對少數(shù)嘴較小的測試者的哈欠是張口度超過0.5，且持續(xù)幀數(shù)大于或等于125幀；由于驚訝等導(dǎo)致的瞬時張大嘴，開口度大于0.65的持續(xù)時間不超過25幀；由于驚訝等導(dǎo)致的瞬時張大嘴，開口度大于0.5的持續(xù)時間不超過125幀。因而，取哈欠初次判決的開口度閾值βT＝0.65，持續(xù)時間閾值為T1＝25幀，T2＝75幀，二次判決的開口度閾值β′T＝0.5，條件哈欠區(qū)開口度超過β′T的張口持續(xù)時間閾值為T′＝125幀。

Table 1 Age distribution of the testers表1 測試者年齡分布

（1)內(nèi)輪廓角點擬合與嘴唇邊界獲取張口度的對比實驗。

為了說明采用內(nèi)輪廓角點擬合方法計算嘴唇內(nèi)輪廓獲取張口度的優(yōu)越性，給出本文方法與文獻［4］中的方法對比實驗，如圖6所示。文獻［4］中計算張口度的方法是現(xiàn)有張口度計算方法的代表，該類方法在利用人臉比例關(guān)系粗定位嘴唇的檢測范圍后，采用梯度積分投影和唇色模型結(jié)合的方法定位嘴唇的上下左右邊界，從而獲取張口高寬比。該類方法存在的不足是：（1)張口度的計算會受到嘴唇厚度的影響，如圖6b所示；（2)當(dāng)被測者頭部存在較大角度偏轉(zhuǎn)時，嘴唇的左右邊界容易檢測失敗，如圖6d所示。

Figure 6 Comparison of mouth open degree obtained by inner contour curve fitting and mouth border detection圖6 嘴唇內(nèi)輪廓擬合與邊界獲取張口度的對比

（2)瞬時張大嘴與哈欠的對比實驗。

圖7是包含了一次由驚訝導(dǎo)致的瞬時嘴巴張大和一次張口度較小的哈欠，其中A段對應(yīng)一次驚訝時的突然張嘴，B段對應(yīng)一次張口度較小的哈欠。由圖7可看出，若僅用張口度閾值βT進行判別，則A段被誤判為哈欠；若用張口度βT加上超過βT的持續(xù)時間t進行判別，A段不會被誤判，同時，B段則被判為條件哈欠區(qū)的哈欠，需要進行二次判決。二次判決時，采用的張口度閾值為β′T，持續(xù)時間閾值為T′，經(jīng)過二次判決后，B段被判定為哈欠。

對應(yīng)的視頻幀及嘴唇內(nèi)輪廓曲線擬合結(jié)果如圖8所示。由圖8可知，驚訝時張嘴與哈欠時張嘴的大小區(qū)別不大，僅用張口度閾值是很難將二者區(qū)別開的。但是，驚訝時張大嘴的持續(xù)時間明顯要短于哈欠，因而可利用該特點將如驚訝等的瞬時張大嘴的情況與哈欠區(qū)別開來。

對圖8所示的驚訝時張大嘴的視頻，利用本文

Figure 7 Mouth open degree curve containing a yawning and an instant mouth opening圖7 包含了一次瞬時張嘴和哈欠的張口度曲線

方法與其他文獻中的方法進行哈欠檢測，檢測結(jié)果如表2所示。

Table 2 Experimental results of mouth open caused by surprising misjudged as by yawning表2 驚訝張口被誤判為哈欠的實驗結(jié)果

從表2可看出，本文結(jié)合張口度與持續(xù)時間根據(jù)張口度曲線對哈欠進行二次判決，能區(qū)分出瞬時的嘴巴張大的情況，從而降低哈欠的誤檢率。

（3)總的檢測結(jié)果對比。

各種方法檢測率如表3所示。從表3可看出，本文對哈欠的誤判和漏判率均低于其他文獻中的方法。

Figure 8 Video frames and their inner contour curve fitting result of surprising and yawning圖8 驚訝和哈欠對應(yīng)的視頻幀及其內(nèi)輪廓擬合結(jié)果

Table 3 Yawning detection rate of different methods表3 不同方法的哈欠檢測率 %

5 結(jié)束語

本文根據(jù)打哈欠時嘴巴具有張口度大和持續(xù)時間較長的特點，針對現(xiàn)有哈欠檢測方法的不足，提出一種基于嘴巴內(nèi)輪廓角點擬合的哈欠檢測方法。由于角點擬合綜合考慮了多個嘴唇輪廓點的信息，利用角點坐標(biāo)擬合嘴唇的內(nèi)輪廓曲線，相對于僅僅依賴少數(shù)幾個點進行嘴角和上下嘴唇邊界定位來計算張口度的方法，結(jié)果更加可靠和準(zhǔn)確；對于存在大角度頭部扭轉(zhuǎn)的張口度，依靠嘴唇邊界計算張口度的方法會失效，但本文方法則仍然可以得到與真實張口度足夠近似的值；利用張口度和張口持續(xù)時間進行二次哈欠判決，先區(qū)分最易判別的狀態(tài)，對其它不易判別的情況進行二次判決，可有效地將哈欠與其它各種瞬時張大嘴的情況區(qū)別開。該方法也存在著一定的不足，擬合與二次判決在提高判決準(zhǔn)確性的同時，也影響檢測的速度，每秒處理幀數(shù)約25幀，但仍能滿足實時檢測的需要。

［1］ Lu Yu-feng，Wang Zeng-cai.Detecting driver yawning in successive images［C］∥Proc of the 1st International Conference on Bioinformatics and Biomedical Engineering，2007：581-583.

［2］ Abtahi S，Hariri B，Shirmohammadi S.Driver drowsiness monitoring based on yawning detection［C］∥Proc of IEEE Instrumentation and Measurement Technology Conference，2011：1-4.

［3］ Omidyeganeh M，Javadtalab A，Shirmohammadi S.Intelligent driver drowsiness detection through fusion of yawning and eye closure［C］∥Proc of IEEE International Conference on Virtual Environments Human-Computer Interfaces and Measurement Systems，2011：1-6.

［4］ Wang Tie-sheng，Shi Peng-fei.Yawning detection for determining driver drowsiness［C］∥Proc of the IEEE International Workshop on VLSI Design ＆ Video Technology，2005：373-376.

［5］ Zhao Ming-hua，You Zhi-sheng，Mu Wan-jun，et al.Face detection based on skin color segmentation，mathematical morphology and geometry［J］.Journal of Sichuan University（Natural Science Edition)，2005：42（3)：617-620.（in Chinese)

［6］ Liew A W C，Leung S H，Lan W H.Segmentation of color lip image by spatial fuzzy clustering［J］.IEEE Transactions on Fuzzy System，2003，11（4)：542-549.

［7］ Rabi G，Si Wei-lu.Energy minimization for extracting mouth curves in facial image［C］∥IEEE International Conference on Intelligent Information Systems，1997：381-385.

附中文參考文獻：

［5］ 趙明華，游志勝，穆萬軍，等.基于膚色分割、數(shù)學(xué)形態(tài)學(xué)和幾何方法的人臉檢測［J］.四川大學(xué)學(xué)報（自然科學(xué)版)，2005，42（3)：617-620.

Yawning detection based on mouth feature point curve fitting

XIE Guo-bo，CHEN Yun-hua，ZHANG Ling，DING Wu-yang
（College of Computer，Guangdong University of Technology，Guangzhou 510006，China)

In yawning detection for fatigue analysis，it is difficult to get the exact location of the two mouth corners，the open size and open duration varies for different individuals.For this problem，it proposes a yawning detection method based on mouth inner contour corner detection and curve fitting of those corner points.Firstly，several points are located on the contour of the mouth by corner detection.Secondly，the mathematical model of the mouth inner contour is established by curve fitting to those points.Thirdly，the mouth openness curve is analyzed in the time sequence to identify the yawning twice.Experimental results show that this method can obtain more precise mouth openness，and reduce false detection rate of yawning.

corner detection；contour extraction；curve fitting；yawning detection

TP317.4

A

10.3969/j.issn.1007-130X.2014.04.027

2012-08-27；

2012-12-30

廣東省教育部產(chǎn)學(xué)研項目（2012B091000058)；廣東省重點實驗室建設(shè)專項項目（2011A091000046)

通訊地址：510006廣東省廣州市廣州大學(xué)城廣東工業(yè)大學(xué)計算機學(xué)院計算機工程系

Address：Department of Computer Engineering，College of Computer，Guangdong University of Technology，Guangzhou 510006，Guangdong，P.R.China

1007-130X（2014)04-0731-06

謝國波（1977-)，男，廣東五華人，博士，副教授，CCF會員（E200031488M)，研究方向為計算機視覺和精神疲勞監(jiān)測。E-mail：guoboxie＠163.com

XIE Guo-bo，born in 1977，PhD，associate professor，CCF member（E200031488M)，his research interests include computer vision，and mental fatigue monitoring.

陳云華（1977-)，女，湖北仙桃人，博士生，講師，研究方向為計算機視覺、精神疲勞監(jiān)測和可拓檢測。E-mail：chenyh＿winy＠163.com

CHEN Yun-hua，born in 1977，PhD candidate，lecturer，her research interests include computer vision，mental fatigue monitoring，and extension detection.

張靈（1968-)，女，廣西合浦人，博士，教授，研究方向為智能控制技術(shù)、數(shù)字信號處理和自動化裝備。E-mail：june4567＠21cn.com

ZHANG Ling，born in 1968，PhD，professor，her research interests include intelligent control technology，digital signal processing，and automation equipment.

丁伍洋（1988-)，男，湖北咸寧人，碩士生，研究方向為嵌入式系統(tǒng)開發(fā)和圖像處理。E-mail：dingwuyang0902＠sina.com

DING Wu-yang，born in 1988，MS candidate，his research interests include embedded system development，and image processing.