陳忠，潘迪夫，韓錕

(中南大學 交通運輸工程學院，湖南 長沙410075)

近年來，隨著我國鐵路營業(yè)里程、列車運行速度與行車密度等不斷攀升，列車司機的工作強度也在不斷加大，疲勞駕駛成為威脅鐵路運輸安全的重大隱患。因此，除不斷完善機務部門的監(jiān)管與乘務制度外，通過現代技術手段實時準確地監(jiān)測列車司機駕駛狀態(tài)對于保障鐵路運輸安全具有重要意義。目前，學術界和產業(yè)界普遍采用基于機器視覺的非接觸式方法監(jiān)測列車司機的駕駛狀態(tài)，并選用以PERCLOS[1](Percentage of Eyelid Closure Over Time)參數為代表的眼部疲勞參數、哈欠頻率[2]和點頭頻率[3]等作為列車司機疲勞程度判斷的重要指標。獲取點頭頻率需要預先定位人臉，檢測人眼、嘴巴等細小區(qū)域也需要預先定位人臉以縮小檢測范圍、降低誤檢與檢測時間。因此，構造一種快速準確的人臉定位方法是實現司機駕駛狀態(tài)實時監(jiān)測的前提和基礎。Jayanthi 等[4]直接采用膚色檢測的方式定位駕駛員臉部區(qū)域，無法排除脖子、手掌等非面部膚色區(qū)域的干擾，誤檢率高；李強[5]結合YCbCr 高斯膚色模型和Adaboost 算法共同獲取列車司機的臉部位置，雖然誤檢有所抑制，但當列車司機頭部擺動或轉動角度過大時其臉部區(qū)域無法有效定位；賀德強等[6]結合Adaboost 和Camshift 算法定位列車司機的臉部位置，提升了側臉和傾斜角度人臉的定位能力，但Adaboost 在圖像背景復雜時容易發(fā)生誤檢，誤檢會導致Camshift 跟蹤無效，且文中每隔20幀機械地啟動Adaboost 重定位人臉以減小誤檢和跟蹤失效對結果的影響，卻無法在跟蹤失效時及時重定位人臉。本文根據疲勞監(jiān)測實際應用場景及其應用需求，提出一種融合檢測與跟蹤算法的人臉定位方法。首先，利用膚色模型篩選圖像中的人臉候檢區(qū)域；若有候檢區(qū)域產生，啟動AdaBoost 作為主分類器在候檢區(qū)域中快速定位人臉，若未產生候檢區(qū)域，則直接利用AdaBoost 在整幅圖像中搜索人臉；當AdaBoost 未定位或定位出多個人臉時，使用SVM 分類器檢測漏檢或排除被誤檢的人臉；在準確獲取人臉位置后，啟動fDSST 算法進行跟蹤，并利用Fmax和APCE(average peak-to correlation energy)2 個指標對算法的跟蹤置信度進行判定，以決定是否需要對列車司機的臉部進行重定位。

1 膚色檢測篩選人臉候檢區(qū)域

攝像頭安裝在正對司機的駕駛臺上，它所采集到的視頻圖像中除列車司機的臉部外還包含司機室內的復雜背景。若直接運用AdaBoost 或SVM 在圖像內定位臉部，容易產生誤檢。由于膚色對于人臉姿態(tài)、表情變化魯棒性強，且和司機室內的背景顏色存在差異，所以首先利用膚色檢測篩選出人臉候檢區(qū)域，減小分類器定位司機臉部區(qū)域的搜索范圍，抑制誤檢。

1.1 建立H-CgCr 膚色模型

膚色檢測的首要環(huán)節(jié)是膚色建模，建模需要選定好顏色空間。目前常見的顏色空間有RGB，YCbCr，YCgCr和HSV等[7]。由于膚色像素在YCgCr和HSV 空間中聚類性能更好，且與非膚色重疊部分少。此外，亮度與色度在YCgCr 和HSV 空間中相互分離，能有效降低光照因素對檢測效果的干擾。因此，本文融合HSV 與YCgCr 空間膚色建模。

建模前首先準備30 張包含膚色像素的彩色圖片，這些圖片涵蓋不同的種族、膚色及照明條件；接著提取圖片內的膚色與非膚色像素并將其轉化到YCgCr 和HSV 空間中進行統(tǒng)計分析。在YCgCr空間中，發(fā)現膚色像素的Cg 和Cr 均聚集于固定區(qū)間內，且其分布基本不會受到亮度Y 的影響。HSV空間中，發(fā)現膚色像素在H-S 和H-V 子空間具有十分相似的分布規(guī)律，色調H 能顯著區(qū)分膚色與非膚色像素。統(tǒng)計YCgCr 和HSV 空間中膚色像素的分布如圖1所示。

由圖1結果可知，Cg，Cr 分量和H 分量均能有效區(qū)分膚色與非膚色像素。由于閾值模型簡單直接，在保證膚色檢測效果的同時具有更快的檢測速度[8]，因此本文融合Cg，Cr 和H 3 個分量建立H-CgCr 膚色閾值模型。在H-CgCr 膚色模型中，膚色像素滿足以下規(guī)則：

1.2 篩選人臉候檢區(qū)域

列車行駛過程中司機室內的光照條件會不斷發(fā)生改變，因此在膚色檢測前先利用參考白方法[9]對圖像進行光照補償，結果如圖2(b)所示；接著使用本文H-CgCr 模型對圖像進行二值化操作，結果如圖2(c)所示；膚色二值圖像中仍然含有假膚色像素及眼睛、嘴巴等形成的孔洞，接下來對H-CgCr結果進行形態(tài)學處理(腐蝕膨脹等操作)以得到一個純凈的膚色區(qū)域，如圖2(d)所示；純凈膚色區(qū)域中除包含人臉外可能還含有手臂、手掌等不屬于臉部的元素，所以還可根據區(qū)域長寬比(根據人臉長寬比取0.8～2.4)，區(qū)域中膚色像素數與圖像總像素數的比值r，區(qū)域長度l與寬度w進一步篩選人臉候檢區(qū)域。

圖1 YCgCr 和HSV 空間中膚色像素的分布Fig.1 Distribution of skin color pixels in YCgCr and HSV color space

由于膚色檢測的實質是利用膚色模型逐一對圖像內全部像素點進行膚色判別，故檢測速度較慢。為此，本文提出一種膚色加速檢測方法：首先利用最臨近插值法將圖像尺寸縮放至原圖的1/n，然后使用H-CgCr 模型檢測縮放后圖像內的膚色區(qū)域，最后將檢測結果放大n倍即為原圖中的膚色區(qū)域。r，l，w和n的取值與圖像分辨率或司機臉部在圖像中的占比有關，原則上圖像分辨率越高，膚色像素的識別效果越好，但隨之檢測耗時也會大大增加；若圖像分辨率偏低，又會影響后續(xù)眼部狀態(tài)判別的可靠性。故本文經綜合比對后選用分辨率為640*480 的攝像頭拍攝列車司機駕駛視頻，且由于司機臉部在圖像中的比例不會太小，基于此，取r為0.012，l和w為60，n為4，直接剔除r小于0.012，l和w小于60 的區(qū)域。利用H-CgCr 模型篩選人臉候檢區(qū)域的結果如圖2(e)所示，利用H-CgCr 采用加速方法的篩選結果如圖2(f)。

2 AdaBoost 和SVM 雙分類器精確定位人臉

由于篩選出的人臉候檢區(qū)域可能為誤檢或含有脖子等非人臉元素，因此還需要進一步定位人臉。AdaBoost 對于正臉檢測率高，然而列車司機在值乘過程中需要瞭望軌旁信號和觀察線路環(huán)境，頭部時有偏轉，其臉部不總以正面狀態(tài)呈現，如果利用Haar 特征訓練AdaBoost 多視角人臉分類器，除需收集大量的多姿態(tài)臉部圖像外，還需對Haar 特征進行擴展，不論是計算復雜度、訓練耗時還是檢測耗時都會成倍增加。此時利用LBP 特征訓練出具有旋轉不變性的SVM 分類器定位被AdaBoost 漏檢或誤檢的人臉，進一步提升列車司機的臉部定位性能。

2.1 利用Haar 特征訓練AdaBoost 主分類器

AdaBoost 算法最先由Viola 和Jones[10]將其用于人臉檢測領域，由于其檢測率高、實時性好，應用最為廣泛。這主要得益于3 個關鍵因素：1)使用一種十分簡單有效的矩形Haar 特征，并且采用積分圖的方式計算特征值，方便快速；2)利用AdaBoost 算法從海量Haar 特征中篩選出樣本區(qū)分能力最佳的若干個組成強分類器；3)將強分類器串聯(lián)成級聯(lián)分類器，并提出一種由粗到精的檢測思路，大大提升了檢測速度。利用Haar 特征訓練AdaBoost 人臉分類器的流程如圖3所示。

2.2 利用LBP 特征訓練SVM 輔分類器

LBP 是由Ojala 等[11]設計的一種具有灰度不變性的局部紋理特征算子，這種傳統(tǒng)LBP 算子的鄰域半徑恒定，很難適應各種不同的應用場景。后來Ojala 將鄰域由傳統(tǒng)的方形變換為圓形，提出可自由設定鄰域半徑大小的圓形LBP，用LBP(P,R)表示，其中P為采樣點個數，R是鄰域半徑。當P和R大小選定之后，轉動圓形鄰域可獲取一組LBP 值，每次都將最小值設定為最終的特征值，此時的LBP 具有旋轉不變性，稱之為旋轉不變LBP 特征[12]。本文利用旋轉不變LBP 特征構造一種新的融合LBP 特征，并對特征進行歸一化處理，運用SVM 訓練出具有旋轉不變性的人臉分類器。

2.2.1 構造新的融合LBP 特征

由于提取LBP 特征時普遍先對整幅圖像進行分塊化操作，此時即便是采用旋轉不變LBP 特征進行特征提取，得到的特征向量對于整幅圖像而言也不再具備旋轉不變屬性。對此，本文通過不斷調整旋轉不變LBP 特征的P和R值不分塊直接對整張圖提取特征，從中挑選出若干個樣本分類能力最佳的旋轉不變LBP 特征融合成一個新的特征向量，新特征向量的構造過程如下(以80*80 的圖片為例)。

Step 1：將圖片尺寸依次歸一化為5*5，10*10，15*15，…，80*80；

Step 2：調整P和R值，其中P=8:2:24，R=1:1:4；

Step 3：分別在不同圖片尺寸下根據不同的P和R值直接提取整幅圖片的旋轉不變LBP 特征，并利用該特征訓練SVM 分類器，再對其分類能力進行測試；

Step 4：多次實驗從中挑選出若干個樣本分類能力最佳且性能穩(wěn)定的旋轉不變LBP 特征，將所有特征串聯(lián)成最終的特征向量，即為新的融合LBP 特征。

本文采用5 個測試集驗證各個特征的分類能力，并從中篩選出不同圖片尺寸下的共計31 個最佳旋轉不變LBP 特征組成最終的融合LBP 特征。由于每個單獨LBP 特征對于整幅圖片而言都具有旋轉不變性，所以由它們融合而成的新特征也完全不受圖片旋轉角度的影響，因此利用新特征訓練出來的人臉分類器可以很好地定位頭部存在傾斜的臉部區(qū)域。訓練分類器時，在訓練樣本中添加足夠的側臉樣本，則分類器還能對側面人臉具有很好的識別能力。

2.2.2 訓練SVM 人臉分類器

支持向量機(SVM)是一種具有較強泛化能力和分類能力的機器學習算法，對于處理小樣本、非線性和高維數據問題具有顯著優(yōu)勢[13]。本文構造的融合LBP 特征維數高達606 維(訓練圖片尺寸為80*80)，選用適用范圍廣、可調參數少的RBF 作為SVM 的核函數。SVM 分類器的訓練步驟如下，基于SVM 的人臉檢測流程如圖4所示。

Step 1：構建訓練樣本集。選用FERET 人臉庫和手工截取的正臉及側臉圖片共2 000 張組成正樣本，選用互聯(lián)網收集、列車司機室背景等2 000 張非人臉圖片組成負樣本；

Step 2：提取訓練樣本的融合LBP 特征；

Step 3：對特征向量進行歸一化處理；

Step 4：訓練生成SVM 人臉分類器。

圖4 基于SVM 的人臉檢測算法流程Fig.4 Face detection algorithmic flow based on SVM

3 fDSST 算法人臉跟蹤

基于相關濾波的fDSST[14](fast Discriminative Scale Space Tracking)跟蹤算法是KCF 算法的改進版本，該算法設計了2 個相對獨立的濾波器：位置濾波器用于當前幀目標的定位、尺度濾波器用于估計目標尺度，同時利用PCA 降維與QR 分解對兩者進行加速，算法具有跟蹤精度高、實時性強等優(yōu)點。由于fDSST 在分類器訓練過程中利用循環(huán)矩陣特性實現密集采樣，區(qū)分前景和背景時可信度更高，因此魯棒性會比Kalman 濾波、Camshift 這類生成式跟蹤方法更好。本文在獲取列車司機的臉部位置后，采用fDSST 算法進行跟蹤，進一步提升人臉定位速度。fDSST 進行目標跟蹤的流程如圖5所示。

本文融合Fmax與APCE 2 個指標對算法的跟蹤置信度進行判定，Fmax是指位置濾波器的最大響應值，而APCE 值體現響應圖的整體波動情況，計算公式如下：

式中：Fmax，Fmin和Fres(m,n)分別指大小為M×N的響應圖中的最大響應值、最小響應值以及每一像素點所對應的響應值。在當前幀，若Fmax與APCE 均以一定的比例超過其歷史幀均值時，如式(8)所示，可認為算法此時置信度高、跟蹤效果好，若不滿足要求，則認為算法在該幀跟蹤置信度低，可能出現跟蹤失敗情況，此時需要重新對列車司機的臉部進行定位。β1和β2分別設為0.6 和0.4。

圖5 fDSST 算法進行目標跟蹤的流程Fig.5 Flow of target tracking based on fDSST algorithm

4 實驗結果分析

為驗證本文H-CgCr 模型、膚色加速檢測方法的性能及本文列車司機臉部定位方法的合理性與有效性，在CPU 為Intel Core i5，主頻為2.70 GHz，8 GB 內存的計算機中編程開展實驗。

4.1 膚色模型性能對比

從Color FERET 人臉庫中抽取500 張人臉圖片(分辨率為512*768)，這些圖片的背景較為單調，但包含不同的膚色、年齡階段、光照、姿態(tài)及表情變化。分別使用YCgCr 和HSV 閾值模型、文獻[5]YCbCr 高斯模型、文獻[15]YCbCr 閾值模型、本文H-CgCr 模型及本文H-CgCr 模型的加速方式篩選經參考白光照補償后的500 張圖片內的人臉候檢區(qū)域，結果如表1所示。

表1 不同模型篩選臉部候檢區(qū)域的性能對比Table 1 Performance comparison of face regions screened by different skin color models

由實驗結果可知，融合模型(本文H-CgCr)比單一模型(YCgCr、HSV)性能更佳，能有效降低誤檢；與其他主流模型相比，本文H-CgCr 模型也更具優(yōu)勢；利用H-CgCr 模型采用加速方法(n取4)篩選人臉候檢區(qū)域，由于縮放后圖像內的像素點數目大幅減少，使得候檢區(qū)域篩選耗時降低81.09%，誤檢進一步得到抑制；膚色對圖片尺寸、姿態(tài)及表情變化魯棒性強，但膚色模型的共同缺陷是其檢測性能易受光照因素的影響。為此，本文在膚色檢測前先對圖像進行參考白光照補償處理，其次選用亮度與色度信息相分離的HSV 和YCgCr 空間建模，最大限度降低光照因素產生的干擾，所以本文模型在光照變化時也表現出不錯的魯棒性。

4.2 人臉定位方法的合理性與有效性驗證

根據列車司機疲勞駕駛監(jiān)測應用需求及列車司機駕駛特點，提出一種先檢測后跟蹤的人臉定位方法，具體流程如圖6所示，接下來對流程的合理性與有效性展開驗證。

4.2.1 “加速H-CgCr+AdaBoost/SVM”檢測列車司機臉部區(qū)域

考慮到列車行駛過程中司機室內的光照條件會不斷發(fā)生改變，司機的頭部也會時有偏轉，而頭部姿態(tài)、光照條件均是公認的影響人臉檢測算法性能的因素[15]。接下來，構造3 個圖片集對不同人臉檢測方法的性能進行測試，實驗結果如表2所示。圖片集1:500 張正常光照與正常姿態(tài)的人臉圖片；圖片集2:300 張正常姿態(tài)但偏暗或偏亮的人臉圖片；圖片集3:300 張正常光照條件下頭部存在轉動或擺動(轉角或擺角存在，但均小于45°)的人臉圖片。(正檢率=正確檢測的人臉數目/人臉總數；誤檢率=檢測結果中的非人臉數目/人臉總數)

圖6 本文列車司機臉部定位算法流程Fig.6 Flow of train driver’s face location algorithm

表2 不同人臉檢測方法的性能對比Table 2 Performance comparison of different face detection methods

觀察實驗結果，發(fā)現膚色模型篩選人臉候檢區(qū)域具有較高的檢測率，但當圖像背景復雜時容易發(fā)生誤檢。此外，本文H-CgCr 模型雖已最大限度降低光照因素產生的影響，但當光照偏差嚴重時，其性能還會一定程度下滑；AdaBoost 定位人臉基本不受光照變化影響，但其對側臉和傾斜角度人臉不敏感；將H-CgCr 模型與AdaBoost 相結合用于臉部定位，與僅利用AdaBoost 直接在整幅圖像內檢測人臉相比，雖正檢略有下滑，但其對于誤檢的抑制程度大于正檢的下滑程度；SVM 定位人臉也不受光照變化影響，且由于訓練SVM 分類器時所用的融合LBP 特征具有旋轉不變性，所以訓練出的SVM 對于傾斜和偏轉的人臉仍具有很好的檢測能力。本文將H-CgCr 模型與AdaBoost 和SVM 雙分類器融合進行人臉檢測，在提升正檢的同時能有效抑制誤檢，且當光照條件及頭部姿態(tài)發(fā)生變化時其性能依舊穩(wěn)定，魯棒性強，能有效確保列車在行駛過程中司機的臉部區(qū)域被準確定位。

利用本文方法檢測人臉，部分結果如圖7所示。其中，圖7(a)和7(c)為H-CgCr 加速方法篩選出的人臉候檢區(qū)域。圖7(a)為正臉圖片，利用AdaBoost可直接定位，由于未出現漏檢和誤檢，此時無需啟動SVM 輔助定位；圖7(c)為頭部傾斜圖片，Ada Boost 未成功定位臉部，此時啟動SVM 在候檢區(qū)域中成功定位?？芍疚姆椒苓M一步提升列車司機的臉部定位性能。

圖7 本文方法人臉檢測結果Fig.7 Results of face detection based on our method

4.2.2 fDSST 算法跟蹤人臉

利用分辨率為640*480 的攝像頭在SS8 型電力機車和HXD3C 型電力機車司機室內采集多段視頻并轉化為圖像序列，分別使用不同方法實現臉部定位并對比定位速度，如表3所示。

表3 不同方法獲取人臉位置的速度對比Table 3 Speed comparison of different face location methods

根據表3統(tǒng)計結果可知，由于攝像頭幀率一般為20～30 幀/s，若采用純檢測的方法定位人臉，顯然無法滿足疲勞駕駛監(jiān)測實時性要求。而本文在利用“加速H-CgCr+AdaBoost/SVM”獲取臉部位置后，啟動fDSST 算法進行跟蹤的人臉定位方法，能將人臉定位平均速度提升至45 幀/s，大大節(jié)省了臉部定位時間，滿足實時性要求。

圖8為在2 段連續(xù)視頻內采用本文“加速HCgCr+AdaBoost/SVM”方法獲取臉部位置后啟動fDSST 算法進行跟蹤的結果，發(fā)現fDSST 在頭部擺動或轉動、臉部區(qū)域存在部分遮擋、尺度變化、光照變化時仍然具有很好的跟蹤效果，跟蹤精度高、魯棒性好。

圖8 fDSST 算法人臉跟蹤結果Fig.8 Results of face tracking using fDSST algorithm

5 結論

1)提出的先檢測后跟蹤的人臉定位方法，能兼顧檢測率、誤檢率、檢測耗時綜合達到最優(yōu)，當列車司機頭部發(fā)生擺動、轉動或部分遮擋時，其臉部區(qū)域均能被準確定位。

2)本文H-CgCr 模型綜合性能較為優(yōu)越，提出的膚色加速檢測方法能將人臉候檢區(qū)域篩選耗時降低81.09%；利用融合LBP 特征訓練出具有旋轉不變性的SVM 分類器，能在AdaBoost 定位人臉的基礎上進一步降低漏檢和誤檢；獲取人臉位置后啟動fDSST 算法進行跟蹤，能將人臉定位平均速度提升至45 幀/s。

3)本文方法實時性好，魯棒性強，可為列車司機疲勞駕駛監(jiān)測提供理論和實踐參考，且能遷移應用到汽車駕駛員疲勞駕駛監(jiān)測場景。