摘 要：使用面部特征和腦電（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ，ＥＥＧ） 特征識別駕駛員的疲勞狀態(tài)，對駕駛員進行疲勞提醒，可以有效降低事故發(fā)生概率。為解決單一面部特征或ＥＥＧ 特征識別精度不高的問題，提出一種基于ＥＥＧ 與面部特征拼接融合的疲勞識別方法。提取ＥＥＧ 信號的時域、頻域、非線性特征和面部特征，通過特征層信息融合的方法進行特征拼接。為提高面部特征識別速度，提出了一種改進的ＹＯＬＯｖ５＿ ｍｏｂｉｌｅｎｅｔ 模型。在此基礎(chǔ)上，將拼接后的融合特征通過六大機器學習模型進行精度識別，并選擇準確性、Ｆ１＿ ｓｃｏｒｅ、精確率和召回率進行分析、評價。使用公開的數(shù)據(jù)集來驗證所提出的方法，結(jié)果表明，改進的ＹＯＬＯｖ５＿ ｍｏｂｉｌｅｎｅｔ 模型在各個特征表現(xiàn)均高于現(xiàn)有模型；不同的機器學習模型評價結(jié)果顯示，與單一的疲勞特征識別相比融合特征表現(xiàn)更好，因此，基于ＥＥＧ 與面部特征拼接的融合特征用于駕駛疲勞識別是可行的。

關(guān)鍵詞：腦電信號特征；面部圖像特征；特征融合；疲勞識別；機器學習

中圖分類號：Ｕ４９１． ２ 文獻標志碼：Ａ

文章編號：１００３－３１０６（２０２４）１２－２８２０－１１

０ 引言

汽車是當今交通運輸領(lǐng)域的主要載體，然而交通事故的頻繁發(fā)生帶來了極大的人員傷亡和經(jīng)濟損失。世界衛(wèi)生組織指出，道路交通事故是對全球公眾身體健康造成傷害的最重要原因之一。在道路交通事故成因中，駕駛員的疲勞駕駛行為是全球道路交通事故死亡人數(shù)持續(xù)增多的主要原因之一。因此，利用現(xiàn)代科技手段來監(jiān)測駕駛員的生理和行為特征，判斷駕駛員是否處于疲勞狀態(tài)并進行預(yù)警是預(yù)防交通事故發(fā)生的有效措施。

已有駕駛疲勞檢測方法分為主觀檢測方法和客觀檢測方法２ 類。主觀檢測方法是通過詢問駕駛員的感覺和心理狀態(tài)來評估其疲勞程度的檢測方法。在某些情況下，被試者為了迎合研究目的甚至會謊報自己的真實感受，導致疲勞評估結(jié)果的可靠性不高。相比于主觀檢測方法，客觀檢測方法精確度更高。常用的客觀駕駛疲勞檢測方法有車輛行為特征分析、生理信號特征分析、面部圖像特征分析等。其中車輛行為特征包括汽車性能的變化，如方向盤轉(zhuǎn)角、行駛速度和車輛運動軌跡等；駕駛疲勞的生理信號指標包括心率變異性、腦電（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ，ＥＥＧ）信號和肌電信號等；駕駛員行為表現(xiàn)包括打哈欠、眨眼和點頭等。其中駕駛員行為特征是駕駛疲勞最為直觀的表征。

ＭｃＤｏｎａｌｄ 等［１］利用各種傳感器和數(shù)據(jù)源，如攝像頭、加速度計和全球定位系統(tǒng)來捕捉駕駛員的行為和環(huán)境，將７２ 名駕駛員的行為數(shù)據(jù)，包括方向盤的運動、眨眼頻率和頭部位置以及時間、路況和交通模式等數(shù)據(jù)，輸入到動態(tài)貝葉斯網(wǎng)絡(luò)中，通過實時分析這些數(shù)據(jù)訓練出一種實時測量駕駛環(huán)境的模型。Ｌｉ 等［２］通過研究ＥＥＧ 信號中的時域特征和頻域特征，確定ＥＥＧ 信號的時域特征和頻域特征可以作為疲勞駕駛研究的依據(jù)；Ｚｈａｎｇ 等［３］通過對非線性特征進行分析，確定ＥＥＧ 信號的非線性特征可以作為疲勞駕駛研究的依據(jù)。２０１６ 年Ｊｏｓｅｐｈ Ｒｅｄｍｏｎ 首次提出了Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）系列模型［４－５］，是現(xiàn)階段面部特征提取中常用的模型。Ｒａｏ 等［６］利用主成分分析方法對駕駛員的面部圖像進行白化處理，實現(xiàn)高精度駕駛疲勞檢測。Ｍａｎｄａｌ 等［７］提出一種客車司機疲勞檢測系統(tǒng)，可對司機面部、眼部狀態(tài)進行檢測與分析，對司機疲勞程度進行實時估算。

現(xiàn)階段駕駛疲勞研究，精確度較高的ＥＥＧ 數(shù)據(jù)使用較多。數(shù)據(jù)采集設(shè)備相對簡單的面部特征識別方法得到越來越多關(guān)注，但在應(yīng)用面部圖像特征進行疲勞狀態(tài)檢測時，拍攝角度和面部光照會對數(shù)據(jù)的質(zhì)量和精度產(chǎn)生影響。對于ＥＥＧ 和面部的單一特征研究不能在整體上體現(xiàn)對疲勞識別的精度，因此本文采用一種融合特征方式進行疲勞檢測。

１ 數(shù)據(jù)準備

已有研究表明，提取單一的生理特征和面部特征，所得到的疲勞識別結(jié)果，已經(jīng)能在一定程度上反映疲勞狀態(tài)，但精度依舊可以提高。因此本文嘗試采用ＥＥＧ 特征和面部特征的融合特征進行疲勞識別。

１． １ 數(shù)據(jù)集介紹

對同類別的用于研究駕駛疲勞的開源數(shù)據(jù)集進行篩選后，本文采用ＵＬｇ Ｍｕｌｔｉｍｏｄａｌｉｔｙ ＤｒｏｗｓｉｎｅｓｓＤａｔａｂａｓｅ （ＤＲＯＺＹ ）［８］ 進行實驗研究，以下是ＤＲＯＺＹ 數(shù)據(jù)集的實驗設(shè)計說明。

該數(shù)據(jù)集由利時列日大學實驗室采集，實驗參與人員包含１４ 名被試者（１１ 名女性和３ 名男性），年齡為（２２． ７±２． ３）歲。實驗時間為連續(xù)的２９． ５ ｈ，在實驗期間被試者被剝奪了睡眠，并在不同的時間點進行了３ 次精神運動警覺測試（Ｐｓｙｃｈｏｍｏｔｏｒ Ｖｉｇｉｌａｎｃｅ Ｔａｓｋ，ＰＶＴ）。所有測試都是在安靜獨立的實驗室中進行的，被試者關(guān)閉了手機和其他智能設(shè)備，實驗期間不能得到任何時間提示。在每一次ＰＶＴ測試過程中，利用傳感器和攝像機同步采集被試者的生理信號數(shù)據(jù)與面部視頻數(shù)據(jù)。ＤＲＯＺＹ 數(shù)據(jù)集采集了被試者的Ｆｚ、Ｃｚ、Ｃ３ 、Ｃ４ 、Ｐｚ 五個電極位置的ＥＥＧ 信號，具體電極位置示意如圖１ 所示。