石錦璇，王 昆

(山西大學 物理電子工程學院，山西 太原 030006)

0 引 言

近年來，隨著我國汽車保有量急劇增長，交通事故也頻頻發(fā)生。其中，疲勞駕駛是引發(fā)交通事故的主要原因之一，嚴重威脅著道路交通安全。研究表明，疲勞駕駛狀態(tài)下發(fā)生事故或接近發(fā)生事故的風險是清醒駕駛狀態(tài)下的4～6倍[1-2]。因此，開發(fā)車載疲勞預警系統(tǒng)，準確快速檢測駕駛員疲勞狀態(tài)成為研究的熱點。

與傳統(tǒng)的主觀評價方法相比，利用生理電信號來評價駕駛員駕駛疲勞狀態(tài)能做到客觀準確，是一種較有前景的疲勞狀態(tài)研究方法。在眾多的生理信息指標中，腦電信號(EEG)一直被譽為疲勞監(jiān)測方法的“金標準”。它與精神和身體活動密切相關(guān)。車輛駕駛涉及運動、推理、視覺和聽覺處理、決策、感知和識別等各種功能。所有與駕駛相關(guān)的身心活動都反映在腦電圖信號中[3]。近年來，深度學習在許多具有挑戰(zhàn)性的分類任務中取得了成功，深度學習已成為腦電信號處理領(lǐng)域的一個熱點。例如，Ogino等[4]比較了功率譜密度(PSD)、自回歸(AR)建模和多尺度熵(MSE)3種方法對前額葉單通道腦電信號進行特征提取。利用PSD特征和逐步線性判別分析(SWLDA)進行特征選擇，利用支持向量機(SVM)進行分類，獲得了72.7%的分類準確率。Venkat和Chinara[5]提出了一種利用小波數(shù)據(jù)包變換(WPT)提取時域特征的單通道腦電信號疲勞檢測模型。Foong等[6]進一步證實腦電圖的功率帶可以用來估計駕駛員疲勞狀態(tài)，并在所試駕駛員的腦電圖中都觀察到了β波(12 Hz～35 Hz)功率帶在疲勞前后的明顯變化。張淞杰等[7]采用將經(jīng)驗模態(tài)分解與能量譜算法相結(jié)合的特征提取方法，分析模擬駕駛時采集的EEG信號，并在粒子群算法優(yōu)化的多層感知超限學習機分類器中實現(xiàn)對駕駛員疲勞狀態(tài)的檢測。Lin等[8]提出了一種4維卷積神經(jīng)網(wǎng)絡(4DCNN)算法，將腦電圖信號的所有信息與人類狀態(tài)和行為表現(xiàn)的變化聯(lián)系起來。4DCNN具有更好的預測性能。結(jié)果顯示，與3DCNN相比，4DCNN的均方誤差提高了3.82%，相關(guān)系數(shù)提高了11.98%。

目前，對于駕駛員腦電信號疲勞檢測大都使用單通道腦電信號作為識別依據(jù)，然后進行特征提取、分類檢測等過程。然而，這種方式雖然數(shù)據(jù)復雜度低，計算簡便，但在識別過程中提取的特征不充分，沒有考慮到多個通道腦電信號間的特征，從而導致識別準確率不高，而多通道腦電信號的維度較高，計算復雜。因此，本文提出了基于棧式自編碼的腦電信號疲勞檢測模型，對多通道腦電信號的疲勞特征進行提取，同時能減少輸入數(shù)據(jù)的特征維度，提高計算效率。實驗結(jié)果表明，該模型能夠有效識別駕駛員疲勞狀態(tài)，對駕駛員疲勞檢測系統(tǒng)的開發(fā)具有重要意義。

1 數(shù)據(jù)集介紹

本文使用的是上海交通大學提供的SEED-VIG數(shù)據(jù)集[9]，共21個受試者(平均年齡23.3歲，其中女性12人)參與23次模擬駕駛實驗，每次實驗持續(xù)時間約為2 h，在實驗過程中，以1 000 Hz采樣率收集17個通道的腦電信號，通道位置如圖1 所示。

圖1 腦電信號采集通道電極分布圖(CPZ為參考電極)

此外，在實驗過程中，通過SMI眼睛跟蹤眼鏡，用PERCLOS標號(單位時間內(nèi)眼睛閉合時間所占的百分率)來標記疲勞等級，每8 s計算一次，每次實驗共885次標記。PERCLOS表示受試者當前的警惕度，介于(0,1)之間，值越小表示警惕度越高。將PERCLOS指數(shù)按閾值0.35和0.7分為3類：清醒、疲勞、嗜睡，分別標記0，1，2。SEED-VIG數(shù)據(jù)集各標簽樣本數(shù)量如表1 所示。

表1 數(shù)據(jù)集標簽樣本數(shù)量統(tǒng)計

2 數(shù)據(jù)處理

2.1 預處理

預處理包括腦電信號降采樣和去噪處理。原始信號的采樣頻率為1 000 Hz，為了減小數(shù)據(jù)的復雜度，將信號降采樣到200 Hz。然后通過一個1 Hz～50 Hz的帶通濾波器，目的是對腦電信號進行降噪和去偽跡處理。將得到的50 Hz頻帶進行劃分，有兩種劃分方法，一種是傳統(tǒng)的5頻段劃分：δ(1 Hz～4 Hz)，θ(4 Hz～8Hz)，α(8 Hz～14 Hz)，β(14 Hz～31 Hz)，γ(31 Hz～50 Hz)，另一種是在整個頻帶中使用2 Hz的頻率分辨率，共25個頻段。

2.2 特征提取

腦電信號是一種非平穩(wěn)的隨機信號，在研究中經(jīng)常使用功率譜密度(PSD)和熵來分析腦電信號的頻域特性。傅里葉變換只能單獨從時域或頻域表示信號，不能處理時變信號。而短時傅里葉變換(STFT)的出現(xiàn)克服了傅里葉變換不能處理時變信號的缺陷。本研究通過STFT計算各個頻帶的功率譜密度和微分熵(DE)特征。

STFT的主要思想是對信號加窗，分段做傅里葉變化，減少頻譜泄露，加窗之后的信號被分割為一組短長度子序列，子序列可以近似地看為平穩(wěn)序列。窗函數(shù)在整個時間軸上移動可以得到任意位置附近的時間段頻譜，實現(xiàn)時間局域化。STFT的定義為

(1)

漢寧窗可以看成是升余弦窗的一個特例，適用于非周期性的連續(xù)信號。漢寧窗函數(shù)的具體定義為

(2)

本文繪制了幾種常見窗函數(shù)的振幅響應以進行比較，如圖2 所示。

圖2 幾種窗函數(shù)頻率響應特性曲線

從圖2 中可以看出，矩形窗口較窄的主窗口更有利于識別指定的頻率，但側(cè)頻增益較高，頻譜泄漏嚴重。此外，從頻域響應來看，漢明窗能夠減少附近的旁瓣泄露，但稍遠一點的旁瓣泄露比漢寧窗嚴重。漢寧窗口的主要優(yōu)點是可以使旁瓣互相抵消，消去高頻干擾和漏能，且本文提取的主要特征與頻帶能量有關(guān)，因此選擇漢寧窗。

功率譜密度是一個以頻率為自變量的映射，反映了在頻率成分上信號有多少功率。在對信號進行加窗后采用Welch法[10]計算每一通道EEG信號的功率譜密度。

微分熵用于測量連續(xù)隨機變量的復雜度，是連續(xù)隨機變量的熵。與傳統(tǒng)的功率譜密度特征相比，其性能更優(yōu)越[11]。其計算公式可表示為

(3)

式中：X是一個隨機變量；f(X)是X的概率密度函數(shù)。對于服從高斯分布N(μ,σ2)的時間序列X，其微分熵可以定義為

(4)

2.3 特征平滑

由于頭皮腦電電極是與受試者的頭部皮膚接觸傳導電信號，而腦電信號又十分微弱，很容易受到其它因素干擾，提取出來的腦電特征會包含一些異常值。所以，對其進行特征平滑，不僅可以減小不相關(guān)特征造成的影響，而且特征表現(xiàn)的更加穩(wěn)定。本文采用線性動力系統(tǒng)(LDS)平滑[12]的方法，利用疲勞變化的時間依賴性實現(xiàn)對數(shù)據(jù)的平滑和降噪處理。

將5頻帶和25頻帶腦電信號分別通過以上方法進行特征提取，得到腦電信號通道、帶寬及特征維度如表2 所示。

表2 疲勞腦電特征維度

3 棧式自編碼模型

棧式自編碼(SAE)神經(jīng)網(wǎng)絡是一種無監(jiān)督的人工神經(jīng)網(wǎng)絡，其主要工作是學習輸入數(shù)據(jù)的低維表示方式，最終目的是讓輸出近似等于輸入[13]。從結(jié)構(gòu)上看，它是由多個稀疏自編碼器堆疊而成，分為編碼器和解碼器兩部分。訓練方法與普通單層自編碼不同，采用逐層貪婪訓練獲得初始權(quán)重和閾值，然后采用反向傳播算法進行調(diào)節(jié)優(yōu)化。此外，在訓練過程中還需要加入稀疏性約束，不僅可以減少計算量，而且可以降低模型的過擬合風險，提高模型的泛化能力，其結(jié)構(gòu)如圖3 所示。

圖3 棧式自編碼結(jié)構(gòu)示意圖

在編碼過程中，原始輸入信號為x，通過編碼器得到隱藏層h，通常隱藏層維度要比輸入層小，以達到降維的目的。其中，編碼器函數(shù)定義為

h=encoder(x)=f(W·x+b),

(5)

(6)

式中：W′是連接隱藏層和輸出層的權(quán)重矩陣；b′為偏置向量。在模型的訓練過程中，讓輸出信號盡可能等于輸入信號，即目標函數(shù)為

(7)

在預訓練完SAE模型之后，需要對樣本進行有監(jiān)督的訓練，以獲得模型準確率。將訓練好的SAE模型復用編碼器網(wǎng)絡參數(shù)作為神經(jīng)網(wǎng)絡初始值，之后通過反向傳播進行微調(diào)至收斂。具體結(jié)構(gòu)如圖4 所示。

圖4 使用棧式自編碼進行有監(jiān)督訓練

為驗證本文基于SAE神經(jīng)網(wǎng)絡疲勞檢測模型，搭建了基于Tensorflow-GPU2.2.0的Keras2.3.1深度學習框架，操作系統(tǒng)為Windows10，使用AMD Ryzen7 4800H處理器，內(nèi)存大小為16 G，同時使用NVIDIA RTX2060顯卡來加快GPU運行速度。

SAE神經(jīng)網(wǎng)絡的輸入層為SEED-VIG數(shù)據(jù)集腦電疲勞特征向量，輸出層節(jié)點數(shù)為3，即3種疲勞狀態(tài)。通過實驗選擇3個隱藏層，每個隱藏層節(jié)點個數(shù)通過循環(huán)訓練對比來確定，第1隱藏層節(jié)點數(shù)為150，第2隱藏層節(jié)點數(shù)為75，第3隱藏層節(jié)點數(shù)為25，然后由全連接層連接到輸出節(jié)點。數(shù)據(jù)集中取20%作為測試樣本，其余為訓練樣本，采用5折交叉驗證作為最終結(jié)果。通過實驗得到最終準確率為88.61%，準確率曲線和損失函數(shù)曲線如圖5 和圖6 所示。

圖5 棧式自編碼模型準確率迭代曲線

圖6 棧式自編碼模型損失函數(shù)迭代曲線

此外，引入均方誤差(RMSE)和皮爾遜相關(guān)系數(shù)(PCC)兩個統(tǒng)計學參數(shù)作為評價指標，結(jié)果更具可靠性，計算公式為

(8)

(9)

4 實驗結(jié)果分析

4.1 不同分類方法結(jié)果對比

為驗證本文分類方法對腦電信號疲勞檢測的有效性，在相同環(huán)境下搭建了支持向量機(SVM)、多層感知機(MLP)和隨機森林分類器(RF)3個傳統(tǒng)機器學習模型作為對比實驗。此外，根據(jù)他人研究結(jié)果，選擇對比了極限學習機(ELM)[14]、連續(xù)條件神經(jīng)場(CCRF)和連續(xù)條件隨機場(CCNF)[9]神經(jīng)網(wǎng)絡算法。在相同數(shù)據(jù)集條件下，各種模式識別方法對疲勞檢測的結(jié)果如表3 所示。

表3 不同疲勞檢測框架結(jié)果對比

從表3 可以看出，相較于傳統(tǒng)疲勞檢測方法，基于ELM的算法模型提升了識別性能，具有時間依賴性的方法CCRF和CCNF神經(jīng)網(wǎng)絡的性能提升了很多，但均低于所提出的棧式自編碼疲勞檢測模型，這也表明了該算法應用于駕駛員疲勞檢測的有效性。

4.2 不同特征選擇結(jié)果對比

本文從腦電頻段劃分和特征提取兩方面比較不同疲勞特征對識別結(jié)果的影響，并獲得最佳特征組合，研究結(jié)果如表4 所示。

表4 不同疲勞特征對識別結(jié)果影響

表4 結(jié)果顯示，具有2 Hz頻帶分辨率的腦電特征比具有5個頻段的腦電特征表現(xiàn)出了更好的性能，使用腦電信號的微分熵特征比腦電信號的功率譜密度特征表現(xiàn)出了更好的性能。由此可以得出，在采用2 Hz頻帶劃分的基礎(chǔ)上，提取腦電信號的微分熵特征可以更好地表達疲勞狀態(tài)，這也驗證了前期研究者的結(jié)論[15-16]。

5 結(jié)束語

本文針對傳統(tǒng)駕駛員腦電信號疲勞狀態(tài)檢測模型準確率低、計算維度復雜等問題，提出了一種基于棧式自編碼的深度學習方法，檢測駕駛員疲勞狀態(tài)。在SEED-VIG數(shù)據(jù)集的基礎(chǔ)上測試了該模型的準確率，與其他方法比較，驗證了該模型的有效性。通過實驗表明，不同的腦電頻帶劃分和特征提取對實驗結(jié)果的影響較大。該研究也對開發(fā)駕駛員疲勞檢測系統(tǒng)及腦機接口系統(tǒng)具有重要意義。