李 響，李國正，彭理群，嚴(yán)利鑫，張 馳

(1.華東交通大學(xué) 交通運(yùn)輸與物流學(xué)院，江西 南昌 330013；2.北京交通大學(xué) 機(jī)械與電子控制工程學(xué)院，北京 100044)

駕駛疲勞現(xiàn)象已經(jīng)逐漸成為交通事故的主要致因，因此駕駛疲勞檢測方法是目前交通安全領(lǐng)域的研究熱點(diǎn)[1]。鑒于鐵路、航空等高安全等級(jí)的駕駛?cè)藛T在值乘過程中需頻繁地采用標(biāo)準(zhǔn)(操作、呼喚、應(yīng)答、聯(lián)控等)作業(yè)用語,這些不斷重復(fù)的標(biāo)準(zhǔn)化語音中涵蓋了大量的人體生理及心理信息，同時(shí)被專用的駕駛艙語音記錄裝置[2]所記錄保存，用于事后分析其作業(yè)行為和駕駛狀態(tài)，這就為應(yīng)用語音信號(hào)來檢測駕駛?cè)说钠跔顟B(tài)提供了可行性[3]。并且此類基于語音信號(hào)的疲勞檢測方法[3]，相較于現(xiàn)有基于面部特征[4]或生理指標(biāo)[5]的疲勞檢測方法而言，還有全天候、非接觸、環(huán)境適應(yīng)性高和成本低廉等諸多優(yōu)點(diǎn)[3]。因此，應(yīng)用語音信號(hào)來檢測人體疲勞的研究也逐漸受到業(yè)界的廣泛關(guān)注[6-8]。

然而，現(xiàn)有的此類研究大多基于傳統(tǒng)的監(jiān)督學(xué)習(xí)方法，采用有標(biāo)記的語音樣本數(shù)據(jù)來訓(xùn)練分類器用于疲勞檢測[6-8]，在實(shí)際應(yīng)用時(shí)會(huì)存在以下2個(gè)方面的不足：

(1)有標(biāo)記的樣本數(shù)據(jù)稀缺且標(biāo)記成本較高，有限的標(biāo)記樣本往往難以訓(xùn)練出一個(gè)推廣性能良好的分類器?，F(xiàn)有研究對(duì)分類器訓(xùn)練樣本的采集與疲勞類別標(biāo)記，大多需要進(jìn)行長時(shí)間的持續(xù)作業(yè)實(shí)驗(yàn)，以使被試者由正常狀態(tài)逐漸轉(zhuǎn)變?yōu)槠跔顟B(tài)，標(biāo)記時(shí)還需實(shí)時(shí)監(jiān)測被試者的生理或心理指標(biāo)，以確定其疲勞狀態(tài)與程度[7]，這一實(shí)驗(yàn)樣本的獲取和標(biāo)記過程往往十分耗時(shí)耗力。因此，在樣本數(shù)據(jù)更新過快的情況下，要訓(xùn)練出一個(gè)推廣能力較強(qiáng)的分類器，將要花費(fèi)較多的人力、時(shí)間和經(jīng)費(fèi)來不斷地充實(shí)有標(biāo)記的訓(xùn)練樣本，這在實(shí)際應(yīng)用時(shí)是難以實(shí)現(xiàn)的。

(2)新樣本與已有樣本的數(shù)據(jù)分布往往不一致，以致訓(xùn)練好的分類器應(yīng)用于新的測試樣本時(shí)，會(huì)存在非平穩(wěn)泛化誤差。在實(shí)際應(yīng)用時(shí)，隨著檢測時(shí)間、應(yīng)用場景或被試個(gè)體的轉(zhuǎn)變，語音樣本的數(shù)據(jù)分布也會(huì)隨之改變，此時(shí)原有的訓(xùn)練樣本數(shù)據(jù)與測試樣本數(shù)據(jù)將無法滿足獨(dú)立同分布條件，那么原有數(shù)據(jù)訓(xùn)練出的分類器會(huì)在這一測試樣本數(shù)據(jù)分布偏移的影響下產(chǎn)生較大的檢測誤差，而難以推廣應(yīng)用[9-10]。

實(shí)際情況下，由于語音采集手段較為便捷，以及鐵路及航空駕駛艙語音記錄裝置的普及應(yīng)用，無標(biāo)記的駕駛?cè)苏Z音樣本往往比較充足且更新頻率較快。那么上述第(1)點(diǎn)的標(biāo)記樣本稀缺問題，通?？刹捎冒氡O(jiān)督學(xué)習(xí)[11]的方法對(duì)新的無標(biāo)記樣本進(jìn)行偽標(biāo)記，并將其與有標(biāo)記樣本一同訓(xùn)練出一個(gè)新的分類器，用于新樣本的疲勞檢測。但是此類方法大多要求測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)服從相同的分布才能獲得較好的檢測效果[11]。而本文所探討的通過語音來檢測人體疲勞的問題，已被證實(shí)在測試時(shí)間推移、應(yīng)用場景變化和個(gè)體差異上均會(huì)導(dǎo)致語音樣本的數(shù)據(jù)分布存在較大偏差[9-10]，而嚴(yán)重影響分類器的檢測效果，也即上述第(2)點(diǎn)的測試樣本數(shù)據(jù)分布偏移問題仍然存在。此時(shí)，可考慮采用遷移學(xué)習(xí)方法[12]解決該問題，區(qū)別于半監(jiān)督學(xué)習(xí)方法，遷移學(xué)習(xí)放寬了訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)需服從相同分布的應(yīng)用條件，能夠?qū)⒛硞€(gè)領(lǐng)域?qū)W習(xí)到的知識(shí)結(jié)構(gòu)或判別模式遷移至不同但相關(guān)的目標(biāo)領(lǐng)域中，從而實(shí)現(xiàn)跨領(lǐng)域的機(jī)器學(xué)習(xí)[12]。由于遷移學(xué)習(xí)能夠顯著提高跨領(lǐng)域分類器的泛化能力，目前在機(jī)器視覺識(shí)別和生物信息檢測等領(lǐng)域已經(jīng)展現(xiàn)出了較好的應(yīng)用效果[12-14]。

為此，本文在分析總結(jié)語音的疲勞表征機(jī)理及其特征參數(shù)的基礎(chǔ)上，引入遷移學(xué)習(xí)方法來解決實(shí)際應(yīng)用時(shí)的標(biāo)注樣本稀缺與測試樣本數(shù)據(jù)分布偏移等問題，進(jìn)而提出一種基于語音特征遷移學(xué)習(xí)的人體疲勞檢測方法。首先，通過基于遷移學(xué)習(xí)的特征變換，將源領(lǐng)域有標(biāo)記樣本與目標(biāo)域無標(biāo)記樣本的特征數(shù)據(jù)共同映射至一個(gè)公共的特征空間，使兩領(lǐng)域數(shù)據(jù)在該空間內(nèi)的邊緣分布、條件分布與流形結(jié)構(gòu)均能保持一致，并具有較好的類別區(qū)分能力與降維處理效果。其次，在新的特征空間中，以半監(jiān)督學(xué)習(xí)的方式來迭代優(yōu)化目標(biāo)域樣本的偽標(biāo)記，并不斷同步更新特征變換方式和訓(xùn)練新的遷移分類器，直至收斂。最終，將學(xué)習(xí)所得的特征變換和遷移分類器應(yīng)用于目標(biāo)域測試樣本，以實(shí)現(xiàn)當(dāng)有標(biāo)記樣本不足且測試樣本數(shù)據(jù)發(fā)生偏移時(shí)，仍能得到一個(gè)泛化性能良好的疲勞檢測模型。

1 語音的疲勞表征機(jī)理及其特征參數(shù)

根據(jù)語音與疲勞相關(guān)性的前期研究[3，6-7]，可將人體疲勞對(duì)其發(fā)聲系統(tǒng)及語音信號(hào)的影響歸結(jié)為：(1)人體疲勞時(shí)，聲帶、聲道、喉部及面部肌肉松弛，會(huì)引起聲門脈沖和基音頻率等音質(zhì)特性的變化；(2)肺部氣壓下降，導(dǎo)致聲門壓力降低，使得語音的幅度及能量減弱；(3)體溫下降，聲道壁的熱傳導(dǎo)和黏彈性隨之改變，從而影響聲道壁對(duì)氣流的摩擦與共振特性，以致語音頻譜、共振峰及其帶寬等聲道濾波特性的變化，并且聲道壁和氣流強(qiáng)度的變化還會(huì)進(jìn)一步引起語音湍流發(fā)生改變，導(dǎo)致其混沌、分形等非線性動(dòng)力學(xué)特征的變化；(4)腦活力下降，語音認(rèn)知規(guī)劃能力降低，發(fā)聲系統(tǒng)的控制及反饋時(shí)間延長，導(dǎo)致語音清晰度下降、停頓模式異常和語速變慢等現(xiàn)象。據(jù)此，本文提取了語音的韻律、音質(zhì)、語譜和非線性動(dòng)力學(xué)4類特征[6-8]來描述語音信號(hào)中所包含的疲勞信息，詳細(xì)的特征參數(shù)(包括底層描述子及其語段統(tǒng)計(jì)參數(shù))如表1所示。

其中，語音特征的底層描述子包括各類語音短時(shí)幀級(jí)特征及其在時(shí)間上的一階差分(記為“Δ”用于描述其幀間變化)和二階差分(記為“ΔΔ”用于描述其變化速率)。此時(shí)，可將表中各類語音底層描述子的語段統(tǒng)計(jì)值參數(shù)串接成一個(gè)多維的特征向量，用以量化語音信號(hào)中所包含的疲勞信息。那么特征向量的維度共計(jì)：前6個(gè)幀數(shù)統(tǒng)計(jì)值+(78個(gè)底層描述子×11個(gè)語段統(tǒng)計(jì)參數(shù))=864維?？梢娖渚S度較高，即便是采用傳統(tǒng)機(jī)器學(xué)習(xí)方法，也需要進(jìn)行數(shù)據(jù)降維處理，以減少后續(xù)建模檢測的計(jì)算復(fù)雜度，同時(shí)避免“維度災(zāi)難”問題[3]。鑒于此，本文通過遷移學(xué)習(xí)方法對(duì)不同領(lǐng)域語音樣本的特征數(shù)據(jù)進(jìn)行空間映射來適配其數(shù)據(jù)分布時(shí)，還需對(duì)特征數(shù)據(jù)進(jìn)行降維處理，以減少特征數(shù)據(jù)間的相關(guān)性和冗余度，提高檢測效率。

表1 語音特征及其統(tǒng)計(jì)參數(shù)

2 語音疲勞特征的遷移學(xué)習(xí)方法

2.1 語音特征遷移學(xué)習(xí)的總體方案

對(duì)本文的遷移學(xué)習(xí)問題進(jìn)行抽象描述：設(shè)有標(biāo)記的原樣本為源領(lǐng)域樣本，數(shù)據(jù)集為Ds={(xs1,ys1),(xs2,ys2),…,(xsn,ysn)}，其中下角標(biāo)s代表源領(lǐng)域，x為d維特征向量，y為樣本類別標(biāo)號(hào)，n為源領(lǐng)域樣本數(shù)量。設(shè)無標(biāo)記的新樣本為目標(biāo)領(lǐng)域樣本，數(shù)據(jù)集為Dt={xt1,xt1,…,xtm}，其中下角標(biāo)t代表目標(biāo)領(lǐng)域，m為目標(biāo)領(lǐng)域樣本數(shù)量。所討論的數(shù)據(jù)集偏移問題，即為兩類樣本數(shù)據(jù)的邊緣概率分布P(x)不同，即P(xs)≠P(xt)，同時(shí)不同領(lǐng)域內(nèi)樣本類別判決模型的條件概率分布Q(x|y)也不相等，即Q(xs|ys)≠Q(mào)(xt|yt)。此時(shí)通過有標(biāo)記樣本Ds訓(xùn)練得到的分類器將難以直接推廣應(yīng)用于新樣本Dt的分類檢測。

那么本文的遷移學(xué)習(xí)目標(biāo)為：力求學(xué)習(xí)得到一個(gè)特征變換T(x)將不同領(lǐng)域的樣本數(shù)據(jù)統(tǒng)一映射到一個(gè)共同的特征空間中，使得它們?cè)谠摽臻g內(nèi)能夠同時(shí)滿足邊緣分布一致且條件分布也盡可能地相近，即有P[T(xs)]=P[T(xt)]且Q[T(xs)|ys]≈Q[T(xt)|yt]。據(jù)此便可以在新的特征空間內(nèi)訓(xùn)練出一個(gè)泛化能力較強(qiáng)的遷移分類器f[T(x)]，來準(zhǔn)確應(yīng)用于目標(biāo)領(lǐng)域樣本的疲勞檢測。

針對(duì)該問題，現(xiàn)有遷移學(xué)習(xí)方法大多專注于特征變換后數(shù)據(jù)邊緣分布(數(shù)據(jù)整體結(jié)構(gòu))的一致性，而忽視了數(shù)據(jù)條件分布(數(shù)據(jù)判別結(jié)構(gòu))及其流形結(jié)構(gòu)(局部鄰域結(jié)構(gòu))的適配，例如遷移成分分析方法[13]；或未考慮特征變換后的數(shù)據(jù)區(qū)分能力與降維處理效果，例如域適應(yīng)方法[14]。以致現(xiàn)有的遷移學(xué)習(xí)方法無法良好適用于本文語音疲勞特征的遷移學(xué)習(xí)問題。為此，本文在現(xiàn)有方法的基礎(chǔ)上綜合考慮了多個(gè)遷移學(xué)習(xí)目標(biāo)，提出遷移學(xué)習(xí)方案與檢測模型結(jié)構(gòu)，見圖1。

圖1 語音特征遷移學(xué)習(xí)方案與檢測模型結(jié)構(gòu)

其中，在訓(xùn)練階段對(duì)源領(lǐng)域和目標(biāo)領(lǐng)域的語音樣本進(jìn)行特征提取，并將所得的特征數(shù)據(jù)共同映射至一個(gè)新的公共特征空間內(nèi)，使得源領(lǐng)域與目標(biāo)領(lǐng)域的樣本數(shù)據(jù)在該空間內(nèi)能夠?qū)崿F(xiàn)邊緣分布、條件分布與流形結(jié)構(gòu)的聯(lián)合適配，且保證數(shù)據(jù)具有較好的類別區(qū)分能力與降維處理效果。這樣便可以在該空間內(nèi)利用半監(jiān)督學(xué)習(xí)方法來迭代優(yōu)化目標(biāo)領(lǐng)域樣本的偽標(biāo)記，并不斷同步更新特征變換和遷移分類器，直至收斂。最終，將學(xué)習(xí)所得的特征變換和遷移分類器應(yīng)用于目標(biāo)領(lǐng)域測試樣本，實(shí)現(xiàn)基于語音特征遷移學(xué)習(xí)的疲勞檢測。

2.2 基于特征空間變換的領(lǐng)域適配與降維處理算法

本文的特征變換具體分為2步實(shí)現(xiàn)：首先，為了更好地處理非線性數(shù)據(jù)，可用一個(gè)隱性的非線性映射函數(shù)φ(x)，將數(shù)據(jù)由輸入特征空間映射至一個(gè)高維的可再生核希爾伯特空間(Reproduction Kernel Hilbert Space，RKHS)[14]；然后，在該RKHS空間中再通過變換矩陣V將樣本數(shù)據(jù)投影到一個(gè)公共的低維子空間內(nèi)，并在該空間內(nèi)實(shí)現(xiàn)源領(lǐng)域與目標(biāo)域樣本數(shù)據(jù)的適配與降維。

由此，特征變換可以表示為T(x)=VTφ(x)。實(shí)際計(jì)算時(shí)，可利用核函數(shù)矩陣K=φ(x)Tφ(x)∈R(n+m)×(n+m)實(shí)現(xiàn)RKHS的非線性映射[14]，而無需知道函數(shù)φ(x)的具體形式，那么特征變換轉(zhuǎn)變?yōu)門(x)=VTφ(x)=ATK(:,x)。其中，A∈R(n+m)×k表示將數(shù)據(jù)投影到k維子空間的變換矩陣，有k?d。此時(shí)，數(shù)據(jù)在k維子空間內(nèi)的嵌入表征為x′=ATK。具體的領(lǐng)域適配與降維處理算法如下：

(1)數(shù)據(jù)整體結(jié)構(gòu)的邊緣分布適配

首先，采用最大均值差異(Maximum Mean Discrepancy, MMD)算法[15]量化特征變換后源領(lǐng)域與目標(biāo)領(lǐng)域樣本數(shù)據(jù)間的邊緣分布差異，計(jì)算方法為

tr(ATKMPKTA)

(1)

式中:tr為矩陣的跡；MP為參數(shù)矩陣。MP各元素計(jì)算方法為：當(dāng)xi與xj同屬Ds時(shí)，MPij=1/n2；當(dāng)xi與xj同屬Dt時(shí)，MPij=1/m2；當(dāng)xi與xj分屬不同領(lǐng)域時(shí)，MPij=-1/(nm)。此時(shí)，為保證特征變換后的數(shù)據(jù)邊緣分布一致，即為尋求該式所示的數(shù)據(jù)邊緣分布差異最小，那么最基礎(chǔ)的數(shù)據(jù)邊緣分布適配目標(biāo)可以表示為

(2)

(2)數(shù)據(jù)判別結(jié)構(gòu)的條件分布適配

設(shè)樣本的類別變量為c=1,2,…,C。同樣可采用MMD算法計(jì)算領(lǐng)域間各類別數(shù)據(jù)條件分布Q[T(xs)|ys=c]和Q[T(xt)|yt=c]之間的均值距離，并對(duì)所有類別的均值距離進(jìn)行求和，以量化其總體的條件分布差異，有

tr(ATKMQKTA)

(3)

(4)

此處由于目標(biāo)領(lǐng)域數(shù)據(jù)沒有類別標(biāo)記yt，因而參數(shù)矩陣Mc和MQ無法準(zhǔn)確計(jì)算得到。為此，本文后續(xù)將采用半監(jiān)督學(xué)習(xí)方法將源領(lǐng)域數(shù)據(jù)訓(xùn)練所得的分類器應(yīng)用于目標(biāo)域無標(biāo)數(shù)據(jù)來得到其偽標(biāo)記yt，并以此對(duì)矩陣MQ進(jìn)行迭代更新來尋求條件分布差異的最優(yōu)估計(jì)。

(3)數(shù)據(jù)局部鄰域結(jié)構(gòu)的流形一致性適配

根據(jù)流形假設(shè)[16]，如果兩個(gè)領(lǐng)域數(shù)據(jù)的局部鄰域結(jié)構(gòu)在特征變換后能夠保持一致，也即數(shù)據(jù)邊緣分布P[T(xs)]和P[T(xt)]的內(nèi)在幾何流形如果是相似的，那么其條件分布和判決模型也應(yīng)該相似，從而有利于跨領(lǐng)域遷移學(xué)習(xí)的應(yīng)用效果。據(jù)此，引入圖拉普拉斯矩陣[16]來量化數(shù)據(jù)在特征變換后的流形結(jié)構(gòu)差異，表示為

tr(ATKLKTA)

(5)

(6)

式中：Np(xi)代表xi的p-近鄰樣本集合。

據(jù)此，可在式(2)的基礎(chǔ)上，引入式(3)條件分布和式(5)流形一致性的適配正則項(xiàng)，目標(biāo)函數(shù)轉(zhuǎn)變?yōu)?/p>

γtr(ATKMQKTA)+μtr(ATKLKTA)=

(7)

式中:γ和μ分別為條件分布和流形正則項(xiàng)的非負(fù)參數(shù)，用于調(diào)整目標(biāo)函數(shù)對(duì)各優(yōu)化目標(biāo)的側(cè)重程度。

(4)基于核主成分分析的數(shù)據(jù)降維處理

根據(jù)核主成分分析(Kernel Principal Component Analysis, KPCA)算法[17]思想，在特征變換時(shí)還要求樣本數(shù)據(jù)的嵌入?yún)f(xié)方差保持最大化，以實(shí)現(xiàn)數(shù)據(jù)在高維RKHS空間內(nèi)最具類別區(qū)分能力的降維投影。此時(shí)，這一降維優(yōu)化問題可以描述為

(8)

式中：H=I-(1/n)1為協(xié)方差中心化矩陣，1為元素全為1的n+m階方陣。以式(8)的嵌入?yún)f(xié)方差最大化作為式(7)的約束條件，那么最終的目標(biāo)函數(shù)可以表示為

s.t.ATKHKTA=I

(9)

引入拉格朗日乘子Ψ=diag(ψ1,ψ2,…,ψk)∈Rk×k，將這一帶約束的優(yōu)化問題形式化為拉格朗日函數(shù)為

=tr{AT[K(MP+γMQ+μL)KT+λI]A}+

tr[(I-ATKHKTA)Ψ]

(10)

再將其對(duì)變換矩陣A求偏導(dǎo)，并令?/?A=0，可得

[K(MP+γMQ+μL)KT+λI]A=KHKTAΨ

(11)

最終，對(duì)該式進(jìn)行本征分解，求取k個(gè)最小本征值所對(duì)應(yīng)的本征向量，即可得到變換矩陣A。由此便可實(shí)現(xiàn)基于特征變換x′=T(x)=ATK的領(lǐng)域適配與降維處理。

2.3 基于半監(jiān)督學(xué)習(xí)的分類器迭代訓(xùn)練

算法：語音特征遷移學(xué)習(xí)算法。

輸入：源領(lǐng)域數(shù)據(jù)Ds；目標(biāo)域數(shù)據(jù)Dt；正則化參數(shù)λ，γ，μ；子空間維度k；核函數(shù)類型。

輸出：變換矩陣A；遷移分類器f。

重復(fù)(1)～(6)：

(2)對(duì)式(11)進(jìn)行本征分解，求取k個(gè)最小本征值所對(duì)應(yīng)的本征向量來構(gòu)造變換矩陣A；

(3)將特征數(shù)據(jù)映射至新空間，數(shù)據(jù)變?yōu)閤′=T(x)=ATK；

(6)更新各類別數(shù)據(jù)的條件分布參數(shù)矩陣Mc。

直至收斂(目標(biāo)函數(shù)值不再下降)。

結(jié)束：返回學(xué)習(xí)所得的特征變換矩陣A和遷移分類器f。

值得指出的是，通過這一迭代算法可以得到一個(gè)不斷優(yōu)化的特征變換x′=T(x)以及在該變換下訓(xùn)練所得的遷移分類器f(x′)，將該分類器應(yīng)用于目標(biāo)領(lǐng)域數(shù)據(jù)便可以不斷提高其偽標(biāo)記效果直到收斂。根據(jù)半監(jiān)督學(xué)習(xí)理論，如果兩類樣本的數(shù)據(jù)分布能夠保持一致，那么目標(biāo)領(lǐng)域的偽標(biāo)記是根據(jù)已知數(shù)據(jù)所能獲得的最優(yōu)結(jié)果。由于特征變換的優(yōu)化求解保證了數(shù)據(jù)分布和流形結(jié)構(gòu)的一致性，因此上述迭代式地標(biāo)記精化過程是合理的。此外，算法中需事先設(shè)定正則化參數(shù)λ、γ和μ，實(shí)際上是為了調(diào)整目標(biāo)函數(shù)對(duì)各優(yōu)化目標(biāo)的側(cè)重比例，其具體取值將在實(shí)驗(yàn)部分給出詳細(xì)的分析和討論。

3 實(shí)驗(yàn)

為了驗(yàn)證所提出的語音特征遷移學(xué)習(xí)方法在實(shí)際應(yīng)用于駕駛疲勞檢測時(shí)的可行性和有效性，本文在不同測試時(shí)間、不同應(yīng)用場景和不同被試者的條件下，先后開展了兩期駕駛疲勞實(shí)驗(yàn)，并據(jù)此構(gòu)建了兩個(gè)數(shù)據(jù)分布不同的駕駛疲勞語音樣本庫。前期駕駛疲勞實(shí)驗(yàn)[7-8]在如圖2(a)所示的電力機(jī)車模擬駕駛操作臺(tái)上進(jìn)行，其中駕駛?cè)斯?0人，實(shí)驗(yàn)期間采集語音樣本960份，其中正常狀態(tài)語音樣本793份，疲勞狀態(tài)樣本167份。時(shí)隔3年開展的后期駕駛疲勞實(shí)驗(yàn)，安排在如圖2(b)所示的動(dòng)車模擬駕駛操作臺(tái)上進(jìn)行，被試駕駛?cè)斯?0人，后期實(shí)驗(yàn)共采集語音樣本4 467份，其中正常樣本3 663份，疲勞樣本804份。所有實(shí)驗(yàn)內(nèi)容均為每人單次持續(xù)8 h的列車模擬駕駛操作，為實(shí)現(xiàn)重度疲勞狀態(tài)，部分被試者在實(shí)驗(yàn)前還進(jìn)行了4～8 h的睡眠剝奪。實(shí)驗(yàn)過程中所采集的駕駛?cè)苏Z音樣本均為其呼喚應(yīng)答、車機(jī)聯(lián)控和數(shù)字播報(bào)等標(biāo)準(zhǔn)作業(yè)用語(不同語句按類別分別進(jìn)行建模和檢測)，各段語音的時(shí)長約為0.5～20 s，采樣頻率為22.05 kHz，量化精度為16位。

所有實(shí)驗(yàn)均以被試駕駛?cè)嗣扛?.5 h填寫1次的疲勞癥狀自測量表[18]得分及實(shí)時(shí)監(jiān)測記錄的駕駛?cè)诵穆手笜?biāo)作為其疲勞狀態(tài)的參照標(biāo)準(zhǔn)，即將被試駕駛?cè)嗽谄诹勘?10分制)得分低于5分且每分鐘心率低于心率均值時(shí)間段內(nèi)的語音樣本標(biāo)記為疲勞類語音樣本，其余樣本則標(biāo)記為正常類樣本。本文將前期駕駛疲勞實(shí)驗(yàn)所采集的960份語音樣本作為遷移學(xué)習(xí)的源領(lǐng)域有標(biāo)記訓(xùn)練樣本，后期實(shí)驗(yàn)的4 467份樣本作為目標(biāo)領(lǐng)域無標(biāo)記測試樣本(其疲勞類別標(biāo)記不用于機(jī)器學(xué)習(xí)和分類器訓(xùn)練，僅用于驗(yàn)證檢測結(jié)果)。此時(shí)，源領(lǐng)域訓(xùn)練樣本數(shù)量顯著低于目標(biāo)領(lǐng)域測試樣本數(shù)量，以驗(yàn)證有標(biāo)記訓(xùn)練樣本數(shù)量不足時(shí)的遷移學(xué)習(xí)效果。

圖2 列車模擬駕駛實(shí)驗(yàn)平臺(tái)

首先，采用網(wǎng)格搜索法[19]確定本文算法中各項(xiàng)參數(shù)λ、γ和μ的最佳取值，并以此考察目標(biāo)函數(shù)中各優(yōu)化項(xiàng)在特征遷移學(xué)習(xí)中的作用。當(dāng)采用高斯徑向基核函數(shù)計(jì)算核函數(shù)矩陣K，同時(shí)以標(biāo)準(zhǔn)支持向量機(jī)算法搭建分類器f時(shí)，各參數(shù)在[10-3, 103]范圍內(nèi)不同取值的情況下，遷移學(xué)習(xí)所得檢測模型對(duì)所有測試樣本進(jìn)行疲勞檢測的平均正確率曲線見圖3。

圖3 不同參數(shù)取值下的疲勞檢測正確率

根據(jù)式(9)所示的目標(biāo)函數(shù)可知，參數(shù)λ是用于控制變換矩陣A復(fù)雜度的正則項(xiàng)參數(shù)，其取值大小決定了該優(yōu)化問題的適定性。由圖3的曲線可見，當(dāng)λ取值很小時(shí)，優(yōu)化模型退化為平凡解而難以適定，此時(shí)所得的檢測模型的正確率較低；而當(dāng)λ取值過大時(shí)，目標(biāo)函數(shù)則會(huì)過分要求變換矩陣A的復(fù)雜度降低，便相應(yīng)忽略了數(shù)據(jù)分布適配和流形一致性等較為關(guān)鍵的優(yōu)化目標(biāo)，從而失去了特征遷移學(xué)習(xí)的效果，檢測模型的正確率也隨之急劇下降。由其曲線可見，λ較為合適的取值區(qū)間為[0.05, 1]，本文在實(shí)際應(yīng)用時(shí)取λ=0.1。

同樣，參數(shù)γ是用于控制目標(biāo)函數(shù)中條件分布適配程度的非負(fù)參數(shù)。當(dāng)γ取值過小時(shí)，目標(biāo)函數(shù)將不做條件分布適配，即特征空間變換過程中將不考慮兩個(gè)領(lǐng)域數(shù)據(jù)的判決結(jié)構(gòu)是否能夠保持一致，此時(shí)遷移分類器的半監(jiān)督迭代優(yōu)化更新也將失去作用，因而訓(xùn)練所得的分類器也無法擬合原始數(shù)據(jù)的判別結(jié)構(gòu)，而影響其檢測效果；當(dāng)γ取值過大時(shí)，目標(biāo)函數(shù)則會(huì)過分要求判決模型完全一致而導(dǎo)致過擬合現(xiàn)象，此時(shí)檢測效果反而變差。圖3同樣展示了正確率隨參數(shù)γ的變化規(guī)律，可見γ的合理取值區(qū)間為[0.1, 10]，本文取γ=1。

流形正則化參數(shù)μ體現(xiàn)了不同領(lǐng)域數(shù)據(jù)的流形一致性在遷移學(xué)習(xí)算法中的權(quán)重。由圖3可以看出，當(dāng)μ取值較小時(shí)，目標(biāo)函數(shù)將忽略數(shù)據(jù)流形結(jié)構(gòu)的適配，此時(shí)不利于兩類數(shù)據(jù)局部判別結(jié)構(gòu)的一致性，其檢測效果不佳；而當(dāng)μ取較大值時(shí)，僅有流形一致性得到保持，數(shù)據(jù)的邊緣分布和條件分布卻無法保持適配。可見，參數(shù)μ的合理取值區(qū)間為[0.01, 1]，本文取μ=0.5。

其次，考察領(lǐng)域適配與降維處理后的子空間維度k對(duì)疲勞檢測正確率的影響。子空間維度k在不同取值下執(zhí)行本文算法，對(duì)所有測試樣本進(jìn)行疲勞檢測的平均正確率曲線見圖4?？梢钥闯觯?dāng)k<60時(shí)，空間維度不足以區(qū)分類別信息，導(dǎo)致檢測效果不夠理想；而當(dāng)維度增加到k≥60時(shí)，疲勞檢測的平均正確率達(dá)到86.7%左右并趨于穩(wěn)定。因此，考慮到分類器訓(xùn)練及檢測的計(jì)算效率，本文在實(shí)際應(yīng)用時(shí)選取的子空間維度為k=60。相較于原始的864維語音特征，其維度在不影響疲勞區(qū)分能力的前提下進(jìn)行了大幅降低。此時(shí)，在CPU為4核3.6 GHz、內(nèi)存容量為8 GB的PC平臺(tái)下，待測樣本的檢測耗時(shí)為480～1 360 ms，相較于駕駛?cè)藰?biāo)準(zhǔn)作業(yè)用語的間隔時(shí)間和人體疲勞狀態(tài)的變化速度而言，基本能夠保證檢測的實(shí)時(shí)性。

最后，為了驗(yàn)證本文遷移學(xué)習(xí)方法應(yīng)用于實(shí)際疲勞檢測的有效性，將其與現(xiàn)有的傳統(tǒng)監(jiān)督學(xué)習(xí)[8]、半監(jiān)督學(xué)習(xí)[11]、遷移成分分析[13]和域適應(yīng)[14]等常用機(jī)器學(xué)習(xí)方法進(jìn)行了比較。各方法均以前期實(shí)驗(yàn)樣本作為有標(biāo)記訓(xùn)練樣本庫，以后期實(shí)驗(yàn)樣本作為無標(biāo)記測試樣本庫。各方法的樣本數(shù)據(jù)適配及優(yōu)化功能、分類器算法和檢測結(jié)果如表2所示。為體現(xiàn)對(duì)比效果，各方法采用的分類器算法均以支持向量機(jī)為基礎(chǔ)算法，包括：標(biāo)準(zhǔn)支持向量機(jī)(Support Vector Machine, SVM)[7]；模糊支持向量機(jī)(Fuzzy SVM, FSVM)[8]；半監(jiān)督支持向量機(jī)(Semi-Supervised SVM, S3VM)[11]；域適應(yīng)支持向量機(jī)(Adaptation Regularization SVM, ARSVM)[14]。各方法的檢測結(jié)果，分別用它們對(duì)測試樣本庫中正常樣本、疲勞樣本和所有樣本的疲勞檢測正確率表示。

圖4 不同特征空間維度的疲勞檢測正確率

表2 多種機(jī)器學(xué)習(xí)方法的疲勞檢測結(jié)果

由表2的檢測結(jié)果可以看出，當(dāng)采用傳統(tǒng)監(jiān)督學(xué)習(xí)方法，訓(xùn)練樣本和測試樣本分別來自不同的實(shí)驗(yàn)樣本庫時(shí)，其對(duì)所有測試樣本的平均正確率僅為72.0%，顯著低于文獻(xiàn)[7]和文獻(xiàn)[8]中訓(xùn)練樣本和測試樣本均來自同一實(shí)驗(yàn)樣本庫的平均正確率(可達(dá)85%以上)。這說明訓(xùn)練樣本的不足和測試樣本的數(shù)據(jù)偏移，均會(huì)引起傳統(tǒng)監(jiān)督學(xué)習(xí)方法的檢測性能下降，而影響其實(shí)際應(yīng)用效果。當(dāng)采用基于S3VM的半監(jiān)督學(xué)習(xí)方法時(shí)，后期無標(biāo)記的測試樣本也可以參與到分類器訓(xùn)練中，但由于測試樣本與訓(xùn)練樣本仍存在數(shù)據(jù)分布差異，因此訓(xùn)練所得的分類器還不夠理想。隨后采用遷移成分分析和域適應(yīng)等現(xiàn)有較為常見的遷移學(xué)習(xí)方法對(duì)樣本數(shù)據(jù)進(jìn)行跨領(lǐng)域的適配與檢測，此時(shí)疲勞檢測的正確率得以大幅提高，對(duì)所有測試樣本的平均正確率分別達(dá)到81.3%和83.9%。但由于這兩種方法的數(shù)據(jù)適配及優(yōu)化功能還不夠完備和充分，因而檢測效果仍存在一定程度的提升空間。

最終，本文方法綜合考慮了測試樣本與訓(xùn)練樣本數(shù)據(jù)的邊緣分布適配、條件分布適配、流形一致性和特征空間降維處理等多種遷移學(xué)習(xí)目標(biāo)，并通過基于半監(jiān)督學(xué)習(xí)的迭代更新優(yōu)化，來訓(xùn)練得到一個(gè)泛化能力更強(qiáng)的遷移分類器應(yīng)用于疲勞檢測。從表2所示的結(jié)果可見，本文方法對(duì)所有測試樣本的平均正確率達(dá)到了最高的86.7%，這說明本文方法在應(yīng)對(duì)有標(biāo)記訓(xùn)練樣本匱乏和測試樣本數(shù)據(jù)分布漂移等實(shí)際問題時(shí)，可以表現(xiàn)出較現(xiàn)有方法更好的疲勞檢測性能。同時(shí)可以看出，本文方法對(duì)正常樣本和疲勞樣本的檢測結(jié)果也均優(yōu)于現(xiàn)有方法，正確率分別達(dá)到86.4%和88.2%。這一方面表明，該方法在實(shí)際應(yīng)用于正常狀態(tài)的駕駛?cè)藭r(shí)，不會(huì)因?yàn)榻?jīng)常性的誤檢而引起駕駛?cè)说牟贿m或心理壓力；另一方面，該方法在應(yīng)對(duì)疲勞狀態(tài)的駕駛?cè)藭r(shí)，可以表現(xiàn)出更好的查全率，因而能夠及時(shí)準(zhǔn)確地檢測出被測駕駛?cè)说钠跔顟B(tài)，在消除駕駛疲勞隱患、保障行車安全方面，具有實(shí)際應(yīng)用價(jià)值。

4 結(jié)束語

鐵路機(jī)車與動(dòng)車駕駛?cè)诵桀l繁使用標(biāo)準(zhǔn)作業(yè)用語，為應(yīng)用語音信號(hào)檢測其疲勞狀態(tài)提供了可能性。然而，現(xiàn)有研究所采用的監(jiān)督學(xué)習(xí)方法在實(shí)際應(yīng)用時(shí)，會(huì)由于訓(xùn)練樣本稀缺和測試樣本數(shù)據(jù)分布偏移等問題而導(dǎo)致疲勞檢測效果不佳。為此，本文提出一種基于語音特征遷移學(xué)習(xí)的駕駛疲勞檢測方法。首先，通過樣本數(shù)據(jù)間的領(lǐng)域適配與降維處理，不僅可以有效應(yīng)對(duì)測試樣本數(shù)據(jù)分布偏移的問題，同時(shí)可以降低特征空間維度進(jìn)而提高檢測效率。其次，在特征空間變換后采用半監(jiān)督學(xué)習(xí)方法來迭代優(yōu)化無標(biāo)記樣本的偽標(biāo)記，并不斷同步更新特征變換和分類器，能夠有效解決訓(xùn)練樣本不足的問題，進(jìn)而提升疲勞檢測模型的精度和泛化能力。實(shí)驗(yàn)結(jié)果顯示，在測試時(shí)間、應(yīng)用場景和被試個(gè)體均發(fā)生變化的情況下，該方法的駕駛疲勞檢測正確率顯著優(yōu)于現(xiàn)有同類方法，具有實(shí)際應(yīng)用價(jià)值。

該方法的具體應(yīng)用可以體現(xiàn)在以下兩個(gè)方面：一方面，可以輔助或替代現(xiàn)有機(jī)務(wù)管理部門人工檢索分析駕駛?cè)苏Z音記錄的繁瑣工作，解決人工識(shí)別其駕駛狀態(tài)時(shí)難以實(shí)現(xiàn)遍歷性和準(zhǔn)確性的問題；另一方面，該方法可以進(jìn)一步開發(fā)為機(jī)載的駕駛疲勞智能化在線檢測設(shè)備，應(yīng)用于駕駛?cè)似跔顟B(tài)的實(shí)時(shí)監(jiān)測與預(yù)警。為此，后續(xù)研究將引入更為豐富的駕駛?cè)苏Z音樣本數(shù)據(jù)對(duì)該方法的有效性進(jìn)行交叉驗(yàn)證，還將嘗試采用更多的語音特征和分類器算法，來進(jìn)一步提高語音特征遷移學(xué)習(xí)的駕駛疲勞檢測效果。