劉世澤，朱奕達(dá)，陳潤澤，羅海勇，趙 方，孫 藝，王寶會(huì)

（1.北京航空航天大學(xué)軟件學(xué)院，北京 100191；2.北京郵電大學(xué)計(jì)算機(jī)學(xué)院（國家示范性軟件學(xué)院），北京 100876；3.中國科學(xué)院計(jì)算技術(shù)研究所，北京 100190）

（?通信作者電子郵箱yhluo@ict.ac.cn）

0 引言

隨著移動(dòng)智能終端設(shè)備的飛速發(fā)展，智能手機(jī)已經(jīng)逐漸成為人們?nèi)粘Ｉ钪械谋匦杵?。搭載豐富內(nèi)置傳感器的智能終端設(shè)備具備多維度感知用戶所處上下文環(huán)境信息的能力。近年來，通過捕獲用戶的上下文環(huán)境信息來感知用戶的行為模式［1-3］成為了普適計(jì)算中的研究熱點(diǎn)。用戶行為識(shí)別通?；趦煞N數(shù)據(jù)源來完成，包括基于視覺信息的用戶行為識(shí)別和基于輕量級(jí)傳感器的用戶行為識(shí)別?；谝曈X的方法需要外部系統(tǒng)捕捉圖像特征，對(duì)環(huán)境的要求較高并需要良好的光線條件。基于輕量級(jí)傳感器的方法不依賴基礎(chǔ)設(shè)施建設(shè)，具有較強(qiáng)的普適性。

交通模式識(shí)別是用戶行為識(shí)別中一個(gè)重要的檢測(cè)分支，其目的是識(shí)別用戶當(dāng)前的交通模式，即對(duì)用戶所處的交通模式進(jìn)行準(zhǔn)確判斷。用戶在出行過程中常常使用不同的交通工具，在使用不同交通工具的過程中，常常會(huì)具有不同的出行需求。由于這些需求需要移動(dòng)智能終端預(yù)先獲得用戶所處的交通工具狀態(tài)，即交通模式，交通模式識(shí)別問題是一個(gè)在多個(gè)領(lǐng)域起到至關(guān)重要作用的基礎(chǔ)問題，不同場(chǎng)景下基于精準(zhǔn)的交通模式感知，才能夠提供圍繞用戶出行的一系列服務(wù)，如交通狀況預(yù)測(cè)［4-5］、用戶軌跡挖掘［3，6-7］、智能出行推薦［8］等。交通模式識(shí)別需要用戶隨身攜帶數(shù)據(jù)采集設(shè)備，基于視覺的方法進(jìn)行交通模式檢測(cè)難以在實(shí)際應(yīng)用場(chǎng)景進(jìn)行部署，所以大部分的研究在圍繞交通模式識(shí)別問題上使用基于傳感器數(shù)據(jù)的方法［1，9-14］。交通模式識(shí)別在各行各業(yè)都有著較為豐富的應(yīng)用需求:在外賣閃送等實(shí)際業(yè)務(wù)場(chǎng)景下，使用交通模式識(shí)別技術(shù)能夠幫助大數(shù)據(jù)平臺(tái)進(jìn)一步精確識(shí)別訂單的配送情況，平臺(tái)對(duì)配送人員精確感知能夠避免訂單的異常配送狀態(tài)，例如配送人員提前完成訂單，平臺(tái)難以對(duì)延遲配送進(jìn)行判定，配送人員在配送過程中出現(xiàn)特殊狀況，如交通事故、人身傷害等狀況，更加精確的交通模式感知能夠幫助保護(hù)平臺(tái)用戶的利益與配送人員的安全；在移動(dòng)設(shè)備人機(jī)交互或移動(dòng)地圖智能規(guī)劃的業(yè)務(wù)場(chǎng)景下，移動(dòng)設(shè)備精準(zhǔn)感知用戶的交通模式能夠幫助智能終端對(duì)用戶的出行模式進(jìn)行智能規(guī)劃，向用戶提供更加人性化的出行建議與出行規(guī)劃；在用戶軌跡與交通狀況進(jìn)行大數(shù)據(jù)分析的智慧城市業(yè)務(wù)場(chǎng)景下，大量用戶的實(shí)時(shí)交通模式數(shù)據(jù)可以進(jìn)一步幫助城市進(jìn)行交通狀況分析，及時(shí)規(guī)劃公共交通工具的智能調(diào)度，提高城市公共交通資源調(diào)度的科學(xué)性，避免交通資源的浪費(fèi)以及緊缺。

考慮到不同交通模式下傳感器信號(hào)變化特點(diǎn)不同，文獻(xiàn)［2，15-18］等在基于傳感器數(shù)據(jù)的交通模式識(shí)別方法中人工提取多源傳感器信號(hào)特征。他們將提取的特征輸入到傳統(tǒng)機(jī)器學(xué)習(xí)算法中完成交通模式的預(yù)測(cè)，例如支持向量機(jī)［1，6］、決策樹［9，19-20］、集成學(xué)習(xí)［16-18，20］等。然而這些基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的方法主要取決于手工提取特征的有效性，這既耗時(shí)又需要領(lǐng)域相關(guān)知識(shí)。

近年來，深度學(xué)習(xí)的研究引起了廣泛關(guān)注，由于深度學(xué)習(xí)不依賴特有的領(lǐng)域知識(shí)并具有從大規(guī)模原始數(shù)據(jù)中自動(dòng)提取特征的能力。很多研究者［2，11-13］采用深度學(xué)習(xí)的方法來完成交通模式的預(yù)測(cè)。卷積神經(jīng)網(wǎng)絡(luò)可以通過疊加幾個(gè)卷積運(yùn)算自動(dòng)創(chuàng)建抽象的層次結(jié)構(gòu)特征。文獻(xiàn)［1，9，12］利用卷積神經(jīng)網(wǎng)絡(luò)從加速度、陀螺儀、地磁等輕量級(jí)傳感器分別提取特征后進(jìn)行分類。傳感器信號(hào)隨時(shí)間序列變化，時(shí)間序列神經(jīng)網(wǎng)絡(luò)能夠合理地模擬時(shí)間序列問題中的時(shí)間依賴性。文獻(xiàn)［14，21］提出利用循環(huán)卷積網(wǎng)絡(luò)和長短期記憶遞歸神經(jīng)網(wǎng)絡(luò)提取傳感器的時(shí)域特征進(jìn)行交通模式識(shí)別。

但是現(xiàn)有交通模式識(shí)別方法中依舊存在不足:卷積神經(jīng)網(wǎng)絡(luò)存在只能提取局部特征的問題，時(shí)間序列建模的循環(huán)神經(jīng)網(wǎng)絡(luò)由于其模型結(jié)構(gòu)復(fù)雜并且不能并行計(jì)算，存在模型參數(shù)量大、訓(xùn)練時(shí)間長的問題；此外，沒有對(duì)分類特征進(jìn)行特征重要性校準(zhǔn)。為了解決以上問題，本文提出了殘差時(shí)域注意力神經(jīng)網(wǎng)絡(luò)進(jìn)行交通模式識(shí)別，能夠達(dá)到準(zhǔn)確性與魯棒性的平衡，滿足了在對(duì)現(xiàn)代移動(dòng)嵌入式設(shè)備友好的計(jì)算開銷下的實(shí)際交通模式識(shí)別性能需求。

1 相關(guān)工作

近幾十年來圍繞機(jī)器學(xué)習(xí)算法的創(chuàng)新與應(yīng)用得到了巨大發(fā)展，并在普適計(jì)算領(lǐng)域得到充分應(yīng)用。在交通模式識(shí)別領(lǐng)域，學(xué)者們利用機(jī)器學(xué)習(xí)算法提供了許多解決方案。近十年來隨著服務(wù)器計(jì)算能力的增強(qiáng)，使得深度學(xué)習(xí)算法快速發(fā)展，深度學(xué)習(xí)方法受到更多研究者的關(guān)注并為交通模式識(shí)別提供了新的解決方案。

1.1 基于移動(dòng)傳感器數(shù)據(jù)的交通模式識(shí)別

在交通模式識(shí)別問題的研究中，研究者往往關(guān)注交通模式識(shí)別的準(zhǔn)確性與實(shí)時(shí)性，交通模式識(shí)別的過程需要在模型的準(zhǔn)確度與普適性之間達(dá)到一定的平衡。在移動(dòng)傳感設(shè)備普及之前往往難以達(dá)到這樣的效果，然而隨著移動(dòng)智能終端的逐漸普及，采集交通模式識(shí)別所需數(shù)據(jù)的硬件平臺(tái)已趨于成熟。交通模式識(shí)別問題目前存在基于不同數(shù)據(jù)源建立的解決方案，包括基于全球?qū)Ш叫l(wèi)星系統(tǒng)（Global Navigation Satellite System，GNSS）的解決方案與基于低功耗傳感器的解決方案。近幾年來隨著低功耗傳感器在智能手機(jī)中的大量普及，采用低功耗傳感器數(shù)據(jù)的交通模式識(shí)別解決方案逐漸增多［1，2，15，22-24］。

1.2 基于機(jī)器學(xué)習(xí)算法的交通模式識(shí)別

在深度學(xué)習(xí)算法得到普遍應(yīng)用之前，許多研究者提出多種基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的交通模式識(shí)別解決方案，但由于機(jī)器學(xué)習(xí)算法需要研究人員手動(dòng)提取特征，這些特征依賴于領(lǐng)域知識(shí)，所以在識(shí)別精度上存在較大提升空間。文獻(xiàn)［6］中提出了一種從GNSS 軌跡數(shù)據(jù)提取軌跡特征后，將特征送入到支持向量機(jī)分類器進(jìn)行交通模式識(shí)別的方法，從而提供基于軌跡的交通模式分析。文獻(xiàn)［20］利用GNSS 數(shù)據(jù)提取衛(wèi)星相關(guān)特征并基于貝葉斯網(wǎng)絡(luò)、決策樹、隨機(jī)森林、樸素貝葉斯以及多層感知機(jī)進(jìn)行交通模式識(shí)別。

由于使用GNSS 傳感器采集數(shù)據(jù)會(huì)導(dǎo)致移動(dòng)終端功耗變大，很多研究者開始研究基于低功耗傳感器數(shù)據(jù)進(jìn)行交通模式識(shí)別。文獻(xiàn)［1］提出了一種軟硬件結(jié)合系統(tǒng)，通過搭建包含加速度傳感器、地磁傳感器以及陀螺儀的低功耗設(shè)備平臺(tái)采集數(shù)據(jù)后，從而提取少量統(tǒng)計(jì)學(xué)特征，利用支持向量機(jī)（Support Vector Machine，SVM）作為分類器進(jìn)行交通模式識(shí)別。文獻(xiàn)［9］中利用智能手機(jī)中的加速度傳感器、陀螺儀以及磁力傳感器作為數(shù)據(jù)源，利用Filter 相關(guān)性度量（Correlationbased Feature Selection，CFS）算法對(duì)傳感器數(shù)據(jù)時(shí)域、頻域特征進(jìn)行提取并采用分層的輕量級(jí)梯度提升器（Light Gradient Boosting Machine，LightGBM）算法對(duì)交通模式進(jìn)行識(shí)別。文獻(xiàn)［17］通過集成分類器XGBoost（Extreme Gradient Boosting，極端梯度提升）與多層感知機(jī)的方式，基于加速度傳感器、陀螺儀、地磁傳感器以及氣壓傳感器數(shù)據(jù)提取統(tǒng)計(jì)學(xué)、頻域等特征進(jìn)行交通模式識(shí)別。此外，還有研究人員利用高功耗GNSS數(shù)據(jù)和低功耗傳感器一起進(jìn)行交通模式的感知。文獻(xiàn)［19］提出了采用Wi-Fi、藍(lán)牙、GNSS、加速度、重力加速度以及陀螺儀等傳感器提取用戶軌跡特征和時(shí)域特征并使用隨機(jī)森林算法進(jìn)行交通模式識(shí)別。

1.3 基于深度學(xué)習(xí)算法的交通模式識(shí)別

隨著深度學(xué)習(xí)算法的快速發(fā)展，深度學(xué)習(xí)模型具備不需要領(lǐng)域知識(shí)即可自動(dòng)提取特征的能力。在交通模式識(shí)別問題上，深度神經(jīng)網(wǎng)絡(luò)也逐漸顯現(xiàn)出其重要價(jià)值。研究者逐漸受到深度學(xué)習(xí)模型的啟發(fā)，在交通模式識(shí)別問題上提出很多新解決方案。

卷積神經(jīng)網(wǎng)絡(luò)在傳感器信號(hào)特征提取過程中起到了一定作用，不少研究者基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了交通模式識(shí)別問題上的探索。文獻(xiàn)［12］提出了擁抱網(wǎng)絡(luò)（EmbraceNet）來解決交通模式識(shí)別問題，對(duì)每個(gè)傳感器分別利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，在提取出的復(fù)雜時(shí)域與頻域信號(hào)特征中利用一種基于多項(xiàng)式分布權(quán)重構(gòu)建的融合層對(duì)特征進(jìn)行融合后完成分類。文獻(xiàn)［11］提出采用稠密網(wǎng)絡(luò)（DenseNet）［25］進(jìn)行多個(gè)傳感器時(shí)域特征的提取，使用線性層進(jìn)行特征融合來完成交通模式識(shí)別。

循環(huán)神經(jīng)網(wǎng)絡(luò)在時(shí)域信號(hào)特征提取上具有鮮明的作用，基于傳感器數(shù)據(jù)的交通模式識(shí)別往往利用的是時(shí)間序列數(shù)據(jù)，許多研究者利用循環(huán)神經(jīng)網(wǎng)絡(luò)以及其變體進(jìn)行時(shí)域特征的進(jìn)一步挖掘。文獻(xiàn)［10］提出將傳感器數(shù)據(jù)送入循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)域特征提取，并利用提取出的時(shí)域特征進(jìn)行分類預(yù)測(cè)。一些研究者［14，21］使用長短期記憶模型進(jìn)行基于歷史信息的特征提取，長短期記憶模型是循環(huán)神經(jīng)網(wǎng)絡(luò)的變體，引入了長期記憶與短期記憶機(jī)制，能夠更好地對(duì)時(shí)域信息中的長周期特征進(jìn)行挖掘。此外，文獻(xiàn)［13］利用對(duì)抗自編碼器針對(duì)時(shí)域傳感器數(shù)據(jù)進(jìn)行了交通模式識(shí)別。

然而上述工作一方面缺乏對(duì)時(shí)域特征的深層次挖掘，另一方面循環(huán)神經(jīng)網(wǎng)絡(luò)在計(jì)算復(fù)雜度與內(nèi)存占用上仍然存在較大提升空間，許多工作僅關(guān)注于提高模型的準(zhǔn)確率而使用大量的計(jì)算資源進(jìn)行交通模式識(shí)別，難以在移動(dòng)智能終端進(jìn)行部署與優(yōu)化，隨著移動(dòng)設(shè)備計(jì)算能力的不斷提高，移動(dòng)設(shè)備已經(jīng)達(dá)到部署深度學(xué)習(xí)或機(jī)器學(xué)習(xí)算法的能力，但高計(jì)算開銷也極大影響著實(shí)際模型端到端部署時(shí)實(shí)際運(yùn)行的性能。此外，上述工作缺乏模型對(duì)細(xì)粒度特征的重校準(zhǔn)能力，導(dǎo)致不同傳感器信號(hào)的特征空間難以進(jìn)行融合并且難以體現(xiàn)具有更明顯交通模式特征的傳感器在實(shí)際識(shí)別過程中起到的重要性，也導(dǎo)致了部分傳感器特征的浪費(fèi)。所以本文提出殘差時(shí)域注意力網(wǎng)絡(luò)以解決上述問題，本文模型能夠結(jié)合時(shí)域卷積網(wǎng)絡(luò)（Temporal Convolutional Network，TCN）的低計(jì)算開銷同時(shí)也更為關(guān)注重要的傳感器特征，避免了較低計(jì)算開銷要求下模型性能的損失，具有較好的魯棒性與穩(wěn)定性。

2 殘差時(shí)域注意力交通模式識(shí)別模型

本文提出了一種基于殘差時(shí)域注意力神經(jīng)網(wǎng)絡(luò)的交通模式識(shí)別模型，如圖1 所示，多源傳感器時(shí)間序列數(shù)據(jù)輸入到該模型后，該模型先利用殘差卷積神經(jīng)網(wǎng)絡(luò)對(duì)不同感器進(jìn)行局部感受野的特征提取。該模型在提取各傳感器局部特征后將其輸入到時(shí)域卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)一步提取全局感受野的深層特征。此外，局部特征對(duì)于交通模式識(shí)別也有一定的必要性，為了保證模型能夠充分利用局部特征，本文借助殘差連接的方式傳遞淺層特征到模型的分類層，使時(shí)域卷積網(wǎng)絡(luò)能夠提高對(duì)重要特征進(jìn)行感知的能力，而時(shí)域卷積網(wǎng)絡(luò)的膨脹卷積結(jié)構(gòu)在提取局部細(xì)粒度特征時(shí)具有局限性也能得到彌補(bǔ)。由于不同傳感器特征對(duì)于交通模式識(shí)別的重要性不同，本文使用了一種基于特征通道間關(guān)系的注意力機(jī)制對(duì)模型提取的交通模式識(shí)別分類特征進(jìn)行特征重校準(zhǔn)，使卷積網(wǎng)絡(luò)能夠充分感知真正具有較高重要性的復(fù)雜高維特征，從而降低了神經(jīng)網(wǎng)絡(luò)在識(shí)別過程中對(duì)無效高維特征進(jìn)行大量計(jì)算導(dǎo)致的計(jì)算開銷浪費(fèi)問題，便于算法模型控制其算子規(guī)模，同時(shí)也提高了計(jì)算模型的魯棒性，達(dá)到了計(jì)算效率與計(jì)算性能的平衡。

圖1 本文模型結(jié)構(gòu)示意圖Fig.1 Schematic diagram of proposed model structure

2.1 基于注意力機(jī)制的殘差卷積神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)是由多個(gè)非線性處理層堆疊而成的模型，卷積神經(jīng)網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)的一種，在提取小范圍局部特征方面優(yōu)勢(shì)明顯。但是隨著網(wǎng)絡(luò)層數(shù)的增加，梯度消失或梯度爆炸問題的出現(xiàn)導(dǎo)致深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)難以收斂。殘差卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于解決隨著模型加深導(dǎo)致的梯度消失或梯度爆炸的問題，它使用的捷徑連接將輸入特征添加到輸出特征上，從而提高淺層網(wǎng)絡(luò)特征的流動(dòng)性。殘差連接能夠確保模型中保持初始特征的恒等映射，在較深卷積網(wǎng)絡(luò)之中依然能夠保留原始特征，從而能夠幫助模型在細(xì)粒度特征挖掘過程中獲得更佳效果。針對(duì)時(shí)間序列傳感器數(shù)據(jù)的交通模式識(shí)別，局部特征能夠捕獲交通模式在極小時(shí)間窗口內(nèi)的變化規(guī)律，比如汽車突然的加速或者剎車、跑步中的擺臂等。本文提出的模型利用殘差卷積神經(jīng)網(wǎng)絡(luò)對(duì)不同的傳感器原始觀測(cè)值進(jìn)行局部特征的提取。

本文使用的殘差神經(jīng)網(wǎng)絡(luò)由多個(gè)殘差單元組合堆疊而成，本文使用的殘差神經(jīng)網(wǎng)絡(luò)的框架如圖2 所示。給定輸入數(shù)據(jù)，首先模型將輸入的傳感器數(shù)據(jù)經(jīng)過卷積層、批處理標(biāo)準(zhǔn)化層和指數(shù)縮放線性單元（Scaled Exponential Linear Unit，SELU）處理之后，將處理得到的特征送入多個(gè)殘差單元中進(jìn)行處理，將最后一個(gè)殘差單元中得到的局部特征經(jīng)過批處理標(biāo)準(zhǔn)化層和池化層后送入到時(shí)域卷積網(wǎng)絡(luò)模型中進(jìn)行細(xì)粒度全局特征提取。

圖2 殘差網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Schematic diagram of ResNet structure

每個(gè)殘差單元由卷積、批歸一化和SELU 堆疊而成。圖3展示了本文采用殘差單元的示意圖，其中第l個(gè)殘差單元的輸入為xl，則其輸出可形式化為執(zhí)行式（1）中的數(shù)學(xué)計(jì)算。

圖3 殘差單元示意圖Fig.3 Schematic diagram of residual unit

其中:F(xl，Wl)為殘差函數(shù)，Wl為該殘差函數(shù)的對(duì)應(yīng)權(quán)重參數(shù)；f(·)為非線性激活函數(shù)SELU；WS為瓶頸層的權(quán)重參數(shù)，瓶頸層能夠保證輸入特征和輸出特征的通道數(shù)一致。殘差單元塊中殘差函數(shù)F(·)形式靈活可變，能夠堆疊多個(gè)卷積層。

2.2 時(shí)域卷積網(wǎng)絡(luò)

殘差神經(jīng)網(wǎng)絡(luò)只針對(duì)單一傳感器進(jìn)行了局部的特征感知，單一傳感器包括加速度、重力加速度以及地磁傳感器提供的高維特征空間，只具有模型對(duì)單一環(huán)境上下文的局部感知，僅僅關(guān)注于用戶的姿態(tài)、用戶環(huán)境的磁場(chǎng)變化等單一變化，不同環(huán)境上下文之間的相互關(guān)聯(lián)關(guān)系等隱藏特征仍需要進(jìn)一步進(jìn)行挖掘，因此本文引入了時(shí)域卷積網(wǎng)絡(luò)來進(jìn)行粗粒度的時(shí)序挖掘，同時(shí)也對(duì)不同傳感器之間進(jìn)行了粗粒度的融合感知。

循環(huán)神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的提取時(shí)序特征能力，其分支例如長短期記憶與門控循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)一步改進(jìn)了循環(huán)神經(jīng)網(wǎng)絡(luò)的時(shí)序記憶范圍，將較早的時(shí)序數(shù)據(jù)也能夠充分利用起來。然而循環(huán)神經(jīng)網(wǎng)絡(luò)也具有一些顯著的弱點(diǎn)，例如循環(huán)神經(jīng)網(wǎng)絡(luò)由于運(yùn)算時(shí)依賴上下文輸入的特征，需要進(jìn)行密集計(jì)算導(dǎo)致模型引入大量的計(jì)算參數(shù)；其次，循環(huán)神經(jīng)網(wǎng)絡(luò)內(nèi)存占用也較高，難以大規(guī)模并行處理。

針對(duì)以上問題，研究者提出了時(shí)域卷積網(wǎng)絡(luò)［26］，時(shí)域卷積網(wǎng)絡(luò)在較長的時(shí)間序列中占用較低的計(jì)算開銷便可以充分挖掘全局特征，從而達(dá)到了理想的特征提取效果。本文提出的模型中使用時(shí)域卷積網(wǎng)絡(luò)提取長時(shí)間窗口下交通模式的全局特征。時(shí)域卷積網(wǎng)絡(luò)可以接收任意長度的時(shí)間序列數(shù)據(jù)，并將其映射成任意長度的輸出特征向量。本文模型中時(shí)域卷積網(wǎng)絡(luò)的輸入是由殘差網(wǎng)絡(luò)輸出的傳感器局部特征，然后利用時(shí)域卷積網(wǎng)絡(luò)通過結(jié)構(gòu)上的因果關(guān)系卷積充分挖掘時(shí)間序列上局部特征之間的潛在關(guān)系，從而保證在長時(shí)間序列下模型提取細(xì)粒度的全局特征。

本文提出的模型中的時(shí)域卷積網(wǎng)絡(luò)由多個(gè)膨脹卷積塊堆疊組成。膨脹卷積塊是卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)變種，雖然卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)潭〞r(shí)間窗口的特征數(shù)據(jù)進(jìn)行時(shí)序特征挖掘，但是由于傳感器特征窗口本身即為連續(xù)的離散時(shí)間序列，通過卷積操作僅能夠抽取在卷積核范圍內(nèi)的短期歷史特征。為了能夠在不改變卷積核大小的前提下擴(kuò)大卷積核感受野，本文使用了膨脹卷積。對(duì)于一個(gè)特征窗口X∈Rn上第s個(gè)位置進(jìn)行卷積操作f:{0，1，…，k-1}→R，則膨脹卷積為:

其中，d為膨脹系數(shù)，而xs-d·i即為時(shí)間窗口中s位置之前的前序位置。在多層膨脹卷積結(jié)構(gòu)中，第i層的膨脹系數(shù)設(shè)置為di=2i-1。通過膨脹卷積，能夠增大卷積核感受野范圍，增強(qiáng)了模型對(duì)歷史信息感知能力。通過增加膨脹卷積網(wǎng)絡(luò)的深度，能夠進(jìn)一步加強(qiáng)膨脹卷積層對(duì)交通模式中歷史信息更長時(shí)間尺度上的感知能力。在每次膨脹卷積之后本文引入批歸一化和SELU 進(jìn)行特征非線性變化。對(duì)于傳統(tǒng)時(shí)序模型某一時(shí)刻的計(jì)算需依賴于上一層的計(jì)算結(jié)束，但是在時(shí)域卷積模型中由于共享卷積核的參與，可以保證模型能夠進(jìn)行并行計(jì)算。此外，傳統(tǒng)時(shí)間序列神經(jīng)網(wǎng)絡(luò)在使用時(shí)需要將每個(gè)時(shí)間步的信息都保存下來，從而占據(jù)大量內(nèi)存，本文模型在每一層膨脹卷積中共享卷積核，內(nèi)存占用更低。一個(gè)多層膨脹卷積塊的操作過程如圖4所示。

圖4 多層膨脹卷積結(jié)構(gòu)示意圖Fig.4 Schematic diagram of multi-layer dilated convolution structure

多層膨脹卷積塊是本文提出的模型中時(shí)域卷積網(wǎng)絡(luò)的基本結(jié)構(gòu)，多層膨脹卷積的輸出特征與輸入特征具有相同的特征序列尺寸。為了避免訓(xùn)練過程中隨著模型加深導(dǎo)致梯度消失的問題以及提高特征的流動(dòng)性，本文模型在每個(gè)多層膨脹卷積塊的輸出層還加入了捷徑連接，即將多層膨脹卷積塊的輸入特征與輸出特征進(jìn)行按位相加。在膨脹卷積塊計(jì)算得到最終的輸出特征之后，本文使用池化層對(duì)輸出特征維度進(jìn)行壓縮并將壓縮后的特征輸入到下一個(gè)膨脹卷積塊中。

2.3 特征重校準(zhǔn)

在上述兩種計(jì)算單元間進(jìn)行特征傳遞的過程中，不同傳感器特征從不同角度體現(xiàn)時(shí)間序列數(shù)據(jù)在交通模式上的變化規(guī)律，然而并非所有的特征都對(duì)交通模式分類任務(wù)起到相同作用。本文提出的模型在使用多維特征進(jìn)行分類時(shí)考慮到不同特征之間的差異性，因此該模型引入收縮－激勵(lì)注意力機(jī)制（Squeeze-Excitation）［27］對(duì)分類特征進(jìn)行重校準(zhǔn)，從而提高了交通模式的魯棒性。特征重校準(zhǔn)平衡了不同傳感器特征空間中，由于單一傳感器數(shù)據(jù)之間的差異性導(dǎo)致的特征空間差異性，在注意力機(jī)制的作用下，不同傳感器通道之間得到了再次平衡，避免了機(jī)械地對(duì)異傳感器間進(jìn)行合并導(dǎo)致的統(tǒng)計(jì)差別針對(duì)不同特征通道的再平衡，充分發(fā)掘具有強(qiáng)重要性的特征通道能夠在整個(gè)計(jì)算模型中發(fā)揮其代表性。

當(dāng)不同傳感器特征經(jīng)由模型運(yùn)算得到輸出特征Wl+1后，本文利用式（3）～（5）進(jìn)行基于通道間注意力機(jī)制的特征重校準(zhǔn)。首先每個(gè)通道的特征經(jīng)過全局壓縮及拼接得到dc，然后通過使用Sigmoid 激活函數(shù)σ和SELU 激活函數(shù)δ的門控機(jī)制對(duì)壓縮得到的通道指示器dc進(jìn)行特征重要性的自動(dòng)學(xué)習(xí)，最后將得到的通道特征放縮因子s對(duì)原始特征進(jìn)行激勵(lì)。

在對(duì)不同傳感器特征通道進(jìn)行重校準(zhǔn)后，對(duì)交通模式識(shí)別更有幫助的傳感器特征將被增強(qiáng)，不同交通模式下區(qū)分度較低的特征將被抑制，從而提高本文模型的識(shí)別準(zhǔn)確性。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)處理

本文采用數(shù)據(jù)豐富度較高的宏達(dá)通訊（data-rich High Technology Computer，HTC）提出的交通模式識(shí)別數(shù)據(jù)集［18］進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集將交通模式劃分為站立、行走、跑步、自行車、摩托車、轎車、公交以及軌道交通共8 種類別。在實(shí)驗(yàn)過程中，本文隨機(jī)抽取數(shù)據(jù)集中70%的部分作為訓(xùn)練集，30%的部分作為測(cè)試集。本文將使用6 種具有代表性的模型與本文提出模型進(jìn)行對(duì)比驗(yàn)證本文模型的有效性與必要性，包括HTC 數(shù)據(jù)集 提出的基于SVM 的基準(zhǔn)模型［1］、基 于CFS 的LightGBM 模型［9］、基于集成LightGBM 與多層感知機(jī)的分類器模型［17］、一維DenseNet 模型［11］、EmbraceNet 模型［12］以及雙向LSTM 模型［21］。在比較各個(gè)方法的性能過程中，針對(duì)HTC 數(shù)據(jù)集的原始數(shù)據(jù)格式，本文運(yùn)用相同的處理方式以及劃分方式進(jìn)行對(duì)比，避免了數(shù)據(jù)處理過程中引入的人為誤差影響實(shí)驗(yàn)過程的可靠性。

HTC 數(shù)據(jù)集中包含的傳感器類型有加速度、地磁與陀螺儀，現(xiàn)有工作中采用其他傳感器的算法將會(huì)針對(duì)該數(shù)據(jù)集進(jìn)行重新適配。HTC 數(shù)據(jù)集中傳感器的每個(gè)樣本分別為形如(x，y，z)的傳感器數(shù)據(jù)三元組，為了豐富傳感器原始觀測(cè)數(shù)據(jù)，本文使用式（6）～（9）對(duì)每個(gè)傳感器再提取了4 種分量，最終構(gòu)成傳感器數(shù)據(jù)七元組(x，y，z，f，h，i，d)。

其中:式（6）計(jì)算了傳感器向量的總強(qiáng)度f；式（7）計(jì)算了總強(qiáng)度f在水平面上的投影，即水平強(qiáng)度h；式（8）計(jì)算了總強(qiáng)度d與水平面的夾角，即傾角i；式（9）計(jì)算了水平強(qiáng)度偏離北向的角度，即偏角d。提取上述分量后能夠進(jìn)一步提取傳感器的物理特性，從而便于神經(jīng)網(wǎng)絡(luò)挖掘深層次特征。

用戶乘坐交通模式下采集到的傳感器數(shù)據(jù)在時(shí)間上具有連續(xù)性。在HTC交通模式識(shí)別數(shù)據(jù)集中，本文使用時(shí)長為5 s的時(shí)間窗口構(gòu)建一個(gè)樣本。本文對(duì)不同傳感器數(shù)據(jù)在時(shí)間窗口內(nèi)進(jìn)行下采樣來保證不同傳感器數(shù)據(jù)長度一致。本文抽取了部分交通模式下某一時(shí)間窗口內(nèi)傳感器的總強(qiáng)度變化表現(xiàn)，如圖5所示。

圖5 部分交通模式的傳感器總強(qiáng)度變化示意圖Fig.5 Schematic diagram of total sensor intensity changes of some traffic modes

從傳感器數(shù)值的總強(qiáng)度變化可見不同交通模式下具有明顯不同信號(hào)變化趨勢(shì)。圖5（a）體現(xiàn)出用戶在跑步過程中加速度總強(qiáng)度變化幅度較為明顯，同樣在圖5（c）中用戶在跑步過程中陀螺儀變化也較為明顯。此外，在行駛狀態(tài)變化較為明顯的轎車交通模式中，如圖5（a）所示加速度變化也較為明顯。由上述例子可見在不同交通模式下，通過對(duì)傳感器信號(hào)進(jìn)行時(shí)序特征挖掘，使模型具有達(dá)到區(qū)分不同交通模式的潛力。

3.2 模型訓(xùn)練

在模型訓(xùn)練過程中，為了解決模型受傳感器特征不同量綱的影響導(dǎo)致梯度收斂過慢甚至難以收斂的問題，本文對(duì)原始傳感器數(shù)據(jù)進(jìn)行了健壯歸一化（Robust Normalization），對(duì)單一傳感器數(shù)據(jù)X的健壯歸一化過程如式（10）所示:

其中，Q1、Q3分別代表上四分位數(shù)和下四分位數(shù)。健壯歸一化能夠確保歸一化過程中傳感器特征不受異常噪聲的影響，將歸一化范圍確定在大多數(shù)正常信號(hào)范圍內(nèi)。

本文在訓(xùn)練殘差時(shí)域注意力網(wǎng)絡(luò)的過程中使用自適應(yīng)均方根梯度（Adaptive Mean Square Gradient，AMSGrad）［28］作為模型的優(yōu)化器，起始學(xué)習(xí)率設(shè)為0.000 1。將訓(xùn)練數(shù)據(jù)按每批128 個(gè)樣本訓(xùn)練200 輪。本文提出的模型采用4 個(gè)殘差單元堆疊構(gòu)建的殘差神經(jīng)網(wǎng)絡(luò)提取每個(gè)傳感器128 個(gè)通道的特征，此外，本文提出的模型利用3 層膨脹卷積塊堆疊的時(shí)域卷積網(wǎng)絡(luò)對(duì)每個(gè)傳感器提取256個(gè)通道的全局特征。

本文模型訓(xùn)練目的是不斷優(yōu)化模型參數(shù)，并降低模型輸出的軟標(biāo)簽與實(shí)際交通模式標(biāo)簽之間的誤差，詳見式（13），為本文模型輸出的預(yù)測(cè)結(jié)果，該結(jié)果與樣本所屬真實(shí)類別計(jì)算交叉熵作為模型損失函數(shù)。

3.3 總體分類性能對(duì)比

在實(shí)驗(yàn)過程中，本文以準(zhǔn)確率作為主要模型評(píng)價(jià)指標(biāo)，同時(shí)引入每種交通模式下的召回率與準(zhǔn)確率來進(jìn)一步分析模型的識(shí)別性能。在使用HTC 交通模式數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)過程中，本文選取已有的具有代表性的交通模式識(shí)別方法作為基準(zhǔn)，其中準(zhǔn)確率對(duì)比實(shí)驗(yàn)結(jié)果如表1 所示?？梢钥闯觯疚奶岢龅臍埐顣r(shí)域注意力網(wǎng)絡(luò)能夠在測(cè)試集上達(dá)到96.07%的準(zhǔn)確率，而其他基準(zhǔn)模型中只有文獻(xiàn)［11］模型，文獻(xiàn)［12］模型能夠達(dá)到高于90%的準(zhǔn)確率。本文提出的模型在HTC 數(shù)據(jù)集下的識(shí)別準(zhǔn)確率均高于其他基準(zhǔn)算法。為了進(jìn)一步深入分析各個(gè)交通模式的識(shí)別情況，本文對(duì)上述算法的召回率與精確率進(jìn)行了對(duì)比，并分析不同交通模式在模型識(shí)別中的難易程度。

表1 不同交通模式識(shí)別算法的識(shí)別準(zhǔn)確率對(duì)比Tab.1 Recognition accuracy comparison of different traffic mode recognition algorithms

3.4 單一交通模式識(shí)別性能對(duì)比

由表2與表3可見，對(duì)所有基準(zhǔn)算法和本文提出的模型分別在不同交通模式下的召回率與精確率進(jìn)行了計(jì)算。召回率與精確率計(jì)算方式如式（14）與式（15）所示:

其中:c代表某一類交通模式，而Xc指所有交通模式c下的樣本；TP（True Positive）、FP（False Positive）、FN（False Negative）與TN（True Negative）分別指在樣本真實(shí)情況正例預(yù)測(cè)結(jié)果為正例、真實(shí)情況負(fù)例預(yù)測(cè)結(jié)果為正例、真實(shí)情況正例預(yù)測(cè)結(jié)果為負(fù)例，以及真實(shí)情況負(fù)例預(yù)測(cè)結(jié)果為負(fù)例的個(gè)數(shù)。

召回率可以計(jì)算出在交通模式c下，模型能夠在所有該類別樣本中正確識(shí)別該交通模式的比例，而精確率可以計(jì)算出分類方法在預(yù)測(cè)結(jié)果中能夠準(zhǔn)確預(yù)測(cè)交通模式c的比例。從表2 中的數(shù)據(jù)可分析出，在所有交通模式識(shí)別算法中摩托車與公交車兩種交通模式與其他交通模式相比在測(cè)試集中的召回率較差。由表3 可見，摩托車與自行車兩種交通模式在查準(zhǔn)結(jié)果中能夠符合真實(shí)交通模式的比例普遍較低，而站立、行走以及跑步這類與用戶姿態(tài)變化相關(guān)的交通模式往往更容易識(shí)別。其中文獻(xiàn)［1］中SVM 分類器能夠在公交車交通模式上達(dá)到較高的精確率，但該模型的召回率過低，上述情況也表明了公交車交通模式在該算法上難以在實(shí)際情況中得到準(zhǔn)確的識(shí)別，同理這個(gè)現(xiàn)象也出現(xiàn)在其他交通模式識(shí)別基準(zhǔn)模型中，但要優(yōu)于SVM 分類器。本文提出的方法在識(shí)別公交車交通模式時(shí)相較基準(zhǔn)模型在各個(gè)指標(biāo)上都有所提升，但召回率也低于精確率，這也體現(xiàn)出準(zhǔn)確識(shí)別公交車交通模式具有一定的挑戰(zhàn)，傳統(tǒng)方法將實(shí)際的公交車模式大量誤判為其他交通模式，僅僅能夠區(qū)分出部分情況下的公交車模式。此外，本文提出的模型能夠在摩托車、自行車等在其他基準(zhǔn)模型中較難區(qū)分的交通模式中得到較高精確率與召回率。

表2 不同識(shí)別算法的識(shí)別召回率對(duì)比Tab.2 Recognition recall comparison of different classification algorithms

表3 不同識(shí)別算法的識(shí)別精確率對(duì)比Tab.3 Recognition precision comparison of different classification algorithms

綜合表2～3 可以分析出，本文提出的模型在多種交通模式下召回率與精確率相差較小，也表明本文模型在識(shí)別其他交通模式下具有較高魯棒性。

本文還在HTC 數(shù)據(jù)集下對(duì)本文提出的模型計(jì)算了混淆矩陣，如表4 所示。從表4 中可以看出，本文提出的模型將部分屬于公交車交通模式類別的樣本識(shí)別為軌道交通模式和轎車交通模式。這幾種交通模式具有一定的相似性且用戶在這幾種交通模式下運(yùn)動(dòng)姿態(tài)變化相對(duì)較小，運(yùn)動(dòng)狀態(tài)較為穩(wěn)定，當(dāng)用戶姿態(tài)變化較大時(shí)比如跑步、行走等模式下模型能夠達(dá)到較好識(shí)別效果。

表4 殘差時(shí)域注意力模型識(shí)別效果混淆矩陣 單位：%Tab.4 Confusion matrix of recognition results by residual temporal attention network unit:%

3.5 消融實(shí)驗(yàn)

本文提出的殘差時(shí)域注意力模型在交通模式識(shí)別過程中分別針對(duì)不同時(shí)間尺度下進(jìn)行了時(shí)序特征挖掘，該模型分別使用殘差網(wǎng)絡(luò)與時(shí)域卷積網(wǎng)絡(luò)對(duì)短期時(shí)序特征與長期時(shí)序特征進(jìn)行特征提取。本文首先通過消融實(shí)驗(yàn)對(duì)本文提出的交通模式識(shí)別模型中上述兩個(gè)模塊的影響進(jìn)行了評(píng)估，其次本文提出的模型對(duì)殘差網(wǎng)絡(luò)與時(shí)域卷積網(wǎng)絡(luò)提取的特征進(jìn)行基于通道的注意力機(jī)制特征校準(zhǔn)進(jìn)行了分析?；谏鲜瞿Ｐ拖趯?shí)驗(yàn)設(shè)計(jì)所得到的實(shí)驗(yàn)結(jié)果如表5所示。

表5 本文模型消融實(shí)驗(yàn)準(zhǔn)確率對(duì)比Tab.5 Accuracy comparison of proposed model in ablation experiments

由表5 可見，本文提出的模型在缺少殘差網(wǎng)絡(luò)提取的短期時(shí)序特征時(shí)，模型在識(shí)別準(zhǔn)確率上下降較少，但當(dāng)模型缺少時(shí)域卷積網(wǎng)絡(luò)提取的長期時(shí)序特征時(shí)，模型在識(shí)別準(zhǔn)確率上下降較大。這也說明了全局特征在本文模型中對(duì)交通模式識(shí)別起到了更為重要的影響。當(dāng)本文模型只利用傳統(tǒng)的卷積網(wǎng)絡(luò)進(jìn)行特征提取時(shí)，該模型在測(cè)試集上的識(shí)別精度下降明顯，只有65.68%的識(shí)別準(zhǔn)確率，這表明殘差網(wǎng)絡(luò)和時(shí)域卷積網(wǎng)絡(luò)在本文模型中對(duì)交通模式識(shí)別所提取的特征是十分有效的。本文模型包含針對(duì)傳感器的殘差網(wǎng)絡(luò)、通道注意力機(jī)制以及針對(duì)特征空間的時(shí)域卷積網(wǎng)絡(luò)，而當(dāng)本文模型移除了基于注意力機(jī)制的特征重校準(zhǔn)之后，模型精度從96.07%下降到85.77%，這表明模型的特征重校準(zhǔn)模塊有效地篩選出了交通模式識(shí)別中的重要特征，并幫助提高了模型識(shí)別的魯棒性。從表5 中可以發(fā)現(xiàn)，本文所提出模型中各個(gè)模塊均會(huì)對(duì)交通模式識(shí)別起到重要幫助作用。

由此可見，殘差網(wǎng)絡(luò)提供的細(xì)粒度感知能力在模型中起到重要作用。組合7 相較于組合1 提高了4.68 個(gè)百分點(diǎn)，而相較于組合5 可以對(duì)比得出，綜合通道注意力機(jī)制與殘差網(wǎng)絡(luò)的表現(xiàn)，僅僅使用時(shí)域卷積網(wǎng)絡(luò)的組合5 效果最差。通道注意力機(jī)制與殘差網(wǎng)絡(luò)均能夠使整個(gè)模型對(duì)多源傳感器的特征通道再平衡，但殘差網(wǎng)絡(luò)難以對(duì)不同通道特征進(jìn)行通道級(jí)別的重新校準(zhǔn)，只能通過卷積操作的細(xì)粒度權(quán)重進(jìn)行簡單平衡。只有通道注意力機(jī)制與殘差網(wǎng)絡(luò)配合起來分別在特征尺度與通道尺度進(jìn)行重校準(zhǔn)與特征提取，模型性能能夠得到較大的提升，而任一部分缺失都能夠極大影響模型總體的性能。其次，由組合2 也可以得出，缺失粗粒度時(shí)域特征感知能力的模型效果也難以達(dá)到理想水平，時(shí)域卷積網(wǎng)絡(luò)在模型中起到了至關(guān)重要的作用。

3.6 算法計(jì)算開銷對(duì)比

本文針對(duì)上述不同分類器算法進(jìn)行了運(yùn)算時(shí)間開銷與空間占用的分析與對(duì)比。其中，針對(duì)基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的分類器方法，本文將針對(duì)原始數(shù)據(jù)中驗(yàn)證集部分進(jìn)行特征工程處理的空間與時(shí)間開銷也計(jì)入算法的時(shí)間與空間開銷中。對(duì)于不同方法，本文通過統(tǒng)計(jì)分類器方法在驗(yàn)證集部分?jǐn)?shù)據(jù)上花費(fèi)的時(shí)間作為時(shí)間開銷的指標(biāo)，通過統(tǒng)計(jì)在驗(yàn)證集部分?jǐn)?shù)據(jù)上花費(fèi)的最大內(nèi)存與顯存占用值作為內(nèi)存占用的指標(biāo)，從而對(duì)不同方法進(jìn)行針對(duì)計(jì)算開銷的比較，詳細(xì)計(jì)算開銷對(duì)比如表6所示。

表6 不同交通模式識(shí)別算法的計(jì)算開銷對(duì)比Tab.6 Comparison of computational overhead for different traffic mode recognition algorithms

由計(jì)算開銷對(duì)比可以看出，本文算法在時(shí)間開銷與空間開銷上能夠達(dá)到相對(duì)較低的占用。由本文提出算法的時(shí)間與空間開銷測(cè)試結(jié)果可見，在計(jì)算開銷與算法精度上本文算法能夠達(dá)到較好的平衡。

4 結(jié)語

本文基于加速度、地磁以及陀螺儀等低功耗傳感器數(shù)據(jù)提出了殘差時(shí)域注意力模型進(jìn)行用戶所處交通模式的識(shí)別。該模型通過引入殘差網(wǎng)絡(luò)與時(shí)域卷積網(wǎng)絡(luò)進(jìn)行不同感受野的時(shí)序特征挖掘，并使用基于通道的注意力機(jī)制對(duì)傳感器特征進(jìn)行特征重校準(zhǔn)，使得該模型在不同交通模式下獲得更高的檢測(cè)魯棒性。本文所提算法在HTC 交通模式數(shù)據(jù)集上取得了良好效果，達(dá)到了96.07%的準(zhǔn)確率，遠(yuǎn)高于其他現(xiàn)有基準(zhǔn)算法。但本文算法仍有提升識(shí)別準(zhǔn)確度的空間，同時(shí)隨著移動(dòng)智能終端的發(fā)展成熟，移動(dòng)設(shè)備也具有適配該算法的潛力。未來將克服目前局限，進(jìn)一步提升該交通模式識(shí)別算法性能，擴(kuò)展交通模式識(shí)別算法新應(yīng)用。