陳國良， 曹曉祥

(1. 國土環(huán)境與災(zāi)害監(jiān)測國家測繪地理信息局重點實驗室， 江蘇 徐州 221116； 2. 中國礦業(yè)大學(xué) 環(huán)境與測繪學(xué)院， 江蘇 徐州 221116)

近年來，隨著傳感器城市建設(shè)的一步步推進[1],借助傳感器進行行為識別成為一項研究熱點.無論是在情境感知、健康監(jiān)測，還是智慧醫(yī)療、安全監(jiān)控等，行為識別都是其中重要的一環(huán)，但是這其中面臨著個體化差異、復(fù)雜情境等突出問題，行為識別仍面臨著諸多挑戰(zhàn).就此，國內(nèi)外學(xué)者開展了大量研究工作：文獻[2-4]均是通過使用簡單穿戴式設(shè)備，提取加速度傳感器采集的數(shù)據(jù)片段特征值，完成對特定行業(yè)從業(yè)人員重復(fù)率較高的工作行為分析、分類與識別，但是額外設(shè)備的投入一定程度上限制了其推廣應(yīng)用.文獻[5-7]則是借助視覺圖像完成室內(nèi)行人行為識別.其中，文獻[5]是在對各種目標(biāo)行為建立圖像特征庫的基礎(chǔ)上，訓(xùn)練產(chǎn)生行為識別的深度學(xué)習(xí)網(wǎng)絡(luò)模型；文獻[6]在監(jiān)督學(xué)習(xí)基礎(chǔ)上開發(fā)了一種新穎的3D卷積神經(jīng)網(wǎng)絡(luò)(CNN)動作識別模型，通過監(jiān)控視頻解析行人細(xì)粒度行為；文獻[7]是通過提取視覺圖像中人體輪廓，比較不同輪廓間的動態(tài)時間規(guī)整距離(DTW)，從而達到行為識別的目的.借助視覺特征的行為識別方法，雖然有較高的識別準(zhǔn)確度，但是面臨著數(shù)據(jù)處理困難、大規(guī)模人群中個人行為特征提取困難等問題.

智能手機集成越來越豐富的傳感器使得可通過手機內(nèi)置傳感器輸出多感官數(shù)據(jù)流實現(xiàn)情景感知服務(wù)、生活記錄等.文獻[8-17]均是借助手機實現(xiàn)行人簡單行為感知.其中，文獻[8-9]都是提出了一種僅選取手機加速度計、陀螺儀、氣壓計輸出的時域特征作為唯一特征量，通過特征提取運算實現(xiàn)8種人體日常行為模式和4種摔倒行為模式的實時識別；文獻[10]則使用多種分類算法對手機陀螺儀、磁力計和加速度計不同組合方式采集的不同設(shè)備位置7種常見行人活動數(shù)據(jù)分類結(jié)果進行了對比試驗，結(jié)果表明多種傳感器組合一定程度上提升了行為分類準(zhǔn)確率，同時在特征提取上加入了數(shù)據(jù)頻域有關(guān)特征.

文獻[18]在提出“情境推理”概念基礎(chǔ)上抽象出的情境信息金字塔，描述了傳感器數(shù)據(jù)、數(shù)據(jù)特征、簡單活動與復(fù)雜情境之間的基礎(chǔ)聯(lián)系，低層簡單的行為活動作為行人情境感知、生理和心理狀態(tài)推估中重要的一環(huán)具有重要的研究意義.當(dāng)前室內(nèi)火災(zāi)頻發(fā)，對人民生命財產(chǎn)安全產(chǎn)生了極大威脅.由于基礎(chǔ)設(shè)施條件、能力限制，發(fā)生火災(zāi)時室內(nèi)行人安全狀態(tài)無法得到有效監(jiān)控和保障，因此，借助手機內(nèi)置傳感器識別室內(nèi)火災(zāi)行人細(xì)粒度行為進而理解行人當(dāng)前生理、心理、位置狀態(tài)有著極大的研究價值.

針對當(dāng)前室內(nèi)火災(zāi)情境，提出一種基于手機多源傳感器的室內(nèi)火災(zāi)行人細(xì)粒度行為識別與匹配的方法.借助手機內(nèi)置多源傳感器完成對行人當(dāng)前表征行為特征的數(shù)據(jù)采集，在異常子序列探測后提取行為特征向量，利用Key-DTW算法以及相應(yīng)訓(xùn)練成型的分類模型分別對特征各異的室內(nèi)火災(zāi)行人異常行為進行匹配、理解.

1 數(shù)據(jù)采集與預(yù)處理

1.1 數(shù)據(jù)采集

(1) 傳感器選擇.當(dāng)前智能手機內(nèi)置豐富的傳感器元件，這些測量元件輸出的數(shù)據(jù)在很大程度上反映了用戶當(dāng)前各種行為信息.因此，手機多源傳感器數(shù)據(jù)具有較大的研究價值.一般手機配備的傳感器如表1.

(2) 設(shè)備位置選擇.當(dāng)手機位于身體不同部位時，伴隨不同的擺動幅度，數(shù)據(jù)特征呈現(xiàn)出一定差異，就此試驗選用了行人常見的3種設(shè)備位置(圖1)，分別為手中擺臂、下衣口袋、手中使用，針對具體行為選用合適的設(shè)備位置.

表1手機內(nèi)置傳感器列表及其作用

Tab.1Listsofdifferentinertialsensorsofsmartphoneandtheirfunctions

傳感器名稱字段用處加速度計TYPE_ACCLEROMETER判斷行走、靜止、跑步陀螺儀TYPE_GYRSCOPE判斷轉(zhuǎn)彎、掉頭等方向傳感器TYPE_ORIENTATION判斷是否迷失方向等GNSS模塊GPS_PROVIDER判斷位置等磁力計TYPE_MAGNETIC_FIELD判斷是否乘坐電梯等氣壓計TYPE_PRESSURE判斷樓層信息等光線傳感器TYPE_LIGHT判斷光線可見度等

圖1 測試設(shè)備所處位置

1.2 數(shù)據(jù)預(yù)處理

(1) 數(shù)據(jù)篩選處理.設(shè)定各類傳感器數(shù)據(jù)閾值，丟棄超過閾值的錯誤數(shù)據(jù).由于平滑等處理會損害某些異常行為數(shù)據(jù)特征，因此，盡量保持?jǐn)?shù)據(jù)原特征.

(2) 數(shù)據(jù)切片.精準(zhǔn)反映行為特征要求傳感器保持較高的采樣頻率，這也就導(dǎo)致數(shù)據(jù)量過大問題，不利于異常子序列的探測和特征值提取工作，因此，需對數(shù)據(jù)進行合理切片，片段長短選取既要保證不損失數(shù)據(jù)特征，又要降低數(shù)據(jù)浪費.

(3) 異常子序列探測.行人在發(fā)生各種特征行為前，往往是處于一種相對穩(wěn)定的狀態(tài)，比如靜止、勻速行走等.在此，將某些關(guān)鍵性行為發(fā)生時所觀測的傳感器數(shù)據(jù)視為異常數(shù)據(jù)序列.在一組傳感器數(shù)據(jù)序列中提取出行為數(shù)據(jù)即探測數(shù)據(jù)序列中的異常數(shù)據(jù)序列，并將探測結(jié)果用于特征值提取.有2種探測方法.

一是3σ探測.通過大量實驗分析發(fā)現(xiàn)，在絕大多數(shù)組數(shù)據(jù)中，有以下規(guī)律：數(shù)據(jù)中至少有99.7%左右的數(shù)據(jù)位于平均數(shù)±3個標(biāo)準(zhǔn)差(σ)范圍內(nèi).一般將3σ以外的探測數(shù)據(jù)稱為異常值.

(1)

異常值序列Xoutlier為

(2)

由于行人傳感器數(shù)據(jù)采集頻率較高，采集數(shù)據(jù)量較大，計算整組數(shù)據(jù)往往會掩蓋數(shù)據(jù)特征，極易引起探測誤差.考慮持續(xù)時間長短不一的行為，設(shè)計使用30 s和1 s的大、小滑動窗口進行數(shù)據(jù)切片，相鄰窗口均有50%重疊，分別計算各個窗口數(shù)據(jù)特征，探測各個窗口可能出現(xiàn)的異常值.探測結(jié)束后，以異常值為中心，重新設(shè)置、擴充窗口，提取該窗口下的數(shù)據(jù)序列，用于特征值提取.滑動窗口、擴充窗口大小依據(jù)試驗經(jīng)驗進行設(shè)置.

二是利用四分位數(shù)進行異常探測.使用滑動窗口(四分位數(shù)異常探測過程中窗口大小可適當(dāng)擴大，該方法適合處理大規(guī)模數(shù)據(jù))進行異常值探測，將窗口內(nèi)數(shù)據(jù)按照從小到大排序，其中位于25%處數(shù)值為上四分位，用Vfl表示，75%處為下四分位，用Vfu表示，計算上、下截斷點時序數(shù)據(jù)的幅值.

上截斷點時序數(shù)據(jù)的幅值d1為

d1=Vfl-kVfl-Vfu

(3)

下截斷點時序數(shù)據(jù)的幅值d2為

d2=Vfu+kVfl-Vfu

(4)

式中：參數(shù)k并非固定值，可以依據(jù)經(jīng)驗進行調(diào)整.將小于d1或者大于d2的數(shù)據(jù)稱為異常值.探測結(jié)束后同樣以異常點為中心，設(shè)置數(shù)據(jù)擴充窗口，抽取異常數(shù)據(jù)序列.

(4) 特征值提取.手機傳感器采集的為離散數(shù)據(jù)量，通過單點數(shù)據(jù)無法分析行人行為特征，需對抽取的異常子序列進行特征運算.考慮傳感器輸出的均為載體坐標(biāo)系下數(shù)據(jù)，在不同設(shè)備姿態(tài)下，單軸傳感器數(shù)據(jù)面臨較大的不確定性，因此選用總的加速度、角速度用于特征計算.當(dāng)行人進行某些動作時，軀干呈現(xiàn)一定幅度變化，三軸總加速度也表現(xiàn)出不同特征，比如跑步、上樓等，使用總加速度平均值、標(biāo)準(zhǔn)差、最大值、最小值、峰度和偏度對這些行為具有很好的區(qū)分效果；行人進行與方向變化有關(guān)的動作時，比如轉(zhuǎn)彎、掉頭等，使用三軸總角速度的此類特征也能夠?qū)@些行為有較好的區(qū)分.針對行人加、減速過程，提出一種利用總加速度波峰檢測結(jié)果分析峰值變化走向分析運動趨勢的特征量.

平均值為

(5)

方差為

(6)

最大值為

Vmax=max(X)

(7)

最小值為

Vmin=min(X)

(8)

峰度為

(9)

偏度為

(10)

波峰趨勢為

Vtrend=f(xmax 1,xmax 2,xmax 3,…)

(11)

式中：X為總加速度或角速度序列；min和max分別表示求向量的最小值和最大值的函數(shù)；xmax 1、xmax 2、xmax 3表示窗口內(nèi)所有波峰值；f表示獲取擬合波峰向量得到的直線的斜率的函數(shù).

2 行為解析

2.1 行人異常行為解析

當(dāng)室內(nèi)發(fā)生火災(zāi)時，由于面臨著各種突發(fā)情況,行人往往伴隨各種異常行為.不同的應(yīng)激性行為手機內(nèi)置傳感器輸出的數(shù)據(jù)信息往往帶有不同的特征.針對火災(zāi)這一特定情境進行行為模擬試驗，圖2即為可能出現(xiàn)的異常行為的模擬試驗數(shù)據(jù)特征.行人在摔倒和下蹲時(圖3)加速度發(fā)生突變，加速、減速過程加速度波峰呈清晰的上升和下降趨勢，靜止、跑步、爬行和下蹲走則在加速度幅值上有些較大差異，但是爬行和下蹲走(圖4、5)過程中數(shù)據(jù)起伏雜亂程度又有所區(qū)別.正是不同動作數(shù)據(jù)所呈現(xiàn)的不同特征，為動作識別、分類提供了可能.另外，借助此類行為的識別，可以進一步推估行人當(dāng)前的生理、心理狀態(tài)，比如加速可能表明行人在危險迫近時的恐慌，摔倒、靜止表明可能出現(xiàn)受傷等情況，爬行和下蹲走的識別可判斷行人正處于危險之中等.

圖2 加速、減速時總加速度變化

Fig.2Accelerationdatacharacteristicsofaccelerationanddeceleration

圖3 摔倒、下蹲時總加速度變化

圖4 常速、靜止、跑步時總加速度變化

Fig.4Accelerationdatacharacteristicsofwalkingatnormalspeed,staticandrunning

圖5 爬行、下蹲走時總加速度變化

Fig.5Accelerationdatacharacteristicsofcrawl,squat&moving

2.2 反映位置狀態(tài)細(xì)粒度行為解析

反映位置狀態(tài)的關(guān)鍵行為是指室內(nèi)火災(zāi)行人在逃生過程中，經(jīng)過某些特殊點位、區(qū)域時，手機內(nèi)置傳感器輸出數(shù)據(jù)會表現(xiàn)出一定的特征，通過對此類特征的分析，既能獲取行人當(dāng)前的位置信息，又一定程度上反映了室內(nèi)逃生通道、出口的安全性、可用性，為室內(nèi)實時應(yīng)急疏散決策提供了豐富的信息.具體包括樓梯、電梯、扶梯、轉(zhuǎn)角、門窗等。有關(guān)加速度變化情況見圖6、7、8.

圖6 乘坐廂式電梯時總加速度變化

圖7 樓梯上、下行時總加速度變化

圖8 轉(zhuǎn)角、掉頭時角速度變化

Fig.8Angularvelocitydatacharacteristicsofmakingaturnandturninground

3 行為識別與匹配

3.1 機器學(xué)習(xí)分類試驗

采用的分類算法，包括決策樹、人工神經(jīng)網(wǎng)絡(luò)、貝葉斯、向量空間模型、集成學(xué)習(xí)、基于關(guān)聯(lián)規(guī)則等.選取決策樹中C4.5算法、隨機森林(RandomForest)、支持向量機(SVM)、樸素貝葉斯(NaiveBayes)、邏輯斯蒂回歸(Logistic)以及基于實例分類器中最鄰近算法(KNN)進行行為識別分析,其簡介如表2.

行人傳感器數(shù)據(jù)采集數(shù)據(jù)量往往很大，人工進行異常序列、特征值提取存在較大困難，需借助高性能計算機進行統(tǒng)計機器學(xué)習(xí).利用計算機實現(xiàn)數(shù)據(jù)批量處理，將采集的大量先驗數(shù)據(jù)訓(xùn)練成可靠性、準(zhǔn)確度高的預(yù)測模型，對未知數(shù)據(jù)借助模型進行分類、聚類等.本文主要利用機器學(xué)習(xí)實現(xiàn)行人行為識別，即行為分類過程.具體分類流程如圖9所示.

表2 不同分類算法簡介

圖9 基于分類器的行為識別流程

3.2 基于KeyDTW算法的行為匹配

基于Key-DTW算法用于衡量2個離散序列的相似程度，該算法可以用于計算不同長度序列的相似度，能夠?qū)π蛄械难诱古c壓縮有較好的適應(yīng)性.在行人特殊行為識別過程中，不同行為主體完成某一行為往往帶有較大的時間差異性，但傳感器數(shù)據(jù)特征仍保持有較大的相似性，因此，可以借助該算法對相同行為進行判別.

對于M維關(guān)鍵點序列的行為參考向量R和W維關(guān)鍵點序列的行為向量T(M不一定等于W).構(gòu)造矩陣AMⅹW，矩陣中每個數(shù)表示2個序列中對應(yīng)值的歐氏距離.搜尋最短路徑，即1組相鄰的矩陣元素的集合，記為P={p1,p2,p3,…，pl}，其中P滿足以下條件：

(1)l∈[max(M,W),M+W-1].

(2)p1=a11,pl=aMN.

(12)

式中:m、M′表示序列R中元素序號；w、W′表示序列T中元素序號；amw表示2序列中第m和w個元素的歐氏距離；D(R,T)為2向量最終距離累加量；D(m,w)為路徑最小累加值.整個Key-DTW度量過程中僅使用行為觀測數(shù)據(jù)序列中的關(guān)鍵點，極大減少了數(shù)據(jù)存儲量，提高了計算速度.

基于key-DTW算法的行為匹配分為2個階段：離線行為參考向量庫構(gòu)建和在線行為識別階段.離線階段是通過采集大量行為數(shù)據(jù)，訓(xùn)練產(chǎn)生出最佳的每種行為的參考向量；在線階段通過傳感器采集數(shù)據(jù)，對出現(xiàn)特征的行為數(shù)據(jù)進行提取，利用key-DTW算法將提取特征數(shù)據(jù)同參考向量庫中的各個行為向量進行相似度計算，得到最優(yōu)的行為匹配結(jié)果.具體流程如圖10所示.

圖10 基于Key-DTW算法的行為匹配流程

4 試驗結(jié)果與討論

(1) 異常探測試驗.分別使用3σ探測和四分位數(shù)異常探測法對1組包含100次異常行為數(shù)據(jù)組進行探測試驗.比較探測結(jié)果表明，使用四分位法進行異常探測有著更高的正確率，能夠達到96%左右的準(zhǔn)確探測，具體結(jié)果如表3所示.

表3 異常探測方法結(jié)果比較

(2) 行為分類試驗.火災(zāi)行為模擬試驗均是在夜間照明條件較差的樓道進行，以模擬火災(zāi)室內(nèi)煙氣條件下能見度低的環(huán)境；行人均保持較高的移動頻率，以模擬真實環(huán)境下恐慌急躁心理.試驗中3名身高不一的自愿者于3處不同位置攜帶3臺設(shè)備進行數(shù)據(jù)收集工作，篩選處理后共保留1 377組不同行為數(shù)據(jù)樣本，利用WEKA平臺對數(shù)據(jù)進行分析處理.分類處理過程使用10-fold cross-validation方法來測試不同分類算法準(zhǔn)確性，即將數(shù)據(jù)集分成10份，輪流將其中9份作為訓(xùn)練數(shù)據(jù)，1份作為測試數(shù)據(jù).圖11顯示的為不同設(shè)備位置使用不同分類器試驗結(jié)果，結(jié)果顯示手持使用時數(shù)據(jù)特征保持更為完整，具有更高的分類準(zhǔn)確率.

由表4中分類準(zhǔn)確率可以看出在決策樹類別下的算法，準(zhǔn)確度均超過了90%.其中RandomForest算法達到了92.88%，是6個算法中最高的.最小序列優(yōu)化(SMO)、NaiveBayes算法和Logistic算法的分類準(zhǔn)確度均超過了80%，而IBK算法分類效果較差，只獲得了68.19%左右的準(zhǔn)確度.從分類模型建立效率來看，各算法之間的差異不是很大.根據(jù)其分類時間長度可以分為2組，第1組為RandomForest、Logistic算法，需要的時間較長；第2組包括J48、SMO、IBK、NaiveBayes算法，該組算法的效率比第1組高約10倍以上，耗時可不計.

圖11 設(shè)備處于不同位置時分類器識別準(zhǔn)確率

Fig.11Recognitionaccuracyofdifferentclassifierindifferentpositionsofdevice

表4 不同分類器正確率和效率

(3) 行為匹配實驗.提取出異常行為數(shù)據(jù)序列后，分別使用歐氏距離、DTW距離、Key-DTW距離將異常行為序列同參考行為向量進行相似性比較，分析對比試驗耗時和匹配結(jié)果準(zhǔn)確性.具體結(jié)果如表5所示.

5 結(jié)論

針對室內(nèi)火災(zāi)情境下行人安全監(jiān)控缺失問題，提出了一種基于手機多源傳感器的室內(nèi)火災(zāi)行人細(xì)粒度行為識別與匹配的方法.以內(nèi)置多源傳感器數(shù)據(jù)為基礎(chǔ)，借助基于分類算法構(gòu)建的分類模型完成行人應(yīng)激性行為識別；對于持久性動作序列，則是利用Key-DTW算法實現(xiàn)相似性行為匹配.最后，通過對行人細(xì)粒度行為理解以完成對行人即時心理、生理、位置狀態(tài)的監(jiān)控.

表5 行為匹配結(jié)果

注：“+”表示匹配正確，“-”表示匹配錯誤.