孫冰怡,呂 巍,李文洋

(吉林大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,長春 130012)

大部分智能手機(jī)都有記錄聲音、影像和位置等功能,其中的應(yīng)用程序可通過多感官數(shù)據(jù)流實現(xiàn)情景感知服務(wù)、健康監(jiān)測和生活記錄.生活記錄是一個漫長的過程,它通過用戶佩戴特定設(shè)備收集感知數(shù)據(jù),并將其存儲于表格中以便后期瀏覽、注釋和查詢[1-2].如果生活記錄系統(tǒng)能從低層次的感官數(shù)據(jù)流中識別出高級別的用戶經(jīng)歷,且無需用戶手動注釋大量的數(shù)據(jù),則將十分有意義.為捕捉用戶的日常經(jīng)歷,本文提出一個生活記錄系統(tǒng),用手機(jī)收集多感官數(shù)據(jù)流,并為日?；顒幼詣訕?biāo)注高級標(biāo)簽.

自動注釋在嵌入式、手機(jī)系統(tǒng)、傳感器網(wǎng)絡(luò)、多媒體、智能系統(tǒng)和機(jī)器學(xué)習(xí)等領(lǐng)域應(yīng)用廣泛,且與行為識別緊密相聯(lián)[3-4].傳統(tǒng)行為識別研究大部分使用定制的貼身傳感器和嵌入式系統(tǒng)[5],或使用外接傳感器如監(jiān)視照相機(jī)/麥克風(fēng)、object-attached傳感器和RFID標(biāo)簽[6]等.目前,人們開始關(guān)注使用智能手機(jī)平臺[7],它能從用戶每天不間斷的日?；顒又惺占阶匀粩?shù)據(jù).產(chǎn)生這樣環(huán)境的活動范圍十分廣泛,用戶通過控制環(huán)境執(zhí)行動作的原子集,如姿勢/運(yùn)動類型(坐、臥、行走、跑步、站立、上/下樓梯等).

本文在獲取智能手機(jī)傳感器信號的基礎(chǔ)上,提出一種新的行為識別算法SC-HMM,該算法的整體框架如圖1所示.先使用譜聚類算法對各類手機(jī)傳感數(shù)據(jù)的時序序列進(jìn)行聚類,然后對聚類結(jié)果訓(xùn)練HMM模型,以實現(xiàn)行為的自動識別.本文利用自愿者42天的記錄評估SC-HMM方法,并對比了多種相關(guān)方法,實驗結(jié)果表明本文算法性能良好.

圖1 SC-HMM算法的框架流程Fig.1 Flow chart of the framework for SC-HMM algorithm

1 手機(jī)傳感器的數(shù)據(jù)采集

在數(shù)據(jù)采集過程中,通過智能手機(jī)應(yīng)用程序可獲得如下時序序列：

V={V1,V2,…,VT},

(1)

其中:T為采樣次數(shù);Vt為t時刻的采集信息,表示如下：

Vt=(at,Pst,rssit),

(2)

式中:at表示加速度;Pst表示位置信息;rssit表示接收的信號強(qiáng)度指示.

對于加速度a,由于通過手機(jī)得到的采樣數(shù)據(jù)是隨時間變化的不連續(xù)數(shù)據(jù),因此本文只選取連續(xù)的數(shù)據(jù)集進(jìn)行實驗,實際速率在實驗可接受的范圍內(nèi).采用Freescale的MMA7455L三軸加速度傳感器,其具有調(diào)理信號、低通濾波、檢測脈沖和快速運(yùn)動的功能,最大采樣為16 Hz,2.4～3.6 V的電壓適合于在手機(jī)運(yùn)動檢測中應(yīng)用.文獻(xiàn)[8]對行為識別進(jìn)行了時序特性(均值、方差、過零率和自相關(guān)等),特別是頻域特性(FFT譜熵等)的研究.本文也將3個軸的加速信號進(jìn)行樣本處理,將波形從時域信號變換到頻域信號,實驗選取16個樣本,最終獲得27維原始特征序列.

GPS(global positioning system)主要利用多個衛(wèi)星對協(xié)作配合的接收器節(jié)點(diǎn)進(jìn)行定位,可得到較高的地理坐標(biāo)定位,但GPS目前針對室內(nèi)或有密度較大遮擋物的位置很難定位,因此本文將盲區(qū)內(nèi)的信號視為丟失數(shù)據(jù),得到的GPS坐標(biāo)為

Pst=(Xst,Yst).

(3)

本文還采用RSSI(received signal strength indicator)技術(shù)定位,將接收到的信號通過強(qiáng)弱的測定判斷信號點(diǎn)與接受點(diǎn)的距離.RSSI技術(shù)是在反向通道基帶接收濾波后進(jìn)行的.在定位前,根據(jù)經(jīng)驗?zāi)Ｐ拖冗x擇若干個測試點(diǎn),記錄每個測試點(diǎn)基站收到信號的強(qiáng)度,并建立離散線性數(shù)據(jù)庫集(x,y,t1,t2,t3,t4,t5),實際定位中,通過智能手機(jī)應(yīng)用程序獲得

rssit=(th1,th2,th3,th4,th5),

(4)

其中thi(i∈[1,5])信號按從小到大順序減弱,依次記錄每個點(diǎn)的位置和信號強(qiáng)度.將測得信號與實際定位信號進(jìn)行比較,將均方差最小點(diǎn)的坐標(biāo)作為節(jié)點(diǎn)坐標(biāo),并獲取WIFI熱點(diǎn)名稱N.

將上述采集的數(shù)據(jù)Vt=(at,Pst,rssit)作為將要進(jìn)行譜聚類時的數(shù)據(jù)集合V={V1,V2,…,Vn}的子集.

2 譜聚類算法

數(shù)據(jù)采集后,即形成一個活動時間序列數(shù)據(jù)庫,可將這些活動序列聚成幾個組,通過聚類等無監(jiān)督方式學(xué)習(xí)這些活動序列.為獲得無監(jiān)督學(xué)習(xí)活動時間序列,本文檢測時間序列間的相似性并采用聚類算法.

2.1 LCSS序列距離

活動時間序列的長度并不一定相等,其依賴于活動屬性.盡管相同的活動,時間序列也未必相等,因為狀態(tài)的持續(xù)時間、速度和采樣頻率不同.為了度量兩個活動時間序列Vi和Vj的相似度,即需要對不等長的Vs距離度量.

最長公共總序列(longest common subsequence,LCSS)[9]對不等長的時間序列是個有效的距離度量工具,LCSS對噪聲健壯且可進(jìn)一步處理異常.行為時間序列的LCSS距離為

(5)

其中:Ti和Tj分別為兩個活動時間序列的長度;LCSS(Vi,Vj)為Vi和Vj之間匹配點(diǎn)的數(shù)量.LCSS定義為

(6)

可通過動態(tài)規(guī)劃有效地計算匹配點(diǎn)在一定的距離參數(shù)ε和可接受的時間窗口δ之內(nèi).

2.2 譜聚類

譜聚類可有效地計算,并比傳統(tǒng)聚類算法提高了性能.譜方法不需在數(shù)據(jù)點(diǎn)分布上做任何假設(shè),而依賴于近似優(yōu)先圖劃分相似矩陣的特征分解.對活動時間序列的譜聚類算法如下.

算法1活動時間序列的譜聚類.

1) 構(gòu)造相似圖S={sij};

2) 計算正規(guī)化的Laplace矩陣L=I-D-1/2SD-1/2;

3) 計算L的前K個特征向量;

4) 令U∈N×K為由特征向量作為列構(gòu)造的正規(guī)化矩陣;

5) 用k均值對U的行進(jìn)行聚類.

用Gauss核函數(shù)由LCSS活動時間序列構(gòu)造相似矩陣S={sij},表示完全連接圖的相鄰矩陣:

(7)

其中參數(shù)σ描述活動時間序列的相鄰,σ值越大活動時間序列有越高的相似值,同時σ值越小會產(chǎn)生一個更稀疏的相似矩陣.從相鄰矩陣形成Laplace矩陣:

L=I-D-1/2SD-1/2,

(8)

其中D表示S中相同行元素之和的對角矩陣.由L的前K個特征向量作為列構(gòu)成一個新的N×K矩陣U.U的每行作為訓(xùn)練活動時間序列V的一個新特征向量表示,用k-means將活動時間序列聚成K個相似活動時間序列組.

3 基于HMM的動作識別

有監(jiān)督活動學(xué)習(xí)系統(tǒng)大多數(shù)用HMM(hidden Markov model)作為分類器.本文對行為的分類也采用HMM模型進(jìn)行學(xué)習(xí)分類.圖2為HMM模型用于手機(jī)行為識別的一個實例.一個HMM模型可表示為λ=(A,B,π0),其中:λ表示時間序列V作為觀察值的活動模型;A表示狀態(tài)轉(zhuǎn)移概率矩陣；B表示觀察概率分布；π0表示初始狀態(tài)分布.HMM模型由以下參數(shù)[10]決定.

圖2 HMM應(yīng)用于智能手機(jī)行為識別實例Fig.2 Example of HMM applied in activity recognition of smart phone

1) 模型的狀態(tài)數(shù)Q.為方便,Q是固定的,但估計一個合適的數(shù)是可能的;

2)Q×Q狀態(tài)轉(zhuǎn)移概率矩陣A={aij},其中

aij=p(qt+1|qt);

(9)

3) 觀察概率分布B=bj(f),其中

bj(f)=G(f,μj,Σj)

(10)

表示每個j=1,2,…,Q狀態(tài)的未知均值μj和方差Σj的Gauss流f分布;

4) 初始狀態(tài)分布π0={πj}有

πj=p(q1=j).

(11)

對每個k=1,2,…,K(K是譜聚類得出的類個數(shù))行為表示為λk=(Ak,Bk,π0),其中π0對每個行為有

(12)

其中C是保證有效概率的歸一化常數(shù).該定義允許行為開始于任意狀態(tài).αp的選擇不嚴(yán)格,只要對每個狀態(tài)有非零概率即可.

4 實驗結(jié)果與分析

4.1 實驗數(shù)據(jù)

實驗采用真實的傳感器數(shù)據(jù)評估本文系統(tǒng).從平時攜帶智能手機(jī)的自愿者中收集生活記錄,這些生活記錄提供了實驗用的數(shù)據(jù)及標(biāo)簽.共獲得195 h,連續(xù)42 d的多傳感器記錄數(shù)據(jù)集合.在42 d中共收集自定義片段390張,平均每天收集9.3個片段,其中每個片段上的時間節(jié)點(diǎn)都包含加速度、GPS和RSSI等信息,且每個片段均對應(yīng)一個日常動作的標(biāo)簽.該數(shù)據(jù)集合共包含行走、站立、跑步、上樓、下樓、乘上行電梯和乘下行電梯等在內(nèi)的7個日常動作.

4.2 實驗結(jié)果

為有效地評估本文方法,在實驗中對比了一些常用的行為方法,包括SVM(支持向量機(jī))[11]、CRF(條件隨機(jī)場)[11]和SVM-HMM(支持向量機(jī)隱Markov)[12].

采用十折交叉驗證的方式計算每種方法下各類別的分類精度.先將實驗數(shù)據(jù)集隨機(jī)分為10個大小相同的子集,依次選擇其中1個子集作為測試數(shù)據(jù)集,剩下的9個子集作為訓(xùn)練集,并計算正確識別率.共執(zhí)行10次,并將10次獲得的平均正確率作為最終分類精度.

表1列出了不同識別方法得到的分類精度.由表1可見,本文提出的基于SC-HMM的日常動作識別方法具有最高的識別正確率,平均高達(dá)93.48%,其中在“跑步”、“乘上行電梯”和“乘下行電梯”等3個類中的分類精度均超過97%.而其他幾種方法中,SVM-HMM的效果最好,平均接近92.94%,但其區(qū)分“上下樓”和“乘上下行電梯”時表現(xiàn)不理想.實驗結(jié)果表明,本文提取的手機(jī)傳感器的加速度、GPS和RSSI信息能有效反應(yīng)用戶的行為特征,如“乘電梯”這個行為獲得的RSSI信號要遠(yuǎn)小于其他類別的信號,這對于實現(xiàn)正確的識別具有顯著作用.此外,本文提出的基于SC-HMM的日常動作識別方法也能有效挖掘不同時間片段間的關(guān)聯(lián)性,從而有效提高動作識別的正確率.

表1 不同方法的分類精度Table 1 Classification accuracy of different methods

綜上所述,本文在智能手機(jī)傳感器信號的基礎(chǔ)上,提出了基于譜聚類和HMM算法的行為識別方法,該方法能有效地挖掘不同傳感器信號間的關(guān)聯(lián),提高行為識別的正確率.以真實的用戶智能手機(jī)數(shù)據(jù)集進(jìn)行了實驗,并對比了多種相關(guān)方法.實驗結(jié)果表明,本文方法在7個日常動作識別中能取得較好的的分類精度(平均0.934 8),均高于其他方法.

[1] Hamm J,Stone B,Belkin M,et al.Automatic Annotation of Daily Activity from Smartphone-Based Multisensory Streams [C]//Lecture Notes of the Institute for Computer Sciences,Social Informatics and Telecommunications Engineering.Berlin:Springer,2013:328-342.

[2] Chennuru S,CHEN Peng-wen,ZHU Jiang,et al.Mobile Lifelogger-Recording,Indexing,and Understanding a Mobile User’s Life [C]//Lecture Notes of the Institute for Computer Sciences,Social Informatics and Telecommunications Engineering.Berlin:Springer,2012:263-281.

[3] HU Hong-yu,WANG Qing-nian,QU Zhao-wei,et al.Spatial Pattern Recognition and Abnormal Traffic Behavior Detection of Moving Object [J].Journal of Jilin University:Engineering and Technology Edition,2011,41(6):1598-1602.(胡宏宇,王慶年,曲昭偉,等.運(yùn)動目標(biāo)空間模式辨識與異常交通行為檢測 [J].吉林大學(xué)學(xué)報:工學(xué)版,2011,41(6):1598-1602.)

[4] YIN Jian-qin,WANG Jing-jing,LI Jin-ping.New Space-Time Interest Point Detection Scheme Based on Cumulative Entropy Difference [J].Journal of Jilin University:Engineering and Technology Edition,2012,42(3):754-758.(伊建芹,王晶晶,李金屏.新的時空特征點(diǎn)檢測方法 [J].吉林大學(xué)學(xué)報:工學(xué)版,2012,42(3)：754-758.)

[5] Altun K,Barshan B.Human Activity Recognition Using Inertial/Magnetic Sensor Units [C]//Human Behavior Understanding.Berlin:Springer,2010:38-51.

[6] GU Tao,WANG Liang,WU Zhan-qing,et al.A Pattern Mining Approach to Sensor-Based Human Activity Recognition [J].IEEE Transactions on Knowledge and Data Engineering,2011,23(9):1359-1372.

[7] Bieber G,Voskamp J,Urban B.Activity Recognition for Everyday Life on Mobile Phones [C]//Universal Access in Human-Computer Interaction.Intelligent and Ubiquitous Interaction Environments.Berlin:Springer,2009:289-296.

[8] Lester J,Choudhury T,Borriello G.A Practical Approach to Recognizing Physical Activities [C]//PERVA SIVE’06 Proceedings of the 4th International Conference on Pervasive Computing.Berlin:Springer,2006:1-16.

[9] Cormen T H,Leiserson C E,Rivest R L.Introduction to Algorithms [M].Cambridge:MIT Press,1990.

[10] Morris B T,Trivedi M M.Trajectory Learning for Activity Understanding:Unsupervised,Multilevel,and Long-Term Adaptive Approach [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(11):2287-2301.

[11] Lafferty J D,McCallum A,Pereira F C N.Conditional Random Fields:Probabilistic Models for Segmenting and Labeling Sequence Data [C]//Proceedings of the Eighteenth International Conference on Machine Learning.San Francisco:Morgan Kaufmann Publishers Inc，2001:282-289.

[12] Altun Y,Tsochantaridis I,Hofmann T.Hidden Markov Support Vector Machines [C]//Proceedings of the Twentieth International Conference of Machine Learning (ICML 2003).Washington DC:AAAI Press,2003:3-10.

(責(zé)任編輯：韓 嘯)

研究簡報