徐守坤，李安娜，石 林

(常州大學 信息科學與工程學院，江蘇 常州 213164)

智能空間中基于場景和本體的用戶異?；顒幼R別

徐守坤，李安娜，石 林

(常州大學 信息科學與工程學院，江蘇 常州 213164)

大多數(shù)基于傳感器和本體的異常活動識別研究僅考慮動作本身是否具有危險性或異常性，認為任何偏離日?；顒拥哪Ｐ投际钱惓?，針對可能導致的漏判或誤判，提出考慮場景語義，同時加入用戶本身情況因素;采集日常生活活動數(shù)據(jù)，建立相應(yīng)的本體庫，另外加入4種已確定的異?；顒?，對異?；顒舆M行更豐富的識別;經(jīng)過實驗驗證，異?；顒幼R別準確率有明顯提高。

場景；本體；異?；顒幼R別

0 引言

智能空間中人的異?；顒幼R別近年來得到眾多學者的關(guān)注[1-4]?；顒幼R別研究方法主要有兩類：視頻識別[5-7]和可穿戴識別。視頻識別因涉及用戶隱私而受到限制，可穿戴識別是指利用智能空間中分布的很多傳感器，加上用戶可能佩戴穿戴式傳感器設(shè)備，運用數(shù)據(jù)挖掘和機器學習技術(shù)建立活動模型。Tong Y[8]等基于隱藏狀態(tài)的條件隨機域設(shè)計兩種算法識別“遺忘”和“新的活動”，實驗結(jié)果優(yōu)于特征向量距離的異?；顒幼R別，同時驗證考慮子活動關(guān)系的建模和基礎(chǔ)相關(guān)性有助于異?；顒幼R別。Gayathri K S[9]等使用一種新的混合數(shù)據(jù)和知識驅(qū)動的分層方法，集成常識知識與概率模型的Markov Logic Network(MLN)增強識別能力，系統(tǒng)還確定影響異常檢測最相關(guān)的因素。Wang C[10]等首先通過時間依賴性的頻繁模式挖掘算法找到正常的活動模式，其次傳感器節(jié)點運用分布式知識存儲機制，最后觸發(fā)的傳感器采用分布式異常檢測算法，通過計算當前活動模式與正?；顒幽Ｊ降南嗨菩赃M行比較。

在基于本體的語義識別上，Rodríguez N D[11]等使用一個模糊本體代表人體活動，對模糊、不完整和不確定的知識進行建模和推理，以及可以不精準和生活化的查詢。Okeyo G[12]等介紹一種動態(tài)的分割模型解決傳感器數(shù)據(jù)實時分割，并且描述知識驅(qū)動人體活動本體識別背景下的工作機制與相關(guān)模型的算法。Chen L[13]等介紹一種通過增量活動發(fā)現(xiàn)和配置文件學習的混合方法和推理規(guī)則學習新的活動和用戶活動概要，結(jié)合基于傳統(tǒng)數(shù)據(jù)挖掘活動建模與基于本體顯式活動模型的優(yōu)勢。采集日常生活活動數(shù)據(jù)時，異?；顒影l(fā)生的概率較正?；顒佣院艿?，因此用于實驗研究的異?；顒訑?shù)據(jù)一直不足。大多數(shù)基于傳感器[14]和本體的異常活動識別研究僅考慮動作本身是否具有危險性或異常性，認為任何偏離日?；顒拥哪Ｐ投际钱惓＃捎诤雎詧鼍罢Z義，即相關(guān)上下文信息，甚至沒有考慮用戶本身情況，可能導致漏判或誤判。在場景識別過程中，傳感器滿足觸發(fā)條件后才會激活，例如隨時間推移或位置改變，傳感器檢測到當前活動與上一持續(xù)時間或位置的活動有明顯變化，或是比對當前活動與歷史記錄活動的差異，從而實現(xiàn)場景實時動態(tài)檢測。根據(jù)這一問題，就基于場景的異?；顒幼R別進行研究。

1 活動和場景

1.1 活動

可穿戴傳感器測量用戶的運動數(shù)據(jù)，得知相應(yīng)行為?；顒?Activity)指用戶當前時間段的行為，從活動是否異常的屬性可分為兩類：非異?；顒?NonAbnormalActivity)與警告活動(WarningActivity)；非異?；顒永纾鹤?Walking)，跑(Running)，跳(Jumping)，蹲(Squatting)，站(Standing)，坐(Sitting)，躺/臥(Lying)，趴(Groveling)，俯身/彎腰(BendOver)，翻身/轉(zhuǎn)身(Turning)，上樓梯(ComeUpstairs),下樓梯(GoDownstairs)等。警告活動例如：跌倒(Falling)，頭痛(Headache)，嘔吐(Vomiting)，昏厥(Fainting)等?；顒宇惾鐖D1所示。從活動的復雜程度也可分為兩類：簡單活動和復雜活動，復雜活動是多個簡單活動的組合表達，于是仍從簡單活動角度進行分析，但不利于判斷活動是否異常。因此，活動是分析場景信息的基礎(chǔ)，場景分析被觸發(fā)在異常動作轉(zhuǎn)變的動態(tài)活動或時間超限時。

1.2 場景

日常生活活動(ADL，Activities of Daily Living)是有多樣性的，包括時間、空間和環(huán)境上下文。時間上下文表明時刻和持續(xù)時間，通過計時器知道確定時間信息。空間上下文與位置信息和環(huán)境實體相關(guān)，例如房間、家具和家電，不同房間、家具和家電的傳感器編號不同，每間房的位置傳感器都能知道用戶位置，接觸式傳感器能檢測到門窗是否打開或家具是否被使用，設(shè)備傳感器能檢測到家電是否開啟。設(shè)備類如圖2所示，傳感器概念模型如圖3所示，空間位置本體如圖4所示。環(huán)境上下文包括溫度、濕度和天氣等環(huán)境信息，傳感器種類不同，可測得相應(yīng)所需環(huán)境數(shù)據(jù)。

場景(Scenario)關(guān)聯(lián)ADL上下文信息，表示為：S={T,L,E,A}，其中，T代表時間上下文，L代表空間上下文，E代表環(huán)境上下文，A代表當前用戶所進行的活動。場景屬性如圖5所示。每個概念都有很多實例，例如家具可以分為沙發(fā)，飯桌，椅子，書桌，床，柜子等。

1.3 場景劃分

通過深化設(shè)計+圖紙的策劃應(yīng)用，實現(xiàn)幕墻工程深化設(shè)計策劃書以及專業(yè)的圖紙的最優(yōu)化，切實的保障后續(xù)開工的順利進行。

Sik= {Lik,Tjk,Enk,Amk},Uik=S1∪S2∪…∪Si∪Se,其中Se指的是特殊場景。

場景劃分是針對特定空間L、特定時間T和特定環(huán)境E,可能發(fā)生的活動A進行分類，建立相應(yīng)本體庫。

圖4 空間位置本體(OntoGraf圖)

(1)用戶活動的空間L劃分為若干個空間區(qū)域：L= {L1，L2，L3......}。例如臥室命名為L1,客廳命名為L2,廚房命名為L3等。

(2)環(huán)境上下文信息分為若干：E={E1,E2,E3……}，例如溫度命名為E1、濕度命名為E2、天氣命名為E3等。

(3)用戶在不同的時間段在同一區(qū)域中會有不同的活動，因此需要將每一天劃分為具體的時間段T= {T1,T2,T3......}。

(4)將用戶在同一區(qū)域中不同時間段的活動劃分為不同場景，S1= {L1,T1,E1,A1},S2= {L2,T2,E2,A2},S3= {L3,T3,E3,A3}, ......,Sik= {Lik,Tjk,Enk,Amk}

(5)本體庫中場景除此之外還包含附加特殊場景，例如用戶習慣變化。

2 建模和推理

2.1 智能空間本體建模

人體活動本體建模是通過本體語言描述人體活動的形式化語義，每個活動被定義為抽象活動類的特別化?；顒影才攀且苑謱拥姆绞剑缫惶斓幕顒涌梢员憩F(xiàn)為多個事件的組合，本體推理是用來識別用戶正在進行一個特定的活動。檢測到場景信息的變化后，推理機開始工作。本體的基礎(chǔ)組件是可以查找到智能空間中的位置坐標(如用戶在什么地方)、設(shè)備和環(huán)境對應(yīng)的語義，推理組件是識別用戶活動，并提供相應(yīng)的合適的服務(wù)。

圖1 活動類 圖2 設(shè)備類

圖3 傳感器概念模型圖

圖5 場景屬性 圖6 用戶類

2.2 人的建模

用戶本體模型是活動識別的重要組成部分，對活動識別的精準和預測有關(guān)鍵影響。用戶模型如圖6所示，包括用戶姓名、性別、年齡等基本屬性，也包含用戶相關(guān)上下文信息，如用戶位置、心跳、脈搏、血壓、體溫、心情等。在開始對用戶當前場景進行識別之前，就需要對用戶進行建模作為附加屬性，如病史、用戶偏好、生活方式。

2.3 推理規(guī)則的建立

語義推理機、推理引擎、規(guī)則引擎或者是簡單的推理機，是一種忠于事實或公理的可推理邏輯序列的軟件。語義推理機的概念歸納為推理引擎，提供一個更豐富的機制。變化檢測組件比較當前時間窗口的上下文情況與以前的時間窗口的上下文情況。如果當前上下文情況不同于以往情況，推理組件開始工作。其次，服務(wù)管理組件根據(jù)推理結(jié)果調(diào)用服務(wù)或發(fā)送消息。

OWL概念表示出來后，執(zhí)行引擎就會進行推理。ADL規(guī)則建立后，新的實例就會添加到實例庫。那些實例將來可以用來進一步推斷。當推理完成后，這些實例必須被轉(zhuǎn)化為OWL知識。基于不同用戶擴展最初的本體庫，記錄相關(guān)的正常場景和異常場景，當有新的場景出現(xiàn)，與本體庫中的正常場景有部分出入時，可以根據(jù)推理規(guī)則作出相應(yīng)調(diào)整。

Jena推理機的語法構(gòu)造規(guī)則是，Rule: (xpart ofy),(zpart ofy) → (xborderz)?？梢岳斫鉃?，如果前提得到滿足，則可以執(zhí)行相應(yīng)動作或者得出結(jié)論。

“躺在床上”中定義的“躺”是這樣的：

(? user location: locatedIn ? Bedroom),(? Bed eneObject: isOccupied ? true) → (? user activity: engageIn ? Lying)

只要滿足活動“躺下”和“鬧鐘響”這兩個條件，就可以推理出用戶起床。

[rule1: (? user: hasActivity ? b),(? b rdf: hasState act:? Lying),(? SleepingAlarm eleObject: isOn ? true) →(?user rdf: ? GettingupInBedroom) ]

2.4 異?；顒幼R別

僅憑動作判斷異常是不準確的，提高準確率需要場景信息，記錄傳感器采集的數(shù)據(jù)，在用戶活動時不判斷當前是否異常，只在異常被觸發(fā)后才進行判斷。有以下兩種情況觸發(fā)：第一種，當出現(xiàn)異常的簡單動作，如跌倒、昏厥、嘔吐等，就開始判斷當前活動是否真的異常。第二種，當出現(xiàn)時間異常的特定活動時，例如躺，則需要進一步判斷是否新習慣。一旦發(fā)現(xiàn)異常動作，場景語義分析相應(yīng)開展，首先判斷是否是用戶習慣，需要向前回溯幾個場景，即采集的之前場景連續(xù)數(shù)據(jù)，如果是習慣，則并不認定異常。然后，如果并非習慣，則需要檢測對比上下文信息，如果出現(xiàn)異常，即可認定當前活動為異常。流程圖如圖7所示。

圖7 異?；顒优袛嗔鞒虉D

3 實驗及驗證

研究異常場景的意義所在：涉及到用戶的健康、心理變化，能夠及時、貼心地關(guān)注用戶的日常起居。根據(jù)智能空間中的采集到的傳感器信息，記錄當前用戶的日常生活習慣，并記錄主要推理重點，以4個異?；顒訛槔旱?、頭痛、嘔吐、昏厥，以12個地點為例，記錄時長一個月。

在實驗環(huán)境的不同位置部署63個傳感器，包括溫度傳感器、壓力傳感器、位移傳感器等。實驗測試以Eclipse為開發(fā)平臺，采用protégé實現(xiàn)本體建模，用Jena進行語義場景本體推理。用戶交互界面包含兩個模塊，顯示傳感器記錄的數(shù)據(jù)、身體體征指數(shù)等相關(guān)信息模塊和對用戶所處場景的推理結(jié)果顯示模塊。首先要記錄從傳感器讀取的數(shù)據(jù)，同時包括傳感器獲得的其他附件信息(主要是用戶的生命體征信息等)，基本的活動場景信息稍后進行推理得到，判斷當前正在發(fā)生的場景是否異常，最后將推理得到的結(jié)果顯示在測試界面上。

參與測試的3位用戶進行9個場景測試，其中測試1是早上在臥室起床和早上起床時間段內(nèi)昏厥在臥室場景。測試2是中午在書房休息、晚上躺在廚房地板上。測試3是在客廳沙發(fā)上看電視、躺在客廳沙發(fā)上但生命體征指數(shù)不正常。其中測試1里起床的場景中的基本要素在場景本體庫中已經(jīng)定義，如用戶一般的起床時間、場景發(fā)生的地點、用戶的動作信息可以從傳感器獲得、臥室中燈是否開啟等環(huán)境信息也可以從相關(guān)傳感器中獲得。首先從動作發(fā)生的時間和地點等信息去場景本體庫中初步匹配符合條件的場景信息，然后通過從傳感器獲得的動作信息進行語義推理最終匹配到測試1正常的場景，在界面上顯示出用戶此時動作行為正常。同樣的過程，當用戶在起床后昏厥在臥室地板上時，根據(jù)此時動作發(fā)生的位置和時間首先對發(fā)生的本體庫中發(fā)生在臥室的場景進行匹配。根據(jù)從傳感器中獲取的數(shù)據(jù)信息進行語義推理，發(fā)現(xiàn)用戶此時躺在臥室地板上。針對這一動作匹配上面滿足條件的場景本體。實驗過程中在本體庫中無法匹配到對應(yīng)本體。同時根據(jù)此時測試1的用戶身體體征等外部信息最終判定用戶處于異常狀態(tài)。實驗結(jié)果如表1所示。

表1 場景識別準確率 %

另外，為確認場景識別的時間效率，對3位用戶進行“躺在廚房地上”場景識別的測試，文獻[15]中提出的HDP-HMM模型可以自動決定適當數(shù)量的狀態(tài)，采用Fisher核混合OCSVM模型，并且同HMM數(shù)據(jù)訓練法進行比對，如圖8所示。從測試結(jié)果中可以看出，場景在識別的過程中可以首先根據(jù)客戶所處的位置信息、動作發(fā)生的時間信息進行初步判斷，縮小后續(xù)識別的范圍。實驗結(jié)果表明基于場景的本體匹配可以很好的提高識別的效率。相較于HMM數(shù)據(jù)訓練法，HMM需要大量的數(shù)據(jù)采集成本，因而，隨實驗對象人數(shù)的增加，HMM的識別時間要遠遠高于基于場景本體的識別時間。

圖8 實驗分析

4 總結(jié)

識別方法由兩部分組成：智能家居ADL模式管理和異常場景識別。未來改進的重點將是找到更加完善的異常識別方法，結(jié)合使用方法的泛化能力。根據(jù)用戶行為改變，若判斷為習慣發(fā)生變化，判斷當前活動是否異常，如果正常，根據(jù)具體情況修改之前所建附加內(nèi)容，建立用戶反饋，增加判斷異常的容錯能力。

[1] Gu X, Cui J, Zhu Q. Abnormal crowd behavior detection by using the particle entropy[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(14): 3428-3433.

[2] Fang H, He L, Si H, et al. Human activity recognition based on feature selection in smart home using back-propagation algorithm[J]. ISA transactions, 2014, 53(5): 1629-1638.

[3] Candás J L C, Peláez V, López G, et al. An automatic data mining method to detect abnormal human behaviour using physical activity measurements[J]. Pervasive and Mobile Computing, 2014, 15: 228-241.[4] Jiang J, Jiang T, Zhai S. A novel recognition system for human activity based on wavelet packet and support vector machine optimized by improved adaptive genetic algorithm[J]. Physical Communication, 2014, 13: 211-220.

[5] Khan Z A, Sohn W. A hierarchical abnormal human activity recognition system based on R-transform and kernel discriminant analysis for elderly health care[J]. Computing, 2013, 95(2): 109-127.

[6] Gao X, Chen Z, Tang S, et al. Adaptive weighted online learning with application to abnormal activity recognition[J]. Neurocomputing, 2015.

[7] Huang B, Tian G, Wu H, et al. A method of abnormal habits recognition in intelligent space[J]. Engineering Applications of Artificial Intelligence, 2014, 29: 125-133.

[8] Tong Y, Chen R, Gao J. Hidden State Conditional Random Field for Abnormal Activity Recognition in Smart Homes[J]. Entropy, 2015, 17(3): 1358-1378.

[9] Gayathri K S, Elias S, Ravindran B. Hierarchical activity recognition for dementia care using Markov logic network[J]. Personal and Ubiquitous Computing, 2015, 19(2): 271-285.

[10] Wang C, Zheng Q, Peng Y, et al. Distributed abnormal activity detection in smart environments[J]. International Journal of Distributed Sensor Networks, 2014, 2014.

[11] Rodríguez N D, Cuéllar M P, Lilius J, et al. A fuzzy ontology for semantic modelling and recognition of human behaviour[J]. Knowledge-Based Systems, 2014, 66: 46-60.

[12] Okeyo G, Chen L, Wang H, et al. Dynamic sensor data segmentation for real-time knowledge-driven activity recognition[J]. Pervasive and Mobile Computing, 2014, 10: 155-172.

[13] Chen L, Nugent C, Okeyo G. An ontology-based hybrid approach to activity modeling for smart homes[J]. Human-Machine Systems, IEEE Transactions on, 2014, 44(1): 92-105.

[14] Kim Y H, Lim I K, Lee J K. A study on algorithm to identify the abnormal status of a patient using acceleration algorithm[J]. Personal and Ubiquitous Computing, 2014, 18(6): 1337-1350.

[15] Hu D H, Zhang X X, Yin J, et al. Abnormal Activity Recognition Based on HDP-HMM Models[A].IJCAI[C]. 2009: 1715-1720.

Human Abnormal Activity Recognition Using Scenario and Ontology in Intelligent Space

Xu Shoukun, Li Anna, Shi Lin

(School of Information Science and Engineering, Changzhou University, Changzhou 213164, China)

Most of the researches based on sensors and ontology for abnormal activity recognition only considers whether the action itself is dangerous or abnormal, showing that the routine activities are modeled and any deviation from the activity model is recognized as abnormality, so emphasizing the scenario semantics factor and user’s own situation for handling misjudgement or omissive judgement. Collecting activity data of daily living and then establishing the corresponding ontology base, meanwhile adding four kinds of identified abnormal activities, it has a better recognition of abnormal activities. The result of experiment validates that the recognition accuracy of abnormal activity is improved obviously.

scenario ; ontology; abnormal activity recognition

2015-08-27；

2015-09-25。

徐守坤(1972-),男,吉林蛟河人,博士,教授,CCF會員(E200016011S)，主要從事數(shù)據(jù)庫與信息統(tǒng)、普適計算理論與應(yīng)用方向的研究。

石 林(1979-),男,碩士,副教授,CCF會員(E200023843M)，主要從事分布式數(shù)據(jù)存儲與管理、云追溯、物聯(lián)網(wǎng)應(yīng)用方向的研究。

1671-4598(2016)07-0237-04

：10.16526/j.cnki.11-4762/tp

TP391 文獻標識碼：A