江蘇省特種設(shè)備安全監(jiān)督檢驗(yàn)研究院 南京 210036

0 引言

電梯轎廂內(nèi)部作為暴力和恐慌事件的多發(fā)地，電梯內(nèi)部多安裝攝像頭監(jiān)控轎廂內(nèi)的畫面，但工作人員需要時(shí)刻緊盯與攝像頭相連接的顯示器畫面，才能保證在暴力和恐慌事件發(fā)生的第一時(shí)間發(fā)出警報(bào)，這種方式由于使用人工監(jiān)控，存在多種不足。電梯研究人員在電梯系統(tǒng)中使用乘客異常行為檢測(cè)系統(tǒng)，自動(dòng)監(jiān)控電梯轎廂內(nèi)是否發(fā)生暴力或恐慌事件，該系統(tǒng)判定乘客行為異常后會(huì)立即發(fā)出警報(bào)，提醒工作人員趕到電梯處制止暴力或恐慌事件的發(fā)生。

1 研究背景

電梯轎廂在一段時(shí)間內(nèi)都是暴力或恐慌事件的多發(fā)之地，很多安保措施較差的地區(qū)電梯經(jīng)常發(fā)生搶劫、毆打等暴力事件，對(duì)周圍居民的生活帶來(lái)嚴(yán)重困擾。電梯轎廂內(nèi)部的空間比較小，如果在電梯轎廂內(nèi)部發(fā)生暴力事件，受害人很難反抗，電梯乘客的生命安全受到威脅，因而電梯轎廂內(nèi)部才會(huì)設(shè)置異常行為檢測(cè)系統(tǒng)，電梯轎廂內(nèi)乘客異常行為檢測(cè)系統(tǒng)可以檢測(cè)出暴力或恐慌事件[1]。

諸如此類的事件還有很多，如電梯轎廂內(nèi)發(fā)生沖突后廝打、年紀(jì)較大的老人乘坐電梯時(shí)突發(fā)疾病、又例如多人乘坐電梯時(shí)突發(fā)故障，電梯緊急墜落，乘客感到恐慌而電梯系統(tǒng)對(duì)其沒(méi)有做到及時(shí)預(yù)警，導(dǎo)致反應(yīng)與搶救時(shí)間長(zhǎng)導(dǎo)致電梯乘客身心出現(xiàn)問(wèn)題。電梯轎廂內(nèi)安裝乘客異常行為檢測(cè)系統(tǒng)是保證電梯內(nèi)部乘客身心安全的基礎(chǔ)，當(dāng)乘客人身安全受到威脅時(shí)，該系統(tǒng)會(huì)立即對(duì)工作人員發(fā)出警報(bào)，工作人員會(huì)立即通知安保人員趕往現(xiàn)場(chǎng)，有效防止電梯乘客被不法分子侵害。除此之外，在電梯突發(fā)安全事故時(shí)其乘客異常行為檢測(cè)系統(tǒng)還能對(duì)電梯異常運(yùn)行發(fā)出預(yù)警，有利于電梯維修人員在第一時(shí)間搶救電梯轎廂內(nèi)部的被困乘客。

5G時(shí)代的到來(lái)使電梯5G物聯(lián)網(wǎng)系統(tǒng)的實(shí)現(xiàn)變成了可能，電梯轎廂內(nèi)乘客異常行為檢測(cè)在使用物聯(lián)網(wǎng)系統(tǒng)檢測(cè)轎廂內(nèi)部單人、雙人以及多人的行為異常之外還可以應(yīng)用5G技術(shù)，提高該檢測(cè)系統(tǒng)反饋的效率，有利于提高電梯轎廂內(nèi)乘客的安全保護(hù)，防止乘客乘坐電梯時(shí)遭遇暴力或者恐慌事件。

2 國(guó)內(nèi)外研究現(xiàn)狀

2.1 國(guó)內(nèi)研究現(xiàn)狀

國(guó)內(nèi)電梯轎廂內(nèi)乘客異常行為檢測(cè)系統(tǒng)當(dāng)前主要使用幀差法、減背景法以及光流法三種，除使用視頻錄制設(shè)備收集電梯轎廂內(nèi)部的圖像之外還需要與物聯(lián)網(wǎng)系統(tǒng)相互連接，電梯內(nèi)部的監(jiān)控設(shè)備、視頻錄制設(shè)備等都屬于物聯(lián)網(wǎng)系統(tǒng)中的傳感器，乘客異常行為檢測(cè)系統(tǒng)通過(guò)物聯(lián)網(wǎng)的傳感器收集電梯轎廂內(nèi)部的圖像，然后再對(duì)電梯轎廂內(nèi)部的圖像進(jìn)行分析，最后根據(jù)分析結(jié)果判斷乘客行為是否存在異常。

幀差法是通過(guò)對(duì)相鄰兩幀的畫面進(jìn)行對(duì)比，然后對(duì)相鄰兩幀的圖像做差分，得到幀差法的差分圖像，再對(duì)差分圖像進(jìn)行二值化處理，最后運(yùn)用形態(tài)學(xué)的處理方法使其與連通域相連接，即可判斷該圖像是否存在乘客行為異常情況，如果通過(guò)幀差法確定乘客行為出現(xiàn)異常應(yīng)該立即發(fā)出警報(bào)，提醒工作人員進(jìn)行處理。減背景法需要先對(duì)電梯轎廂內(nèi)部的背景進(jìn)行建模，然后根據(jù)差分圖像分析電梯轎廂內(nèi)部乘客行為是否存在異常，最后再將異常行為檢測(cè)系統(tǒng)與報(bào)警系統(tǒng)相互連接。光流法則是根據(jù)圖像上的像素點(diǎn)的變化判斷乘客行為是否異常，電梯轎廂內(nèi)部乘客運(yùn)動(dòng)時(shí)，其像素點(diǎn)在時(shí)間和空間上都會(huì)發(fā)生對(duì)應(yīng)變化，然后計(jì)算光流法灰度圖像上的像素點(diǎn)的瞬時(shí)速度變化信息，即可判斷出乘客行為是否異常。如果電梯轎廂內(nèi)乘客出現(xiàn)暴力或恐慌行為，其灰度圖像上的瞬時(shí)速度變化會(huì)非?？?，乘客異常行為檢測(cè)系統(tǒng)可以直接捕捉到這一信息，并且對(duì)電梯監(jiān)控人員發(fā)出警報(bào)，保證電梯工作人員第一時(shí)間處理電梯轎廂內(nèi)發(fā)生的暴力或恐慌事件[2]。

2.2 國(guó)外研究現(xiàn)狀

國(guó)外對(duì)電梯轎廂內(nèi)乘客異常行為檢測(cè)系統(tǒng)中智能監(jiān)控技術(shù)和行為識(shí)別技術(shù)研究較多，智能監(jiān)控技術(shù)可以使電梯系統(tǒng)更加智能化和自動(dòng)化，當(dāng)突發(fā)暴力或恐慌事件之后電梯系統(tǒng)可以根據(jù)乘客異常行為檢測(cè)結(jié)果發(fā)出不同級(jí)別的警報(bào)。智能監(jiān)控技術(shù)可以將乘客正常行為和異常行為區(qū)分開(kāi)，有效降低了該檢測(cè)系統(tǒng)誤判的幾率，提高了該檢測(cè)系統(tǒng)的工作質(zhì)量和效率。美國(guó)與歐洲等國(guó)家與地區(qū)都有很多智能監(jiān)控方面的研究項(xiàng)目，并將該技術(shù)應(yīng)用到公共場(chǎng)所中監(jiān)控人類行為是否異常，如地鐵、火車站、機(jī)場(chǎng)等[3]。中東一些國(guó)家的智能監(jiān)控技術(shù)同樣非常發(fā)達(dá)，這些國(guó)家的智能監(jiān)控系統(tǒng)甚至可以從行動(dòng)路徑和運(yùn)動(dòng)方向等方面分析出一個(gè)人的行為是否異常。

行為識(shí)別技術(shù)是智能監(jiān)控的核心，只有先識(shí)別出圖像中的人類行為，才能對(duì)其行為是否異常進(jìn)行判斷。該技術(shù)通過(guò)模擬人類的動(dòng)作，然后判斷圖像中的運(yùn)動(dòng)特征是否符合人類運(yùn)動(dòng)軌跡，最后判斷出該人類的動(dòng)作是否符合正常人類的規(guī)范，根據(jù)人類動(dòng)作軌跡的數(shù)據(jù)庫(kù)可以對(duì)比判斷哪些行為存在異常[4]。

3 異常行為檢測(cè)樣本選擇

3.1 運(yùn)動(dòng)目標(biāo)提取方法

運(yùn)動(dòng)目標(biāo)的提取方法有幀差法、減背景法和光流法三種，其中減背景法和光流法的技術(shù)難度較高，本文對(duì)減背景法和光流法具體分析。

1）減背景法

減背景法的核心為建模，首先對(duì)相鄰兩幀的圖像進(jìn)行對(duì)比得到差分圖像，然后再對(duì)其進(jìn)行二值化處理，最后使用減背景法的建模分析電梯轎廂內(nèi)乘客行為是否存在異常[5]。

減背景法中靜態(tài)建模將圖像中各像素點(diǎn)的均值作為背景的數(shù)據(jù)模型，可以得到

將式（1）代入光照對(duì)圖像的影響可得

式中：Bn為減背景法圖像中N幀圖像的平均值，N為圖像幀數(shù)，F(xiàn)為減背景法中圖像，F(xiàn)n為第N幀中減背景法中的圖像。

式（2）中N值越大，其背景模型的值就越貼近真實(shí)，靜態(tài)建模使用圖像的像素平均值作為數(shù)據(jù)基礎(chǔ)。該方法檢測(cè)電梯轎廂內(nèi)乘客行為是否異常的速度比較快、實(shí)時(shí)性比較高，有利于電梯工作人員快速對(duì)暴力或恐慌事件做好應(yīng)對(duì)措施[6]。

減背景法中動(dòng)態(tài)建模將圖像的所有像素點(diǎn)都作為數(shù)據(jù)模型，但是每一幀的所有像素點(diǎn)模型可以構(gòu)成一個(gè)像素組。如果像素點(diǎn)與像素組相互重合，則可以將該像素點(diǎn)看作成該圖像中的背景。反之，則可以認(rèn)為該像素點(diǎn)處于運(yùn)動(dòng)前置階段，該像素點(diǎn)所在位置的乘客處于待運(yùn)動(dòng)狀態(tài)，然后再對(duì)運(yùn)動(dòng)狀態(tài)的乘客檢測(cè)其行為是否存在異常[7]。

動(dòng)態(tài)建模方法中利用單高斯模型將像素點(diǎn)的顏色分布表示為η（Xt，μt，Σt）得

當(dāng)時(shí)間為t時(shí)其顏色值可以用It表示，可得

式中：t為時(shí)刻；Σt為當(dāng)時(shí)間為t時(shí)刻高斯分布的平均值；Xt為當(dāng)時(shí)間為t時(shí)像素點(diǎn)的顏色值[8]；α為學(xué)習(xí)率，當(dāng)像素點(diǎn)與像素組不重合時(shí)α=0，當(dāng)像素點(diǎn)與像素組不重合時(shí)α的值與像素組相同；μt+1為某一像素點(diǎn)的顏色值；Σt+1為某一像素點(diǎn)的協(xié)方差矩陣；若像素點(diǎn)有顏色，則μt、dt、It等值均為三維向量；當(dāng)紅綠藍(lán)三個(gè)顏色的協(xié)方差相同時(shí)，可以將Σt的值看作σ2。

式中：σi為高斯函數(shù)的標(biāo)準(zhǔn)差，K一般取3～5。

2）光流法

使用光流法對(duì)電梯轎廂內(nèi)乘客異常行為檢測(cè)算法有兩種，模板匹配法和狀態(tài)空間法。模板匹配法先對(duì)電梯轎廂內(nèi)部的圖像進(jìn)行建模，然后根據(jù)不同幀數(shù)下圖像的變化情況就可以判斷那些像素點(diǎn)是人物模型，最后即可根據(jù)像素點(diǎn)的變化情況判斷乘客行為是否異常。模板匹配法將乘客異常行為檢測(cè)分為三個(gè)階段，第一個(gè)階段需要建立電梯轎廂內(nèi)的靜態(tài)特征模板，第二階段根據(jù)圖像序列與靜態(tài)特征模板之間的對(duì)比結(jié)果識(shí)別人類的行為，第三個(gè)階段判斷識(shí)別出來(lái)的行為是否異常，該方法計(jì)算比較簡(jiǎn)單，但是沒(méi)有在計(jì)算中將行為動(dòng)態(tài)特征考慮進(jìn)去，所以檢測(cè)的乘客異常行為結(jié)果容易出現(xiàn)誤差。狀態(tài)空間法則是將根據(jù)空間中乘客行為的像素點(diǎn)作為檢測(cè)節(jié)點(diǎn)，再將檢測(cè)節(jié)點(diǎn)分成動(dòng)態(tài)乘客行為和靜態(tài)電梯轎廂背景，即可檢測(cè)出乘客異常行為。但是該方法如果檢測(cè)節(jié)點(diǎn)較多容易出現(xiàn)故障，所以使用狀態(tài)空間法作為光流法檢測(cè)算法一般使用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)或隱馬爾科夫模型[9]。

光流法通過(guò)檢測(cè)電梯轎廂內(nèi)的稠密光流和稀疏光流即可判斷出物體的運(yùn)動(dòng)情況，一般光流法需要對(duì)灰度圖像中像素點(diǎn)的分布情況進(jìn)行分析，然后再計(jì)算出像素點(diǎn)的瞬時(shí)速度變化情況，即可判斷出乘客行為是否異常[10]。

光流法中如果將圖像中的像素點(diǎn)用（x，y）表示；該像素點(diǎn)在t時(shí)間的亮度用（x，y，t）表示；該像素點(diǎn)的光流在水平方向的速度分量可以用u（x，y）表示；該像素點(diǎn)在垂直方向的速度分量可以用v（x，y）表示。最后可以得到公式

如果將像素點(diǎn)經(jīng)過(guò)的時(shí)間設(shè)為△t，則可以將該像素點(diǎn)的亮度用I（x+△x，y+△y，t+△t），可以得到泰勒展開(kāi)公式

當(dāng)該像素點(diǎn)經(jīng)過(guò)的時(shí)間△t為最短時(shí)，可以得到

根據(jù)光流圖各像素點(diǎn)的光流值可以計(jì)算出某一幀圖像的動(dòng)能，動(dòng)能簡(jiǎn)化計(jì)算公式

急速加熱和快速質(zhì)譜氣固相反應(yīng)分析儀系統(tǒng)如圖 1，樣品在急速加熱裝置內(nèi)實(shí)現(xiàn)快速升溫反應(yīng)過(guò)程，在反應(yīng)的同時(shí)通過(guò)飛行時(shí)間質(zhì)譜分析儀獲得實(shí)時(shí)的氣體產(chǎn)物組分與濃度數(shù)據(jù)，通過(guò)熱電偶實(shí)時(shí)高速采集樣品的升溫?cái)?shù)據(jù)，急速加熱裝置在電路系統(tǒng)控制下實(shí)現(xiàn)不同的升溫速率和反應(yīng)終溫要求。

3.2 運(yùn)動(dòng)目標(biāo)提取

在電梯轎廂內(nèi)部設(shè)置物聯(lián)網(wǎng)傳感器攝像頭，即可根據(jù)光線的不同采集到不同的圖像信息，再根據(jù)電梯轎廂的背景圖像完成建模提取出運(yùn)動(dòng)目標(biāo)。運(yùn)動(dòng)目標(biāo)提取圖如圖1所示。

圖 1 運(yùn)動(dòng)目標(biāo)提取圖片

3.3 運(yùn)動(dòng)目標(biāo)人數(shù)估計(jì)

運(yùn)動(dòng)目標(biāo)人數(shù)估計(jì)過(guò)程在運(yùn)動(dòng)目標(biāo)提取與乘客異常行為檢測(cè)之間，本文采用像素統(tǒng)計(jì)方法估計(jì)運(yùn)動(dòng)目標(biāo)人數(shù)，計(jì)算出前一幀像素個(gè)數(shù)與單人運(yùn)動(dòng)像素個(gè)數(shù)的比值并取整即可得到運(yùn)用目標(biāo)估計(jì)人數(shù)。運(yùn)動(dòng)目標(biāo)人數(shù)估計(jì)結(jié)果如圖2所示。

圖 2 運(yùn)動(dòng)目標(biāo)人數(shù)估計(jì)結(jié)果

根據(jù)圖2所示，單人所占像素個(gè)數(shù)為15 000左右，而本圖中前一幀畫面中運(yùn)動(dòng)人數(shù)像素個(gè)數(shù)總數(shù)為28 000左右，所以可以判斷該畫面中運(yùn)動(dòng)人數(shù)估計(jì)為2人。

4 電梯轎廂內(nèi)乘客異常行為檢測(cè)

4.1 單人乘客異常行為檢測(cè)

1) 單人摔倒檢測(cè)

本文使用投影子窗檢測(cè)方法對(duì)電梯轎廂內(nèi)單人乘客異常行為進(jìn)行檢測(cè)，該檢測(cè)方法與單人運(yùn)動(dòng)檢測(cè)的方法相比較更加精準(zhǔn)，避免了單人乘客異常行為檢測(cè)系統(tǒng)誤將靜止不動(dòng)的乘客判斷為摔倒。

2) 單人異常行為檢測(cè)

電梯轎廂內(nèi)單人異常行為檢測(cè)通過(guò)對(duì)乘客的輪廓投影線的長(zhǎng)寬比進(jìn)行計(jì)算，即可得到乘客是否摔倒在電梯內(nèi)。

單人摔倒檢測(cè)中投影子窗口的選取圖像如圖3所示。

圖 3 單人異常行為檢測(cè)投影子窗口的選取圖

單人摔倒檢測(cè)中乘客站立狀態(tài)的投影圖像如圖4所示。

圖 4 單人異常行為檢測(cè)乘客站立狀態(tài)投影圖像

根據(jù)圖4即可先計(jì)算出乘客站立狀態(tài)的輪廓長(zhǎng)寬比，當(dāng)乘客摔倒時(shí)其輪廓的長(zhǎng)寬比會(huì)有明顯變化。乘客摔倒?fàn)顟B(tài)的投影如圖5所示。

圖 5 單人異常行為檢測(cè)乘客摔倒?fàn)顟B(tài)投影圖像

乘客摔倒之后其輪廓的長(zhǎng)寬比由0～1之間變成2以上，根據(jù)投影子窗檢測(cè)法可以判斷乘客行為是否異常。

3) 檢測(cè)結(jié)果與分析

該檢測(cè)方法檢測(cè)單人乘客異常行為的幾率準(zhǔn)確度在90%以上，檢測(cè)速度可以達(dá)到27幀/s。當(dāng)乘客摔倒過(guò)程中進(jìn)行異常行為檢測(cè)容易出現(xiàn)誤差，靜態(tài)背景的幀數(shù)提取會(huì)直接影響檢測(cè)結(jié)果的準(zhǔn)確度。

4.2 雙人乘客異常行為檢測(cè)

1) 暴力行為檢測(cè)

電梯轎廂內(nèi)雙人乘客異常行為檢測(cè)使用的是光流法，該雙人異常行為檢測(cè)主要檢測(cè)電梯內(nèi)部是否發(fā)生暴力行為，所以可以對(duì)其角點(diǎn)的光流值和動(dòng)能進(jìn)行計(jì)算，即可得到雙人乘客行為異常檢測(cè)結(jié)果。

2) 雙人暴力行為檢測(cè)

雙人暴力行為檢測(cè)可以使用隱馬爾可夫模型提取電梯轎廂內(nèi)乘客的三維特征，并根據(jù)隱馬爾可夫模型計(jì)算出雙人乘客異常行為的似然概率。本文在電梯轎廂內(nèi)雙人乘客異常行為檢測(cè)中使用的是角點(diǎn)動(dòng)能模型法，該方法適合在檢測(cè)雙人乘客異常行為。雙人暴力行為檢測(cè)流程如圖6所示。

圖 6 雙人異常行為檢測(cè)流程圖

雙人暴力行為檢測(cè)需要根據(jù)灰度圖像中像素點(diǎn)的運(yùn)動(dòng)情況判斷出乘客行為的瞬時(shí)速度變化情況，最后根據(jù)光流法中動(dòng)能簡(jiǎn)化計(jì)算公式即可計(jì)算出該灰度圖像中動(dòng)能變化情況，根據(jù)動(dòng)能函數(shù)可以得到圖像如圖7所示。當(dāng)動(dòng)能函數(shù)變化較大時(shí)，可以判斷電梯轎廂內(nèi)發(fā)生雙人暴力事件。

圖 7 動(dòng)能函數(shù)變化情況

3) 檢測(cè)結(jié)果與分析

雙人暴力行為檢測(cè)準(zhǔn)確率可以達(dá)到90%，檢測(cè)速度可以達(dá)到25幀/s。如果人數(shù)過(guò)多會(huì)導(dǎo)致光流法的行為異常檢測(cè)結(jié)果存在誤差，乘客異常行為檢測(cè)方法在人數(shù)上具有局限性。

4.3 電梯轎廂內(nèi)多人乘客異常行為檢測(cè)

1)密集多人異常行為檢測(cè)

當(dāng)電梯轎廂內(nèi)乘客數(shù)量比較多時(shí)，為了防止出現(xiàn)恐慌事件，需要對(duì)其進(jìn)行多人乘客異常行為檢測(cè)。多人恐慌行為檢測(cè)流程如圖8所示。

圖 8 多人恐慌行為檢測(cè)流程圖

2)多人恐慌行為檢測(cè)

電梯轎廂內(nèi)多人恐慌行為檢測(cè)可以使用光流法計(jì)算出多人乘客二值圖像中的動(dòng)能變化情況，再將其行為特征分為時(shí)間和空間兩個(gè)維度，最后建立多人恐慌行為模型，即可判斷電梯轎廂內(nèi)是否存在多人恐慌行為。多人恐慌行為檢測(cè)特征提取如圖9所示。

圖 9 多人恐慌行為檢測(cè)特征提取圖

根據(jù)圖9可知，圖像中正常情況下非零像素點(diǎn)數(shù)量少、分布散亂，當(dāng)發(fā)生多人恐慌行為時(shí)，非零像素點(diǎn)數(shù)量多、分布范圍密大。然后對(duì)其運(yùn)動(dòng)能量圖做直方處理，可以得到水平和豎直兩個(gè)方向的投影直方圖，如圖10所示。

圖 10 多人恐慌行為檢測(cè)直方圖

3）檢測(cè)結(jié)果與分析

如果電梯轎廂內(nèi)多人恐慌行為檢測(cè)的能量分布函數(shù)值大于多人正常狀態(tài)下的最大能量分布值，則可以判斷發(fā)生多人恐慌行為。反之，則電梯轎廂內(nèi)未發(fā)生多人恐慌行為。該方法檢測(cè)多人恐慌行為的準(zhǔn)確率可以得到95%，檢測(cè)速度可以得到每25幀/s。

5 結(jié)語(yǔ)

電梯轎廂內(nèi)乘客異常行為檢測(cè)應(yīng)該具體分為單人摔倒檢測(cè)、雙人暴力檢測(cè)以及多人恐慌檢測(cè)三種，對(duì)不同人數(shù)的檢測(cè)需要使用不同的方法，才能保證檢測(cè)結(jié)構(gòu)的準(zhǔn)確率。在選擇檢測(cè)方法中，需要保證檢測(cè)速度達(dá)到一定數(shù)量值，否則不能在第一時(shí)間對(duì)乘客異常行為作出預(yù)警。