林創(chuàng)魯 葉亮 李剛 李麗寧

學(xué)術(shù)研究

基于深度學(xué)習(xí)的自動(dòng)扶梯乘客異常行為識(shí)別方法研究*

林創(chuàng)魯 葉亮 李剛 李麗寧

（廣州特種機(jī)電設(shè)備檢測(cè)研究院，廣東 廣州 510180）

自動(dòng)扶梯乘客異常行為識(shí)別方法的研究對(duì)保障乘客安全具有重要的意義。針對(duì)自動(dòng)扶梯出入口擁堵、長(zhǎng)時(shí)間停留等乘客異常行為缺乏有效識(shí)別和預(yù)警手段的不足，提出一種基于深度學(xué)習(xí)的自動(dòng)扶梯乘客異常行為識(shí)別方法。該方法采用YOLOv4算法對(duì)自動(dòng)扶梯使用場(chǎng)景的視頻進(jìn)行特征提取，識(shí)別檢測(cè)區(qū)域的乘客信息；結(jié)合DeepSORT算法對(duì)檢測(cè)到的乘客進(jìn)行追蹤和統(tǒng)計(jì)，構(gòu)建乘客異常行為識(shí)別模型，實(shí)現(xiàn)乘客異常行為的識(shí)別。對(duì)4段自動(dòng)扶梯監(jiān)控視頻的實(shí)驗(yàn)結(jié)果表明，該方法檢測(cè)平均準(zhǔn)確率為95.09%，能準(zhǔn)確地識(shí)別自動(dòng)扶梯出入口擁堵、長(zhǎng)時(shí)間停留等乘客異常行為。

深度學(xué)習(xí)；目標(biāo)檢測(cè)；目標(biāo)跟蹤；異常行為識(shí)別；YOLOv4算法；DeepSORT算法

0 引言

隨著我國(guó)城市化進(jìn)程的不斷深入，城鎮(zhèn)人口也在快速增長(zhǎng)。自動(dòng)扶梯因在持續(xù)輸送大量人流方面具有獨(dú)特的優(yōu)勢(shì)，故在公共聚集場(chǎng)所得到廣泛使用。公共聚集場(chǎng)所的自動(dòng)扶梯負(fù)荷高、持續(xù)工作時(shí)間長(zhǎng)，乘客異常行為（出入口擁堵、長(zhǎng)時(shí)間停留等）狀況較為普遍。因乘客異常行為而引發(fā)的摔倒、夾傷和踩踏等事故給安全管理帶來巨大挑戰(zhàn)[1]?？焖俚刈R(shí)別這些乘客異常行為，是管控安全風(fēng)險(xiǎn)的重中之重。傳統(tǒng)的自動(dòng)扶梯使用管理方法多為使用單位在客流高峰時(shí)段，安排工作人員在自動(dòng)扶梯出入口值守，疏導(dǎo)客流，引導(dǎo)乘客安全乘梯，耗費(fèi)了大量的人力和物力。隨著深度學(xué)習(xí)技術(shù)的發(fā)展和應(yīng)用，利用其進(jìn)行自動(dòng)扶梯乘客異常行為檢測(cè)是發(fā)展趨勢(shì)。

近年來，國(guó)內(nèi)外學(xué)者對(duì)基于深度學(xué)習(xí)的自動(dòng)扶梯乘客異常行為檢測(cè)開展如下研究：田聯(lián)房等[2]通過對(duì)自動(dòng)扶梯乘客人體骨架序列進(jìn)行提取，識(shí)別摔倒、探頭、探手等異常行為；杜啟亮等[3]采用YOLOv3檢測(cè)自動(dòng)扶梯乘客的位置，使用MobileNetv2結(jié)合反卷積的方法來提取乘客骨架，利用匈牙利匹配算法對(duì)乘客進(jìn)行跟蹤，識(shí)別乘客的異常行為；吉訓(xùn)生等[4]提出一種改進(jìn)的Tiny YOLOv3自動(dòng)扶梯乘客異常行為檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)，提高了乘客異常行為的檢測(cè)速度；張?chǎng)析?等[5]開發(fā)了基于OpenPose算法的自動(dòng)扶梯乘客異常行為智能監(jiān)控系統(tǒng)，并驗(yàn)證了該系統(tǒng)對(duì)模擬的摔倒等異常行為檢測(cè)的有效性；LI Y等[6]研究一種基于加權(quán)卷積自動(dòng)編碼器和YOLO網(wǎng)絡(luò)的異常行為檢測(cè)方法，提高了其在UCSD數(shù)據(jù)集上的檢測(cè)性能；AZHAR M I H等[7]提出基于YOLOv3和DeepSORT的人流跟蹤方法，實(shí)現(xiàn)了人員實(shí)時(shí)檢測(cè)和運(yùn)動(dòng)路徑的有效跟蹤；HOST K等[8]運(yùn)用YOLOv3目標(biāo)檢測(cè)器和DeepSORT算法來檢測(cè)和跟蹤手球運(yùn)動(dòng)員，并分析特定球員在場(chǎng)上的表現(xiàn)。然而現(xiàn)有的研究大多集中在乘客個(gè)體姿態(tài)的異常動(dòng)作識(shí)別和人流跟蹤，少有涉及自動(dòng)扶梯使用場(chǎng)景的出入口擁堵、長(zhǎng)時(shí)間停留的研究。為此，本文針對(duì)自動(dòng)扶梯乘客使用場(chǎng)景，結(jié)合深度學(xué)習(xí)的目標(biāo)檢測(cè)算法和多目標(biāo)跟蹤算法，提出基于YOLOv4和DeepSORT的自動(dòng)扶梯乘客異常行為識(shí)別方法，實(shí)現(xiàn)自動(dòng)扶梯出入口擁堵、長(zhǎng)時(shí)間停留狀況的識(shí)別。

1 自動(dòng)扶梯乘客異常行為識(shí)別方法

基于深度學(xué)習(xí)的自動(dòng)扶梯乘客異常行為識(shí)別方法包括：1）基于YOLOv4的實(shí)時(shí)自動(dòng)扶梯乘客檢測(cè)；2）基于DeepSORT的乘客動(dòng)態(tài)跟蹤；3）乘客異常行為識(shí)別，其框圖如圖1所示。

圖1 基于深度學(xué)習(xí)的自動(dòng)扶梯異常行為識(shí)別方法框圖

利用視覺傳感器采集自動(dòng)扶梯使用場(chǎng)景的視頻作為乘客檢測(cè)的輸入；通過目標(biāo)檢測(cè)算法YOLOv4獲取乘客特征，并對(duì)乘客進(jìn)行定位；通過多目標(biāo)跟蹤算法DeepSORT動(dòng)態(tài)跟蹤檢測(cè)區(qū)域內(nèi)乘客的實(shí)時(shí)情況；利用乘客異常行為識(shí)別算法進(jìn)行異常行為分類，輸出識(shí)別結(jié)果。

2 乘客檢測(cè)

乘客檢測(cè)是乘客動(dòng)態(tài)跟蹤和異常行為識(shí)別的基礎(chǔ)?？紤]到后續(xù)邊緣側(cè)部署及實(shí)時(shí)性的需要，采用單階段目標(biāo)檢測(cè)算法YOLOv4進(jìn)行乘客檢測(cè)。YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)主要由Input、Backbone、Neck、Prediction等4部分組成[9]，如圖2所示。

Input對(duì)自動(dòng)扶梯使用場(chǎng)景檢測(cè)區(qū)域圖像或訓(xùn)練數(shù)據(jù)集進(jìn)行統(tǒng)一處理，形成尺寸相同的圖像，作為Backbone的輸入；Backbone采用CSPDarkNet53網(wǎng)絡(luò)對(duì)輸入的圖像進(jìn)行特征提取；Neck由空間金字塔池化（spatial pyramid pooling, SPP）與路徑聚合網(wǎng)絡(luò)（path aggregation network, PANet）組成，分別用于分離上下文特征和特征融合；Prediction即輸出端，對(duì)Neck處理后的3個(gè)特征層進(jìn)行結(jié)果預(yù)測(cè)，輸出乘客特征圖和定位等信息。

圖2 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

3 乘客動(dòng)態(tài)跟蹤

本文采用多目標(biāo)跟蹤算法DeepSORT[10]進(jìn)行乘客動(dòng)態(tài)跟蹤。DeepSORT算法利用卡爾曼濾波和匈牙利算法分別處理乘客動(dòng)態(tài)跟蹤的運(yùn)動(dòng)預(yù)測(cè)和數(shù)據(jù)關(guān)聯(lián)部分，算法流程如圖3所示。

圖3 基于DeepSORT的自動(dòng)扶梯乘客動(dòng)態(tài)跟蹤算法

基于DeepSORT的自動(dòng)扶梯乘客動(dòng)態(tài)跟蹤算法包括乘客狀態(tài)預(yù)測(cè)、交并比匹配（intersection over union, IoU）、級(jí)聯(lián)匹配和跟蹤器更新4個(gè)步驟。

3.1 乘客狀態(tài)預(yù)測(cè)

3.2 交并比匹配

在自動(dòng)扶梯使用場(chǎng)景的視頻中，幀與幀之間同一乘客正確關(guān)聯(lián)且編碼一致，是識(shí)別乘客異常行為的基本前提。通常，利用卡爾曼濾波根據(jù)最近檢測(cè)框信息對(duì)乘客軌跡進(jìn)行預(yù)測(cè)，計(jì)算新檢測(cè)框與軌跡預(yù)測(cè)框的IoU，采用匈牙利算法實(shí)現(xiàn)多個(gè)乘客ID的最優(yōu)分配。IoU的計(jì)算公式為

式中：

由于IoU的計(jì)算僅根據(jù)當(dāng)前幀和之前幀的信息對(duì)乘客軌跡進(jìn)行預(yù)測(cè)，而不需要一次性處理整個(gè)視頻，可獲得較好的實(shí)時(shí)性和準(zhǔn)確性。但當(dāng)被跟蹤乘客受到遮擋或運(yùn)動(dòng)狀態(tài)變化較大時(shí)，會(huì)產(chǎn)生多于實(shí)際的乘客ID，降低了識(shí)別準(zhǔn)確度。

3.3 級(jí)聯(lián)匹配

式中：

在空間度量方面，利用馬氏距離來度量卡爾曼濾波預(yù)測(cè)框與檢測(cè)框的偏離程度，馬氏距離計(jì)算公式為

式中：

在外觀度量方面，利用卷積神經(jīng)網(wǎng)絡(luò)來提取乘客的外觀特征，使用最小余弦距離來度量當(dāng)前幀中各個(gè)乘客的特征向量與歷史軌跡中所有乘客特征向量之間的外觀相似度。最小余弦距離的計(jì)算公式為

式中：

3.4 跟蹤器更新

乘客數(shù)據(jù)關(guān)聯(lián)匹配后，需要對(duì)跟蹤器進(jìn)行更新，以便持續(xù)跟蹤乘客。跟蹤器更新主要包括：

1）對(duì)于級(jí)聯(lián)匹配成功的跟蹤器，被檢測(cè)的乘客繼承與其匹配成功的跟蹤器編碼，并利用匹配成功的邊界框信息預(yù)測(cè)下一幀的乘客位置；

2）對(duì)于級(jí)聯(lián)匹配未成功的跟蹤器，進(jìn)行IoU，若匹配成功，則繼承跟蹤器編碼；若匹配不成功，考慮檢測(cè)器漏檢或短時(shí)遮擋的情況，如跟蹤軌跡的標(biāo)記為不確定，則刪除軌跡；如跟蹤軌跡的標(biāo)記為確定，則為其設(shè)置生存幀數(shù)，若在生存幀數(shù)期間仍匹配失敗，則移除軌跡；

3）對(duì)級(jí)聯(lián)匹配未成功的乘客，進(jìn)行IoU，IoU未成功的乘客，為其建立一個(gè)新的跟蹤器并分配編碼，標(biāo)記為臨時(shí)軌跡，如接下來3幀連續(xù)匹配成功，則標(biāo)記為確定軌跡。

4 乘客異常行為識(shí)別

自動(dòng)扶梯使用場(chǎng)景的視頻經(jīng)YOLOv4目標(biāo)檢測(cè)后獲得乘客框信息；新的或匹配的乘客軌跡經(jīng)卡爾曼濾波預(yù)測(cè)獲得乘客狀態(tài)估計(jì)；通過級(jí)聯(lián)匹配和IoU實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)匹配，獲得乘客軌跡，作為異常行為識(shí)別算法的輸入。

式中：

式中：

5 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)所用的數(shù)據(jù)集源自某市地鐵自動(dòng)扶梯使用場(chǎng)景的視頻數(shù)據(jù)。以Tensorflow為軟件框架，模型訓(xùn)練、測(cè)試硬件環(huán)境為AMD Ryzen 53600型CPU，內(nèi)存為24 GB；NVIDIA RTX 3080 型GPU，顯存為12 GB；操作系統(tǒng)為Windows 10。

5.2 乘客異常行為識(shí)別

本實(shí)驗(yàn)利用YOLOv4模型對(duì)自動(dòng)扶梯使用場(chǎng)景視頻中的乘客進(jìn)行檢測(cè)，將檢測(cè)結(jié)果作為DeepSORT跟蹤算法的輸入。通過對(duì)檢測(cè)結(jié)果與跟蹤器的關(guān)聯(lián)與匹配，實(shí)現(xiàn)目標(biāo)區(qū)域內(nèi)的乘客動(dòng)態(tài)跟蹤；通過對(duì)乘客動(dòng)態(tài)跟蹤結(jié)果的行為識(shí)別，實(shí)現(xiàn)自動(dòng)扶梯乘客異常行為的識(shí)別。選取正常、較擁堵、擁堵、長(zhǎng)時(shí)間停留等典型的自動(dòng)扶梯使用場(chǎng)景，開展異常行為識(shí)別方法的實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果如表1所示。

表1 自動(dòng)扶梯典型使用場(chǎng)景的異常行為識(shí)別

由表1可以看出，自動(dòng)扶梯乘客異常行為識(shí)別方法對(duì)4種典型使用場(chǎng)景都有較好的檢測(cè)效果，平均準(zhǔn)確率達(dá)到95.09%，可較好地適應(yīng)乘客被遮擋的情況，并有效判別4種典型使用場(chǎng)景及異常行為。

6 結(jié)語

本文提出基于深度學(xué)習(xí)的自動(dòng)扶梯乘客異常行為識(shí)別方法，利用YOLOv4模型進(jìn)行乘客檢測(cè)；結(jié)合DeepSORT算法對(duì)目標(biāo)區(qū)域內(nèi)的乘客進(jìn)行動(dòng)態(tài)跟蹤；利用乘客異常行為識(shí)別算法實(shí)現(xiàn)自動(dòng)扶梯使用狀況和乘客異常行為的識(shí)別。實(shí)驗(yàn)結(jié)果表明，本文的識(shí)別方法對(duì)自動(dòng)扶梯典型的使用場(chǎng)景有較好的檢測(cè)效果，平均準(zhǔn)確率達(dá)到95.09%，可識(shí)別正常、較擁堵、擁堵和長(zhǎng)時(shí)間停留等4種使用場(chǎng)景。該方法為公共聚集場(chǎng)所自動(dòng)扶梯的使用安全管理提供一種新的技術(shù)手段，可有效支持自動(dòng)扶梯精準(zhǔn)化管理，減輕自動(dòng)扶梯安全管理的壓力。下一步將考慮對(duì)識(shí)別算法進(jìn)行輕量化設(shè)計(jì)，開展邊緣側(cè)部署，以實(shí)現(xiàn)自動(dòng)扶梯的實(shí)時(shí)監(jiān)測(cè)和預(yù)警。

[1] 盧文剛,黃小珍.城市地鐵踩踏事件應(yīng)急管理研究——基于2008-2017年典型案例的分析[J].中國(guó)應(yīng)急救援,2017(4):4-9.

[2] 田聯(lián)房,吳啟超,杜啟亮,等.基于人體骨架序列的手扶電梯乘客異常行為識(shí)別[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2019, 47(4):10-19.

[3] 杜啟亮,黃理廣,田聯(lián)房,等.基于視頻監(jiān)控的手扶電梯乘客異常行為識(shí)別[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2020,48(8): 10-21.

[4] 吉訓(xùn)生,滕彬.基于深度神經(jīng)網(wǎng)絡(luò)的扶梯異常行為檢測(cè)[J].激光與光電子學(xué)進(jìn)展,2020,57(6):140-149.

[5] 張?chǎng)析?楊超宇,楊成.基于OpenPose的自動(dòng)扶梯智能監(jiān)控系統(tǒng)應(yīng)用研究[J].黑龍江工業(yè)學(xué)院學(xué)報(bào)(綜合版),2020,20(10): 49-55.

[6] LI Y, DAI Z. Abnormal behavior detection in crowd scene using YOLO and Conv-AE[C]//2021 33rd Chinese Control and Decision Conference (CCDC), 2021:1720-1725.

[7] AZHAR M I H, ZAMAN F H K, TAHIR N M, et al. People tracking system using DeepSORT[C]//2020 10th IEEE International Conference on Control System, Computing and Engineering (ICCSCE), 2020:137-141.

[8] HOST K, IVASIC-KOS M, POBAR M. Tracking handball players with the DeepSORT algorithm[C]. 9th International Conference on Pattern Recognition Applications and Methods (ICPRAM), 2020:593–599.

[9] 邵延華,張鐸,楚紅雨,等.基于深度學(xué)習(xí)的YOLO目標(biāo)檢測(cè)綜述[J].電子與信息學(xué)報(bào),2022,44(10):3697-3708.

[10] WOJKE N, BEWLEY A, PAULUS D. Simple online and realtime tracking with a deep association metric[C]//IEEE International Conference on Image Processing (ICIP), 2017: 3645-3649.

Research on Identification Method of Escalator Passengers' Abnormal Behavior Based on Deep Learning

LIN Chuanglu YE Liang LI Gang LI Lining

(Guangzhou Academy of Special Equipment Inspection & Testing, Guangzhou 510180, China)

The research on the identification method of escalator passengers' abnormal behavior is of great significance to ensure the safety of escalators. Aiming at the shortage of effective identification and early warning methods for abnormal behaviors of escalator passengers, such as congestion and long stay at the entrance and exit of escalator, this paper proposes a method for identifying abnormal behaviors of escalator passengers based on deep learning. In this method, YOLOv4 algorithm is used to extract the features of the escalator scene video and identify the passenger information in the sensing area; Combined with DeepSORT algorithm, the detected passengers are tracked and counted, and the identification model of abnormal behavior is built to realize the identification of abnormal behavior of passengers. The experimental results of four escalator surveillance videos show that the average detection accuracy of this method is 95.09%, and it can accurately identify the abnormal behaviors of passengers such as congestion at the entrance and exit of the escalator and long stay.

deep learning; object detection; target tracking; identification of abnormal behavior; YOLOv4 algorithm; DeepSORT algorithm

TH391.4

A

1674-2605(2022)06-0001-06

10.3969/j.issn.1674-2605.2022.06.001

林創(chuàng)魯,葉亮,李剛,等.基于深度學(xué)習(xí)的自動(dòng)扶梯乘客異常行為識(shí)別方法研究[J].自動(dòng)化與信息工程,2022,43(6): 1-6.

LIN Chuanglu, YE Liang, LI Gang, et al. Research on identification method of escalator passengers' abnormal behavior based on deep learning [J]. Automation & Information Engineering, 2022,43(6):1-6.

廣州市市場(chǎng)監(jiān)督管理局科技項(xiàng)目（2022kj18）

林創(chuàng)魯，男，1983年生，碩士，高級(jí)工程師，主要研究方向：特種設(shè)備智能監(jiān)測(cè)與預(yù)警。E-mail: linter0663@163.com

葉亮，男，1983年生，碩士，高級(jí)工程師，主要研究方向：特種設(shè)備智能監(jiān)測(cè)與預(yù)警。

李剛，男，1988年生，碩士，工程師，主要研究方向：特種設(shè)備風(fēng)險(xiǎn)監(jiān)測(cè)與預(yù)警。

李麗寧，女，1988年生，本科，助理工程師，主要研究方向：特種設(shè)備智能監(jiān)測(cè)與檢測(cè)。