劉 艷

[內容提要]本文利用基于人工智能的游客行為視頻分析技術，解決視頻數據瞬時分析、處理和應用問題。以視頻分析標簽體系為核心，研究游客密度、人流動態(tài)、游客流量、承載壓力等多場景化分類標簽體系和景區(qū)重點區(qū)域游客密度算法模型，實現(xiàn)海量視頻數據高效檢索、精確定位，提升景區(qū)智慧化運營水平。

引 言

長期以來視頻監(jiān)控技術在景區(qū)安全管理、緊急救援、資源保護、服務效能提升等方面發(fā)揮了重要作用。隨著視頻監(jiān)控規(guī)模逐漸擴大，僅依靠人工方式進行景區(qū)基礎畫面的巡查調度暴露出來的局限性越發(fā)突出，如視頻資源存儲成本高、數據化整合和深度挖掘分析不夠、算力支撐不足，同時還面臨著海量視頻數據檢索困難、數據孤島林立、數據開放和應用水平低的問題 。因此，利用人工智能相關技術實現(xiàn)視頻監(jiān)控數據的智能化分析越來越迫切。本文主要解決兩個問題：一是利用基于人工智能的游客行為視頻分析技術，解決視頻數據瞬時分析、處理和應用問題，提升景區(qū)安全監(jiān)控與應急指揮聯(lián)動能力，創(chuàng)新安全監(jiān)管和應急指揮模式。二是以視頻分析標簽體系為核心，研究游客密度、人流動態(tài)、游客流量、承載壓力等多場景化分類標簽體系和景區(qū)重點區(qū)域游客密度算法模型，實現(xiàn)海量視頻數據高效檢索、精確定位，提升景區(qū)智慧化運營水平。

一 研究設計

（一）分析框架

本研究在技術架構層面充分考慮多協(xié)議視頻源接入、視頻數據體量大、分布式部署、多應用場景下視覺識別及分析等問題，采用分布式微服務架構，以模塊化設計思想為導向，每個模塊專注于特定的業(yè)務處理和分析，使每個程序獨立進行，耦合性低，且各模塊既高度自治又相互配合，讓平臺具有更高的可擴展性和延展性。通過SDK、RTSP、GB28181等協(xié)議接入監(jiān)控視頻，利用人工智能的視頻分析技術對監(jiān)控視頻進行精準分析。考慮到視頻數據量大且數據增速快，通過分布式大數據流處理技術對采集到的視頻數據進行不同業(yè)務的實時處理，實現(xiàn)在海量數據下實時采集、實時分析、復雜計算和精準輸出的要求。匹配突發(fā)事件在不同情景和階段下的不同特征，自動“搬運”數據，實現(xiàn)決策的同步迭代 。

（二）研究過程

通過視頻數據采集系統(tǒng)采集景區(qū)出入口、核心景觀區(qū)、人流聚集區(qū)、狹窄通道等重點區(qū)域相關視頻數據。充分利用大數據、人工智能等新技術，探索更多公共安全視頻共享應用機制 。對系統(tǒng)采集到的視頻數據進行清理和數據規(guī)約處理，使雜亂、無規(guī)律的數據結構化。根據業(yè)務需要對結果數據進行多維度分析，對分析后的數據進行標簽匹配。之后，按照不同算法模型判斷景區(qū)重點區(qū)域及整體的客流情況，實現(xiàn)管理者對景區(qū)的精準監(jiān)管和應急事件的事前預警與事中告警。

（三）數據來源

本研究所需要的數據主要來自文化和旅游部綜合監(jiān)測與應急指揮平臺上已經接入的全國306家5A景區(qū)和部分4A景區(qū)視頻數據。接入內容以景區(qū)出入口、售票處、檢票口、核心游覽點、觀景臺、交通接駁點、停車場、景區(qū)內重點道路、公共服務區(qū)（餐廳、購物區(qū)）等游客流量密集區(qū)域的視頻監(jiān)控畫面為主。視頻接入路數，每個景區(qū)15～20路。視頻監(jiān)控品牌包括海康、大華、宇視、天地偉業(yè)、英飛拓、電信全球眼等20余家。新冠肺炎疫情暴發(fā)以來，部分景區(qū)為降低成本，出現(xiàn)關閉攝像頭、減少運維人員的情況，導致已接入的景區(qū)視頻出現(xiàn)黑屏或者信號卡頓等情況。目前在線的視頻監(jiān)控2萬余路。

二 視頻監(jiān)控數據指標體系

項目組圍繞課題研究方向開展了基于人工智能的游客行為視頻分析標簽體系研究工作。通過景區(qū)調研和試點驗證，將視頻監(jiān)控標簽劃分為屬性標簽和監(jiān)控標簽兩大類。本文重點研究基于人流密度標簽的算法模型（見表1）。

表1 視頻監(jiān)控數據指標體系

三 景區(qū)重點區(qū)域游客密度算法模型

目前大多數景區(qū)對核心區(qū)內游客密度的監(jiān)控方式主要以單個監(jiān)控攝像頭識別的數據進行區(qū)域的人數統(tǒng)計。由于單路監(jiān)控存在可視范圍盲區(qū)和死角，影響分析結果的準確性，現(xiàn)代通信技術手段雖然早已進場，但是僅僅用在某些信息處理的“點”或“線”上，而沒有用在整個信息系統(tǒng)中各功能單位間的信息流轉過程中 。亟須設計一套基于多攝像頭互補的算法模型用于區(qū)域游客密度分析。

景區(qū)重點區(qū)域游客密度算法模型旨在實時監(jiān)測并分析研判景區(qū)內主要游覽區(qū)域的游客密度狀態(tài)。依據景區(qū)內核心景點及游客聚集區(qū)域的監(jiān)控視頻流，識別該區(qū)域內游客人數，結合區(qū)域有效可游覽面積、區(qū)域游客最大承載量及預警范圍，實時研判區(qū)域內的游客密度狀態(tài)，掌握游客分布情況，并對游客大量聚集等異常情況進行分級預警。該模型分析范圍是景區(qū)重要游客匯聚區(qū)域，例如：核心游覽點、觀景臺、購物區(qū)、游客服務中心等；分析對象是景區(qū)視頻監(jiān)控錄制及切片處理提供的監(jiān)控視頻采樣畫面；分析頻率是景區(qū)每日開園期間內每5分鐘一次（或根據業(yè)務需要指定分析頻率）。主要包括五個分析步驟。

（一）計算并標識多視角畫面的重疊區(qū)域

利用CNN等深度學習方法提取畫面特征，通過相似性度量等方法進行特征點的匹配（含空間相關性）。通過“回歸網絡圖像配準”計算單應性矩陣，獲取各視角畫面重疊區(qū)域的像素空間映射關系和邊緣交點（見圖1、圖2）。

圖1 計算多視角畫面重疊區(qū)域步驟

圖2 多視角重疊區(qū)域示例

（二）生成圖像密度圖進行人數統(tǒng)計

在分析區(qū)域內，多尺度提取非重疊區(qū)域和重疊區(qū)域的畫面人物頭部特征，通過反卷積生成高分辨率密度圖，對密度圖進行求和得到具體的人數。

（三）計算游客密度

生成區(qū)域密度圖可以直觀反映區(qū)域內的游客密度狀態(tài)。計算規(guī)則為監(jiān)控區(qū)域內游客數量與該區(qū)域游客最大承載量的比值。

1.依據《LB/T-034-2014景區(qū)最大承載量核定導則》計算區(qū)域游客最大承載量C1（監(jiān)控區(qū)域內能夠容納的最大游客數量）。

式中：Xi表示i區(qū)域的有效可游覽面積（m2）；Yi表示i區(qū)域的游客單位游覽面積（m2/人）。

2.計算區(qū)域游客密度比值R。反映監(jiān)控區(qū)域游客人數占該區(qū)域最大承載量的比值，比值越大，密度越高。

式中：n表示AI識別出的該區(qū)域人數（人）；C1表示該區(qū)域內游客最大承載量（人）。

3.計算區(qū)域游客密度指數TDI。將區(qū)域游客密度比值進行歸一化（級差變換處理），得到區(qū)域游客密度。

式中：R 不超過 Rmax，即當 R>Rmax時，R=Rmax，指數保留小數點后1位，四舍五入。

（四）確定指數取值范圍和級別

通過設定0～10之間的不同指數級別，直觀分辨景區(qū)監(jiān)控區(qū)域內游客密度的情況（見表2） 。

表2 游客密度指數范圍和級別

（五）景區(qū)驗證

選取甘肅張掖七彩丹霞景區(qū)游客大廳視頻監(jiān)控數據按照上述分析思路進行分析，計算出游客密度指數為0.2，標記狀態(tài)為稀疏（見圖3）。

圖3 甘肅張掖七彩丹霞景區(qū)游客大廳監(jiān)控畫面

四 建議

（一）人工智能賦能基礎建設，實現(xiàn)景區(qū)監(jiān)控智能化

客流量統(tǒng)計不僅有效管控景區(qū)的擁擠問題，而且提高了景區(qū)的旅游舒適度，同時也為景區(qū)的經營決策提供了數據支持，已經成為景區(qū)管理中不可或缺的一部分 。行人檢測和行為分析是智能視頻監(jiān)測中的一個重要的研究熱點和領域。景區(qū)前期的視頻監(jiān)控系統(tǒng)建設中，大部分攝像機是標清攝像機，少數是模擬攝像機，清晰度低，線路部署不方便。視頻數據存儲時間短，無法有效管理視頻錄像。視頻監(jiān)控設備品牌眾多，協(xié)議多樣，較難實現(xiàn)對設備運行狀態(tài)的集中管理。本研究能夠有效解決傳統(tǒng)監(jiān)控設備集成AI算法升級更新難度大、跨廠商兼容性差、更換AI監(jiān)控設備成本大等問題，充分利用景區(qū)已建成的視頻監(jiān)控系統(tǒng)，通過云端的人工智能視覺分析技術，實現(xiàn)景區(qū)監(jiān)控視頻智能分析，實現(xiàn)對景區(qū)客流、安全事件、環(huán)境等維度的數據分析及監(jiān)控。

（二）探索基于標簽化的景區(qū)智能監(jiān)控管理模式創(chuàng)新

海量的視頻數據里蘊藏著消費者的需求、痛點、偏好、習慣。它們像石油一樣等待被開采，它們是提高生產效率的新能源 。景區(qū)視頻標簽體系用于對海量景區(qū)視頻監(jiān)控進行快速檢索、精準定位和靈活處理，具有很強的專業(yè)性，必須通過深度學習，結合場景、人物、文字等多維度綜合分析才可以提煉出來。傳統(tǒng)的視頻標簽主要用于視頻的精準投放和分發(fā)。本研究建立的景區(qū)視頻監(jiān)控智能分析標簽體系可快速檢索并定位出符合條件的景區(qū)，通過對視頻監(jiān)控中的實時數據進行捕捉和處理，分析視頻中圖像、文字、語音、人臉、物體、行為等多模態(tài)信息，將景區(qū)內部實時產生的人流密度、人流動態(tài)、游客流量、接待壓力、公共安全事件、突發(fā)自然災害等過程化信息快速呈現(xiàn)，便于有針對性地展開應急巡查調度及分析預測，充分發(fā)揮視頻內容的量化分析價值，強化瞬時響應速度。

（三）打造多場景數據應用，助力監(jiān)管智能化升級

通過對視頻數據記錄下的游客行為分析研究，實現(xiàn)無感知景區(qū)游客行為數據獲取。將數據與業(yè)務建立對應關系，實現(xiàn)多種事前事件預警、事中事件告警以及事后事件溯源分析的應用場景，大幅提升特定目標和場景的搜索效率。快速找到目標景區(qū)、目標人群、目標區(qū)域，降低應急管理的人力成本，助力監(jiān)管智能化升級。此外，應急事件的事先預警和事中告警對網絡的實時響應和及時反饋要求極高。如何利用5G網絡的邊緣計算技術形成視頻快速傳輸和本地計算處理能力，使得視頻分析數據更貼近用戶，僅傳輸依托標簽體系精準定位的視頻資源及分析結果，降低大規(guī)模視頻接入所需要的帶寬資源和算力資源是亟待解決的問題。機器有沒有悟性的邊界其實就是人的理解能力的極限 。

五 結語

智能分析、云計算、云存儲和大數據挖掘等眾多創(chuàng)新技術對公共安全領域的技術革新產生了深遠的影響 。在景區(qū)“限量、預約、錯峰”的常態(tài)化背景下，游客動態(tài)監(jiān)測是景區(qū)安防監(jiān)控領域的研究重點，也是落實動態(tài)預約的關鍵。行人通常是監(jiān)控攝像頭中主要的關注目標，對行人目標的檢測是其他計算機視覺處理（比如異常行為分析，動作識別等）工作的基礎，其準確度對整個系統(tǒng)都有至關重要的影響。但是對于行人目標的準確識別較為困難，若要實現(xiàn)較高的準確度，會犧牲系統(tǒng)的速度。算法、數據和計算三大基礎要素共同驅動人工智能發(fā)展 。本研究提出的分析算法，能有效兼顧準確性和分析速度，不僅能動態(tài)計算核心區(qū)的游客數量，還可以對實時視頻中的對象進行搜索和檢測，從圖像序列中找到游客所在，并且對其行為進行簡單的分類。更確切地說就是確定圖像區(qū)域中的行人和行為類型，為后續(xù)開展游客不文明行為和危險行為的監(jiān)測和預警提供技術支撐。