劉東方 倪建劍 徐國堅

摘要 文章結(jié)合杭州地鐵線網(wǎng)視頻結(jié)構(gòu)化平臺建設(shè)，分析了人臉比對、ReID（行人重識別）、聚類、大數(shù)據(jù)，整合監(jiān)控視頻、圖片中的各項關(guān)鍵信息，進行數(shù)據(jù)匯集、解析中心、布控比對、人員聚檔、技戰(zhàn)應(yīng)用等模塊的集成和高度融合，以此構(gòu)成了視頻結(jié)構(gòu)化平臺。重點闡述了視頻結(jié)構(gòu)化平臺在地鐵線網(wǎng)系統(tǒng)中發(fā)揮的廣泛作用和重要作用，以及未來展望。

關(guān)鍵詞 杭州地鐵線網(wǎng)；軌跡分析；計算機視覺；人臉識別；ReID；聚類

中圖分類號 U29-39文獻標識碼 A文章編號 2096-8949（2024）05-0004-03

0 引言

在以往的城市軌道交通系統(tǒng)中，主要利用各站點的監(jiān)控攝像頭，通過抓拍到的圖片進行簡單的人臉識別和比對，找出重點布控的人員。單純的人臉識別系統(tǒng)雖然相比傳統(tǒng)依靠人工查看的方式有了一定進步，但是面對海量的數(shù)據(jù)分析和技戰(zhàn)應(yīng)用，僅依靠人臉識別應(yīng)用是遠遠不夠的[1]。杭州地鐵線網(wǎng)系統(tǒng)中的視頻結(jié)構(gòu)化平臺，按照杭州地鐵軌道線路情況，通過國標協(xié)議匯集了各線路系統(tǒng)視頻流和圖片流。通過對視頻流和圖片流數(shù)據(jù)進行解析，結(jié)合ReID（行人重識別技術(shù)）、人臉識別、人臉比對、聚類、技戰(zhàn)法等諸多計算機相關(guān)的圖形學(xué)、人工智能、大數(shù)據(jù)處理分析等最新技術(shù)手段進行海量數(shù)據(jù)的采集、定位、預(yù)處理、身份確認和查找后進行訓(xùn)練、碰撞。提供重點人員屬性分析、行動軌跡分析和研判，使得地鐵公安用戶可以在地鐵運行線路圖上直觀地查看重點人員目標在地鐵中的人員聚類檔案、人臉、人體屬性，站點出入活動軌跡等。該文對平臺架構(gòu)和技術(shù)應(yīng)用做出具體論述[2]。

1 數(shù)據(jù)匯集

匯聚模塊通過多種國標和私有協(xié)議的對接，實現(xiàn)杭州地鐵線網(wǎng)數(shù)據(jù)的分級整合、匯聚及共享。將各線路級數(shù)據(jù)接入線網(wǎng)視頻結(jié)構(gòu)化平臺。

圖片流接入：在GA/T 1400的標準上提供多源、多級數(shù)據(jù)的接入、存儲、共享、分析，以及對外標準化接口服務(wù)的能力，從不同廠家的線路級結(jié)構(gòu)化平臺中接入需要的站點抓拍數(shù)據(jù)。匯聚模塊通過MQ消息的方式將圖片流數(shù)據(jù)傳輸至結(jié)構(gòu)化解析模塊。

視頻流接入：實現(xiàn)《安全防范視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求》（GB/T 28181—2011）規(guī)范，滿足公安視頻圖像信息應(yīng)用系統(tǒng)等相關(guān)標準要求，將需要的站點視頻流信息接入至線網(wǎng)視頻結(jié)構(gòu)化平臺。

通過以上國標協(xié)議以及其他私有協(xié)議的對接，使得線網(wǎng)結(jié)構(gòu)化平臺擁有了獲取各站點抓拍數(shù)據(jù)的能力。分布式解析服務(wù)將開始對視頻流和圖片流進行解析。對于解析后的人臉數(shù)據(jù)、人體結(jié)構(gòu)化數(shù)據(jù)和聚類、告警等分析結(jié)果，匯聚模塊具備統(tǒng)一匯聚對外推送能力，以便上級級聯(lián)系統(tǒng)做進一步應(yīng)用。

2 分析流程

如圖1所示，為平臺技術(shù)架構(gòu)圖。

2.1 解析中心

解析中心集群由多個算法引擎構(gòu)成的解析節(jié)點組成。

圖片流解析：解析服務(wù)器根據(jù)匯聚過來的人臉、人體抓拍圖片進行解析，提取人臉、人體相關(guān)屬性和特征。

視頻流解析：相對于單個靜止的圖像，視頻流序列能夠提供更多的信息，即從視頻序列中確定是否存在人臉并對其進行準確定位和保持跟蹤狀態(tài)。追蹤到的同一個人有大量圖像可供使用，通過視頻序列的時間連續(xù)性和識別對象身份的一致性為人臉識別提供信息；基于視頻序列的空間軌跡和概率模型進行匹配識別，將識別出的人臉、人體序列相關(guān)聯(lián)，因而其具有更好的魯棒性。

將人臉id、人體id、人臉屬性、人體屬性、設(shè)備信息、抓拍時間、經(jīng)緯度等相關(guān)信息批量插入數(shù)據(jù)庫和Elasticsearch中。特征文件的寫入和存儲采用分層存儲，即本地+遠程集中式的方式，通過一致性hash進行路由分片（分片Key），滿足大數(shù)據(jù)量保存和快速檢索的需要。

2.2 調(diào)度模塊

調(diào)度模塊根據(jù)服務(wù)器資源動態(tài)調(diào)整各臺視頻流運行開啟次序、運行路數(shù)、運行顯卡分配，進行資源負載均衡。

服務(wù)器在后臺接收不同客戶端的cuda調(diào)用，將調(diào)用請求在隊列中進行優(yōu)先級排隊，當有兩個及以上視頻流任務(wù)需要運行時，通過任務(wù)優(yōu)先級標識優(yōu)先開啟優(yōu)先級較高任務(wù)。相同優(yōu)先級情況下，對比任務(wù)預(yù)估消耗資源和剩余顯卡資源，計算最優(yōu)分配。

當有任務(wù)運行完成后，通知服務(wù)端，服務(wù)器從任務(wù)隊列中匹配新的任務(wù)并發(fā)執(zhí)行。當剩余資源不足以執(zhí)行啟動任務(wù)時，需在隊列中等待。

運行過程中服務(wù)端會對顯卡運行狀況（剩余顯存、使用率等）持續(xù)定時采樣，保證GPU資源利用均衡，減少任務(wù)之間的沖突，提高整體運行性能。

2.3 布控比對

布控比對服務(wù)可以根據(jù)需要把布控人員的信息（包含姓名、性別、身份證號、人臉照片等信息）加入布控任務(wù)。然后按照時間、地點、相似度報警閾值等信息，關(guān)聯(lián)需要布控的視頻流或圖片流，對重點人員進行布防。系統(tǒng)對比任務(wù)中的人臉特征數(shù)據(jù)實時比對，如果人臉的相似度達到設(shè)定的報警閾值，系統(tǒng)會通過郵件、短信、系統(tǒng)彈窗方式通知管理人員，采取進一步處理措施。根據(jù)現(xiàn)場實際需要加入布控的人員，可通過系統(tǒng)進行現(xiàn)場拍照采樣或者上傳照片等多種方式一鍵加入布控任務(wù)。

人臉識別布控系統(tǒng)還具備豐富的人臉屬性檢測功能。在大多數(shù)環(huán)境下均能準確判別性別、年齡，戴眼鏡、口罩等各種人臉屬性，不受面部表情、胡須和發(fā)型變化的影響，以增加布控比對的準確度。

2.4 人員聚檔

人臉聚檔服務(wù)根據(jù)人臉圖像數(shù)據(jù)中的相似度指標，在視頻提取人臉軌跡級的特征來表征人物，將大量的人臉圖像分為不同的組別，其關(guān)鍵在于設(shè)計有效的特征表示方法和相似度度量方法。通過對監(jiān)控畫面中的人臉進行聚類，可以快速識別出潛在威脅和異常行為，提高安全性能。聚檔服務(wù)通過將解析模塊發(fā)送的人臉特征加載至GPU進行人臉聚類，通過關(guān)聯(lián)關(guān)系檢索，可查看對應(yīng)人體屬性及圖片鏈路。幫助地鐵運營進行人流量統(tǒng)計、客戶分析等工作。在滿足法律法規(guī)的前提下，還可以進一步應(yīng)用于大規(guī)模數(shù)據(jù)挖掘研究，如人臉數(shù)據(jù)集的建立、人臉特征的提取等。隨著技術(shù)的不斷進步，人臉聚類技術(shù)將迎來更多的發(fā)展機遇和挑戰(zhàn)。

2.5 技戰(zhàn)分析

大數(shù)據(jù)服務(wù)器通過獲取以上解析比對等結(jié)果，相當于全地鐵范圍內(nèi)做檢索等大數(shù)據(jù)分析應(yīng)用。結(jié)合杭州地鐵軌道線路地圖，關(guān)聯(lián)的站點詳細位置，出入口，站臺等，通過計算出的站點位置進行軌跡劃線，渲染人員行走動態(tài)效果，運營人員可以較為直觀地查看軌跡線路，為地鐵軌道交通的治安防控、刑偵破案、反恐防暴等工作提供有力支撐。

3 技術(shù)應(yīng)用

人臉識別：人臉識別是身份識別，而人臉屬性結(jié)構(gòu)化是表征人臉的生物與非生物特性，包括性別、年齡、表情、是否戴口罩等，通過解析人臉圖像特征，獲得可視化的屬性特點，更直觀地驗證身份。我們的人臉屬性算法，采用多任務(wù)學(xué)習框架，每一個屬性都有獨立的屬性分支，同時，搭配注意力機制與多尺度機制，能準確地定位不同屬性的聚焦位置，更有效地提取人臉屬性信息，提高在監(jiān)控場景下人臉屬性識別的準確度，對人臉結(jié)構(gòu)化屬性搜索及定位提供了極大的便利[3]。

ReID：ReID是屬于圖像檢索的一個子問題，不同于人臉識別技術(shù)利用人臉圖像特征來完成檢索比對，它是指在多攝像設(shè)備網(wǎng)絡(luò)下對行人進行檢索，利用步態(tài)動作、身體特征等更為全面的信息來識別人物，可實現(xiàn)行人的相機檢索，解決人臉較小或者模糊情況下無法比對的問題。然而，由于ReID需要從不同攝像機拍攝的圖像或視頻中找出同一個人物，而這些攝像機所覆蓋的范圍彼此并不重疊，導(dǎo)致缺乏連貫的信息，而且不同畫面中人物的姿態(tài)、行為甚至外觀（比如正身、側(cè)身、背身）會發(fā)生較大變化，不同時間、不同場景、光照、背景和遮擋物各不相同，攝像機的分辨率也有高有低，人物在畫面中出現(xiàn)的位置有遠有近，這些都對ReID技術(shù)提出了極大的挑戰(zhàn)。針對行人姿態(tài)變化，環(huán)境光照以及局部遮擋等問題，構(gòu)建了以Resnet為骨干網(wǎng)絡(luò)的多尺度模型，實現(xiàn)人體部件細粒度特征融合，結(jié)合數(shù)據(jù)增強方法和特殊訓(xùn)練策略，實現(xiàn)人員的精確匹配。ReID技術(shù)和人臉的技術(shù)可以做一個補充，當能看到人臉的時候用人臉的技術(shù)去識別，當看不到人臉的時候用ReID技術(shù)去識別，可以延長行人在攝像頭連續(xù)跟蹤的時空延續(xù)性。因此，無論單獨使用還是與人臉識別相結(jié)合，ReID都能發(fā)揮更大的應(yīng)用價值。

人員聚檔：聚類算法以密度聚類為基礎(chǔ)，搭配上層在線聚類，采用Region-Master模式進行區(qū)域與主體的聚類信息交互，并引入了“一類多核”的思想，兼具聚類準確性和完整性。同時，對特征比對進行了矩陣加速優(yōu)化，可支持千萬級規(guī)模的聚類，大幅拓展了聚類的應(yīng)用性。由此形成人員檔案信息并進行實名認證關(guān)聯(lián)，檔案容量支持1 000萬實時聚檔性能。通過人員檔案的抓拍關(guān)聯(lián)軌道交通地圖，可以實時查詢檔案人員軌跡情況。

4 結(jié)語

上述技術(shù)在結(jié)構(gòu)化平臺的落地和發(fā)展，有效提升了地鐵公安用戶針對人員管控和安全防范的力度和效率。伴隨著AI、云計算和大數(shù)據(jù)等“新基建”技術(shù)的快速發(fā)展，地鐵軌道領(lǐng)域越來越多的技術(shù)落地，人工智能展現(xiàn)出了數(shù)據(jù)賦能的強大驅(qū)動力，為未來地鐵新線建設(shè)和既有線改造系統(tǒng)中的視頻分析相關(guān)內(nèi)容的建設(shè)提供了有益參考。

隨著城市公共交通規(guī)模逐漸增大，日益增長的客流給運營安全和運營效率帶來巨大挑戰(zhàn)。在更側(cè)重于運營的當下，基于以上技術(shù)衍生出的翻越閘機、打架斗毆等應(yīng)用場景分析會更多。當識別出這樣的行為之后可以采取智能措施，比如自動報警等，這有非常大的社會價值。很多場景所需的算法模型已經(jīng)相對成熟，并且在其他行業(yè)已有應(yīng)用案例，對地鐵的運營會有很大的助力。

參考文獻

[1]李輝， 石旭， 張京晶， 等. 新基建背景下智能視頻分析技術(shù)與智慧地鐵建設(shè)融合應(yīng)用研究[J]. 現(xiàn)代城市軌道交通， 2022（9）： 21-27.

[2]李鵬程. “城市軌道交通智慧警務(wù)”課程建設(shè)構(gòu)想[J]. 鐵道警察學(xué)院學(xué)報， 2018（2）： 122-124.

[3]章柏幸， 蘇光大. 人臉成像特性研究及人臉歸一化的目標[J]. 光電子·激光， 2003（4）： 406-410.