馮化綱

（公安部第三研究所 上海 201204）

1 引言

近年來(lái)，我國(guó)人員密集場(chǎng)所發(fā)生了一系列的重大安全事故，造成了巨大經(jīng)濟(jì)損失和人員傷亡［1～2］。國(guó)內(nèi)外目前在客流聚集風(fēng)險(xiǎn)監(jiān)測(cè)技術(shù)應(yīng)用方面只是單獨(dú)考慮影響客流風(fēng)險(xiǎn)的某個(gè)側(cè)面，主要以肉眼觀察和現(xiàn)場(chǎng)疏導(dǎo)這兩個(gè)方面為主［3］，實(shí)現(xiàn)對(duì)客流聚集的自動(dòng)化監(jiān)測(cè)和實(shí)時(shí)預(yù)警勢(shì)在必行。

視覺(jué)是人類(lèi)和其他生物認(rèn)知和感知世界的重要途徑?，F(xiàn)代科學(xué)表明，人類(lèi)所感知的客觀世界的信息，80%以上是通過(guò)視覺(jué)獲得。人類(lèi)視覺(jué)系統(tǒng)主要由雙眼和腦部神經(jīng)組成。雙眼獲得周?chē)h(huán)境的信息通過(guò)神經(jīng)組織傳遞給大腦神經(jīng)組織，大腦神經(jīng)組織根據(jù)先驗(yàn)知識(shí)或者經(jīng)驗(yàn)，對(duì)得到的信息進(jìn)行分析、計(jì)算以及推理，因此可以理解和識(shí)別周?chē)目臻g環(huán)境。圖像包含非常豐富的信息，基于圖像的客流檢測(cè)技術(shù)已成為當(dāng)今客流統(tǒng)計(jì)研究中一個(gè)十分活躍的新領(lǐng)域，該技術(shù)分為兩大類(lèi)：一是基于單目視覺(jué)［4～5］，二是基于立體視覺(jué)［6～10］。單目視覺(jué)易受場(chǎng)景中光線變化、陰影等因素的干擾；而立體視覺(jué)則可以較好地解決單目視覺(jué)存在的問(wèn)題。

雙目立體視覺(jué)（Binocular Stereo Vision）是機(jī)器視覺(jué)的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像，通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來(lái)獲取物體三維幾何信息的方法。雙目立體視覺(jué)在很多領(lǐng)域均具有應(yīng)用價(jià)值，目前廣泛應(yīng)用于機(jī)器人視覺(jué)、自主導(dǎo)航、客流監(jiān)控、涉危涉爆等場(chǎng)合。本文將雙目立體視覺(jué)與客流監(jiān)控相結(jié)合，根據(jù)現(xiàn)有的客流監(jiān)控系統(tǒng)存在的問(wèn)題進(jìn)行了改進(jìn)，設(shè)計(jì)并實(shí)現(xiàn)了基于雙目立體視覺(jué)技術(shù)的客流監(jiān)控預(yù)警系統(tǒng)。

2 雙目立體視覺(jué)原理

自然界的物體都具有三維信息。三維空間的物體可以很方便地判斷每個(gè)物體之間的距離等相互關(guān)系。但是在我們獲得的圖像中，物體的三維信息被壓縮成了二維，這就造成了物體深度信息的丟失。三維重建就是將二維空間的圖像還原到三維空間、建立起真實(shí)場(chǎng)景的過(guò)程。而其中最關(guān)鍵的就是還原物體的深度信息。

人眼之所可以在看到物體的同時(shí)還可以判斷物體離自己的距離，是因?yàn)槿说膬芍谎劬牟煌慕嵌瓤赐粋€(gè)物體，得到兩幅圖像，大腦根據(jù)兩幅圖像之間的差異進(jìn)行處理就可得到物體離自己的距離。雙目立體視覺(jué)就是用兩臺(tái)攝像機(jī)模仿人眼獲得左右視圖，不同角度下同一個(gè)物體在左右視圖中的位置會(huì)有差異，叫做視差。根據(jù)視差利用三角關(guān)系就可以進(jìn)行得到物體離攝像機(jī)的距離，這個(gè)距離就是物體的深度信息［11～13］。雙目立體視覺(jué)的原理圖如圖所示，其中圖1為原理圖，圖2為簡(jiǎn)單示意圖。其中，Ol、Or分別表示同一高度平行放置的兩個(gè)攝像機(jī)的光心，攝像機(jī)的光心之間的距離叫做基線距離，記為T(mén)。fl、fr表示左右兩個(gè)攝像機(jī)的焦距，在實(shí)驗(yàn)條件下fl=fr=f。P表示世界坐標(biāo)系的中一個(gè)點(diǎn)，落在像平面上的點(diǎn)分別是Pl（xl，yl）和Pr（xr，yr），兩個(gè)像點(diǎn)的橫坐標(biāo)的差xl-xr表示左右視圖的視差，記為d。利用原理中的三角關(guān)系，可得到空間中點(diǎn)P到攝像機(jī)之間的距離Z，如式（1）所示：

圖1 雙目立體視覺(jué)原理圖

圖2 雙目立體視覺(jué)簡(jiǎn)單示意圖

上述參量中，f、T都可以通過(guò)攝像機(jī)的標(biāo)定或者測(cè)量直接得到，但是視差d需要通過(guò)立體匹配計(jì)算得到。

3 系統(tǒng)總體設(shè)計(jì)

本項(xiàng)目采用3D圖像識(shí)別技術(shù)，它是一種比較新的尖端技術(shù)，3D圖像傳感器可以識(shí)別三個(gè)維度的立體數(shù)據(jù)，通過(guò)3D傳感器可以對(duì)傳感器下方的人體輪廓進(jìn)行立體掃描，首先檢測(cè)到人的三維立體輪廓數(shù)據(jù)，類(lèi)似駝峰形狀的立體發(fā)射面，再通過(guò)對(duì)3D數(shù)據(jù)的分析計(jì)算，由此可以判斷出通過(guò)的人數(shù)。系統(tǒng)根據(jù)歷史客流數(shù)據(jù)和當(dāng)前客流信息，并結(jié)合其它數(shù)據(jù)，對(duì)不同時(shí)段和不同區(qū)域客流數(shù)據(jù)進(jìn)行匯總、挖掘、對(duì)比與分析，實(shí)現(xiàn)實(shí)時(shí)預(yù)警功能。

人員密集場(chǎng)所由于人員超出正常的客流量，而造成的各類(lèi)事故越來(lái)越多。單元（以下指各類(lèi)人員密集場(chǎng)所）、區(qū)域（以下指某一大區(qū)域人員密集場(chǎng)所）內(nèi)進(jìn)行準(zhǔn)確的客流統(tǒng)計(jì)顯得很重要。本解決方案采取客流統(tǒng)計(jì)及大數(shù)據(jù)挖掘技術(shù)輸出單元、區(qū)域人數(shù)的超員報(bào)警、區(qū)域內(nèi)特殊單元的預(yù)警提示功能。給各級(jí)別安全智能部門(mén)提供實(shí)時(shí)的預(yù)警提示功能，增加安全預(yù)警的手段。

單元/區(qū)域內(nèi)內(nèi)安裝一個(gè)或多個(gè)監(jiān)控終端，每個(gè)終端用于監(jiān)控單元/區(qū)域內(nèi)的人員進(jìn)出情況，并實(shí)時(shí)將人員通行情況存入數(shù)據(jù)庫(kù)中，后臺(tái)系統(tǒng)通過(guò)調(diào)用應(yīng)用數(shù)據(jù)接口估算各個(gè)單元/區(qū)域的人數(shù)匯總，并通過(guò)圖表（柱狀圖、折線圖等）顯示當(dāng)天實(shí)時(shí)客流量監(jiān)控，或通過(guò)圖表（柱狀圖、折線圖等）顯示歷史客流量統(tǒng)計(jì)。

4 系統(tǒng)硬件設(shè)計(jì)

客流統(tǒng)計(jì)算法運(yùn)行在客流監(jiān)控終端產(chǎn)品中的高性能數(shù)字信號(hào)處理器（DSP）［14～16］上，進(jìn)行實(shí)時(shí)圖像分析。嵌入式客流分析終端中的DSP處理器，實(shí)時(shí)采集視頻圖像，并檢測(cè)運(yùn)動(dòng)目標(biāo)的特征點(diǎn)（Feature Points），然后通過(guò)頭肩信息、圓心距等特征對(duì)特征點(diǎn)進(jìn)行空域上的聚類(lèi)（Cluster）和時(shí)域上的匹配，從而檢測(cè)并識(shí)別行人目標(biāo)。通過(guò)對(duì)行人目標(biāo)的實(shí)時(shí)雙向跟蹤，可以實(shí)現(xiàn)準(zhǔn)確的計(jì)數(shù)和方向的判定。這些分析功能在終端產(chǎn)品內(nèi)部完成，不需要占用網(wǎng)絡(luò)帶寬，不影響網(wǎng)絡(luò)性能。

客流監(jiān)控終端產(chǎn)品方案框圖見(jiàn)圖3，左邊兩個(gè)攝像頭模組組成雙目攝像頭，攝像頭數(shù)據(jù)經(jīng)過(guò)視頻解碼后送到高端DSP處理器，高端DSP處理器同時(shí)外接DDRFLASH和RTC等，終端產(chǎn)品對(duì)外接口有以太網(wǎng)接口、WIFI接口和電源接口。

圖3 終端產(chǎn)品方案框圖

5 系統(tǒng)軟件設(shè)計(jì)

客流監(jiān)控預(yù)警后臺(tái)軟件對(duì)客流監(jiān)控終端的數(shù)據(jù)進(jìn)行全面的分析?？筛鶕?jù)歷史客流數(shù)據(jù)和當(dāng)前客流信息，并結(jié)合其他數(shù)據(jù)，對(duì)不同時(shí)段和不同區(qū)域客流數(shù)據(jù)進(jìn)行匯總、挖掘、對(duì)比與分析，實(shí)現(xiàn)實(shí)時(shí)預(yù)警功能。同時(shí)能夠輸出多種類(lèi)型圖表，為管理人員提高管理效率和進(jìn)行管理決策提供諸多有價(jià)值的信息。

客流監(jiān)控預(yù)警后臺(tái)軟件實(shí)現(xiàn)如下基本功能，其功能結(jié)構(gòu)框圖如圖4所示。

圖4 預(yù)警后臺(tái)軟件基本功能

1）實(shí)時(shí)客流量實(shí)時(shí)監(jiān)控

后臺(tái)管理系統(tǒng)可通過(guò)圖表（柱狀圖、折線圖等）顯示當(dāng)天實(shí)時(shí)客流量監(jiān)控。

2）客流量實(shí)時(shí)預(yù)警

當(dāng)出現(xiàn)超員情況時(shí)，后臺(tái)管理系統(tǒng)可通過(guò)顏色變化顯示預(yù)警等級(jí)，并顯示當(dāng)前實(shí)時(shí)客流量。當(dāng)嚴(yán)重超員和危險(xiǎn)超員時(shí)還可以通過(guò)聲音預(yù)警。

3）歷史客流量查看

后臺(tái)管理系統(tǒng)可通過(guò)圖表（柱狀圖、折線圖等）顯示歷史客流量統(tǒng)計(jì)。

4）系統(tǒng)設(shè)置

主要包括預(yù)警信息設(shè)置、單元/區(qū)域管理、終端設(shè)備管理、用戶(hù)管理等功能。

客流監(jiān)控預(yù)警后臺(tái)總體架構(gòu)如圖5所示，主要包括終端設(shè)備層、數(shù)據(jù)中心、接口層、應(yīng)用層軟件幾部分?？土鞅O(jiān)控預(yù)警后臺(tái)軟件采用B/S架構(gòu)。

圖5 預(yù)警后臺(tái)軟件總體架構(gòu)圖

終端設(shè)備層：由多個(gè)單元/區(qū)域組成，每個(gè)單元/區(qū)域內(nèi)安裝一個(gè)或多個(gè)監(jiān)控終端，用于該進(jìn)出口實(shí)時(shí)客流量統(tǒng)計(jì)。

數(shù)據(jù)中心：由應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、防火墻、交換機(jī)等硬件設(shè)備組成。服務(wù)器上有數(shù)據(jù)庫(kù)、發(fā)布的接口應(yīng)用程序等。

接口層：用于接收終端設(shè)備上傳的實(shí)時(shí)客流量統(tǒng)計(jì)，并進(jìn)行客流預(yù)警計(jì)算。且為客流監(jiān)控預(yù)警后臺(tái)軟件提供實(shí)時(shí)/歷史客流量數(shù)據(jù)。

應(yīng)用層：為面向用戶(hù)的窗口，為用戶(hù)提供客流量實(shí)時(shí)監(jiān)控、客流量實(shí)時(shí)預(yù)警、歷史客流量查詢(xún)、系統(tǒng)管理等幾個(gè)功能。

6 實(shí)驗(yàn)結(jié)果與分析

在該實(shí)驗(yàn)中，客流監(jiān)控終端產(chǎn)品安裝在人員密集場(chǎng)所出入口的正上方，距離地面2.5m高的位置，垂直于地面，自上而下對(duì)進(jìn)出人員的頭肩輪廓成像，實(shí)現(xiàn)客流統(tǒng)計(jì)。系統(tǒng)客流統(tǒng)計(jì)實(shí)現(xiàn)過(guò)程如圖6所示。

圖6 客流統(tǒng)計(jì)實(shí)現(xiàn)過(guò)程

所有出入口的客流統(tǒng)計(jì)數(shù)據(jù)都傳輸?shù)胶笈_(tái)軟件，這樣系統(tǒng)就可以實(shí)現(xiàn)對(duì)人員密集場(chǎng)所客流密度的實(shí)時(shí)監(jiān)控和預(yù)警。實(shí)驗(yàn)中使用的鏡頭焦距為6mm，所拍攝圖像的分辨率為720×576。終端產(chǎn)品中的DSP同時(shí)使用A、B通道采集兩路視頻，DSP嵌入式程序?qū)陕芬曨l解碼芯片的配置是完全相同的。因此，兩路視頻圖像基本是同步采集的。

一般的人體高度處于1.2m～2m之間，而終端產(chǎn)品雙目攝像機(jī)距離地面的高度為2.5m，所以人體目標(biāo)的深度值處于0.5m～1.3m之間。本系統(tǒng)結(jié)合運(yùn)動(dòng)目標(biāo)的深度信息，判斷其深度值是否在設(shè)定的范圍內(nèi)，從而能夠有效地判斷是否有人體通過(guò)。

在整個(gè)測(cè)試過(guò)程中，本文統(tǒng)計(jì)的是在15min內(nèi)經(jīng)過(guò)檢測(cè)區(qū)域的人數(shù)，本次實(shí)驗(yàn)從5個(gè)不同的時(shí)刻開(kāi)始，從而統(tǒng)計(jì)了5個(gè)15min內(nèi)經(jīng)過(guò)的人數(shù)，從而計(jì)算客流統(tǒng)計(jì)的準(zhǔn)確率，其結(jié)果分析如表1所示。

表1 實(shí)驗(yàn)結(jié)果數(shù)據(jù)

通過(guò)上表可以看出，利用本文設(shè)計(jì)的方法進(jìn)行客流統(tǒng)計(jì)的平均準(zhǔn)確率可以達(dá)到96.5%。

7 結(jié)語(yǔ)

主要探討了基于立體視覺(jué)技術(shù)的客流監(jiān)控預(yù)警系統(tǒng)的設(shè)計(jì)方案和實(shí)現(xiàn)方法。該系統(tǒng)采用3D圖像識(shí)別技術(shù)，用于實(shí)時(shí)客流統(tǒng)計(jì)和監(jiān)控預(yù)警。研究表明：該方案有效排除了一些非人員因素的干擾，解決了并排問(wèn)題，大大提高了客流統(tǒng)計(jì)和監(jiān)控預(yù)警的準(zhǔn)確度；實(shí)現(xiàn)了人員高度過(guò)濾技術(shù)，可以自定義設(shè)置需要過(guò)濾計(jì)數(shù)的人員高度；采用非接觸式統(tǒng)計(jì)，裝置安裝隱蔽性好，不影響進(jìn)出人員的感受。