鄧仕虎,張興國,王小勇,朱俊豐，王 秀

(1.重慶市地理信息中心，重慶 401121；2.信陽師范學(xué)院 地理科學(xué)學(xué)院，河南 信陽 464000；3.重慶知行地理信息咨詢服務(wù)有限公司，重慶 401121)

0 引言

隨著社會經(jīng)濟(jì)的發(fā)展，人群聚集活動日趨增多，致使群體性事件時有發(fā)生. 如何及時發(fā)現(xiàn)人群狀態(tài)的異常并采取有效措施進(jìn)行疏導(dǎo)已成為國內(nèi)外學(xué)者和政府管理部門關(guān)注的熱點(diǎn). 目前，在大型安?；顒又?，除了加強(qiáng)警力部署外，視頻監(jiān)控系統(tǒng)已成為必不可少的構(gòu)成要素，發(fā)揮著越來越重要的作用.

當(dāng)前，基于視頻獲取人群運(yùn)動狀態(tài)的研究已取得了較好的研究成果.在視頻圖像空間 ，通過圖像處理、光流計(jì)算等獲取運(yùn)動特征，通過機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)人群異常行為的檢測[1]. 為了擴(kuò)大人群視頻監(jiān)控的視域范圍，胡學(xué)敏等基于魚眼相機(jī)對人群進(jìn)行估計(jì)，并采用透視加權(quán)的方法來消除透視畸變[2]. 在視頻流的實(shí)時計(jì)算方面，姬麗娜等基于GPU多流處理器進(jìn)行加速，有效地提高了人群實(shí)時計(jì)數(shù)效率[3]. 近年來，許多新技術(shù)也在視頻人群信息提取中得到應(yīng)用，效果較好，如基于序的空間金字塔池化網(wǎng)絡(luò)、壓縮感知、社會計(jì)算和深度學(xué)習(xí)等[4-6]. 圖像采用像素坐標(biāo)，缺乏真實(shí)的度量坐標(biāo)，人群可量測的運(yùn)動狀態(tài)參數(shù)獲取困難，一些GIS學(xué)者嘗試將視頻與GIS結(jié)合起來，也取得了一定的效果[7-9].

針對監(jiān)控視頻在圖像空間難以統(tǒng)一、宏觀及真實(shí)量化人群狀態(tài)的問題，本文將視頻與GIS相結(jié)合，將圖像空間的光流場映射至地理空間，在地圖中進(jìn)行人群狀態(tài)的展示、分析與預(yù)警. 融合地理信息及實(shí)時視頻分析數(shù)據(jù)的人群感知方法，相對于傳統(tǒng)的方法更為便捷，將會有效降低安保人員的疲勞度，提高突發(fā)事件實(shí)時監(jiān)控與預(yù)警能力.

1 人群狀態(tài)感知模型

1.1 技術(shù)路線

人群狀態(tài)感知流程主要包括四大過程，即視頻采集及處理、光流計(jì)算、矢量光流場映射至地理空間、人群狀態(tài)檢測與分析，如圖1所示.

圖1 人群狀態(tài)感知技術(shù)路線

第一，通過手機(jī)或相機(jī)在商場、醫(yī)院、車站、銀行等室內(nèi)外人群密集、易發(fā)生突發(fā)公共事件的場所采集實(shí)驗(yàn)數(shù)據(jù)，包括正常的人群行為視頻和異常行為視頻，如打架、追跑、聚集、驟散、逆行等，為人群異常行為檢測提供測試數(shù)據(jù). 基于高清遙感影像或GPS，采集攝像機(jī)中心點(diǎn)的位置. 基于相機(jī)標(biāo)定或直接設(shè)定得到攝像機(jī)的高度、傾角、方位角、主距等內(nèi)外參信息. 第二，計(jì)算各個監(jiān)控視頻的光流場. 以視頻中前后兩幀圖像為基礎(chǔ)，采用相關(guān)的光流計(jì)算方法，得到當(dāng)前視頻的實(shí)時光流場. 第三，將區(qū)域內(nèi)各個視頻的光流場映射至地理空間. 視頻圖像空間所計(jì)算的光流場，其坐標(biāo)為像素坐標(biāo)，難以在地理空間中進(jìn)行定位、量測或分析，需要通過圖像空間與地理空間的映射方法將其投射至地圖中. 第四，在地理空間中，任何一條矢量光流都具有明確的空間參考，很容易了解人群的位置、方向、速度、加速度等運(yùn)動參數(shù)，是人群狀態(tài)檢測及預(yù)警的重要基礎(chǔ).

1.2 關(guān)鍵技術(shù)

基于視頻提取動態(tài)目標(biāo)的運(yùn)動矢量場，主要依賴于圖像空間，光流場以像素為單位，其方向以圖像空間為基礎(chǔ)，無法獲取動態(tài)目標(biāo)在地理場景中真實(shí)的度量值(包括位置、方向和速度等). 為了使人群狀態(tài)可定位、可量測、可分析，并具有一覽性的優(yōu)勢，需要重點(diǎn)解決光流場的提取及光流場至地理空間的映射問題.

1.2.1 Lucas-Kanade光流計(jì)算方法

光流場計(jì)算是人群狀態(tài)感知最為重要的關(guān)鍵技術(shù)之一. 光流場的計(jì)算最初是由美國學(xué)者HOM和SCHUNCK提出，并在研究中不斷推進(jìn)光流場相關(guān)算法的改進(jìn)和優(yōu)化. 光流場應(yīng)用很廣范，可以用于行人檢測、行人的步態(tài)分析、運(yùn)動分割等，也有學(xué)者對光流法執(zhí)行效率進(jìn)行評價[10].

本文采用Lucas-Kanade光流法來獲取人群的運(yùn)動狀態(tài). 該方法首先將視頻轉(zhuǎn)換為序列圖像，并轉(zhuǎn)換為序列灰度圖，約束在較短時間內(nèi)，運(yùn)動目標(biāo)相同點(diǎn)的灰度值不會發(fā)生變化，依此構(gòu)建方程，計(jì)算光流矢量. 人群狀態(tài)的變化可以通過場模型來表達(dá). 序列灰度圖像的變化是人群運(yùn)動的表現(xiàn)，灰度圖變化越快，人群的運(yùn)動越快. 在臨近時間內(nèi)，相同特征點(diǎn)灰度值不變的約束，可以形成一個矢量場. 矢量場中各個矢量的大小和方向即人群運(yùn)動的快慢和方向. 需要注意的是，該矢量場并不是人群真實(shí)的運(yùn)動速度，僅僅是人群運(yùn)動的透視視圖.

Lucas-Kanade方法根據(jù)臨近幀灰度梯度的變化，尋找各個像素的運(yùn)動矢量. 以HORN 與SCHUNCK 的研究為基礎(chǔ)，產(chǎn)生了Lucas-Kanade光流算法，效果較好. 該方法是一種基于梯度的局部參數(shù)化光流估計(jì)方法. 該方法假設(shè)在圖像空間中一個小的窗口內(nèi)，光流矢量保持不變，則可以采用最小二乘法計(jì)算其光流矢量.

假設(shè)圖像平面一個像素點(diǎn)(x,y)，在t時刻的亮度為E(x,y,t)，u(x0,y0)為像素點(diǎn)的水平變化分量，v(x,y)為像素點(diǎn)的垂直變化分量.

u=dx/dt,

(1)

v=dy/dt.

(2)

在經(jīng)過時間間隔△t后該點(diǎn)對應(yīng)點(diǎn)亮度為E(x+△x,y+△y,t+△t),當(dāng)△t很小趨近于0時，假設(shè)該點(diǎn)亮度不變，如式(3).

E(x,y,t)=E(x+△x,y+△y,t+△t).

(3)

當(dāng)該點(diǎn)的亮度有變化時，將移動后點(diǎn)的亮度由泰勒公式展開，如式(4).

E(x+△x,y+△y,t+△t)=

(4)

若二階導(dǎo)數(shù)為無窮小，△t為0，如式(5).

(5)

式中:w=(u,v)，該式為基本的光流約束方程.

令Ex=?E/?x,Ey=?E/?y,Et=?E/?t表示圖像中像素點(diǎn)灰度沿x,y,t方向的梯度，可將上式改寫成：Exu+Eyv+Et=0，即灰度一致約束條件. 輸入的視頻尺寸為X×Y；檢測當(dāng)前圖像的所有Harris角點(diǎn)作為特征點(diǎn)；然后運(yùn)用金字塔LK光流方法，取w×w的特征窗口，根據(jù)光流約束條件求解特征點(diǎn)的光流(u,v)，如式(6).

(6)

即Av=-b.

然后，采用最小二乘法，如式(7)和(8).

ATAv=AT(-b)或v=(ATA)-1AT(-b)，

(7)

(8)

實(shí)驗(yàn)視頻共nFrame幀圖片，時間為tSum秒，則每幀圖像所需時間可通過式(9)來計(jì)算.

tEach=tSum/nFrame.

(9)

解算中，求和從1到n，通過圖像導(dǎo)數(shù)計(jì)算，并各自累加得出. 同時還需權(quán)重函數(shù)W(i,j,k)，i、j、k∈[1,m]來突出窗口中心點(diǎn)的坐標(biāo)，采用高斯函數(shù)進(jìn)行計(jì)算效果明顯，可較好地得到當(dāng)前視頻的實(shí)時光流場. 該算法對特定應(yīng)用場景(如車站人群)監(jiān)測效果較好，具有廣闊的應(yīng)用前景.

1.2.2 光流場映射至2D地理空間

由視頻得到的光流場，其坐標(biāo)為像素坐標(biāo)，難以在地理空間中進(jìn)行定位、量測或分析等，需要通過圖像空間與地理空間的映射方法將其投射至地圖中. 地圖明確的空間參考、宏觀觀測視角，有助于整體把握大區(qū)域人群的運(yùn)動態(tài)勢. 光流場映射至2D地理空間是本文另一關(guān)鍵技術(shù).

傳統(tǒng)的方法需要計(jì)算2D單應(yīng)矩陣. 首先，在圖像中選擇3個及以上控制點(diǎn)，得到控制點(diǎn)的圖像坐標(biāo)；然后，在高清遙感影像或地圖中選擇相應(yīng)點(diǎn)，得到控制點(diǎn)的空間直角坐標(biāo)；最后，計(jì)算2D單應(yīng)矩陣H. 該方法不僅需要交互選擇，而且要求具備高清遙感影像或地形圖，適合于小型的視頻監(jiān)控場景，難以在大型的視頻監(jiān)控系統(tǒng)中使用. 特別是，當(dāng)獲取目標(biāo)的三維幾何信息時，2D單應(yīng)方法無能為力. 在此背景下，張興國等[11]提出了監(jiān)控視頻與2D地理空間的互映射模型，可以較好地實(shí)現(xiàn)圖像空間與二維地理空間的一一對應(yīng).

為了得到人群真實(shí)的三維信息，顧及PTZ攝像機(jī)，本文引入了監(jiān)控視頻映射至2D地理空間的互映射模型. 該模型要求攝像機(jī)內(nèi)外參已知，便于計(jì)算. 相機(jī)模型以齊次方程來表示，如式(10).

(10)

式(10)中，攝像機(jī)的內(nèi)外參數(shù)隱藏在矩陣當(dāng)中. 為了便于使用，通過對比分析攝影測量學(xué)和計(jì)算機(jī)視覺的相機(jī)模型，得到了便于使用的相機(jī)模型，如式(11).

(11)

式中：u0=x0ph,v0=Hpic-y0ph為像主點(diǎn)的坐標(biāo),Hpic為圖像高度，與攝影測量學(xué)中的內(nèi)外參數(shù)含義保持一致.

對于平面直角坐標(biāo)系下某點(diǎn)，若高程為Zh，可實(shí)現(xiàn)圖像坐標(biāo)到平面直角坐標(biāo)的轉(zhuǎn)換,如式(12).

(12)

式中:s1=(fa1-u0a3)(-X)+(fb1-u0b3)·(-Y)+(fc1-u0c3)(-Z),s2=(fa2-v0a3)(-X)+(-fb2-v0b3)·(-Y)+(-fc2-v0c3)(-Z),s3=(-a3)(-Xs)+(-b3)(-Ys)+(-c3)(-Zs).

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)平臺與數(shù)據(jù)

本文基于MATLAB、OpenCV、VS C# 2012、ArcEngine作為實(shí)驗(yàn)平臺，并將各環(huán)境下實(shí)現(xiàn)的算法進(jìn)行集成，開發(fā)了一個人群狀態(tài)感知的原型系統(tǒng). MATLAB和OpenCV下的計(jì)算機(jī)視覺基礎(chǔ)庫較多，已經(jīng)實(shí)現(xiàn)了眾多基礎(chǔ)功能，如視頻實(shí)時接入、視頻文件播放、視頻幀的獲取、圖像尺寸調(diào)整等，本文以此為基礎(chǔ)，實(shí)現(xiàn)了所述算法，并封裝為DLL. 在VS C# 2012下調(diào)用相關(guān)DLL，并結(jié)合GIS二次開發(fā)組件ArcEngine，開發(fā)完成了原型系統(tǒng).

本文以某高校的餐廳及教學(xué)樓前作為實(shí)驗(yàn)區(qū)域，采集了多個包含人群的視頻數(shù)據(jù)，并搜集了該區(qū)域的QuickBird遙感影像及高精度矢量地圖. 為了獲取攝像機(jī)的內(nèi)外參，采用滅點(diǎn)、滅線的方法來計(jì)算主距，結(jié)合高清遙感影像，獲取攝像機(jī)的外參(約束旋轉(zhuǎn)角為0). 從而，較好地實(shí)現(xiàn)了視頻數(shù)據(jù)到地理空間的映射.

2.2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)主要包括三方面內(nèi)容，即光流提取、光流至地理空間映射、光流的空間分析. 基于Lucas-Kanade算法，實(shí)現(xiàn)了餐廳、教學(xué)樓前視頻數(shù)據(jù)光流信息提取，光流真實(shí)反映了人群運(yùn)動的趨勢. 如圖2，箭頭的指向?yàn)楣饬鞯姆较?，其長度代表光流的值. 當(dāng)人群中某人運(yùn)動正常時，箭頭呈現(xiàn)方向趨同，長度相似，否則箭頭會出現(xiàn)雜亂，長度會長一些.

圖2 人群異常行為檢測Fig. 2 Abnormal behavior detection

基于視頻圖像空間與地理空間的互映射模型，可以將視頻中提取的光流實(shí)時映射到GIS中. GIS中，以箭頭的形式來表達(dá)，具有明確的空間參考和度量信息，可以從全局把握區(qū)域人群的運(yùn)動狀態(tài). 如圖3，原型系統(tǒng)中展現(xiàn)了某時刻的運(yùn)動光流場.

圖3 地圖中的光流場Fig. 3 The optical flow field in the map

基于GIS可以對光流場進(jìn)行空間分析，本文進(jìn)行了散點(diǎn)內(nèi)插和等值線生成實(shí)驗(yàn). 散點(diǎn)內(nèi)插選擇了IDW方法. 如圖4(a)，可以看出顏色越深速度越快，可根據(jù)顏色的深淺了解人群運(yùn)動的速度場. 基于內(nèi)插的DSM，可以自動生成等值線，等值線的分布也反映了人群的運(yùn)動狀態(tài)，如圖4(b). 值的變化量越小，線的間距就越大. 值上升或下降得越快，線的間距就越小.

圖4 光流場空間分析Fig. 4 Spatial analysis of the optical field

3 結(jié)論

基于GIS的人群感知方法，不僅解決了人群的空間定位、空間量算及一覽性問題，而且也提供了面向人群的空間分析方法，將會有效增強(qiáng)傳統(tǒng)的視頻監(jiān)控系統(tǒng). 同時，實(shí)時的人群運(yùn)動信息對于地理信息科學(xué)也是至關(guān)重要的，該方法可促進(jìn)視頻在GIS中的深入應(yīng)用. 本文所提出的模型通過實(shí)驗(yàn)驗(yàn)證已取得了較好的實(shí)驗(yàn)效果，但尚需在光流的尺度效應(yīng)、精度評價、運(yùn)行效率、多攝像機(jī)下光流的融合等方面深入研究. 視頻圖像的尺寸對光流場有重要影響，針對人群狀態(tài)感知而言，視頻圖像的最佳尺寸是一個值得研究的問題. 攝像機(jī)距離人群的遠(yuǎn)近也影響光流信息的提取，距離或者深度的有效區(qū)間是光流計(jì)算的前提. 另外，多個攝像機(jī)距離人群遠(yuǎn)近不同、攝像機(jī)的內(nèi)外參各異，光流的融合模型是大場景下人群光流場可視化的關(guān)鍵. 如何進(jìn)一步提高運(yùn)算速度、實(shí)時性、抗噪性及系統(tǒng)的魯棒性是后續(xù)研究的重點(diǎn).