李芬蘭,彭卓韜,莊哲民

(汕頭大學(xué)工學(xué)院電子系,廣東 汕頭 515063)

0 引言

目前,我國高速公路視頻監(jiān)控系統(tǒng)主要有以下兩方面不足,一方面,隨著高清化節(jié)奏的加快,人們對數(shù)據(jù)清晰、詳細度要求的增大,從而要求的信息量和帶寬也越來越大,導(dǎo)致費用十分昂貴.另一方面,目前普通高清IP攝像機的工作方式是高采樣到高清視頻數(shù)據(jù)后再進行壓縮,經(jīng)過大量的運算后拋棄掉大部分冗余的數(shù)據(jù),這就造成采樣資源極大浪費和采樣端設(shè)備器械的造價成本大幅上升.近幾年來壓縮感知(Compressed Sensing,簡稱CS)[1]理論的出現(xiàn)恰好提供了解決這兩大難題的思路,它指出,只要信號是可壓縮的或在某個變換域是稀疏的,就可以用變換空間描述信號,通過直接采集得到少數(shù)"精挑細選"的線性觀測數(shù)據(jù),通過求解一個優(yōu)化問題就可以從這些少量的壓縮觀測值以高概率重構(gòu)出原信號,所以,它可降低對高清視頻數(shù)據(jù)的采集成本和傳輸帶寬,從而減少網(wǎng)絡(luò)費用,具有廣泛的應(yīng)用前景.

傳統(tǒng)的壓縮感知重構(gòu)算法運用的是基跟蹤技術(shù),重構(gòu)出的信號誤差較大.貝葉斯壓縮感知是基于貝葉斯推論,利用隨機變量之間依賴關(guān)系,將數(shù)據(jù)有效地轉(zhuǎn)化為知識,再利用這些知識進行推理,來求解不確定性問題的一種重構(gòu)方法,它提供更為精確的估計或者減少CS觀測量的途經(jīng).文獻[2]提出了基于相關(guān)向量機的貝葉斯CS框架估計信號.文獻[3]針對臨時互相關(guān)構(gòu)建了分塊稀疏的貝葉斯學(xué)習(xí)框架,把高維測量向量轉(zhuǎn)換到低維測量向量.文獻[4]構(gòu)建一個分層的貝葉斯模型,使用馬爾可夫蒙特卡羅采樣進行有效的估計,提出了貝葉斯樹結(jié)構(gòu)小波壓縮感知(tree-structured wavelet compressive sensing,簡稱TSW-CS)重構(gòu)算法,該算法在圖像重構(gòu)的效果比目前很多算法都要好.

國內(nèi)外專家在背景分割上都做了很多研究,總結(jié)常見的背景分割方法有四類:背景差分法、幀間差分法、光流法和分類法[5-10].背景差分方法由它實現(xiàn)最簡單,并且能夠完整地分割出運動目標(biāo),適合交通車輛攝像頭的終端節(jié)點處理.文獻[11]描述了一種直接重構(gòu)壓縮感知的背景差分圖像的方法,從理論分析和實驗結(jié)果驗證了它的可行性,但重構(gòu)的背景差分圖效果不夠理想.本文結(jié)合壓縮感知、小波分析和馬爾可夫鏈蒙特卡洛的思想,提出一種新穎的基于小波分析的貝葉斯壓縮感知背景分割的目標(biāo)檢測算法.這種方法不同于傳統(tǒng)的目標(biāo)檢測算法,它可以減少終端節(jié)點的信息儲存和傳輸量同時有較好的目標(biāo)檢測精度.文章首先針對視頻圖像信號的特點,采用了Daubechies小波基進行信號稀疏,以對比方法選取了更為合適的哈達瑪測量矩陣,然后提出在部分時間均衡的自適應(yīng)背景模型,再結(jié)合背景模型和TSW-CS算法重構(gòu)出目標(biāo).

1 研究思路和基本步驟

1.1 算法架構(gòu)

以往的視頻監(jiān)控為了減少傳輸數(shù)據(jù)量,都要把拍攝下來的錄像進行壓縮編碼,復(fù)雜的壓縮編碼需要較大的運算量,這時對前端設(shè)備的要求很高,費用也較昂貴.本文運用壓縮感知方法,在前端只需進行簡單的觀測即可得到壓縮的信號.在前端可以使用智能DSP芯片對監(jiān)控視頻進行智能分析并完成壓縮感知采樣,然后將壓縮視頻流傳輸?shù)胶蠖讼到y(tǒng)平臺,系統(tǒng)平臺由大型高速計算機和監(jiān)控中心組成,再對視頻流進行重構(gòu)得出目標(biāo)圖像并分析目標(biāo)的細節(jié)來獲取有關(guān)的信息.

1.2 算法流程

算法的基本步驟如下:先終端節(jié)點的視頻攝像頭獲取視頻信號,對視頻信號進行小波基稀疏表示,然后使用哈達瑪矩陣進行觀測得到網(wǎng)絡(luò)傳輸帶加性噪聲的壓縮信號,在接收端進行信息處理,使用結(jié)合背景差分法的TSW-CS重構(gòu)算法估計背景分割后的圖片,最后使用形態(tài)學(xué)(或膨脹運算)的得到檢測目標(biāo),具體如圖1所示.

圖1 本文目標(biāo)檢測系統(tǒng)的流程圖

2 基于壓縮感知的背景分割

2.1 稀疏表示

假設(shè)我們有一個大小為N1XN2的圖像X,以每一順序連接起來向量化為一個NX1(N=N1N2)列向量x.圖像向量x的第n個元素記作x(n),其中n=1,…,N.再假設(shè)正交基Ψ=[ψ1,…,ψN],其稀疏度為K,則x表示如下:

其中θ(n)是第n個向量基ψn=(ψn:NX1)的系數(shù),并且這K個非零系數(shù)的下標(biāo)用nl表示,K<

2.2 部分哈達瑪觀測矩陣

在普通的數(shù)據(jù)采集系統(tǒng)中(例如數(shù)碼攝像機),首先采集圖像x的全部N個像素點采樣,然后進行變換編碼,計算出全部的變換系數(shù)θ=ΨTx,找出稀疏度為K的K個最大系數(shù)并將N-K個較小的系數(shù)全部丟掉,將這K個最大系數(shù)的值以及它們所在的位置用來編碼.這樣先采樣后編碼的框架本身存在采樣量過多,并且只需要K個較大系數(shù),但要將全部的變換系數(shù)計算出來和系數(shù)值編碼都無疑引起額外的開銷.在CS框架中,取消采集全部N個像素點的中間過程,直接以壓縮的方式采集信號,即采用另外一個與正交基Ψ不相關(guān)的觀測矩陣Φ:MXN,(M

可見壓縮感知的采樣量只要M,這樣的觀測過程是非自適應(yīng)的,在很大程度上依靠觀測矩陣的選取.通常隨機觀測矩陣因為它提供了廣泛的觀測矩陣與稀疏矩陣不相干對,給重構(gòu)提供了條件,往往兩者不相關(guān)度越大,重構(gòu)的效果會越好.目前隨機矩陣在觀測矩陣中應(yīng)用很廣泛,例如高斯隨機矩陣、隨機正交矩陣、隨機貝努利矩陣等,本文采用部分哈達瑪(Hadamard)觀測矩陣,是由于哈達瑪矩陣為正交方陣,它的任意兩行(或兩列)都是正交的這一特點,在隨機矩陣中的不相關(guān)性較好.

部分哈達瑪矩陣的構(gòu)造方式是:生成大小為NXN的哈達瑪矩陣,然后在生成矩陣中隨機地選取M行向量,構(gòu)成一個MXN的矩陣.

則稱H為n階哈達瑪矩陣.

五種測量矩陣在對同一幀情況下,三摩托車監(jiān)控視頻的檢測,統(tǒng)計出各自的信噪比(SNR)如下表1所示.

表1 各種不同測量矩陣的重構(gòu)信噪比對比表

表1可見在稀疏度一樣時,哈達瑪測量矩陣在5種測量矩陣中重構(gòu)后的信噪比(SNR)是最高的,更能準(zhǔn)確重構(gòu).

2.3 圖像的稀疏表示

在隱式馬爾可夫樹模型中,小波系數(shù)描述成一個由兩個零均值、不同方差的高斯分布所組成.這里的兩個高斯分布分別表示兩種隱式狀態(tài),第一種狀態(tài)為高狀態(tài),相應(yīng)是θm,描述為大方差的高斯分布,另外一種狀態(tài)為低狀態(tài),相應(yīng)是θc,描述為小方差的高斯分布.同時馬爾科夫樹模型的概率轉(zhuǎn)換矩陣P,為2X2矩陣,其中P(i,j)表示子系數(shù)在狀態(tài)j,相應(yīng)的父系數(shù)在狀態(tài)i;i=1和j=1表示低狀態(tài),i=2和j=2表示高狀態(tài),即(初始狀態(tài)分布為[1-πr,πr])

對于計算機視覺來說,自然圖像在小波域內(nèi)是可以被稀疏表示的.根據(jù)壓縮感知理論,CS觀測量v=Φx=ΦΨθ,其中Φ是一個MXN維矩陣(M

根據(jù)之前隱式馬爾可夫模型的描述,θc能夠建模為一個零均值、方差σ2e的高斯分布.當(dāng)我們假設(shè)壓縮感知的觀測量中包含了加性噪聲,該噪聲n0為零均值,方差為的高斯噪聲,則觀測量為,其中nc+n0可化簡為一個零均值,方差為σ2的高斯分布.在CS重構(gòu)中,就是通過重構(gòu)算法,估計出θk在向量序列θ中的值和位置.

2.4 背景差分圖像模型

利用貝葉斯回歸和因子模型中的峰平(spike and slab)先驗知識[13,14],我們對第i個小波系數(shù)θ服從其中δ0是接近0的值,πi是混合加權(quán)值.因為每一個觀測量都是整幅圖像的一個隨機投影,所以觀測值滿足常數(shù)方差的獨立同分布的高斯分布,即再采用小波估計模型建立.根據(jù)以上結(jié)論,參考文獻[4]建立貝葉斯樹結(jié)構(gòu)小波壓縮感知模型(TSW-CS)描述為:

其中

其中混合加權(quán)πi,精度參數(shù)αi和未知噪聲精度αn,θs,j表示在尺度s下的第i個小波系數(shù),i=1,…,Ns(Ns是在尺度s下小波系數(shù)的全部個數(shù)),πs,i是相關(guān)混合加權(quán),θpa(s,)j表示θs,i的父系數(shù),L為分解等級的個數(shù).在(5)式里,帶有零值的父級在尺度下s所有系數(shù)分享一個混合加權(quán)π0s,帶有非零的父級在尺度s下稀疏分享一個混合加權(quán)π1s.噪聲精度αn和非零系數(shù)精度αs都描述成Gamma先驗分布,其中a0=b0=c0=d0=1X 10-6,而他們的后驗概率則有數(shù)據(jù)里推導(dǎo)出來.混合加權(quán)值πsc,πr,π0s和π1s都描述成Beta分布,其中,esc=(1-δ)Nsc,fsc=δNsc,Nsc為尺度系數(shù)的個數(shù),er0=0.9Ns,fr0=0.1Ns,,其中s=2,…,L.

設(shè)背景圖、測試圖和差分圖為xb,xt和xd,差分圖是由測試圖與背景圖相減所得.差分圖的支撐,它提供了檢測目標(biāo)的位置和外形.假設(shè)xb和xt是自然圖像,采用小波基稀疏的條件下使用K個變換系數(shù)實現(xiàn)較準(zhǔn)確的近似,那么差分圖像xd的支撐集P=Sd的像素且P<

在N維重構(gòu)維數(shù)下,xb,xt和xd的觀測量M的個數(shù)[12]可確定為Mscene=Mb=Mt≈和其中α為一個較小的常正數(shù).為了比較Md與Mscene的大小,先假設(shè)Md

公式(6)可以化簡為

2.5 基于壓縮感知的前景重構(gòu)

重構(gòu)前景我們采用TSW-CS算法[4],該算法是基于Gibbs采樣的馬爾科夫蒙特卡羅(MCMC)算法[16]來計算后驗知識.這種MCMC算法的一個顯著特點是每步迭代都用條件分布(這些分布是通過將目標(biāo)分布限制在一定的子空間產(chǎn)生的)來構(gòu)建馬爾可夫鏈并最終收斂于平穩(wěn)分布.算法的具體描述如下:

1)假設(shè)隨機變量先驗概率:

2)在每次MCMC迭代過程中,由式(5)和(7)得重構(gòu)小波系數(shù)的條件先驗分布為:

其中θs,j是N維向量θ的第j元素,表示θ(j),則,其中

4)經(jīng)過k次MCMC迭代后,由蒙特卡羅方法得到重構(gòu)后小波系數(shù)的近似形式θ?=,得檢測后的目標(biāo)圖像.

2.6 自適應(yīng)背景建模

由于光照、相機的抖動、陰影的變化都會使背景發(fā)生變化,為了提高算法的魯棒性和準(zhǔn)確性,本文提出了局部時間均衡的自適應(yīng)背景模型,學(xué)習(xí)公式:

k表示步長,步長越大對于短時間劇烈運動的分辨能力越差,但相反可以減少低速運動物體的干擾,更準(zhǔn)確地識別出它,提高魯棒性,α表示模型的學(xué)習(xí)速度,其倒數(shù)表示衰減過程的時間常數(shù),一般是經(jīng)驗值.該模型在每隔k幀更新一次,將該時刻的前k幀的圖像進行均衡從而獲得.其中初始背景v{b1}為第一幀v{t

1}

圖2 動態(tài)目標(biāo)識別檢測系統(tǒng)的流程圖

當(dāng)視頻通過攝像頭采集后,以一幀一幀的形式進入動態(tài)目標(biāo)識別檢測系Z統(tǒng)中,系統(tǒng)會根據(jù)目標(biāo)的移動情況自動更新背景,使得背景模型適應(yīng)環(huán)境的變化.

3 實驗結(jié)果

為了驗證算法的有效性,對分辨率為128X128像素的多個目標(biāo)真實場景的交通監(jiān)控錄像進行了測試,其中包含樹蔭、樹葉、路面等復(fù)雜背景的干擾,以及各種不同車輛目標(biāo)的新生、消失等跟蹤場景,攝像頭每秒采集25幀.

實驗測試內(nèi)容:1)為了比較在本文檢測系統(tǒng)下對室外交通監(jiān)控視頻進行檢測,獲得不同幀下各種車輛的測試結(jié)果,并檢測出目標(biāo)個數(shù),實驗參數(shù)α=0.5,步長k=7,觀測比M/N=10%.2)不同觀測比M/N下進行檢測.3)TSW-CS重構(gòu)算法與其他常用的重構(gòu)算法進行檢測比較,對比信噪比、相對重構(gòu)誤差和重構(gòu)時間.

圖3為實驗(1)的大馬路視頻的檢測結(jié)果,第一行圖片為原跟蹤畫面(原始視頻信號),第二行為常規(guī)背景差分法得到前景圖像,再進行壓縮感知并使用TSW-CS重構(gòu),第三行為本算法相應(yīng)檢測結(jié)果,第四行為形態(tài)學(xué)處理后的檢測結(jié)果和檢測目標(biāo)個數(shù);圖中白色圖案為背景分割后的目標(biāo)圖像.由圖可見,先進行背景差分再壓縮感知的話,由于重構(gòu)算法在低觀測率下會出現(xiàn)較大的失真,對比第二、三行圖像,本算法的檢測效果有較大的提升.在圖3(a)中,可以看到馬路上有七輛汽車,從馬路上方往下行駛,我們的算法都能檢測出來,只是最頂部的三輛汽車行駛比較靠近,在形態(tài)學(xué)處理后會誤判為同一目標(biāo).圖3(b)有六輛汽車,雖然畫面頂部的幾輛汽車目標(biāo)較小,但是本算法也能準(zhǔn)確檢測出來.圖3(c)的形態(tài)學(xué)結(jié)果中,頂部出現(xiàn)兩個目標(biāo)是由于斑馬線上行人的走動所致,對于靠近攝像機的兩輛汽車都能檢測出來.圖3(d)的兩輛汽車能清楚地檢測出來.為了對檢測效果有一個定量的分析,我們定義檢測率=;統(tǒng)計實驗結(jié)果,該視頻的檢測率為94.1%.

圖3 不同幀視頻下的目標(biāo)檢測效果圖

如圖4為實驗(2)中大馬路視頻的本算法在觀測比M/N為15%,10%,5%下,第235幀視頻的檢測結(jié)果.從圖4可以看出,當(dāng)不適應(yīng)自適應(yīng)背景模型,在觀測率為10%時目標(biāo)非常不清晰,背景噪聲過大導(dǎo)致檢測率下降,而使用自適應(yīng)背景模型后,檢測效果會更良好和清晰,這是由于固定背景不可能完全適應(yīng)即時視頻背景的配對,會在光照或者抖動的影響下降低檢測準(zhǔn)確度.同時可見,在觀測比為10%以上,檢測結(jié)果都能比較好得重構(gòu)出原檢測目標(biāo),觀測比為5%時噪聲會比較大,可借助濾波提取到檢測.另外,本背景模型在步長k為1-3時,能較好地檢測高速運動物體,在7-9時,能較好地檢測低速運動物體.需要注意的是,步長如果取大了之后,快速運動的物體檢測結(jié)果會出現(xiàn)拖尾現(xiàn)象,所以要根據(jù)實際需要合理選取步長,一般情況α取(0.5~0.7),k取(4~6)為佳.

圖4 大馬路視頻中第235幀的檢測結(jié)果.第一行為有使用自適應(yīng)背景模型的結(jié)果,第二行為未使用自適應(yīng)背景模型的結(jié)果

圖5 五種重構(gòu)算法在觀測比為10%的檢測結(jié)果對比圖

圖5 為實驗(3)把常規(guī)背景差分法與目前常用的5種重構(gòu)算法和TSW-CS算法的效果對比圖,以卡口監(jiān)控視頻的第51幀為例,觀測比為10%.可以看出,在觀測量比較小的時候,本文TSW-CS算法的信噪比是最高的,而且目標(biāo)的細節(jié)都最為清晰,跟沒進行壓縮感知的背景差分所檢測的目標(biāo)十分接近,從而在大大減少采樣率的前提下,實現(xiàn)了有效的預(yù)測跟蹤,確保較好的檢測準(zhǔn)確度.這是由于TSW算法集中更多能量在低尺度分辨上,檢測目標(biāo)一般只要輪廓不需要太多細節(jié),所以需要的是目標(biāo)的低尺度的小波系數(shù),因此用TSW-CS算法重構(gòu)更為準(zhǔn)確.

圖6 各重構(gòu)算法的信噪比

圖7 各重構(gòu)算法的相對重構(gòu)誤差

圖8 各重構(gòu)算法的重構(gòu)時間

如圖6-8所示TSW-CS重構(gòu)算法比與OMP、StOMP、GPSR、TVAL3四種算法的重構(gòu)比較,其中TSW-CS的迭代次數(shù)為15,OMP和StOMP的最大迭代次數(shù)為50,GPSR和TVAL3的最大迭代次數(shù)為100.可見,TSW-CS的信噪比在每個觀測量個數(shù)下都是最高,更準(zhǔn)確地恢復(fù)目標(biāo)的輪廓和有關(guān)部分細節(jié).相對重構(gòu)誤差(Relative Reconstruction Error)定義為,其中f代表原圖像信號,?f代表重構(gòu)信號,由圖7可見TSW-CS相對重構(gòu)誤差最小,重構(gòu)精度最高,從視覺上可以明顯看出差異.由圖8可見TSW-CS的重構(gòu)時間屬于中等,在N=2000后逐漸少于StOMP,與OMP算法平均相差4秒,重構(gòu)時間在五種算法里占優(yōu).由于TSW-CS的迭代次數(shù)固定,所以重構(gòu)時間相對變化比較平穩(wěn),而其他四種算法會由于觀測量增加,導(dǎo)致迭代所選原子也增多,錯選原子的概率也增加,迭代次數(shù)也就會增加,重構(gòu)時間增長.

4 結(jié)束語

本文以壓縮感知理論為基礎(chǔ),建立了使用與交通監(jiān)控視頻目標(biāo)檢測的CS框架,以db3小波稀疏為基礎(chǔ),通過哈達瑪矩陣進行隨機抽取行的方法構(gòu)建測量矩陣,該方法解決傳統(tǒng)的視頻編碼需要較大的運算量的問題,可以減輕視頻采集終端的硬件處理任務(wù),減少網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量,將更多的運算轉(zhuǎn)入后端信息處理中心.

結(jié)合背景差分思想、TSW-CS重構(gòu)算法和局部時間均衡自適應(yīng)背景模型而組成的目標(biāo)檢測系統(tǒng),對多個車輛目標(biāo)的幾個視頻進行檢測,從而得到其準(zhǔn)確性以及分析誤差出現(xiàn)的原因.實驗結(jié)果表明,本文提出的檢測系統(tǒng)能在較高壓縮比的情況下提取出前景區(qū)域,并較快速地完成信號重構(gòu),具有工程可實現(xiàn)性.下一步工作主要集中于重構(gòu)算法的改進和尋找特定有效的觀測矩陣進行觀測,得到更好的結(jié)果.

[1]Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[2]Ji S H,Xue Y,Carin L.Bayesian compressive sensing[J].IEEE Transactions Signal Processing,2008,56(6):2345-2356.

[3]Zhang Z L,Rao B D.Sparse signal recovery with temporally correlated source vectors using sparse bayesian learning[J].IEEE Journal of Selected Topics in Signal Processing,2011,5(5):912-926.

[4]He L H,Carin L.Exploiting structure in wavelet-based bayesian compressive sensing[J].IEEE Transactions Signal Processing,2009,56(9):3488-3497.

[5]Jain R,Sankar K P,Jawahar C V.Interpolation based tracking for fast object detection in videos[C]//Computer Vision,Pattern Recognition,Image Processing and Graphics(NCVPRIPG),2011 Third National Conference on.IEEE,2011:102-105.

[6]朱明旱,羅大庸.基于幀間差分背景模型的運動物體檢測與跟蹤[J].計算機測量與控制,2006,14(8):1004-1006.

[7]Wang P,Shen C H,Barnes N,et al.Fast and robust object detection using asymmetric totally corrective boosting[J].IEEE Digital Object Identifier,2012,23(1):33-46.

[8]Ng H F.Automatic thresholding for defect detection[J].Pattern Recognition Letters,2006,27(14):1644-1649.

[9]Lin R S,Ross D,Lim J,et al.Adaptive discriminative generative model and its applications[J].Advances in neural information processing systems,2004:17:801-808.

[10]Collins R T,Liu Y X,Leordeanu M.Online selection of discriminative tracking features[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1631-1643.

[11]Cevher V,Sankaranarayanan A,Duarte M F,et al.Compressive sensing for background subtraction[M]//Computer Vision-ECCV 2008.Springer Berlin Heidelberg,2008:155-168.

[12]李小波.基于壓縮感知的測量矩陣研究[D].北京:北京交通大學(xué),2010:9-21.

[13]Carvalho C M,Chang J,Lucas J E.High-dimensional sparse factor modeling:applications in gene expression genomics[J].Journal of American Statistical Association,2008,103(484):1438-1456.

[14]Ishwaran H and Rao J S.Spike and slab variable selection:frequentist and bayesian strategies[J].American Statistical Association,2005,33:730-773.

[15]Ray S,Mallick B.Functional clustering by bayesian wavelet methods[J].Journal of the Royal Statistical Society.2006,68(2):305-332.

[16]Robert C P,Casella G.Monte carlo statistical methods[M].2nd.ed,New York:Springer,2004:56-90.