李曉峰,邢金明
(1.黑龍江外國語學院 信息工程系,黑龍江 哈爾濱 150025;2.東北師范大學,吉林 長春 130024)
智能圖像和視頻信息處理技術(shù)應用中,采用圖像信息處理技術(shù)進行視頻運動目標分析,對視頻運動目標進行可靠性檢測,提高視頻運動目標的檢測和識別能力,相關的視頻運動目標可靠性檢測方法研究受到人們的極大關注[1]。對視頻運動目標的檢測是建立在圖像信息處理的基礎上,構(gòu)建視頻運動目標的三維視覺特征分析模型,采用高分辨的視頻運動目標識別和特征提取方法,進行視頻運動目標檢測,對視頻運動目標識別和運動視頻特征分析研究具有重要意義。
視頻運動目標成像多采用光學成像,受到條件隨機場的干擾,導致視頻運動目標的可分辨性不高,一些發(fā)達國家經(jīng)過長時間的分析與探討,對視頻運動目標成像也進行了探索和研究。文獻[2]提出了基于背景更新算法的運動目標偽裝效果檢測方法,采用偽裝原理進行目標檢測,以軍用卡車模型為研究對象,基于背景更新模型和實驗室三通道技術(shù),利用一種新的運動物體偽裝效果的檢測方法,根據(jù)建立的實驗系統(tǒng),計算軍用卡車偽裝前后形狀特征參數(shù)之間的歐氏距離,實現(xiàn)了運動目標偽裝效果檢測;文獻[3]提出了基于Ka波段視頻合成孔徑雷達的低雷達散射截面積運動目標檢測方法,首先研究了目標陰影的特征,主要受目標尺寸、雷達波束入射角和目標速度的影響,然后利用視頻合成孔徑雷達系統(tǒng)檢測運動目標,并對其運動目標檢測性能進行了分析;文獻[4]提出了基于格式塔原理的運動行星檢測與跟蹤方法,構(gòu)造高斯混合模型,從視覺認知的角度檢測運動區(qū)域,利用天文圖像的圖形特征確定行星的位置,然后提出了跟蹤行星的時空融合模型,完成運動行星檢測與跟蹤。但是以上三種方法的目標檢測的分辨率較低,降低了檢測效果。國內(nèi)在這方面研究也相對較多,例如,文獻[5]提出了基于背景減除法的視頻序列運動目標檢測方法,該算法利用背景減除法和幀間差分法,確定視頻圖像幀像素點的運動狀態(tài),根據(jù)像素點的運動狀態(tài),采用最大類間方差法對提取差分圖像,并使用數(shù)學形態(tài)學運算去除目標圖像中的噪聲,完成視頻序列運動目標檢測;文獻[6]提出了基于聯(lián)合直方圖的運動目標檢測方法,該方法利用聯(lián)合直方圖來描述相鄰幀間的相似性,通過對視頻序列中相鄰兩幀圖像進行逐次分塊,計算相鄰幀對應分塊的聯(lián)合直方圖并結(jié)合構(gòu)造的相似性指標以逐步去除背景塊,該方法對運動目標本身不作處理,就能有效地避免檢測到的運動目標出現(xiàn)空洞現(xiàn)象,最終得到了完整的運動目標。但是以上兩種方法在進行運動目標檢測時,檢測時間較長,檢測效率較低;文獻[7]提出了一種綜合使用混合高斯、均值濾波和碼本的多方法融合的檢測方法,該融合檢測方法以上述3種檢測方法為準則建立一個多準則決策框架,通過雙閾值檢測法來表征檢測過程中的不確定性,最終利用謹慎有序加權(quán)平均方法進行決策級融合,實現(xiàn)多種方法的優(yōu)勢互補。但是該方法由于運動特征分布散亂,導致目標跟蹤精度較低,跟蹤效果差;文獻[8]提出了基于改進高斯混合模型的體育視頻運動目標檢測與跟蹤方法,通過分析高斯混合模型的弊端,保留原有的“背景重建-模型更新-背景更新-目標檢測”處理進程,將彩色圖像轉(zhuǎn)換為灰度圖像,在像素相似度差別小的背景區(qū)域進行動態(tài)擴張,加入基于灰度直方圖的目標跟蹤進程,提高高斯混合模型對體育視頻運動目標的處理效率與精度。但是該方法的運動目標檢測準確率較低。
針對上述問題,通過對運動目標進行跟蹤,可以利用目標之間的相對位置信息,但是在建立模型時,訓練樣本相對較多,而條件隨機場是一種判別式機率模型,是隨機場的一種,常用于標注或分析序列目標,具有訓練樣本少的特點。因此,文中提出基于條件隨機場模型的視頻運動目標可靠性檢測方法。首先構(gòu)建視頻運動目標的像素特征點塊匹配結(jié)構(gòu)模型,提取目標特征的關鍵幀頻帶,并構(gòu)建幀內(nèi)編碼函數(shù),跟蹤目標運動軌跡。再建立目標圖像的條件隨機場分布模型,通過粗重構(gòu)和超分辨率重建,最終實現(xiàn)運動目標的可靠性檢測。最后通過仿真實驗可知,該方法具有較高的視頻運動目標的檢測準確率、跟蹤精度和檢測分辨率,且檢測時間較少。
為了實現(xiàn)視頻運動目標的可靠性檢測,首先采用模板匹配方法構(gòu)建視頻運動目標的像素特征點塊匹配結(jié)構(gòu)模型,如圖1所示。
圖1 視頻運動目標的塊匹配結(jié)構(gòu)模型
在圖1所示的塊匹配結(jié)構(gòu)模型中,采用像素幀匹配視頻運動目標的模板,對第k個子帶中采集的目標圖像,采用關鍵幀融合方法,構(gòu)建碼視頻運動目標圖像的頻帶劃分模型[9-11],根據(jù)關鍵幀間的相關性,得到視頻運動目標圖像分塊融合的均方誤差函數(shù)準則(MSE),計算公式如下:
(1)
(2)
其中,N1×N2為視頻編解碼框架提取中視頻運動目標圖像的高頻帶編碼帶寬分布,(mvx,mvy)為視頻運動模板的分塊融合矢量,fi(x,y)和fi-1(x+d1,y+d2)分別表示視頻運動目標圖像當前幀和參考幀的像素點[12-13]。
采用圖像像素空間融合匹配技術(shù)實現(xiàn)在每個尺度下的視頻運動信息統(tǒng)計分析,得到統(tǒng)計特征量LogfEcv(c1,c2)為:
LogfEcv(c1,c2)=μ·Length(C)+ν·Area(inside(C))+
(3)
其中,c1和c2分別表示視頻運動目標圖像的灰度系數(shù)和亮度系數(shù),μ、ν、λ1和λ2表示稀疏性特征分布函數(shù),均為大于0的常數(shù)。
采用關鍵幀檢測方法,對目標統(tǒng)計特征量中的關鍵幀進行分析,像素關鍵幀的頻帶劃分D的計算公式如下:
(4)
根據(jù)上述獲取的像素關鍵幀頻帶劃分結(jié)果,進行視頻運動目標軌跡自適應跟蹤分析,主要通過構(gòu)建幀內(nèi)編碼函數(shù)實現(xiàn)跟蹤[16-18]。
采用分塊模板匹配方法,采集視頻運動目標圖像的視覺信息,得到視頻運動區(qū)域內(nèi)的視頻序列的每幀軌跡跟蹤函數(shù),定義如下:
v(x)=g-1(g(1)-g(u(x)))
(5)
其中,u(x)為視頻運動目標圖像的鄰域灰度函數(shù),g(·)表示關鍵幀編碼模式下的軌跡跟蹤目標函數(shù),滿足g:[0,1]→[0,1]。由此提取視頻運動信息特征量,得到視頻運動目標圖像的關聯(lián)規(guī)則系數(shù)P(Y)的表達式為:
(6)
(7)
文中提出基于條件隨機場模型的視頻運動目標可靠性檢測方法,對視頻運動目標圖像邊界特征進行分段檢測,解決了視頻運動特征分布散亂、跟蹤效果差的問題,提高了視頻運動目標檢測的準確率。初始化視頻運動目標圖像的邊緣輪廓中心,得到視頻運動目標圖像的輪廓像素分布模型g(xi,yj|μk,αk),其表達式為:
(8)
(9)
其中,xj表示視頻運動目標圖像的每個像素特征聚類點j的邊界信息,dist(xi,xj)表示視頻運動目標圖像標記特征點xi和xj之間的歐氏距離,參數(shù)σ表示關鍵幀編碼的幀調(diào)節(jié)系數(shù)。
在上述基礎上,根據(jù)邊緣輪廓特征分布進行目標重構(gòu)與可靠性檢測,得到視頻運動目標圖像的高分辨率像素特征g的表達式為:
g=k?f+n
(10)
其中,?表示卷積算子,對采集的視頻運動目標圖像進行點識別,得到其特征匹配函數(shù)sPPM(t)為:
(11)
其中,Ts是視頻運動目標圖像的邊緣輪廓增益,采用鄰域插值方法進行視頻運動目標圖像的高分辨重建,得到視頻運動目標特征粗重構(gòu)g'(x,y)的表達為:
(12)
其中,wxy為灰度像素分量,利用空間區(qū)域像素增強方法進行視頻運動目標的灰度增強,得到灰度增模板函數(shù)為:
(13)
其中,η表示視頻運動目標圖像的邊緣輪廓特征檢測系數(shù),φ表示高分辨率圖像重構(gòu)的像素誤差,D表示邊緣模糊像素集。使用梯度下降法進行視頻運動目標圖像的區(qū)域像素點匹配,得到圖像的稀疏度系數(shù)滿足C∈S,視頻運動目標圖像的最佳分辨率檢測結(jié)果輸出P(k/k)的表達式為:
視頻運動目標圖像受到零均值的加性高斯白噪聲的干擾,得到基于稀疏表示的視頻運動目標圖像精細重構(gòu)模型g(x,y)為:
g(x,y)=f(x,y)+ε(x,y)
(15)
其中,f(x,y)、g(x,y)、ε(x,y)分別代表原始圖像、高分辨重構(gòu)后視頻目標圖像以及灰度圖像,由此得到視頻運動目標的可靠性檢測輸出結(jié)果I(i,j),表示為:
(16)
綜上分析,實現(xiàn)視頻運動目標的優(yōu)化檢測,提高對視頻運動目標的可靠性檢測[20]。
通過仿真實驗驗證基于條件隨機場模型的視頻運動目標可靠性檢測方法的有效性。實驗在Matlab仿真工具,Microsoft Windows10操作系統(tǒng),Intel/英特爾 酷睿 I7 8100 酷睿8代處理器,24 GB內(nèi)存環(huán)境下完成,對視頻運動目標圖像檢測的樣本數(shù)據(jù)庫來源于Olympic sports dataset視頻圖像數(shù)據(jù)庫(http://vision.stanford.edu/Datasets/OlympicSports/),共采集數(shù)據(jù)5 000個,進行50組實驗,每次使用100個數(shù)據(jù)。
以視頻運動目標檢測的分辨率、檢測時間、目標跟蹤精度、檢測準確率為實驗指標,采用文獻[2-8]的方法和文中方法進行對比實驗。
(1)檢測準確率:由于視頻運動特征分布散亂,跟蹤效果差,嚴重影響了視頻運動目標檢測的準確率,所以文中采用分塊模板匹配技術(shù)解決此問題,以提高檢測準確率。
(2)目標跟蹤精度:精度為驗證測試值的準確性,由于視頻運動特征存在分布散亂現(xiàn)象,導致目標跟蹤精度較低,由此,采用文中方法和文獻[4-6]的方法進行對比分析。
(3)檢測時間:視頻運動目標圖像檢測的過程中需要產(chǎn)生大量的時間,能夠?qū)z測效率產(chǎn)生影響,檢測時間越快,檢測效率越高。采用文中方法與文獻[5-8]的方法對視頻運動目標圖像檢測時間進行對比。
(4)檢測分辨率:較多視頻運動目標圖像檢測會借助圖像的分辨率來做出更為準確的檢測判斷,大大增加了檢測效果,檢測分辨率越高,視頻運動目標檢測效果越好,為此采用文中方法與文獻[2-5]的方法進行對比分析。
研究的視頻目標有高速運動的車輛以及球員,對目標圖像采樣的灰度像素級為120×200,搜索窗口的起始位置為(1.2,3),濾波的觀測值為0.25,檢測的迭代次數(shù)為2 000,視頻運動目標圖像的邊緣輪廓像素分布為20*20,最大似然學習系數(shù)為0.48,0.92,根據(jù)上述仿真參量設定,進行實驗分析。圖2為視頻運動目標圖像測試樣本基準圖。
圖2 視頻運動目標圖像的基準圖
以圖2的視頻運動目標圖像為研究樣本,進行視頻運動目標檢測,提取視頻運動目標圖像的邊緣輪廓特征量,采用分塊模板匹配技術(shù)進行視頻運動目標圖像的塊特征匹配和高分辨視覺重建,實現(xiàn)目標跟蹤識別,得到在200幀下的檢測輸出結(jié)果,如圖3所示。
圖3 視頻運動目標檢測輸出結(jié)果
分析圖3得知,采用文中方法進行視頻運動目標檢測,其檢測結(jié)果準確性較好。采用文中方法、文獻[5-7]的方法,對視頻運動目標檢測的準確率做進一步驗證,驗證結(jié)果見表1。
表1 檢測準確率對比 %
分析表1結(jié)果得知,采用文中方法進行視頻運動目標檢測的準確率較好,最高可達99.63%,文獻[5]方法和文獻[6]方法的檢測準確率最高可達95%左右,但仍舊低于文中方法,而文獻[7]方法的檢測準確率最高只有89%,驗證了文中檢測方法的優(yōu)越性。主要是因為文中方法在運動目標檢測過程中,對運動目標分別進行了粗重構(gòu)和精細化重建,以此獲取檢測結(jié)果,大大提高了檢測結(jié)果的準確率。
在實現(xiàn)視頻運動目標檢測過程中,為避免因特征點分布散亂出現(xiàn)的跟蹤效果差的問題,對運動目標進行了跟蹤處理,以增強檢測效果。為驗證文中方法的可靠性,將文中方法與文獻[4-6]的方法進行目標跟蹤精度對比,結(jié)果如圖4所示。
分析圖4可以看出,利用文中方法獲取的目標跟蹤精度較高,隨著實驗數(shù)據(jù)量的增多,跟蹤精度可高達80%,而文獻[4]方法的最高跟蹤精度為75%,文獻[5]方法的最高跟蹤精度為40%,文獻[6]方法的最高跟蹤精度為45%。由此可以看出,文中方法的跟蹤精度較高,為目標的可靠性檢測提供了數(shù)據(jù)基礎。
圖4 目標跟蹤精度對比
為進一步驗證文中方法的有效性,對文中方法與文獻[5-8]的方法的視頻運動目標的檢測時間進行對比分析,對比結(jié)果如圖5所示。
圖5 視頻運動目標檢測時間對比
根據(jù)圖5可知,文中方法的檢測時間隨著實驗次數(shù)的增長而逐漸降低,其檢測時間在25 s以下;文獻[5]方法的檢測時間在50 s以下;文獻[6]方法的檢測時間在75 s以下;文獻[7]方法的檢測時間在80 s以下;文獻[8]方法的檢測時間在61 s以下。文中方法的檢測時間比傳統(tǒng)方法的檢測時間少,說明該方法具有較高的檢測效率。
采用文中方法、文獻[2-5]的方法,對視頻運動目標圖像檢測的分辨率進行對比分析,對比結(jié)果如圖6所示。
根據(jù)圖6可知,采用文中方法的視頻運動目標圖像的檢測分辨率在90%~100%之間;采用文獻[2]方法的視頻運動目標圖像的檢測分辨率在60%~80%之間;采用文獻[3]方法的視頻運動目標圖像的檢測分辨率在40%以下;采用文獻[4]方法的視頻運動目標圖像的檢測分辨率在70%~90%之間;采用文獻[5]方法的視頻運動目標圖像的檢測分辨率在40%~50%之間。文中方法的視頻運動目標圖像的檢測分辨率較高,說明視頻運動目標檢測效果好。
圖6 視頻運動目標圖像的檢測分辨率對比
由于傳統(tǒng)的視頻運動目標檢測方法存在檢測性能較差的問題,為提高視頻運動目標的檢測和識別能力,提出基于條件隨機場模型的視頻運動目標可靠性檢測方法。采用分塊模板匹配技術(shù)進行視頻運動目標圖像的塊特征匹配,采用圖像像素空間融合匹配技術(shù)實現(xiàn)在每個尺度下的視頻運動信息統(tǒng)計分析,獲取特征點檢測結(jié)果。在此基礎上,建立目標圖像的條件隨機場分布模型,并對目標進行高分辨視覺重建,根據(jù)視頻運動目標圖像的邊緣輪廓特征分布進行目標的可靠性檢測。研究得知,文中方法進行視頻運動目標檢測時,其檢測準確率、跟蹤精度均較高,且檢測時間較少,檢測分辨率較高,說明該方法的檢測效果較好。為日后運動目標圖像檢測奠定了較深的基礎。鑒于視頻運動目標檢測是一個非常復雜的問題,涉及到很多領域的知識,在建立目標圖像的條件隨機場分布模型基礎上,根據(jù)視頻運動目標圖像的邊緣輪廓特征分布進行目標重構(gòu)與可靠性檢測,但是如果換做其他的模型是否會有更好的效果,這也是需要進一步研究的問題。