尹麗華,康 亮,劉士建

(1. 上海第二工業(yè)大學(xué),上海 201209;2. 中國科學(xué)院上海技術(shù)物理研究所中國科學(xué)院紅外探測(cè)與成像技術(shù)重點(diǎn)實(shí)驗(yàn)室,上海 200083)

1 引言

利用手機(jī)、數(shù)碼相機(jī)等設(shè)備拍照時(shí),視頻抖動(dòng)的存在不僅會(huì)影響視覺效果,而且容易影響各種后續(xù)的計(jì)算機(jī)視覺任務(wù),例如,目標(biāo)識(shí)別或跟蹤精度。因此,視頻穩(wěn)像技術(shù)至關(guān)重要。目前該技術(shù)面臨如下的難點(diǎn):如何處理有視差變化或運(yùn)動(dòng)前景干擾下的視頻,同時(shí)保證穩(wěn)像精度。

根據(jù)所采用運(yùn)動(dòng)模型[1]不同,目前電子穩(wěn)像方法主要?dú)w為三類:2D、3D和2.5D方法。其中,2D模型最為簡(jiǎn)單,通常是利用單個(gè)仿射模型來表示幀間的運(yùn)動(dòng),并通過各種濾波方法平滑相機(jī)路徑。為了解決視差變化的穩(wěn)像難題,Liu提出了基于捆綁相機(jī)路徑的模型[2],通過捆綁模型來替代單個(gè)模型。后來,于文杰又提出基于多路徑優(yōu)化的穩(wěn)像方法[3],通過對(duì)圖像進(jìn)行網(wǎng)格劃分結(jié)并采用多路徑優(yōu)化策略實(shí)現(xiàn)穩(wěn)像,但是當(dāng)特征點(diǎn)受遮擋時(shí),該算法的穩(wěn)像效果會(huì)受到限制。3D方法是利用復(fù)雜的三維重建實(shí)現(xiàn)穩(wěn)像,該方法雖能處理視差問題,但是復(fù)雜度較高,實(shí)時(shí)性較差。通常2D和3D方法需要依賴于長(zhǎng)特征軌跡的跟蹤,后來結(jié)合2D和3D方法的優(yōu)勢(shì),很多學(xué)者又提出2.5D方法[4-6],該方法避免了脆弱的特征跟蹤,Liu 在二維特征軌跡上應(yīng)用低秩子空間約束[4],后來又利用極間轉(zhuǎn)移技術(shù)增加特征軌跡的長(zhǎng)度,但該方法在復(fù)雜場(chǎng)景視頻中并不成立,比如擁堵的交通道路場(chǎng)景和密集的人流[5]。

為了解決運(yùn)動(dòng)前景干擾的難題,Shene曾提出將SURF算法和隨機(jī)抽樣一致性(RANSAC)算法相結(jié)合剔除異常點(diǎn)[7],但該算法只能剔除部分的前景特征點(diǎn)。后來,朱娟娟又提出基于三幀差分的穩(wěn)像算法[8],該算法對(duì)簡(jiǎn)單場(chǎng)景的效果較好,但不適用于大范圍前景的情況;謝亞晉等提出基于最小生成樹與改進(jìn)卡爾曼濾波器的視頻穩(wěn)像方法[9],提高了穩(wěn)像精度,該算法當(dāng)處理復(fù)雜前景干擾時(shí)的效果有限;Wu結(jié)合RANSAC和K-means聚類方法進(jìn)行前景剔除[10],但該方法只適用于含大范圍運(yùn)動(dòng)前景的情況。后來,北京理工大學(xué)的楊佳麗結(jié)合陀螺儀數(shù)據(jù)進(jìn)行運(yùn)動(dòng)估計(jì),利用李群流形上的卡爾曼濾波進(jìn)行平滑[11],但是穩(wěn)像精度很容易受陀螺儀設(shè)備精度的限制。后來,Liu等提出SteadyFlow算法[12],屬于2.5D方法,用像素輪廓代替特征軌跡,但計(jì)算效率較低。在文獻(xiàn)[13]中,Zhao又提出綜合利用前景和背景的特征軌跡實(shí)現(xiàn)視頻的穩(wěn)定,該算法雖提高了交通場(chǎng)景下的穩(wěn)像精度,但對(duì)復(fù)雜場(chǎng)景的適用性則較差。另外,近年來深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺任務(wù)中也取得了巨大進(jìn)步[14-16],比如在穩(wěn)像方面,Wang等人提出第一個(gè)StabNet深度學(xué)習(xí)穩(wěn)像網(wǎng)絡(luò)[14],該網(wǎng)絡(luò)根據(jù)輸入的抖動(dòng)視頻序列學(xué)習(xí)一組抖動(dòng)視頻到穩(wěn)定視頻的映射。XU等人提出使用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行視頻穩(wěn)像[15],屬于監(jiān)督式的學(xué)習(xí),上述兩種方法都需要用到大量的穩(wěn)像視頻對(duì)數(shù)據(jù)集,獲取難度較大,而且實(shí)時(shí)性較差,不能滿足工程應(yīng)用的需求。

綜上可知,目前的穩(wěn)像方法主要適用于簡(jiǎn)單場(chǎng)景,在當(dāng)處理有大范圍和多運(yùn)動(dòng)前景干擾的情況時(shí),仍有一定的局限性[17]。因此,結(jié)合2.5D方法的優(yōu)勢(shì),本文提出一種基于頂點(diǎn)輪廓的魯棒性抗前景干擾穩(wěn)像方法,該算法的創(chuàng)新性主要體現(xiàn)在:首先,用頂點(diǎn)輪廓代替像素輪廓和特征軌跡,根據(jù)運(yùn)動(dòng)矢量的相似性生成了基于網(wǎng)格頂點(diǎn)的稀疏運(yùn)動(dòng)矢量,剔除了運(yùn)動(dòng)前景的干擾,同時(shí)提高了算法的效率;其次,利用時(shí)間分析法識(shí)別出具有不連續(xù)運(yùn)動(dòng)矢量的網(wǎng)格頂點(diǎn),并通過中值濾波器f2對(duì)網(wǎng)格頂點(diǎn)處的運(yùn)動(dòng)矢量補(bǔ)全,進(jìn)一步剔除了復(fù)雜運(yùn)動(dòng)前景的干擾。

2 算法原理

本算法的流程如圖1所示。

算法流程描述如下:

1)對(duì)輸入視頻檢測(cè)FAST特征[18]。

2)生成稀疏運(yùn)動(dòng)矢量。將圖像劃分為m×n網(wǎng)格,利用基于金字塔的Lucas-Kanade光流算法得到特征匹配對(duì);并根據(jù)運(yùn)動(dòng)矢量的相似性,利用中值濾波器f1生成基于網(wǎng)格頂點(diǎn)的稀疏運(yùn)動(dòng)矢量。

3)稀疏運(yùn)動(dòng)矢量的空間平滑。為了能有效剔除復(fù)雜運(yùn)動(dòng)前景的干擾,本文先通過時(shí)間分析法識(shí)別出具有不連續(xù)運(yùn)動(dòng)矢量的網(wǎng)格頂點(diǎn),并剔除“離群”頂點(diǎn)對(duì)應(yīng)的運(yùn)動(dòng)矢量;并利用中值濾波器f2對(duì)網(wǎng)格頂點(diǎn)處的運(yùn)動(dòng)矢量補(bǔ)全,實(shí)現(xiàn)運(yùn)動(dòng)矢量的空間平滑。

4)對(duì)不同時(shí)刻基于網(wǎng)格的運(yùn)動(dòng)矢量進(jìn)行累加,形成頂點(diǎn)輪廓。

5)通過路徑平滑策略,對(duì)頂點(diǎn)輪廓進(jìn)行平滑。

6)對(duì)圖像進(jìn)行反向補(bǔ)償,輸出穩(wěn)定視頻。

2.1 生成基于網(wǎng)格頂點(diǎn)的稀疏運(yùn)動(dòng)矢量

將圖像劃分為m×n的網(wǎng)格,利用基于金字塔的Lucas-Kanade(簡(jiǎn)稱LK)算法[19]得到特征匹配對(duì),計(jì)算部分特征點(diǎn)的運(yùn)動(dòng)矢量;然后,利用中值濾波器f1將已知運(yùn)動(dòng)矢量擴(kuò)展到它附近的網(wǎng)格頂點(diǎn),得到網(wǎng)格頂點(diǎn)的運(yùn)動(dòng)矢量,并用它生成頂點(diǎn)輪廓。

本算法利用采用頂點(diǎn)輪廓,而非像素輪廓和特征軌跡。下圖2給出了特征軌跡、像素輪廓、頂點(diǎn)輪廓的對(duì)比,其中,圖2(a)代表特征軌跡,該特征軌跡由第t-1幀中特征點(diǎn)像素A->第t幀中的對(duì)應(yīng)像素B->第(t+1)幀中的對(duì)應(yīng)像素C構(gòu)成,由于運(yùn)動(dòng)前景的存在,獲取長(zhǎng)特征軌跡的難度較大。圖(b)代表像素輪廓,是同像素點(diǎn)在一段時(shí)間內(nèi)的運(yùn)動(dòng)矢量構(gòu)成,該方法需要收集所有像素點(diǎn)的運(yùn)動(dòng)矢量,因此計(jì)算效率比較低;圖(c)代表頂點(diǎn)輪廓,僅收集每個(gè)網(wǎng)格頂點(diǎn)處的運(yùn)動(dòng)矢量,不僅能避免脆弱的特征的跟蹤,而且相對(duì)于像素輪廓,因此,頂點(diǎn)輪廓的運(yùn)算效率能得到提高。

圖2 特征軌跡、像素輪廓、頂點(diǎn)輪廓的對(duì)比

2.1.1 FAST特征匹配

利用基于金字塔的Lucas-Kanade光流算法通過由粗到精的搜索策略實(shí)現(xiàn)特征匹配。在圖像J中找到圖像I中特征點(diǎn)μ所對(duì)應(yīng)的特征點(diǎn)ν,匹配過程的描述如下:

a) 對(duì)圖像I和圖像J建立高斯金字塔。

c) 根據(jù)上層計(jì)算結(jié)果,并利用迭代計(jì)算(L-1)層的殘差光流向量d(L-1);

d) 接著,估計(jì)(L-1)層的光流量:

gL-1=2(gL-1+dL)

(1)

e) 重復(fù)步驟(c) (d),直至L=0,估計(jì)出最終光流f=g0+d0,最終,在圖像J中找到圖像I中特征點(diǎn)μ所對(duì)應(yīng)的特征點(diǎn)ν,即ν=μ+f。

2.1.2 運(yùn)動(dòng)矢量的擴(kuò)展

運(yùn)動(dòng)矢量擴(kuò)展的過程如圖3所示。

圖3 運(yùn)動(dòng)矢量擴(kuò)展的示意圖

Step1:首先,利用FAST特征點(diǎn)對(duì)的匹配結(jié)果,計(jì)算各個(gè)特征點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)矢量。

如圖(a)所示,圖中{p,p′}代表第t幀和第t-1幀中的FAST特征點(diǎn)匹配對(duì),紅點(diǎn)代表特征點(diǎn)位置,虛線箭頭代表運(yùn)動(dòng)矢量,則特征點(diǎn)p處所對(duì)應(yīng)的運(yùn)動(dòng)矢量vp為

vp=p′-Ftp

(2)

式中:Ft表示全局單應(yīng)性矩陣。

Step2:以特征點(diǎn)p為中心,建立一個(gè)r1×r1圓形模板,如圖(b)所示。

Step3:根據(jù)運(yùn)動(dòng)矢量的相似性,采用中值過濾器f1,將該過濾器的響應(yīng)分配給圓形模板中其它的網(wǎng)格頂點(diǎn),如圖(c)所示。由于所有匹配的特征都會(huì)將運(yùn)動(dòng)矢量傳播到其附近的網(wǎng)格頂點(diǎn),因此,同一個(gè)網(wǎng)格頂點(diǎn)可能接收多個(gè)運(yùn)動(dòng)矢量。本文中采用中值過濾器f1,將過濾器的響應(yīng)被分配給網(wǎng)格頂點(diǎn)。對(duì)第t幀圖像,網(wǎng)格頂點(diǎn)q的運(yùn)動(dòng)矢量ut(q)為

ut(q)=med{vp,p∈Ωq}

(3)

式中,Ωq表示網(wǎng)格頂點(diǎn)附近位于它r1×r1圓形模板內(nèi)的所有特征點(diǎn)。

圖4為利用中值濾波器f1對(duì)網(wǎng)格頂點(diǎn)運(yùn)動(dòng)矢量估算的示例。圖中,紅色“○”表示特征點(diǎn),網(wǎng)格頂點(diǎn)(藍(lán)色☆)受到多個(gè)運(yùn)動(dòng)矢量的影響。

圖4 利用中值濾波器f 1對(duì)網(wǎng)格頂點(diǎn)運(yùn)動(dòng)矢量估算的示例

2.2 稀疏運(yùn)動(dòng)矢量的空間平滑

受復(fù)雜運(yùn)動(dòng)前景干擾的影響,圖像的稀疏運(yùn)動(dòng)矢量往往不連續(xù),直接補(bǔ)償會(huì)導(dǎo)致穩(wěn)像后圖像出現(xiàn)“渲染”偽像。因此,需要剔除復(fù)雜運(yùn)動(dòng)前景的干擾。本文中提出對(duì)運(yùn)動(dòng)矢量進(jìn)行空間平滑,先通過時(shí)間分析法,識(shí)別出具有不連續(xù)運(yùn)動(dòng)矢量的網(wǎng)格頂點(diǎn),剔除“離群”頂點(diǎn)對(duì)應(yīng)的運(yùn)動(dòng)矢量;并利用中值濾波器f2對(duì)頂點(diǎn)處的運(yùn)動(dòng)矢量補(bǔ)全,實(shí)現(xiàn)平滑。

2.2.1 時(shí)間分析法

對(duì)于第t幀圖像,網(wǎng)格頂點(diǎn)q處的運(yùn)動(dòng)矢量Wt(q)是對(duì)多組運(yùn)動(dòng)矢量ut(q)進(jìn)行累加得到的結(jié)果,具體的定義如下

(4)

式中:ut(q)為頂點(diǎn)q在第t幀的運(yùn)動(dòng)矢量。

時(shí)間分析法基于如下假設(shè):對(duì)包含背景和運(yùn)動(dòng)前景的運(yùn)動(dòng)軌跡,背景區(qū)域內(nèi)頂點(diǎn)的累積運(yùn)動(dòng)矢量Wt(q)在時(shí)間上通常應(yīng)該是平滑的,而運(yùn)動(dòng)前景區(qū)域內(nèi)的網(wǎng)格頂點(diǎn)的累積運(yùn)動(dòng)矢量Wt(q)在時(shí)間上往往具有不連續(xù)性。

因此,本算法中通過判斷累積運(yùn)動(dòng)矢量的軌跡是否在時(shí)間上光滑識(shí)別不連續(xù)運(yùn)動(dòng)矢量,同時(shí),使用掩模Mt(q)來記錄第t幀圖像中的頂點(diǎn)q是否離群,Mt(q)定義如下

(5)

式中,G為高斯濾波器(默認(rèn)的標(biāo)準(zhǔn)偏差為3),如果離群,則令Mt(q)=0,否則令Mt(q)=1。

2.2.2 運(yùn)動(dòng)矢量的補(bǔ)全策略

形成離群點(diǎn)掩模后,需要更新并補(bǔ)全對(duì)應(yīng)頂點(diǎn)處的運(yùn)動(dòng)矢量,并分以下兩種情況:

第一種:如果Mt(q)=1,則該網(wǎng)格頂點(diǎn)處的運(yùn)動(dòng)矢量仍然保持不變。

第二種:如果Mt(q)=0,剔除將該網(wǎng)格頂點(diǎn)處的運(yùn)動(dòng)矢量,并利用中值濾波器f2對(duì)該點(diǎn)處的運(yùn)動(dòng)矢量進(jìn)行補(bǔ)全。以頂點(diǎn)q為中心,通過r2×r2的方形模板進(jìn)行覆蓋,則最終運(yùn)動(dòng)矢量為中值濾波器的響應(yīng),公式如下

ut(q)=med{ut(k),k∈Wq},WhenMt(q)=1

(6)

式中,Wq表示以網(wǎng)格頂點(diǎn)q為中心,位于附近它附近r2×r2方形模板內(nèi)的所有頂點(diǎn)。

運(yùn)動(dòng)矢量空間平滑的示例如圖5所示,其中,圖(a)表示原始運(yùn)動(dòng)矢量,圖(b)為識(shí)別出運(yùn)動(dòng)前景上的網(wǎng)格頂點(diǎn),圖(c)為運(yùn)動(dòng)矢量平滑后的局部效果圖,從圖中可以看出,本算法能有效識(shí)別出運(yùn)動(dòng)前景,剔除前景的干擾。

圖5 運(yùn)動(dòng)矢量空間平滑的示例

2.3 生成頂點(diǎn)輪廓

在頂點(diǎn)輪廓生成之前,為了保證算法的魯棒性,本文算法中先使用全局單應(yīng)性Ft為所有頂點(diǎn)得到全局運(yùn)動(dòng)矢量場(chǎng)Vt,則第t幀圖像中第i個(gè)網(wǎng)格頂點(diǎn)對(duì)應(yīng)的最終運(yùn)動(dòng)矢量y為ut′(i)=Vt(i)+ut(i)。

第t幀圖像中第i個(gè)網(wǎng)格頂點(diǎn)的頂點(diǎn)輪廓Ct(i)是通過對(duì)所有時(shí)間點(diǎn)的運(yùn)動(dòng)矢量累加得到,即

(7)

式中:ut(i)為第t幀圖像中第i個(gè)網(wǎng)格頂點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)矢量,相同方法可得到其它頂點(diǎn)輪廓。

圖6為不同位置網(wǎng)格頂點(diǎn)處的運(yùn)動(dòng)軌跡對(duì)比,從前、后三幀圖像中抽出兩個(gè)特殊網(wǎng)格頂點(diǎn)處位置,頂點(diǎn)1位于背景上,頂點(diǎn)2位于運(yùn)動(dòng)前景上。圖(a)中頂點(diǎn)1用☆表示,網(wǎng)格頂點(diǎn)2用○表示,不同時(shí)刻用紅色、綠色、藍(lán)色來區(qū)別。

圖6 不同網(wǎng)格頂點(diǎn)處的運(yùn)動(dòng)路徑對(duì)比

圖(b)為網(wǎng)格頂點(diǎn)1對(duì)應(yīng)的運(yùn)動(dòng)路徑,圖(c)為網(wǎng)格頂點(diǎn)2對(duì)應(yīng)的運(yùn)動(dòng)路徑。由圖(b)的運(yùn)動(dòng)曲線可以看出,頂點(diǎn)1始終位于靜態(tài)背景上,所以它的累積運(yùn)動(dòng)向量在時(shí)間上是存在少量的高頻分量,處理后的路徑也更加平滑。由圖(c)的運(yùn)動(dòng)曲線可以看出,頂點(diǎn)2位于運(yùn)動(dòng)前景上,由于有移動(dòng)的車輛經(jīng)過,未平滑前運(yùn)動(dòng)曲線時(shí)具有大量的高頻分量,經(jīng)平滑后的運(yùn)動(dòng)曲線,剔除了高頻分量,真正起到了抗前景干擾的作用。

2.4 基于頂點(diǎn)輪廓的穩(wěn)定

為了路徑的優(yōu)化,希望避免出現(xiàn)過度的裁剪以及穩(wěn)定化后的扭曲問題,采用最小化目標(biāo)函數(shù)來實(shí)現(xiàn)頂點(diǎn)輪廓的平滑

(8)

其中,頂點(diǎn)輪廓Ct為原始路徑,希望的是得到最優(yōu)路徑Pt,P和C均是非參數(shù)的累積運(yùn)動(dòng)向量。

3 結(jié)果與討論

為了能有效說明該算法的優(yōu)勢(shì),本文實(shí)驗(yàn)主要從以下三個(gè)方面展開:首先,從數(shù)據(jù)集中選出受大范圍和多個(gè)運(yùn)動(dòng)前景干擾下的視頻進(jìn)行穩(wěn)像實(shí)驗(yàn);其次,從數(shù)據(jù)集中選出六組含運(yùn)動(dòng)前景、視差變化、旋轉(zhuǎn)或縮放的視頻進(jìn)行穩(wěn)像實(shí)驗(yàn),驗(yàn)證算法的魯棒性;最后,將本文算法和傳統(tǒng)算法的實(shí)時(shí)性進(jìn)行了對(duì)比。

另外,本文的驗(yàn)證實(shí)驗(yàn)均是在硬件環(huán)境為 Intel(R) Core(TM)i5-5200U CPU@2.20GHZ,8GB內(nèi)存,64位Win10的系統(tǒng)上進(jìn)行的,采用Python3.8.6軟件平臺(tái),并依賴Opencv圖像處理庫以及CVX安裝包。

3.1 受大范圍和多運(yùn)動(dòng)前景干擾下的穩(wěn)像結(jié)果

從多個(gè)公共數(shù)據(jù)集[20,21]中選出復(fù)雜前景干擾下的兩組測(cè)試視頻,如下圖7所示,圖(a)為受大范圍運(yùn)動(dòng)前景干擾的視頻組,圖(b)為受多個(gè)運(yùn)動(dòng)前景干擾的視頻組。

圖7 復(fù)雜前景干擾下的兩組測(cè)試視頻

為了說明本文算法對(duì)于復(fù)雜前景干擾下視頻的穩(wěn)像優(yōu)勢(shì),分別采用傳統(tǒng)穩(wěn)像算法Liu[2]、Wu[10]、Zhao[13]和本文算法進(jìn)行穩(wěn)像,并計(jì)算出兩組視頻下采用各算法后的峰值信噪比(PSNR),兩組視頻下的PSNR結(jié)果分別如下表1、表2所示,表1為受大范圍運(yùn)動(dòng)前景干擾下的PSNR值,表2為受多個(gè)運(yùn)動(dòng)前景干擾下的PSNR值。

表1 大運(yùn)動(dòng)前景干擾下視頻的PSNR值

表2 多運(yùn)動(dòng)前景干擾下視頻的PSNR值

峰值信噪比(PSNR)常用來衡量視頻的穩(wěn)像質(zhì)量好壞,主要反映了參考圖像和當(dāng)前圖像間的峰值信噪比,定義如下

(15)

式中,Imax是最大亮度值,MSE(I1,I0)表示連續(xù)幀間的均方差。PSNR值越大,則說明幀間的灰度差越小,圖像穩(wěn)定的效果越好。

由表1可以看出,在大運(yùn)動(dòng)前景干擾下,本文算法的平均PSNR值為27.871,比三種傳統(tǒng)的算法Liu[2]、Wu[10]、Zhao[13]的PSNR值提高更明顯,與近年的Zhao[13]算法相比,PSNR值提高了14.9%(即(27.871-24.254)/24.254*100%=14.9%)。由表2可以看出,在多運(yùn)動(dòng)前景干擾下,本文算法的平均PSNR值為22.059,比三種傳統(tǒng)算法Liu[2]、Wu[10]、Zhao[13]的PSNR值提高更明顯,與近年的Zhao[13]算法相比,PSNR值可以提高13.2%(即:(22.059-19.484)/19.484*100%=13.2%)。

因此,綜合表1、表2中的數(shù)據(jù)可以看出結(jié)論,在復(fù)雜運(yùn)動(dòng)場(chǎng)景的干擾下,本算法比傳統(tǒng)算法PSNR值提高更明顯,更具有穩(wěn)像優(yōu)勢(shì)。

另外,為了能直觀比較各算法的穩(wěn)像效果,下圖(8)、和圖(9)分別為受大范圍、多個(gè)運(yùn)動(dòng)前景干擾下的穩(wěn)像結(jié)果,其中,圖(a)為原始圖像幀,圖(b)為Zhao[13]算法的穩(wěn)像結(jié)果,圖(c)為本文算法的穩(wěn)像結(jié)果。

通過圖8(b)、圖8(c)的結(jié)果對(duì)比,可以看出經(jīng)本算法穩(wěn)像后的圖像邊緣區(qū)域更少,視頻過渡更加平滑,視覺效果更好,這說明本文算法不僅能更好的剔除大范圍運(yùn)動(dòng)前景的干擾。通過圖9(b)、圖9(c)的結(jié)果對(duì)比,可以看出,本算法對(duì)多個(gè)運(yùn)動(dòng)前景干擾的情況也能實(shí)現(xiàn)不錯(cuò)的視覺穩(wěn)像結(jié)果。

圖8 受大運(yùn)動(dòng)前景干擾下的視頻穩(wěn)像結(jié)果

圖9 受多個(gè)運(yùn)動(dòng)前景干擾下的視頻穩(wěn)像結(jié)果

3.2 驗(yàn)證本文算法的魯棒性

從公共數(shù)據(jù)集中選出六組含運(yùn)動(dòng)前景、視差變化、旋轉(zhuǎn)或縮放的測(cè)試視頻進(jìn)行實(shí)驗(yàn),驗(yàn)證魯棒性的測(cè)試視頻如圖10所示。

圖10 驗(yàn)證魯棒性的測(cè)試視頻

接下來,將本文算法與四種傳統(tǒng)穩(wěn)像算法Subspace[4]、Epipolar[5]、Bundled-paths[2]、SteadyFlow[12]進(jìn)行客觀評(píng)價(jià)指標(biāo)的對(duì)比。評(píng)價(jià)指標(biāo)分別采用:Cropping Ratio(裁剪率)、Distortion(失真率)、Stability(穩(wěn)定度)。

圖11為各算法的穩(wěn)像指標(biāo)對(duì)比,通過對(duì)比可以看出,當(dāng)處理包含運(yùn)動(dòng)前景、視差變化、旋轉(zhuǎn)或縮放的視頻時(shí),本文算法相對(duì)于傳統(tǒng)算法,裁剪率、失真率和穩(wěn)定度三個(gè)指標(biāo)方面表現(xiàn)較好,充分說明該算法具有魯棒性。

圖11 各算法的穩(wěn)像指標(biāo)對(duì)比

3.3 運(yùn)行時(shí)間比較

從數(shù)據(jù)集中選取出分辨率為720×1280,360×640,480×272的三組測(cè)試視頻,視頻中均包含了復(fù)雜運(yùn)動(dòng)前景,本文中分別采用了SteadyFlow[12]、Zhao[13]和本文算法進(jìn)行穩(wěn)像實(shí)驗(yàn),各算法的運(yùn)行時(shí)間結(jié)果如表3所示。

表3 各算法的運(yùn)行時(shí)間結(jié)果

通過表3中各算法運(yùn)行時(shí)間,可以看出,在三種不同圖像尺寸下,SteadyFlow算法[12]的運(yùn)行時(shí)間分別約為本文算法運(yùn)行時(shí)間的3.8倍、3.7倍、3.9倍,本算法的實(shí)時(shí)性更具優(yōu)勢(shì),主要是因?yàn)楸舅惴▋H需要收集每網(wǎng)格頂點(diǎn)處的運(yùn)動(dòng)矢量,運(yùn)動(dòng)矢量場(chǎng)稀疏化,因此運(yùn)算效率得到明顯提高。另外,雖然本文算法與Zhao[13]算法相比,運(yùn)行效率也得到一定程度的提高,但本文算法的穩(wěn)像精度比Zhao算法[13]更高,本文算法的穩(wěn)像精度和實(shí)時(shí)性能滿足工程應(yīng)用的實(shí)際需求。

4 結(jié)論

為了解決復(fù)雜運(yùn)動(dòng)前景對(duì)穩(wěn)像精度干擾的難題,本文提出一種基于頂點(diǎn)輪廓的魯棒性抗前景干擾穩(wěn)像方法,實(shí)驗(yàn)結(jié)果表明,該算法在裁剪率、失真率和穩(wěn)定度三個(gè)指標(biāo)方面表現(xiàn)較好,運(yùn)算效率更高,更能滿足穩(wěn)像算法的實(shí)時(shí)性要求。但本算法對(duì)于背景比較復(fù)雜的情況仍有一定局限性,需要后續(xù)進(jìn)行深入研究。