馬鴻悅 張海悅

中國電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所),北京 100086

1 引言

年代久遠(yuǎn)的電影膠片難免會(huì)出現(xiàn)齒孔收縮的現(xiàn)象,導(dǎo)致在銀幕上放映時(shí)產(chǎn)生畫面的抖動(dòng)問題,因此影片去抖動(dòng)是修復(fù)老舊影片時(shí)經(jīng)常會(huì)面對的一個(gè)關(guān)鍵問題[1]。目前,原版電影的數(shù)字修復(fù)是大勢所趨,如何高效地實(shí)現(xiàn)影片自動(dòng)化去抖動(dòng)成為亟待解決的問題。

1.1 數(shù)字視頻穩(wěn)像技術(shù)流程

數(shù)字視頻穩(wěn)像 (Digital Video Stabilization)技術(shù)的目的為消除或減少視頻的抖動(dòng),自動(dòng)獲取視頻抖動(dòng)信息并補(bǔ)償,生成穩(wěn)定的視頻[2]。

目前數(shù)字視頻穩(wěn)像技術(shù)的常見處理流程如圖1所示,主要包含三個(gè)步驟,即運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)平滑和補(bǔ)償以及圖像修補(bǔ)[3]。首先根據(jù)前后幀的圖像,對當(dāng)前輸入視頻幀的抖動(dòng)進(jìn)行運(yùn)動(dòng)估計(jì),得到當(dāng)前幀的全局運(yùn)動(dòng)信息;然后對運(yùn)動(dòng)估計(jì)的結(jié)果進(jìn)行處理和擬合,對抖動(dòng)進(jìn)行抑制,從而得到更接近真實(shí)場景的運(yùn)動(dòng)估計(jì)路徑,并根據(jù)處理后的運(yùn)動(dòng)模型計(jì)算補(bǔ)償分量,對抖動(dòng)視頻進(jìn)行運(yùn)動(dòng)補(bǔ)償;補(bǔ)償?shù)囊曨l幀圖像會(huì)經(jīng)過不同程度的平移、縮放、旋轉(zhuǎn)等變換操作,在圖像邊緣可能會(huì)產(chǎn)生空白的邊緣,需在最后通過剪切或填補(bǔ)的方式對圖像進(jìn)行調(diào)整,合成得到最終視頻輸出結(jié)果。

1.2 影片修復(fù)應(yīng)用需求分析

一般的視頻穩(wěn)像技術(shù)普遍針對的是手持?jǐn)z像機(jī)、手機(jī),或者如無人機(jī)、機(jī)器人等運(yùn)動(dòng)設(shè)備拍攝的情況,而對于老舊影片的修復(fù),其應(yīng)用需求和實(shí)際操作步驟略有不同。

影片修復(fù)中的抖動(dòng)問題主要表現(xiàn)為幅度較輕且沒有規(guī)律性,一般以隨機(jī)的上下跳動(dòng)和左右抖動(dòng)為主[4]。因此,在影片自動(dòng)去抖動(dòng)修復(fù)中,重點(diǎn)是要采用合適的運(yùn)動(dòng)估計(jì)方法找到“抖動(dòng)”的畫面,修正其位置。相對于解決手持設(shè)備拍攝所產(chǎn)生的連續(xù)性的或幅度較大的運(yùn)動(dòng)視頻抖動(dòng)問題,影片去抖動(dòng)通常不需要使用太復(fù)雜的運(yùn)動(dòng)平滑和補(bǔ)償方法,并且如果貿(mào)然使用錯(cuò)誤的運(yùn)動(dòng)平滑可能反而造成失真、扭曲等不良結(jié)果。影片修復(fù)的圖像修補(bǔ)環(huán)節(jié)一般是對畫面運(yùn)動(dòng)補(bǔ)償處理后產(chǎn)生的空白邊緣進(jìn)行填補(bǔ),在該環(huán)節(jié)主要通過參考前后幀畫面利用修補(bǔ) (Inpaint)等方法進(jìn)行剪切填補(bǔ),但可能存在較多的運(yùn)動(dòng)物體,有時(shí)需要結(jié)合手動(dòng)方式進(jìn)行精準(zhǔn)修復(fù)。

因此,針對影片自動(dòng)修復(fù)應(yīng)用場景,本文將重點(diǎn)對運(yùn)動(dòng)估計(jì)環(huán)節(jié)的方案選擇、實(shí)際效果和計(jì)算效率做進(jìn)一步分析研究。

2 運(yùn)動(dòng)估計(jì)方法介紹

運(yùn)動(dòng)估計(jì)是穩(wěn)像流程中最重要的步驟,其估計(jì)結(jié)果會(huì)直接影響最終穩(wěn)像結(jié)果。運(yùn)動(dòng)估計(jì)的思路一般是先估計(jì)視頻幀局部的運(yùn)動(dòng)向量,再經(jīng)匯總校正后計(jì)算得到全局運(yùn)動(dòng)向量[5]。局部運(yùn)動(dòng)的估計(jì)方法可分為兩類,即基于像素點(diǎn)的方法和基于特征點(diǎn)的方法。局部運(yùn)動(dòng)向量的匯總校正包括錯(cuò)誤估計(jì)向量剔除等操作。

2.1 基于像素點(diǎn)的方法

基于像素點(diǎn)的運(yùn)動(dòng)估計(jì)方法是一種直接方法[6],其原理一般相對簡單且實(shí)現(xiàn)方便,典型算法包括塊匹配法[7]和光流法[8]。

(1)塊匹配法

塊匹配法思路是將視頻幀分塊,然后在附近幀尋找當(dāng)前幀中特定塊的位置,從而獲得當(dāng)前塊運(yùn)動(dòng)估計(jì)向量,綜合所有匹配塊的運(yùn)動(dòng)向量即可構(gòu)成整個(gè)視頻幀的運(yùn)動(dòng)向量。但是這種方法在兩種場景下無法有效地進(jìn)行運(yùn)動(dòng)估計(jì)[9]:一是場景中有快速運(yùn)動(dòng)的物體;二是場景簡單、變化較少。

(2)光流法

光流指空間運(yùn)動(dòng)物體在觀察成像平面上的像素運(yùn)動(dòng)的瞬時(shí)速度。光流法是利用視頻中的像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性得到運(yùn)動(dòng)信息的方法。一般適用于亮度相對穩(wěn)定、運(yùn)動(dòng)不劇烈的視頻。

這一類運(yùn)動(dòng)估計(jì)算法較為簡單直接,其適用條件一般較為苛刻,目前在視頻穩(wěn)像領(lǐng)域無法得到廣泛應(yīng)用。

2.2 基于特征點(diǎn)的方法

在運(yùn)動(dòng)估計(jì)方面,特征點(diǎn)方法要比像素點(diǎn)方法計(jì)算速度更快[10],應(yīng)用也更加廣泛。特征點(diǎn)即為易于在不同幀圖像之間進(jìn)行準(zhǔn)確高效定位追蹤的點(diǎn),一般分為角點(diǎn) (Corner)和斑點(diǎn) (Blob)兩種。角點(diǎn)是極值點(diǎn),例如角落或線條交叉等;斑點(diǎn)指比周圍更亮或更暗的區(qū)域。

特征點(diǎn)檢測的基本目的是把高維的圖像數(shù)據(jù)進(jìn)行簡化,通過交叉對比特征點(diǎn)的位置,獲得運(yùn)動(dòng)信息[11],由于一個(gè)特征點(diǎn)可能在視頻連續(xù)多個(gè)幀內(nèi)出現(xiàn),因此特征點(diǎn)方法往往可以更好地獲得全局運(yùn)動(dòng)估計(jì)[12]。目前常見的穩(wěn)像領(lǐng)域的特征點(diǎn)算法有SIFT(Scale-Invariant Feature Transform )[13]、SURF(Speeded Up Robust Features)[14]、FAST (Features from Accelerated Segment Test)[15]、BRIEF (Binary Robust Independent Elementary Features)[16]、BRISK(Binary Robust Invariant Scalable Keypoints)[17]、ORB(Oriented FAST and Rotated BRIEF)[18]、KAZE[19]、AKAZE (Accelerated-KAZE)[20]等。

基于特征點(diǎn)的算法眾多,近年來也有不少人對各種方法進(jìn)行了不同程度的分析整理和比較。Amisha等人[12]對SIFT、SURF、FAST、BRIEF和ORB算法進(jìn)行了分析,并總結(jié)了各自的優(yōu)缺點(diǎn);Chien等人[21]對SIFT、SURF、ORB 和AKAZE算法,利用KITTI數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)對比,結(jié)果表示SURF和SIFT 算法的準(zhǔn)確度較高,而ORB算法的計(jì)算速度最快,新興的AKAZE 算法則在準(zhǔn)確性和計(jì)算效率上取得了一定的平衡;Tareen 等人[22]對 SIFT、SURF、KAZE、AKAZE、ORB 和BRISK 算法利用兩組圖像數(shù)據(jù)集進(jìn)行了分析對比,得到了相似的結(jié)論,即SIFT 算法的準(zhǔn)確度最高,ORB和BRISK 算法的速度最快。

綜合以上文章的研究結(jié)論,在運(yùn)動(dòng)估計(jì)步驟中:建議在追求速度和實(shí)時(shí)性時(shí),可重點(diǎn)考慮圍繞ORB或FAST算法進(jìn)行改進(jìn);面對視頻抖動(dòng)較大的情況,需重點(diǎn)關(guān)注準(zhǔn)確性時(shí),可考慮利用SIFT或SURF算法;考慮速度和準(zhǔn)確性的折衷,可選擇KAZE或AKAZE算法。

2.3 錯(cuò)誤值剔除

由于視頻內(nèi)物體的運(yùn)動(dòng)等原因,無論是基于像素點(diǎn)的方法,還是基于特征點(diǎn)的方法,都面臨著錯(cuò)誤檢測的問題,從而影響運(yùn)動(dòng)軌跡的估計(jì)結(jié)果。對于這一難點(diǎn),目前有兩種方式進(jìn)行處理。

(1)幀間分析

這種錯(cuò)誤值剔除方式的思路是,由于受到運(yùn)動(dòng)物體影響的檢測結(jié)果與實(shí)際需要判定的全局檢測結(jié)果不一致,故可將那些少數(shù)運(yùn)動(dòng)軌跡與其他檢測點(diǎn)不同的點(diǎn)進(jìn)行剔除,以大多數(shù)檢測點(diǎn)的運(yùn)動(dòng)軌跡作為最終估計(jì)結(jié)果。目前較為常用的是RANSAC (Random Sample Consensus)算法[23],其利用不斷迭代的方式獲取最優(yōu)的數(shù)學(xué)模型,完成對特征點(diǎn)進(jìn)行篩選,去除噪點(diǎn),得到最終特征點(diǎn)檢測結(jié)果,從而計(jì)算得到運(yùn)動(dòng)估計(jì)結(jié)果。不過,當(dāng)多數(shù)檢測點(diǎn)的運(yùn)動(dòng)估計(jì)結(jié)果不符合某一幀的估計(jì)時(shí),此種方法可能會(huì)失效。

(2)視頻流分析

除了利用附近幀信息對錯(cuò)誤值進(jìn)行剔除,還可以利用較長的視頻流信息完成檢測點(diǎn)的篩選與處理,不過這一方法需要檢測點(diǎn)在較長的視頻中出現(xiàn)。一般運(yùn)動(dòng)的物體會(huì)較為快速地離開畫面,那么在視頻流中軌跡較短的檢測點(diǎn)就可以認(rèn)為其不適合標(biāo)記全局運(yùn)動(dòng),予以剔除[24]。此外較短的軌跡也可能對應(yīng)的是錯(cuò)誤的檢測點(diǎn),通過對比軌跡長短,也可將部分錯(cuò)誤的檢測點(diǎn)剔除。

3 影片去抖動(dòng)修復(fù)中的運(yùn)動(dòng)估計(jì)方法

綜合上文介紹的多種方法的特性和優(yōu)缺點(diǎn),針對影片抖動(dòng)問題修復(fù)準(zhǔn)確率優(yōu)先和效率優(yōu)先兩種應(yīng)用情況,分別選擇最匹配的運(yùn)動(dòng)估計(jì)方法,并進(jìn)行實(shí)驗(yàn)分析。

3.1 準(zhǔn)確率優(yōu)先

方案一針對于抖動(dòng)程度較大,追求準(zhǔn)確度的情況:使用SURF 算法進(jìn)行特征點(diǎn)的檢測,結(jié)合MSAC (M-estimator SAmple Consensus)算法[25]對錯(cuò)誤匹配的特征點(diǎn)進(jìn)行剔除。

SURF算法是一種斑點(diǎn)檢測方法,其在SIFT算法的基礎(chǔ)上,對抗干擾性和速度進(jìn)行了優(yōu)化,具有尺度和旋轉(zhuǎn)不變性,準(zhǔn)確度較高。算法的主要步驟是:首先構(gòu)建黑塞矩陣 (Hessian Matrix)形成興趣點(diǎn),構(gòu)建尺度空間,并用盒式濾波器代替SIFT算法中的高斯濾波器,加快計(jì)算速度;然后統(tǒng)計(jì)特征點(diǎn)領(lǐng)域內(nèi)的哈爾小波 (Haar Wavelet)特征,得到各特征點(diǎn)主方向;在特征點(diǎn)周圍取一個(gè)正方形框,統(tǒng)計(jì)框中每個(gè)16個(gè)子區(qū)域內(nèi),25個(gè)像素的哈爾小波特征,產(chǎn)生64維向量的特征描述子;最后根據(jù)特征描述子的歐氏距離確定特征點(diǎn)匹配結(jié)果。

MSAC算法是一種傳統(tǒng)RANSAC算法的變形,其對閾值的選取更加不敏感,可以穩(wěn)定有效地剔除錯(cuò)誤匹配結(jié)果。

3.2 效率優(yōu)先

方案二針對于修復(fù)速度要求較高、追求實(shí)時(shí)性的情況:使用FAST 算法進(jìn)行特征點(diǎn)的檢測,并利用FREAK (Fast Retina Keypoint)算法[26]對檢測得到的特征點(diǎn)進(jìn)行描述和匹配,最后結(jié)合MSAC算法對圖像中錯(cuò)誤匹配的特征點(diǎn)進(jìn)行剔除。

FAST 算法是一種角點(diǎn)檢測方法,雖然不具備尺度不變性,但是與方案一中的SURF 算法相比速度更快。FAST 算法的主要思路是:考察某一點(diǎn)周圍16個(gè)相鄰像素點(diǎn),如果有連續(xù)的12 (或9)個(gè)像素點(diǎn)與中心點(diǎn)的灰度差的絕對值大于某一給定閾值,則該點(diǎn)被檢測為FAST 特征點(diǎn)。

FREAK 算法是一種特征提取算法,其采用接近于人眼視網(wǎng)膜接收圖像信息的采樣模型,生成從模糊信息到細(xì)節(jié)信息的512bit的二進(jìn)制描述子,同樣可根據(jù)描述子的歐氏距離確定特征點(diǎn)匹配結(jié)果。

4 實(shí)驗(yàn)與分析

4.1 去抖動(dòng)可行性比較

為給出更直觀的老舊影片去抖動(dòng)結(jié)果,利用兩種方案分別對舊膠片電影視頻片段進(jìn)行修復(fù)去抖動(dòng)。這段去抖動(dòng)實(shí)驗(yàn)視頻片段是追逐場景,畫面背景建筑和右下角車輛維持不動(dòng),但畫面中間存在多輛快速來往的車輛,同時(shí)畫面的左下角也有人物快速運(yùn)動(dòng)。

圖2和圖3分別給出了兩種方案檢測的特征點(diǎn)并將前后兩幀圖像進(jìn)行匹配,其中前后兩幀圖像重疊,分別以藍(lán)、紅通道進(jìn)行顯示,并用紅色圓圈和綠色箭頭分別標(biāo)記前后兩幀圖像檢測出的特征點(diǎn),以黃色線連接兩幀匹配的特征點(diǎn)。從圖2 (a)可以看出,方案一采用的SURF 算法有效地檢測出了圖像中的特征點(diǎn)。但如圖2 (c)所示,可以看到有一些特征點(diǎn)位于運(yùn)動(dòng)物體上,且受到運(yùn)動(dòng)物體的影響,出現(xiàn)了明顯的錯(cuò)誤匹配現(xiàn)象。此外如圖2 (d)所示,在靜止的背景建筑中也存在正確全局運(yùn)動(dòng)路徑。從圖3 (a)中可以看到,方案二采用的FAST 算法同樣檢測到了多個(gè)特征點(diǎn),與方案一相似,但數(shù)量明顯較少,同樣也存在運(yùn)動(dòng)物體上的錯(cuò)誤檢測匹配現(xiàn)象。但是經(jīng)MSAC 算法剔除錯(cuò)誤值后,從圖2(b)和圖3 (b)中都可以看到,最終僅保留了背景環(huán)境中的特征點(diǎn)及其匹配結(jié)果,畫面中間運(yùn)動(dòng)車輛和左下角運(yùn)動(dòng)人物上的特征點(diǎn)被剔除,得到了正確的運(yùn)動(dòng)估計(jì)結(jié)果。

圖2 方案一特征點(diǎn)檢測匹配結(jié)果

圖3 方案二特征點(diǎn)檢測匹配結(jié)果

圖4和圖5分別給出了利用兩種方案對連續(xù)兩幀圖像去抖動(dòng)處理后的效果,為方便比較,將前后兩幀圖像疊加并分別用藍(lán)、紅通道進(jìn)行展示。從圖4 (c)和圖5(c)可以明顯看出,原始圖像存在左右抖動(dòng),電線桿部分紅藍(lán)差別較大,不重合。而經(jīng)兩種方案處理后的圖像,如圖4 (d)和圖5 (d)所示,紅藍(lán)部分重合,達(dá)到了較好的去抖動(dòng)效果。實(shí)驗(yàn)結(jié)果證明本文提出的兩種方案都可以有效地規(guī)避運(yùn)動(dòng)物體的影響,去除了全局畫面抖動(dòng),具有一定的可行性。

圖4 方案一去抖動(dòng)效果對比

圖5 方案二去抖動(dòng)效果對比

4.2 去抖動(dòng)有效性比較

從兩部舊電影中選取畫面復(fù)雜度不同、運(yùn)動(dòng)物體數(shù)量不同、運(yùn)動(dòng)程度不同的7個(gè)視頻片段,分別用兩種方案進(jìn)行去抖動(dòng)修復(fù),并記錄修復(fù)時(shí)間和修復(fù)效果。7個(gè)視頻片段具體情況如表1所示,其中畫面復(fù)雜度一定程度上可以影響特征點(diǎn)檢出個(gè)數(shù),而運(yùn)動(dòng)程度可以影響錯(cuò)誤值剔除效果。7個(gè)視頻片段平均圖像如圖6所示。

表1 實(shí)驗(yàn)視頻片段詳情

圖6 實(shí)驗(yàn)視頻片段平均圖像

兩種方案的去抖動(dòng)修復(fù)時(shí)間和修復(fù)效果記錄如表2所示。其中平均特征點(diǎn)數(shù)指在實(shí)驗(yàn)視頻片段中,平均每幀圖像檢測出并經(jīng)錯(cuò)誤值剔除后的有效特征點(diǎn)數(shù)量。

從表2中可以看出,方案一的SURF算法要比方案二的FAST 算法能檢測出更多有效特征點(diǎn),這使得方案一最終去抖動(dòng)的效果更好,但是速度更慢;而方案二利用較少的特征點(diǎn)依然可以實(shí)現(xiàn)較好的去抖動(dòng)效果,且速度更快,其用時(shí)只有方案一的一半左右。實(shí)驗(yàn)證明了本文提出的兩種方案可滿足其對應(yīng)的應(yīng)用需求,具有一定的有效性。

表2 有效性實(shí)驗(yàn)結(jié)果比較

4.3 特殊情況處理

在實(shí)驗(yàn)過程中發(fā)現(xiàn)兩種方案對部分視頻片段進(jìn)行去抖動(dòng)處理時(shí)失效,失效的兩個(gè)實(shí)驗(yàn)視頻片段平均圖像如圖7所示。在圖7 (a)月亮視頻片段中,只有畫面中央的月亮在不斷放大,周圍云彩部分保持不動(dòng);在圖7 (b)騎車視頻片段中,畫面中下部的人物幾乎沒有運(yùn)動(dòng),位置相對固定,但背景的房屋等在迅速移動(dòng)。

圖7 失效實(shí)驗(yàn)視頻片段平均圖像

圖8為月亮片段的特征點(diǎn)篩選后結(jié)果和去抖動(dòng)后視頻的平均圖像,可以看到經(jīng)過篩選后錯(cuò)誤保留了不斷縮放月亮上的特征點(diǎn),將其局部運(yùn)動(dòng)路徑當(dāng)作了全局的運(yùn)動(dòng)路徑,導(dǎo)致最終結(jié)果維持了月亮不動(dòng),無法實(shí)現(xiàn)去抖動(dòng)效果。

圖8 月亮片段錯(cuò)誤值剔除失效和最終效果

圖9為騎車片段的特征點(diǎn)篩選后結(jié)果和去抖動(dòng)后視頻的平均圖像,可以看到經(jīng)過篩選后錯(cuò)誤保留了運(yùn)動(dòng)背景建筑上的特征點(diǎn),將運(yùn)動(dòng)物體的路徑當(dāng)作了全局運(yùn)動(dòng)路徑,導(dǎo)致無法實(shí)現(xiàn)去抖動(dòng)效果。

圖9 騎車片段錯(cuò)誤值剔除失效和最終效果

可以看到兩段視頻具有相似之處,就是只有部分畫面中的物體在運(yùn)動(dòng),但運(yùn)動(dòng)物體的畫面復(fù)雜度較高,如2.3節(jié)中所述,這就使得算法容易在運(yùn)動(dòng)物體上也識(shí)別出大量特征點(diǎn),在錯(cuò)誤值剔除環(huán)節(jié)時(shí),無法有效地僅保留靜止物體上的特征點(diǎn),最終導(dǎo)致運(yùn)動(dòng)估計(jì)失敗,無法去除抖動(dòng)。

針對以上問題,本文利用兩種手段進(jìn)行處理和解決。由于靜止物體會(huì)固定在畫面的某一位置,故可以限制特征點(diǎn)檢測范圍,使之只檢測靜止物體所在的畫面部分。圖10圖像幀與圖8 (a)相同,將一矩形覆蓋畫面中央,使得縮放的月亮部分排除在特征點(diǎn)檢測范圍之外,可以看到特征點(diǎn)集中于相對全局畫面靜止的四周云彩上,從而可得到正確的運(yùn)動(dòng)估計(jì)結(jié)果,實(shí)現(xiàn)對月亮視頻的去抖動(dòng)處理。

圖10 限制特征點(diǎn)檢測范圍處理后的特征點(diǎn)

第二種思路是,由于一般情況下,全局運(yùn)動(dòng)的運(yùn)動(dòng)程度較輕,畫面中運(yùn)動(dòng)物體的運(yùn)動(dòng)程度較高,故可以按照運(yùn)動(dòng)程度進(jìn)行錯(cuò)誤值剔除,僅保留運(yùn)動(dòng)程度較輕的特征點(diǎn)。圖11圖像幀與圖9 (a)相同,但在應(yīng)用此方法后,可以看到篩選后的特征點(diǎn)集中于相對全局畫面靜止的騎車人手部,從而可得到正確的運(yùn)動(dòng)估計(jì)結(jié)果,實(shí)現(xiàn)對騎車視頻的去抖動(dòng)處理。

圖11 限制運(yùn)動(dòng)程度處理后的特征點(diǎn)

5 總結(jié)與展望

本文從影片自動(dòng)去抖動(dòng)修復(fù)的角度出發(fā),首先對數(shù)字視頻穩(wěn)像技術(shù)的流程和影片去抖動(dòng)修復(fù)的應(yīng)用需求進(jìn)行了介紹和分析,闡述了運(yùn)動(dòng)估計(jì)方法在影片去抖動(dòng)修復(fù)環(huán)節(jié)中的重要性;然后分別從局部運(yùn)動(dòng)估計(jì)和錯(cuò)誤值剔除兩個(gè)方面分析介紹了多種應(yīng)用于運(yùn)動(dòng)估計(jì)的算法;重點(diǎn)針對影片修復(fù)的應(yīng)用需求,根據(jù)不同使用需求和算法特點(diǎn),給出了兩種建議的運(yùn)動(dòng)估計(jì)方法選擇方案;最后利用多個(gè)膠片電影片段對提出的方案進(jìn)行實(shí)驗(yàn)驗(yàn)證,結(jié)果表明本文給出的兩個(gè)選擇方案均可以有效地得到抖動(dòng)視頻的正確運(yùn)動(dòng)估計(jì)結(jié)果,達(dá)到了影片自動(dòng)去抖動(dòng)的預(yù)期效果。

本文提出的運(yùn)動(dòng)估計(jì)方案仍存在一定改進(jìn)空間。例如當(dāng)畫面中大部分為運(yùn)動(dòng)物體,且背景較為單一時(shí),如人臉特寫鏡頭,檢測出的特征點(diǎn)將集中在運(yùn)動(dòng)物體上,在靜止的背景中無法檢測出足夠的特征點(diǎn),從而導(dǎo)致去抖動(dòng)失效,未來將考慮結(jié)合基于像素點(diǎn)的方法進(jìn)行改進(jìn)。此外,對于具有運(yùn)鏡的視頻片段,本文方案會(huì)將運(yùn)鏡也一并穩(wěn)像處理,無法實(shí)現(xiàn)理想的效果,未來將考慮通過運(yùn)動(dòng)連續(xù)一致性進(jìn)行判定以實(shí)現(xiàn)進(jìn)一步優(yōu)化。?