吉淑嬌，朱 明，胡漢平

（1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林長春130033；2.長春大學(xué)電子信息工程學(xué)院，吉林長春130022）

基于特征點匹配的電子穩(wěn)像技術(shù)

吉淑嬌1，2，朱 明1*，胡漢平1

（1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林長春130033；2.長春大學(xué)電子信息工程學(xué)院，吉林長春130022）

為獲得高質(zhì)量視頻輸出序列，電子穩(wěn)像技術(shù)常被用來去除成像設(shè)備所攝取的圖像序列中的隨機(jī)抖動。本文首先介紹了電子穩(wěn)像的國內(nèi)外發(fā)展現(xiàn)狀。然后，從電子穩(wěn)像技術(shù)中的運(yùn)動估計模塊出發(fā)，描述了國內(nèi)外近年來出現(xiàn)的直接求取運(yùn)動估計算法以及各種基于特征點匹配的運(yùn)動估計方法，并對運(yùn)動校正和運(yùn)動補(bǔ)償模塊的算法進(jìn)行了評述。最后綜合分析了穩(wěn)像算法的難點以及未來發(fā)展趨勢，提出基于特征匹配的電子穩(wěn)像技術(shù)的發(fā)展方向。

電子穩(wěn)像；運(yùn)動估計；特征匹配；卡爾曼濾波

1 引 言

視頻信息廣泛應(yīng)用于軍用偵察系統(tǒng)、無人車輛導(dǎo)航系統(tǒng)、航空測量系統(tǒng)以及監(jiān)控系統(tǒng)中。其中諸多攝像系統(tǒng)由于工作環(huán)境惡劣，載體姿態(tài)不穩(wěn)定等，均存在不確定的抖動和振動，使得采集的視頻序列幀間抖動較大，導(dǎo)致視頻序列的質(zhì)量下降。對于信息十分豐富的視頻序列，用戶首先希望圖像畫面清晰穩(wěn)定，不穩(wěn)定的視頻序列將導(dǎo)致武器性能下降，人工觀察困難，并極易引起視覺疲勞；另外，也會使后續(xù)圖像處理算法的難度加大。因此，對于這種攝像載體所攝取的視頻序列，有必要應(yīng)用電子穩(wěn)像處理技術(shù)去除不規(guī)則的隨機(jī)抖動，將這些不穩(wěn)定的視頻序列轉(zhuǎn)化為高質(zhì)量的穩(wěn)定視頻序列輸出。近年來，出現(xiàn)了很多電子穩(wěn)像算法［1-2］，本文主要針對電子穩(wěn)像系統(tǒng)的幾個環(huán)節(jié)，論述近年來出現(xiàn)的處理各環(huán)節(jié)的算法，尤其對提取運(yùn)動矢量的算法進(jìn)行了詳細(xì)敘述，最終給出未來電子穩(wěn)像的發(fā)展方向。

2 電子穩(wěn)像技術(shù)國內(nèi)外發(fā)展現(xiàn)狀

國外在電子穩(wěn)像技術(shù)方面的研究已有30多年的歷史，進(jìn)入90年代以后，隨著計算機(jī)技術(shù)和數(shù)字圖像處理技術(shù)的迅速發(fā)展，很多西方國家如美國和加拿大率先采用電子穩(wěn)像算法，使電子穩(wěn)像系統(tǒng)向小型化、高精度、強(qiáng)實時性的方向發(fā)展。加拿大某研究機(jī)構(gòu)成功研制了實時監(jiān)視系統(tǒng)中的穩(wěn)像裝置，其圖像處理、穩(wěn)像速度達(dá)到30 frame/ s，系統(tǒng)的穩(wěn)像精度達(dá)到1 pixel。美國軍事研究實驗室研制穩(wěn)像系統(tǒng)應(yīng)用在無人駕駛越野車上，其穩(wěn)像精度已優(yōu)于1 pixel。

韓國和日本的許多高檔家用攝像機(jī)中也裝有電子穩(wěn)像設(shè)備，例如日本索尼公司生產(chǎn)的DCRSR87E家用攝像機(jī)就帶有動態(tài)電子穩(wěn)像裝置，當(dāng)因攝像機(jī)抖動而引起畫面不清晰時，它會啟動穩(wěn)像裝置以去除畫面的模糊。到目前為止，很多技術(shù)先進(jìn)的國家如美國、俄羅斯、日本、加拿大等，電子穩(wěn)像技術(shù)的研究和在軍事和民用領(lǐng)域的實際應(yīng)用都已很成熟［1-3］。

國內(nèi)電子穩(wěn)像技術(shù)在民用和軍用方面也有一定的發(fā)展。我國新型主戰(zhàn)坦克88A、88B、88C雖裝備了穩(wěn)像式火控系統(tǒng)，但自動化程度還比較低。在20世紀(jì)末期，中國科學(xué)院長春光機(jī)所鐘平［3］、孫輝［4］、李迪［5］等人開始對電子穩(wěn)像算法技術(shù)進(jìn)行了研究，并取得了很多成績。經(jīng)過十幾年來的努力，研究范圍已從通用小型無人機(jī)載電視偵察系統(tǒng)擴(kuò)展到對偵察轉(zhuǎn)臺和偵察平臺的研究。近幾年來，國內(nèi)很多院校和科研單位如北京理工大學(xué)［6］、西安科技大學(xué)［7］等也對電子穩(wěn)像算法進(jìn)行了廣泛研究。

3 直接求取運(yùn)動矢量的算法

圖1 電子穩(wěn)像系統(tǒng)的結(jié)構(gòu)Fig.1 Structure diagram of EIS system

電子穩(wěn)像是根據(jù)視頻圖像幀間差別，對攝像機(jī)的運(yùn)動參數(shù)進(jìn)行估計，并對參數(shù)進(jìn)行校正，從攝像機(jī)的正常掃描運(yùn)動中分離出隨機(jī)抖動，得到補(bǔ)償參數(shù)，進(jìn)而消除或減輕隨機(jī)抖動引起的圖像模糊，獲得清晰穩(wěn)定的視頻圖像。

電子穩(wěn)像的系統(tǒng)結(jié)構(gòu)［5］如圖1所示。主要包括4個模塊：圖像預(yù)處理模塊、運(yùn)動估計、運(yùn)動校正和圖像補(bǔ)償。圖像預(yù)處理主要是消除圖像中的無關(guān)信息，增強(qiáng)有用信息的可檢測性和最大限度地簡化數(shù)據(jù)。運(yùn)動估計模塊主要是估計出當(dāng)前幀相對于參考幀的運(yùn)動偏移量，是一種全局運(yùn)動的估計。運(yùn)動校正主要是區(qū)分全局運(yùn)動中的有意運(yùn)動和隨機(jī)抖動，計算補(bǔ)償分量，采用補(bǔ)償分量對各幀圖像進(jìn)行變換。圖像補(bǔ)償主要是對運(yùn)動校正過程中出現(xiàn)的一些“無定義”區(qū)域進(jìn)行重構(gòu)，獲得清晰的圖像。運(yùn)動估計模塊是電子穩(wěn)像技術(shù)的關(guān)鍵技術(shù)，國內(nèi)外很多學(xué)者在運(yùn)動矢量的求取算法上開展了廣泛研究。

Huang［9］等人運(yùn)用匹配算法在連續(xù)圖像的邊緣線上選取交叉點對，之后選取3對最適合的特征點進(jìn)行仿射模型的參數(shù)測量，求取全局運(yùn)動參量。交叉點對的數(shù)量少，能減少運(yùn)算復(fù)雜度，提高運(yùn)算的速度。

Antonio［10］在研究了整個圖像序列的幾幀圖像的基礎(chǔ)上，采用離散小波變換獲得圖像的特征，再由歐氏距離對每一個圖像特征進(jìn)行分析，并利用小波變換系數(shù)來評估其穩(wěn)定性，最后通過低通小波系數(shù)重構(gòu)了穩(wěn)定的特征向量。

Litivin［11］提出一種基于概率估計框架的方法，將攝像機(jī)的主動運(yùn)動和隨機(jī)運(yùn)動分開。此方法將攝像機(jī)的幀間估計參數(shù)作為攝像機(jī)主動運(yùn)動的噪聲測量。建立幀間運(yùn)動參數(shù)的基于物理場的狀態(tài)空間模型，然后運(yùn)用遞歸卡爾曼濾波求得穩(wěn)定的攝像機(jī)位置估計參數(shù)。最后運(yùn)用6參數(shù)仿射變化模型描述幀間的變換，模型的估計采用基于多分辨率的p范數(shù)方法。基于概率估計的算法，計算量稍大，很難達(dá)到穩(wěn)像的實時性。

S.Erturk［12］認(rèn)為全局運(yùn)動可以由4個子圖局部運(yùn)動估計得到。每個子圖的運(yùn)動估計都可以通過相位相關(guān)獲得，再通過子圖像相位相關(guān)的峰值獲得可靠的局部運(yùn)動矢量。最后運(yùn)用卡爾曼濾波器進(jìn)行運(yùn)動濾波以獲得穩(wěn)定的視頻輸出。

Ho［13］運(yùn)用簡單的仿射變換模型，推導(dǎo)出新的類似極坐標(biāo)的變換模型，對運(yùn)動矢量進(jìn)行處理。算法先把圖像以某點為中心，以某角度為中心旋轉(zhuǎn)獲得當(dāng)前圖像，再運(yùn)用文中算法對當(dāng)前圖像相對原參考圖像求取運(yùn)動估計矢量。經(jīng)驗證明所得結(jié)果和預(yù)處理的方法一致。該算法減少了運(yùn)算量，提高了穩(wěn)像的實時性。

徐［14］首次提出具有旋轉(zhuǎn)不變性的基于圓形塊匹配的方法，對所有指定的圓形塊的中心提取局部運(yùn)動向量，根據(jù)局部矢量指定相應(yīng)圓形塊的位置建立線性系統(tǒng)。然后，用最小二乘法求取全局運(yùn)動參數(shù)，并由迭代的梯度下降法進(jìn)行參數(shù)優(yōu)化。

Lee［15］所采用的穩(wěn)像算法是對占主導(dǎo)地位的運(yùn)動進(jìn)行統(tǒng)計區(qū)域分析，算法能對可選擇區(qū)域自適應(yīng)地采用特征直方圖方式有效去除相機(jī)的隨機(jī)振動，而保留物體的運(yùn)動模式。算法的優(yōu)點是引入了特征直方圖匹配。

Pourreza，H.R等人［16］采用兩層小波分解方法粗略估計水平和垂直方向的平移參數(shù)，將這些參數(shù)作為估計的初始值，然后采用特征點和梯度方法，進(jìn)而精確計算估計參數(shù)。

Amanatiadis［17］認(rèn)為視頻序列的自身運(yùn)動和隨機(jī)抖動兩種信號分別具有獨立的性質(zhì)，利用獨立分量分析方法，使他們最大程度的統(tǒng)計獨立。在分離出自身運(yùn)動矢量后，分配給它相應(yīng)的能量和信號，進(jìn)而獲得穩(wěn)定視頻序列。

Sanjeev［18］在傅里葉-格林域基于相位相關(guān)的算法中實現(xiàn)了魯棒的二維仿射全局運(yùn)動估計。接著在稀疏運(yùn)動向量場采用最小二乘擬合實現(xiàn)圖像序列穩(wěn)定。在稀疏的運(yùn)動向量區(qū)域，采用RANSAC算法優(yōu)化計算結(jié)果。在圖像金字塔的最佳分層處，隨機(jī)選擇高活動區(qū)域的位置，實現(xiàn)亞像素級的準(zhǔn)確相位相關(guān)。

Konstantinos［19］運(yùn)用Hilbert-Huang變換理論，對原始運(yùn)動矢量信號進(jìn)行經(jīng)驗?zāi)Ｊ椒纸?，形成固有模態(tài)函數(shù)。然后運(yùn)用Hilbert變換對每個固有模態(tài)函數(shù)分配能量，繼而分解有意運(yùn)動和隨機(jī)抖動。

李迪［20］引入自組織遞歸的模糊神經(jīng)網(wǎng)絡(luò)方法，對視頻序列存在的抖動進(jìn)行函數(shù)逼近和學(xué)習(xí)能力模擬，預(yù)測出設(shè)備抖動位置，繼而進(jìn)行補(bǔ)償，使輸出視頻穩(wěn)定。

4 基于特征點匹配的運(yùn)動估計算法

基于特征點匹配的穩(wěn)像算法是運(yùn)動估計的一種重要算法，這種算法的主要流程如圖2所示。

圖2 電子穩(wěn)像系統(tǒng)的算法流程Fig.2 Algorithm flow of EIS system

算法首先求取參考幀和當(dāng)前幀的正確匹配特征點對，再將特征點對的坐標(biāo)代入如下仿射模型，求取運(yùn)動矢量：

式中，（Xi，Yi）和（Xi′，Yi′）分別代表參考幀和當(dāng)前幀的特征點坐標(biāo)；參數(shù)S代表變焦系數(shù)；θ為旋轉(zhuǎn)角度，Δx，Δy分別代表水平和垂直位移。求取運(yùn)動矢量后再進(jìn)行運(yùn)動濾波及運(yùn)動補(bǔ)償實現(xiàn)視頻序列穩(wěn)定。求取運(yùn)動矢量用時最多的就是提取正確特征點及匹配的計算過程。比較常用的提取特征點的方法有基于Harris算子、尺度不變特征變換算子（Scale Invariant Feature Transform，SIFT）以及改進(jìn)的加速魯棒特征算子（Speed Up Robust Features，SURF）和二進(jìn)制魯棒尺度不變關(guān)鍵點檢測算子（Binary Robust Invariant Scaleble Key-point，BRISK）等。

4.1 幾種提取特征點的算子

4.1.1 Harris算子

1998年，Harris和Stephens提出Harris算子，主要利用圖像的灰度變化進(jìn)行檢測。算子的核心其公式為：

det M是矩陣M的行列式，trace M是矩陣M的跡，k一般取0.04～0.06。λ1，λ2為M矩陣的兩個特征值，當(dāng)各值都較大時，該點被認(rèn)為是特征點。這種特征點檢測方法計算簡單，提取特征點均勻，自問世以來，得到了廣泛的應(yīng)用。

鐘平［21］等人提出通過Harris算子提取特征點并進(jìn)行匹配，求取局部運(yùn)動適量，將其代入運(yùn)動模型后求解全局運(yùn)動適量。為了減少匹配計算的復(fù)雜度，加快匹配速度，采用了多分辨率圖像金字塔匹配策略，可以較好地實現(xiàn)幀間平移運(yùn)動和旋轉(zhuǎn)運(yùn)動的補(bǔ)償。

朱娟娟［16］提出一種魯棒的電子穩(wěn)像系統(tǒng)。全局運(yùn)動矢量通過Harris算子提取特征點的局部信息來估計，同時根據(jù)特征點集的結(jié)構(gòu)特征提出用距離作為判斷準(zhǔn)則，對特征匹配進(jìn)行驗證來去除偽匹配點。最后將所有校驗后的匹配點對代入運(yùn)動模型中進(jìn)行最優(yōu)化迭代以獲得全局運(yùn)動矢量。

Harris算子［22］及其很多改進(jìn)算法在特征提取領(lǐng)域都得到廣泛應(yīng)用，但是在圖像含有尺度變化時，無法正確檢測角點。后來又有人提出Harris-Laplace算子，雖然能適應(yīng)尺度變換，但算法的耗時太長。

4.1.2 SIFT&SURF算子

SIFT［23］算子是2004年Lowe提出的基于尺度空間的特征提取算子。算法具有保證圖像對平移旋轉(zhuǎn)和尺度具有不變性，獨特性能好的優(yōu)點，缺點是基于多尺度空間進(jìn)行搜索，計算量較大。Battiato［24］在2007年的ICIA國際會議上利用SIFT算子提取特征點，實現(xiàn)了視頻序列去抖，取得了很好的效果。

SURF［25］算子是2008年由Bay提出的，是對SIFT算子的改進(jìn)。主要運(yùn)用Hessian矩陣對圖像的極值進(jìn)行檢測，并在尺度空間內(nèi)進(jìn)行特征點檢測。

對于一幅灰度圖像，SURF中使用積分圖像代替灰度圖像，任意尺度的Hessian矩陣表示為：

式中，g（σ）是二維高斯函數(shù)，L（x，σ）是G（σ）與積分圖像的卷積。實際應(yīng)用中，用盒子濾波器代替高斯濾波器，通過改變σ的大小構(gòu)建尺度空間。近年來很多文獻(xiàn)報道了SURF算子及其各種改進(jìn)算法的應(yīng)用。

Binoy［26］運(yùn)用SURF算子提取特征點法實現(xiàn)運(yùn)動估計，采用不同的策略選擇最適合的特征點軌跡，最后用Kalman濾波實現(xiàn)運(yùn)動校正。張坤［7］采用SURF算法檢測感興趣特征點，得出當(dāng)前幀相對于參考幀的運(yùn)動矢量。再通過判斷參考幀的更新情況，得到去抖后的全局運(yùn)動矢量進(jìn)行運(yùn)動補(bǔ)償。算法運(yùn)行時間短，精確度可達(dá)到亞像素級。王洪［27］在SURF算子基礎(chǔ)上，提出一種特征點預(yù)測方法，增強(qiáng)對外部環(huán)境和光照變化的適應(yīng)能力，并在動態(tài)平衡KD樹基礎(chǔ)上進(jìn)行快速匹配，經(jīng)過加入噪聲前后做測試比較，誤匹配率降低為零。李小昌［28］在SURF算子的基礎(chǔ)上，在特征區(qū)域選擇的時候采用圖像的熵來做檢測，起到提高速度和減少計算量的作用，同時又改進(jìn)了特征描述方法。吳威［29］等人采用SURF算子獲取參考幀和當(dāng)前幀的對應(yīng)關(guān)系，再進(jìn)行濾波和補(bǔ)償，實現(xiàn)了全景穩(wěn)像，穩(wěn)像指標(biāo)提高了近1/3。

4.1.3 BRISK算子

2011年，Stefan［30］在ICCV國際會議上提出了基于二進(jìn)制魯棒尺度不變關(guān)鍵點檢測算子BRISK。算法主要包括特征點描述和匹配。BRISK特征檢測子是以FAST算子為基礎(chǔ)發(fā)展而來的，具有尺度不變、定位精度高等特點。BRISK描述符采用了在關(guān)鍵點附近采樣的模式，由二進(jìn)制比特串構(gòu)成，一般采樣60個位置。

許允喜［31］將這種方法用在組合導(dǎo)航系統(tǒng)的景象匹配中，大大提高了匹配的速度和精度，也適合大光照變化的情況。目前為止，將此算子用于電子穩(wěn)像系統(tǒng)未見報道。

4.2 運(yùn)動校正算法

運(yùn)動校正的主要任務(wù)是消除或減輕攝像機(jī)抖動引起的視頻序列隨機(jī)運(yùn)動。目前用于電子穩(wěn)像的運(yùn)動濾波算法主要有：均值濾波方法、Kalman濾波的方法、粒子濾波的方法、曲線擬合的方法以及α-β運(yùn)動濾波的方法等。

S.Erturk［32］提出運(yùn)用Kalman濾波對序列幀的隨機(jī)運(yùn)動和有意運(yùn)動進(jìn)行分離。M.K.Gullu［33］對Kalman濾波進(jìn)行改進(jìn)，提出運(yùn)用模糊自適應(yīng)的Kalman濾波對圖像進(jìn)行穩(wěn)像。該算法中兩個Kalman濾波器并行工作，其中一個用來作為參考濾波器，通過恒定過程的噪聲方差工作來確保能平滑和密切跟蹤相機(jī)運(yùn)動的軌跡。穩(wěn)定濾波器的噪聲方差會自適應(yīng)地根據(jù)它與參考濾波器的差值通過模糊系統(tǒng)進(jìn)行調(diào)整。張帆［34］等人提出了一種基于固定滯后平滑濾波的平移運(yùn)動濾波技術(shù)，該方法是在Kalman濾波的基礎(chǔ)上得到的。算法通過滯后N幀圖像所獲得的更多圖像位置信息，提高Kalman濾波的估計精度，算法計算速度較快，實時性好，濾波的平滑效果明顯。

Yang［35］等人在粒子濾波框架基礎(chǔ)上提出一種新穎的視頻穩(wěn)像技術(shù)，該技術(shù)對粒子濾波應(yīng)用于傳統(tǒng)的相機(jī)運(yùn)動仿射模型進(jìn)行了擴(kuò)展，依靠所得圖像的逆以獲得穩(wěn)定的視頻序列。首先運(yùn)用尺度不變特征點對攝像機(jī)運(yùn)動進(jìn)行粗略估計，接著運(yùn)用粒子濾波進(jìn)行平滑估計。這種方法在實驗和理論上都表明，采用粒子濾波的估計精度較高。Jin［36］等人認(rèn)為主觀運(yùn)動與當(dāng)前幀及前兩幀的全局運(yùn)動相關(guān)，把運(yùn)動的位移隨時間的變化曲線視為一個信號，設(shè)計了一個二階的慣性濾波器，濾波器參數(shù)需要憑經(jīng)驗設(shè)置，不能自適應(yīng)調(diào)整。

近年來，很多學(xué)者針對不同的環(huán)境背景研究出了很多新的運(yùn)動濾波算法。這些算法對已有的算法做了大量的改進(jìn)，提高了算法的精度和速度。王斌［6］提出了用均值偏移和粒子濾波結(jié)合的運(yùn)動濾波算法（MSPF）來實現(xiàn)運(yùn)動校正。該算法通過粒子濾波來預(yù)測粒子，然后利用單次均值偏移迭代使粒子向目標(biāo)真實位置區(qū)域移動，這樣可以削弱計算結(jié)果的精度對粒子數(shù)的依賴。實驗結(jié)果表明：MSPF算法使用50%的粒子就能起到傳統(tǒng)粒子濾波算法同樣的效果，縮短了計算時間，有利于實現(xiàn)實時穩(wěn)像跟蹤，適用于車載、船載、機(jī)載等穩(wěn)定跟蹤系統(tǒng)中。姚軍［37］也利用粒子濾波實現(xiàn)了序列的穩(wěn)像，取得了很好的效果。

Huang［38］等人采用特征點匹配法做幀間運(yùn)動估計，之后采用α-β運(yùn)動濾波算法分離隨機(jī)運(yùn)動和有意運(yùn)動，實現(xiàn)運(yùn)動平滑。此濾波方法是一種低通濾波方式，增益恒定，容易實現(xiàn)，最大的優(yōu)點是增益矩陣可以離線計算。算法魯棒性好，可以去除高頻抖動，在工程上比Kalman濾波容易實現(xiàn)。

4.3 圖像補(bǔ)償算法

圖像補(bǔ)償主要對校正后的區(qū)域進(jìn)行重構(gòu)，獲得完整的視頻序列。近幾年，電子穩(wěn)像處理中圖像補(bǔ)償?shù)姆椒ㄖ饕ɑ谶\(yùn)動復(fù)原的方法和圖像拼接方法。

Matsushita［39］等人提出了一種基于運(yùn)動復(fù)原的圖像補(bǔ)償方法。該方法利用算法將視頻背景與運(yùn)動前景分開，然后根據(jù)局部運(yùn)動特性，利用視頻的時空連貫性對圖像進(jìn)行圖像補(bǔ)償。楊占龍［40-41］等人采用圖像拼接技術(shù)實現(xiàn)圖像補(bǔ)償。傳統(tǒng)圖像拼接方法對旋轉(zhuǎn)和噪聲敏感，針對這個問題，楊提出了兩種圖像拼接技術(shù)，一種是基于興趣點的偽澤尼克（Zernike）矩技術(shù)，另一種是基于不變矩的拼接技術(shù)。兩種方法都是利用Harris算子獲取圖像中的興趣點，計算以興趣點為中心鄰域窗口的偽澤尼克矩和不變矩。然后根據(jù)幾何變換模型剔除偽匹配點對，最后將兩幅圖像間的重疊區(qū)域進(jìn)行圖像融合，完成圖像的拼接。

5 結(jié)束語

目前的電子穩(wěn)像系統(tǒng)對于應(yīng)用對象和環(huán)境針對性較強(qiáng)，任何一種單一的方法和應(yīng)用已經(jīng)無法滿足人們的需求，為了降低計算難度，要根據(jù)不同情況選取不同的方法。與其他領(lǐng)域的新技術(shù)相結(jié)合是電子穩(wěn)像技術(shù)的一個研究熱點，也是一個具有挑戰(zhàn)性的新的研究領(lǐng)域。

機(jī)載電子穩(wěn)像技術(shù)的研究已經(jīng)取得了很大的進(jìn)展，在電子穩(wěn)像的工程應(yīng)用中仍需解決以下幾個方面的難點：

（1）運(yùn)動模型的局限性。目前在運(yùn)動估計模塊所用的運(yùn)動模型都是基于某種條件下的假設(shè)，每種算法總有一定的使用范圍，因此需要建立一個通用的或近似通用的幾何校正模型，以適用于攝像機(jī)的任意運(yùn)動。

（2）穩(wěn)像算法的實時性?，F(xiàn)今存在的電子穩(wěn)像算法多數(shù)只能實現(xiàn)基于平移運(yùn)動模型的實時處理，而這樣的模型不能完整地描述環(huán)境復(fù)雜情況下攝像機(jī)的運(yùn)動特征。實現(xiàn)多參數(shù)運(yùn)動模型下的實時穩(wěn)像處理是該領(lǐng)域?qū)W者的研究目標(biāo)之一。

（3）圖像拼接的重影問題。圖像拼接算法是基于兩幅圖像間重疊區(qū)域并不存在運(yùn)動物體的假設(shè)前提下的。但在有些情況下，待拼接圖像采集過程中會有運(yùn)動的物體出現(xiàn)或移動，這將會在合成圖像中產(chǎn)生重影。因此，對圖像運(yùn)動補(bǔ)償要嘗試一些圖像融合的算法，更大程度地消除運(yùn)動物體產(chǎn)生的重影。

（4）利用圖像的間接特征進(jìn)行匹配。圖像的能量、直方圖以及頻譜等信息都是圖像的間接特征，利用這些特征進(jìn)行圖像匹配的文章還很少見，但這些特征都是圖像的固有特性，這也是電子穩(wěn)像算法今后努力的方向。

［1］ 趙紅穎，金宏，熊經(jīng)武.電子穩(wěn)像技術(shù)概述［J］.光學(xué)精密工程，2001，8（4）：353-359. ZHAO H Y，JIN H，XIONG JW.Overview of the electronic image stabilization technology［J］.Opt.Precision Eng.，2001，8（4）：353-359.（in Chinese）

［2］ 王志民，徐曉剛.電子穩(wěn)像技術(shù)綜述［J］.中國圖象圖形學(xué)報，2010，15（3）：470-480. WANG ZH M，XU X G.A survey on electronic image stabilization［J］.J.Image and Graphics，2010，15（3）：470-480.（in Chinese）

［3］ 鐘平.機(jī)載電子穩(wěn)像技術(shù)研究［D］.長春：中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，2003. ZHONG P.Study on electronic image stabilization technology for the image sequences of the aero-borne camera system［D］.Changchun：Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，2003.（in Chinese）

［4］ 孫輝，李志強(qiáng)，孫麗娜，等.基于相位相關(guān)的亞像素配準(zhǔn)技術(shù)及其在電子穩(wěn)像中的應(yīng)用［J］.中國光學(xué)與應(yīng)用光學(xué)，2010，3（5）：480-485.SUN H，LIZH Q，SUN LN，etal..Sub-pixel registration based on phase correlation and its application to electronic image stabilization［J］.Chinese J.Opt.Appl.Opt.，2010，3（5）：480-485.（in Chinese）

［5］ 李迪.微型飛行器電子穩(wěn)像技術(shù)研究［D］.長春：中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，2012. LID.Study on electronic digital image stabilization technology for the image sequences ofMAV［D］.Changchun：Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，2012.（in Chinese）

［6］ 王斌，趙躍進(jìn).基于電子穩(wěn)像跟蹤技術(shù)的運(yùn)動濾波算法［J］.光學(xué)精密工程，2009，17（1）：202-206. WANG B，ZHAO Y J.Motion filtering algorithm for tracking technology based on image stabilization［J］.Opt.Precision Eng.，2009，17（1）：202-206.（in Chinese）

［7］ 張坤，許廷發(fā)，王平，等.高精度實時全幀頻SURF電子穩(wěn)像算法［J］.光學(xué)精密工程，2011，19（8）：1964-1972. ZHANG K，XU T F，WANG P.Rea-l time ful-l frame digital image stabilization system by SURF［J］.Opt.Precision Eng.，2011，19（8）：1964-1972.（in Chinese）

［8］ 朱娟娟，郭寶龍.一種魯棒的電子穩(wěn)像系統(tǒng)［J］.西安電子科技大學(xué)學(xué)報（自然科學(xué)版），2007，34（3）：418-422. ZHU JJ，GUO B L.Electronic image stabilization system based on global features tracking［J］.J.Xidian University（Nature&Science Edition），2007，34（3）：418-422.（in Chinese）

［9］ HUANG JC.Automatic feature-based globalmotion estimation in video sequences［J］.IEEE，2004，50（3）：911-915.

［10］ ANTONIO R K，ROLAND G.A wavelet-based approach to image feature stability assessment［J］.IEEE，206，22：1-25.

［11］ ANDREW L，JANUSZ K，WILIAM C K.Probabilistic video stabilization using Kalman filtering and mosaicking［J］.Image and video Communication and Processing，2003，5022：663-674.

［12］ ERTURK S.Digital image stabilization with sub-image phase correlation based globalmotion estimation［J］.IEEE T. Consumer Electronics，2003，12：1320-1325.

［13］ HO D S，JOON L.Digital image stabilization using simple estimation of the rotational and translationalmotion［C］.Proc. SPIE 5810，Acquisition，Tracking，and Pointing XIX，Orland，F(xiàn)lorida，USA，March 2005.

［14］ XU L D，LIN X G.Digital image stabilization based on circular block matching［J］.IEEE T.Consumer Electronics，2006，52（2）：565-574.

［15］ JINHEE L，SANGKEUN L.Digital image stabilization based on statistical selection of feasible regions［J］.IEEE Transactions on Consumer Electronics，2009，55（4）：1748-1755.

［16］ POURREZA H R，RAHMATIM，BEHAZIN F.An electronic digital image stabilizer based on stationary wavelet transform（SWT）image procession［J］.Proceeding of 2003 International Conference on，2003，3：383-386.

［17］ ANGELOSA A，ANDREADIS I.Digital image stabilization by independent componentanalysis［J］.IEEE Trans.Instrumentation and Measurement，2010，59（7）：1755-1763.

［18］ SANJEEV K，HALEH A，MAINAK B，etal..Real-time affine globalmotion estimation using phase correlation and its application for digital image stabilization［J］.IEEE T.Image Processing，2011，20（12）：3406-3418.

［19］ KONSTANTINOS I，IOANNISA A.Digital image stabilization method based on the hilbert huang transform［J］.IEEE T.Instrumentation and Measurement，2012，61（9）：2446-2457.

［20］ 李迪，陳向堅，續(xù)志軍，等.模糊神經(jīng)網(wǎng)絡(luò)在機(jī)載相機(jī)穩(wěn)像中的應(yīng)用［J］.浙江大學(xué)學(xué)報（工學(xué)版），2012，46（8）：1540-1545. LID，CHEN X J，XU ZH J，etal..Fuzzy neural network with self-organizing recurrent intervals for image stabilization of the airborne camera［J］.J.Zhejiang University（Engineering Science Edition），2012，46（8）：1540-1545.（in Chinese）

［21］ 鐘平，于前洋，金光.基于特征點匹配技術(shù)的運(yùn)動估計與補(bǔ)償方法［J］.光電子·激光，2004，15（1）：73-77. ZHONG P，YU Q Y，JIN G.Motion estimation and motion compensation based on matching technology of feature point［J］.J.Optoelectronics·Laser，2004，15（1）：73-77.

［22］ 吉淑嬌，朱明，胡漢平，等.基于特征匹配的視頻穩(wěn)像算法［J］.吉林大學(xué)學(xué)報（工學(xué)版），2013，43（增刊）：322-325. JISH J，ZHUM，HU H P，etal..Video stabilization algorithm based on the characteristicsmatching［J］.J.Jilin University（Engineering and Technology Edition），2013，43（Sup.）：322-325.

［23］ LOWE D G.Distinctive image features from scale-invariant keypoints［J］.International J.Computer Vision，2004，60（2）：91-110.

［24］ BATTIATO S，GALLOG，PUGLISIG，et al..SIFT Feature tracking for video stabilization［C］.International conference on Image Analysis and Processing，Modena 2007.

［25］ BAY H，TUYTELAARST，GOOL L V.SURF：speeded up robust features［C］.The Ninth European Conference on Computer Vision（ECCV）.Graz，Austria：Springer，2006：404-417.

［26］ BINOY P.Video stabilization using speeded up robust features［C］.Communications and Signal Processing（ICCSP），2011：527-531.

［27］ 王洪，嵇曉強(qiáng)，戴明，等.一種改進(jìn)的快速魯棒特征匹配算法［J］.紅外與激光工程，2012，41（3）：811-817. WANG H，JIX Q，DAIM，et al..Improved speed up robust feathersmatching algorithm［J］.Infrared and Laser Eng.，2012，41（3）：811-817.（in Chinese）

［28］ 李小昌，朱丹.采用尺度不變特征和區(qū)域選擇的圖像配準(zhǔn)方法［J］.紅外與激光工程，2012，41（2）：537-542. LIX CH，ZHUD.Image registrationmethod based on region selection and Scale Invariant feature transform-invariant feature［J］.Infrared and Laser Eng.，2012，41（2）：537-542.（in Chinese）

［29］ 吳威，許廷發(fā)，王亞偉，等.高精度全景補(bǔ)償電子穩(wěn)像［J］.中國光學(xué)，2013，6（3）：378-385. WUW，XU T F，WANG YW，etal..High precision digital image stabilization with full frame compensation［J］.Chinese Optics，2013，6（3）：378-385.（in Chinese）

［30］ STEFAN L C，ROLAND S.BRISK：binary robust invariant scalable keypoints［C］.In proceedings of the IEEE international conference on computer vision（ICCV），2011，2548-2555.

［31］ 許允喜，蔣云良，陳方.慣性導(dǎo)航系統(tǒng)中基于BRISK的快速鏡像匹配方法［J］.光電子·激光，2012，23（8）：1589-1595. XU Y X，JIANG Y L，CHEN F.Rapid scenematching algorithm based on BRISK for inertial integrated navigation system［J］.J.Optoelectronics·Laser，2012，23（8）：1589-1595.

［32］ ERTURK S.Image sequence stabilization based on kalman filtering of frame positions［J］.Electronics Letters，2001，37（20）：1217-1219.

［33］ GULLU M K，YAMAN E，ERTURK S.Image sequence stabilization using fuzzy adaptive Kalman filtering［J］.Electronics Letters，2003，39（5）：429-431.

［34］ ZHANG F，WANG X T，XU X G，et al..Electronic image stabilization algorithm based on fixed-lag smooth filtering［J］. Optoelectronics Letters，2007，3（4）：308-311.

［35］ YANG JL，SCHONFELD D，MOHAMEDM.Robust video stabilization based on particle filter tracking of projected cameramotion［J］.IEEE Transactions on Circuits and Systems for Video Technology，2009，19（7）：945-954.

［36］ JIN JS，ZHU ZG，XU G.Y.A stable vision system formoving vehicles［J］.IEEE T.Intelligent Transportation Systems，2000，1（1）：32-39.

［37］ 姚軍，蔣曉瑜，杜登崇，等.使用粒子濾波器實現(xiàn)電子穩(wěn)像［J］.光學(xué)精密工程，2009，17（5）：1105-1110. YAO J，JIANG X Y，DUD CH，etal..Digital image stabilization based on particle filter［J］.Opt.Precision Eng.，2009，17（5）：1105-1110.（in Chinese）

［38］ HUNG Y Q，JIANG X Y.Application of adaptiveα-βfiltering algorithm to electronic image stabilization［C］.2011 International Conference on Mechatronic Science，Electric Engineering and Computer，August 19-22，2011，Jilin，China，322-325.

［39］ MATSUSHITA Y，OFEK E，GEW，et al..Full-frame video stabilization with motion inpainting［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（7）：1150-1163.

［40］ 楊占龍，郭寶龍.基于興趣點偽澤尼克矩的圖像拼接［J］.中國激光，2007，34（11）：1548-1552. YANG ZH L，GUO B L.An imagemosaic technique based on invariantmoments of interest points［J］.Chinese J·Lasers 2007，34（11）：1548-1552.（in Chinese）

［41］ 楊占龍，郭寶龍.基于興趣點不變矩的圖像拼接方法［J］.光電子·激光，2007，18（6）：738-740. YANG ZH L，GUO B L.An imagemosaic technique based on invariantmoments of interest points［J］.J.Optoelectronics ·Laser，2007，18（6）：738-740.（in Chinese）

Aero-borne electronic image stabilization based on feature pointmatching

JIShu-jiao1，2，ZHU Ming1*，HU Han-ping1
（1.Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.School of Electronic and Information Engineering，Changchun University，Changchun 130022，China）
*Corresponding author，E-mail：zhu_mingca@163.com

Electronic Image Stabilization（EIS）technology usually is employed to remove the random jitter generated by the imaging equipment and to stabilize its video output.Firstly，the development status of EIS is introduced.Then themotion estimation module is studied in details，which is one of themost importantmodules of EIS.Both the direction motion estimation algorithms and the feature-points-based matching algorithms are discussed.Furthermore，themotion correction and compensation algorithm are presented.Finally，according to the difficulties and the future trends of the EIS，the developing direction for featurematching algorithms of EIS is proposed.

electronic image stabilization；motion estimation；featurematching；Kalman filter

TP391.4

A

10.3788/CO.20130606.0841

吉淑嬌（1978—），女，吉林農(nóng)安人，博士研究生，講師，2003年、2006年于遼寧科技大學(xué)獲得學(xué)士、碩士學(xué)位，主要從事數(shù)字圖像處理、電子穩(wěn)像及虛擬儀器方面的研究。E-mail：shujiaoji@163.com

胡漢平（1980—），男，湖北襄陽人，博士研究生，2003年、2009年于長春理工大學(xué)獲得學(xué)士、碩士學(xué)位，主要從事數(shù)字圖像處理、立體視覺等方面的研究。E-mail：custhhp@163.com

朱 明（1964—），男，江西南昌人，研究員，博士生導(dǎo)師，1985年于南京航空航天大學(xué)獲得學(xué)士學(xué)位，1991年于中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所獲得碩士學(xué)位，主要從事視頻圖像處理、自動目標(biāo)識別技術(shù)及成像目標(biāo)跟蹤方面的研究。E-mail：zhu_mingca@163. com

1674-2915（2013）06-0841-09

2013-09-19；

2013-11-23

國家自然科學(xué)基金資助項目（No.11071103）