李穎娟，紀　明，賀峻峰，馬愛秋，楊　萌

（西安應用光學研究所，西安　710065）

基于相位相關(guān)的快速亞像素全局運動估計

李穎娟，紀明，賀峻峰，馬愛秋，楊萌

（西安應用光學研究所，西安710065）

為了實現(xiàn)亞像素級圖像快速全局運動估計，提出了一種基于相位相關(guān)的快速亞像素全局運動估計方法。首先對待計算的兩幅圖像進行下采樣并計算整像素級的全局運動矢量，然后選取兩幅圖像重疊的部分進行插值，再計算亞像素級的全局運動矢量。最后，將整像素級和亞像素級的計算結(jié)果進行加權(quán)計算，得出亞像素級的全局運動位移。實驗結(jié)果表明，文中算法對噪聲影響、光照變化和局部遮擋具有較好的魯棒性，同時能夠有效地提高運動估計的精確性和計算效率。

亞像素，全局運動估計，下采樣，相位相關(guān)，矩陣Fourier變換

0　引言

機載、艦載和空間成像系統(tǒng)對目標成像時，會由于平臺的運動、顫振及姿態(tài)變化等使相機在曝光時待成像物體與感光元件間存在相對運動，導致視頻圖像抖動。視頻圖像抖動在光電穩(wěn)瞄系統(tǒng)中會導致成像系統(tǒng)不能精確鎖定目標。在光電系統(tǒng)中，圖像全局運動主要是由于某些不確定因素（如光電平臺的抖動）導致攝像機抖動引起的，可以通過圖像處理的方法估計全局運動矢量，進而估算出光電平臺的抖動量來。

全局運動估計技術(shù)可以用于獲得視頻序列中相鄰兩幀圖像之間的整體運動情況。全局運動估計的性能嚴重影響著圖像穩(wěn)定系統(tǒng)的性能表現(xiàn)。首先，全局運動估計的準確性和精度直接決定了系統(tǒng)的圖像穩(wěn)定質(zhì)量。其次，由于全局運動估計部分的計算量占用絕大部分系統(tǒng)計算量，所以全局運動估計的速度決定了穩(wěn)像系統(tǒng)的實時處理能力。本文提出了一種簡單快速的亞像速全局運動估計方法，該方法只提取兩幅圖像互功率譜中的相位信息，減少了對圖像內(nèi)容的依賴，具有較強的抗干擾能力，是目前廣泛使用的運動估計方法［1-4］。

1　基于相位相關(guān)的全局運動估計原理

視頻圖像一般是由前景和背景構(gòu)成，前景是指感興趣的運動目標，背景是指周圍的環(huán)境。如果在拍攝過程中由于某種原因?qū)е聰z像機發(fā)生了運動，而感興趣的目標沒有動，那么視頻圖像序列中會產(chǎn)生背景運動，在圖像中占有較大的像素比例，形成圖像序列的全局運動。

全局運動估計由整像素全局運動估計和亞像素全局運動估計兩部分組成。整像素全局運動估計是以直接采樣圖像為基礎(chǔ)，對圖像間的整像素級的全局運動矢量進行估計；亞像素全局運動估計則首先通過插值估算出圖像中非直接采樣點（亞像素點）的值，以此為基礎(chǔ)，在已知整像素全局運動矢量的基礎(chǔ)上進一步估計亞像素全局運動矢量。

首先按照計算出的整像素偏移將檢測圖像進行平移，然后選取兩幀圖像整像素重疊的部分進行插值，插值后的圖像再進行傅立葉變換，計算兩幀圖像在頻域的互相關(guān)譜后，對互相關(guān)譜進行傅立葉逆變換，計算最大值的坐標點可得到亞像素級平移配準參數(shù)。文中方法兼顧了傅立葉變換良好的時頻特性，在計算過程中忽略了與所關(guān)心區(qū)域無關(guān)的信息，減少了存儲需求和運算量，獲得較高的計算精度。由于本算法對于互相關(guān)譜的計算采用了幅度歸一化處理，因此，對隨機噪聲和光照變化具有較強的魯棒性。

相位相關(guān)主要是基于傅里葉變換中的平移定理，根據(jù)文獻［2］可知：當圖像之間發(fā)生平移時，傅立葉變換幅值不變，互功率譜的相位等于兩個圖像的相位差，通過求解歸一化的互功率譜的傅立葉逆變換，得到二維沖激函數(shù)，其坐標位置給出了兩個圖像之間的位移量［2］。

假設(shè)f（x，y）和g（x，y）是兩幅存在平移變換（x0，y0）關(guān)系的圖像，滿足

它們對應的傅里葉變換分別為F（u，v）和G（u，v），則有

那么這兩幅圖像間的互功率譜為

式中：G*為G的復共軛，|F·G|表示F·G的幅值譜。傅里葉變換的平移定理保證了圖像間的互功率譜相位等于圖像間的相位差。在頻域中對P（u，v）進行傅里葉逆變換，那么將在（x0，y0）處取得單位脈沖函數(shù)：

其中，F(xiàn)-1（·）表示取反傅立葉變換，除了在（x0，y0）處存在脈沖函數(shù)δ（·）外，在其他地方幾乎為0，因此，可用于測量兩幅圖像間的平移量。由于在式（3）中采用了歸一化處理，因此，該算法具有抗噪聲抗干擾的良好特性。從原理上說歸一化后能降低光照變化對配準精度的影響［2］。

2　整像素全局運動估計

本文所使用的全局運動估計方法是在整像素全局運動估計階段對待計算的兩幅圖像進行降低分辨率采樣，采樣后的圖像進行相位相關(guān)估計能夠減少參與運算的像素點數(shù)，從而達到降低計算復雜度的目的。與選擇子圖像的做法相比，均勻下采樣的過程使得各部分圖像內(nèi)容等比例的縮小，因此，不會對相位相關(guān)估計的運動估計范圍和抗干擾能力產(chǎn)生影響。

如果以兩幀256×256大小的圖像為例，對這兩幀圖像進行1/2采樣得到128×l28大小的圖像。降低分辨率后的圖像與四塊64×64大小的子圖像在進行相位相關(guān)估計時的計算復雜度相同，但是由于下采樣后的圖像每個像素點代表原始圖像中的兩個像素，因此，其最大運動估計范圍是（±64，±64）×2，即（±128，±128）。所以下采樣后相位相關(guān)估計的運動估計范圍不變。此外，由于均勻下采樣時局部運動物體與背景圖像等比例縮小，因此，利用下采樣后的圖像進行相位相關(guān)估計也不會存在抗干擾能力下降，估計不準確的問題。整像素全局運動估計的流程如圖1所示。

圖1　整像素運動估計

首先對參考圖像和檢測圖像進行采樣得到f'（x，y）和g'（x，y），這樣會減小圖像的尺寸，降低快速傅里葉變換的計算量和計算速度，然后再對兩幅圖像分別進行快速傅里葉變換得到F（u，v）和G（u，v），按照式（3）計算互功率譜，再進行反傅立葉變換，對反傅立葉變換的圖像搜索最大值，最后的得到兩幅圖像的全局位移值。

3　局部相位相關(guān)實現(xiàn)亞像素全局矢量計算

目前廣泛應用的運動估計方法主要有時域和頻域兩種實現(xiàn)方式［3-4］。時域的實現(xiàn)方法通常是將待匹配圖像分成M×N個匹配塊，然后對這些匹配塊，按照一定的匹配準則，和參考圖像進行匹配，最終計算出兩幅圖像的全局運動矢量來［5］。與時域?qū)崿F(xiàn)方法相比較，基于頻域的全局運動估計方法具有適用范圍廣、抗干擾能力強等優(yōu)點，因而更加適合于圖像穩(wěn)定應用。但在具體實施時，頻域全局運動估計方法需要依據(jù)傅里葉變換的平移特性，通過比較視頻序列中相鄰兩幀圖像頻譜的相位關(guān)系得到時域中圖像間的全局運動情況。這一過程中存在時域與頻域之間的傅立葉變換過程，計算量隨著圖像大小的變化增長較快。相對于頻域全局運動估計方法而言，基于時域的計算方法方式不僅運算復雜度提高，而且隨著亞像素精度的增加，存儲量也成指數(shù)級增長，因此，很難滿足存儲和計算資源有限的硬件應用環(huán)境的實際需求［6-7］。

基于相位相關(guān)的快速亞像素全局運動估計是一種優(yōu)化的基于頻域的計算方法。該方法的流程如圖2所示，首先根據(jù)整像素全局運動矢量估計的結(jié)果將檢測圖像平移（Delta_mx，Delta_my）使兩幅圖像在整像素上的位移相同。然后分別選取兩幅圖像重合的部分fsub（x，y）和gsub（x，y）。對fsub（x，y）和gsub（x，y）兩幅子圖像分別進行n倍插值，插之后得到f'sub（x，y）和g'sub（x，y）。最插之后的兩幅子圖像再進行快速傅里葉變換得到Fsub（u，v）和Gsub（u，v）。對二者按照式（3）進行相位互相關(guān)運算，得到頻域的相位相關(guān)信息，對該信息進行反傅里葉變換，得到基于時域的相位互相關(guān)脈沖函數(shù)，搜索該函數(shù)最大值所在的位置，即可得到兩幅子圖像的全局亞像素位移矢量的運動估計值來。結(jié)合此前計算得到的兩幅圖像的整像素全局位移矢量按照式（5）進行計算，可以得出兩幅圖像的亞像素全局位移矢量值來。

4　實驗

圖2　亞像素運動估計流程

算法仿真是在雙核、具有2GB RAM的2.2GHz CPU計算機環(huán)境下、利用MATLAB 2007b軟件完成的。相機抖動引起了圖像序列的全局運動，是一個連續(xù)的模擬量。但是實際工程中由于相機的采樣速度限制，導致圖像序的每一幀之間會存在亞像素級平移。由于本次實驗中上采樣倍數(shù)取為2，故平移量的檢測精度應達到0.5像素。實驗采用系統(tǒng)自帶的圖像進行計算，設(shè)定兩幅圖像理想平移量為Δ= （207，51），對其進行1/2下采樣后得到兩幅圖像如圖3（a），圖3（b）。那么兩幅圖像的理想平移量為Δ=（103.5，25.5）。首先采用上采樣方法獲取整像素級平移圖像，計算出位移矢量為Δ=（101，25），計算結(jié)果如圖3所示，本次計算時間為：2.208 0 s，

圖3　原始圖像

對理想平移后的圖像分別添加信噪比（SNR=5 dB）、均值為0的高斯白噪聲，結(jié)果見下頁圖4。從圖4的計算結(jié)果可以看出，圖像被噪聲干擾后，互相關(guān)譜的噪聲也增加，當圖像被干擾到一定程度后，噪聲和峰值會分辨不出來。相位相關(guān)法有一定的抗噪能力，但是如果圖像被污染嚴重，會導致兩幅圖像的全局運動矢量分辨不出來，所以如果要保證計算結(jié)果的正確性，還應該進行降噪處理。

圖4　添加噪聲后的圖像

圖5是兩幅圖像被部分遮擋后的計算效果，兩幅圖像雖然被部分遮擋了，但是兩幅圖像的全局運動矢量變化關(guān)系還在，而基于相位相關(guān)的運動估計方法是基于頻域的處理方法，待計算圖像被部分遮擋后不會改變?nèi)值南辔恍畔?，所以基于相位相關(guān)的頻域全局運動矢量計算方法具有一定的容錯性。在計算的時候發(fā)現(xiàn)圖像被局部遮擋后出現(xiàn)了多個峰值，但并不會影響最大值的位置。

圖5　局部被遮擋后的圖像

圖6是選取兩幅圖像整像素重疊的部分進行插值后計算得到的亞像素全局位移矢量的結(jié)果。按照式（8）計算得到兩幅圖像的亞像素位全局位移矢量為Δ=（103.5，25.5），本次計算耗時：3.769 5 s。結(jié)合前面的下采樣計算整像素運動矢量的耗時，得出本文的方法計算亞像素全局運動矢量耗時約6 s。如果直接對參考圖像和待檢測圖像進行插值計算亞像素的全局運動矢量，為了得到和本文的方法相同精度的全局運動矢量，經(jīng)計算需耗時約25.784 8 s，大約是文中方法的4倍多。

圖6　兩幅圖像重合的部分插值后的亞像素位移矢量

5　結(jié)論

本文提出了一種基于相位相關(guān)和下采樣的亞像素全局運動矢量估計算法，該算法在計算精度、計算效率、抗噪性能和容錯性方面均優(yōu)于現(xiàn)有的基于時域的亞像素運動估計方法。與選擇子圖像的做法相比，本文的算法對噪聲影響、光照變化和局部遮擋具有較好的魯棒性，同時能夠有效地提高運動估計的精確性和計算效率，計算效率提高4倍多。與文獻［2］提到的采用粗定位和細定位的方法相比，本文的算法由于在粗定位階段對圖像進行了降低分辨率采樣，所以計算精度更快些。該算法可以廣泛應用于光電平臺穩(wěn)定、遙感探測、醫(yī)學成像及計算機視覺等等需要獲取高精度的相機抖動參數(shù)及進行精密圖像配準的領(lǐng)域。該算法能在基于FPGA的硬件平臺上實現(xiàn)，由于FPGA內(nèi)部是并行處理的，所以計算效率高，適用范圍廣。

［1］王彩玲，程勇，趙春霞，等.局部相位相關(guān)用于圖像亞像素級配準技術(shù)研究［J］.中國圖象圖形學報，2011，16（3）：427-432.

［2］周武，胡躍明.基于相位相關(guān)和重采樣的亞像素圖像配準算法［J］.華南理工大學學報（自然科學版）2010，38（10）：68-73.

［3］黎俊，彭啟民，范植華.亞像素級圖像配準算法研究［J］.中國圖象圖形學報，2008，13（11）：2070-2075.

［4］余應淮，王錦榮.高精度亞像素全局運動估計的上采樣梯度互相關(guān)算法［J］.中國圖象圖形學報，2012，17（12）：1492-1499.

［5］楊水清，張路.一種改進的相機全局運動估計方法［J］.激光與紅外，2009，39（6）：660-664.

［6］FIENUP J R.Invirant errormetrics for image reconstruction ［J］.App lied Op tics，1997，36（32）：8352-8357.

［7］ MANUEL G S，SAMUEL T.Thurman，James R Fienup. Efficient subpixel image registration algorithms［J］.Optics Letters，2008，33（2）：156-158.

Fast Sub-pixel Global Motion Estimation Based on Phase Correlation

LI Ying-juan，JI Ming，HE Jun-feng，MA Ai-qiu，YANG Meng
（Xi'an Institute of Applied Optics，Xi'an 710065，China）

Proposed in this paper is a fast sub-pixel algorithm based on phase correlation and image down-sampling for sub-pixel global motion estimation.First，down-sampling of the two images，then the pixel-level global motion vector of two images calculated.Then chooses the repeated area of the two images and interpolated them，the global motion estimation of sub-pixel-level is achieved. Finally，weighted calculate the results of pixel-level and sub-pixel-level，the global motion displacement of sub-pixel-level of the two images will be calculated out.Experimental results show that the proposed algorithm has good robustness to noise，illumination and partial occlusion，and can effectively improve the accuracy and efficiency of motion estimation.

Sub-pixel，global motion estimation，down-sampling，phase correlation，matrix Fourier transform

TP391

A

1002-0640（2016）07-0148-04

2015-06-01

2015-07-03

李穎娟（1981-），女，陜西戶縣人，碩士，高級工程師。研究方向：圖像處理技術(shù)及控制技術(shù)研究。