鄭 悅，程 紅，孫文邦，蘇清賀

（中國人民解放軍空軍航空大學(xué) 特種專業(yè)系，吉林 長春 130022）

航空影像覆蓋的地面范圍有限，為獲得大規(guī)模地區(qū)的遙感影像以便判讀等使用，需將兩幅或多幅影像拼接起來，形成一幅覆蓋面積較大的遙感影像。影像匹配就是完成多幅圖像之間的對準(zhǔn)和拼接的過程，以達(dá)到將待匹配圖像和參考圖像變換到統(tǒng)一坐標(biāo)系中的目的。前人已經(jīng)提出了許多基于特征和灰度的匹配方法，它們各有優(yōu)缺點，目前常用的是基于點特征的匹配，但其存在對噪聲敏感的缺點，最近又有人提出基于對圖像的理解和解釋的配準(zhǔn)方法，用連續(xù)的物理模型來理解圖像，但該方法尚不成熟。影像匹配技術(shù)在圖像處理、軍事偵察、圖像鑲嵌等領(lǐng)域有廣泛應(yīng)用。隨著各項技術(shù)的發(fā)展，影像匹配將向快速、有效、高精度地完成大量遙感圖像的自動匹配方向發(fā)展，實現(xiàn)影像匹配的實時化、快速化和智能化。

1 影像匹配的發(fā)展現(xiàn)狀

影像匹配有兩種類型：一是以某圖像為參考圖像進(jìn)行匹配，即相互匹配，二是在同一地理坐標(biāo)系下對圖像進(jìn)行匹配，即絕對匹配。影像匹配又分為空間域和頻率域的匹配?？臻g域的匹配從影像的幾何形變和灰度差的角度入手，具有精度高、速度快的特點，頻率域的匹配涉及到空間域與頻率域的轉(zhuǎn)換，較復(fù)雜，要求較高。現(xiàn)有的影像匹配方法主要分為基于區(qū)域灰度、基于特征和基于對圖像的理解和解釋的匹配方法3類。基于區(qū)域的匹配方法是利用圖像灰度之間的相似性，因此要求圖像間光照，旋轉(zhuǎn)差異等較小，且匹配前圖像灰度基本一致；基于特征的匹配方法利用點、線等特征進(jìn)行匹配，對圖像畸變、遮擋等具有一定魯棒性，但易受噪聲影響，其匹配性能主要取決于特征提取的質(zhì)量；基于對圖像的理解和解釋的匹配方法將數(shù)字圖像理解為一連續(xù)的物理模型，可同時完成特征匹配和圖像變換，是近年來研究的熱點方向。

2 影像匹配方法

2.1 計算法

計算法[1]的主要思想是將一幅圖像上的坐標(biāo)g（x，y）經(jīng)過坐標(biāo)變換為 g[u（x，y），v（x，y）]，即求 u（x，y）、v（x，y）使得泛函（公式（1））最小，采用二項式逼近，泰勒公式展開，偏導(dǎo)求極值求出變換公式，經(jīng)過變換即完成匹配。

計算法相比于位移匹配法，對兩者之間的相似性進(jìn)行了定量地描述，但該方法不適用于有旋轉(zhuǎn)變換的圖像。

2.2 區(qū)域匹配法

區(qū)域匹配法利用灰度值的相似性來確定兩個影像塊之間的對應(yīng)關(guān)系，因此匹配前兩圖像的灰度應(yīng)調(diào)節(jié)成基本一致?；舅枷胧遣捎媚撤N度量方法來計算匹配搜索窗口內(nèi)的灰度相關(guān)值，選取相關(guān)系數(shù)最大的一對窗口的影像作為最佳匹配結(jié)果。

2.2.1 模板匹配法

模板匹配步驟為：1）控制點的自動搜索；2）控制點對的篩選；3）圖像重采樣，在參考圖像和待匹配圖像上分別選擇模板和搜索區(qū)域，且搜索區(qū)要大于模板，通過模板在搜索區(qū)內(nèi)的移動，計算每一個位置兩者之間的相似性，其中相似性最高的即為匹配點，對匹配點對進(jìn)行多項式擬合，即可得到兩幅圖像之間的位移關(guān)系。該方法思路較簡單，易理解，易編程實現(xiàn)，但模板選取尤為重要，模板位置要選取包含較多有用信息的區(qū)域，且大小適中，既要保證速度，又不影響精度。此外，該方法只是將模板在搜索區(qū)內(nèi)移動，不適用于有旋轉(zhuǎn)變形的圖像，因此圖像預(yù)處理時，對幾何畸變校正要求高[2-3]。

2.2.2 互相關(guān)法

在參考圖像中以輸入點坐標(biāo)位置為中心，割出一塊作為模板，然后在待匹配圖像中對應(yīng)坐標(biāo)位置割出一塊較大的區(qū)域作為搜索區(qū)，兩者之間的相似度采用下面相關(guān)系數(shù)ρ進(jìn)行計算：

Xij、Yij為模板和搜索區(qū)在（x，y）處的灰度值為模板和搜索區(qū)的灰度均值，N1、N2為模板維數(shù)。該法易于理解，思路簡單，但計算量大，且出現(xiàn)較大光照、色彩差異等情況時會匹配失敗。針對幾何變形較大的圖像，Berthiksson[4]和Simper[5]將相關(guān)系數(shù)法推廣用于仿射變形和鏡頭失準(zhǔn)出現(xiàn)投影變換的圖像匹配，經(jīng)過不斷研究，又出現(xiàn)了塊匹配法和網(wǎng)格匹配法[6]。

2.2.3 互信息法

互信息[7]配準(zhǔn)測度可用于衡量兩幅圖像中對應(yīng)像素的圖像灰度值之間的統(tǒng)計相關(guān)性，當(dāng)圖像在幾何位置上對齊時互信息達(dá)到最大值?；バ畔⒍x為：

其中，p（i）（i=a，b）表示事件 i發(fā)生的概率，p（a，b）表示兩個事件x，y，當(dāng)x=a，y=b時的概率，再根據(jù)熵的定義，求取互信息的最大值，求得位移量。該方法避免了因分割圖像面所帶來的誤差，具有精度高、穩(wěn)定性強(qiáng)、無需進(jìn)行預(yù)處理、能自動匹配進(jìn)行批量處理的特點，且它以互信息作為相似性測度，提高了匹配速度，同時也得到較高配準(zhǔn)精度。

2.3 特征匹配

區(qū)域匹配法是基于灰度的相似性進(jìn)行匹配，而基于特征的匹配則是利用提取的抽象特征來進(jìn)行匹配。這些抽象特征一般選取端點、直曲線、邊緣、面等。其中面特征[8]選擇精度很高，但計算量大；線特征[9]需對圖像用邊緣檢測算子提取邊緣，而這些算子對噪聲敏感；點特征是現(xiàn)在最常用且效率較高的一種方法。這些特征選取的初值無需像區(qū)域匹配那樣精確，但由于該類方法以“整像素”來定位，因此得到的是粗匹配位置，必須再利用最小二乘影像匹配法進(jìn)行精匹配?；谔卣魈仄ヅ浞椒ǖ幕静襟E為：1）特征提??；2）利用一組參數(shù)對特征作描述；3）利用參數(shù)進(jìn)行特征匹配；4）根據(jù)特征匹配對確定變換參數(shù)。

2.3.1 點特征

1）Moravec算法

Moravec[10]算子是經(jīng)典的點特征提取算子，它是利用灰度方差提取點特征的。其在4個主要方向上選擇具有最大-最小灰度方差的點作為特征點，速度較快，但只考慮灰度變化的方差最值，所以對噪聲較敏感，對邊緣相應(yīng)敏感，準(zhǔn)確性不夠。

2）Forstner算法

Forstner算子是著名的點定位算子，基本思想是：對于角點，對最佳窗口內(nèi)每個像元的邊緣直線（垂直于梯度方向）進(jìn)行加權(quán)中心化，得到角點的定位坐標(biāo)。該法可將定位精度提高到子像素，速度較快但低于Moravec算法，此外該算法還要確定閾值，受圖像灰度、對比度變化的影響，張莉和汪大明針對其不足提出了將Forstner算子與Harris算子相結(jié)合的改進(jìn)算法[11]。

3）Harris算法

該算法是Harris和Stephens[12]于1988年在Moravec算子的基礎(chǔ)上提出的改進(jìn)算法，是基于圖像像素灰度值變化梯度的一種角點探測方法，采用一階偏導(dǎo)來描述亮度變化，在角點附近，像素灰度值變化非常大的區(qū)域，其梯度也非常大。

Harris角點匹配方法[13]計算簡單，特征點的提取分布均勻合理，適用于任意角度的旋轉(zhuǎn)變換，以及灰度變化、噪聲影響和視點的變換，具有較好的穩(wěn)定性，一致性和有效性，但該方法不具有尺度不變性，提取的角點是像素級的，檢測時間有待提高，而且判斷角點時設(shè)置的閾值T要根據(jù)圖像各類屬性來確定的，要想選擇合適的閾值有一定難度[14]。

4）MIC 算法

MIC算法[15]是基于CRF提出的，該算法對每個像素基于其鄰域的灰度計算CRF值，大于某一閾值且為局部最大值的像素點被認(rèn)為是角點。該算法精度高、穩(wěn)定性好、對噪聲具有魯棒性且計算快，但由于噪聲影響，有些圖像邊緣模糊，選取模板不夠大時會遺漏角點，而對比度明顯的邊緣，大模板又會使角點定位不準(zhǔn)確。楊莉等經(jīng)過改進(jìn)，提出了模糊度的概念[16]，用模糊度概念進(jìn)行自適應(yīng)窗口插值減少了以往最小亮度變化角點檢測普遍采用固定窗口插值所造成的漏檢和虛報概率。

以上基于點的特征提取方法，為了提高精度，可以采用雙向匹配法。即設(shè)在參考圖像上的特征點（x，y）已在待匹配圖像上獲得同名點（u，v），再通過（u，v）在參考圖像上尋找它的同名點（x′，y′），若（x，y）和（x′，y′）間相差距離小于一個像素，則（x，y），（u，v）認(rèn)為是同名點，否則認(rèn)為不是同名點。 這樣可以剔除誤匹配點，提高匹配的精度。

2.3.2 線特征

1）比值法

利用圖像上間隔一定距離的2列上的部分像素，即在前一幅圖像的重疊區(qū)域部分選取兩列上的部分像素，用它們的比值作為模板，然后在另一幅圖像上由左至右依次從間距相同的2列上取部分像素，逐一計算其對應(yīng)像素比值，再將這些比值依次與模板進(jìn)行比較，選取最小差值對應(yīng)的列就是最佳匹配位置。

比值匹配法[17]應(yīng)選取包含較多特征信息的列向量作為比值模板。其速度較快，當(dāng)圖像本身質(zhì)量較好時，匹配精度較高，效果很好，但對特征不明顯，灰度變化小的兩幅圖像進(jìn)行匹配時，其穩(wěn)定性欠佳，易造成誤匹配，不適于高精度配準(zhǔn)要求。另外，對于像素點較多且重疊區(qū)域很大的圖像，有時會出現(xiàn)計算量較大從而導(dǎo)致實時性較差的情況，且匹配后的痕跡也會在一定程度上影響圖像的可視效果。冉柯柯、王繼成在此基礎(chǔ)上提出了一種基于比值法的等比例改進(jìn)算法 [18]，該方法能夠更快更準(zhǔn)地找到最佳匹配位置，有效的消除誤匹配，提高了算法的準(zhǔn)確性。

2）輪廓法

①LOG算子法

LOG算子[19]是 Laplacian算子和 Gussian算子的結(jié)合，Laplacian算子在灰度變化的邊界產(chǎn)生一個陡峭的零交叉，用于邊緣檢測，而Gussian算子則用于降低噪聲的影響。首先根據(jù)圖像本身及輪廓的特性確定LOG算子的離散化模板，用它對圖像做卷積，然后分別在垂直和水平方向檢測符號變化的點（過零點）作為邊界點，將相鄰邊界點連成完整的輪廓曲線，再使用最短距離（最小方差）準(zhǔn)則選取可能的輪廓匹配組合。

該法原理較簡單，但實現(xiàn)存在一定困難。由于LOG算子本身特性以及邊界線可能不是單像素寬，因此根據(jù)算法得到的邊界結(jié)果會不唯一，不利于輪廓描述的唯一性和相似性判別。此外，由于圖像本身特性和噪聲影響，會出現(xiàn)兩條輪廓線相交，產(chǎn)生T形連接，若使用爬蟲法跟蹤連續(xù)邊界，則會出現(xiàn)方向錯誤而產(chǎn)生錯誤輪廓線，或由于將交點歸于錯誤的輪廓而造成不連通[20]。

②相位相關(guān)法

首先提取出圖像的輪廓，然后對兩幅圖像進(jìn)行傅里葉變換，求出它們的互功譜，再進(jìn)行傅里葉逆變換，得到二維函數(shù)陣列中最大峰值所對應(yīng)的位置作為圖像間的拼接平移量。

該法[21]利用傅立葉變換的函數(shù)平移和縮放在頻率域都有其對稱性的良好性質(zhì)。對圖像間的亮度變化不敏感，有一定抗干擾能力，得到的相關(guān)峰尖銳突出，位移檢測范圍較大，具有較高精度，但噪聲對匹配精度影響較大。Reddy和Chaterjit[22]提出了基于快速傅立葉變換的匹配方法，利用極坐標(biāo)變換和互功率譜，對具有平移、旋轉(zhuǎn)等變換的圖像也能實現(xiàn)精確配準(zhǔn)。

2.4 基于對圖像的理解和解釋的配準(zhǔn)方法

隨著對圖像理解研究的不斷深入，可以把一幅數(shù)字圖像理解為一個連續(xù)的物理模型采樣，而不同于上述方法中認(rèn)為圖像是由一系列離散點無規(guī)律的組合而成，這個物理模型可以是彈性材料、流體材料等。

該方法可同時實現(xiàn)特征匹配和圖像變換。對局部的變形敏感，當(dāng)圖像變形比較嚴(yán)重時，特征描述也會隨變形而變化，若按傳統(tǒng)的基于像素模型的匹配則難以建立匹配關(guān)系，而基于物理模型的方法則可以很好地解決這一問題，但目前該方法還不成熟，是近年來研究的熱點方向[23]。

2.5 優(yōu)缺點對比分析

現(xiàn)有的影像匹配方法主要分為基于區(qū)域、基于特征和基于對圖像理解和解釋的匹配三類?；趨^(qū)域的匹配簡單直觀，易于實現(xiàn)，但計算量很大，它是利用灰度值的相似性進(jìn)行匹配，因此匹配前兩幅圖像的灰度要調(diào)成基本一致，而且該類方法一般要求圖像間光照，旋轉(zhuǎn)差異等較小。其中，模板法應(yīng)注意選取包含有用信息多，大小適中的模板以保證匹配速度和精度，互信息匹配法避免了因分割圖像面所帶來的誤差，精度高，穩(wěn)定性強(qiáng)，且無需進(jìn)行預(yù)處理，可批量處理，兼顧到了速度和精度?；谔卣鞯钠ヅ鋵D像畸變、遮擋等具有一定的魯棒性，但特征提取易受噪聲影像；基于線特征的匹配中比值法適用于特征明顯的圖像；相位相關(guān)法利用傅里葉變換的良好特性，精度較高；基于對圖像的理解和解釋的匹配方法將數(shù)字圖像理解為一個連續(xù)的物理模型，可同時完成特征匹配和圖像變換，是目前圖像匹配研究的熱點方向。另外，位移匹配法是靠肉眼的敏感性進(jìn)行觀察來尋找最優(yōu)位置，原理簡單，但操作復(fù)雜，存在誤差；等距匹配法[24]可快速實現(xiàn)匹配，但精度差，誤差大；計算法通過尋找兩幅圖像之間的變換關(guān)系式完成匹配；進(jìn)過不斷研究和發(fā)展，還有許多人提出了基于影像直方圖不變矩，基于小面元的匹配方法，結(jié)構(gòu)匹配，高精度自動拼接算法和基于遺傳算法等智能算法[25]的影像匹配技術(shù)。

3 結(jié)束語

遙感影像匹配技術(shù)是圖像鑲嵌，偵察探測，攝影測量學(xué)，圖像處理等方面的關(guān)鍵技術(shù)，匹配質(zhì)量直接影響圖像向前后的精確度和效果。因此，影像匹配要盡量精確，剔除誤匹配。筆者總結(jié)的影像匹配方法各有優(yōu)缺點，很難找到一種算法原理簡單，計算量不大，精確度也高的通用方法，因此，如何將多種方法結(jié)合起來，利用各自的優(yōu)點，是未來需要解決的問題。另外，尋找能夠適應(yīng)圖像多樣性和批量處理的自動匹配方法也將成為以后的一個研究熱點方向。

[1]金素明，李增元.SAR圖像自動鑲嵌系統(tǒng)[D].中國林業(yè)科學(xué)研究院.2001.

[2]劉忠紅，儲珺.特征提取與模板匹配結(jié)合的圖像拼接方法[J].微計算機(jī)信息（測控自動化）.2010， 26（1-1）:117-118.LIU Zhong-hong，CHU Jun.Feature extraction and template matching combined with image stitching method[J].Micro-Computer Information （Monitoring and Control Automation）.2010， 26 （1-1）:117-118.

[3]朱遠(yuǎn)平，夏利民.一種適用于圖像拼接的自適應(yīng)模板匹配算法[J].計算機(jī)工程與應(yīng)用，2003（31）:109-112.ZHU Yuan-ping，XIA Li-min.One for the image mosaic of adaptivetemplatematchingalgorithm[J].ComputerEngineering and Applications，2003（31）:109-112.

[4]Berthilsson R.Affine correlation[C]//Proceedings of the 14th International Conference on Pattern Recognition ICPR′98，Brisbane，Australia，1998，2:1458-1461.

[5]Simper A.Correcting general band-to-band misregistrations[C]//Proceedings of the IEEE International Conference on Image Processing ICIP′96，Lausanne，Switzerland，1996，2:597-600.

[6]HAN Xiao-wei，YAN Lei，ZHAO Hong-ying.An approach of fast image mosaic based on binary region segmentation[C]V/27th International Congress on High-Speed Photography and Photonics.Proc.SPIE.2007，6279:627957-1.

[7]魏雪麗，張樺，馬艷潔，等.基于最大互信息的圖像拼接優(yōu)化算法[J].光電子·激光，2009，20（10）:1399-1402.WEI Xue-li，ZHANG Hua，MA Yan-jie，et al.Maximum mutual information based image stitching algorithm optimization[J].Optoelectronics Laser.2009，20（10）:1399-1402.

[8]Batter J.Pelizzari C.Chen G.Correlation of projection radio graphs in radiation therapy using open curve segments and points[J].Med Phys.1992，19:329-334.

[9]Medioni G，Nevatia R.Matching images using linear features[J].IEEE Trans.On Pattern Analysis and Machine Intelligence，F(xiàn)AMI-6，1984，675-685.

[10]Mallat S.Singularity detection and processing with wavelets[J].IEEE Trans.On Information Theory，1992，IT-38（2）:617-645.

[11]劉奇，何明一.基于SURF特征匹配的圖像拼接算法[J].測控技術(shù).2010，29（10）:27-31.LIU Qi，HE Ming-yi.Image stitching based on SURF feature matching[J].Control Technology.2010，29 （10）:27-31.

[12]Harris C G，Stephens M.A combined corner and edge detector[C]//Proceeding of the 4 th Alvey vision Conference Manchester，1988:147-151.

[13]姚偉，胡茂海，秦晅，等.改進(jìn)的基于特征點匹配的圖像拼接算法[J].紅外技術(shù)，2010，32（5）:288-290.YAO Wei，HU Mao-hai，QIN Xuan，et al.Improved image mosaic allgorithm based on feature opimtmatching[J].Infrared Technology，2010，32（5）:288-290.

[14]侯艷杰，曹杰.一種基于Harris角點特征的圖像拼接方法[J].信息化研究，2010，36（10）:23-25.HOU Yan-jie，CAO Jie.An image mosaie method based on Harris cornen feature[J].Informatization Research，2010，36（10）:23-25.

[15]Miroslav T，Mark H.Fast corner detection[J].Image and Vision Computing，1998，16（1）:75-87.

[16]倪維平，邊輝，嚴(yán)衛(wèi)東.基于興趣點檢測和仿射變換模型的序列圖像拼接[J].激光與紅外，2009，39（3）:330-334.NI Wei-ping，BIAN Hui，YAN Wei-dong.Sequential images mosaic based on interest-point deteetion and affine transform model[J].Laser and Infrared，2009，39（3）:330-334.

[17]曹剛，趙耀，倪蓉蓉.基于邊緣CFA內(nèi)插特征一致性的圖像拼接檢測[J].東南大學(xué)學(xué)報：自然科學(xué)版，2009，39（3）:459-463.CAO Gang，ZHAO Yao，NIRong-rong.Image splicing deiection based on consistency of edge-based CFA interpolation features[J].Journal of Southeast University：Natural Science Edition，2009，39（3）:459-463.

[18]冉柯柯，王繼成.基于比值法圖像拼接的等比例改進(jìn)算法[J].計算機(jī)技術(shù)與發(fā)展.2010， 20（2）：5-8.RAN Ke-ke，WANG Ji-cheng.An improued moscuic algorithm based on ratiomatching using geometric proportion[J].Computer Technology and Development，2010，20（2）：5-8.

[19]蔣加伏，譚蓉，楊鼎強(qiáng).基于輪廓特征和小波變換的圖像拼接[J].計算機(jī)工程，2009，35（3）:225-226.JIANG Jia-fu，TAN Rong，YANG Ding-qiang.Image mosaic based on contour feature and wavelet transform [J].Computer Engineering，2009，35（3）:225-226.

[20]張靜，胡志萍，劉志泰，等.基于輪廓相位相關(guān)的圖像自動拼接[J].大連理工大學(xué)學(xué)報，2005，45（1）:68-74.ZHANG Jing，HU Zhi-ping，LIU Zhi-tai，et al.Image automatic mosaics based on contours phase correlation[J].Journal of Dalian University of Technology， 2005， 45 （1）:68-74.

[21]王志強(qiáng)，程紅.數(shù)字圖像鑲嵌技術(shù)綜述[J].影像技術(shù).2008（2）:11-14.WANG Zhi-qiang，CHENG Hong.A review on digital image mosaic technique[J].Imaging Technology，2008 （2）:11-14.

[22]Reddy B C，Chatterji B C.An FFT-based technique for transaction，rotation and scale invariant image registration[C]//IEEE Transaction on Image Processing，1996.

[23]蘇清賀，程紅，孫文邦.遙感圖像配準(zhǔn)方法研究[J].紅外.2010， 31（10）:1-6.SU Qing-he，CHENG Hong，SUN Wen-bang.Over review of remote sensing image registration[J].Infrared，2010，31（10）:1-6.

[24]樊慶文，王小龍，侯力，等.基于等距序列圖像的快速拼接技術(shù)[J].四川大學(xué)學(xué)報：工程科學(xué)版，2005，37（1）:139－142.FAN Qing-wen， WANG Xiao-long， HOU Li， etal.Speediness Mosaic thchnology based on isometry serial images[J].Sichuan University：Engineering Science，2005，37（1）:139－142.

[25]馬新娜，雷宇，姚雄偉，等.遺傳算法在圖像匹配中的研究與改進(jìn)[J].中國有線電視，2005（07）:646－648.MA xin-na，LEI Yu，YAO Xiong-wei，et al.Research and improvement of genetic algorithms in image matching[J].China’s Cable Television，2005（07）:646－648.