徐 軍，付天宇，楊 健，豐 蘇

(1.武漢大學 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079；2.北京市混合現(xiàn)實與新型顯示工程技術研究中心 北京理工大學 光電學院，北京 100081；3.國家質(zhì)量監(jiān)督檢驗檢疫總局 信息中心，北京 100088)

?

采用顯著性分析與改進邊緣方向直方圖特征的紅外與可見光圖像配準

徐 軍1*，付天宇2，楊 健2，豐 蘇3

(1.武漢大學 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079；2.北京市混合現(xiàn)實與新型顯示工程技術研究中心 北京理工大學 光電學院，北京 100081；3.國家質(zhì)量監(jiān)督檢驗檢疫總局 信息中心，北京 100088)

為了實現(xiàn)紅外圖像與可見光圖像的信息融合，彌補單一模態(tài)圖像的不足，提出了一種基于顯著性分析與改進的邊緣方向直方圖EOH(Edge Orientation Histogram)特征的紅外與可見光圖像配準算法。該算法首先利用顯著性分析技術找到可見光圖像中的重要信息，得到顯著性圖；將其與可見光圖像融合，實現(xiàn)可見光圖像中重要信息的劃分。然后，利用自適應FAST(Features from Accelerated Segment Test)算法，探測可見光與紅外圖像上的特征點；利用改進的EOH，描述特征點。最后，根據(jù)描述計算特征點的相似性，在可見光與紅外圖像上找出對應的特征點，實現(xiàn)紅外與可見光圖像的匹配。在3種不同情況下對紅外與可見光圖像數(shù)據(jù)進行了配準實驗。結果表明：在紅外圖像與可見光圖像采集條件相似情況下，特征點正確匹配率為96.55%，而在圖像采集條件差異較大的情況下，特征點正確匹配率可達74.21%。該算法可實現(xiàn)紅外與可見光圖像的精確快速匹配，即使紅外圖像與可見光圖像采集的角度與位置均存在較大差異的情況下，仍可以滿足紅外與可見光圖像匹配對精度和穩(wěn)定性的要求。

圖像配準；紅外圖像；可見光圖像；顯著性分析；自適應特征點提取；邊緣方向直方圖；特征描述

1 引 言

可見光傳感器的工作波長大致位于400～760 nm，紅外傳感器的工作波長位于760 nm～1 mm?？梢姽鈭D像主要反映了拍攝場景內(nèi)物體的物理位置信息，其存在感興趣區(qū)域不突出等缺點；而紅外圖像則主要反映了物體的熱量信息，其存在成像質(zhì)量低等問題[1-3]。圖像配準技術是通過提取紅外圖像與可見光圖像上的特征點，將處于不同光譜圖像的對應特征點進行匹配，實現(xiàn)多源信息的融合[4-6]，在國土資源調(diào)查、軍事偵察等領域有著廣泛的應用[7-8]。

對于紅外圖像與可見光圖像的配準，主要流程包括[9]：特征點提取，特征點描述以及特征點匹配。由于待配準圖像所處的波段不同，所以對同一物體的成像結果也不同，導致利用SIFT(Scale-Invariant Feature Transform)等角點檢測器提取的特征點質(zhì)量較差[10]，而且不同點的特征描述區(qū)分度較低，無法滿足多源圖像精確配準的需求[11]。為了解決SIFT在紅外與可見光圖像匹配中存在的問題，李健等人[12]通過先選擇適當?shù)拈撝祵t外與可見光圖像進行二值化處理，然后利用SIFT提取圖像特征，從而改善了紅外圖像信噪比低，紋理較弱造成的匹配率低的現(xiàn)象。但是當紅外圖像包含復雜信息時，無法確定出合適的閾值對圖像進行二值化。為了提高特征描述區(qū)分度，Yi. Z.等人[13]提出了有尺度限制條件的SIFT匹配算法SRSIFT。他們通過設定尺度范圍，濾除已匹配的超出尺度范圍的特征點對，以減少在多源圖像配準情況下，由SIFT特征描述偏差引起的誤匹配率。但是當可見光圖像與遠紅外圖像配準時，由于圖像間所處的波段差異較大，尺度限制條件失效，導致匹配效果較差。Huang等人[14]提出RNGM(Registration based on NSCT and Gradient Mirroring)算法，其利用非下采樣Contourlet變換(Nonsub-Sampled Contourlet Transform，NSCT)增強圖像中物體的結構信息，同時保證結構信息在多源圖像中具有不變性。因此，在NSCT圖像上，利用SIFT可以提取到更多的特征點，此外，他利用GM(Gradient Mirroring)計算特征方向，以改善SIFT特征方向只受灰度差異影響等問題，提高了特征描述區(qū)分度，實現(xiàn)了紅外圖像與可見光圖像精確匹配。但是，當匹配圖像紋理較弱時，特征點的匹配精度則降低。通過研究現(xiàn)有算法，本文提出了一種基于顯著性分析與改進的EOH(Edge Orientation Histogram)特征的紅外可見光圖像配準算法，實現(xiàn)紅外可見光圖像精確匹配。并通過實驗驗證了算法性能。

2 配準流程

本文所提出的匹配算法流程如圖1所示。首先，對可見光圖像進行顯著性分析，對表達豐富信息的區(qū)域進行識別。然后，利用顯著性結果，對可見光圖像進行感興趣區(qū)域與非感興趣區(qū)域的劃分。其次，在不同區(qū)域上，通過自動設置相應的參數(shù)，利用FAST(Features from Accelerated Segment Test)特征點檢測算法，快速提取可見光圖像與紅外圖像的特征點。之后，基于特征點與感興趣區(qū)域與非感興趣區(qū)域的位置關系，提出改進的EOH特征描述算子對特征點進行描述，使特征點之間區(qū)分度增大。最后，利用歸一化的互信息以及相對位置約束條件，對兩圖像上的特征點進行匹配，同時利用隨機一致性(RANSAC)對匹配的特征點進行篩查，剔除誤匹配點，實現(xiàn)紅外與可見光圖像的最優(yōu)匹配。

Fig.1 Flowchart of registration between infrared and visible images

3 顯著性分析與感興趣區(qū)域劃分

圖像的顯著性體現(xiàn)了人們對圖像不同位置的關注度。對于一幅圖像，其中最重要的信息通常集中于局部關鍵區(qū)域，即感興趣區(qū)域ROI(Region of interest)，而背景則通常處于非感興趣區(qū)域NROI。通過顯著性分析，可以識別出圖像的關鍵區(qū)域，在該區(qū)域內(nèi)采用與其它區(qū)域不同的特征點提取方法，不僅可以增加ROI周圍特征點的數(shù)量，提高匹配精度，同時還可以減小搜索區(qū)域，提高特征點匹配速度。

基于上下文感知的顯著性探測算法[15]，是利用心理學準則，來識別圖像中感興趣區(qū)域的，同時可以保留感興趣區(qū)域周圍重要的背景信息。該方法首先定義單一尺度以及局部-全局顯著性，綜合像素點之間的位置，顏色(灰度)以及局部-全局差異，將邊界以及物體特點區(qū)域凸顯出來，獲得圖像的初始顯著圖。然后利用多尺度方法增強圖像的初始顯著性圖，同時減弱紋理單一的背景區(qū)域的顯著性，提高顯著性與非顯著性區(qū)域?qū)Ρ榷龋玫綀D像增強后的顯著圖。其次，提取增強后顯著圖中顯著性較強的區(qū)域作為感興趣區(qū)域，而周圍的像素則根據(jù)與該區(qū)域的距離被賦予不同的權重，將權重與像素點的顯著值相乘，提高感興趣區(qū)域周圍重要背景區(qū)域的顯著性，同時減小遠離感興趣區(qū)域像素的顯著性，使圖像中上下文信息得到傳遞，從而獲得到修正后的圖像顯著性圖S，點(x，y)處的顯著性Sx，y計算公式如下：

(1)

(2)

紅外與可見光圖像匹配階段，利用可見光圖像的顯著性圖，識別感興趣區(qū)域(Region of Interest，ROI)，在該區(qū)域與其它區(qū)域采用不同的方法選取特征點，可以實現(xiàn)多光譜圖像的快速精確匹配。

(a)可見光圖像

(b)可見光圖像顯著性分析結果

圖2展示了可見光圖像的顯著性分析結果，其中(a)為可見光圖像，(b)為可見光圖像對應的顯著性圖。在圖2(a)中，房屋與道路的顯著性較高，而紋理單一的土地的顯著性較低。對于顯著圖，通過設定閾值，將圖像劃分為感興趣區(qū)域(ROI)與非感興趣區(qū)域(NROI)，即像素值大于閾值的區(qū)域為ROI區(qū)域，像素值小于閾值的區(qū)域為NROI區(qū)域，且通常選擇0.5作為閾值。但是，如果可見光圖像中部分顯著性較大的區(qū)域并不在紅外圖像中，那么在這些區(qū)域內(nèi)篩選特征點，將會影響匹配精度。所以如果一幅圖像中存在多個ROI，則需要將它們與NROI的相對位置關系加入特征描述，用于匹配過程中誤匹配點的濾除。

4 自適應FAST特征點檢測

FAST是一種快速特征點檢測算法，該方法只利用待選像素點與周圍像素的比較信息判斷該點是否為特征點。具體通過檢測統(tǒng)計待選特征點周圍的像素值，如果候選點鄰域內(nèi)有足夠多的點與該候選點的灰度值的差異超過設定閾值，則判斷該待選點為特征點。在實際計算過程中，對于圖像I，一般通過設置最小對比率確定閾值，其公式如下：

Threshold=MC*max(I(x，y))，

(3)

其中：Threshold為濾出特征點的閾值，MC為最小對比率，大小介于0～1之間， max(I(x，y))則表示圖像I中最大的像素值。圖3為不同最小對比率對應的特征點提取結果，其中圖(a)(b)(c)對應的值分別為0.01，0.1以及0.5。從圖中可以看出，如果閾值較大，則無法篩選出部分幅值較低的邊界點，造成特征點數(shù)量較少；如果閾值較小，在提取邊界特征點時，則由于受背景噪聲的影響較嚴重，從而會選出大量低質(zhì)量的特征點。所以，利用固定閾值篩選特征點盡管計算簡單，但是卻無法滿足不同圖像以及圖像中不同區(qū)域特征點的篩選需求[16]。

(a)最小對比率為0.01時特征點提取結果

(b)最小對比率為0.1時特征點提取結果

(c)最小對比率為0.5時特征點提取結果

本文基于顯著性圖，對圖像ROI與NROI采用不同的特征點搜索策略。如圖2所示，房屋與道路等與周圍差異較大或邊界明顯區(qū)域的顯著性較高，所以需設置較低的MC值，以獲得更多的特征點，而土地的顯著性較低，所以MC值需設置的高些，以獲得更有代表性且邊界幅值較大的特征點，以避免在單一紋理區(qū)域選取過多的特征點，造成較高的誤匹配率。綜合感興趣區(qū)域與非感興趣區(qū)域灰度信息，本文MC值選取方法如下：

(4)

(5)

(a)原始可見光圖像

(b)可見光圖像顯著性分析結果

(c)ROI區(qū)域劃分結果

(d)可見光圖像特征點提取結果

對于紅外圖像，其每個像素點的灰度值反映了對應的熱量信息，即不同的熱量值對應不同的灰度值，熱量愈大的點對應的灰度值越大，且受光照等環(huán)境因素的影響相對較弱。利用統(tǒng)一MC值，可以在不同采集環(huán)境下的紅外圖像中快速獲得熱量變化較大區(qū)域的特征點，同時由于紅外圖像邊界擴散程度較大，不利于ROI的劃分，所以在求解紅外圖像的特征點時，將采取統(tǒng)一閾值，以實現(xiàn)特征點的快速提取。紅外圖像特征點提取結果如圖5(彩圖見期刊電子版)所示，其中采用的MC值為0.23。

圖5 紅外圖像特征點提取結果

5 改進的EOH特征描述與特征點匹配

EOH特征綜合了特征點周圍不同方向上的邊界信息，實現(xiàn)對邊緣方向以及幅值的描述。EOH在邊緣檢測結果的基礎上，通過計算以特征點為中心的矩形框范圍內(nèi)，所有點在多個方向的梯度值，生成特征點的邊緣方向直方圖。公式(6)用于計算點(x，y)處邊緣強度，公式(7)定義了其邊緣方向。

(6)

(7)

傳統(tǒng)EOH特征描述需要手動為特征點設置窗寬，在窗寬范圍內(nèi)檢測圖像的邊緣信息，所以窗寬大小會嚴重影響描述精度。如果窗寬過大，不僅會增加特征描述的計算時間，同時降低了相鄰特征點之間的區(qū)分度及匹配精度。如果窗寬過小，則將導致描述的邊緣信息過細，增加特征點誤匹配的概率。圖6為采用EOH特征描述[1]對同一特征點在不同窗寬下獲得的80維特征的直方圖，其中6(a)為可見光圖像，圖中十字為特征點，以特征點為中心選取邊長分別為60、100以及140 pixel的正方形區(qū)域，而6(b)～6(d)為分別采用3個不同的窗寬時對應特征點的EOH特征。從圖中可以發(fā)現(xiàn)，窗寬對特征描述的影響較大。

本文采用公式(8)為特征點p設置不同的窗寬：

(8)

即為特征點到最鄰近非該點所處區(qū)域的最短距離，如果p點位于ROI，則其對應的窗寬為該點到NROI的最短距離，而如果p點位于NROI，則其對應的窗寬為該點到不同ROI的最短距離與對應ROI顯著性均值的乘積和的均值。通過公式(8)，將特征點的位置信息融入EOH特征中。

根據(jù)自適應窗寬獲得EOH特征描述后，對每個來自可見光圖像的特征點，在紅外圖像中計算與其特征描述最相似的特征點，利用歸一化的互信息作為特征描述間的相似性測度。然后利用隨機抽樣一致算法(RANdom SAmple Consensus，RANSAC)對匹配的特征點進行篩選提純，最終獲得紅外與可見光圖像的匹配結果。

(a)可見光圖像特征點以及特征點對應的窗口

(b)窗寬為60像素時特征點 EOH特征的統(tǒng)計直方圖

(c)窗寬為100像素時特征點 EOH特征的統(tǒng)計直方圖

(d)窗寬為140像素時特征點 EOH特征的統(tǒng)計直方圖

6 實驗結果

本文選擇了3種不同情況下的紅外與可見光圖像數(shù)據(jù)進行配準，選用SIFT、SRSIFT[13]、基于EOH的SIFT算法、RNGM[14]等4種匹配算法與本文算法做對比。為了客觀評價匹配效果，將利用兩圖像中匹配的特征點間的坐標誤差，求解均方根誤差RMSE(Root-Mean-Square Error)，以準確評估本文算法的精度。

第一種情況：紅外圖像與可見光圖像采集的角度與位置大致相同，即紅外圖像中包含可見光圖像中全部的ROI。如圖7(彩圖見期刊電子版)所示，紅外圖像與可見光圖像的采集條件差異較小，其中，紅外圖像的尺寸為486×333，可見光圖像尺寸為250×188。圖7(a)為利用SIFT算法求得的特征點匹配結果，圖7(b)為利用SRSIFT算法求得的特征點匹配結果，其中尺度范圍為0.02～1.51，圖7(c)為利用FAST進行特征提取，MC值為0.1，然后將EOH作為特征描述算法求得的特征點匹配結果，圖7(d)為利用RNGM算法求得的特征點匹配結果，圖7(e)為利用本文方法求得的結果。從結果可以看出，本文方法不同于其它4種算法，它在可見光圖像中背景紋理均一的區(qū)域，選擇較高的閾值，篩選出邊緣幅值較大且數(shù)量較少的特征點，在ROI區(qū)域內(nèi)，即飛機以及其周圍區(qū)域內(nèi)，自適應的選擇閾值，篩選出飛機上重要的特征點，然后利用自適應窗口的EOH求解特征，最終實現(xiàn)精確匹配。對于SIFT算法，當處理多光譜影像時，由于紅外與可見光圖像在同一物體區(qū)域的灰度分布存在差異，單純利用SIFT特征無法實現(xiàn)精確匹配。對于SRSIFT算法，其在SIFT算法結果的基礎上，除去了一定量的誤匹配特征點對，但是由于SIFT算法的精度較差，造成SRSIFT無法獲得更高的精度。而對于FAST算法來說，受背景區(qū)域的影響較大，為了獲得高質(zhì)量的特征點，可以設置較小閾值進行特征點提取，但是低閾值將使該算法在紋理均一的背景區(qū)域選取較多的點，同時由于紅外圖像中對應的背景區(qū)域呈現(xiàn)的紋理特性與紅外圖像差異很大，導致匹配精度降低。對于RNGM算法，由于圖像背景紋理較弱，通過邊緣增強后，大量的特征點位于飛機與機場邊緣，所以獲得了較高的匹配精度。

第二種情況：紅外圖像與可見光圖像采集的角度與位置均不同，但紅外圖像中包含可見光圖像中全部的ROI。如圖8所示，紅外圖像與可見光圖像對應的區(qū)域之間存在平移變換，其中紅外圖像尺寸為320×256，可見光圖像尺寸為1 024×1 024。圖8(a)為利用SIFT算法求得的特征點匹配結果，圖8(b)為利用SRSIFT算法求得的特征點匹配結果，其中尺度范圍為0.01～1.63，圖8(c)為利用FAST與EOH算法求得的特征點匹配結果，其中MC值為0.05，圖8(d)為利用RNGM算法求得的特征點匹配結果，圖8(e)為利用本文方法求得的結果。從結果可以看出，本文方法獲得了精確的特征點匹配結果。對于SIFT與FAST以及基于SIFT的SRSIFT算法，盡管紅外與可見光圖像間平移量較小，但是由于兩圖像背景區(qū)域的紋理特性存在差異，導致誤匹配率增大。對于RNGM算法，由于圖像背景紋理較弱，通過邊緣增強后，大量的特征點位于道路邊緣，所以獲得了較高的匹配精度。

第三種情況：紅外圖像與可見光圖像采集的角度與位置均不同，紅外圖像中包含可見光圖像中部分的ROI。如圖9所示，紅外圖像拍攝的區(qū)域只占可見光圖像中較少的部分，且采集角度差異較大，其中紅外圖像的尺寸為256×320，可見光圖像的尺寸為2 420×1 916。圖9(a)為利用SIFT算法求得的特征點匹配結果，圖9(b)為利用SRSIFT算法求得的特征點匹配結果，其中尺度范圍為0.03～1.45，圖9(c)為利用FAST與EOH算法求得的特征點匹配結果，其中MC值為0.1，圖9(d)為利用RNGM算法求得的特征點匹配結果，圖9(e)為利用本文方法求得的結果。從結果可以看出，由于可見光圖像中包含大量的與紅外圖像相似但并不對應的區(qū)域，使得SIFT與FAST算法的誤匹配率增大。對于RNGM算法，盡管邊緣增強后，可見光圖像中房屋以及道路得到凸顯，但是由于圖像紋理單一且存在大量相似紋理，故增加了誤匹配率，降低了匹配精度。而對于本文算法，在公路或街道附近，即ROI區(qū)域，重點提取特征點，但在房屋區(qū)域，即紋理較單一的背景區(qū)域，則選擇較大閾值，篩選高質(zhì)量的背景特征點。同時本文方法在計算特征點EOH特征時，包含了其與ROI、NROI的相對位置信息，所以在匹配特征點時，盡管紅外圖像并不完全包含可見光圖像中的ROI區(qū)域，但是依然獲得了較高的匹配精度。

特征點匹配率與整體運算時間對比如表1所示，其中特征點匹配正確率為正確匹配的特征點占所有特征點的比率。通過3種情況的數(shù)據(jù)測試知，本文算法在匹配準確性方面明顯優(yōu)于其它4種算法。尤其是對于第三組數(shù)據(jù)，在紅外與可見光圖像的采集角度與位置存在較大差異時，本文算法可以在ROI與NROI，自適應選擇窗寬的大小，增加了特征點間的區(qū)分度，所以本文算法仍可以保證74.21%的匹配正確率，受圖像紋理單一且存在大量相似紋理的影響，其他算法的特征匹配率較低。這表明本文方法魯棒性強、穩(wěn)定性高。但是由于本文需要首先求解可見光圖像的顯著圖，而求解顯著圖的耗時與圖像大小有關，所以當可見光圖像尺寸較大時，本文方法所需時間也將增大。

根據(jù)本文算法求解的3組數(shù)據(jù)特征點匹配結果，求解仿射形變矩陣，將紅外圖像與可見光圖像進行配準。圖10(a～c)分別展示了3組圖像的配準結果。對于第一組與第二組數(shù)據(jù)，紅外圖像中包含可見光圖像中全部的ROI，故最終的匹配效果較好，而對于第三組數(shù)據(jù)，由于本文方法匹配的特征點主要集中于公路周圍，所以最終的匹配結果只在公路周圍的效果較好。3組匹配結果對應的RMSE值分別為0.078，0.109和0.274。

(a)SIFT算法匹配結果

(b)SRSIFT算法匹配結果

(c)基于EOH的SIFT算法匹配結果

(d)RNGM算法匹配結果

(e)本文算法匹配結果

Fig.7 Feature points matching results of three methods on the first data set

(a)SIFT算法匹配結果

(b)SRSIFT算法匹配結果

(c)基于EOH的SIFT算法匹配結果

(d)RNGM算法匹配結果

(e)本文算法匹配結果

Fig.8 Feature points matching results of three methods on the second data set

(a)SIFT算法匹配結果

(b)SRSIFT算法匹配結果

(c)基于EOH的SIFT算法匹配結果

(d)RNGM算法匹配結果

(e)本文算法匹配結果

Fig.9 Feature points matching results of three methods on the third data set

表1 特征匹配率與整體運算時間對比

(a)第一組數(shù)據(jù)配準結果

(b)第二組數(shù)據(jù)配準結果

(c)第三組數(shù)據(jù)配準結果

7 結 論

本文利用顯著性分析、自適應閾值的FAST特征點識別以及改進的EOH特征實現(xiàn)多光譜圖像匹配。實驗證明，本文提出的算法在處理不同的紅外與可見光圖像時，均獲得較好的匹配效果，尤其適用于紅外與可見光圖像信息融合等圖像位置角度差異較小的場合。而對于角度發(fā)生較大改變或場景范圍差異較大時，利用本文方法，在ROI區(qū)域仍可以實現(xiàn)穩(wěn)定的特征點提取與可靠的特征點匹配。

[1] AGUILERA C， BARRERA F， LUMBRERAS F，etal.. Multispectral image feature points [J].Sensors， 2012， 12(9)： 12661-12672.

[2] 蔣宏，任章.紅外與可見光圖像配準和融合中的關鍵技術[J]. 紅外與激光工程，2006，35(增)： 7-12. JIANG H， REN ZH. Key technologies in registration and fusion for infrared and visible images [J].InfraredandLaserEngineering， 2006，35(Suppl.)： 7-12.(in Chinese)

[3] 柏連發(fā)，韓靜，張毅，等.采用改進梯度互信息和粒子群優(yōu)化算法的紅外與可見光圖像配準算法[J]. 紅外與激光工程，2012，41(1)： 248-254. BAI L F，HAN J， ZHANG Y，etal.. Registration algorithm of infrared and visible images based on improved gradient normalized mutual information and particle swarm optimization [J].InfraredandLaserEngineering， 2012，41(1)： 248-254.(in Chinese)

[4] 李新娥， 班皓，沙巍，等. 一種大視場TDICCD相機的多傳感器圖像配準方法[J]. 液晶與顯示，2014，29(4)： 644-648. LI X E，BAN H， SHA W，etal.. Registration method of large field view and multi-sensor images of TDICCD cameras [J].ChineseJournalofLiquidCrystalsandDisplay， 2014，29(4)： 644-648.(in Chinese)

[5] 臧麗，王敬東.基于互信息的紅外與可見光圖像快速配準[J]. 紅外與激光工程，2008，37(1)： 164-168. ZANG L， WANG J D. Infrared and visible light image fast registration based on mutual information [J].InfraredandLaserEngineering， 2008，37(1)： 164-168.(in Chinese)

[6] 楊桄，童濤，陸松巖，等.基于多特征的紅外與可見光圖像融合[J]. 光學 精密工程，2014，22(2)： 489-496. YANG G， TONG T， LU S Y，etal.. Fusion of infrared and visible images based on multi-features [J].Opt.PrecisionEng.， 2014，22(2)： 489-496.(in Chinese)

[7] 程國華，王阿川，陳舒暢，等.多源遙感影像高精度自動配準方法研究[J]. 液晶與顯示，2016，31(6)： 604-612. CHENG G H， WANG A CH， CHEN SH CH，etal.. High accuracy-automatic registration method research on multi-source remote sensing image [J].ChineseJournalofLiquidCrystalsandDisplay， 2016，31(6)： 604-612.(in Chinese)

[8] 譚東杰，張安.方向相關與互信息加權組合多模圖像配準方法[J]. 紅外與激光工程，2013，42(3)： 836-841. TAN D J， ZHANG A. Multi-model image registration based on weighted orientation correlation and mutual information [J].InfraredandLaserEngineering， 2013，42(3)： 836-841.(in Chinese)

[9] 余先川，呂中華，胡丹.遙感圖像配準技術綜述[J]. 光學 精密工程，2013，21(11)： 2960-2972. YU X CH， LV ZH H， HU D. Review of remote sensing image registration techniques [J].Opt.PrecisionEng.， 2013，21(11)： 2960-2972.(in Chinese)

[10] 丘文濤，趙建，劉杰.結合區(qū)域分割的SIFT圖像匹配方法[J]. 液晶與顯示，2012，27(6)： 827-831. QIU W T， ZHAO J， LIU J. Image matching algorithm combining SIFT with region segmentation [J].ChineseJournalofLiquidCrystalsandDisplay， 2012，27(6)： 827-831.(in Chinese)

[11] 劉暢，崔桐，賀成龍，等.基于高曲率特征點匹配的紅外可見光圖像配準[J]. 指揮信息系統(tǒng)與技術，2016，7(1)： 13-17. LIU CH，CUI T， HE CH L，etal.. Infrared-visual image registration based on high-curvature feature matching [J].CommandInformationSystemandTechnology， 2016，7(1)： 13-17.(in Chinese)

[12] 李健，王濱海，李麗，等.基于SIFT的電力設備紅外與可見光圖像的配準和融合[J]. 光學與光電技術，2012，10(1)： 75-78. LI J， WANG B H， LI L，etal.. Electrical equipment IR and visible images registration and fusion based on SIFT [J].Optic&OptoelectronicTechnology， 2012，10(1)： 75-78.(in Chinese)

[13] YI Z， ZHI G C， YANG X. Multi-spectral remote image registration based on SIFT [J].ElectronicsLetters， 2008，44(2)：107-108.

[14] HUANG Q， GAO Q， YANG J，etal.. Visible and infrared image registration algorithm based on NSCT and gradient mirroring [C].ConferenceonMultispectral，Hyperspectral，andUltra-spectralRemoteSensingTechnologysandApplicationsV， 2014.

[15] GOFERMAN S， ZELNIK-MANOR L， TAL A. Context-aware saliency detection [J].IEEETransactionsonPatternAnalysis&MachineIntelligence， 2011， 34(10)： 1915-26.

[16] 丁尤蓉，王敬東，邱玉嬌，等.基于自適應閾值的FAST特征點提取算法[J]. 指揮控制與仿真，2013，35(2)： 47-53. DING Y R， WANG J D， QIU Y J，etal.. FAST feature detection algorithm based on self-adaptive threshold selection [J].CommandControl&Simulation， 2013，35(2)： 47-53.(in Chinese)

徐 軍(1970-)，男，云南楚雄人，96658部隊工程師，現(xiàn)為武漢大學博士研究生，主要從事航天攝影測量、遙感圖像處理、打擊效果評估等方面的研究。E-mail： junxu70@163.com

付天宇(1991-)，男，北京人，博士研究生，2013年于山東大學獲得學士學位，主要從事圖像配準算法研究。E-mail： fty0718@163.com

(版權所有 未經(jīng)許可 不得轉(zhuǎn)載)

Registration of infrared image and visible image based on saliency and EOH feature analysis

XU Jun1*， FU Tian-yu2， YANG Jian2， FENG Su3

(1.State Key Laboratory of Information Engineering in Surveying，MappingandRemoteSensing，WuhanUniversity，Wuhan430079，China；2.BeijingEngineeringResearchCenterofMixedRealityandAdvancedDisplay，SchoolofOpticsandElectronics，BeijingInstituteofTechnology，Beijing100081，China；3.InformationCenter，GeneralAdministrationofQualitySupervision，InspectionandQuarantineofthePRC，Beijing100088，China)

To realize the information fusion of infrared and visible images and make up the deficiency of the single modality image， a new algorithm based on saliency and Edge Orientation Histogram(EOH) features was proposed. Firstly， the saliency analysis was used to find the important information of the visible image and to obtain the saliency map. By fusing it with the visible image， the important information in the visible image was divided. Then， adaptive Features from Accelerated Segment Test(FAST) algorithm was employed in detecting feature points on the visible image and infrared image， and the improved EOH was used to describe the detected feature points. Finally， corresponding feature points were found by calculating the similarity of feature points in the visible and infrared images and the infrared and visible images were matched. An image matching experiments at three conditions were carried out， and the results indicate that when the collection conditions between the infrared and visible images are similar， the feature matching accuracy reaches 96.55%. When the difference of collection conditions between the infrared and visible images is large， the feature matching accuracy still can reach 74.21%. The algorithm realizes fast and accurate matching of infrared and visible images， and meets the requirements of image matching for accuracy and stability， especially under a collection condition that the infrared and visible images are bigger different.

image fusion； infrared image； visible image； saliency analysis； adaptive Features from Accelerated Segment Test(FAST)； Edge Orientation Histogram(EOH)； feature point descriptor

2016-07-15；

2016-09-07.

中國博士后科學基金資助項目(No.2015M580962)

1004-924X(2016)11-2830-11

TP391.4

A

10.3788/OPE.20162411.2830

*Correspondingauthor，E-mail：junxu70@163.com