段琳鋒， 侯新國, 胡致遠

(海軍工程大學電氣工程學院，武漢 430000)

0 引言

圖像配準是尋找不同圖像的空間變換關系，使得相同場景不同視角的圖像進行幾何位置對齊，廣泛地應用于圖像融合、圖像拼接、醫(yī)學影像分析、遙感技術、三維重建等領域[1]。紅外與可見光圖像配準技術是圖像配準研究領域的熱點和難點。由于紅外與可見光攝像機的成像機理不同，拍攝的圖像在分辨率、光譜特性、灰度等方面都存在差異，使得兩種圖像配準算法的準確性和可靠性較低[2]，因此，研究紅外與可見光圖像配準算法具有重要的意義。

紅外與可見光圖像配準方法主要分為兩類[2]。一類為基于區(qū)域的配準方法，主要是利用圖像灰度信息進行圖像配準，如文獻[3-4]利用圖像的梯度和互信息進行圖像配準。這類配準算法適合圖像紋理不豐富、細節(jié)較少的情況，但在求解模型參數(shù)時搜索空間大、耗時久，而紅外與可見光圖像間的灰度信息差異大，使得這類配準算法難以取得較好的效果。另一類是基于特征的配準方法，其主要是利用紅外與可見光圖像的共有特征去求解變換模型參數(shù)，這類配準算法應用比較廣泛。如文獻[5]利用尺度不變特征變換(SIFT)方法建立了特征點配準方法的基本框架;文獻[6]利用加速魯棒性圖像特征(SURF)算法提取紅外與可見光圖像的特征點，并運用幾何約束方法剔除錯誤匹配的特征點，這類算法直接在原圖上提取的特征點之間的對應關系比較弱，特征匹配準確率低;文獻[7]利用Canny邊緣提取算法提取紅外和可見光圖像較為穩(wěn)定的邊緣特征，再使用SURF算法進行特征點提取與匹配，但Canny邊緣檢測算法高低閾值選擇困難，存在偽邊緣以及邊緣不連續(xù)等問題;文獻[8]利用FAST算法對無下采樣輪廓波變換(NSCT)得到的一級低頻圖像進行角點檢測，并利用局域強度不變特征描述符(Partial Intensity Invariant Feature Descriptor,PIIFD)得到配準圖像，在環(huán)境溫度相差較小時，紅外圖像上難以提取正確的特征點。

針對上述算法難以從兩幅圖像中提取相同特征點以及特征點匹配誤差較大的問題，本文首先利用NSCT提取紅外和可見光圖像中穩(wěn)定性較好的輪廓曲線，解決難以從兩種圖像中提取相同特征點的問題；采用輪廓曲線的中線作為特征點的主方向，并利用SIFT特征描述符進行匹配，解決特征點主方向依賴圖像梯度的問題；再利用主方向一致性方法消除誤匹配得到精確的特征點匹配對，解決特征點匹配誤差較大的問題。

1 輪廓提取

1.1 NSCT原理

NSCT[9]具有良好的空域和頻域局部特性、多尺度以及多方向性，能夠很好地體現(xiàn)出圖像的幾何結構特征。NSCT由無下采樣金字塔(Nonsubsampled Pyramid，NSP)分解和無下采樣方向濾波器組(Nonsubsampled Directional Filter Bank，NSDFB)兩部分構成。NSCT過程為：先將原始圖像經NSP分解得到低頻分量和高頻分量，然后再對高頻分量利用NSDFB進行多方向分解，從而得到不同尺度、不同方向的子帶系數(shù)。想要實現(xiàn)多級結構，只需對低頻子帶進行多次迭代NSP與NSDFB分解即可。NSCT的框架結構如圖1所示。

圖1 NSCT框架結構圖

1.2 基于NSCT輪廓提取

NSCT中的高頻分量包含了圖像的邊緣輪廓信息，分別將紅外與可見光圖像進行多級、多方向NSCT分解，得到高頻系數(shù)矩陣集合，然后利用最大類間方差法求得閾值，去除高頻系數(shù)矩陣中小于閾值的數(shù)值，對處理過的高頻系數(shù)矩陣集合進行NSCT反變換得到圖像，再利用自適應閾值法去除反變換圖像的較小系數(shù)得到輪廓曲線圖，具體步驟如下。

1)利用NSCT對輸入的紅外與可見光圖像進行分解，得到高頻系數(shù)矩陣集合Qi j，其中，i表示尺度，j表示方向。

2)將高頻系數(shù)矩陣集合Qi j中的每個高頻系數(shù)矩陣分成R=A×B塊，對每一塊分別用最大類間方差法求得閾值On(n=1，2，…，R)，將塊中小于閾值On的系數(shù)取值為0，大于閾值的系數(shù)保留原值，使得高頻系數(shù)更能夠突出輪廓信息，經過上述處理的高頻系數(shù)集合記為H(Q)。

3)對高頻系數(shù)矩陣集合H(Q)進行NSCT反變換得到高頻圖像E，即

E=N-(H(Q))。

(1)

4)因高頻圖像E的系數(shù)值較大處輪廓更加明顯，為去除較小系數(shù)對輪廓圖像的影響，利用自適應閾值方法對高頻圖像E進行處理，得到輪廓曲線圖E1為

(2)

(3)

式中：δ1為全局閾值；δ2為局部閾值；ψ(r,c)為高頻圖像中以坐標(r,c)為中心5×5的局部塊。

2 CSS角點提取

在得到輪廓曲線圖E1的基礎上，利用CSS角點檢測算法[10]檢測輪廓曲線上的角點。CSS角點檢測算法的核心思想是在一個較高尺度σh上利用曲率公式計算出輪廓曲線的曲率，并把局部極大值點作為角點的候選點，若某個候選點處的曲率值大于給定閾值t，且是相鄰局部曲率最小點處曲率值的2倍，則把該候選點作為角點；在較低尺度σl下計算曲率，對角點進行精確定位。

將原始輪廓曲線集合表示為

(4)

式中：Γi為第i條輪廓曲線；xi(u)，yi(u)分別為Γi上的點的橫縱坐標，u為弧度參數(shù)；n為圖像中包含的輪廓曲線數(shù)。

因噪聲和“毛刺”對輪廓曲線的影響，利用高斯函數(shù)對Γi進行平滑濾波，即

(5)

式中：g(u,σ)為高斯函數(shù)，σ為尺度參數(shù)；?為卷積符號。

(6)

(7)

式中,g′(u,σ)和g″(u,σ)分別為g(u,σ)關于u的一階和二階導數(shù)。

3 特征點主方向一致性匹配

3.1 特征點主方向分配

將提取到的角點作為特征點，采用特征點輪廓曲線的中線作為特征點的主方向[11]。記P=(xi(f),yi(f))為輪廓曲線Γi上的一個特征點。定義點P指向Γi始端和末端鄰域內的特征向量分別為

(8)

(9)

因為特征點處于曲率局部極大值處，始、末向量可以圍成一個三角形。將三角形的中線指向的方向向量記為

(10)

圖2 特征點主方向分配示意圖

3.2 主方向一致性匹配

特征點的主方向保證了特征點的旋轉不變性，若紅外與可見光圖像無相對旋轉，理論上兩幅圖像中正確匹配的點具有相同的主方向，而錯誤匹配的點的主方向不一致，這一特性被稱為特征點主方向一致性。

特征點主方向一致性匹配方法的具體描述如下。

1)在得到特征點的主方向的基礎上，生成特征點的SIFT描述符，通過描述符計算紅外與可見光圖像特征點之間的歐氏距離，將歐氏距離最小的特征點記為初始匹配點。

(11)

式中，Δφ為角度制，其值域為[0°，360°)。

3)以5°為一個小區(qū)間，將[0°，360°)等分為72個小區(qū)間，統(tǒng)計每個小區(qū)間內包含Δφ元素的數(shù)量。將候選旋轉角數(shù)量最多的區(qū)間對應的角度值，視為紅外與可見光圖像的旋轉角度φr，如圖3所示。因實際場景中可能存在一定的誤差，取角度誤差為ε，將Δφ中數(shù)值在區(qū)間[φr-ε，φr+ε]內的角度對應的特征點作為正確匹配的特征點。

圖3 統(tǒng)計圖

4)在3)中去除顯著誤差錯誤匹配點后，存有少量誤匹配點，這些誤匹配點在總匹配點中的比例較小。在誤匹配點比例較小的模型下，使用隨機抽樣一致性(RANSAC)算法進一步消除匹配誤差，得到高精度的匹配結果。

在得到正確匹配特征點后利用最小二乘法進行擬合得到最優(yōu)仿射變換參數(shù)。NSCT輪廓與特征點主方向一致性的紅外與可見光圖像配準算法的流程如圖4所示。

圖4 配準算法流程圖

4 實驗結果與分析

為了驗證本文提出的紅外與可見光圖像配準算法的有效性和魯棒性，選取1組?？低暤臒岢上耠p譜網(wǎng)絡攝像頭拍攝的圖像以及2組網(wǎng)上樣本圖像作為測試圖像，實驗平臺為Windows10系統(tǒng)，編程環(huán)境為Matlab2017a。

4.1 實驗圖像

將本文算法與文獻[7-8]所提算法進行對比實驗。圖5-圖7給出了紅外與可見光圖像特征匹配點和配準的效果圖。

圖5 匹配點和配準效果對比(第1組)

圖6 匹配點和配準效果對比(第2組)

圖7 匹配點和配準效果對比(第3組)

通過圖5-圖7對比可以直觀地看出，文獻[7-8]所提算法提取的特征點的位置具有較大差異，兩幅圖的特征點存在許多錯誤匹配，導致配準的結果存在偏差，而本文算法提取原圖像的輪廓圖時，有效地減小了兩種圖像的灰度差異，能夠精確地匹配兩幅圖相同位置的特征點，在配準圖中紅外與可見光圖像中同一目標的位置基本吻合，配準效果較好。

4.2 實驗評價指標對比

采用均方根誤差(RMSE)和正確匹配率(CMR)作為配準精度的定量指標，其定義為

(12)

(13)

本文算法與文獻[7-8]所提算法在圖像配準精度以及匹配點正確率方面的比較見表1。

表1 配準精度以及匹配點正確率的比較

從實驗數(shù)據(jù)看，本文算法得到的RMSE值最低、CMR值更高，表明本文提出的NSCT輪廓特征提取算法能提取出豐富的圖像邊緣信息，主方向一致性匹配算法比文獻[7-8]的RANSAC算法消除匹配誤差更準確，配準的精度更高。

5 結論

針對紅外與可見光圖像配準問題，本文提出了NSCT輪廓提取與主方向一致性匹配的紅外與可見光圖像配準方法。通過對比實驗結果可以看出，本文算法相較于Canny，SURF和PIIFD算法，提高了圖像相同特征點提取的準確度，特征點的定位更精確，主方向一致性匹配算法也有效地提高了特征點匹配的準確率。本文方法較好地解決了紅外與可見光圖像灰度信息差異大、特征點提取不準確、特征匹配精度差的問題，為后續(xù)的紅外與可見光圖像配準研究提供了借鑒。