趙夫群
(咸陽師范學(xué)院教育科學(xué)學(xué)院 咸陽 712000)
基于灰度信息的配準是圖像配準方法中非常經(jīng)典的一種,它從待配準圖像的灰度值出發(fā),采用最小二乘法(或者其它數(shù)學(xué)方法)計算并比較待配準圖像中的一塊區(qū)域與參考圖像中的相同尺寸區(qū)域的灰度值差異,以得到待配準圖像之間重疊區(qū)域的范圍和位置,從而實現(xiàn)圖像配準[1~2]。目前基于灰度信息的配準方法已經(jīng)在圖像拼接、手術(shù)導(dǎo)航、紅外圖像處理以及醫(yī)學(xué)研究等領(lǐng)域[3~10]得到了廣泛的應(yīng)用。
常見的基于灰度信息的圖像配準方法主要包括線匹配法、比值匹配法和塊匹配法等三種[11]。線匹配法是一種圖像的線性變換匹配算法,主要用于解決圖像的平移、旋轉(zhuǎn)和尺度等變換問題;比值匹配法采用圖像中兩列上的部分像素的比值作為模板,再在搜索圖中搜索最佳匹配,由此實現(xiàn)圖像配準;塊匹配法將一幅待配準圖像的正方形區(qū)域內(nèi)的像素集合作為模板,再通過在另一幅圖像中搜索與該正方形模板最為相似的匹配塊來實現(xiàn)圖像的配準。
本文主要討論線匹配法、比值匹配法和塊匹配法的基本原理和算法步驟,并通過實驗分析這三種匹配方法的優(yōu)缺點,對其進行對比研究,為今后基于灰度信息的圖像配準方法提出了進一步的研究方向。
2.1.1 線匹配法的基本原理
假設(shè)兩幅待配準的圖像為F 和G ,其上的任意一對匹配點對均滿足線性變換關(guān)系,圖像G 中坐標為X=[x,y]T的點與圖像F 中的坐標為Y 的點是對應(yīng)的,上標T 表示轉(zhuǎn)置運算,X,Y ∈R2×1。那么,X 與Y 之間的偏移量T 定義為
因此,該線性變換可表示為Y=X+T ,即像素G(X)與F(X+T)對應(yīng)。
2.1.2 線匹配法的步驟
本文的線匹配法采用6 參數(shù)的坐標線性變換圖像配準模型,定義圖像的整體誤差為其配準誤差,并通過迭代法求取最佳線性變換參數(shù)[12~13]。該方法主要包括兩個步驟,即求解誤差函數(shù)和求解變換參數(shù)。
1)求解誤差函數(shù)
定義圖像配準的誤差函數(shù)E 為
式中,領(lǐng)域R 與圖像G 的分辨率一致。
于是,變換參數(shù)a 可以通過最小化E 來求解。設(shè)像素的偏移量為T0,引入增量Da,代入式(1)得到DT ,那么新模型為
為求解增量Da ,將F 函數(shù)一階泰勒展開,展開式為
將式(5)代入式(4),對Da 求偏導(dǎo),并令偏導(dǎo)為零,則得到下式
式中,F(xiàn)'表示F'(X+T),可以用圖像F 中坐標為X+T 處的灰度梯度近似。 X~TF'表示六維列向量。對式(6)乘以的逆矩陣,即可求取出Da。
2)求解變換參數(shù)
對于圖像G 與F 間的匹配,具體計算步驟如下:
(1)將向量a 初始化為零向量;
(2)采用式(6)計算Da;
(3)更新參數(shù)a:a=a+Da;
(4)若Da 的二范數(shù)小于某一閾值或者迭代次數(shù)超過最多限定次數(shù),則算法結(jié)束,否則轉(zhuǎn)到步驟(2)。
2.2.1 比值匹配法的基本原理
對于待配準的兩幅圖像,比值匹配法分別在兩幅圖像的兩列上取部分像素,并將兩列像素的比值作為模板,再在搜索圖中尋求最佳的匹配[14]。圖1為圖像模板選取示意圖,其中,(a)為(W1×H)像素的圖像,(b)為(W2×H)像素的圖像,W1和W2可相等,也可不等。(a)和(b)為左右重疊關(guān)系,(a)在(b)的左邊。
圖1 比值匹配法的圖像模板
首先,在圖1(a)的重疊區(qū)域選取間隔為span的兩列像素,即第j 列和第j+span 列,并計算其對應(yīng)像素比值,該比值即a 為模板。
式中,i ∈(1,H),j 為選定的列。
然后,在圖2(b)中從第1列開始依次取間隔為span 的兩列,并計算其對應(yīng)像素的比值,該比值即為b 模板。
計算a 模板與b 模板差值,即為c 模板,函數(shù)表達式為
式中,i ∈(1,H),j ∈(1,W2-span)。
c 為二維數(shù)組,對c 對應(yīng)的列向量求得sum 為
式中,sum(j)反映了選定的像素對應(yīng)列的差異,sum(j)的最小值對應(yīng)的列坐標Collablemin即為最佳匹配。
2.2.2 比值匹配法的步驟
采用比值匹配法進行圖像配準的具體步驟如下:
1)對于圖1(a)所示的參考圖像,首先在其上間隔為c 個像素距離的兩列像素上各取m 個像素,然后其比值并將該比值存入數(shù)組中,該比值即為比較的模板。
2)在圖1(b)所示的搜索圖像中,首先在其相隔為c 個像素距離的兩列像素上各取m+n 個像素,然后計算其比值并將該比值存入數(shù)組中。
3)對于圖1(b)的搜索圖像,利用圖1(a)的參考圖像的比值模板在搜索圖像中尋找相應(yīng)的匹配。具體搜索方法為,首先在垂直方向上搜索,并記錄搜索圖像圖1(b)中每個比值數(shù)組內(nèi)的最佳匹配,然后在水平方向上進行比較,即比較每個數(shù)組的組內(nèi)最佳匹配,此時得到的最小值就是全局最佳匹配。
2.3.1 塊匹配法的基本原理
塊匹配法將一幅待配準圖像的正方形區(qū)域內(nèi)的像素集合作為模板,再通過在另一幅圖像中搜索與該正方形模板最為相似的匹配塊來實現(xiàn)圖像的配準[15~16]。本文以圖像的邊緣為特征來尋找基準塊,這是由于邊緣信息可以反應(yīng)圖像的內(nèi)在性質(zhì),不易受外界光照條件的影響,具有較強的抗灰度和幾何畸變能力。
在采用塊匹配法進行圖像配準時,首先要確定其價值函數(shù)。均方誤差(MSE)和平均絕對誤差(MAD)是最常用的價值函數(shù),其計算式如式(11)和式(12)所示。
式中,N 為塊邊長像素數(shù),Cij和Rij分別為當前宏塊和參考宏塊相應(yīng)像素的灰度。
塊匹配法的基本思路為,首先將當前幀圖像和參考幀圖像進行分塊,然后確定圖像塊的搜索范圍大小,最后在參考圖像的搜索區(qū)域中尋找價值函數(shù)最小的塊,由此實現(xiàn)基于塊的圖像配準。
2.3.2 塊匹配法的步驟
采用塊匹配法進行圖像配準的步驟如下:
1)首先,采用sobel 算子求取原圖像的邊緣圖E(i,j),實現(xiàn)圖像的邊緣檢測。
2)然后,計算圖像中每個像素點的鄰域邊緣量(NEA),NEA的計算式為
式中,E(i,j)為原圖像所對應(yīng)的二值邊緣圖,A為點(i,j)處所取鄰域的邊長的一半。
3)根據(jù)NEA(i,j)值求解最大值所對應(yīng)的像素點,并將該像素點作為基準點來尋找基準特征塊。
在線匹配實驗中,首先生成Lena 圖像的具有不同相對位移的子圖像。圖2(a)和圖2(b)分別為配準參數(shù)為rx=112,cy=112 時生成的一對尺寸為400 400的兩幅圖像。
圖2 400 400的Lena圖像
對于圖2的Lena圖像,采用線匹配法的配準結(jié)果如圖3 所示。圖3 中,水平線段為所選取的線模板,兩端連線的端點為匹配點對。
圖3 線匹配結(jié)果
由線匹配的實驗結(jié)果可見,線匹配法的結(jié)果精確直觀,但是重復(fù)步驟多,操作復(fù)雜,只能實現(xiàn)存在平移變換情況下的圖像配準,不能實現(xiàn)存在旋轉(zhuǎn)和縮放情況下的圖像配準,因此實用性并不強。
比值匹配法與線匹配法不同,它通過調(diào)節(jié)不同的圖像亮度來檢測配準參數(shù)。圖4 是光照效果由弱到強的比值匹配仿真實驗結(jié)果圖。其中,圖4(a)為待配準圖像與參考圖像的亮度差異為-20%的配準結(jié)果,圖4(b)為待配準圖像與參考圖像的亮度差異為+5%的配準結(jié)果,圖4(c)為待配準圖像與參考圖像的亮度差異為+20%的配準結(jié)果。
圖4 比值匹配的配準結(jié)果
由圖4 的圖像配準結(jié)果可見,比值匹配法的算法步驟簡單,計算量小,配準速度很快,利用圖像特征信息的利用率較低,容易造成誤匹配。
在塊匹配實現(xiàn)中,首先將Lena 圖像進行平移、旋轉(zhuǎn)和縮放等預(yù)處理,處理結(jié)果如圖5所示。
圖5 Lena的預(yù)處理結(jié)果
然后,采用塊匹配法分別對經(jīng)過平移、旋轉(zhuǎn)、縮放后的圖像進行配準,配準結(jié)果如圖6所示。
由圖6 的匹配結(jié)果可見,線匹配法和比值匹配法均不能實現(xiàn)圖像在旋轉(zhuǎn)、縮放情況下的配準,而塊匹配法則可以實現(xiàn)存在位移變化、較小的圖像旋轉(zhuǎn)以及縮放變形情況下的配準。因此說,塊匹配法能準確找到匹配點,打破灰度配準不能實現(xiàn)旋轉(zhuǎn)和縮放情況下的配準,但是塊匹配法計算量大,配準耗時長。
圖6 塊匹配結(jié)果
本文通過對三種灰度相關(guān)基本匹配算法,即線匹配法、比值匹配法和塊匹配法等方法的原理和步驟的闡述,分析了各種匹配方法的優(yōu)點和缺點。線匹配法的算法步驟簡單,但是只能處理平移變換情況下的圖像配準,不能實現(xiàn)圖像在旋轉(zhuǎn)和縮放情況下的配準,因此實用性不強。比值匹配法可以克服光照對平移參數(shù)的影響,但是利用到的圖像的特征信息太少,沒有能夠充分利用圖像重疊區(qū)域的大部分特征信息。塊匹配法能夠?qū)崿F(xiàn)兩幅圖像在平移、旋轉(zhuǎn)以及縮放情況下的配準,但是塊匹配法的計算量比較大,算法耗時較長。在今后的研究中,需要克服算法的時間復(fù)雜度,提出更加快速的圖像配準方法,并提高灰度相關(guān)配準方法的精確度和穩(wěn)定性。