李明亮， 侯英竹

(1.河北地質(zhì)大學(xué)信息工程學(xué)院， 石家莊 050031； 2.智能傳感物聯(lián)網(wǎng)技術(shù)河北省工程研究中心， 石家莊 050031)

計(jì)算機(jī)科學(xué)與技術(shù)日新月異，構(gòu)建全景圖像成為了研究熱點(diǎn)，目前全景圖像已在醫(yī)用影像處理、虛擬現(xiàn)實(shí)、圖像遙感技術(shù)等方面有較為成熟的應(yīng)用[1]。由于設(shè)備有限，只能夠得到清晰度較高的局部圖像或者清晰度較低的全景圖像。目前研究發(fā)現(xiàn)將清晰度較高的局部圖像進(jìn)行無(wú)縫拼接可以得到清晰度較高的全景圖像，研究一種拼接效果好、拼接效率高的圖像拼接算法尤為必要[2]。

圖像存在噪聲，在圖像拼接之前需要進(jìn)行圖像預(yù)處理，Mallat建立了小波變換快速算法并應(yīng)用于圖像的分解與重構(gòu)，提出了利用小波變換模極大值原理進(jìn)行信號(hào)去噪[3-4]。圖像拼接的關(guān)鍵是準(zhǔn)確快速找到待拼接圖像的重疊部分，最常用的方法有像素查詢、塊匹配、特征提取等[5-6]。將待拼接圖像重疊部分進(jìn)行融合完成圖像拼接[7]。尺度不變特征轉(zhuǎn)換(scale invariant feature transform，SIFT)算法[8]和加速魯棒特征(speed-up robust features，SURF)算法[9]的實(shí)現(xiàn)原理相似，其中SURF算法比SIFT算法構(gòu)建線性的尺度空間的速度快[10]，SIFT算法與SURF算法有較強(qiáng)的魯棒性，但構(gòu)建的線性尺度空間丟失圖像細(xì)節(jié)信息[11-12]。導(dǎo)向快速與旋轉(zhuǎn)簡(jiǎn)短(oriented fast and rotated brief, ORB)算法為了使其更加具有方向性,使用一個(gè)不具備旋轉(zhuǎn)與尺度不變性的二進(jìn)制描述符對(duì)該特征點(diǎn)的位置進(jìn)行描述,計(jì)算速度快[13-14]。文獻(xiàn)[15]首次提出了一種通過(guò)利用rBRIEF(rotated BRIEF) 的描述子對(duì)特征點(diǎn)提取二進(jìn)制描述符,其利用這個(gè)特征點(diǎn)的一個(gè)主方向決定二進(jìn)制描述符的位置,得到一個(gè)具有非線性和尺度不變的二進(jìn)制描述符。RANSAC算法[16]能夠消除大部分不相互匹配的特征點(diǎn)[17],提升了相互匹配的精度[18]。以上研究雖然在一定條件下大大提升了ORB算法的圖像匹配精度,但對(duì)于圖像在相位變化復(fù)雜的情況下,仍無(wú)法解決圖像匹配精度低的問(wèn)題。Aslantas進(jìn)行了圖像融合實(shí)驗(yàn)，結(jié)果表明拉普拉斯金字塔圖像融合[19-20]效果更顯著。

在現(xiàn)有特征提取及特征點(diǎn)匹配算法的基礎(chǔ)上，現(xiàn)研究SIFT算法、SURF算法、ORB算法，使得圖像特征匹配速度更快、精度更高，研究RANSAC算法與拉普拉斯金字塔圖像融合算法，使得圖像拼接更加精確。提出一種ORB算法、RANSAC算法與拉普拉斯金字塔圖像融合算法組合的圖像拼接算法，以期達(dá)到圖像拼接速度更快、精度更高及無(wú)損無(wú)痕的效果。

1 利用小波變換對(duì)圖像進(jìn)行預(yù)處理

小波變換將圖像的數(shù)據(jù)信息進(jìn)行時(shí)間和頻率的局部變換，可同時(shí)在時(shí)域和頻率中對(duì)圖像數(shù)據(jù)進(jìn)行多尺度聯(lián)合分析，所以采用Harr小波函數(shù)對(duì)圖像進(jìn)行分解，既保留了圖像特征，又降低了噪聲對(duì)圖像特征提取的干擾，提高了圖像匹配的精度，進(jìn)而提高了圖像拼接的精度。

Harr小波函數(shù)的數(shù)學(xué)定義為

(1)

尺度函數(shù)為

(2)

對(duì)于待拼接圖像，分別在水平和垂直方向通過(guò)Harr小波函數(shù)實(shí)現(xiàn)一級(jí)小波變換分解。圖1為經(jīng)過(guò)一級(jí)小波變換行分解和列分解后子圖像的劃分。

小波變換的重構(gòu)算法對(duì)分解后的小波系數(shù)進(jìn)行逆變換重構(gòu)圖像，得到下一步進(jìn)行特征提取的圖像。

LL子帶表示圖像的近似；HL子帶表示圖像的水平方向特性；LH 子帶表示圖像的垂直方向特性；HH子帶表示圖像的對(duì)角特性圖1 圖像一級(jí)小波分解與重構(gòu)過(guò)程Fig.1 Image first order wavelet decomposition and reconstruction process

2 ORB算法

ORB算法采用rBRIEF(rotated BRIEF) 描述子對(duì)特征點(diǎn)提取二進(jìn)制描述符，其利用特征點(diǎn)的主方向來(lái)決定二進(jìn)制描述符的方向。

選取一個(gè)S×S大小的像素塊p，p經(jīng)過(guò)平滑處理，令像素塊中心處的灰度值為p(x)，則二值測(cè)試準(zhǔn)則τ定義為

(3)

在特征點(diǎn)周圍選取n個(gè)點(diǎn)，坐標(biāo)為(xi,yi)，通過(guò)二值測(cè)試準(zhǔn)則進(jìn)行比較，得到具有旋轉(zhuǎn)不變性質(zhì)的n維二進(jìn)制特征描述符，表達(dá)式為

(4)

定義一個(gè)2×n階矩陣S為

(5)

特征點(diǎn)主方向θ對(duì)應(yīng)的旋轉(zhuǎn)矩陣Rθ為

(6)

將矩陣S進(jìn)行旋轉(zhuǎn)變換得到新的矩陣Sθ為

(7)

二進(jìn)制描述符為

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(8)

3 特征點(diǎn)匹配

3.1 特征點(diǎn)粗匹配

運(yùn)用ORB算法完成特征提取后，接著利用正反雙向匹配算法進(jìn)行特征點(diǎn)粗匹配。

正反雙向匹配算法步驟如下。

步驟1在圖像G1中隨機(jī)選取一個(gè)特征點(diǎn)h，計(jì)算特征點(diǎn)h與待拼接圖像G2中各個(gè)特征點(diǎn)之間的漢明距離q。

步驟2從待拼接圖像G2各個(gè)特征點(diǎn)中選取與特征點(diǎn)h漢明距離最近的兩個(gè)特征點(diǎn)，即最近點(diǎn)h1和次近點(diǎn)h2。

步驟3設(shè)h與h1之間的漢明距離為L(zhǎng)1,h與h2之間的漢明距離為L(zhǎng)2，若L1/L2>0.7，則表示特征點(diǎn)h和h1是一對(duì)匹配點(diǎn)。

步驟4根據(jù)步驟3規(guī)則計(jì)算得到圖像G1中的特征點(diǎn)相應(yīng)的匹配點(diǎn)對(duì)集為C1。同上，計(jì)算得到圖像G2中的特征點(diǎn)相應(yīng)的匹配點(diǎn)對(duì)集為C2。對(duì)比集合C1中的匹配點(diǎn)對(duì)與集合C2的匹配點(diǎn)對(duì)，若相同則保留，否則剔除。

3.2 特征點(diǎn)精匹配

經(jīng)過(guò)粗匹配后的特征點(diǎn)對(duì)中有時(shí)候可能會(huì)出現(xiàn)有錯(cuò)誤的匹配點(diǎn)對(duì),會(huì)大大降低最終拼接精度,因此使用RANSAC算法提純了匹配點(diǎn)對(duì)。

RANSAC算法步驟如下。

步驟1隨機(jī)選取4組匹配點(diǎn)對(duì)(保證這4組匹配點(diǎn)對(duì)不共線)并用最小二乘法求解單應(yīng)矩陣H。

步驟2計(jì)算根據(jù)H變換得到的特征點(diǎn)與粗匹配得到的特征點(diǎn)之間的歐氏距離，設(shè)定閾值選取匹配點(diǎn)對(duì)集合I。

步驟3歐氏距離在設(shè)定閾值內(nèi)的匹配點(diǎn)對(duì)加入匹配點(diǎn)對(duì)集合I。每次迭代更新匹配點(diǎn)對(duì)集合I和迭代次數(shù)K，確定迭代次數(shù)K使得置信概率更高。置信概率為隨機(jī)抽取K次，至少出現(xiàn)一次4組匹配點(diǎn)對(duì)都正確的概率，設(shè)特征點(diǎn)集包含正確數(shù)據(jù)的百分比為n，置信概率為1-(1-8n)K。

步驟4計(jì)算匹配點(diǎn)對(duì)集合I對(duì)應(yīng)的變換矩陣H，即最終的圖像變換模型。

4 圖像融合

直接進(jìn)行圖像拼接，拼接處存在裂痕，利用拉普拉斯金字塔融合算法進(jìn)行圖像融合完成無(wú)縫拼接。

拉普拉斯金字塔融合算法步驟如下。

步驟1搭建高斯金字塔。

(9)

式(9)中：l為金字塔的層數(shù)；(m,n)和(i,j)為圖像大小的參數(shù)；Gl(i,j)為第l層高斯金字塔圖像；Gl-1(2i+m,2j+n)為第l-1層高斯金字塔圖像；w(m,n)=h(m)h(n)為高斯卷積核。

(10)

步驟2高斯金字塔內(nèi)的相鄰層相減，得到拉普拉斯金字塔。

拉普拉斯金字塔表達(dá)式為

Ll=Gl-pyrUp(Gl+1)

(11)

式(11)中：l為金字塔的層數(shù)；Gl為第l層高斯金字塔圖像；Gl+1為第l+1層高斯金字塔圖像；Ll為第l層拉普拉斯金字塔圖像；pyrUp()為對(duì)圖像進(jìn)行上采樣函數(shù)。

步驟3拉普拉斯金字塔由底層逐層向上相加，得到融合圖像。

5 圖像拼接

進(jìn)行圖像拼接的過(guò)程中存在計(jì)算量大、運(yùn)行時(shí)間長(zhǎng)、提取錯(cuò)誤匹配點(diǎn)對(duì)的問(wèn)題，為了提高圖像拼接的速度與精度,提出了改進(jìn)的算法。

圖像拼接的步驟如下。

步驟1輸入待拼接的圖像。

步驟2利用小波變換對(duì)圖像進(jìn)行預(yù)處理。

步驟3利用ORB算法選取圖像特征點(diǎn)并匹配。

步驟4利用RANSAC算法剔除錯(cuò)誤匹配點(diǎn)對(duì)。

步驟5利用拉普拉斯金字塔算法進(jìn)行圖像融合。

步驟6輸出拼接完成的全景圖像。

算法流程如圖2所示。

圖2 改進(jìn)的算法流程圖Fig.2 Improved algorithm flow chart

6 實(shí)驗(yàn)結(jié)果分析

6.1 實(shí)驗(yàn)1：特征匹配結(jié)果對(duì)比

選取4組圖像分別利用SIFT算法、SURF算法、ORB算法及本文算法進(jìn)行特征匹配實(shí)驗(yàn)。

表1進(jìn)行了不同算法提取的特征數(shù)量對(duì)比，表2進(jìn)行了不同算法特征提取時(shí)間對(duì)比，在windows10系統(tǒng)、內(nèi)存8 GB計(jì)算機(jī)PyCharm軟件下測(cè)試出來(lái)，利用Python中的time.time( )函數(shù)計(jì)算運(yùn)行時(shí)間。

表1 不同方法提取特征數(shù)量對(duì)比Table 1 Comparison of the number of features extracted by different methods

表2 不同方法提取特征時(shí)間對(duì)比Table 2 Time comparison of feature extraction by different methods

選取圖3作為實(shí)驗(yàn)圖像，在空域上進(jìn)行特征匹配的結(jié)果如圖4所示，其中，SIFT算法特征匹配結(jié)果如圖4(a)所示，SURF算法特征匹配結(jié)果如圖4(b)所示，ORB算法特征匹配結(jié)果如圖4(c)所示，基于ORB和RANSAC組合的圖像拼接算法特征匹配結(jié)果如圖4(d)所示。

由表1不同方法提取特征數(shù)量對(duì)比可知，SIFT算法比SURF和ORB算法提取特征數(shù)量要少得多。而基于ORB和RANSAC組合的圖像拼接算法比SIFT算法提取特征數(shù)量有減少，但是不明顯，分析是因?yàn)檫x取拼接的圖像簡(jiǎn)單、特征點(diǎn)較少。由表2不同方法提取特征時(shí)間對(duì)比可知，同等條件下，SIFT算法比SURF和ORB算法提取特征時(shí)間要少。本文算法將圖像通過(guò)小波變換進(jìn)行預(yù)處理減小了特征提取的工作量，比SIFT算法提取特征時(shí)間也有減少，本文算法提取特征點(diǎn)平均耗時(shí)為0.309s，用時(shí)約為SIFT算法的84.7%、SURF算法的36.4%、ORB算法的64.9%。最后，結(jié)合圖4的匹配結(jié)果來(lái)看，圖4(c)中匹配點(diǎn)對(duì)最少，圖4(a)、圖4(b)、圖4(c)中的錯(cuò)誤匹配點(diǎn)對(duì)較多，圖4(d)中有較多的匹配點(diǎn)對(duì)并且錯(cuò)誤匹配點(diǎn)對(duì)最少，因此基于ORB和RANSAC組合的圖像拼接算法特征點(diǎn)匹配精度高。

圖3 實(shí)驗(yàn)圖像Fig.3 Experimental image

圖4 圖像特征匹配實(shí)驗(yàn)Fig.4 Image feature matching experiment

6.2 實(shí)驗(yàn)2：圖像粗匹配對(duì)比

實(shí)驗(yàn)2將特征點(diǎn)暴力匹配實(shí)驗(yàn)和特征點(diǎn)粗匹配實(shí)驗(yàn)進(jìn)行對(duì)比，在空域上進(jìn)行特征點(diǎn)粗匹配的結(jié)果如圖5所示，圖5(b)中的錯(cuò)誤匹配點(diǎn)對(duì)比圖5(a)中的錯(cuò)誤匹配點(diǎn)對(duì)少，特征匹配的準(zhǔn)確率更高。

6.3 實(shí)驗(yàn)3：圖像精匹配對(duì)比

實(shí)驗(yàn)3將特征點(diǎn)粗匹配和特征點(diǎn)精匹配實(shí)驗(yàn)進(jìn)行對(duì)比，在空域上進(jìn)行特征點(diǎn)精匹配的結(jié)果如圖6所示，圖6(a)中存在錯(cuò)誤匹配點(diǎn)對(duì)，圖6(b)中不存在錯(cuò)誤匹配點(diǎn)對(duì)，特征匹配的準(zhǔn)確率進(jìn)一步提高。

6.4 實(shí)驗(yàn)4：不同提取特征算法特征點(diǎn)匹配實(shí)驗(yàn)對(duì)比

所用的實(shí)驗(yàn)圖像為hpatches數(shù)據(jù)庫(kù)中的boat、bird、Beyus、azzola、apprentices、abstract共6組圖像，主要針對(duì)不同提取特征方法對(duì)不同視角圖像進(jìn)行特征點(diǎn)匹配實(shí)驗(yàn)對(duì)比，統(tǒng)計(jì)特征點(diǎn)匹配對(duì)數(shù)與運(yùn)行時(shí)間，其中時(shí)間在windows10系統(tǒng)、內(nèi)存8 GB計(jì)算機(jī)PyCharm軟件下測(cè)試出來(lái)，利用Python中的time.time()函數(shù)計(jì)算運(yùn)行時(shí)間，從每組圖像選取兩幅存在視角差異的圖像進(jìn)行實(shí)驗(yàn)，如圖7所示。結(jié)果如表3～表8所示。

圖5 圖像粗匹配對(duì)比實(shí)驗(yàn)Fig.5 Image rough matching contrast experiment

圖6 圖像精匹配對(duì)比實(shí)驗(yàn)Fig.6 Image precision matching contrast experiment

表3 不同提取特征方法進(jìn)行特征點(diǎn)暴力匹配數(shù)量對(duì)比Table 3 Logarithmic comparison of feature point violence matching by different feature extraction methods

圖7 hpatches數(shù)據(jù)庫(kù)視角差異圖Fig.7 View difference diagram of hpatches database

表4 不同提取特征方法進(jìn)行特征點(diǎn)粗匹配數(shù)量對(duì)比Table 4 Logarithmic comparison of feature points rough matching of by different feature extraction methods

表5 不同提取特征方法進(jìn)行特征點(diǎn)精匹配數(shù)量對(duì)比Table 5 Logarithmic comparison of feature point precision matching by different feature extraction methods

表6 不同提取特征方法進(jìn)行特征點(diǎn)暴力匹配時(shí)間對(duì)比Table 6 The violence matching time of feature points comparison with different feature extraction methods

表7 不同提取特征方法進(jìn)行特征點(diǎn)粗匹配時(shí)間對(duì)比Table 7 The rough matching time of feature points comparison with different feature extraction methods

表8 不同提取特征方法進(jìn)行特征點(diǎn)精匹配時(shí)間對(duì)比Table 8 The precision matching time of feature points comparison with different feature extraction methods

由表3不同提取特征方法進(jìn)行特征點(diǎn)暴力匹配對(duì)數(shù)數(shù)量對(duì)比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點(diǎn)暴力匹配對(duì)數(shù)數(shù)量少。由表4不同提取特征方法進(jìn)行特征點(diǎn)粗匹配對(duì)數(shù)數(shù)量對(duì)比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點(diǎn)粗匹配對(duì)數(shù)數(shù)量少。由表5不同提取特征方法進(jìn)行特征點(diǎn)精匹配對(duì)數(shù)數(shù)量對(duì)比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點(diǎn)精匹配對(duì)數(shù)數(shù)量少。由表6不同提取特征方法進(jìn)行特征點(diǎn)暴力匹配時(shí)間對(duì)比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點(diǎn)暴力匹配時(shí)間少。由表7不同提取特征方法進(jìn)行特征點(diǎn)粗匹配時(shí)間對(duì)比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點(diǎn)粗匹配時(shí)間少。由表8不同提取特征方法進(jìn)行特征點(diǎn)精匹配時(shí)間對(duì)比可知，ORB算法明顯比SIFT算法、SURF算法、AKAZE算法和BRISK算法進(jìn)行特征點(diǎn)精匹配時(shí)間少。實(shí)驗(yàn)結(jié)果表明ORB算法進(jìn)行特征點(diǎn)匹配時(shí)間短。

6.5 實(shí)驗(yàn)5：圖像融合實(shí)驗(yàn)對(duì)比

實(shí)驗(yàn)5進(jìn)行圖像融合實(shí)驗(yàn)對(duì)比，結(jié)果如圖8所示，圖8(a)為圖像拼接結(jié)果，其中圖像拼接處存在明顯的裂痕，圖8(b)為圖像融合結(jié)果，圖像拼接處裂痕不明顯。

從圖8(a)、圖8(b)可以看到，圖像拼接之后拼接處有明顯裂痕。利用拉普拉斯金字塔算法進(jìn)行圖像融合之后獲得的圖像拼接處裂痕不明顯，因此，基于ORB和RANSAC組合的圖像拼接算法具有較好的拼接效果。

圖8 圖像融合實(shí)驗(yàn)Fig.8 Image fusion experiment

7 結(jié)論

根據(jù)圖像拼接精度高、速度快的要求，介紹了圖像拼接的流程，提出了對(duì)圖像拼接的算法進(jìn)行改進(jìn)的想法，然后研究了基于小波變換的圖像預(yù)處理、ORB算法、優(yōu)化圖像匹配的RANSAC算法以及拉普拉斯金字塔融合算法，得到了改進(jìn)的圖像拼接算法，最后進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：提出的基于ORB和RANSAC組合的圖像拼接算法對(duì)選取的圖像進(jìn)行提取特征平均耗時(shí)約為SIFT算法的84.7%、SURF算法的36.4%、ORB算法的64.9%，圖像特征匹配精度提高，圖像特征匹配時(shí)間縮短，消除圖像拼接處裂痕，是一種優(yōu)質(zhì)的圖像拼接算法。