黃旭龍,楊曉梅
(四川大學(xué) 電氣工程學(xué)院,四川 成都 610065)
在實(shí)際工程應(yīng)用中,由于受限于地面空間環(huán)境和設(shè)備器材的限制,使用相機(jī)無法近距離拍攝全景圖像,這時(shí)就需要通過無人機(jī)圖像拼接技術(shù)將多幅局部圖像拼接融合為一幅全景大圖像[1-3]。但由于無人機(jī)在空中極易受到雨水、霧霾和光照等自然環(huán)境的不良影響,致使拍攝圖像包含大量干擾噪聲[4]。這些含噪無人機(jī)圖像無法真實(shí)和全面反映拍攝對(duì)象細(xì)節(jié)信息,進(jìn)而使待拼接圖像的質(zhì)量大大降低,拼接后圖像極易產(chǎn)生畸變現(xiàn)象[5],這對(duì)無人機(jī)圖像拼接方法提出了更高的要求。
含噪無人機(jī)圖像拼接方法主要由圖像預(yù)處理、圖像配準(zhǔn)、圖像融合3部分組成[6]。在圖像預(yù)處理部分,Storath M等[7]運(yùn)用中值濾波進(jìn)行圖像去噪處理,該方法易破壞圖像銳角、線段等細(xì)節(jié)信息。蘆碧波等[8]將經(jīng)典的全變分(TV)模型運(yùn)用在去噪處理中,雖能有效去除噪聲,但圖像易出現(xiàn)階梯效應(yīng)。為消除TV模型的階梯效應(yīng),學(xué)者們提出了眾多TV改進(jìn)模型[9,10]。近些年來,歐拉彈性曲率正則項(xiàng)被廣泛應(yīng)用在醫(yī)學(xué)圖像分割[11]、重建[12]與修復(fù)[13]中,并取得較好的結(jié)果。圖像配準(zhǔn)是將多幅圖片進(jìn)行匹配和對(duì)齊的過程。尺度不變特征轉(zhuǎn)換(SIFT)算法[14]因其具有良好的魯棒性被廣泛應(yīng)用于圖像配準(zhǔn),但運(yùn)算時(shí)間較長(zhǎng)。唐宏偉等[15]將加速穩(wěn)健特征(SURF)算法運(yùn)用在圖像配準(zhǔn)中,算法配準(zhǔn)效果較好,運(yùn)算速度有所提升。在圖像融合部分,文獻(xiàn)[16]使用直接平均融合法進(jìn)行圖像融合,圖像拼接處易出現(xiàn)縫隙。文獻(xiàn)[17]將加權(quán)思想引入直接平均融合法中,有效實(shí)現(xiàn)了圖像無縫融合。
在前人研究的基礎(chǔ)上,針對(duì)傳統(tǒng)拼接方法對(duì)含噪無人機(jī)圖像無法進(jìn)行有效拼接的問題,本文提出了一種基于歐拉彈性模型與SURF算法的含噪無人機(jī)圖像拼接方法。將歐拉彈性模型運(yùn)用在圖像預(yù)處理環(huán)節(jié)進(jìn)行去噪處理,并運(yùn)用離散梯度法進(jìn)行求解;再通過SURF算法和RANSAC算法進(jìn)行圖像配準(zhǔn),最后使用加權(quán)平均融合算法實(shí)現(xiàn)圖像的無縫拼接。
為了有效實(shí)現(xiàn)對(duì)含噪無人機(jī)圖像的去噪處理,我們?cè)趫D像預(yù)處理環(huán)節(jié)中引入歐拉彈性曲率正則項(xiàng),提出了歐拉彈性去噪模型,并對(duì)模型進(jìn)行有效地求解。
圖像去噪的核心思想是通過最小化能量泛函V(u) 對(duì)含噪聲的輸入圖像g∈Ω進(jìn)行去噪處理,進(jìn)而輸出去噪后圖像u∈Ω
(1)
對(duì)于經(jīng)典的全變分(TV)模型,就是在式(1)中使用TV正則項(xiàng)JTV(u), TV正則項(xiàng)表示為
(2)
由于TV模型只是在像素點(diǎn)的兩個(gè)正交方向擴(kuò)散,這樣處理易產(chǎn)生虛假邊緣的現(xiàn)象,即階梯效應(yīng)。為解決TV模型的階梯效應(yīng),我們引入基于歐拉彈性曲率的全變分正則化方法,提出了歐拉彈性去噪模型。
1744年,歐拉在研究自由旋轉(zhuǎn)細(xì)棒的穩(wěn)態(tài)時(shí)首次提出曲線能量的概念,其曲線能量方程可表示為[18]
(3)
通過在TV正則項(xiàng)上增加了一個(gè)歐拉彈性曲率相關(guān)項(xiàng),將曲線能量方程與TV正則項(xiàng)結(jié)合,提出了歐拉彈性模型。通過曲率項(xiàng)對(duì)圖像的水平集曲率進(jìn)行約束,以達(dá)到保持圖像紋理曲率的連通性,使圖像紋理更加符合視覺直觀感受,消除階梯效應(yīng)。歐拉彈性模型可以表示為
(4)
其中,參數(shù)a對(duì)應(yīng)最小化梯度項(xiàng),參數(shù)b對(duì)應(yīng)最小化曲率項(xiàng)。c表示函數(shù)是連續(xù)的。
梯度項(xiàng)與曲率項(xiàng)的物理意義分別對(duì)應(yīng)圖像邊緣的縱向和橫向信息,歐拉彈性模型充分利用了圖像邊緣的縱向信息和橫向信息。通過設(shè)置參數(shù)a和b來平衡這兩項(xiàng),以消除階梯效應(yīng)和避免圖像的過渡平滑,更好地保留無人機(jī)圖像的細(xì)節(jié)紋理信息。
上文所提歐拉彈性模型是光滑連續(xù)函數(shù),這不利于對(duì)模型的求解。為了方便后續(xù)對(duì)模型的求解,我們需先對(duì)模型式(4)進(jìn)行離散化處理。因此,我們采取在交錯(cuò)網(wǎng)格上運(yùn)用有限差分的方法對(duì)式(4)進(jìn)行離散化處理,交錯(cuò)網(wǎng)格形式如圖1所示。
圖1 交錯(cuò)網(wǎng)格
在交錯(cuò)網(wǎng)格上,式(4)的保真項(xiàng)可離散化為
(5)
在交錯(cuò)網(wǎng)格上,對(duì)式(4)的歐拉彈性正則項(xiàng)進(jìn)行離散化處理,具體步驟如下:
(1)對(duì)梯度項(xiàng)G(u) 進(jìn)行離散化處理
G(u) 可近似為向后差分,離散化梯度項(xiàng)表示為
(6)
(2)對(duì)曲率項(xiàng)C(u) 進(jìn)行離散化處理
(7)
其中
(8)
(9)
(10)
(11)
將上訴式(5)~式(7)相結(jié)合,則離散化歐拉彈性模型可表示為
(12)
對(duì)離散化歐拉彈性模型的求解核心是通過最小化泛函(12)求解去噪后圖像u,我們通過離散梯度法[19]實(shí)現(xiàn)最小化V(u) 函數(shù),形式如下
(13)
其中,τk>0是第k次迭代的步長(zhǎng),為了精確定義和方便計(jì)算式(13)的離散梯度,我們引入Itoh-Abe離散梯度,其定義為
(14)
其中,ej表示第j個(gè)標(biāo)準(zhǔn)基向量。
這種離散梯度是無導(dǎo)數(shù)的,便于運(yùn)算。將式(14)代入式(13)中可得
(15)
(1)輸入u0∈Rn,τ>0,tol>0,k=0;
(4)重復(fù)(3)步驟,直到j(luò)=n;
(6)重復(fù)(2)~(5)步驟,直到(V(uk)-V(uk-1))/V(u0) (7)輸出uk。 為了更加精確地進(jìn)行圖像信息配準(zhǔn),本文使用基于圖像特征信息的SURF算法對(duì)經(jīng)歐拉彈性模型去噪后的無人機(jī)圖像進(jìn)行特征點(diǎn)提取、描述與匹配,該算法可快速準(zhǔn)確地實(shí)現(xiàn)無人機(jī)圖像的配準(zhǔn)。 特征點(diǎn)提取的核心思想就是依據(jù)一定圖像信息準(zhǔn)則去尋找圖像局部相似點(diǎn)。使用Hessian矩陣可對(duì)圖像局部斑點(diǎn)進(jìn)行有效檢測(cè),所以將Hessian矩陣作為檢測(cè)特征點(diǎn)的準(zhǔn)則。 (1)基于Hessian矩陣的特征點(diǎn)檢測(cè) 基于SURF算法對(duì)特征點(diǎn)提取的關(guān)鍵點(diǎn)是通過使用Hessian矩陣進(jìn)行特征點(diǎn)的檢測(cè)。通過計(jì)算圖像的Hessian矩陣判別式值(H值),選擇H值大于零的像素點(diǎn)作為局部極值點(diǎn)。其中Hessian矩陣定義為 (16) 其中,Lxx(I,σ),Lxy(I,σ),Lyy(I,σ) 是圖像在I(x,y) 點(diǎn)和高斯二階偏導(dǎo)數(shù)的二維卷積,σ為尺度。 為了進(jìn)一步加快計(jì)算速度,算法使用盒式濾波器代替高斯濾波器,形式如圖2所示。同時(shí),引入積分圖像[20]的概念進(jìn)一步實(shí)現(xiàn)對(duì)卷積運(yùn)算的加速。則此時(shí)Hessian矩陣判別式為 圖2 高斯二階微分濾波與盒式濾波器對(duì)照 ΔH=Dxx(x)Dyy(x)-(0.9Dxy(x))2 (17) 其中,Dxx(x)、Dyy(x) 和Dxy(x) 是圖像在I(x,y) 點(diǎn)和盒式濾波器的二維卷積。 在圖2中,從左至右分別表示x方向、y方向與xy方向的高斯二階微分濾波與其對(duì)應(yīng)的盒式濾波器,圖中黑白灰3種顏色分別代表不同的權(quán)重。在x方向和y方向的盒式濾波器上,黑塊小方塊表示的權(quán)重值為-2,白色小方塊表示的權(quán)重值為1,灰色小方塊表示不含權(quán)重。在xy方向的盒式濾波器上,黑塊小方塊表示的權(quán)重值是-1,白色小方塊表示的權(quán)重值為1,灰色小方塊表示不含權(quán)重。 (2)基于非極大值抑制的特征點(diǎn)確定 通過將尺寸逐漸增大的盒式濾波器與原圖像進(jìn)行卷積運(yùn)算,生成不同尺度值(σ值)的尺度空間。在不同尺度空間進(jìn)行基于Hessian矩陣的特征點(diǎn)檢測(cè),選出不同尺度空間下的圖像局部極值點(diǎn)。 為了篩選出具有代表性的特征點(diǎn),對(duì)這些局部極值點(diǎn)進(jìn)行非極大值抑制。其非極大值抑制的具體過程為:將上述檢測(cè)的每個(gè)局部極值點(diǎn)與其在所尺度空間以及上下相鄰尺度空間上的 26 個(gè)鄰近像素點(diǎn)(即以該點(diǎn)為中心的3×3×3立體鄰域)相比較,倘若該局部極值點(diǎn)是其鄰域26個(gè)點(diǎn)的最大值或最小值,則該局部極值點(diǎn)就是我們所提取的特征點(diǎn)。 為了后續(xù)對(duì)特征點(diǎn)進(jìn)行匹配,算法根據(jù)特征點(diǎn)鄰域內(nèi)梯度方向分布特征對(duì)提取出的特征點(diǎn)進(jìn)行特征描述。 為實(shí)現(xiàn)描述子對(duì)圖像的旋轉(zhuǎn)不變性,需先對(duì)圖像特征點(diǎn)的主方向進(jìn)行確定。對(duì)以特征點(diǎn)為中心,半徑為6σ的每60°扇形內(nèi)的所有像素點(diǎn)在水平和垂直方向的Haar小波響應(yīng)矢量進(jìn)行累加,選擇長(zhǎng)度最長(zhǎng)的矢量的方向作為特征點(diǎn)主方向。 特征點(diǎn)主方向確定后,再賦予每個(gè)特征點(diǎn)以相應(yīng)的特征描述子。將以特征點(diǎn)為中心、邊長(zhǎng)為20σ的正方形圖像區(qū)域均勻分為4×4=16個(gè)子塊,然后計(jì)算每個(gè)子塊所含的5σ×5σ個(gè)像素點(diǎn)相對(duì)特征點(diǎn)主方向的∑dx、 ∑|dx|、 ∑dy和∑|dy|, 進(jìn)而賦予每個(gè)特征點(diǎn)一個(gè)16×4=64維的特征描述子。 通過上述步驟已完成對(duì)圖像特征點(diǎn)的提取與描述,為了反映兩幅圖像之間的相似點(diǎn),需要對(duì)特征點(diǎn)進(jìn)行匹配。 本文通過運(yùn)用基于歐氏距離的最近鄰方法分別求出特征點(diǎn)之間距離最近的點(diǎn)與距離次近的點(diǎn),再計(jì)算兩者的比值,通過將該比值與設(shè)定閾值比較來判斷特征點(diǎn)是否匹配。如果該比值小于我們?cè)O(shè)定的閾值,則判定這兩個(gè)特征點(diǎn)匹配。反之,則判定這兩點(diǎn)不匹配。 為了進(jìn)一步減少錯(cuò)誤匹配的情況,我們引入隨機(jī)抽樣一致性(RANSAC)算法[21]對(duì)錯(cuò)誤匹配點(diǎn)進(jìn)行剔除。RANSAC算法的主要思想是利用包含錯(cuò)誤匹配特征點(diǎn)對(duì)的所有匹配特征點(diǎn)對(duì)樣本集,通過反復(fù)測(cè)試與迭代,計(jì)算出數(shù)據(jù)集的數(shù)學(xué)模型的參數(shù),進(jìn)而剔除數(shù)據(jù)樣本集中錯(cuò)誤匹配的特征點(diǎn)對(duì)。 圖像融合是含噪無人機(jī)圖像拼接的最后一步,將經(jīng)特征點(diǎn)匹配后的兩幅圖合成一幅完整圖像。 因?yàn)闊o人機(jī)航拍時(shí)受環(huán)境光線影響致使拍攝曝光度不同,拍攝圖像之間往往存在亮度差異。為消除拼接后圖像出現(xiàn)的明顯拼接痕跡,我們使用加權(quán)平均融合算法實(shí)現(xiàn)兩幅圖像的無縫拼接。 加權(quán)平均融合算法的主要思想是對(duì)兩幅圖像的像素值分別進(jìn)行加權(quán)再融合。其模型公式為 (18) 其中,w1和w2是圖像重疊區(qū)域像素的權(quán)值,且w1+w2=1, 0 圖3 權(quán)值變化 實(shí)驗(yàn)與仿真均在Intel i5-2400 2.1-GHz的個(gè)人計(jì)算機(jī),MATLAB 2016b軟件環(huán)境下進(jìn)行。實(shí)驗(yàn)數(shù)據(jù)選則分辨率640×480,重復(fù)區(qū)域占比分別為0.17與0.24的航拍街景圖,分辨率640×480,重復(fù)區(qū)域占比分別為0.47與0.53的航拍風(fēng)景圖,分辨率640×480,重復(fù)區(qū)域占比分別為0.83與0.87的航拍河流圖,如圖4所示。 圖4 原始待拼接 經(jīng)反復(fù)實(shí)驗(yàn)調(diào)參,歐拉彈性模型中常量a和b分別設(shè)置為0.5和0.1,此時(shí)圖像去噪效果最好;離散梯度法的相關(guān)參數(shù)設(shè)置為:ε=10-4,tol=10-6,τ0=0.05/b=0.5。 特征點(diǎn)匹配中比較閾值設(shè)置為0.56,此時(shí)特征點(diǎn)的匹配正確率最高。本文拼接方法流程如圖5所示。 圖5 本文拼接方法流程 針對(duì)特征點(diǎn)匹配的準(zhǔn)確性,本文使用一種相對(duì)客觀的匹配正確率(CMR)來評(píng)價(jià)特征點(diǎn)匹配的正確率 (19) 針對(duì)圖像質(zhì)量的好壞,本文選擇峰值信噪比(PSNR)作為評(píng)價(jià)圖像重建質(zhì)量的標(biāo)準(zhǔn) (20) 我們分別使用SIFT算法和SURF算法對(duì)原始待拼接圖4 進(jìn)行拼接,具體結(jié)果見表1。 表1 基于SIFT算法與SURF算法的圖像拼接比較 由表1可知,SURF算法提取的圖像特征點(diǎn)數(shù)與匹配數(shù)雖遠(yuǎn)小于SIFT算法的,但其特征點(diǎn)匹配正確率要更高,且算法時(shí)間大大縮短。因此,我們選擇SURF算法作為無人機(jī)圖像配準(zhǔn)的方法。 為了后續(xù)可以直觀觀察對(duì)比拼接結(jié)果,先使用SURF算法對(duì)原始無噪聲待拼接圖4進(jìn)行拼接處理,將拼接結(jié)果作為對(duì)比參考圖,如圖6所示。 圖6 原始無噪聲圖像拼接結(jié)果 我們?cè)谠即唇訄D4中分別加入信噪比為10 dB的椒鹽噪聲和信噪比為10 dB的高斯噪聲,再直接運(yùn)用SURF算法分別對(duì)含噪聲進(jìn)行拼接處理,拼接結(jié)果如圖7和圖8所示,具體結(jié)果見表2。 圖7 含10 dB椒鹽噪聲圖像的拼接結(jié)果 圖8 含10 dB高斯噪聲圖像的拼接結(jié)果 表2 基于SURF算法的含噪圖像拼接結(jié)果 通過圖6、圖7和圖8可直觀看出,SURF算法對(duì)含信噪比為10 dB的椒鹽噪聲與高斯噪聲的無人機(jī)圖像拼接結(jié)果存在明顯的畸變現(xiàn)象。尤其當(dāng)拼接圖像的相似結(jié)構(gòu)較多時(shí)(如圖4(c)河流圖),其拼接結(jié)果的畸變現(xiàn)象尤為明顯。 由表1與表2可知,相比于SURF算法對(duì)無噪聲圖像的拼接,對(duì)含噪圖像的拼接處理易產(chǎn)生較多無用或錯(cuò)誤的特征點(diǎn),同時(shí)總體的特征點(diǎn)匹配數(shù)量減少近一半,CMR也略微下降,算法耗時(shí)增多。 我們使用本文所提算法分別對(duì)含信噪比為10 dB的椒鹽噪聲和高斯噪聲的無人機(jī)圖像進(jìn)行拼接處理,其結(jié)果如圖9和圖10所示。 圖9 基于本文算法對(duì)含10 dB椒鹽噪聲圖像的拼接結(jié)果 圖10 基于本文算法對(duì)含10 dB高斯噪聲圖像的拼接結(jié)果 通過圖7~圖10可直觀看出,本文算法可有效抑制噪聲對(duì)無人機(jī)圖像拼接的影響,消除因噪聲所導(dǎo)致的拼接畸變的現(xiàn)象。通過圖6、圖9和圖10可直觀看出,本文算法對(duì)含噪無人機(jī)圖像的拼接效果和無噪聲無人機(jī)圖像拼接效果基本一致,本文算法可有效恢復(fù)拼接圖像的細(xì)節(jié)紋理信息,提高無人機(jī)圖像拼接的準(zhǔn)確性。 我們分別運(yùn)用中值濾波+SURF算法(MF-S)、TV+SURF算法(TV-S)和本文提出的基于歐拉彈性模型與SURF算法的圖像拼接方法(EE-S) 對(duì)含信噪比為10 dB的椒鹽噪聲的無人機(jī)圖像和含信噪比為10 dB的高斯噪聲的無人機(jī)圖像進(jìn)行拼接處理,具體結(jié)果見表3~表5。 表3 基于不同算法的含噪街景圖像拼接結(jié)果 表4 基于不同算法的含噪風(fēng)景圖像拼接結(jié)果 表5 基于不同算法的含噪河流圖像拼接結(jié)果 由上述表格可知,相比于參考方法,EE-S算法提取的特征點(diǎn)個(gè)數(shù)更少。表明本文算法提取的特征點(diǎn)個(gè)數(shù)能更接近于對(duì)無噪聲圖像進(jìn)行特征點(diǎn)提取的個(gè)數(shù),能有效避免對(duì)含噪無人機(jī)圖像特征點(diǎn)提取結(jié)果中往往存在較多無用或錯(cuò)誤的特征點(diǎn)的現(xiàn)象。EE-S算法的特征點(diǎn)匹配數(shù)比參考方法的要小,但CMR數(shù)值普遍比參考方法的略高。表明本文算法能有效提高正確匹配的特征點(diǎn)對(duì)數(shù),使拼接更加精準(zhǔn),消除拼接畸變現(xiàn)象。同時(shí),EE-S算法的PSNR值也有明顯的提高,表明本文算法可有效提高拼接圖像質(zhì)量,尤其在對(duì)含椒鹽噪聲圖像進(jìn)行拼接時(shí),能大幅度改善拼接圖像質(zhì)量,進(jìn)而改善無人機(jī)圖像拼接效果。 我們?cè)谝资茉肼曈绊懚a(chǎn)生明顯畸變現(xiàn)象的河流無人機(jī)圖(圖4(c))中分別加入信噪比為5 dB的椒鹽噪聲與信噪比為5 dB的高斯噪聲,再分別運(yùn)用MF-S算法、TV-S算法和本文提出的EE-S算法進(jìn)行拼接處理,其具體結(jié)果建見表6。 表6 基于不同算法的含噪河流圖像拼接結(jié)果 由表5和表6可知,相比于參考算法,當(dāng)無人機(jī)航拍圖像在更大噪聲的污染下,本文算法可更有效地提取待拼接圖像的體征點(diǎn),同時(shí)正確匹配特征點(diǎn)個(gè)數(shù)更多,拼接圖像質(zhì)量也有明顯的提高,尤其對(duì)含椒鹽噪聲的無人機(jī)圖片,其效果更明顯。本文算法可較好實(shí)現(xiàn)對(duì)含大量噪聲的無人機(jī)圖像進(jìn)行有效、精準(zhǔn)的拼接處理,極大改善拼接圖像質(zhì)量。 針對(duì)無人機(jī)航拍過程中,受拍攝環(huán)境中光照、陰雨等不確定因素的影響,進(jìn)而使拍攝圖像易受到大量噪聲的干擾,導(dǎo)致含大量噪聲的無人機(jī)圖像通過傳統(tǒng)拼接算法的拼接結(jié)果易出現(xiàn)畸變現(xiàn)象,無法獲得精準(zhǔn)、高質(zhì)量的無人機(jī)全景拼接圖像。 本文提出了一種基于歐拉彈性模型與SURF算法的含噪無人機(jī)圖像拼接方法,將歐拉彈性能量模型運(yùn)用在圖像預(yù)處理環(huán)節(jié),充分利用圖像紋理的縱向信息和橫向信息對(duì)圖像進(jìn)行有效地去噪處理,然后通過SURF算法進(jìn)行特征點(diǎn)的提取、描述與匹配,并通過RANSAC算法進(jìn)一步去除錯(cuò)誤特征匹配點(diǎn),最后通過加權(quán)平均融合算法實(shí)現(xiàn)對(duì)無人機(jī)圖像的無縫拼接。 實(shí)驗(yàn)結(jié)果表明,本文所提方法對(duì)含大量椒鹽噪聲、高斯噪聲的圖像具有較強(qiáng)地抑制噪聲的能力,可顯著恢復(fù)圖像的細(xì)節(jié)紋理信息,能有效消除因復(fù)雜環(huán)境因素所產(chǎn)生的含大量噪聲無人機(jī)圖像的拼接畸變現(xiàn)象,實(shí)現(xiàn)對(duì)含大量噪聲的無人機(jī)圖像的有效拼接,提高無人機(jī)圖像拼接的精準(zhǔn)性與最終拼接圖像的質(zhì)量。具有一定的研究意義與實(shí)用價(jià)值。2 圖像配準(zhǔn)
2.1 特征點(diǎn)提取
2.2 特征點(diǎn)描述
2.3 特征點(diǎn)匹配
3 圖像融合
4 實(shí)驗(yàn)與結(jié)果分析
4.1 實(shí)驗(yàn)數(shù)據(jù)與參數(shù)設(shè)置
4.2 方法評(píng)價(jià)指標(biāo)
4.3 無噪聲圖像拼接實(shí)驗(yàn)
4.4 噪聲對(duì)圖像拼接的影響
4.5 基于本文算法對(duì)含噪聲圖像的拼接實(shí)驗(yàn)
5 結(jié)束語