張富貴，付 靜，孟 輝，孫校荷

(貴州大學(xué) 機(jī)械工程學(xué)院,貴州 貴陽 550025)

無人機(jī)由于體積小，攜帶方便，不易受地面環(huán)境影響，受到了國內(nèi)外研究者的青睞。他們將無人機(jī)技術(shù)應(yīng)用于許多研究領(lǐng)域，其中無人機(jī)圖像拼接技術(shù)已成為國內(nèi)外研究的熱點(diǎn)。由于受到山區(qū)復(fù)雜地形和不規(guī)則地塊的影響，普通攝像機(jī)不能在短距離內(nèi)將一些場景全部記錄下來。大圖像有利于野外觀察和數(shù)據(jù)存儲，在農(nóng)業(yè)領(lǐng)域發(fā)揮著重要作用。因此，有必要借助無人機(jī)圖像拼接技術(shù)將多個圖像組合成全景圖。

圖像拼接技術(shù)的核心部分是圖像配準(zhǔn)，關(guān)系到圖像拼接的質(zhì)量[1]。目前無人機(jī)圖像配準(zhǔn)技術(shù)主要是基于特征點(diǎn)匹配的方法[2]，該方法利用圖像中提取到的局部特征進(jìn)行匹配，其關(guān)鍵步驟是圖像特征的提取[3]。1988年，Chris Harris和Mike Stephens[4]改進(jìn)了Moravec特征點(diǎn)檢測算法，在此基礎(chǔ)上提出了Harris角點(diǎn)檢測算法，針對Moravec算子的三點(diǎn)缺陷給出了改良方法，提高了算法穩(wěn)定性及圖像拼接的速度。2001年，D.H.Kim和Y.I.Yoon等[5]人，提出了一種基于強(qiáng)度的擬特征點(diǎn)投影配準(zhǔn)算法，降低了對應(yīng)關(guān)系和歸納變換參數(shù)的計算量。1999年，Lowe[6]提出了基于尺度不變特征變換(Scale invariant feature transform，SIFT)算法，該方法的提出在圖像處理領(lǐng)域具有里程碑的意義，并在2004年對其進(jìn)行了改進(jìn)[7]，成為了近年來國內(nèi)外特征匹配的常用算法。2008年，程遠(yuǎn)航[8]根據(jù)所獲取的無人機(jī)飛行狀態(tài)參數(shù),實(shí)現(xiàn)了兩個連續(xù)航拍遙感圖像重疊區(qū)域的圖像范圍計算。2010年，毛家好[9]針對無人機(jī)圖像拼接特點(diǎn)造成工作量大、精度低的問題，改進(jìn)了基于特征的圖像拼接算法，優(yōu)化了其處理過程，使算法的速度和精度得到了一定程度的提高。2016年，賈銀江[10]比較和分析了現(xiàn)有的遙感圖像拼接技術(shù)的特點(diǎn),基于遙感圖像拼接流程,對無人機(jī)遙感圖像預(yù)處理技術(shù)、遙感圖像配準(zhǔn)技術(shù)和遙感圖像融合技術(shù)進(jìn)行了進(jìn)一步的研究。

綜上所述，中外學(xué)者在圖像拼接領(lǐng)域做了大量研究，取得了許多優(yōu)秀的科研成果，使得圖像拼接效果得到顯著提升。但是，不同的應(yīng)用領(lǐng)域?qū)ζ唇有Ч胁煌囊螅荒軉我坏剡\(yùn)用已有拼接算法。本文主要研究如何在保證一定圖像視覺效果的基礎(chǔ)上提高無人機(jī)獲取的煙株圖像拼接效率。為了解決這個問題，提出了一種基于SIFT算法的無人機(jī)煙株圖像快速拼接方法。

1 圖像拼接流程

由無人機(jī)遙感圖像拼接成的全景圖像，包含了所有圖像的序列信息。從整體情況中獲取重要信息，具有很高的學(xué)術(shù)價值和迫切的實(shí)際意義[11]。傳統(tǒng)的航空圖像拼接通常包括五個步驟：待拼接圖像獲取，圖像預(yù)處理，圖像配準(zhǔn)，圖像變換以及圖像融合和拼接[12]。流程如圖1所示。

圖1 傳統(tǒng)拼接主要流程Fig.1 Main flow of traditional stitching

針對傳統(tǒng)圖像拼接方法的不足，本文提出了一種改進(jìn)圖像拼接速度的方法。流程如圖2所示。

圖2 改進(jìn)拼接主要流程Fig.2 Main process of improving stitching

1.1 圖像獲取

在煙株苗期，田間場景主要由土壤背景、地膜、煙苗植株、雜草幼苗組成。此時葉片較小，葉片間相互遮擋現(xiàn)象比較輕微，不會產(chǎn)生因?yàn)槿~片受到風(fēng)吹從而干擾拍攝的情況，很適合俯拍，故拍攝該時段煙苗作為圖像拼接依據(jù)。

微小型無人機(jī)具有操作簡單、體積小、重量輕、靈活性高等特點(diǎn)，在小區(qū)域內(nèi)快速采集高分辨率圖像時具有明顯優(yōu)勢。針對現(xiàn)有無人機(jī)航拍存在的問題，本文選用微小型大疆精靈4無人機(jī)搭載自帶相機(jī)進(jìn)行圖像采集，詳細(xì)參數(shù)見表1、表2。圖像采集環(huán)境選擇較為理想的晴朗無風(fēng)天氣，采集前先規(guī)劃飛行路徑，為避免獲取的航拍圖像出現(xiàn)漏拍，將航向重疊度設(shè)置為80%，旁向重疊度設(shè)置為60%，航拍高度為35 m，按照規(guī)劃的航拍線路以1m/s的速度前進(jìn)，相機(jī)快門時間設(shè)置為2 s，拍攝圖像格式為RGB。

表1 無人機(jī)主要參數(shù)Tab.1 Main parameters of uav

表2 相機(jī)主要參數(shù)Tab.2 Main parameters of the camera

1.2 圖像預(yù)處理

無人機(jī)機(jī)身傾斜、抖動、光照不均勻等因素，都會影響圖像拍攝質(zhì)量，導(dǎo)致圖像出現(xiàn)不同程度的誤差。除此之外，相機(jī)像素、采集地形等因素也會對圖像產(chǎn)生影響。因此，無人機(jī)圖像的預(yù)處理是整個圖像拼接過程的前提，為特征點(diǎn)的搜索奠定了基礎(chǔ)。

大疆無人機(jī)航拍用的相機(jī)為自帶相機(jī)，圖像邊緣有輕微的光學(xué)畸變，畸變將使圖像中實(shí)際圖像點(diǎn)的位置偏離，導(dǎo)致圖像點(diǎn)的坐標(biāo)位移并改變實(shí)際對象的地面位置，最終影響到匹配的精度[13]，因此需要先對獲取圖像進(jìn)行校正。當(dāng)在不同時間拍攝相同目標(biāo)時，鏡頭的光學(xué)參數(shù)通常不是絕對一致的，從而影響圖像質(zhì)量[14]。運(yùn)用中值濾波濾出圖像中的高頻成分。將一幅具有畸變的無人機(jī)圖像經(jīng)過鏡頭校正、平滑、濾波等操作后，得到結(jié)果如圖3所示，可以看出校正后圖像效果得到較大改善。

圖3 圖像預(yù)處理Fig.3 Image preprocessing

2 圖像拼接算法

在基于SIFT特征匹配的傳統(tǒng)圖像拼接方法[15]中，通常是在整個圖像區(qū)域中檢測特征點(diǎn)，并在目標(biāo)圖像的所有特征點(diǎn)中搜索參考圖像中的每個特征點(diǎn)以完成匹配，整個處理過程需占用大量時間[16]。針對圖像拼接中計算量過大的問題，提出了一種基于SIFT特征向量圖像的煙株圖像快速拼接方法。

2.1 重疊區(qū)域確定

本文采用相位相關(guān)算法[17]確定待拼接圖像的重疊區(qū)域，其理論依據(jù)為傅里葉變換。相位相關(guān)方法具有很大的速度優(yōu)勢，廣泛應(yīng)用于圖像融合，模式識別和特征匹配。

其基本原理如下：

1)圖像之間存在平移變換

圖像f2(x,y)是f1(x,y)經(jīng)平移(x0,y0)后得到的圖像，即f2(x,y)=f1(x-x0,y-y0),對應(yīng)于傅立葉時移特性的傅里葉變換F1和F2之間的關(guān)系如下：

F2(u,v)=exp(-2jπ(ux0+vy0))F1(u,v)。

(1)

通過計算頻域中的交叉功率譜，可以得到以下公式：

exp(2jπ(ux0+vy0))=F1(u,v)F3/|F1(u,v)F3|。

(2)

式(2)中，F(xiàn)3是F2的共軛。

最后，可以使用跨功率譜IFFT變換來獲得影響函數(shù)，該影響函數(shù)在其他位置處幾乎為零并且只有在(x0,y0)處有最大值。因此，可以計算轉(zhuǎn)換參數(shù)。

2)圖像之間的平移和旋轉(zhuǎn)

若圖像f2(x,y)是圖像f1(x,y)經(jīng)平移(x0,y0)、旋轉(zhuǎn)a角度后得到的圖像，則可以通過以下公式表示：

(3)

由于傅立葉具有旋轉(zhuǎn)以及平移的特點(diǎn)，故通過FFT變換后，得到兩幅圖像之間的關(guān)系：

F2(u,v)=exp(-2jpj(ux0+vy0))*

(4)

其中M1、M2分別表示F1、F2的能量，則：

(5)

式(5)表明F1和F2具有相同的能量。從直角坐標(biāo)到極坐標(biāo)的轉(zhuǎn)換可表示如下：

M1(r,a)=M2(r,a-b)。

(6)

根據(jù)1)中描述的方法，可以通過使用極坐標(biāo)系中的相位相關(guān)來獲得旋轉(zhuǎn)角度b。最后，再將圖像旋轉(zhuǎn)b角度，可以獲得圖像之間的平移參數(shù)。

2.2 特征點(diǎn)檢測

Davidg.leowe提出了一種基于尺度空間的圖像局部特征描述算子SIFT，它保持了圖像縮放，旋轉(zhuǎn)甚至仿射變換的不變性。因?yàn)樵撍惴ň哂谐叨炔蛔兲匦?，誤匹配率低的特點(diǎn)，所有本文采用該算法進(jìn)行特征提取。

SIFT算法本質(zhì)是找到不同尺度空間中的關(guān)鍵點(diǎn)，計算關(guān)鍵點(diǎn)的大小、方向和尺度信息，并利用這些信息構(gòu)成關(guān)鍵點(diǎn)來描述特征點(diǎn)。其中，要尋找的關(guān)鍵點(diǎn)是一些突出的“穩(wěn)定”特征點(diǎn)，不會被照明、仿射函數(shù)和噪聲等因素所改變，例如角點(diǎn)，邊緣點(diǎn)等。其中，特征向量圖像的示意圖如圖4所示。

圖4 特征向量圖Fig.4 Feature vector diagram

2.3 特征向量圖構(gòu)建

一般情況下，待拼接圖像的重疊區(qū)域是類似的，因此在構(gòu)建特征向量圖像后，匹配點(diǎn)的搜索范圍可以限制在特征點(diǎn)空間位置的鄰域內(nèi)。

在確定要拼接的圖像的重疊區(qū)域之后，SIFT算法[7]僅用于提取重疊區(qū)域中的特征點(diǎn)。SIFT算法檢測出的每個特征點(diǎn)都會生成一個描述子[16]，SIFT描述子是對特征點(diǎn)附近鄰域內(nèi)高斯圖像梯度統(tǒng)計結(jié)果的一種表示。它是一個三維數(shù)組，但通常表示為向量，通過根據(jù)某些規(guī)則排列三維陣列來獲得矢量。特征描述符與特征點(diǎn)的比例有關(guān)，因此應(yīng)該在與特征點(diǎn)對應(yīng)的高斯圖像上計算梯度。

2.4 特征點(diǎn)匹配

特征點(diǎn)的匹配是通過計算兩組特征點(diǎn)的128維關(guān)鍵點(diǎn)的歐氏距離來實(shí)現(xiàn)的。由于特征點(diǎn)的主要方向不同，此時，梯度方向直方圖的每個區(qū)域可以分為80°到360°方向。由于存在4×4個子區(qū)域，總共4×4×8=128個數(shù)據(jù)，最終形成128維SIFT特征向量。類似地，特征向量需要高斯加權(quán)，其中距離是每個點(diǎn)與特征點(diǎn)之間的距離。利用高斯權(quán)值來防止位置上的小變化對特征向量造成大的變化，并將小點(diǎn)賦予遠(yuǎn)離特征點(diǎn)的點(diǎn)，以防止錯誤匹配。匹配圖如圖5所示。

圖5 特征點(diǎn)匹配示意圖Fig.5 Schematic diagram of feature point matching

2.5 匹配點(diǎn)優(yōu)化

通過特征點(diǎn)匹配后，得到兩幅圖像中對應(yīng)特征點(diǎn)的坐標(biāo)關(guān)系，采用RANSAC(隨機(jī)采樣一致性)算法[18]計算出最佳匹配的變換矩陣。

RANSAC將正確的數(shù)據(jù)記錄為內(nèi)點(diǎn)，將異常數(shù)據(jù)記錄為異常值。算法的核心思想是隨機(jī)性和假設(shè)。隨機(jī)性是根據(jù)正確數(shù)據(jù)的概率隨機(jī)選擇采樣數(shù)據(jù)。根據(jù)大數(shù)定律，正確的結(jié)果可以通過隨機(jī)模擬來近似。

3 試驗(yàn)結(jié)果及分析

本算法仿真實(shí)驗(yàn)環(huán)境為Intel(R)Core(TM)CPUi3-6100,3.70 GHz，內(nèi)存為4.0 GB，操作系統(tǒng)為Windows7，實(shí)驗(yàn)開發(fā)平臺采用matlab2018 a(MathWorks公司)軟件，每組實(shí)驗(yàn)圖像間重疊區(qū)域百分比均在60%～80%之間。

選擇傳統(tǒng)SIFT特征點(diǎn)匹配方法進(jìn)行比較，驗(yàn)證所提方法有效性。用兩種方法對圖6中4張待拼接煙株圖像進(jìn)行特征點(diǎn)提取。如表3所示，得到了兩種方法分別在圖6四張待拼接圖像中進(jìn)行特征提取時的時間消耗情況，可以看出，使用改進(jìn)SIFT算法后，特征點(diǎn)提取中花費(fèi)的時間明顯減少，同時，由于本文中的方法提取特征點(diǎn)時，僅提取重疊區(qū)域中的特征點(diǎn)，因此特征點(diǎn)的檢測范圍受到限制，特征點(diǎn)的數(shù)量也明顯減少。

表3 兩種算法特征點(diǎn)提取對比Tab.3 Feature point extraction comparison of the two algorithms

表4列出了傳統(tǒng)SIFT算法和本文算法在圖像特征點(diǎn)匹配過程中所消耗的時間。其中Im1為I1和I2拼接圖像，Im2為Im1和I3拼接圖像，Im3為Im2和I4拼接圖像。由表4可知，由于構(gòu)造了特征向量圖，特征匹配階段的匹配點(diǎn)有效地限制了搜索范圍，在匹配速度上，較傳統(tǒng)的SIFT算法有了很大的提升。

表4 特征點(diǎn)匹配耗時(s)對比Tab.4 Comparison of feature point matching time

傳統(tǒng)SIFT算法與本文算法在煙株圖像整體拼接過程中所用時間如表5所示，本文方法減少了特征點(diǎn)檢測階段中提取的特征點(diǎn)的數(shù)量，特征向量圖的構(gòu)造又限制了特征匹配中的搜索范圍，使得拼接過程中的時間有了明顯減少，增強(qiáng)了算法的實(shí)時性。

表5 全景圖像拼接耗時(s)對比Tab.5 Comparison of panorama image stitching time

圖7為基于傳統(tǒng)SIFT算法與本文算法對圖6分別進(jìn)行拼接得到的全景圖，由圖7可見，改進(jìn)后方法的拼接效果與傳統(tǒng)方法拼接效果不變，但在拼接速度上有了較大提升。

4 結(jié)論

為了提高無人機(jī)煙株圖像拼接效率，本文提出了一種基于SIFT算法的無人機(jī)煙株圖像快速拼接方法。傳統(tǒng)的SIFT算法用于無人機(jī)圖像拼接領(lǐng)域時，通常是檢測整個區(qū)域的特征點(diǎn)，導(dǎo)致特征點(diǎn)數(shù)量增多，整體拼接時間加長。本文僅在圖像重疊區(qū)域中提取特征點(diǎn)，以避免檢測到無用的特征點(diǎn)，合理地減少了特征點(diǎn)的數(shù)量，然后通過組合特征點(diǎn)的空間特征來構(gòu)建圖像的位置信息，從而更好地限制特征匹配的搜索范圍，快速確定匹配，最后使用RANSAC算法消除匹配點(diǎn)上的錯誤，完成圖像拼接。試驗(yàn)結(jié)果表明，本文改進(jìn)算法在無人機(jī)采集的煙株圖像全景拼接時比傳統(tǒng)的SIFT算法快49.8%，有效地提高了拼接效率。但是，當(dāng)待拼接煙株圖像數(shù)量較多時，拼接速度改善效果不明顯，主要原因是由于本文利用無人機(jī)采集圖像時，航向重疊度和旁向重疊度設(shè)置較高，待拼接圖像間的重疊區(qū)域較大，隨著圖片張數(shù)的增加，和傳統(tǒng)SIFT算法相比，優(yōu)化后的SIFT算法特征點(diǎn)數(shù)量改變很小，全景圖像拼接所用的時間也無明顯改變。因此，本文方法適用于待拼接圖像數(shù)量較少且對拼接速度有要求的煙株圖像全景拼接。

(a)傳統(tǒng)方法 (b)本文改進(jìn)方法圖7 全景圖像拼接結(jié)果Fig.7 Panoramic image mosaic result