馮向東，魏春英

(1.成都理工大學(xué)工程技術(shù)學(xué)院 基礎(chǔ)教學(xué)部，四川 樂山 614000；2.寧夏大學(xué) 物理與電子電氣工程學(xué)院，寧夏 銀川 750021)

0 引言

近些年，得益于無人機(jī)(Unmanned Aerial Vehicle，UAV)和傳感技術(shù)的快速發(fā)展，UAV捕捉到的航拍圖像和視頻被用于很多領(lǐng)域中，例如天氣預(yù)報(bào)、海事監(jiān)控、農(nóng)業(yè)監(jiān)測以及無人機(jī)精確制圖等[1-2]。過去，圖像拼接研究主要是針對(duì)拼接2張圖像的簡單情況，或通過拼接多張同排圖像生成全景圖像[3]。但從UAV圖像中生成拼接圖像，需要取大范圍區(qū)域的多張圖像作為輸入。如何快速有效地進(jìn)行UAV航拍拼接是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

關(guān)于UAV航拍的圖像拼接，目前已有一些研究成果，如文獻(xiàn)[4]提出了基于移動(dòng)直接線性變換技術(shù)的APAP仿射扭曲方法，該方法可糾正由輸入圖像的平移和旋轉(zhuǎn)產(chǎn)生的誤差，減少幻影效應(yīng)。文獻(xiàn)[5]提出了結(jié)合形狀保留扭曲和全局對(duì)齊的圖像拼接方法——SPWGA，利用相似性扭曲和投影扭曲的優(yōu)點(diǎn)，實(shí)現(xiàn)高準(zhǔn)確度對(duì)齊，減少投影畸變。文獻(xiàn)[6]提出了改進(jìn)的投影-相似變換方法以拼接無人機(jī)遙感圖像。通過改進(jìn)初始單應(yīng)矩陣，對(duì)重疊區(qū)域到非重疊區(qū)域的投影變換進(jìn)行平滑推導(dǎo)，形成相似變換，同時(shí)考慮拼接過程中圖像重疊區(qū)域的配準(zhǔn)精度和非重疊區(qū)域的視場一致，但該方法的處理速度較慢。文獻(xiàn)[7]提出了無參數(shù)仿射扭曲的準(zhǔn)單應(yīng)性法，以平衡非重合區(qū)域中的投影畸變和透視畸變。文獻(xiàn)[8]提出了基于仿射扭曲殘差的大視差圖像拼接方法——WRIS，先得到內(nèi)點(diǎn)特征匹配，再評(píng)估每個(gè)特征的扭曲殘差，以最小化特征匹配誤差。該方法有效地提高了較大視差圖像的拼接準(zhǔn)確度，但不適用于多張圖像拼接的情況。為加快圖像拼接處理速度，文獻(xiàn)[9]提出了并行架構(gòu)，將圖像的二進(jìn)制描述子保存在多個(gè)散列表中，但該方法將新幀更新為參考幀，由此估計(jì)出全局單應(yīng)性變換，造成拼接結(jié)果中存在嚴(yán)重累積誤差。文獻(xiàn)[10]提出了一種基于歐拉彈性模型與加速穩(wěn)健特征算法的UAV圖像拼接方法，主要針對(duì)畸變問題進(jìn)行改進(jìn)。文獻(xiàn)[11]提出了一種基于改進(jìn)KAZE的UAV航拍圖像拼接算法，利用加速的KAZE算法提取圖像的特征點(diǎn)，使用Grid-KNN和隨機(jī)一致性算法進(jìn)行特征點(diǎn)匹配，但對(duì)大范圍的UAV拼接效果不佳。

以上方法均不能很好地處理拼接圖像中的視覺畸變和模糊偽跡，對(duì)大范圍拍攝的多張圖像拼接結(jié)果存在嚴(yán)重形變和細(xì)節(jié)丟失，不能滿足大范圍UAV圖像快速拼接的要求。為此，本文提出了多張UAV圖像拼接的快速穩(wěn)健方法。首先，估計(jì)輸入圖像的地面覆蓋區(qū)域和重合率，并基于重合率和覆蓋區(qū)域的相對(duì)位置，通過所提自適應(yīng)選擇算法優(yōu)化要拼接的圖像集合，利用重合區(qū)域進(jìn)行特征提取和匹配。由于所獲圖像對(duì)的精確重合約束了特征匹配區(qū)域，避免不必要的計(jì)算，由此降低累積二次投影誤差。其次，在轉(zhuǎn)換區(qū)域應(yīng)用局部仿射扭曲平滑推理，以緩解拼接結(jié)果中的模糊偽跡。實(shí)驗(yàn)結(jié)果證明，所提方法的輸出圖像實(shí)現(xiàn)了較好的視覺質(zhì)量，畸變較少，且與以往方法相比，處理時(shí)間縮短了2倍以上。

1 提出的覆蓋區(qū)域自適應(yīng)選擇算法

利用快速預(yù)處理，估計(jì)圖像覆蓋區(qū)域的相對(duì)位置和重合率，以改善特征檢測和匹配步驟，提升精度并降低計(jì)算復(fù)雜度。特征檢測階段，通常利用SURF，SIFT和ORB等具有尺度不變性和仿射變換不變性的特征[12]，確定圖像間的對(duì)應(yīng)關(guān)系。

1.1 圖像覆蓋區(qū)域估計(jì)

考慮UAV捕捉垂直向下方向圖像的情況。設(shè)圖像地面覆蓋區(qū)域的高度和寬度分別為H和W，相機(jī)視角α，UAV高度a，圖像分辨率hpixel×wpixel，其中，h和w分別為圖像的寬度和高度的像素?cái)?shù)量，則圖像覆蓋區(qū)域估計(jì)為W=2atan(α/2)，H=Wh/w。

將圖像覆蓋區(qū)域中心的GPS坐標(biāo)設(shè)為UAV坐標(biāo)，并作為圖像中心，保存在元數(shù)據(jù)中。ηi和λi分別表示弧度上的點(diǎn)Pi的緯度和經(jīng)度。根據(jù)Pi和Pj的GPS坐標(biāo)，利用半正矢公式計(jì)算出2點(diǎn)間距離：

(1)

式中，R為地球半徑。線PiPj與指北方向線之間的夾角為方位角，計(jì)算如下：

θ(Pi,Pj)=arctan2(θy,θx)。

(2)

根據(jù)所有圖像中心的GPS坐標(biāo)，估計(jì)距離和方位角，并由此繪制UAV相機(jī)路徑。此外，可利用相機(jī)參數(shù)(例如焦距和相對(duì)高度)計(jì)算覆蓋區(qū)域的寬度和高度。利用相機(jī)萬向偏航角，得到所有圖像的覆蓋圖。然后，將圖像覆蓋區(qū)域和重合率估計(jì)作為自適應(yīng)選擇算法的輸入。

1.2 自適應(yīng)選擇算法

本文基于覆蓋區(qū)域重合知識(shí)，提出選擇用于拼接的部分圖像的高效算法。圖像拼接中，輸入圖像的重合率會(huì)影響用于拼接的匹配特征性能。若輸入圖像的重合率較低，很難得到用于拼接的良好匹配特征；若輸入圖像過于密集，或多張圖像共享相同的重合區(qū)域，則密集對(duì)應(yīng)關(guān)系可能會(huì)導(dǎo)致誤配準(zhǔn)。針對(duì)該問題，提出了快速自適應(yīng)選擇算法，移除與其他圖像密集重合的非必要輸入圖像，僅在相關(guān)圖像的重合區(qū)域中執(zhí)行特征匹配和配準(zhǔn)處理。在配準(zhǔn)過程中，所提方法可顯著降低離群點(diǎn)數(shù)量。

相關(guān)研究表明[13]：若圖像幀中包含的內(nèi)點(diǎn)數(shù)量較少，就丟棄該幀。但與其他鄰近圖像密集重合的圖像會(huì)增加二次投影誤差，造成圖像特征的誤配準(zhǔn)。因此，本文方法將丟棄被其他圖像密集覆蓋的圖像。所提自適應(yīng)選擇算法如下所示，從集合D中n個(gè)高度重合的密集覆蓋區(qū)域F1,F2,…,Fn，生成稀疏覆蓋集S，并利用相應(yīng)圖像完成拼接。

算法:自適應(yīng)選擇算法輸入:D為n個(gè)密集圖像覆蓋區(qū)域F1,F2,…,Fn的集合,ri為Fi和Fj之間的重合率,α,β和γ為閾值。輸出:稀疏圖像覆蓋區(qū)域集S。1.S←D2.V為訪問節(jié)點(diǎn)集合,β≥13.repeat4. 計(jì)算S中所有圖像的重合率:S:ri=∑Fj∈Srij5. m=argmaxFj∈S&Fi?Vri6. j=argmaxFj∈Srmi& k=argmaxFj∈S&i≠jrmi7. ifrmj+rmk≥β & rjk≥γthen8. S←S/{Fm}9. else10. V←V∪{Fm}11.end if12.Until rm<α13.ReturnS

2 UAV航拍圖像拼接

首先，介紹利用確定的圖像重合區(qū)域進(jìn)行快速特征檢測和匹配的方法。其次，簡單回顧非重合區(qū)域的投影扭曲技術(shù)，并解釋提出的基于距離和誤差的重合區(qū)域局部扭曲技術(shù)。最后，解釋多張圖像拼接的最終步驟。

2.1 框架概述

所提方法的基本流程如圖1所示。

圖1 所提方法的基本流程

首先，確定圖像覆蓋區(qū)域，得到密集圖像集。通過重合區(qū)域估計(jì)和所提自適應(yīng)選擇算法，生成稀疏圖像集。其次，提取稀疏圖像集中所有圖像的特征，及其在相應(yīng)圖像中的各自位置。然后，利用所提重合區(qū)域的局部仿射扭曲技術(shù)，得到重合區(qū)域的局部單應(yīng)矩陣。最后，將所有圖像投影到參考圖像平面上，通過多波段融合，得到多張UAV圖像的拼接圖像。

2.2 特征快速檢測匹配

通過比較描述符的距離，確定特征在不同圖像中的對(duì)應(yīng)位置。通常使用快速近似最近鄰庫(Fast Library for Approximate Nearest Neighbors,FLANN)[14-15]以加快處理速度。拼接多張圖像時(shí)，傳統(tǒng)方法會(huì)對(duì)所有圖像對(duì)的匹配特征進(jìn)行窮舉搜索，產(chǎn)生極大計(jì)算負(fù)擔(dān)。為此，利用所提算法，從輸入圖像集生成一個(gè)稀疏圖像集，提取稀疏圖像集中所有圖像的特征，以及相應(yīng)圖像中的各自位置，在歐式距離內(nèi)，2個(gè)特征點(diǎn)p和q的歐式距離可以定義為：

d(p,q)=〈Dp-Dq·Dq-Dp〉，

(3)

式中，Dp，Dq為2個(gè)特征向量。本文對(duì)重合率高于預(yù)定義閾值的成對(duì)圖像進(jìn)行匹配。在匹配2個(gè)重合圖像的提取特征時(shí)，僅分析重合區(qū)域內(nèi)的特征，顯著降低了特征匹配和配準(zhǔn)的計(jì)算量。

2.3 投影扭曲技術(shù)

該階段利用匹配特征集合估計(jì)仿射扭曲變換，實(shí)現(xiàn)每對(duì)圖像的最優(yōu)配準(zhǔn)。隨機(jī)抽樣一致(Random Sample Consensus,RANSAC)算法[16]被廣泛用于在給定集合中尋找匹配特征對(duì)，以得到用于變換矩陣估計(jì)的最小二乘解。假定從圖像I和圖像I′的2個(gè)重合區(qū)域中分別得到了2個(gè)匹配特征集合PI和PI′。利用投影單應(yīng)矩陣H，將PI中的每個(gè)特征轉(zhuǎn)換為PI′中相應(yīng)的特征點(diǎn)。將PI中的特征點(diǎn)表示為pi=[xi,yi,1]Τ，將PI′中的特征點(diǎn)表示為p′i=[x′i,y′i,1]Τ，其中pi和p′i形式為齊次坐標(biāo)。由此，可得p′i=Hpi，該轉(zhuǎn)換可表示為：

(4)

此外，

(5)

(6)

設(shè)h=[h11,h12,…,h31,h32]T表示H的8個(gè)未知參數(shù)的向量形式。由式(5)和式(6)可得：

(7)

利用RANSAC，通過重合區(qū)域的匹配特征估計(jì)出圖像之間的單應(yīng)轉(zhuǎn)換矩陣。嚴(yán)格限制提取特征的匹配區(qū)域，能夠減少離群點(diǎn)數(shù)量，使RANSAC更易于收斂。本文以預(yù)設(shè)的迭代次數(shù)執(zhí)行RANSAC，隨機(jī)選出PI和PI′中的M(M≥ 4)對(duì)匹配點(diǎn)(pi,p′i),…,(pj,p′j)。

定義2M× 8的矩陣A如下：

(8)

(9)

2.4 基于距離和誤差的局部扭曲技術(shù)

(10)

，

(11)

式中,j=1,3，且：

(12)

式中,

j=2,4。

圖2 局部單應(yīng)轉(zhuǎn)換樣例

圖像合成階段，首先，將輸入圖像對(duì)齊并扭曲到同一個(gè)參考坐標(biāo)系后；然后，將修正后的圖像合成為單張圖像。將2.2節(jié)算法得到的集合S中，與其他圖像的公共匹配關(guān)鍵點(diǎn)數(shù)量最大的圖像選擇為最終合成表面。由此，能有效降低累積二次投影誤差。計(jì)算從其他圖像到參考圖像的單應(yīng)矩陣。到參考圖像的轉(zhuǎn)換可采用直接轉(zhuǎn)換，或通過中間圖像進(jìn)行間接轉(zhuǎn)換。最后，利用多波段融合[17]，得到拼接圖像。

3 實(shí)驗(yàn)與分析

本文硬件平臺(tái)為Intel Core i7-10700F CPU，16 GB RAM，NVIDIA RTX 2070 GPU，運(yùn)行Windows 10操作系統(tǒng)。采集圖像的UAV為大疆 Mavic Pro Platinum，相機(jī)模型為DJI FC220。

采用均方根誤差(Root Mean Squared Error，RMSE)和平均絕對(duì)誤差(Mean Absolute Error，MAE)作為拼接準(zhǔn)確度的評(píng)估度量[18]。RMSE和MAE數(shù)值越小，表明方法性能越好。

綜上所述，在核心素養(yǎng)下展開小學(xué)語文讀寫結(jié)合教學(xué)，以閱讀豐富寫作素材，以寫作深化閱讀理解，提高學(xué)生語言理解和運(yùn)用的能力。利用仿寫的教學(xué)方式，加深學(xué)生對(duì)課文的理解，完善自己的寫作水平，為培養(yǎng)學(xué)生核心素養(yǎng)打下良好的基礎(chǔ)。

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)通過UAV捕捉湖邊、噴泉和小區(qū)等5個(gè)地面圖像場景。以垂直向下的方向拍攝圖像，相機(jī)全向俯仰角設(shè)為90°。所有圖像的分辨率均為3 000 pixel×4 000 pixel。UAV圖像場景測試數(shù)據(jù)詳情如表1所示。

表1 UAV圖像場景

UAV相機(jī)路徑和覆蓋區(qū)域示意如圖3所示。圖3(a)表示UAV在等高平行線中飛行，并在多個(gè)位置拍攝圖像時(shí)的相機(jī)路徑，該區(qū)域?yàn)殡S機(jī)形狀；圖3(b)表示縱向拍攝的圖像；圖3(c)表示橫向拍攝的圖像。設(shè)圖3(a)中相鄰2條平行線距離為l，每條平行線中，以2點(diǎn)間距s設(shè)定等距位置，以拍攝圖像。2張圖像之間的重合率計(jì)算為交并比，即重合面積與合并面積之間的比率。假定r為相同平行線中2張相鄰圖像之間的預(yù)期重合率。若圖像是縱向的，如圖3(b)所示；若圖像是橫向的，則調(diào)換s和l的數(shù)值。利用估計(jì)距離，控制UAV在預(yù)設(shè)軌跡上飛行，并在預(yù)期位置進(jìn)行圖像拍攝。

圖3 UAV相機(jī)路徑和覆蓋區(qū)域示意

應(yīng)用所提算法，從密集圖像集生成稀疏圖像集時(shí)的圖像覆蓋情況如圖4所示。圖4(a)和圖4(b)分別表示應(yīng)用所提自適應(yīng)算法之前和之后的圖像覆蓋情況?？梢钥闯?，前后的發(fā)生密集覆蓋區(qū)域所對(duì)應(yīng)的圖像被移除了，從而減少了需要處理的圖像數(shù)量。

(a)本文自適應(yīng)算法應(yīng)用前的效果

3.2 結(jié)果分析

為驗(yàn)證所提方法在實(shí)際場景中的性能，通過實(shí)驗(yàn)評(píng)估RMSE和MAE性能，并與先進(jìn)方法進(jìn)行比較。實(shí)驗(yàn)包括不同場景，預(yù)設(shè)重合率范圍為85%～70%。rm為所有ri(i=1,2,…,n)的最大值，即每張圖像的重合率加和。α為算法1的循環(huán)終止條件數(shù)值，即rm<α。β用于保證Fm被Fj和Fk充分覆蓋，為此設(shè)β≥1。γ為Fj和Fk之間的重合率最小值，以使算法能夠從圖像集中丟棄Fm。根據(jù)經(jīng)驗(yàn)，將α，β和γ的最優(yōu)值設(shè)為：α=2.7，β=1.6，γ=0.4。

圖5給出了UAV航拍的圖像，是某小區(qū)UAV俯瞰圖(遴選的航拍圖像)。圖6是最終的拼接結(jié)果，可以看出，本文方法生成的拼接圖像沒有包含明顯的視覺畸變，也沒有明顯的模糊偽跡，其中，紅色框中的道路線條沒有斷層或者扭曲。整體拼接效果良好。

(a)航拍圖1

圖6 采用本文方法的UAV航拍拼接結(jié)果

表2和表3分別給出了本文方法與其他先進(jìn)方法平均RMSE和MAE結(jié)果，粗體表示最優(yōu)性能。平均RMSE和平均MAE的像素值越低，表示結(jié)果越好。表2中，對(duì)于所有場景，本文方法的RMSE的像素值在3.2～7.2 pixel。所有方法在“小區(qū)”場景中，均表現(xiàn)出最高的像素誤差值，這是因?yàn)樵搱鼍暗膱D像元素更加復(fù)雜。其中，APAP方法的RMSE達(dá)到12.377 pixel。WRIS在公園場景中取得最低誤差，本文方法在其余場景中均得到了最優(yōu)性能。表3給出了相似性能結(jié)果。MAE表示絕對(duì)誤差的平均值，是更加一般的誤差表現(xiàn)形式，其受異常值的影響小于RMSE，因此，表3的整體數(shù)據(jù)在2～7 pixel。從表2和表3可以看出，在大部分情況下，所提方法得到的RMSE和MAE性能指標(biāo)更低。這主要得益于所提方法基于重合率和覆蓋區(qū)域的相對(duì)位置，通過所提自適應(yīng)選擇算法優(yōu)化要拼接的圖像集合，降低累積二次投影誤差。此外，在轉(zhuǎn)換區(qū)域應(yīng)用局部仿射扭曲平滑推理，緩解了拼接結(jié)果中的模糊偽跡。

表2 本文方法與先進(jìn)方法的平均RMSE比較

表3 本文方法與先進(jìn)方法的平均MAE比較

表4給出了對(duì)于小區(qū)場景，提出的方法與先進(jìn)拼接軟件[19]在總處理時(shí)間方面的性能，該時(shí)間為整個(gè)拼接過程耗時(shí)，圖像數(shù)量為50～200。本文方法的處理時(shí)間呈線性增加，這是因?yàn)楸疚姆椒ǐ@得了圖像對(duì)中每張圖像的精確重合情況，避免不必要的計(jì)算，其他軟件的耗時(shí)上升幅度很大。為公平比較，本文方法的耗時(shí)中包括預(yù)處理時(shí)間。在拼接100，150和200張分辨率為5 400 pixel × 3 600 pixel的圖像時(shí)，本文方法的整體處理時(shí)間分別為56.2，102.5，125.2 s。針對(duì)不同數(shù)量的圖像，相比于其他軟件，本文方法的處理速度至少加快了2.1倍。

表4 拼接時(shí)間比較

4 結(jié)束語

本文提出了快速拼接多張UAV圖像的穩(wěn)健方法，在大范圍區(qū)域通過UAV捕捉大量圖像，并快速拼接出能夠展示視覺細(xì)節(jié)的單張高分辨率圖像。創(chuàng)新之處是通過自適應(yīng)算法優(yōu)化用于拼接操作的圖像集合，移除冗余重合區(qū)域，由此降低計(jì)算量，減少累積二次投影誤差，并在轉(zhuǎn)換區(qū)域應(yīng)用局部扭曲平滑推理技術(shù)，緩解拼接結(jié)果中的模糊偽跡。實(shí)驗(yàn)結(jié)果表明，所提方法的輸出圖像實(shí)現(xiàn)了較好的視覺質(zhì)量，畸變較少，在大部分實(shí)驗(yàn)場景中的RMSE和MAE性能均優(yōu)于其他優(yōu)秀方法，且處理速度比先進(jìn)軟件快得多。

所提拼接方法可用于各種不同領(lǐng)域，例如遙感和農(nóng)業(yè)監(jiān)測。未來，可嘗試進(jìn)一步加快處理速度，實(shí)時(shí)生成UAV圖像或視頻的拼接圖像。