姜月武　路東生　黨良慧　楊永兆　施建新

摘 要： 以無(wú)人機(jī)為平臺(tái)的橋梁巡檢方案能夠減少人工、避免安全隱患、提高效率，為了解決該系統(tǒng)中圖像拼接實(shí)時(shí)性和拼接質(zhì)量之間的矛盾，本文提出一種基于多特征優(yōu)選的圖像拼接算法，并設(shè)計(jì)開發(fā)出了一套基于無(wú)人機(jī)橋梁巡檢的圖像采集拼接子系統(tǒng)，先利用簡(jiǎn)單特征對(duì)圖像流進(jìn)行快篩，然后利用復(fù)雜特征來(lái)保持準(zhǔn)確率，并提高系統(tǒng)的魯棒性，最后通過性能指標(biāo)對(duì)圖像拼接質(zhì)量進(jìn)行調(diào)節(jié)。在實(shí)驗(yàn)中，針對(duì)處理速度、準(zhǔn)確率和魯棒性等各方面因素，本文算法平均達(dá)到了83.34%的特征提取準(zhǔn)確率。在調(diào)節(jié)系統(tǒng)性能指標(biāo)后，圖像拼接取得了滿意的效果，具有一定實(shí)用價(jià)值。

關(guān)鍵詞： 無(wú)人機(jī); 橋梁巡檢; 圖像拼接; 特征提取; 圖像拼接系統(tǒng)

文章編號(hào)： 2095-2163（2021）07-0060-06中圖分類號(hào)：TP391.41文獻(xiàn)標(biāo)志碼： A

Image stitching algorithm and system design based on multi-feature optimization

JIANG Yuewu， LU Dongsheng， DANG Lianghui， YANG Yongzhao， SHI Jianxin

（School of Electronic and Electrical Engineering， Shanghai University of Engineering Science， Shanghai 201620， China ）

【Abstract】The bridge inspection program based on drones can reduce labor， avoid safety hazards， and improve efficiency. In order to solve the contradiction between the real-time image splicing and the splicing quality in the system， this paper proposes an image splicing algorithm based on multi-feature optimization. The algorithm has also designed and developed a set of image collection and splicing subsystems based on UAV bridge inspection. First， simple features are used to quickly screen the image stream， and then complex features are used to maintain accuracy and improve the robustness of the system. Finally， the image mosaic quality is adjusted through performance indicators. In the experiment， for the processing speed， accuracy and robustness and other factors， the algorithm in this paper reaches an average feature extraction accuracy of 83.34%. After adjusting the system performance indicators， image stitching has achieved satisfactory results and has certain practical value.

【Key words】UAV; bridge inspection; image mosaic; feature extraction; image stitching system

0 引 言

圖像拼接技術(shù)通過圖像空間上的匹配、映射以及重疊區(qū)域融合將2幅或多幅圖像進(jìn)行拼接，獲得包含原始圖像所有信息的高分辨率、寬視角的合成圖。該項(xiàng)技術(shù)在醫(yī)學(xué)成像、計(jì)算機(jī)視覺、衛(wèi)星數(shù)據(jù)、軍事目標(biāo)自動(dòng)識(shí)別等領(lǐng)域具有重要的研究意義與使用價(jià)值。

目前，圖像拼接技術(shù)按照是否使用卷積神經(jīng)網(wǎng)絡(luò)分為2類。一類是傳統(tǒng)的方法：以灰度、尺度變化，判別相關(guān)性的基于區(qū)域相關(guān)的拼接算法，以Harris[1]、FAST[2-3]、SIFT[4]、BRISK[5]、SURF[6]、 FREAK[7]、AKAZE[8]、ORB[9]等提取特征的基于特征的拼接算法，其中以AutoStitch[10]為經(jīng)典，適合沒有視差或極小視差的場(chǎng)景;另一類是卷積神經(jīng)網(wǎng)絡(luò)方法：DHW[11]， APAP[12]， AANAP[13]等以空間域變化繪制適合小視差場(chǎng)景的算法、Parallax-tolerant[14]，seam-driven[15]等以縫合線主導(dǎo)適合大視差場(chǎng)景的算法。

與卷積神經(jīng)網(wǎng)絡(luò)算法相比，圖像拼接的傳統(tǒng)算法在準(zhǔn)確率方面略顯不足，但是在計(jì)算量和計(jì)算速度上則占據(jù)著優(yōu)勢(shì)。根據(jù)具體的無(wú)人機(jī)橋梁巡檢項(xiàng)目實(shí)際運(yùn)用在滿足精度的同時(shí)還要兼顧系統(tǒng)實(shí)時(shí)性要求，本文提出了一種基于多特征優(yōu)選的圖像拼接算法及系統(tǒng)設(shè)計(jì)方案，經(jīng)過實(shí)驗(yàn)仿真取得了滿意的效果。

1 相關(guān)簡(jiǎn)介

1.1 Harris角點(diǎn)檢測(cè)

使用角點(diǎn)檢測(cè)算子，對(duì)圖像的每個(gè)像素計(jì)算角點(diǎn)響應(yīng)函數(shù)（Corner Response Function ），閾值化角點(diǎn)響應(yīng)函數(shù)，根據(jù)實(shí)際情況選擇閾值，對(duì)閾值化的角點(diǎn)響應(yīng)函數(shù)進(jìn)行非極大值抑制，并獲取非零點(diǎn)作為角點(diǎn)。通過一個(gè)小的滑動(dòng)窗口在鄰域檢測(cè)角點(diǎn)的任意方向上移動(dòng)窗口，若窗口內(nèi)的灰度值都有劇烈的變化，則窗口的中心就是角點(diǎn)。

假設(shè)圖像I（x，y），從點(diǎn)（x，y）處平移（Δx，Δy）后的自相似性，可由自相關(guān)函數(shù)表示：

最后可以將自相關(guān)函數(shù)簡(jiǎn)化近似為二項(xiàng)函數(shù)：

研究發(fā)現(xiàn)式（4）本質(zhì)上就是一個(gè)橢圓函數(shù)。M（x，y）的特征值λ1、λ2決定了橢圓的扁率大小和尺寸大小， M（x，y）的特征矢量決定了橢圓的方向，如式（5）所示，橢圓方程為：

Harris方法是通過計(jì)算一個(gè)角點(diǎn)的響應(yīng)值R來(lái)判斷角點(diǎn)，并不需要計(jì)算具體的特征值。R的計(jì)算公式為：

其中，detM為矩陣M=ABCD的行列式;traceM為矩陣M的直跡;α為常數(shù)，其取值范圍為0.04～0.06。

1.2 FAST特征點(diǎn)

圖1即是FAST特征點(diǎn)的圖像。假設(shè)以某點(diǎn)像素p為圓心，半徑大小為3做一個(gè)離散化的圓，使得這個(gè)圓的邊界上正好有16個(gè)像素。

如果在上述16個(gè)像素點(diǎn)的圓上存在著N（N為9或12）個(gè)連續(xù)的像素點(diǎn)，并且該像素值要么都大于I（p）+εd，要么都小于I（p）-εd，那么定義p為一個(gè)特征點(diǎn)，如式（7）所示：

其中，I（x）表示圓環(huán)模板上的任意一點(diǎn)像素灰度值的大小;I（p）表示中心的像素點(diǎn)的灰度值大小;εd為設(shè)定的閾值大小。

1.3 FREAK特征檢測(cè)

FREAK采樣模式如圖2所示。圖2中，采用以特征點(diǎn)為中心的采樣模式，對(duì)每層圓環(huán)均勻采樣6個(gè)點(diǎn)，最終構(gòu)成7層同心圓。為了獲取足夠多的圖像信息讓圓和圓之間發(fā)生交疊。使用采樣點(diǎn)和特征點(diǎn)之間的距離來(lái)刻畫采樣點(diǎn)的密度，采樣點(diǎn)距離特征點(diǎn)越近，采樣點(diǎn)圓的半徑就越小，密度也就越大，距離特征點(diǎn)若越遠(yuǎn)，采樣點(diǎn)圓的半徑就越大，密度也就越小。對(duì)每個(gè)采樣點(diǎn)進(jìn)行高斯平滑處理來(lái)降低噪聲影響，每個(gè)圓圈的半徑刻畫了高斯模糊的標(biāo)準(zhǔn)差。

FREAK描述子由采樣點(diǎn)對(duì)的強(qiáng)度比較結(jié)果級(jí)聯(lián)組成，形成二進(jìn)制位串描述子。 這里用F表示，則有：

其中，Pa表示一個(gè)采樣點(diǎn)，Pr1a表示在經(jīng)過高斯模糊后得到的采樣點(diǎn)的灰度值大小。

1.4 SIFT特征檢測(cè)

圖像的尺度空間用L（x，y，σ）函數(shù)表示，具體是由一個(gè)變尺度的高斯函數(shù)G（x，y，σ）與圖像I（x，y）通過卷積產(chǎn)生，即：

其中，表示在x和y兩個(gè)方向上進(jìn)行卷積操作，而G（x，y，σ）為：

其中，決定著圖像模糊平滑處理的程度的尺度因子為σ。σ值較大時(shí)代表的是大尺度下圖像的概貌信息，σ值較小時(shí)代表的是小尺度下圖像的細(xì)節(jié)信息。因此大尺度對(duì)應(yīng)著低分辨率，小尺度對(duì)應(yīng)著高分辨率。（x，y）則表示在σ尺度下的圖像坐標(biāo)。

為了在連續(xù)的尺度下檢測(cè)圖像的特征點(diǎn)，需要建立 DoG 金字塔，而 DoG 金字塔的建立又離不開高斯金字塔的建立，如圖3所示，左側(cè)為高斯金字塔，右側(cè)為 DoG 金字塔。

1.5 SURF特征檢測(cè)

給定圖像I中的某點(diǎn)x=（x，y），在該點(diǎn)x處，尺度為σ的Hessian矩陣H（x，σ）定義為：

其中，Lxx（x，σ）是高斯二階微分σ2g（σ）σx2在點(diǎn)x=（x，y）處與圖像I的卷積，Lxy（x，σ）和Lyy（x，σ）具有相似的含義，這些微分就是LoG。

1.6 ORB特征檢測(cè)

ORB算法結(jié)合了Fast[2-3]和Brief[16]算法，提出了構(gòu)造金字塔，為Fast特征點(diǎn)添加了方向，從而使得關(guān)鍵點(diǎn)具有了尺度不變性和旋轉(zhuǎn)不變性。具體流程描述如下：

（1）構(gòu)造尺度金字塔，金字塔共有n層，與SIFT不同的是，每一層僅有一幅圖像。第s層的尺度為σs=σs0，σ0是初始尺度，默認(rèn)為1。

（2）原圖在第0層。第s層圖像的大小如下：

在不同的尺度上利用Fast算法檢測(cè)特征點(diǎn)，采用Harris角點(diǎn)響應(yīng)函數(shù)，根據(jù)角點(diǎn)的響應(yīng)值排序，選取前N個(gè)特征點(diǎn)，作為本尺度的特征點(diǎn)。

計(jì)算特征點(diǎn)的主方向，計(jì)算以特征點(diǎn)為圓心，半徑為r的圓形鄰域內(nèi)的灰度質(zhì)心位置，將從特征點(diǎn)位置到質(zhì)心位置的方向做特征點(diǎn)的主方向。為了解決旋轉(zhuǎn)不變性，將特征點(diǎn)的鄰域旋轉(zhuǎn)到主方向上利用Brief[16]算法構(gòu)建特征描述符，至此就得到了ORB的特征描述向量。

2 算法框架

圖像拼接流程見圖4。由圖4可知，圖像拼接分為4個(gè)步驟：圖像的匹配（Registration）、重新投影（Reprojection）、拼接縫合（Stitching）和圖像融合（Blending）。

其中，圖像匹配是指通過一定的匹配算法在2幅或多幅圖像之間識(shí)別同名點(diǎn)。2幅或者多幅圖像可以是由不同的時(shí)間、不同的位置拍攝，或者由多個(gè)傳感器同時(shí)拍攝。重新投影是指通過圖像的幾何變換，把所有的圖片都轉(zhuǎn)換到一個(gè)共同的坐標(biāo)系下。拼接縫合是指通過合并重疊部分的像素值，并保持沒有重疊的部分使之生成更大分辨率的圖像。圖像融合是指通過幾何和光度偏移錯(cuò)誤通常導(dǎo)致對(duì)象的不連續(xù)，并在2個(gè)圖像之間的邊界附近產(chǎn)生可見的接縫。圖像的配準(zhǔn)程度決定了圖像的拼接質(zhì)量，因此拼接算法的核心和關(guān)鍵就是圖像的配準(zhǔn)。

本文提出的基于多特征優(yōu)選的圖像拼接算法的流程圖如圖5所示。

其中，對(duì)于基于無(wú)人機(jī)拍攝的視頻流數(shù)據(jù)，可以使用Harris[1]、AKAZE[8]、FAST[2-3]、SIFT[4]、SURF[6]、BRISK[5]、FREAK[7]、ORB[9]等方法對(duì)相鄰兩幀之間進(jìn)行特征提取，但是為了在拼接速度和拼接效果中找到平衡點(diǎn)，本文提出了評(píng)價(jià)標(biāo)準(zhǔn)，通過將傳統(tǒng)特征的提取方法分為2類，按照特征點(diǎn)數(shù)量和拼接速度2個(gè)維度，將使用Harris[1]、AKAZE[8]、ORB[9]、FREAK[7]算法進(jìn)行特征提取的方法記為次級(jí)特征提取方法，將使用BRISK[5]、SIFT[4]、SURF[6]算法進(jìn)行特征提取的方法記為優(yōu)選特征提取方法，這樣做的目的是可以使用調(diào)節(jié)評(píng)價(jià)策略（特征點(diǎn)、角點(diǎn)、斑點(diǎn)、幀間差分值），可以先通過次級(jí)特征點(diǎn)提取剔除一部分質(zhì)量較差的圖像或者對(duì)質(zhì)量滿足設(shè)定標(biāo)準(zhǔn)的圖像直接進(jìn)行拼接，這樣就可以在實(shí)時(shí)性和最終的拼接效果中找到平衡點(diǎn)。針對(duì)具體的基于無(wú)人機(jī)橋梁巡檢憑借項(xiàng)目，通過實(shí)驗(yàn)部分可以看到策略的魯棒性。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)結(jié)果分析

無(wú)人機(jī)在預(yù)先設(shè)定飛行的區(qū)域范圍內(nèi)，隨機(jī)抽取5個(gè)采集點(diǎn)的視頻流數(shù)據(jù)，每個(gè)點(diǎn)取20幀相鄰圖片，對(duì)其中每相鄰的2幀圖片進(jìn)行實(shí)驗(yàn)，分別將其分為A組和B組各50張圖片，首先對(duì)每張圖片使用不同的算法進(jìn)行特征提取，然后記錄A組和B組的每一對(duì)平均特征點(diǎn)數(shù)量，如圖6所示。

對(duì)于圖6提取特征點(diǎn)，記錄其所消耗時(shí)間如圖7所示。

將每組圖片中提取的最多的特征點(diǎn)作為基數(shù)，每一組中匹配成功的數(shù)量作為衡量標(biāo)準(zhǔn)，定義匹配成功率=最多匹配成功數(shù)量對(duì)/最大提取特征數(shù)，可以得到圖8。

對(duì)于每種算法，統(tǒng)計(jì)了50對(duì)實(shí)驗(yàn)的總計(jì)消耗時(shí)間、提取的總特征數(shù)量和最多匹配點(diǎn)數(shù)量見表1。

通過實(shí)驗(yàn)，由表1得出結(jié)論：可以將實(shí)驗(yàn)的算法分為3個(gè)層次。第一層是速度最快，準(zhǔn)確率和魯棒性最差的，如Harris、ORB、FAST;第二層是速度、準(zhǔn)確率和魯棒性適中，如BRISK、FREAK、 AKAZE;第三層是速度最慢，準(zhǔn)確率和魯棒性最好的，如SIFT、SURF、ours。進(jìn)而可推得：

（1）速度比較：FAST>ORB>Harris>AKAZE>FREAK>BRISK>ours>SURF>SIFT。

（2）準(zhǔn)確率和魯棒性：SIFT>SURF>ours>BRISK>FREAK>AKAZE>Harris>ORB >FAST。

其中，針對(duì)快速提取特征算法，總體準(zhǔn)確度和魯棒性較差，但是對(duì)于個(gè)別實(shí)驗(yàn)組會(huì)出現(xiàn)優(yōu)于慢速提取特征算法。

本文算法通過設(shè)計(jì)優(yōu)選特征環(huán)節(jié)，一方面通過快速特征提取，篩除一部分?jǐn)?shù)據(jù)，另一方面結(jié)合了準(zhǔn)確率和魯棒性較高的特征來(lái)提高圖像拼接質(zhì)量，對(duì)于整個(gè)無(wú)人機(jī)橋梁巡檢項(xiàng)目系統(tǒng)，算法實(shí)現(xiàn)了各項(xiàng)性能指標(biāo)的綜合平衡。

對(duì)于具體的實(shí)驗(yàn)效果，如圖9所示，通過調(diào)節(jié)評(píng)價(jià)指標(biāo)中的匹配特征點(diǎn)，可以控制拼接時(shí)間和圖片的拼接質(zhì)量。

3.2 系統(tǒng)實(shí)現(xiàn)截圖

本項(xiàng)目開發(fā)的系統(tǒng)界面及功能展示如下。

（1）登錄界面。登錄界面包含登錄和注冊(cè)功能，通過點(diǎn)擊“注冊(cè)”可以新建用戶，輸入已有賬戶的用戶名和密碼，點(diǎn)擊“登錄”就可以成功登錄系統(tǒng)，登錄系統(tǒng)界面如圖10所示。

（2）輸入拼接圖片。在菜單欄中點(diǎn)擊 “輸入圖像”按鈕，可以通過文件路徑選擇需要拼接的圖像，左邊可以顯示6張選擇的圖像，右邊窗口顯示選擇圖像的詳細(xì)信息，系統(tǒng)界面截圖如圖11所示。

（3）拼接進(jìn)行中。在菜單欄中點(diǎn)擊“拼接圖像”按鈕，系統(tǒng)后臺(tái)會(huì)調(diào)用拼接算法，界面顯示如圖12所示，進(jìn)度條進(jìn)度顯示了算法的運(yùn)行進(jìn)度。

（4）拼接完成。當(dāng)拼接算法運(yùn)行結(jié)束時(shí)，系統(tǒng)界面會(huì)彈出如圖13所示的“拼接完成”界面，提醒用戶圖像已經(jīng)拼接完成。

（5）拼接結(jié)果展示。在收到圖像拼接完成的提示后，點(diǎn)擊菜單欄的“查看結(jié)果”，系統(tǒng)會(huì)自動(dòng)打開圖像拼接結(jié)果查看器，界面截圖如圖14所示，在查看器菜單欄中，設(shè)置了對(duì)圖像放大和縮小以及調(diào)整到和顯示器合適的尺寸等功能，還可以對(duì)圖片結(jié)果進(jìn)行打開、保存等操作，只需要點(diǎn)擊對(duì)應(yīng)的功能按鈕即可。

4 結(jié)束語(yǔ)

在無(wú)人機(jī)橋梁巡檢的實(shí)際項(xiàng)目中，對(duì)于采集的圖像存在特征點(diǎn)不均、光影交替、圖片抖動(dòng)模糊和拼接時(shí)效性等問題。本文提出的基于多特征優(yōu)選的圖像拼接方案，在實(shí)際測(cè)試中體現(xiàn)出較好的魯棒性，能夠適應(yīng)橋梁底面復(fù)雜的環(huán)境，證明了該算法可以在嵌入式設(shè)備良好運(yùn)用。但是，該算法在精度上還需要進(jìn)一步優(yōu)化，包括特征點(diǎn)提取和匹配的優(yōu)化。

參考文獻(xiàn)

[1]HARRIS C G， STEPHENS M. A combined corner and edge detector[C]//Proceedings of 4th Alvey Vision Conference. Manchester England： University of Manchester，1988：189-192.

[2]ROSTEN E， DRUMMOND T. Machine learning for high speed corner detection[C]// 9th European Conference on Computer Vision.? Graz， Austria：Springer， 2006，1：430-443.

[3]ROSTEN E， PORTER R， DRUMMOND T. Faster and better： A machine learning approach to corner detection[J]. IEEE transactions on pattern analysis and machine intelligence， 2008 ，32（1）：105-119.

[4]LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004，60（2）：91-110.

[5]LEUTENEGGER S， CHLI M， SIEGWART R Y. BRISK： Binary robust invariant scalable keypoints[C]// 2011 International Conference on Computer Vision.Barcelona， Spain ：IEEE，2011 ：2548-2555.

[6]BAY H， ESS A， TUYTELAARS T， et al. Speeded-up robust features （SURF）[J]. Computer Vision and Image Understanding， 2008，110（3）：346-359.

[7]ALAHI A， ORTIZ R， VANDERGHEYNST P. Freak： Fast retina keypoint[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence， RI， USA ：IEEE，2012：510-517.

[8]ALCANTARILLA P F， NUEVO J， BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces[C]// British Machine Vision Conference.Bristol：Qlialcomm， 2013：13.1-13.11.

[9]RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF[C]//2011 International Conference on Computer Vision. Barcelona， Spain ：IEEE， 2011：2564-2571.

[10]BROWN M， LOWE D G. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision， 2007 ，74（1）：59-73.

[11]GAO J， KIM S J， BROWN M S. Constructing image panoramas using dual-homography warping[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Colorado：IEEE，2011： 49-56.

[12]ZARAGOZA J， CHIN T J， TRAN Q H， et al. As-projective-as-possible image stitching with moving DLT[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014，36：1285-1298.

[13]LIN C C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Boston， MA， USA ：IEEE， 2015：1155-1163 .

[14]ZHANG F， LIU F. Parallax-tolerant image stitching[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， USA：IEEE， 2014：3262-3269.

[15]GAO Junhong， LI Yu， CHIN T J， et al. Seam-driven image stitching[C]// Eurographics （Short Papers） .Spain：Eurographics，2013 ：45-48.

[16]CALONDER M， LEPETIT V， STRECHA C， et al. Brief： Binary robust independent elementary features[M]// DANIILIDIS K， MARAGOS P， PARAGIOS N. Computer Vision-ECCV 2010. ECCV 2010. Lecture Notes in Computer Science. Berlin/ Heidelberg ：Springer， 2010，6314：778-792.

作者簡(jiǎn)介： 姜月武（1995-），男，碩士研究生，主要研究方向：人臉檢測(cè)、人臉表情識(shí)別、計(jì)算機(jī)視覺等。

通訊作者： 姜月武Email：jiangyuewu@sues.edu.cn

收稿日期： 2020-12-20