馬耀名，陳藝琳，李萬禹

遼寧工程技術(shù)大學(xué) 電氣與控制工程學(xué)院，遼寧 葫蘆島125105

隨著無人機技術(shù)的發(fā)展，使用無人機對輸電線路巡檢已成為必然趨勢，使用電力巡線無人制作輸電線路全局圖像、電網(wǎng)三維實景、故障檢測已成為熱門研究方向[1-6]。圖像匹配技術(shù)是輸電線路圖像拼接、三維重建的主要步驟，直接影響圖像拼接和三維重建效果。電力巡線無人機拍攝的輸電線路圖像具有幾何畸變較大、相鄰圖像重疊高、光照不均勻等特點[7-8]，致使航拍圖像匹配難度較高。

目前電力巡線無人機輸電線路影響匹配算法主要是基于局部特征的匹配算法，其核心是特征檢測和描述符構(gòu)建。基于局部特征的圖像匹配算法可分為三大部分：一是尺度空間構(gòu)建，二是局部特征提取，三是特征編碼。SIFT算法（Scale Invariant Feature Transform）[9]利用高斯濾波構(gòu)建尺度空間，然后再高斯差分金字塔中檢測特征點，最后建立128維浮點型描述符；該算法具有較好的抗噪聲、視角變換等能力，但描述符維度較高嚴(yán)重影響算法效率。針對SIFT算法效率較低，提出了利用小波算法建立64維浮點型描述符的SURF算法[10]（Speeded Up Robust Feature），該算法穩(wěn)定性與SIFT算法相似，效率提升了10倍左右。SIFT算法和SURF算法的描述符均為浮點型，由于計算不同描述符相似性耗時較長，故提出了ORB算法[11]（Oriented FAST and Rotated BRIEF），該算法利用FAST算法[12]（Features from Accelerated Segment Test）快速提取特征點，然后通過BRIEF算法[13]（Binary Robust Independent Elementary Features）建立二進(jìn)制描述符；該算法執(zhí)行效率較高，但對抗視角變化和抗噪聲能力較差。SIFT、SURF、ORB等算法的尺度空間均使用高斯濾波函數(shù)構(gòu)建，而高斯濾波會致使圖像邊緣信息丟失，嚴(yán)重影響局部特征和描述符的穩(wěn)定性。針對高斯濾波會造成尺度空間信息丟失等問題，提出了借助非線性擴散濾波構(gòu)建尺度空間，如KAZE算法[14]，先通過AOS算法[15]解非線性方程構(gòu)建尺度空間，然后利用M-SURF算法[10]構(gòu)建描述符，KAZE算法的穩(wěn)定性優(yōu)于SURF算法，但是AOS算法迭代計算非線性方程耗時長。故在KAZE算法的基礎(chǔ)上提出了AKAZE算法[16]（Accrlerated KAZE），該算法借助FED算法（Fast Explicit Diffusion）更高效的解非線性方程，然后利用MLDB算法[17]（Modified Local Difference Binary）構(gòu)建二進(jìn)制描述符。韓宇等人[18]提出一種基于改進(jìn)SIFT算法的無人機航拍圖像匹配算法，將SIFT算法矩形特征采樣區(qū)域改成圓形，然后對描述符降維，最后借余弦距離衡量不同描述符的相似性。韓敏等人[19]提出一種改進(jìn)KAZE算法無人機航拍圖像匹配算法，使用二進(jìn)制描述符替換KAZE算法的浮點型描述符，有效地加速了匹配算法。

高斯濾波構(gòu)建尺度空間速度較快，但會造成圖像邊緣信息丟失，影響匹配算法的魯棒性；非線性尺度空間雖更好地保護(hù)圖像邊緣信息，但是迭代計算非線性方程耗時較長。

針對上述問題，本文提出一種基于高斯曲率濾波[20]的局部特征匹配算法。首先使用高斯曲率濾波構(gòu)建尺度空間，然后使用FAST算法提取特征點，其次對特征采樣區(qū)域再次建立層度空間并在尺度空間中提取LIOP描述符[21]（Local Intensity Order Pattern），再對二階尺度空間提取的LIOP描述符兩兩做差，最后設(shè)定閾值二值化差值LIOP描述符并累加得到穩(wěn)定性更強的ASVLIOP描述符（Accumulated Stability Voting Local Intensity Order Pattern）[22]完成匹配。

1 算法理論

1.1 高斯曲率濾波

圖像I(x)可以看做三維曲面(x,I(x))，則二維圖像轉(zhuǎn)化為三維曲面后可直接使用經(jīng)典的微分幾何處理三維曲面[19]。由經(jīng)典的微分幾何可知，可展曲面S的局部能夠用其切平面TS(x0)近似，并且滿足關(guān)系式：

二維圖像中的高斯曲率為兩個主曲率的乘積，由式（1）可知，任何可展曲面上任一點的高斯曲率均為零。因此，最小化其中任意一個主曲率，就相當(dāng)于最小化高斯曲率。假設(shè)圖像三維曲面(x,I(x))任意一像素點可表示為P(x0,y0,u0)，枚舉其領(lǐng)域N((x0,y0,u0),δ)內(nèi)所有的切平面為TSk(x0)，k=1,2,…,N，計算像素點P(x0,y0,u0)到切平面TSk(x0)的所有符號距離dk，k=1,2,…,N，其中最短距離對應(yīng)的切平面TSk(x0)min可近似為三維曲面S。將點P與符號距離dm做加法運算，即將點P移動至TSk(x0)min便可完成一次圖像的局部高斯曲率優(yōu)化。

在圖像域Ω內(nèi)，以像素點U(i,j)為中心3×3領(lǐng)域，作為S(x,y)域，為了解除相鄰圖像之間的依賴性將S(x,y)內(nèi)的像素劃分為4類，保證U(i,j)在水平和豎直方向的同類像素均不相鄰。

為了在域S(x,y)找到最小投影距離dmin，在域S(x,y)可分為三種類型的三角構(gòu)型切平面，如圖1所示。圖1為三種三角構(gòu)型切平面又各有四種可能切平面，共計12種可能三角構(gòu)型切平面，其中部分三角構(gòu)型切平面會有兩頂點共線，故只需要計算其中8個切平面到像素點U(i,j)的距離。

圖1 構(gòu)成切面的種類Fig.1 Types of section

三維曲面(x,I(x))到圖2所示的8個三角構(gòu)型切平面的投影距離dk,k∈1,2,…,8。計算三維曲面(x,I(x))到8個三角構(gòu)型切平面的距離，再從中選擇最小距離dmin，最后根據(jù)最小距離更新U(x,y)，具體步驟如下：

更新U(x,y)操作

上述僅對一類三角構(gòu)型平面操作，對其他三類投影操作則可完成高斯曲率濾波，具體如下：

1.2 LIOP描述符建立

無論是SIFT算法的浮點型描述符還是ORB算法的二進(jìn)制描述符，均需要建立特征描述符主方向，而由于匹配圖像質(zhì)量不同會導(dǎo)致同一特征區(qū)域主方向存在偏差，降低匹配算法的魯棒性。本文所用LIOP描述符，根據(jù)特征采樣區(qū)域內(nèi)像素強度建立描述符，不需要建立描述符的主方向，故對亮度較差匹配圖像魯棒性較強。構(gòu)建LIOP描述符步驟如下：

步驟1對特征采樣區(qū)域P(x)中的像素點按大小順序排列，并把排列結(jié)果映射到相應(yīng)的排列序號，具體過程如下：

式中π=(i1,i2,…,iN)，P={xk1,xk2,…,xkN}為P(x)中像素點按大小順序排列結(jié)果。

步驟2以采樣點數(shù)量N，建立像素值強度排列順序索引表，當(dāng)N=4建立的強度排列順序索引表，π為索引值。

步驟3以γ(P)=π映射的索引值編碼N！的向量，可表示為：

式中Ind(π)表示索引值π在索引表對應(yīng)的索引，向量φ(π)第Ind(π)=1，其余值均為0。

步驟4特征區(qū)域中單個像素點的的LIOP描述符建立方式如下式：

對同一個子區(qū)域的像素點的LIOP的描述符相加，得到該子區(qū)域的描述符，把所有子區(qū)域的描述串聯(lián)便得到整個特征區(qū)域的描述符，表示方式如下：

式中，B表示為特征區(qū)域分為子區(qū)域的個數(shù)，則特征區(qū)域的描述符的維數(shù)為N!×B。

1.3 Accumulated Stability Voting算法

現(xiàn)在的特征匹配算法，均在不同尺度下提取特征點和描述符，為了增加描述符魯棒性，提出ASV模型。具體步驟如下：

步驟1建立尺度空間，并在尺度空間中提取特征點，對于任何一尺度空間層，通過不同的尺度因子λ建立ns層尺度空間，新建的尺度空間為(λsσ,λlσ)，λs為新建尺度空間層的最小尺度因子，λl為新建尺度空間層的最大尺度因子。

步驟2特征點所在尺度空間，得到ns層尺度空間皆提取描述符，并計算不同層描述符的差值絕對值，用公式可表示為：

式（6）可判斷描述符在不同尺度下的穩(wěn)定性，式中xi、xj為j和i層尺度空間中提取的描述符，i、j的關(guān)系為1≤i,j≤ns，j≠i。例如，SIFT算法的描述符為128，則新構(gòu)建尺度層之間描述符差值絕對值可表示為：式中，k為描述符維數(shù)，SIFT算法的k∈{1,2,…,128}。

步驟3新建尺度空間共有ns層，則不同層兩兩做差值共有個結(jié)果，若重新定義Vi,j為Vm，m∈[1,2,…,M]。為Vm設(shè)定閾值，將不同尺度描述符差值作穩(wěn)定性量化，可表示：

式中，θt為閾值函數(shù)，tm表示為閾值。若則表示描述符第d維較為穩(wěn)定，否則不穩(wěn)定。在設(shè)置適當(dāng)?shù)拈撝禇l件下，量化后的數(shù)據(jù)對噪聲具有更強的魯棒性。二進(jìn)制穩(wěn)定性值可以看做穩(wěn)定性投票的過程，累積所有尺度對的二進(jìn)制形式的穩(wěn)定性hm，得到度量穩(wěn)定性的整數(shù)型描述符表示為：

C反映了描述符的每一維在不同尺度下的魯棒性。

2 算法實現(xiàn)

2.1 高斯曲率尺度空間構(gòu)建

為了使局部特征匹配算法具有尺度不變性，特征提取和描述符構(gòu)建均需在尺度空間中完成。在1.1節(jié)中，高斯曲率濾波是一個迭代優(yōu)化的過程，每次迭代計算dmin，再通過U?(x,y)=U(x,y)+dmin迭代，可得到類似高斯濾波不同尺度因子λ的尺度空間。為了使匹配算法具有較好的尺度不變性和較高的運行效率，本文設(shè)置5層尺度空間，每一層的降采樣率和高斯曲率迭代次數(shù)，如表1所示。

表1 尺度空間構(gòu)建方式Table 1 Construction of scale space

圖3 （a）為高斯濾波逐漸增加尺度因子濾波圖像，隨尺度因子增加圖像邊緣越來越模糊，圖像信息丟失嚴(yán)重；圖3（b）為逐漸增加高斯曲率濾波迭代次數(shù)得到濾波圖像，濾波后圖像保變性較好，信息丟失較少。

圖3 高斯濾波與高斯曲率濾波效果對比Fig.3 Comparison of Gaussian filter and Gaussian curvature filter

2.2 描述符提取

在高斯曲率濾波金字塔上，利用FAST算法快速提取特征點，并以特征點為中心選擇合適的區(qū)域作為特征采樣區(qū)域。在1.2節(jié)中提出了局部強度順序算法構(gòu)建描述符，LIOP描述符根據(jù)特征采樣區(qū)域內(nèi)像素強度排列建立描述符，本身具有方向不變性，故不需要建立描述符的主方向。

電力巡線無人機拍攝的輸電線路圖像的復(fù)雜度較高，為了進(jìn)一步提高匹配算法的魯棒性，本文提出ASVLIOP描述符。1.3節(jié)中，高斯濾波函數(shù)構(gòu)建金字塔后，再對金字塔每一層使用不同大小的尺度因子λ，重新構(gòu)建ns層尺度空間；本文提出使用高斯曲率濾波構(gòu)建尺度空間，通過改變圖像U(i,j)迭代次數(shù)，可得到不同尺度層。在本文中，新建尺度空間層數(shù)ns取5，具體ASVLIOP描述符構(gòu)建步驟如下：

步驟1尺度空間每層繼續(xù)對U(i,j)迭代，尺度空間不同層ns對應(yīng)的迭代次數(shù)分別為2、4、6、8、10。

步驟2對ns層尺度空間上的LIOP描述符，不同層求差值絕對值，可表示為：

式中，1≤i,j≤5，j≠i。LIOP描述符的維數(shù)為144維，則不同描述符做差值絕對值，可表示為：

式中，k為描述符維數(shù)，k∈{1,2,…,144}。

步驟3新建的尺度空間層數(shù)為5，則兩兩求差的絕對值得到10個矢量，對于對Vm設(shè)定不同的閾值，可得到：

式中，θt為閾值函數(shù)；tm表示為閾值，取值為5；d表示LIOP描述符的維數(shù)。

步驟4累積所有尺度對的二進(jìn)制形式的穩(wěn)定性hm，得到ASV_LIOP描述符，可表示為：

得到的ASV-LIOP描述符為整數(shù)型，使用歐式距離衡量不同描述符的相似性，并借助KD樹算法搜索相似描述符。

3 實驗

為了證明所提的基于局部特征的輸電線路匹配算法的優(yōu)越性，選擇使用SIFT算法、ORB算法、KAZE算法和AKAZE算法、改進(jìn)KAZE算法與所提算法在圖4上對匹配算法的抗模糊變化、光照魯棒性、尺度不變性、旋轉(zhuǎn)不變性等特性測試。圖4（a）和4（b）是兩組待匹配原圖像，對圖像高斯濾波可模擬圖像模糊變化；改變圖像亮度可模擬光照變化對圖像的影響；對航拍圖像截取不同尺寸的圖像可模擬圖像尺度變化；對圖像加上旋轉(zhuǎn)角可模擬電力巡線無人機拍攝角度變化。

圖4 實驗圖像Fig.4 Experimental images

為了更好地判斷不同算法的魯棒性，本文通過計算匹配圖像正確匹配點數(shù)n與匹配點數(shù)N的比值，得到匹配算法的正確匹配率，如式（15）所示：

算法的運行時間反映了算法的匹配效率，本文通過計算每個特征匹配平均時間衡量，若兩幅圖像匹配耗時為Time，匹配點數(shù)為Num，則可得平均時間point_time可表示為：

本文使用Matlab2014a作為實驗軟件平臺，并使用Opencv3.0數(shù)字圖像處理庫，計算機硬件配置為：Intel?i7-7700@2.6 GHz、內(nèi)存8 GB。

3.1 抗模糊變化實驗

電力巡線無人機在高空中拍攝輸電線路時，可能會有霧霾、噪聲等影響圖像質(zhì)量，降低了圖像的清晰度，對圖像4（a）高斯模糊處理以衡量算法的抗模糊變化能力。如圖5所示，把圖像分別分為5組，隨著圖像序號增加高斯模糊半徑遞增，圖像的模糊程度增加。

圖6 為SIFT算法、ORB算法、KAZE算法、AKAZE算法、改進(jìn)KAZE和本文所提算法在圖5上實驗得到匹配正確率，由條形圖可看出，隨著圖像模糊程度增加匹配正確率逐漸減小。由條形圖可看出，ORB算法的匹配正確率最低且下降速度最快，本文算法匹配正確率與AKAZE算法差別不大；當(dāng)圖像模糊程度最高時，本文算法匹配正確率比AKAZE算法高8%左右。

圖5 模糊變化圖Fig.5 Fuzzy change diagram

圖6 模糊變化圖像匹配正確率Fig.6 Image matching accuracy of fuzzy variation

表2 為圖5（a）匹配點數(shù)和單點匹配時間，隨著圖像模糊程度的增加，每一種算法的匹配點數(shù)都在減少。由表2可知，SIFT算法得到匹配點數(shù)最多，其次是ORB算法，但這兩種算法的匹配正確率均比較低，魯棒性較差。ORB算法尺度空間和描述符構(gòu)建比較簡單，二進(jìn)制描述符匹配速度較快，故ORB算法單點匹配速度最快。KAZE算法需要迭代計算解非線性方程，而且使用64維浮點型描述符，故匹配速度較慢。改進(jìn)KAZE算法使用FREAK二進(jìn)制描述符[23]代替SURF浮點型描述符，增加算法的匹配效率但降低穩(wěn)定性，故改進(jìn)KAZE算法單點匹配速度優(yōu)于KAZE算法，匹配正確率不及KAZE算法。SIFT算法描述符為128維浮點型，利用歐式距離衡量不同描述符的相似性耗時較長，故效率不佳。本文提出的高斯曲率尺度空間構(gòu)建速度較快，但需要二次構(gòu)建尺度層，多次建立LIOP描述符，ASV-LIOP描述符整型，需要使用歐式距離衡量不同描述符的相似度，故匹配速度最慢。如表2所示，在具有模糊變化圖像匹配中，ORB算法單點匹配速度最快，其次是AKAZE算法，本文所提算法匹配速度最慢。

表2 模糊變化圖像對比結(jié)果Table 2 Comparison of fuzzy change images

3.2 光照魯棒性實驗

為了模擬天氣變幻、拍攝陰影或者時間不同，對電力巡線無人機航拍圖像亮度造成的影響，對圖4（b）的亮度依次下降，變化幅度為10，變化范圍從0到?50。如圖7所示，隨著圖像序號的增加，圖像亮度依次下降。

圖7 光照變化匹配圖像Fig.7 Illumination change matching image

圖8 柱狀圖為各種算法在圖7得到的匹配正確率，由柱狀圖可看出，隨著圖像亮度的增加各種算法的匹配正確率逐漸下降，其中ORB算法下降速度最快，AKAZE算法次之。本文所提算法在亮度差最大時，匹配正確率仍高于60%，且隨著亮度下降，所提算法的下降速率不超過10%。

圖8 光照變化圖像匹配正確率Fig.8 Image matching accuracy of illumination change

SIFT算法、ORB算法、KAZE算法、AKAZE算法和改進(jìn)KAZE算法均需建立特征采樣區(qū)域主方向，然后把描述符旋轉(zhuǎn)至主方向位置，才可進(jìn)行特征匹配，但是當(dāng)光照條件較差時，特征采樣區(qū)域的梯度較小，建立的主方向不具有較好的區(qū)分性，會導(dǎo)致匹配算法的精度下降。所提ASV-LIOP算法先對特征采樣區(qū)域像素按照強度排序，然后建立索引表編碼得到LIOP描述符，最后在多種尺度下建立ASV-LIOP描述符，該描述符對光照變化敏感度較低，與SIFT、AKAZE等算法相比，光照魯棒性最強。表3中，本文所提算法匹配點數(shù)相比SIFT算法、ORB算法和AKAZE算法較少，但是匹配正確率越超過這幾種算法。所提算法的描述符構(gòu)建過程較為復(fù)雜，故單點匹配耗時最長，如表3所示。

表3 光照變化圖像對比結(jié)果Table 3 Comparison result of illumination changes

3.3 尺度變化實驗

為了模擬電力巡線無人機飛行高度的變化造成相鄰輸電線路圖像的尺度不同，對圖4（a）圖像乘不同的尺度系數(shù)，然后在中心點位置截取比例圖像，如圖9所示。

圖9 尺度變化匹配圖像Fig.9 Scale change matching image

尺度變化圖像匹配正確率如圖10所示，ORB算法、SIFT算法、KAZE算法、AKAZE算法、改進(jìn)KAZE算法和本文算法的特征提取和描述符建立均在尺度空間中，以上幾種算法具有較好的尺度不變性。所提算法的匹配正確率與AKAZE算法、KAZE算法相差不到5%，相較ORB算法提高了15%左右。

圖10 尺度變化圖像正確匹配率Fig.10 Correct matching rate of scale change images

表4 為上述算法在尺度變化圖像上的匹配點數(shù)和單點匹配時間，由表4知，SIFT算法的匹配點數(shù)最多，ORB算法其次，KAZE算法匹配點數(shù)最少。ORB算法匹配點數(shù)雖多，但是匹配正確率較低，故魯棒性較差。所提算法的匹配點數(shù)相較SIFT算法少，但是匹配正確率遠(yuǎn)超過SIFT算法。所提算法的匹配正確率與KAZE算法、AKAZE算法相差較小，但匹配點數(shù)遠(yuǎn)超過KAZE和AKAZE算法。所提算法單點匹配耗時最長，約為8.1 ms。

表4 尺度變化圖像對比結(jié)果Table 4 Comparison of images with scale change

3.4 旋轉(zhuǎn)不變性實驗

為了模擬電力巡線無人機在高空中航向或者云臺角度的變化，對圖4（b）順時針依次旋轉(zhuǎn)15°得到旋轉(zhuǎn)圖像，然后以中心點截取部分圖像，得到圖11。

圖11 角度變化部分匹配圖像Fig.11 Angle change of partial matching image

ORB算法、SIFT算法、KAZE算法、AKAZE算法和改進(jìn)KAZE算法為了滿足旋轉(zhuǎn)不變性，均需要為描述符建立主方向，而相同特征采樣區(qū)域建立的主方向可能具有差異，會造成同一特征描述符的距離增加，誤判為錯誤匹配點。所提ASV-LIOP描述符，不需要建立特征采樣區(qū)域主方向，本身具有旋轉(zhuǎn)不變性，故對具有旋轉(zhuǎn)圖像的匹配效果較好，故匹配正確率最高，如柱狀圖12。

圖12 角度變化圖像正確匹配率Fig.12 Correct matching rate of angle change images

表5 統(tǒng)計了旋轉(zhuǎn)圖像匹配點數(shù)和單點匹配時間，SIFT算法匹配點數(shù)最多，ORB算法次之，KAZE算法匹配點數(shù)最少。對于旋轉(zhuǎn)變化圖像，ORB算法匹配點數(shù)雖多，但匹配正確率最低；所提算法匹配點數(shù)相較ORB算法少，但是匹配正確率高于ORB算法7%左右。

表5 角度變化圖像對比結(jié)果Table 5 Comparison of angle change images

4 結(jié)束語

本文提出一種基于高斯曲率濾波的電力巡線無人機航拍圖像匹配方法，首先使用保邊性更好高斯曲率濾波算法構(gòu)建金字塔，然后用FAST算法檢測特征點，再對金字塔二次建立尺度空間并提取每層尺度空間內(nèi)特征點的LIOP描述符，隨后對不同尺度層上LIOP描述符兩兩做差，再設(shè)置閾值二值化差值LIOP，最后累加得到ASV-LIOP描述符。實驗表明：本文算法的穩(wěn)定性比傳統(tǒng)算法更強，可獲得較多的正確匹配點。在進(jìn)一步的工作中，在不影響算法的魯棒性前提下，進(jìn)一步提高算法的匹配效率。