程 健，閆鵬鵬,，郁華森，史夢陽，肖洪飛

(1.煤炭科學(xué)研究總院 礦山大數(shù)據(jù)研究院，北京 100013；2.煤炭資源高效開采與潔凈利用國家重點實驗室，北京 100013；3.中國礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116；4.首都醫(yī)科大學(xué) 生物醫(yī)學(xué)工程學(xué)院，北京 100069)

0 引 言

近年來，隨著大數(shù)據(jù)、云計算和人工智能的快速融合發(fā)展[1]，以及相關(guān)軟硬件研發(fā)的突破創(chuàng)新，煤礦智能化已經(jīng)成為煤炭行業(yè)發(fā)展的重大戰(zhàn)略方向[2]。而圖像和視頻作為煤礦智能化中智能感知要素[3]，目前已逐漸應(yīng)用于煤礦的日常生產(chǎn)活動中，在煤礦巷道機(jī)器人導(dǎo)航和地圖構(gòu)建[4]、三維可視化[5]、人員識別[6]、巷道視頻圖像拼接[7]等方面有著廣泛的應(yīng)用。使用煤礦巷道的圖像進(jìn)行圖像拼接，獲得巷道的全景圖，是實現(xiàn)煤礦巷道的三維重建、可視化以及數(shù)字模型建立等方面研究的基礎(chǔ)性工作。作為計算機(jī)視覺領(lǐng)域最經(jīng)典的算法之一，圖像拼接步驟一般包括[8]：圖像預(yù)處理、圖像配準(zhǔn)、圖像融合。其中圖像配準(zhǔn)是圖像拼接的關(guān)鍵與核心[9]，一般分為基于區(qū)域的配準(zhǔn)方法和基于特征的配準(zhǔn)方法，相較于基于區(qū)域的配準(zhǔn)方法，基于特征的配準(zhǔn)方法計算效率高、魯棒性好、場景適應(yīng)性強(qiáng)。對于基于特征的配準(zhǔn)方法[10]，圖像配準(zhǔn)的質(zhì)量與圖像特征匹配點精度息息相關(guān)。由于煤礦井下巷道場景復(fù)雜、光照不均衡，重疊區(qū)域特征點匹配錯誤率較高，對于經(jīng)典的隨機(jī)采樣一致性RANSAC(RANdom SAmple Consensus)算法[11]及其改進(jìn)融合算法[12-15]，雖在一定程度上剔除了一些誤匹配點，提高剔除結(jié)果的精度，但是誤匹配點仍然很多，主要表現(xiàn)為受煤礦巷道復(fù)雜場景影響其特征點的描述子很相近，但相應(yīng)匹配點在圖像中的位置相差甚遠(yuǎn)，使得這些算法在煤礦巷道圖像拼接中的實際效果較差。

文獻(xiàn)[16]提出了一種基于圖論的誤匹配剔除方法，盡管其可以有效剔除誤匹配點，但其模型復(fù)雜度高，實時性低；文獻(xiàn)[17]使用點特征和線特征共同約束下的特征匹配，提高了影像的配準(zhǔn)精度，但直線特征的帶入增加了描述子復(fù)雜性，也使得該算法有一定的局限性；文獻(xiàn)[18]引入了一種有向線段匹配方法，通過對特征點建立的有向線段進(jìn)行線段特征描述與匹配，盡管有效提高了匹配正確率，但其增加了算法復(fù)雜性，但其構(gòu)造有向線段輔助進(jìn)行誤匹配剔除的思路卻值得借鑒。上述方法雖然有效地剔除了誤匹配點，但卻增加了模型和算法的復(fù)雜度，而煤礦巷道圖像具有一定的像素數(shù)量，就使得算法實時性和魯棒性較差。鑒于以上問題，為保證算法的實時性和魯棒性；文獻(xiàn)[19]利用圖像匹配點之間的幾何約束來剔除誤匹配點，大幅簡化了算法的步驟和復(fù)雜度，但是其僅僅考慮了匹配點之間連線的幾何屬性，不夠全面，同時該算法對初始匹配點的要求較高，而煤礦巷道圖像的初始匹配點誤匹配點率較高，因此該算法不適用；文獻(xiàn)[20]通過計算每對匹配點連線的斜率和長度，并定義標(biāo)準(zhǔn)分組邊界SGB(Standard Grouping Boundary)對其進(jìn)行分組，再定義置信橢圓邊界CEB(Confidence Elliptical Boundary)剔除在橢圓邊界外的離群點，以此剔除斜率距離大于閾值的匹配點對，該思路對本文也有一定的借鑒意義。鑒于以上問題，建立圖像匹配點有向線段模型保證算法的實時性要求，同時引入圖像內(nèi)特征點有向線段模型，使得算法更加全面，更加有效剔除誤匹配點。為不增加算法的復(fù)雜度，算法僅利用有向線段的固有屬性方向(斜率)和長度來作為剔除誤匹配的約束條件，使得算法的計算量，復(fù)雜度大幅降低，從而保證了算法的實時性和魯棒性。盡管基于有向線段模型的誤匹配剔除方法，使得匹配點的錯誤率有一定程度上的降低，但是卻使得重疊區(qū)域的匹配點數(shù)量變少，又加上選取的圖像具有一定的視差，致使最后的圖形拼接結(jié)果易出現(xiàn)重影和投影失真[21]。面對以上問題，考慮到全局單應(yīng)性矩陣在視差大的圖像拼接的局限性，文獻(xiàn)[22]提出了雙平面的圖像拼接算法，通過分別計算2個平面的單應(yīng)變換，更好地配準(zhǔn)圖像；文獻(xiàn)[23]進(jìn)而提出了一種局部單應(yīng)性對齊的APAP(As-Projective-As-Possible)算法，通過將圖像網(wǎng)格化，對每個網(wǎng)格使用單應(yīng)矩陣對齊，并提出了一套高效計算方法Moving-DLT(Moving Direct Linear Transformation)，在一定程度上解決了圖像重影和幾何錯位問題；文獻(xiàn)[24]在APAP算法基礎(chǔ)上，以局部單應(yīng)矩陣為主，結(jié)合非重疊區(qū)域單應(yīng)矩陣線性化和全局相似變換矩陣來約束圖像變形，消除了投影失真現(xiàn)象，得到了觀感更好的全景拼接圖。文獻(xiàn)[25]將圖像超像素化，使用最優(yōu)單應(yīng)性使得每個超像素變形誤差最小，并引入扭曲殘差，使其自適應(yīng)確定超像素區(qū)域的權(quán)重，但其對于大尺寸圖像超像素區(qū)域較多，且每個區(qū)域參數(shù)較多，導(dǎo)致最后算法運(yùn)行時間大大增加。

針對煤礦巷道復(fù)雜場景圖像拼接，由于煤礦巷道圖像光照不均衡，場景相似性較高，容易產(chǎn)生誤匹配點，而且圖像拼接對誤匹配點比較敏感。因此，建立圖像特征點的有向線段模型，使用有向線段的固有屬性來剔除誤匹配點，可以有效剔除場景相似性高但幾何位置完全不同的圖像匹配點和特征點，從而減少了誤匹配點，之后建立圖像網(wǎng)格模型，再結(jié)合利用得到的精匹配結(jié)果計算局部單應(yīng)矩陣和全局相似變換矩陣，來約束網(wǎng)格變形，最終得到觀感和效果更好的全景拼接圖。

1 特征點有向線段的數(shù)學(xué)模型

特征匹配后得到的匹配點精度對圖像配準(zhǔn)及拼接的質(zhì)量有著很大的影響。而對于特征匹配來說，一般情況正確匹配點在數(shù)量上是遠(yuǎn)大于誤匹配點，因此剔除誤匹配點對圖像配準(zhǔn)中依靠特征點求取圖像變換模型有著很大的意義。使用SIFT算法和歐式距離匹配方法[26]，得到n組粗匹配點對，并以此得到參考圖像I1和待配準(zhǔn)圖像I2對應(yīng)匹配特征點的齊次化坐標(biāo)D1、D2。然后建立特征點的有向線段模型，對粗匹配點進(jìn)行精匹配，獲得質(zhì)量和效果更好的匹配點。

1.1 有向線段模型的構(gòu)造思路

在2張圖像沒有較大的尺度變化和旋轉(zhuǎn)變換的情況下，將2張同尺寸的圖像左右放置在一個窗口中，對圖像間匹配點和圖像內(nèi)所有特征點建立有向線段模型。對于相鄰有重疊區(qū)域的2張圖像來說，其特征匹配點分布一般具有如下規(guī)律：①圖像間對應(yīng)特征點有向線段關(guān)系基本呈平行關(guān)系；②圖像間對應(yīng)特征點有向線段長度也基本分布在同一區(qū)間內(nèi)；③參考圖像特征點有向線段方向和待配準(zhǔn)圖像有向線段方向基本是相同的。

對于圖像間匹配點有向線段模型來說，通常圖像間的重疊區(qū)域是呈左右分布和上下分布，因此不會出現(xiàn)匹配點之間的連線為垂直情況，即該線段的斜率為正負(fù)無窮大的情況。所以可以統(tǒng)計對應(yīng)匹配點連線的斜率，建立統(tǒng)計分布柱形圖，取柱形圖中斜率分布集中的區(qū)間作為剔除誤匹配點的閾值區(qū)間。而線段的長度關(guān)系可以用距離的平均值來約束，給定一個區(qū)間來剔除不符合的匹配點。

對于圖像內(nèi)特征點有向線段模型來說，可以建立以特征點為原點的方向坐標(biāo)系，以方向坐標(biāo)系的四象限區(qū)域分為4個方向，以此作為有向線段方向匹配的量化指標(biāo)。若一組有向線段方向不匹配，則將其2對匹配點都?xì)w于誤匹配點中，待所有有向線段匹配完后，就得到所有匹配點對的誤匹配點統(tǒng)計次數(shù)值。最后依靠誤匹配點統(tǒng)計次數(shù)值來建立概率統(tǒng)計模型，剔除其中概率大對應(yīng)的匹配點對，以此達(dá)到剔除誤匹配點的目的。

1.2 圖像間匹配點有向線段模型的建立

圖像間匹配點有向線段模型如圖1所示，其中[A,a]、[B,b]、[C,c]、[D,d]、[E,e]、[F,f]是圖像特征匹配后得到的粗匹配點對，[B,b]、[C,c]是正確匹配點，其他的為錯誤匹配點。以圖1為例，圖像匹配點有向線段剔除誤匹配點思路可簡單概括為：以斜率閾值區(qū)間可以剔除[D,d]、[F,f]，而長度約束即可剔除[A,a]、[E,e]，達(dá)到剔除誤匹配點的目的。而其數(shù)學(xué)模型的建立過程如下：

(1)

(2)

其中：i∈(1,n)。由式(1)和式(2)可構(gòu)造圖像間匹配點有向線段模型：

(3)

圖1 圖像間匹配點有向線段示意Fig.1 Schematic of directed line segment of matching points between images

圖2 圖像內(nèi)特征點有向線段示意Fig.2 Schematic of directed line segment of feature points in image

其中：Iw為圖像的寬度，參考圖像I1和待配準(zhǔn)圖像I2的尺寸相同，高都為Ih(對應(yīng)坐標(biāo)的y值)，寬都為Iw(對應(yīng)坐標(biāo)的x值)。由式(3)可得，每一條有向線段斜率計算公式如下：

(4)

為準(zhǔn)確找到斜率閾值區(qū)間，并根據(jù)圖像匹配經(jīng)驗可知，圖像匹配有向線段的斜率大小大致在區(qū)間[-1,1]中，因此將斜率區(qū)間負(fù)無窮大到正無窮大劃分為22個區(qū)間，區(qū)間分別為[-∞,-1.0]、[-1.0,-0.9]、[-0.9,-0.8]、…、[0.8,0.9]、[0.9,1.0]、[1.0,+∞]。對應(yīng)劃分的22個區(qū)間，構(gòu)造統(tǒng)計分布數(shù)組：

(5)

其中：h為行數(shù)；l為列數(shù)。其中第一行放置各區(qū)間的右邊界，第二行放置落在各區(qū)間的統(tǒng)計數(shù)量。待所有有向線段斜率統(tǒng)計完畢后，可得到數(shù)量最多區(qū)間sm，并結(jié)合式(5)進(jìn)而求得斜率閾值區(qū)間[f1,f2]如下所示：

(6)

其中：lm為斜率統(tǒng)計數(shù)量最多的sm對應(yīng)的列數(shù)?？紤]到待配準(zhǔn)圖像相對于參考圖像可能有稍微的尺度變化和旋轉(zhuǎn)變換，為保證不會剔除正確匹配點，將斜率閾值區(qū)間左右都向外擴(kuò)展0.1。

(7)

(8)

有向線段長度約束針對的是經(jīng)斜率閾值區(qū)間剔除后的dp，有向線段長度用兩點間的歐式距離表示，為方便運(yùn)算，之后判斷誤匹配點即用該歐式距離的平方表示：

(9)

式中：j∈(1,p)。由式(9)可得長度約束如下：

(10)

經(jīng)過有向線段固有屬性斜率和長度約束，得到k對新匹配點對，結(jié)合式(7)、式(8)和式(10)，最終得到是正確匹配點在原始坐標(biāo)集合中的索引值dk：

(11)

1.3 圖像內(nèi)特征點有向線段模型的構(gòu)建

按照上節(jié)得到的新匹配點，其對應(yīng)的坐標(biāo)集合表示為：

(12)

(13)

式中：i∈(1,k)。

圖像內(nèi)特征點有向線段模型如圖2所示，其中[B,b]、[C,c]、[G,g]、[H,h]、[I,i]是經(jīng)過有向線段固有屬性斜率和長度約束得到的匹配點，其中[B,b]、[C,c]、[I,i]為正確匹配點，[G,g]、[H,h]為誤匹配點。

以圖2為例，圖像內(nèi)特征點有向線段剔除誤匹配點的思路表現(xiàn)為：建立如圖3以特征點為原點的方向坐標(biāo)系，其中、、、分別代表一個方向和坐標(biāo)系4個象限一一對應(yīng)，以此來確定有向線段的方向標(biāo)簽；可以得出有向線段、方向是不同的，、、方向是相同的；在已知[B,b]、[C,c]為正確匹配點的前提下，可知[G,g]、[H,h]為誤匹配點；但在實際過程中不知道正確匹配點和誤匹配點到底是哪些，因此要構(gòu)造一個概率統(tǒng)計模型，統(tǒng)計每個匹配點被定義為誤匹配點的數(shù)量及對應(yīng)概率，以此來剔除誤匹配點。

圖3 方向坐標(biāo)系Fig.3 Directional coordinate system

以式(12)和式(13)構(gòu)建圖像內(nèi)特征點有向線段模型：

(14)

式中：i∈(1,k-1)，j∈(i+1,k)。

(15)

(16)

以此標(biāo)簽來作為有向線段的匹配條件，綜合式(15)和式(16)可得有向線段模型為

(17)

由于誤匹配點占總匹配點少數(shù)，且正確匹配點事先并不知道，因此通過統(tǒng)計每對匹配點被劃分為誤匹配點的次數(shù)來判斷該匹配點是否為誤匹配點。則建立數(shù)量統(tǒng)計矩陣G∈R2×k：

(18)

式中：i∈(1,k)。

G的計算過程如下：

1) 首先初始化G矩陣第2行全部為0。

3) 輸出數(shù)量統(tǒng)計矩陣G。數(shù)量統(tǒng)計矩陣G中放置的是每對匹配點被判別為誤匹配點的次數(shù)，由此得到每對匹配點對應(yīng)的概率統(tǒng)計模型：

(19)

式中：i∈(1,k)。

對于式(19)的概率統(tǒng)計模型，設(shè)定閾值Tp，閾值的確定見第3.2節(jié)式(25)。如果某對匹配點的概率大于該閾值，則說明其為誤匹配點，則就可以得到l個在dk中的正確匹配點索引值。

(20)

式中：i∈(1,k)。

由式(11)和式(20)，則就可以得到l個在原始坐標(biāo)集合中的正確匹配點索引值dl。

(21)

結(jié)合式(1)、式(2)和式(21)，可以得到正確匹配點的坐標(biāo)值為：

(22)

2 圖像配準(zhǔn)及融合

得到參考圖像I1和待配準(zhǔn)圖像I2的精確匹配點后，盡管剔除了誤匹配點，但是總體用于拼接圖像的匹配點對變少了，最后的拼接圖像極易出現(xiàn)投影失真的問題。為減少待配準(zhǔn)圖像的投影失真，進(jìn)而得到觀感更好的煤礦井下巷道的圖像拼接結(jié)果，采取AANAP算法解決圖像拼接過程的投影失真問題。

完整的圖像拼接流程則如圖4所示。其中在得到圖像的粗匹配點后，建立有向線段模型對圖像匹配點進(jìn)行兩次精匹配，盡可能剔除其中的誤匹配點，使之后的圖像變換盡可能準(zhǔn)確；然后利用AANAP算法，減少因匹配點對減少而導(dǎo)致的投影失真，最后對全景拼接圖加權(quán)融合得到觀感更好的拼接圖。

圖4 圖像拼接流程圖Fig.4 Image stitching flow chart

AANAP算法具體步驟如下：首先求得全局單應(yīng)性矩陣，得到對應(yīng)的全景拼接圖；再對該圖像劃分網(wǎng)格，利用Moving DLT算法，對每一個網(wǎng)格賦予高斯權(quán)重，獲得每個網(wǎng)格的局部單應(yīng)性矩陣；為了避免非重疊區(qū)域圖像的投影失真，對于非重疊區(qū)域內(nèi)的局部單應(yīng)性矩陣使用已知的錨點和矩陣的泰勒級數(shù)對其實行線性化；然后將全局相似矩陣和局部單應(yīng)性矩陣(包括已線性化的)按照一定的權(quán)重融合起來，得到兩個圖像新的局部單應(yīng)性矩陣；最終以局部單應(yīng)性矩陣投影并對齊圖像，達(dá)到圖像配準(zhǔn)的目的。

圖像融合算法[27]采用經(jīng)典的加權(quán)平均法來融合圖像，消除圖像間的亮度和紋理差異。

(23)

式中：I1和I2為參考圖像和待配準(zhǔn)圖像；R1為圖像I1的非重合區(qū)域；R2為圖像I1和圖像I2的重合區(qū)域；R3為圖像I2的非重合區(qū)域；w1和w2為加權(quán)值，且w1+w2=1，w1,w1∈(0,1)。

3 試驗結(jié)果及分析

針對該誤匹配點剔除方法，采用了煤礦井下巷道圖像(圖5)進(jìn)行試驗，并將該誤匹配算法和RANSAC算法進(jìn)行比較，并采用AANAP算法對其匹配性能和拼接精度進(jìn)行了定量評價和分析。

圖5為煤礦巷道具有一定視差的2張圖像，其中左邊為參考圖像，右邊為待配準(zhǔn)圖像，圖像尺寸均為2 448×3 264，為加快運(yùn)算速度，減少圖像噪聲的影響，圖像輸入為原來的四分之一，即1 224×1 632。算法是在臺式計算機(jī)上運(yùn)行的，其運(yùn)行環(huán)境：CPU為Intel(R) Core(TM)i5-7400 /2.20 GHz；內(nèi)存為8 GB；操作系統(tǒng)為64位Windows10操作系統(tǒng)。

圖5 煤礦井下巷道圖像Fig.5 Images of underground tunnel in coal mine

3.1 評價指標(biāo)

1)主觀評價。主觀評價是以觀測者的主觀感受作為圖像配準(zhǔn)的質(zhì)量體現(xiàn)。采用的主觀評價準(zhǔn)則為國際無線電咨詢委員會制訂的CCIR500-1主觀評價標(biāo)準(zhǔn)[28]，見表1。

表1 CCIR500-1主觀評價5級標(biāo)準(zhǔn)

2)客觀評價。運(yùn)行速度：使用算法的運(yùn)行時間來判斷算法的實時性效果。

均方根誤差RMSE(Root Mean Square Error)：參考圖像和待配準(zhǔn)圖像兩者經(jīng)過圖像配準(zhǔn)后之間的距離度量，RMSE值越小，說明配準(zhǔn)后兩者距離越小，配準(zhǔn)精度越高，圖像配準(zhǔn)效果越好。反之，則圖像配準(zhǔn)效果就越差。RMSE計算公式如下：

(24)

3.2 特征匹配點精匹配試驗過程

特征匹配點精匹配對于后續(xù)圖像配準(zhǔn)過程中的圖像變換模型起著至關(guān)重要的作用，在進(jìn)行精匹配之前，首先需要對得到的原始特征點進(jìn)行匹配，得到粗匹配點對(圖6)，然后在此基礎(chǔ)上對其進(jìn)行精匹配試驗，并對比最后的拼接圖。

圖6 粗匹配點匹配圖Fig.6 Coarse matching point matching diagram

常用的剔除誤匹配RANSAC算法的核心是：通過多次迭代剔除外點，找到內(nèi)點數(shù)量最多對應(yīng)的最優(yōu)變換模型。其中最小點對數(shù)目和迭代值需要人為經(jīng)驗選定，若特征點數(shù)目較多，將導(dǎo)致算法時間成本較高。同時煤礦巷道的圖像光照不均衡，而特征描述方法是以特征點鄰域來設(shè)定的，致使有些匹配點的特征點特征描述子相似，但其實兩者位置相差甚遠(yuǎn)。圖7為使用RANSAC算法后得到的特征點匹配圖和全景拼接圖，可以明顯看到拼接圖中缺失了一部分，即得到的圖像變換模型出現(xiàn)了較大的偏差，圖8是RANSAC精匹配后仍存在的誤匹配局部放大圖，其中用紅圓圈和紅矩形框起來的是一對誤匹配點。

圖7 RANSAC精匹配結(jié)果Fig.7 RANSAC fine matching results

為解決RANSAC算法的缺陷，剔除如圖8所示的誤匹配點。以1.1節(jié)中提出的特征匹配點的3條規(guī)律，可以對得到的粗匹配點(圖6)進(jìn)行2次精匹配，以期剔除誤匹配點，進(jìn)而得到質(zhì)量更好的匹配點。一次精匹配主要內(nèi)容(圖1)：以每對匹配點構(gòu)成有向線段的斜率閾值區(qū)間和長度約束來剔除誤匹配點。

圖8 RANSAC誤匹配局部放大圖Fig.8 RANSAC mismatches schematic diagram

圖9 斜率區(qū)間統(tǒng)計分布Fig.9 Statistical distribution of slope interval

圖9為斜率區(qū)間統(tǒng)計分布圖。其對應(yīng)的區(qū)間見表2。由圖9和表2得知，橫軸上17對應(yīng)的區(qū)間[0.5,0.6]匹配點的數(shù)量最多，即所有匹配點構(gòu)成的有向線段斜率落在此區(qū)間內(nèi)的最多，結(jié)合式(5)和式(6)可以得到斜率閾值區(qū)間為[0.4,0.7]。以此區(qū)間對粗匹配點進(jìn)行誤匹配點剔除，匹配結(jié)果如圖10所示。

表2 斜率區(qū)間索引值對應(yīng)區(qū)間

圖10 斜率閾值區(qū)間約束匹配圖Fig.10 Slope threshold interval constraint matching diagram

從圖10中可以明顯看到有一根線長度較長，且其匹配點分別處于重疊區(qū)域和非重疊區(qū)域內(nèi)，這顯然是錯誤的。因此在斜率閾值空間的基礎(chǔ)上附以長度約束將不符合約束的匹配點剔除，得到一次精匹配結(jié)果如圖11所示，其中圖11a為特征匹配點圖，圖11b為一次精匹配得到的全景拼接圖。

圖11 一次精匹配結(jié)果Fig.11 Results after first fine match

從圖11b可以得知，盡管圖像無較大投影失真和重影，但是待配準(zhǔn)圖像出現(xiàn)了不規(guī)則變形，使得圖像觀感和質(zhì)量較差。說明一次精匹配后得到新的匹配點對中仍存在部分誤匹配點，且對最后的全景拼接圖有著很大的影響。因此構(gòu)建圖像內(nèi)特征點有向線段對匹配點進(jìn)行二次精匹配。由式(20)—式(22)可知，二次精匹配的效果和閾值Tp的選擇息息相關(guān)。由于不同圖像其可能對應(yīng)的值各不相同，因此不能確定成某一固定數(shù)值，即選定所有匹配點概率的平均值作為閾值：

(25)

將式(25)代入式(22)，可以得到最終的正確匹配點坐標(biāo)值。圖12是經(jīng)過一次精匹配和二次精匹配后得到的結(jié)果，其中圖12a為特征匹配點圖，相較于RANSAC算法得到的匹配圖來說，匹配點的數(shù)目較少；圖12b為得到的全景拼接圖，相較于RANSAC算法下的全景拼接圖，圖像無缺失，無不規(guī)則變形，即拼接圖的觀感自然度更好；如圖13所示，RANSAC在相應(yīng)黃方框中的誤匹配，該算法中已經(jīng)剔除，足可見本文算法剔除誤匹配的能力更強(qiáng)。

圖12 二次精匹配結(jié)果Fig.12 Results after second fine matching

圖13 相較于RANSAC誤匹配的匹配位置Fig.13 Matching position compared to RANSAC mismatch

表3表示的是使用本文方法和RANSAC得到的正確匹配點對數(shù)量，同時對兩者進(jìn)行了多次試驗，得到算法耗費時間見表4。

表3 特征匹配點對數(shù)量

表4 算法耗費時間

從表3可得在圖像相同的情況下，RANSAC算法得到的匹配點較多，但本文方法得到的匹配點的數(shù)目較少。表4表示的是使用RANSAC算法和本文方法剔除誤匹配進(jìn)行的7次試驗以及其剔除誤匹配耗費的時間。由于程序運(yùn)行時間受計算機(jī)硬件軟件的影響，因此運(yùn)行多次，去除最高值和最低值，求剩下時間的均值；可以得到本文方法運(yùn)算時間快于RANSAC算法，實時性更好。

綜上所述，該方法得到的匹配點準(zhǔn)確度和質(zhì)量較高，實時性較好，在匹配點數(shù)目較少的情況下，所得到的全景拼接圖質(zhì)量和自然度更好。

3.3 圖像拼接對比試驗

綜合上節(jié)結(jié)論可以得出，本文方法剔除誤匹配能力更強(qiáng)，運(yùn)行時間更快，得到的匹配點質(zhì)量更好，在煤礦巷道圖像拼接的效果較RANSAC更好。為判斷本文方法的普適性能，接下來在4組公共數(shù)據(jù)集[16](Carpark、Park、Railtrack、Temple)上進(jìn)行試驗。

圖14、15、16、17是RANSAC算法和本文算法分別在4組公共數(shù)據(jù)集上的處理效果：其中各圖中a圖和b圖是2種方法得到的匹配點圖，可以看出本文方法得到的匹配點數(shù)目比RANSAC算法少很多；c圖和d圖則是在2種方法精匹配完后，輔以AANAP算法后得到4組數(shù)據(jù)集的全景拼接圖，綜合精匹配結(jié)果來看，本文方法在得到匹配點較少的情況下，仍能得到和RANSAC算法相同的結(jié)果，可以得出該方法具有一定的穩(wěn)定性和普適性。

圖14 Carpark數(shù)據(jù)集圖像拼接結(jié)果Fig.14 Image stitching of the Carpark dataset

表5所示的是4組數(shù)據(jù)集和煤礦巷道圖像在2種算法下的匹配點數(shù)目對比，可以看出本文方法得到的匹配點對數(shù)目比RANSAC算法得到的要少很多，但是綜合之前得到的全景拼接圖效果來看，本文方法并不遜色匹配點較多的RANSAC算法，相反，在煤礦巷道的全景拼接圖(圖7和圖12)中，本文算法得到的效果更好，更具觀感自然度。

表5 不同數(shù)據(jù)集匹配點數(shù)量對比結(jié)果

按照3.1節(jié)的評價指標(biāo)，對得到這五組全景拼接圖進(jìn)行主觀評價和客觀評價，得到的結(jié)果如表6所示。可以看出本文方法和RANSAC算法在公共數(shù)據(jù)集上主觀效果一樣，說明本文算法具有一定的普適性，而在煤礦巷道復(fù)雜場景的數(shù)據(jù)集中，本文方法則更適用，得到結(jié)果的效果更好。表7表示的是圖像拼接效果的定量評價指標(biāo)RMSE，從中得知本文方法的RMSE值普遍要比RANSAC的要低，說明了本文方法的圖像配準(zhǔn)精度更高，得到的圖像效果也更佳。

圖15 Park數(shù)據(jù)集圖像拼接結(jié)果Fig.15 Image stitching of Park dataset

圖16 Railtracks數(shù)據(jù)集圖像拼接結(jié)果Fig.16 Image stitching of Railtracks dataset

表6 不同算法在不同數(shù)據(jù)集上的主觀評價結(jié)果

表7 不同算法在不同數(shù)據(jù)集上的RMSE值

4 結(jié) 論

1)提出了一種基于有向線段誤匹配剔除的煤礦巷道圖像拼接方法，并與RANSAC算法拼接結(jié)果進(jìn)行對比。首先利用SIFT算法提取參考圖像和待配準(zhǔn)圖像的特征點，并使用歐式距離來匹配特征點，得到粗匹配點；然后構(gòu)建匹配點和特征點的有向線段模型，利用斜率閾值區(qū)間、長度約束和概率統(tǒng)計模型對粗匹配進(jìn)行兩次精匹配；最后使用AANAP算法實現(xiàn)圖像配準(zhǔn)和加權(quán)融合過程，得到觀感自然度更好的全景拼接圖。

2)試驗結(jié)果表明，在煤礦巷道圖像拼接中，依靠較少的匹配點實現(xiàn)了比RANSAC算法更好的結(jié)果，表明本文方法更適用于煤礦巷道復(fù)雜場景的圖像拼接；而在公共數(shù)據(jù)集中，本文方法和RANSAC算法得到的圖像拼接結(jié)果大同小異，效果相似，更說明了該方法有一定的普適性。

3)該方法從特征點最基本性質(zhì)出發(fā)，避免了煤礦巷道圖像場景特殊性的限制，達(dá)到了有效剔除誤匹配點的效果，得到更為精確的圖像變換模型，同時運(yùn)行時間更快，具有更高的匹配準(zhǔn)確率和實時性。

由于本文所提方法使用了斜率閾值區(qū)間作為剔除誤匹配的基礎(chǔ)，因此對于圖像之間存在大角度的旋轉(zhuǎn)變換和大尺度的縮放變換的處理效果不是很理想，同時由于AANAP算法自身缺陷，運(yùn)行時間較長，導(dǎo)致圖像拼接整體算法的實時性較差。下一步的研究重點是在圖像預(yù)處理階段消除圖像的大角度旋轉(zhuǎn)和大尺度的縮放，以及改進(jìn)AANAP算法使得圖像拼接過程更快，并進(jìn)一步優(yōu)化提升本文算法魯棒性和穩(wěn)定性。