摘 要:寬基線或大視角圖像間多匹配模型的估計是圖像處理中一項非常有挑戰(zhàn)性的任務。現(xiàn)有算法雖然能較好估計圖像間的多匹配模型及其內(nèi)點集,但是其結(jié)果容易出現(xiàn)匹配對錯誤分配的問題。為了精確估計圖像間的多匹配模型從而分配匹配對,提出一種基于同模型匹配點聚集的圖像多匹配模型估計算法(AMPSM)。首先,為提升正確匹配對占比,根據(jù)近鄰區(qū)域內(nèi)正確匹配對的分布特點對錯誤匹配對進行過濾;然后,根據(jù)匹配點所屬不同匹配模型程度查找疑似的多模型的交集點,即干擾點,同時,為了降低干擾點對匹配對分類精度的影響,將其去除;之后,為了提高同模型匹配點的聚集程度,根據(jù)抽樣過程中同模型內(nèi)點與其點集重心的距離動態(tài)移動位置;最后,通過基于高斯核的Mean Shift算法對聚集后的匹配點分類,進而得到多匹配模型。將所提算法分別與基于經(jīng)典框架的算法RANSAC、PROSAC、MAGSAC++、GMS、AdaLAM、PEARL、MTC、Sequential RANSAC和基于深度學習的算法SuperGlue、OANet、CLNet、CONSAC等進行比較,結(jié)果表明該方法內(nèi)點率可提高30%以上,多模型估計的錯分率可降低8.39%以上,即所提方法在錯誤匹配對過濾和多模型估計等方面具有顯著優(yōu)勢。
關鍵詞:圖像匹配; 多模型估計; 抽樣一致性; 聚集
中圖分類號:TP249 文獻標志碼:A
文章編號:1001-3695(2024)10-042-3173-10
doi:10.19734/j.issn.1001-3695.2023.12.0638
Image multi-matching model estimation algorithm based onaggregation of matching points of same model
Wang Weijie1, Wei Ruoyan1, Zhu Xiaoqing2
(1.School of Management Science & Information Engineering, Hebei University of Economics & Business, Shijiazhuang 050061, China; 2.Faculty of Information Technology, Beijing University of Technology, Beijing 100124, China)
Abstract:The estimation of multiple matching models between wide baseline or large angle images is a quite challenging task in image processing. The existing algorithms can be used to estimate multiple matching models and their inliers between images well, but their results are prone to matching pairs mis-classification issues. In order to accurately estimate the multiple matching models and allocate matching pairs, this paper proposed an image multi-matching model estimation algorithm based on the aggregation of matching points of the same model(AMPSM). Firstly, for improve the proportion of correct matching pairs, it filtered out incorrect matching pairs based on the distribution characteristics of correct matching points in the neighboring region. Furthermore, based on the different matching model degrees to which the matching pairs belong, searched for the suspected intersection matching pairs of multiple models, that was interference matching pairs. Meantime, for reducing the impact of interference matching pairs on the accuracy of matching classification, they were removed. Afterwards, for improve the clustering degree of matching points with the co-model, the position was dynamically moved based on the distance between the points within the same model and the center of gravity of the point set during the sampling process. Finally, classifying clustered matching points by Mean Shift to obtain a multi matching model. And the proposed method was compared with classical framework based algorithms RANSAC, PROSAC, MAGSAC++, GMS, AdaLAM, PEARL, MTC, Sequential RANSAC, and deep learning based algorithms SuperGlue, OANet, CLCNet, CONSAC, etc. Results indicate over 30% increase in the inlier rate, 8.39% reduction in the mis-classification rate of multi model estimation. It is concluded that the new algorithm has significant advantages in incorrect matches filtering and multi-model estimation.
Key words:image matching; multi-model estimation; sample consistency; aggregation
0 引言
圖像匹配是機器視覺領域的關鍵技術(shù),廣泛應用于三維重建、定位與地圖構(gòu)建以及飛行器導航等領域[1]。圖像匹配算法根據(jù)是否估計圖像匹配模型,分為非匹配模型估計算法和匹配模型估計算法。匹配模型估計算法根據(jù)圖像間存在的幾何變換模型數(shù)目,分為單模型估計算法和多模型估計算法。
非匹配模型估計算法包括GMS[2]、ACNe[3]、OANet[4]、SuperGlue[5]、CLNet[6]等。GMS算法將圖像劃分為固定數(shù)目的網(wǎng)格,根據(jù)網(wǎng)格中的匹配對數(shù)量過濾錯誤匹配對。ACNe和OANet算法將全局注意力機制和局部注意力機制結(jié)合,在高維空間找到正確匹配對。SuperGlue算法將自注意力機制和交叉注意力機制嵌入圖神經(jīng)網(wǎng)絡,兼顧全局和局部信息過濾錯誤匹配對。CLNet算法為各匹配對動態(tài)構(gòu)建局部圖,根據(jù)全局和局部一致性分數(shù)過濾錯誤匹配對。窄基線或小視角差異的圖像間僅存在平移、旋轉(zhuǎn)以及縮放變化,只需求解最優(yōu)模型,即單模型估計。RANSAC[7]及其衍生算法適用于解決此類問題,包括PROSAC[8]、P-NAPSAC[9]、MAGSAC++[10]、NG-RANSAC[11]、Deep MAGSAC++[12]等。RANSAC算法隨機選取少量匹配對并估計匹配模型,然后回代模型得到內(nèi)點(符合匹配模型的匹配對),內(nèi)點數(shù)目最多的模型為最優(yōu)匹配模型。PROSAC算法使用相似性度量數(shù)值最高的樣本子集進行半隨機抽樣,估計匹配模型,該算法依賴匹配點的描述信息,最壞情況與RANSAC相同。P-NAPSAC算法將NAPSAC和PROSAC相結(jié)合,融入局部和全局采樣的優(yōu)點。MAGSAC++算法不需要計算距離誤差閾值,減少了其對內(nèi)點準確率及精確度的影響。NG-RANSAC算法利用神經(jīng)網(wǎng)絡預測各匹配對權(quán)重,從而過濾錯誤匹配對。Deep MAGSAC++是MAGSAC++算法和NG-RANSAC算法的結(jié)合。寬基線或大視角差異的圖像間存在多個匹配模型,更具有挑戰(zhàn)性。Sequential RANSAC[13]、PEARL[14]、Multi-X[15]、MCT[16]及CONSAC[17]等算法適用于解決此類問題。Sequential RANSAC算法通過重復RANSAC操作得到多匹配模型,時效性較差。PEARL算法通過RANSAC進行初始化,優(yōu)化能量函數(shù)以估計多匹配模型。Multi-X算法將多模型擬合問題轉(zhuǎn)換為全局能量最小化問題,并根據(jù)匹配對分布密度聚集,估計多匹配模型,該算法是PEARL算法的擴展。MCT算法利用幾何約束指導采樣。CONSAC算法根據(jù)已找到的單匹配模型更新采樣權(quán)重來估計多匹配模型。Barath等人[18]專門為多匹配模型估計設計一個新采樣器,逐步找到多個匹配模型,而不形成清晰的匹配對到匹配模型的分配。
隨著深度學習技術(shù)的發(fā)展,基于深度學習的圖像匹配算法順勢而生,但現(xiàn)有的大多數(shù)基于深度學習的圖像匹配算法僅匹配特征點,無法估計匹配模型。現(xiàn)有算法主要有以下問題:a)P-NAPSAC、OANet等算法認為局部區(qū)域內(nèi)的正確匹配對具有相似分布,但當圖像間視角差異過大或縮放明顯時無法確定局部區(qū)域的范圍;b)PROSAC、P-NAPSAC、Sequential RANSAC、AdaLAM[19]等算法利用distance ratio提升正確匹配對占比,進而估計匹配模型,但distance ratio的值需要隨視角差異的增大而趨近于1;c)基于深度學習的匹配算法大多數(shù)僅匹配特征點,無法估計匹配模型,算法效率依賴數(shù)據(jù)集質(zhì)量,數(shù)據(jù)集無法包含所有變化的圖像,并且神經(jīng)網(wǎng)絡模型的訓練時間過長;d)在圖像多匹配模型估計過程中,多匹配模型的交集匹配對會對多模型估計的結(jié)果產(chǎn)生影響。
為解決以上問題,本文提出了一種基于同模型匹配點聚集的圖像多匹配模型估計算法(AMPSM)。針對問題a)b),提出了基于近鄰區(qū)域匹配點同分布的內(nèi)點率提升方法(IREM),該方法根據(jù)正確匹配點在近鄰區(qū)域具有的分布特點對錯誤匹配對進行過濾;針對問題d),提出了基于匹配點動態(tài)抽樣分布特征的干擾點去除方法(DIPR),本文提出“干擾點”概念,并根據(jù)多次迭代中各匹配對所屬內(nèi)點集的點集重心的變化對高疑似的干擾點進行去除;針對問題c),提出了基于同模型匹配點聚集的多模型估計方法(AGSM),抽樣過程中同模型匹配點根據(jù)其與內(nèi)點集重心的距離動態(tài)移動以顯著提高不同模型的匹配點在圖像平面空間中的分離度,然后用基于高斯核的Mean Shift[20]算法對聚集后的數(shù)據(jù)進行區(qū)分,從而得到多模型及所對應的內(nèi)點集。
1 本文方法
1.1 算法流程
本文算法分為三步,分別對應三個創(chuàng)新點:a)提出一種基于近鄰區(qū)域匹配點同分布的內(nèi)點率提升方法(IREM),以達到過濾錯誤匹配對的目的;b)首次提出“干擾點”的概念,并提出一種基于匹配點動態(tài)抽樣分布特征的干擾點去除方法(DIPR),以達到提高多匹配模型估計精度的目的;c)提出一種基于同模型匹配點聚集的多模型估計方法(AGSM),以達到提高同模型匹配點的聚集程度,并降低多匹配模型錯分率的目的。算法流程如圖1所示,其中灰色模塊對應上述三個創(chuàng)新點。
1.2 基于近鄰區(qū)域匹配點同分布的內(nèi)點率提升
文獻[21]中所提方法的原理是保留待匹配的兩幅圖像中正確匹配點的局部鄰域結(jié)構(gòu),即對于旋轉(zhuǎn)、平移變化的圖像,正確匹配點間的距離保持不變,正確匹配點間的局部鄰域結(jié)構(gòu)保持不變。對于大視角差異的圖像,正確匹配點間的距離可能存在顯著變化,但由于匹配點周圍區(qū)域的物理約束,正確匹配點間的局部鄰域結(jié)構(gòu)通常不會自由變化。
文獻[22]中將圖像匹配分為同分布匹配與非同分布匹配。對于同分布匹配,圖像之間的匹配點分布相似,如圖2(a)所示;對于非同分布匹配,匹配圖像之間的比例明顯放大,圖像之間的匹配點分布不同,如圖2(b)所示。
當匹配類型為同分布匹配時,圖像間正確匹配對分布差異較小,如圖2(a)所示,其中黑點為正確匹配點,藍點為錯誤匹配點。正確匹配對為(aL,aR)和(bL,bR),錯誤匹配對為(cL,cR)和(dL,dR),因此,|aLbL-aRbR|≤|cLdL-cRdR|。當匹配類型為非同分布匹配時,如圖2(b)所示,其中LocalArea為一個局部區(qū)域,圖像間LocalArea的面積明顯不同,所以兩幅圖像的LocalArea內(nèi)正確匹配對間的距離分布差異較大。令pi(i=1,2,…,n)為一幅圖像的n個匹配點,lKuv=|pKu-pKv|,1≤u,v≤n,u≠v,K=L,R為圖像中任意兩個正確匹配點間的距離,其中,L和R表示左圖和右圖。若lLuv=γlRuv,且γ∈[0.9,1.1],則兩幅圖像為同分布匹配,否則為非同分布匹配,如圖2所示。
令pi(i=1,2,…,n)為一幅圖像的n個匹配點,l=|pu-pv|,1≤u,v≤n,u≠v為任意兩個匹配點間的距離,p(l)=numl/C2n為數(shù)值為l的距離的概率,其中numl為數(shù)值是l的距離數(shù)目,C2n為圖像中的距離數(shù)目。當匹配點數(shù)目足夠多,即匹配點間的距離數(shù)值足夠多,且匹配點之間的距離分布未知時,可以認為匹配點之間的距離l的分布為正態(tài)分布l~N(μ,σ2),其中μ為匹配點間距離的平均值,σ2為匹配點間距離的方差。令lKco=∑lKuv/numKco,K=L,R為正確匹配點間的平均距離,其中,lKuv為任意兩個正確匹配點間的距離,numKco為正確匹配點間距離的數(shù)目;lKun=∑lKxw/numKun,K=L,R為錯誤匹配點間的平均距離,其中,lKxw為任意兩個錯誤匹配點間的距離或任意一個正確匹配點與一個錯誤匹配點間的距離,numKun為錯誤匹配點間距離的數(shù)目。根據(jù)上述內(nèi)容可知,匹配點間距離的分布服從正態(tài)分布,則min(lKuv)≈min(lKxw),max(lKxw)≥max(lKuv)。由于正態(tài)分布具有對稱性,所以lKco≤lKun,其分布如圖3所示。
a)當兩幅圖像為同分布匹配時,令lmax為最大距離,lLuv=γlRuv,γ∈[0.9,1.1],則|lLuv-lRuv|≤|1-γ|lmax,|lLxw-lRxw|≤lmax,因此,E(|lLuv-lRuv|)≤E(|lLxw-lRxw|),則p(|lLuv-lRuv|<|lLxw-lRxw|)=
p(|lLuv-lRuv|-|lLxw-lRxw|<0)=ΦE(|lLxw-lRxw|)-E(|lLuv-lRuv|)σuv+σxw≥0.5。因此,當兩幅圖像為同分布匹配時:
P(|lLuv-lRuv|<|lLxw-lRxw|)=
Φ(E(|lLxw-lRxw|)-E(|lLuv-lRuv|)σuv+σxw)≥0.5(1)
其中:lLuv和lLxw為左圖中正確匹配點間的距離和錯誤匹配點間的距離;lRuv和lRxw為右圖中正確匹配點間的距離和錯誤匹配點間的距離;σuv和σxw為兩幅圖像中正確匹配點間距離和錯誤匹配點間距離的方差。
b)當兩幅圖像為非同分布匹配,且lLuv=γlRuv,γ∈[1.1,+∞)時,lRuv~N(lRco,sRco),lRxw~N(lRun,sRun),其中,lRco和lRun為右圖正確匹配點的平均距離和錯誤匹配點平均距離,sRco和sRun為右圖正確匹配點的距離方差和錯誤匹配點的距離方差,則
p(lRuv<lRxw)=plRuv-lRxw-(lRco-lRun)sRco+sRun<0-(lRco-lRun)sRco+sRun=ΦlRun-lRcosRco+sRun,由于lRco≤lRun,所以,P(lRco-lRun)≥0.5。當lLuv=γlRuv,γ∈(0,0.9]時,同理可得P(lLco-lLun)≥0.5。因此,當兩幅圖像為非同分布匹配時:
P(lKco-lKun)=ΦlKun-lKcoσKun+σKco≥0.5(2)
其中:lKco為左圖或右圖中正確匹配點間距離的平均值;lKun為左圖或右圖中錯誤匹配點間距離的平均值;σKco為左圖或右圖中正確匹配點間距離的方差;σKun為左圖或右圖中錯誤匹配點間距離的方差。
表1展示三組同分布匹配圖像(Bikes1m2、Boat1m2、Graf1m2)中p(|lLuv-lRuv|<|lLxw-lRxw|)的數(shù)值和三組非同分布匹配圖像(Bark1m5、Boat1m5、Bark1m6)中p(lLuv<lLxw)、p(lRuv<lRxw)的數(shù)值。通過表1可以看出,當圖像間的匹配是同分布匹配時,|lLuv-lRuv|的分布范圍明顯小于|lLxw-lRxw|的分布范圍,且p(|lLuv-lRuv|<|lLxw-lRxw|)的數(shù)值均大于0.5,并且若左圖中任意兩個正確匹配點間距離與右圖中對應的兩個正確匹配點間距離的差值越小,即E(|lLuv-lRuv|)越小,則p(|lLuv-lRuv|<|lLxw-lRxw|)≥0.5的可能性越大。當圖像間的匹配為非同分布匹配時,p(lKuv<lKxw)的數(shù)值均大于0.5,并且若單幅圖像中正確匹配點間的距離越小,即lKco(K=L,R)越小,則p(lKuv<lKxw)≥0.5的可能性越大。
綜上所述,若兩幅圖像間任意兩個正確匹配點間距離的差值越小,即E(|lLuv-lRuv|)越小,則圖像間錯誤匹配點的距離差值大于正確匹配點的距離差值的可能性越大;若單幅圖像中正確匹配點間距離越小,即lKco越小,則圖像內(nèi)錯誤匹配點的距離大于正確匹配點的距離的可能性越大。
根據(jù)上述內(nèi)容可知,近鄰區(qū)域內(nèi)的正確匹配對在空間分布上具有一致性[23~25],即在大視角差異的情況下,同一場景或?qū)ο蟮膱D像間,同一區(qū)域的正確匹配對的局部空間關系被很好地保留。GMS、P-NAPSAC等算法均利用了該性質(zhì)。圖4是正確匹配對位置變化矢量圖,可看出在局部區(qū)域內(nèi),正確匹配對的變化矢量具有較高的方向一致性。
基于上述現(xiàn)象,本文提出了一種基于近鄰區(qū)域匹配點同分布的內(nèi)點率提升方法(IREM),該方法根據(jù)近鄰區(qū)域內(nèi)匹配對的平均距離比值及余弦相似度過濾錯誤匹配對。具體步驟如下:
a)利用近鄰算法搜索匹配對集合U中各匹配點的αL和αR個近鄰點,其中L和R分別表示待匹配的兩幅圖像,一般取αL=αR=10。
b)若各匹配點與兩幅圖中的近鄰點交集非空,則計算近鄰交集點到各匹配點的平均距離,并根據(jù)式(3)(4)更新αL和αR并得到新的近鄰點交集。
γ=dLi/dRi i=1,2,…,n(3)
αL=γαR γ≥1αRγγ<1(4)
其中:dLi為左圖中第i個交集點到各匹配點的平均距離;dRi為右圖中第i個交集點到各匹配點的平均距離;n為搜索的近鄰點的數(shù)目。
c)各匹配點的近鄰點交集取并集得到集合S。
d)圖像網(wǎng)格化。以圖片對角線長度乘以0.05為每個網(wǎng)格的邊長對圖像進行網(wǎng)格化[24],如圖5所示。若網(wǎng)格內(nèi)匹配點的平均距離fku<F,則將其平分為3×3網(wǎng)格。F的計算公式為
F=∑Nv=1fKv/N K=L,R(5)
其中:N為網(wǎng)格數(shù)目。
e)根據(jù)集合S中匹配對的坐標得到位置變化矢量集合PM。根據(jù)式(6)計算各網(wǎng)格中匹配點位置變化矢量的余弦相似度cossimi,若網(wǎng)格中匹配點位置變化矢量數(shù)目小于估計模型所需的最小樣本數(shù)目mmin(基礎矩陣時,mmin=7;單應性矩陣時,mmin=4),則將其周圍9個網(wǎng)格包含進來,若其仍小于mmin,則網(wǎng)格中匹配對被當作錯誤匹配對過濾;否則重新計算余弦相似度cossimi,將均值滿足cossimi≥thre,thre∈[0.8,1.0]的匹配對當作正確匹配對保留,得到過濾后的匹配對集合Q。
cos θ=xi·xj‖xi‖‖xj‖ i=1,…,m; j=1,…,m(6)
其中:xi和xj為匹配點位置變化矢量的坐標;m表示匹配點位置變化矢量的數(shù)目。cos θ∈[-1,1],cos θ的值越接近1,表示兩個匹配點位置變化矢量越相似。
基于近鄰區(qū)域同分布的內(nèi)點率提升方法流程如圖6所示。
1.3 基于匹配點動態(tài)抽樣分布特征的干擾點去除
所有圖像多匹配模型估計算法都將多模型擬合問題轉(zhuǎn)換為尋找不相交的匹配對集合的問題,每個匹配對集合代表一個匹配模型。在某種情況下,一個匹配對符合多個匹配模型,這種現(xiàn)象使問題無法解決[14,17,18]。如圖7(a)所示,當將點分配給單條直線模型(按顏色)時,無法找到所有9個模型,即黑色虛線表示的模型無法找到。當將平面模型擬合為7個點中的4個點時,只能找到一個平面模型[18]。即使人工處理,匹配對到匹配模型的分配也常常不清晰,特別是匹配對集合的交集。如圖7(b)所示,不同顏色匹配對屬于不同匹配模型所在的平面,黑色匹配對屬于多個匹配模型,即黑色匹配對為內(nèi)點集的交集。圖7中,黑點為干擾點,其他不同顏色點為多模型內(nèi)點集,通過觀察可以發(fā)現(xiàn):交集往往位于模型所在平面的交界處。這一現(xiàn)象是客觀存在的,主要原因在于多匹配模型交集區(qū)域的匹配對在不同匹配模型中的距離誤差均小于閾值,即其被認作不同匹配模型的內(nèi)點。
內(nèi)點集的交集在本文中之所以被稱為干擾數(shù)據(jù),主要有以下兩個原因:a)不同的匹配模型數(shù)據(jù)屬于不同類別,干擾數(shù)據(jù)將在多模型估計過程中擾亂匹配數(shù)據(jù)的分類精度,導致模型估計不準確;b)文獻[14,15,26]中利用多匹配模型估計方法對圖像內(nèi)容進行幾何空間估計,該過程中需要計算各模型數(shù)據(jù)點的聚類中心,但干擾數(shù)據(jù)點將使聚類中心發(fā)生偏移,從而影響幾何空間估計效果。文獻[14,17,27]雖然對干擾數(shù)據(jù)的存在和影響有所提及,但沒有提出具體的干擾數(shù)據(jù)去除方案。
若兩幅待匹配圖像間存在多個匹配模型,M={M1,M2,…,Mn}為匹配模型集合,n為匹配模型數(shù)目,I={I1,I2,…,In}為符合各匹配模型的內(nèi)點集。一般認為經(jīng)匹配模型變換后距離誤差小于e的匹配對為該匹配模型內(nèi)點。本文將匹配對集合中符合多個匹配模型的匹配對視為干擾點。例如:Iu和Iv為兩個內(nèi)點集,Iu={(aL,aR),(bL,bR),(cL,cR),(dL,dR),…}和Iv={(cL,cR),(dL,dR),(eL,eR),(fL,fR),…}分別符合匹配模型Mu和Mv,即f(Iu,Mu)≤e,f(Iv,Mv)≤e。相應計算公式為
f(p,M)=
|[pRi,1]T-M[pLi,1]T| M=H
[pRi,1]M[pLi,1]T(MpLi)21+(MpLi)22+(MTpRi)21+(MTpRi)22M=F(7)
其中:f(p,M)為距離誤差公式;p為匹配對集合;M為匹配模型。因為, f(c,Mu)≤e,f(c,Mv)≤e, f(d,Mu)≤e, f(d,Mv)≤e,所以(cL,cR)和(dL,dR)同時屬于多個匹配模型,即為干擾點。
通過實驗發(fā)現(xiàn),干擾點對應的匹配模型的內(nèi)點集重心變化大于非干擾點,并且近鄰區(qū)域內(nèi)的匹配對基本符合同一匹配模型。圖8為某一匹配點所屬的匹配點集重心的角度變化示意圖,圖9為不同匹配點所屬的匹配點集重心的距離變化示意圖。其中Pj為第j個匹配點,inlierij為Pj所屬的第i個匹配模型內(nèi)點集,gij為inlierij的點集重心,Gj為Pj所屬的全部內(nèi)點集重心的重心,gij與Gj的連線表示兩者的距離??梢钥闯?,若匹配對所屬的內(nèi)點集重心變化越大,則內(nèi)點集重心相對于圖像左上角的角度變化越大,內(nèi)點集重心之間的距離變化越大。
基于上述現(xiàn)象,本文提出了一種基于匹配點動態(tài)抽樣分布特征的干擾點去除方法(DIPR),該方法根據(jù)模型估計過程中匹配對與從屬模型內(nèi)點集重心間的角度和距離特征篩選并去除干擾點。方法中設置兩次模型回代,第一次回代為得到局部最優(yōu)模型,第二次回代為在匹配對集合中得到符合該模型的內(nèi)點集。由于回代過程的作用不同,距離誤差閾值的設置范圍也不同。具體步驟如下,流程如圖10所示。
a)利用近鄰算法在集合Q中隨機選取z個匹配對,如果z過大,則抽取的匹配對分布范圍較大,可能不在局部區(qū)域內(nèi),所以本文z的取值為4~9。利用最小二乘法計算圖像匹配模型矩陣M,將M回代到z個匹配對,若匹配對的距離誤差e≤Δ1,根據(jù)文獻Δ1一般取值為1.0~1.5[28],距離誤差公式如式(7)所示,則M為局部區(qū)域最優(yōu)模型矩陣。
b)將M回代到集合Q,計算滿足e≤Δ2的匹配對集合,Δ2一般取值為2.0~3.0。
c)將步驟a)b)迭代K1次,經(jīng)過多次實驗確定K1為3 000,將每次得到的匹配對集合于左圖的匹配點存儲于集合Ci(i=1,…,K1),并將各匹配點所屬的點集重心存儲于集合G,G的尺寸為v×K1,其中v是集合Q中左圖匹配點的數(shù)目。
d)計算Ci中各匹配點的點集重心與圖像左上角的角度,存儲于P,P的尺寸為v×K1,其中v是集合Q中左圖匹配點的數(shù)目。計算P中各匹配點所屬的點集重心的角度標準差及G中的距離標準差,并分別進行歸一化處理。
e)各匹配點以橫坐標為距離標準差,縱坐標為角度標準差的點表示,并利用Delaunay[29,30]算法進行三角剖分。
f)計算連接點之間的距離:
D1:d11…d1n1D2:d21…d2n2Dm:dm1…dmnm(8)
其中:Di為三角剖分中的第i個點,i=1,…,m,m為點的數(shù)量;dij為第i個點中第j個連線的長度,其中j=1,…,ni,ni為與第i個點相連的點的數(shù)量。然后計算每個點與相鄰點的均值距離,公式為
Di=∑nij=1dijni(9)
所有點與相鄰點的均值距離的概率分布密度,如下所示。
∑mi=1pi=1(10)
pi=kim(11)
ki=sum(max(D)×(i-1)m<D<max(D)×(i+1)m)(12)
匹配對若保留,需滿足條件:
∑mLi=1pi≤T(13)
其中:T為閾值。若數(shù)據(jù)量可觀,根據(jù)中心極限定理,所有點與相鄰點的均值距離的概率分布近似于正態(tài)分布,將均值距離的最大概率值當作期望值,T設置為使期望值右端概率和與其左端概率和相等的概率值。最后得到干擾點去除后的匹配對集合W。
1.4 基于同模型匹配點聚集的多模型估計
待匹配圖像中各匹配模型內(nèi)點集的分布范圍較大,為提高各匹配模型內(nèi)點集的聚集程度,并根據(jù)聚集后的數(shù)據(jù)團估計多匹配模型,提出了一種基于同模型匹配點聚集的多模型估計方法(AGSM)。該方法根據(jù)各匹配模型內(nèi)點集中匹配點與點集重心的距離動態(tài)移動匹配點位置,重復此操作直到各匹配點位置不再變化,得到多模型聚集點集。然后利用基于高斯核的Mean Shift[20]算法對聚集點集進行聚類,最后得到對應數(shù)據(jù)團間的變換匹配矩陣,即圖像多匹配模型。
經(jīng)典Mean Shift算法認為每個數(shù)據(jù)點對聚類結(jié)果的貢獻相同?;诟咚购说腗ean Shift算法是經(jīng)典Mean Shift算法的改進,該算法引入高斯核函數(shù),使每個數(shù)據(jù)點對最終結(jié)果的貢獻不同。基于高斯核的Mean Shift算法的流程如圖11所示。
Mh(xcenter)=∑xi∈X[H(xi-xcenterh)(xi-xcenter)]∑xi∈XH(xi-xcenterh)(14)
H(xi-xcenterh)=12πe-(xi-xcenter)22h2(15)
其中:H(·)為高斯核函數(shù)。
基于同模型匹配點聚集的多模型估計方法(AGSM)的具體步驟如下:
a)利用近鄰算法在集合W中隨機選取z個匹配對,本文z的取值為4~9。利用最小二乘法計算圖像匹配模型矩陣M,將M回代到當前所選的z個匹配對,若匹配對的距離誤差e≤Δ1,根據(jù)文獻Δ1一般取值為1.0~1.5,則M為局部區(qū)域最優(yōu)模型矩陣。
b)將M回代到集合W計算距離誤差e,計算滿足e≤Δ2的匹配對集合I,Δ2一般取值為2.0~3.0。
c)根據(jù)式(16)計算匹配對集合I中各匹配點相對于點集重心的距離dkj。
dkj=|pkjXki| j=1,2,…,m;i=1,2,…,n;k=L,R(16)
其中:pkj為匹配點坐標;Xki為點集重心坐標。
d)根據(jù)式(17)(18)對各個匹配點向點集重心聚集。
|Δd|=dkj dkj≤α×dkjdkj> j=1,2,…,m(17)
α=1dkj- j=1,2,…,m(18)
其中:|Δd|為各匹配點向重心方向移動的距離;是距離閾值,根據(jù)匹配點到重心距離分布進行設置。
e)重復步驟a)~d)直到各匹配點的位置變化小于1像素,獲得多模型聚集點集E。
f)利用基于高斯核的Mean Shift算法[20]將E分別聚類為左圖的數(shù)據(jù)團CL={CL1,CL2,…,CLn}和右圖的數(shù)據(jù)團CR={CR1,CR2,…,CRn},其中n為數(shù)據(jù)團數(shù)目。
g)分別計算CL和CR對應子團的變化模型矩陣Mi及內(nèi)點集Ii,若Ii中內(nèi)點數(shù)目大于估計模型所需的最小樣本數(shù)目mmin(基礎矩陣時,mmin=7;單應性矩陣時,mmin=4),則保留,否則舍棄。最后得到待匹配圖像間的多匹配模型M及內(nèi)點集I。
2 實驗
為驗證本文算法的有效性,對本文提出的內(nèi)點率提升方法、干擾點去除方法、多匹配模型估計方法均進行了實驗,初始匹配對利用SIFT[28]獲得。實驗測試環(huán)境為:Windows 10 操作系統(tǒng)(64位),Core i5處理器,16 GB運行內(nèi)存,運行環(huán)境為Python 3.7。
2.1 內(nèi)點率提升方法的對比實驗
2.1.1 近鄰關系的對比實驗
選擇三組圖像展示使用IREM方法前后匹配點間的近鄰關系,如圖12所示。
其中前兩組圖像間存在單個匹配模型,后一組圖像間存在多個匹配模型。圖12中第一列為錯誤匹配對過濾前匹配點間的近鄰關系,可以看出左右兩幅圖像中各匹配點與其近鄰點之間的關系連線的形狀有明顯差異,圖12中第二列為錯誤匹配對過濾后匹配點間的近鄰關系,可以看出左右兩幅圖像中各匹配點與其近鄰點之間的關系連線的形狀基本相同。根據(jù)兩列效果圖的對比,可以看出IREM方法可以在有效保留匹配點間的近鄰關系的基礎上過濾錯誤匹配對。
2.1.2 單模型估計算法內(nèi)點率的對比實驗
Oxford標準數(shù)據(jù)集[31]包含六個子數(shù)據(jù)集,子數(shù)據(jù)集內(nèi)圖像變化分別為圖像模糊(bikes)、旋轉(zhuǎn)縮放變化(boat)、視點變化(wall、garf)、光照變化(leuven)及尺度變化(bark)。每個子數(shù)據(jù)集包括6幅相同場景不同變化程度的圖像,圖像間僅存在一個匹配模型。每個子數(shù)據(jù)集提供第2~6幅圖像與第1幅圖像間的圖像單匹配模型。對比算法為單模型估計算法:RANSAC、PROSAC、MAGSAC++,可以計算圖像單匹配模型及其內(nèi)點集,使用OpenCV內(nèi)的函數(shù)實現(xiàn)。實驗過程中各算法對各子數(shù)據(jù)集的第一幅圖像與其他五幅圖像依次進行匹配,并以1MN表示(M表示匹配,N為2~6)。實驗分析中使用匹配召回率(recall)對各算法進行分析評價。recall定義為
recall=matchescorrectmatchescorrect+matchesincorrect(19)
其中:matchescorrect為利用算法去除錯誤匹配對后正確匹配對數(shù)目;matchesincorrect為未去除的錯誤匹配對數(shù)目。顯然,recall值越大,代表該算法匹配效果越好。
圖13為不同算法在Oxford子數(shù)據(jù)集上經(jīng)過匹配實驗后得到的匹配召回率的對比實驗結(jié)果??梢钥闯鰧τ趫D像模糊(bikes)、旋轉(zhuǎn)縮放變化(boat)、光照變化(leuven),IREM方法的匹配召回率明顯優(yōu)于其他三種算法;對于視點變化(wall、graf),可以看出,四種算法的匹配召回率隨著視點變換逐漸增大而急劇降低;對于尺度變化(bark),可以看出,IREM方法與RANSAC的匹配召回率相差不大,且優(yōu)于其他兩種算法。RANSAC、PROSAC、MAGSAC++算法均通過估計最優(yōu)匹配模型內(nèi)點集過濾錯誤匹配對,而IREM方法僅根據(jù)近鄰區(qū)域正確匹配對的分布特點過濾錯誤匹配對,因此IREM方法更具優(yōu)勢。
2.1.3 內(nèi)點率和殘留外點率的對比實驗
在bikes、boat、EVD、bark、leuven、homogr數(shù)據(jù)集[31,32]中選擇六組圖像進行實驗,圖像間變化包含圖像模糊、縮放旋轉(zhuǎn)、尺度變化以及光照變化,且圖像間只存在一個匹配模型。對比算法為基于傳統(tǒng)框架的GMS、AdaLAM和基于深度學習的SuperGlue、CLNet、OANet,均只能過濾錯誤匹配對,無法估計匹配模型。實驗目的為驗證IREM方法或?qū)Ρ人惴ㄊ褂们昂?,RANSAC、PROSAC、MAGSAC++算法所求變換模型內(nèi)點率的變化,即IREM算法與對比算法對RANSAC等單模型估計算法的效果改善程度。RANSAC、PROSAC、MAGSAC++算法均使用OpenCV內(nèi)的函數(shù)實現(xiàn),圖14為實驗結(jié)果。可以看出,單獨使用RANSAC、PROSAC、MAGSAC++算法時,所計算的變換模型內(nèi)點率均低于50%,且ExtremeZoom的內(nèi)點率均低于1%;使用IREM方法過濾錯誤匹配對后,再使用RANSAC、PROSAC、MAGSAC++算法,所計算的變換模型內(nèi)點率均有明顯提升,且除Adam圖像外均能達到98%以上。相對于GMS算法,IREM方法內(nèi)點率提升效果更明顯;相對于SuperGlue、AdaLAM、CLNet、OANet算法,除Adam圖像外,IREM方法內(nèi)點率提升效果更好。對于Adam圖像,近鄰區(qū)域內(nèi)正確匹配對數(shù)量少,因此內(nèi)點率提升效果低于SuperGlue等四種算法。但經(jīng)IREM方法剔除錯誤匹配對之后計算的模型內(nèi)點率達到70%以上,提升了30%以上。對于ExtremeZoom圖像,IREM方法的內(nèi)點率提升效果明顯優(yōu)于五種對比算法。
在Adelaidermf數(shù)據(jù)集[33]中選擇六組圖像進行實驗,所用圖像間均包含多個匹配模型。對比算法為基于傳統(tǒng)框架的GMS、AdaLAM和基于深度學習的SuperGlue、OANet、CLNet,均無法估計匹配模型。實驗目的為驗證包含多匹配模型的圖像應用IREM方法或?qū)Ρ人惴ê笃ヅ鋵系腻e誤匹配對占比。IREM和GMS、AdaLAM、OANet、CLNet算法皆利用SIFT算法提取特征點,SuperGlue算法利用SuperPoint算法提取特征點。GMS算法將圖片劃分為20×20個不重疊的網(wǎng)格,單個網(wǎng)格代表局部區(qū)域,以每個網(wǎng)格進行錯誤匹配對過濾,但當圖像間視角差異較大、縮放明顯時,單個網(wǎng)格無法代表局部區(qū)域。SuperGlue算法將自注意力和交叉注意力嵌入到圖神經(jīng)網(wǎng)絡中,可以兼顧全局和局部過濾。AdaLAM算法依賴distance ratio選擇正確匹配對。OANet算法以學習的方式捕獲無序稀疏匹配對的局部上下文信息并對其進行聚類,然后將聚類結(jié)果在空間上進行關聯(lián)以形成全局上下文信息,根據(jù)全局和局部上下文信息過濾錯誤匹配對。CLNet算法構(gòu)建局部到全局的動態(tài)圖,根據(jù)局部和全局一致性分數(shù)過濾錯誤匹配對。IREM方法自適應確定局部區(qū)域,根據(jù)匹配點的分布一致性和匹配點位置變化矢量的方向一致性對錯誤匹配對進行過濾。圖15為實驗結(jié)果,可以看出IREM方法的殘留外點率最低,AdaLAM和CLNet算法效果明顯優(yōu)于GMS、SuperGlue和OANet算法。IREM算法的殘留外點率與AdaLAM算法相比降低了61.13%,與SuperGlue算法相比降低了83.56%,與CLNet算法相比降低了71.09%。
綜上所述,從匹配點間近鄰關系上分析,IREM方法可以有效保留匹配點間的近鄰關系,濾除近鄰關系不一致的匹配點。從匹配召回率、內(nèi)點率和外點殘留率指標進行分析,本文IREM方法的錯誤匹配對剔除率較高,匹配性能更穩(wěn)定。
2.2 干擾點去除實驗
在Adelaidermf數(shù)據(jù)集中選取兩組圖像進行展示,boardgame是相同視角下多個物體的不同擺放,unihouse圖像有視角差異。本文DIPR方法多次迭代估計局部近鄰區(qū)域的匹配模型及其相應的內(nèi)點集,統(tǒng)計各匹配點所屬的內(nèi)點集重心,進而得到匹配點所屬的所有內(nèi)點集重心之間的距離標準差和內(nèi)點集重心相對于圖像左上角的角度標準差。標準差反映數(shù)據(jù)的離散程度,根據(jù)兩者所形成的二維點,反映各匹配點在迭代過程中所屬內(nèi)點集的變化。聚集的二維點在距離標準差和角度標準差方面更相似,因此所對應的匹配點是非干擾點的可能性更大。圖16中橫坐標為各匹配點所屬的所有內(nèi)點集重心的距離標準差,縱坐標為各匹配點所屬的所有內(nèi)點集重心相對于圖像左上角的角度標準差。每組圖像中圖(i)為二維點展示圖,圖(ii)為Delaunay三角剖分的效果展示圖,圖(iii)為經(jīng)本文所提方法處理后保留的二維點展示圖,圖(iv)為去除的干擾點的二維點展示圖,圖(v)為干擾點去除結(jié)果,黑色點是干擾點,黃色點是去除干擾點后的匹配點(參見電子版)。
圖17展示其中兩組圖像有無干擾點去除步驟的聚集效果。sene圖像中左右兩個模型平面交界處的匹配對若存在,則其在后續(xù)聚集中可能屬于左邊的模型平面,也可能屬于右邊的模型平面;unihouse圖像中存在梯狀模型平面,各梯狀模型平面交界處的匹配對在后續(xù)聚集中可能屬于其他模型平面。本文DIPR方法將不同模型平面的匹配點動態(tài)移動,使不同模型平面內(nèi)匹配點更加聚集,進而估計圖像間存在的多個匹配模型,但干擾點的存在影響后續(xù)的多模型估計過程。通過圖16、17可以看出,本文DIPR方法可以有效去除圖像中可能屬于多個匹配模型的匹配對,進而緩解同平面點聚集中干擾點的干擾。
2.3 多匹配模型估計的對比實驗
AdaLAM、GMS和SuperGlue等算法可以找到圖像間多個匹配模型的大部分內(nèi)點,但無法對模型進行估計。PEARL、MCT、CONSAC和Sequential RANSAC等算法可以進行圖像多匹配估計。Adelaidermf數(shù)據(jù)集中19對圖像是多個或單個物體在不同視角下的室內(nèi)圖像,另外19對圖像是不同建筑物的寬基線室外圖像?,F(xiàn)有圖像多匹配模型估計算法的多模型匹配對錯分問題出現(xiàn)在寬基線圖像,因此本文選取Adelaidermf數(shù)據(jù)集內(nèi)的19對寬基線室外圖像進行對比實驗。
圖18為同模型點聚集效果圖,可以看出AGSM方法可以提高同一模型平面匹配點的聚集程度。圖19為Adelaidermf數(shù)據(jù)集中6組圖像的不同匹配模型內(nèi)點的效果,不同顏色匹配點為不同模型內(nèi)點,可以看出AMPSM算法可以有效估計圖像多匹配模型及其內(nèi)點集。
圖20為Adelaidermf數(shù)據(jù)集中19組圖像的不同多模型估計算法的平均運行時間。文獻[18]通過PROSAC進行采樣,利用MAGSAC++計算多個匹配模型,然后采用T-linkage算法將模型到模型的殘差作為偏好向量的tanimoto距離,并在偏好向量的域中使用DBSCAN算法找到聚類以尋找相似的匹配模型,然后利用MAGSAC++計算相似匹配模型的內(nèi)點集所符合的一個匹配模型。運行過程中尋找相似匹配模型及模型估計交叉迭代進行。Multi-X和PEARL算法通過最小能量函數(shù)聚集相同平面的匹配對,然后利用Mean Shift算法和α-expansion計算圖像多匹配模型。T-linkage算法使用基于匹配對殘差的偏好分析進行圖像多匹配模型估計。Progressive-X算法通過迭代估計候選模型和候選模型優(yōu)化以估計圖像多匹配模型。
本文AMPSM算法在干擾點去除過程中通過多次迭代隨機抽取近鄰區(qū)域匹配對估計匹配模型,并回代以驗證該模型是否為局部最優(yōu)匹配模型,然后計算符合局部最優(yōu)模型的內(nèi)點集,根據(jù)多次迭代后每個匹配對的動態(tài)分布特征(匹配對所屬內(nèi)點集的平均距離及其與圖像左上角的角度)去除干擾點,最后聚集同模型內(nèi)點集,并使用基于高斯核的Mean Shift算法和RANSAC算法計算多匹配模型。上述步驟需要多次迭代得到每個匹配對的動態(tài)分布特征以去除干擾點,因此AMPSM方法的運行時間較長,處于中等水平。
圖21為Adelaidermf數(shù)據(jù)集中19對室外圖像的多模型估計錯分率,表2為不同方法匹配點模型錯分率的對比結(jié)果,即模型估計中錯分的匹配點所占的比例,包括平均錯分率和平均錯分標準差。部分數(shù)據(jù)來源于Florian Kluger關于CONSAC的論文??梢钥闯?,由于建筑景物的各模型平面的變化相近,bonhall、elderhalla等圖像間的多匹配模型估計相對較難,反之建筑景物的各模型平面的變化不相近,導致其余圖像間的多匹配模型估計相對簡單。通過圖21可以看出,AMPSM算法與CONSAC效果較為接近,且這兩個算法的多模型估計錯分率低于其他四個算法。通過表2可以看出,AMPSM算法與CONSAC相比平均錯分率有效降低45.50%以上,與文獻[18]相比平均錯分率有效降低8.39%。在模型平均錯分標準差上可以看出,本文AMPSM算法位于第二,說明AMPSM算法有穩(wěn)定的效果。
3 結(jié)束語
為降低多匹配模型錯分率,提出了一種基于同模型匹配點聚集的圖像多匹配模型估計算法(AMPSM)。該方法分為三步,分別對應本文提出的三個創(chuàng)新點。首先,為了提升匹配對集合的內(nèi)點率,提出了一種基于近鄰區(qū)域匹配點同分布的內(nèi)點率提升方法;然后,為了提高多匹配模型估計的精度,定義了干擾點并提出了一種基于匹配點動態(tài)抽樣分布特征的干擾點去除方法;最后,為了提高同模型匹配對的聚集程度并估計多匹配模型,提出了一種基于同模型匹配點聚集的多模型估計方法。將所提算法與RANSAC、PROSAC、MAGSAC++、GMS、SuperGlue、AdaLAM、OANet、CLNet、PREAL、MCT、Sequential RANSAC以及CONSAC等算法進行實驗對比,結(jié)果表明所提算法的內(nèi)點率提升30%以上,殘留外點率降低61%以上,多模型估計的錯分率降低8.39%以上。本文所提的基于匹配點動態(tài)抽樣分布特征的干擾點去除方法通過多次迭代統(tǒng)計各匹配對的分布特征,運行時間較長,且本文算法為基于傳統(tǒng)框架的圖像多匹配模型估計算法。今后將圍繞該問題且在本文方法的基礎上引入圖神經(jīng)網(wǎng)絡開展后續(xù)的研究。
參考文獻:
[1]陳素雅, 何宏. 基于特征點動態(tài)選擇的三維人臉點云模型重建[J]. 計算機應用研究, 2024, 41(2): 629-634. (Chen Suya, He Hong. 3D face point cloud model reconstruction based on dynamic selection of feature points[J]. Application Research of Computers, 2024, 41(2): 629-634.)
[2]Bian Jiawang, Lin Wenyan, Liu Yun, et al. GMS: grid-based motion statistics for fast, ultra-robust feature correspondence[J]. International Journal of Computer Vision, 2020, 128(6): 1580-1593.
[3]Sun Weiwei, Jiang Wei, Trulls E, et al. ACNe: attentive context normalization for robust permutation-equivariant Learning[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2020: 11283-11292.
[4]Zhang Jiahui, Sun Dawei, Luo Zixin, et al. OANet: learning two-view correspondences and geometry using order-aware network[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2022, 44(6): 3110-3122.
[5]Sarlin P E, DeTone D, Malisiewicz T, et al. SuperGlue: learning feature matching with graph neural networks[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2020: 4937-4946.
[6]Zhao Chen, Ge Yixiao, Zhu Feng, et al. Progressive correspondence pruning by consensus learning[C]//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway, NJ: IEEE Press, 2021: 6444-6453.
[7]Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated carto-graphy[J]. Communications of the ACM, 1981, 24(6): 381-395.
[8]Chum O, Matas J. Matching with PROSAC-progressive sample consensus[C]//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2005: 220-226.
[9]Barath D, Ivashechkin M, Matas J. Progressive NAPSAC: sampling from gradually growing neighborhoods[EB/OL]. (2019-06-05)[2023-12-04]. https://arxiv.org/abs/1906.02295.
[10]Barath D, Noskova J, Ivashechkin M, et al. MAGSAC++, a fast, reliable and accurate robust estimator[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2020: 1301-1309.[11]Brachmann E, Rother C. Neural-Guided RANSAC: learning where to sample model hypotheses[C]//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway, NJ: IEEE Press, 2019: 4321-4330.
[12]Tong Wei, Matas J, Barath D. Deep MAGSAC++[EB/OL]. (2022-03-11)[2023-12-04]. https://arxiv.org/abs/2111.14093.
[13]Park Y H, Kwon O S. Multiple homographies estimation using a guided sequential RANSAC[J]. The Journal of the Korea Contents Association, 2010, 10(7): 10-22.
[14]Isack H, Boykov Y. Energy-based geometric multimodel fitting[J]. International Journal of Computer Vision, 2012, 97(2): 123-147.
[15]Barath D, Matas J. Multi-class model fitting by energy minimization and mode-seeking[C]//Proc of European Conference on Computer Vision. Cham: Springer, 2018: 229-245.
[16]Magri L, Fusiello A. Fitting multiple heterogeneous models by multi-class cascaded T-linkage[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2019: 7452-7460.
[17]Kluger F, Brachmann E, Ackermann H, et al. CONSAC: robust multi-model fitting by conditional sample consensus[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2020: 4633-4642.
[18]Barath D, Rozumnyi D, Eichhardt I, et al. Finding geometric models by clustering in the consensus space[C]//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2023: 5414-5424.
[19]Cavalli L, Larsson V, Oswald M R, et al. AdaLAM: revisiting handcrafted outlier detection[EB/OL]. (2020-06-07)[2023-12-04]. https://arxiv.org/abs/2006.04250.
[20]Comaniciu D, Meer P. Mean shift: a robust approach toward feature space analysis[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.
[21]張曉聞, 任勇峰. 結(jié)合稀疏表示與拓撲相似性的圖像匹配算法[J]. 計算機工程與應用, 2021, 57(8): 198-203. (Zhang Xiaowen, Ren Yongfeng. Image matching algorithm combining spare representation and topological similarity[J]. Computer Engineering and Applications, 2021, 57(8): 198-203.)
[22]魏若巖, 王俊峰, 朱曉慶. 基于圖像匹配點全局拓撲分布的內(nèi)點率提升算法[J]. 激光與光電子學進展, 2022, 59(10): 169-182. (Wei Ruoyan, Wang Junfeng, Zhu Xiaoqing. Inliers ratio promotion algorithm based on global topological distribution of image matching points[J]. Laser & Optoelectronics Progress, 2022, 59(10): 169-182.)
[23]甄國涌, 劉慧芳, 儲成群. 基于局部保持匹配的改進圖像匹配算法[J]. 激光雜志, 2022, 43(2): 82-88. (Zhen Guoyong, Liu Huifang, Chu Chengqun. Improved image matching algorithm based on locality preserving matching[J]. Laser Journal, 2022, 43(2): 82-88.)
[24]魏若巖, 霍思園, 朱曉慶. 圖像非剛體匹配的多模型估計算法設計與實現(xiàn)[J]. 激光與光電子學進展, 2022, 59(12): 407-419. (Wei Ruoyan, Huo Siyuan, Zhu Xiaoqing. Design and implementation of multimodel estimation algorithm for nonrigid matching images[J]. Laser & Optoelectronics Progress, 2022, 59(12): 407-419.)
[25]Rocco I, Cimpoi M, Arandjelovic' R, et al. NCNet: neighbourhood consensus networks for estimating image correspondences[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2022, 44(2): 1020-1034.
[26]Barath D, Matas J. Progressive-X: efficient, anytime, multi-model fitting algorithm[C]//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway, NJ: IEEE Press, 2019: 3780-3788.
[27]Barath D, Rozumny D, Eichhardt I, et al. Progressive-X+: clustering in the consensus space[EB/OL]. (2023-04-17)[2023-12-04]. https://arxiv.org/abs/2103.13875v1.
[28]Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.
[29]Zhao Muhan, Alimo S R, Beyhaghi P, et al. Delaunay-based derivative-free optimization via global surrogates with safe and exact function evaluations[C]//Proc of the 58th IEEE Conference on Decision and Control. Piscataway, NJ: IEEE Press, 2019: 4636-4641.
[30]Favreau J D, Lafarge F, Bousseau A, et al. Extracting geometric structures in images with Delaunay point processes[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2020, 42(4): 837-850.
[31]Affine covariant features[EB/OL]. (2007-07-15)[2023-12-04]. https://www.robots.ox.ac.uk/~vgg/research/affine.
[32]Acute3D Aiguille du Midi MVS[EB/OL].[2023-12-04]. http://certis.enpc.fr/demos/stereo/Data/Aiguille/index.html.
[33]Executive Dean, Faculty of Sciences, Engineering and Technology. AdelaideRMF[EB/OL]. (2023-09-07)[2023-12-04]. https://set.adelaide.edu.au/computer-and-mathematical-sci ences/.