秦紅星，劉鎮(zhèn)濤，譚博元

1.重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 重慶 400065； 2.重慶大學(xué)計(jì)算機(jī)學(xué)院, 重慶 400030

0 引 言

2010年至2020年期間，3維掃描設(shè)備的普及呈現(xiàn)出加速趨勢，造成點(diǎn)云數(shù)據(jù)的急劇增長，推動(dòng)了深度學(xué)習(xí)3維視覺領(lǐng)域的迅速發(fā)展。學(xué)者們從不同角度對(duì)該領(lǐng)域的發(fā)展做出了總結(jié)。Guo等人(2021)針對(duì)深度學(xué)習(xí)在3D點(diǎn)云領(lǐng)域的應(yīng)用給出了綜述。龍霄瀟等人(2021)對(duì)3維視覺的前沿領(lǐng)域進(jìn)行了系統(tǒng)的綜述。點(diǎn)云配準(zhǔn)是將兩個(gè)或多個(gè)相機(jī)坐標(biāo)系下的點(diǎn)云數(shù)據(jù)轉(zhuǎn)換到世界坐標(biāo)系完成拼接的過程，是3維視覺中的一項(xiàng)重要任務(wù)。比如：在3維重建中，通常利用掃描設(shè)備獲取場景的局部信息，通過點(diǎn)云配準(zhǔn)完成對(duì)整個(gè)場景的重建。在高精度地圖與定位中，通過車輛行駛過程中采集到的局部點(diǎn)云片段配準(zhǔn)到提前制作好的場景地圖中，可以完成車輛的高精度定位。此外，點(diǎn)云配準(zhǔn)還在位姿估計(jì)、機(jī)器人和醫(yī)療等領(lǐng)域得到了大量的應(yīng)用。

以ICP(iterative closest point)(Besl和McKay，1992)、NDT(normal distributions transform)(Biber和Strasser，2003)和4PCS(4-points congruent sets)(Aiger等，2008)等為代表的傳統(tǒng)方法已經(jīng)在各個(gè)領(lǐng)域得到廣泛應(yīng)用，然而這些方法大多對(duì)噪聲、異常點(diǎn)、低重疊和初始位姿敏感。另外，Johnson和Hebert(1999)、Frome等人(2004)、Rusu等人(2008，2009)、Salti等人(2014)設(shè)計(jì)了人工編碼特征用于全局配準(zhǔn)，這些方法通常統(tǒng)計(jì)空間坐標(biāo)、曲率、法向量等幾何屬性得到直方圖，然后通過人工編碼得到幾何特征，這種方式容易受到噪聲、異常點(diǎn)的影響，特征匹配效率不高。對(duì)于傳統(tǒng)方法，Cheng等人(2018)、Saiti和Theoharis(2020)給出了更為詳盡的總結(jié)。在現(xiàn)實(shí)世界的點(diǎn)云數(shù)據(jù)采集過程中，存在著大量的噪聲、異常點(diǎn)和較低的重疊，對(duì)傳統(tǒng)方法帶來了極大的挑戰(zhàn)。近年來，深度學(xué)習(xí)在點(diǎn)云配準(zhǔn)領(lǐng)域廣泛應(yīng)用并取得顯著成效，引起了研究者廣泛的興趣。

本文旨在為深度學(xué)習(xí)剛性點(diǎn)云配準(zhǔn)領(lǐng)域提供全面的綜述。為方便起見，將基于深度學(xué)習(xí)的剛性點(diǎn)云配準(zhǔn)稱為深度點(diǎn)云配準(zhǔn)。目前僅有少量綜述性文章對(duì)深度學(xué)習(xí)點(diǎn)云配準(zhǔn)研究進(jìn)行了分析和總結(jié)。Huang等人(2021b)將點(diǎn)云配準(zhǔn)分為同源配準(zhǔn)和跨源配準(zhǔn)，對(duì)傳統(tǒng)方法、基于深度學(xué)習(xí)的方法進(jìn)行了綜述。Zhang等人(2020)對(duì)近年來深度學(xué)習(xí)方法進(jìn)行了綜述，但沒有對(duì)算法進(jìn)行明確的區(qū)分，并且缺乏完整的統(tǒng)一基準(zhǔn)的對(duì)比參考數(shù)據(jù)。另外，Bello等人(2020)對(duì)體素點(diǎn)云數(shù)據(jù)、原始點(diǎn)云上的學(xué)習(xí)進(jìn)行了綜述，但只涉及點(diǎn)云特征提取部分。與前人的工作相比，本文的主要貢獻(xiàn)在于：聚焦于深度學(xué)習(xí)點(diǎn)云配準(zhǔn)，綜合最新出現(xiàn)的參考文獻(xiàn)，從算法的主要功能出發(fā)，對(duì)算法重新進(jìn)行了分類和總結(jié)，重點(diǎn)闡述了最新出現(xiàn)的方法和發(fā)展趨勢；將配準(zhǔn)過程劃分為不同的階段，對(duì)不同算法在相同階段中的處理方式進(jìn)行了詳細(xì)闡述并使用表格進(jìn)行歸納，然后總結(jié)其優(yōu)劣；對(duì)以往綜述工作做出補(bǔ)充，詳細(xì)介紹了多種度量指標(biāo)并總結(jié)同類指標(biāo)的差異，匯總了在不同基準(zhǔn)下的較為詳細(xì)的對(duì)比數(shù)據(jù)，并提供分析和總結(jié)。

1 點(diǎn)云配準(zhǔn)問題概述

給定兩個(gè)點(diǎn)云：源點(diǎn)云X={xi∈R3|i=1,…,N}和目標(biāo)點(diǎn)云Y={yj∈R3|j=1,…,M}。其中，N與M分別為源點(diǎn)云和目標(biāo)點(diǎn)云點(diǎn)的數(shù)量。點(diǎn)云配準(zhǔn)的目標(biāo)是求解源點(diǎn)云X到目標(biāo)點(diǎn)云Y在世界坐標(biāo)系下的相對(duì)變換，包括旋轉(zhuǎn)矩陣R∈SO(3)和平移向量t∈R3，其中SO(3)為3維旋轉(zhuǎn)群。點(diǎn)云配準(zhǔn)可以描述為一個(gè)均方誤差最小化問題

(1)

式中，ym表示任意點(diǎn)xi∈X在目標(biāo)點(diǎn)云Y中的對(duì)應(yīng)點(diǎn)(correspondence)。式(1)可以通過奇異值分解(singular value decomposition，SVD)求解R和t，然而對(duì)應(yīng)點(diǎn)ym通常是未知的，在求解變換之前，需要建立逐點(diǎn)的對(duì)應(yīng)關(guān)系

(2)

因此，式(1)與式(2)是一個(gè)典型的雞和蛋的問題，式(2)的求解依賴于已知的R和t，而這恰好是式(1)求解的目標(biāo)。在傳統(tǒng)方法中，典型的ICP算法假設(shè)初始R=I并且t=0，首先在歐氏空間中使用最近鄰操作來建立對(duì)應(yīng)關(guān)系m，然后利用式(1)求解剛性變換，循環(huán)以上兩個(gè)過程直到收斂。這樣的解決方案通常會(huì)導(dǎo)致算法對(duì)初始位姿敏感。

隨著深度學(xué)習(xí)在點(diǎn)云配準(zhǔn)領(lǐng)域的應(yīng)用，出現(xiàn)了一批不需要依靠對(duì)應(yīng)關(guān)系的方法，本文將其稱為無對(duì)應(yīng)配準(zhǔn)方法。無對(duì)應(yīng)配準(zhǔn)方法的關(guān)鍵問題在于如何利用網(wǎng)絡(luò)學(xué)習(xí)一個(gè)從點(diǎn)云到全局特征的映射φ：R3×N→RK,并且尋找合適的旋轉(zhuǎn)R和平移t使得φ(Y)=φ(RX+t)，其中K表示全局特征的維度。

點(diǎn)云配準(zhǔn)是一個(gè)典型的流水線處理過程，其流程如圖1所示。在圖1中，預(yù)處理過程通常用于對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行降噪、去異常值、去除非重疊區(qū)域和采樣處理；另外，基于對(duì)應(yīng)關(guān)系的點(diǎn)云配準(zhǔn)在特征提取后還需要進(jìn)行額外的特征匹配步驟來獲得點(diǎn)對(duì)。

圖1 深度點(diǎn)云配準(zhǔn)流水線過程Fig.1 Pipeline process of deep point cloud registration

根據(jù)有無借助對(duì)應(yīng)關(guān)系，本文將現(xiàn)有研究分為基于對(duì)應(yīng)關(guān)系的深度點(diǎn)云配準(zhǔn)和無對(duì)應(yīng)配準(zhǔn)分別進(jìn)行介紹。目前該領(lǐng)域?qū)缭袋c(diǎn)云的研究較少，因此不再對(duì)其進(jìn)行劃分。

2 基于對(duì)應(yīng)關(guān)系的深度點(diǎn)云配準(zhǔn)

目前研究者們?cè)诤铣蓴?shù)據(jù)與真實(shí)數(shù)據(jù)上都展開了研究，相比合成數(shù)據(jù)而言，真實(shí)數(shù)據(jù)的表面點(diǎn)拓?fù)浣Y(jié)構(gòu)更加復(fù)雜，并且點(diǎn)的數(shù)量更多，對(duì)魯棒性的要求更高，許多研究者將真實(shí)數(shù)據(jù)上的點(diǎn)云配準(zhǔn)拆分為多個(gè)子問題進(jìn)行研究。而在合成數(shù)據(jù)中，現(xiàn)有的研究大多采用了端到端方法。為了方便對(duì)比，本文按照各個(gè)方法的主要功能，即特征提取、關(guān)鍵點(diǎn)檢測、離群點(diǎn)對(duì)去除、姿態(tài)估計(jì)和端到端點(diǎn)云配準(zhǔn)進(jìn)行分類。相關(guān)代表方法整理如表1所示。

2.1 特征提取

在基于對(duì)應(yīng)關(guān)系的點(diǎn)云配準(zhǔn)中，學(xué)習(xí)鑒別力高的特征表示是配準(zhǔn)好壞的關(guān)鍵。點(diǎn)云中包含豐富的空間幾何信息，以合理的方式組織點(diǎn)云，從點(diǎn)云中提取更多的信息，才能豐富特征的辨識(shí)度。因此，如何從無組織的點(diǎn)云中提取更多的具有辨識(shí)度的信息是特征提取最受關(guān)注的問題。近年來，研究者們提出大量基于深度學(xué)習(xí)的特征提取方法，按照它們的特點(diǎn)，分為以下兩種類型： 1)基于局部塊(local patch)的特征提??；2)基于卷積的特征提取。

Qi等人(2017a)提出了PointNet，這是第1個(gè)直接在輸入點(diǎn)云上提取特征的網(wǎng)絡(luò)。PointNet主要解決了點(diǎn)云的無序性、置換不變性和旋轉(zhuǎn)不變性問題。對(duì)于輸入的無序點(diǎn)云，使用多層感知機(jī)(multilayer perceptrons，MLPs)分別對(duì)每個(gè)點(diǎn)提取特征，然后使用對(duì)稱函數(shù)(最大池化)來達(dá)到置換不變的目的，最后使用T-net(transformation network)預(yù)測一個(gè)剛性變換矩陣，用于滿足旋轉(zhuǎn)不變性。

PointNet無法捕獲空間點(diǎn)的語義信息，限制了特征的通用性。此外，由MLPs學(xué)習(xí)而來的網(wǎng)絡(luò)無法處理密度不均勻的點(diǎn)云數(shù)據(jù)。Qi等人(2017b)進(jìn)一步提出了PointNet++，針對(duì)以上問題進(jìn)行了改進(jìn)。PointNet++引入了一個(gè)由最遠(yuǎn)點(diǎn)采樣層、分組層以及PointNet層組成的層次化結(jié)構(gòu)來捕捉不同尺度的上下文信息。為了提高在不同密度下采樣的性能，提出了多尺度聚合和多分辨率聚合，用于提取多個(gè)尺度的局部模式，并根據(jù)點(diǎn)密度進(jìn)行自適應(yīng)組合，最終得到密度自適應(yīng)特征。

PointNet與PointNet++沒有關(guān)注點(diǎn)與點(diǎn)之間的幾何關(guān)系，限制了特征的表示能力，因而不能直接應(yīng)用于點(diǎn)云配準(zhǔn)領(lǐng)域。但其為解決點(diǎn)云特征提取中存在的無序性、密度變化、置換不變性和旋轉(zhuǎn)不變性等問題提供了有效參考，促進(jìn)了后續(xù)研究的開展。

表1 基于對(duì)應(yīng)關(guān)系配準(zhǔn)的典型方法Table 1 Typical methods of registration based on correspondence

2.1.1 基于局部塊的特征提取

為了解決點(diǎn)云的無組織性問題，一些研究者利用體素、包圍球和K最近鄰(K-nearest neighbor，KNN)等方式對(duì)點(diǎn)云進(jìn)行組織，以提取更為豐富的局部幾何特征，這些方法通常稱為基于局部塊的方法。

Khoury等人(2017)提出一種緊湊幾何特征(compact geometric features，CGF)，通過在點(diǎn)上建立一個(gè)包圍球，建立局部參考框架(local reference frame，LRF)得到描述局部鄰域中點(diǎn)分布的直方圖，然后訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)將輸入的直方圖映射到一個(gè)低維的歐氏空間得到更緊湊的幾何特征描述符。

Deng等人(2018b)提出了PPFNet。首先對(duì)采樣點(diǎn)的局部鄰域計(jì)算點(diǎn)對(duì)特征(point pair feature，PPF)(Rusu等，2008，2009)，將其作為網(wǎng)絡(luò)的輸入，利用多個(gè)PointNet網(wǎng)絡(luò)將不同尺度的局部特征和全局特征融合，最后經(jīng)過MLPs編碼得到最終的特征。PPFNet利用了全局上下文感知和編碼特征，提高了特征的旋轉(zhuǎn)不變性和對(duì)噪聲的魯棒性，但是PPF特征的計(jì)算需要大量的最近鄰標(biāo)注數(shù)據(jù)，并且局部參考框架的建立依賴于法向量的估計(jì)，導(dǎo)致了對(duì)噪聲敏感。另外，尋找固定的K近鄰點(diǎn)導(dǎo)致對(duì)點(diǎn)云稀疏程度的變化敏感。

為改進(jìn)PPFNet的缺點(diǎn)，Deng(2018a)進(jìn)一步提出了PPF-FoldNet。該方法是一種無監(jiān)督的方法，首先提取PPF特征，使用了一個(gè)包含具有跳連接的類PointNet編碼器和類FoldingNet(Yang等，2018)的解碼器的框架，通過度量輸入PPF特征和輸出點(diǎn)對(duì)特征之間的差異，來獲取最終點(diǎn)云的特征表示。PPF-FoldNet在噪聲下取得了較好的效果，但仍然對(duì)點(diǎn)密度變化較為敏感。

Yew和Lee(2018)提出了3DFeatNet，針對(duì)網(wǎng)絡(luò)訓(xùn)練中難以獲取精確標(biāo)注的問題，提出一種弱監(jiān)督深度學(xué)習(xí)框架。從兩個(gè)輸入點(diǎn)云的所有描述符對(duì)之間的相似性度量中選擇正樣本以及置信度最高的負(fù)樣本，然后使用注意力層來學(xué)習(xí)一個(gè)權(quán)重，用于衡量每個(gè)輸入描述符對(duì)三元組損失的貢獻(xiàn)，最后通過最小化三元組損失來訓(xùn)練網(wǎng)絡(luò)。

使用類似PointNet的結(jié)構(gòu)可以實(shí)現(xiàn)直接從原始點(diǎn)云中提取特征，但這也限制了卷積操作的使用，不利于捕獲局部拓?fù)湫畔?。針?duì)這個(gè)問題，Gojcic等人(2019)提出了3DSmoothNet，設(shè)計(jì)了可以適用于卷積操作的平滑密度值(smoothed density value voxelization，SDV)體素格子，來編碼原始點(diǎn)云，利用Siamese網(wǎng)絡(luò)架構(gòu)學(xué)習(xí)最終的特征。該方法增強(qiáng)了泛化能力，在單一的場景下進(jìn)行訓(xùn)練，再擴(kuò)展到其他場景中時(shí)仍然可以取得較好的結(jié)果。

2.1.2 基于卷積的特征提取

目前基于卷積的方法主要包括兩種，一種是直接在點(diǎn)云上進(jìn)行卷積操作來提取特征，另一種是通過將點(diǎn)云體素化后，使用體素卷積方法提取特征。

受PointNet和卷積操作的啟發(fā)，Wang等人(2019)設(shè)計(jì)了邊卷積(edge convolution，EdgeConv)操作。首先在點(diǎn)云中構(gòu)建局部鄰域圖，然后在中心點(diǎn)與相鄰點(diǎn)構(gòu)成的邊上應(yīng)用類卷積操作，稱為邊卷積。進(jìn)一步，在網(wǎng)絡(luò)中多次疊加包含邊卷積的層，得到動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(dynamic graph convolutional neural network，DGCNN)。與普通的圖卷積神經(jīng)網(wǎng)絡(luò)不同，DGCNN中的圖節(jié)點(diǎn)不是固定的，而是在網(wǎng)絡(luò)的每一層之后動(dòng)態(tài)更新，也就是說，一個(gè)點(diǎn)的近鄰點(diǎn)集隨著網(wǎng)絡(luò)的加深逐層變化。因此，EdgeConv非常靈活，在網(wǎng)絡(luò)中加入一定的EdgeConv層有利于捕獲點(diǎn)之間的拓?fù)湫畔ⅲ@樣也引入了額外的K近鄰計(jì)算開銷。

為了解決不規(guī)則點(diǎn)云上的卷積問題，并更好地捕獲局部幾何信息，Thomas等人(2019)提出了核點(diǎn)卷積(kernel point convolution，KPConv)，使用攜帶卷積權(quán)值的核點(diǎn)(kernel point)來模擬2維卷積中的核像素，進(jìn)而定義原始點(diǎn)云上的卷積操作。KPConv通過點(diǎn)云位置與核點(diǎn)的關(guān)系來生成卷積核，其組合權(quán)重矩陣是人為設(shè)定的，不一定能得到最優(yōu)結(jié)果，且靈活性有限。同時(shí)，針對(duì)不同的點(diǎn)云數(shù)據(jù)，核點(diǎn)空間需要專門進(jìn)行定制，這使得其對(duì)超參數(shù)敏感。為此，Xu等人(2021b)提出了位置自適應(yīng)卷積(position adaptive convolution，PAConv)，通過網(wǎng)絡(luò)從點(diǎn)的位置中自適應(yīng)地學(xué)習(xí)權(quán)重矩陣，然后通過動(dòng)態(tài)組合權(quán)重矩陣來構(gòu)造卷積核。在現(xiàn)有的點(diǎn)云處理框架中，可以使用PAConv替換MLPs模塊，無需改變框架的結(jié)構(gòu)和參數(shù)，因此具備更好的靈活性。

Zeng等人(2017)提出了3DMatch網(wǎng)絡(luò)，以體素為輸入，首先需要把點(diǎn)云量化成體素表示，然后利用3D卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)局部幾何模式，得到512維度的特征描述符(descriptor)。

由于點(diǎn)云的稀疏性，傳統(tǒng)3D卷積操作會(huì)造成計(jì)算資源的浪費(fèi)，并且3D卷積本身計(jì)算的時(shí)間復(fù)雜度也很高，因此Choy等人(2019b)提出全卷積幾何特征(fully convolutional geometric features，F(xiàn)CGF)，使用稀疏3D卷積代替?zhèn)鹘y(tǒng)的3D卷積，以緩解點(diǎn)云稀疏性帶來的問題。通過使用稀疏卷積構(gòu)建包含跳連接和殘差塊ResBlock的ResUNet網(wǎng)絡(luò)架構(gòu)來提取點(diǎn)云的局部幾何特征，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，圖中卷積塊參數(shù)分別為卷積核大小、步長和通道數(shù)。FCGF特征輸出的維度僅為32維，較為緊湊，并且其運(yùn)行效率相較以往有著巨大的提高，可以拓展到真實(shí)場景。另外，F(xiàn)CGF需要通過旋轉(zhuǎn)增強(qiáng)來實(shí)現(xiàn)特征的旋轉(zhuǎn)不變性。

FCGF對(duì)數(shù)據(jù)的采樣出現(xiàn)過擬合，導(dǎo)致其泛化效果較差。Horache等人(2021)在FCGF的基礎(chǔ)上提出了多尺度架構(gòu)與自監(jiān)督細(xì)化(multi-scale architecture and self-supervised fine-tuning，MS-SVConv)卷積神經(jīng)網(wǎng)絡(luò)。該方法首先體素化點(diǎn)云，通過選取不同大小的體素格子來獲得不同尺度下的體素?cái)?shù)據(jù)，然后將它們輸入到一個(gè)共享權(quán)重的U-Net結(jié)構(gòu)的網(wǎng)絡(luò)中，分別提取特征。最后使用一個(gè)全連接層對(duì)這些特征進(jìn)行融合，最終得到每個(gè)點(diǎn)的特征描述符。MS-SVConv延續(xù)了FCGF運(yùn)算速度快、對(duì)旋轉(zhuǎn)魯棒的特點(diǎn)，同時(shí)大幅加強(qiáng)了泛化性能。

圖2 特征提取框架FCGF(Choy 等，2019b)Fig.2 Feature extraction framework FCGF(Choy et al.，2019b)

Ao等人(2021)提出了一種新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)SpinNet。SpinNet包含兩個(gè)模塊：1)空間點(diǎn)變換模塊。首先估計(jì)出一個(gè)參考軸，使其與全局參考系的Z軸對(duì)齊，以消除這個(gè)方向上的自由度；然后利用球形體素化和XY平面變換操作消除XY平面的旋轉(zhuǎn)自由度；最后將球形體素投影到一個(gè)圓柱形容器中。2)特征提取模塊。使用一個(gè)共享權(quán)重的MLPs和最大池化聚合函數(shù)提取每個(gè)體素的初始特征，然后使用3D圓柱卷積(Joung等，2020)操作提取最終的特征。SpinNet保證了特征的旋轉(zhuǎn)不變性，具有較好的泛化性能。

2.1.3 小結(jié)

基于局部塊的方法通常依賴于建立局部坐標(biāo)系或者提取傳統(tǒng)特征作為網(wǎng)絡(luò)輸入來獲取旋轉(zhuǎn)不變性，帶來了額外的計(jì)算開銷。局部坐標(biāo)系的建立依賴于對(duì)原始點(diǎn)法向量的估計(jì)，這會(huì)導(dǎo)致對(duì)噪聲、異常點(diǎn)的敏感。盡管提取的傳統(tǒng)特征是旋轉(zhuǎn)不變的，但這并不能保證網(wǎng)絡(luò)輸出的特征具有好的旋轉(zhuǎn)不變性。另外，對(duì)固定點(diǎn)數(shù)的局部塊進(jìn)行特征提取，會(huì)導(dǎo)致對(duì)密度變化敏感。對(duì)固定區(qū)域的局部塊進(jìn)行特征提取，限制了特征的感受野?；诰矸e的方法可以在重疊區(qū)域的神經(jīng)元之間共享激活單元，因此更加高效。并且卷積操作可以捕捉更加廣泛的局部拓?fù)湫畔ⅲ龃罅颂卣鞯母惺芤埃瑥亩岣咛卣鞯谋孀R(shí)度。另外，除動(dòng)態(tài)圖卷積外，其他的卷積操作不需要額外的鄰域標(biāo)簽信息，降低了計(jì)算開銷，計(jì)算速度得到顯著提高。

2.2 關(guān)鍵點(diǎn)檢測

在真實(shí)數(shù)據(jù)中，為了提取具有高分辨力的特征，通常在網(wǎng)絡(luò)中輸入的原始點(diǎn)數(shù)量都是較多的，然而對(duì)于求解剛性變換而言，在保證用于求解點(diǎn)足夠有效的情況下，僅需要少量點(diǎn)對(duì)即可(必須超過 3個(gè))。隨機(jī)采樣容易同比例采樣噪聲點(diǎn)，并且可能受到密度變化等因素的影響，因此無法較好地滿足高效采樣的要求。一些研究者開發(fā)了基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)檢測方法，旨在采樣對(duì)配準(zhǔn)任務(wù)貢獻(xiàn)大的點(diǎn)。

Bai等人(2020)提出D3feat(description of 3D local features),使用包含KPConv的ResNet塊組成的U-Net網(wǎng)絡(luò)架構(gòu)來實(shí)現(xiàn)在點(diǎn)云上提取特征并且檢測關(guān)鍵點(diǎn)。為了解決密度對(duì)顯著性的影響，提出了一個(gè)密度不變的顯著性分?jǐn)?shù)來評(píng)估某一點(diǎn)與其局部鄰域的關(guān)系，最后通過該顯著性分?jǐn)?shù)和特征通道最大分?jǐn)?shù)來計(jì)算關(guān)鍵點(diǎn)檢測分?jǐn)?shù)。

通常關(guān)鍵點(diǎn)的檢測需要預(yù)測逐點(diǎn)的顯著性，Lu等人(2020)提出一個(gè)基于隨機(jī)采樣的關(guān)鍵點(diǎn)檢測器和特征提取網(wǎng)絡(luò)RSKDD-Net。為了解決隨機(jī)采樣的信息損失問題，利用隨機(jī)擴(kuò)展群(random dilation)策略來擴(kuò)大每個(gè)采樣點(diǎn)的接受場，對(duì)相鄰點(diǎn)進(jìn)行聚類，然后使用注意力機(jī)制聚合近鄰點(diǎn)的位置和特征，從而得到關(guān)鍵點(diǎn)。最后通過概率倒角距離損失和點(diǎn)到點(diǎn)損失來訓(xùn)練網(wǎng)絡(luò)。

Huang等人(2021a)對(duì)以往的關(guān)鍵點(diǎn)提取方法進(jìn)行了補(bǔ)充，指出提取關(guān)鍵點(diǎn)的前提是必須保證關(guān)鍵點(diǎn)應(yīng)該在兩個(gè)點(diǎn)云的重疊區(qū)域內(nèi)?；诖擞^點(diǎn)，將問題延伸到低重疊場景，提出PREDATOR用于低重疊的點(diǎn)云配準(zhǔn)，其網(wǎng)絡(luò)框架如圖3所示。PREDATOR通過PAConv和EdgeConv分別捕獲密度不變的局部幾何信息與上下文信息進(jìn)而得到超點(diǎn)(super point)，通過使用交叉注意力塊(Sarlin等，2020)提取兩點(diǎn)云的特征編碼之間的上下文信息得到上下文特征，來預(yù)測超點(diǎn)位于重疊部分的概率。然后通過共享權(quán)重的解碼器對(duì)超點(diǎn)進(jìn)行上采樣，最終輸出點(diǎn)的特征和點(diǎn)位于重疊區(qū)域的概率以及點(diǎn)的顯著性打分。值得注意的是，與以往的顯著性定義不同，PREDATOR將顯著性定義為某個(gè)點(diǎn)能找到另一與之匹配的點(diǎn)的可能性。

圖3 關(guān)鍵點(diǎn)提取框架PREDATOR(Huang等，2021a)Fig.3 Key point extraction framework PREDATOR(Huang et al.，2021a)

另外一些端到端配準(zhǔn)方法中也嵌入了關(guān)鍵點(diǎn)檢測模塊。比如：PRNet(partial-to-partial registration network)(Wang和Solomon，2019b)通過特征的二范數(shù)距離定義點(diǎn)的顯著性，然后根據(jù)二范數(shù)的大小來選取顯著性高的若干個(gè)關(guān)鍵點(diǎn)。為了提高計(jì)算效率，避免隨機(jī)采樣導(dǎo)致的網(wǎng)絡(luò)性能下降，IDAM(iterative distance-aware similarity matrix)(Li等，2020)使用MLPs預(yù)測點(diǎn)的顯著性來獲取固定數(shù)量的關(guān)鍵點(diǎn)。

關(guān)鍵點(diǎn)的顯著性通常與特征進(jìn)行聯(lián)合學(xué)習(xí)，由于顯著性往往來自于獨(dú)特的特征，這種顯著性選取方式依賴于特征學(xué)習(xí)模塊的編碼，由網(wǎng)絡(luò)自適應(yīng)選取對(duì)于配準(zhǔn)任務(wù)更為重要的點(diǎn)。另外，由于配準(zhǔn)過程往往更加關(guān)注于重疊區(qū)域，適當(dāng)?shù)亟粨Q兩個(gè)點(diǎn)云之間的信息可以使得關(guān)鍵點(diǎn)的檢測更加精準(zhǔn)。在一些端到端網(wǎng)絡(luò)中也嵌入了關(guān)鍵點(diǎn)模塊，對(duì)關(guān)鍵點(diǎn)檢測技術(shù)的總結(jié)如表2所示。

表2 關(guān)鍵點(diǎn)檢測方法概要總結(jié)Table 2 Summary of key point detection methods

2.3 點(diǎn)對(duì)離群值去除

點(diǎn)對(duì)離群值去除(outliers removal)是點(diǎn)云配準(zhǔn)最為關(guān)鍵的任務(wù)之一。事實(shí)上，通過幾何特征匹配得到的對(duì)應(yīng)關(guān)系并不總是可靠的。造成這種情況的原因主要有3個(gè)：1)噪聲和異常點(diǎn)。噪聲和異常點(diǎn)會(huì)降低特征的辨識(shí)度。2)部分重疊問題。位于重疊區(qū)域之外的點(diǎn)顯然沒有對(duì)應(yīng)點(diǎn)與之匹配。3)局部點(diǎn)云不顯著問題。某些點(diǎn)云局部區(qū)域非?！捌教埂保@著性較低，容易導(dǎo)致特征的誤匹配。通常，特征匹配后得到的點(diǎn)對(duì)包含較多離群值，很難用于直接求解剛性變換，因此需要對(duì)其進(jìn)行去除。

在3DRegNet(3D point registration network)(Pais等，2020)中，使用一個(gè)包含ResNet塊的深度神經(jīng)網(wǎng)絡(luò)作為分類模塊，用以預(yù)測某一個(gè)點(diǎn)對(duì)屬于內(nèi)點(diǎn)的置信度。3D點(diǎn)對(duì)之間存在豐富的幾何信息，單純地將點(diǎn)對(duì)離群值去除視為一個(gè)二分類模塊并不能取得很好的效果。Yang等人(2020)觀察到正確的點(diǎn)對(duì)之間應(yīng)該滿足幾何上的兼容性，因此提出使用兼容性特征(compatibility features，CF)來表示點(diǎn)對(duì)。首先，針對(duì)點(diǎn)對(duì)的長度與角度進(jìn)行兼容性檢查，得到點(diǎn)對(duì)的兼容性分?jǐn)?shù)。然后，聚合兼容性打分最高的點(diǎn)的信息，得到兼容性特征。最后，將提取的兼容性特征輸入到一個(gè)MLPs中，進(jìn)行密集的二分類，將點(diǎn)對(duì)區(qū)分為內(nèi)點(diǎn)(inlier)和離群點(diǎn)(outlier)。與Yang等人(2020)的工作相似，PointDSC(point deep spatial consistency)(Bai等，2021)中將傳統(tǒng)方法的空間幾何一致性約束引入了深度學(xué)習(xí)領(lǐng)域，通過類似于Nonlocal網(wǎng)絡(luò)(Wang等，2018)的SCNonlocal模塊提取空間一致性特征。不同的是，PointDSC使用MLPs輸出的置信度選擇種子點(diǎn)，對(duì)每個(gè)種子點(diǎn)進(jìn)行K近鄰查找以提取滿足空間一致性的點(diǎn)對(duì)的集合，最后從若干集合中選擇最優(yōu)的集合求解剛性變換，其網(wǎng)絡(luò)框架如圖4所示。

3DRegNet(Pais等，2020)、DGR(deep global registration)(Choy等，2020)方法將點(diǎn)對(duì)離群值去除考慮為二分類問題，利用網(wǎng)絡(luò)預(yù)測點(diǎn)對(duì)的置信度。然而點(diǎn)對(duì)中可能包含非常多的離群值，這對(duì)網(wǎng)絡(luò)的擬合效果造成影響，因此這類方法并沒有達(dá)到理想中的性能，相比隨機(jī)采樣一致性(random sample consensus，RANSAC)(Fischler和Bolles等，1981)仍然存在一定差距。CF與PointDSC的工作本質(zhì)上都是利用網(wǎng)絡(luò)學(xué)習(xí)點(diǎn)對(duì)之間的旋轉(zhuǎn)不變約束，因此對(duì)離群值的篩選變得更為嚴(yán)格，更加貼合真實(shí)數(shù)據(jù)配準(zhǔn)需求。此外，PointDSC還通過類似于空間播種的方法選擇多個(gè)一致性集合進(jìn)一步加強(qiáng)魯棒性，相比直接對(duì)點(diǎn)對(duì)進(jìn)行分類的回歸方法而言，離群值去除的性能有了較大的提高。在一些端到端網(wǎng)絡(luò)中也嵌入了點(diǎn)對(duì)離群值去除模塊，對(duì)上述方法的總結(jié)如表3所示。

圖4 點(diǎn)對(duì)離群值去除框架PointDSC(Bai等，2021)Fig.4 Outlier removal framework PointDSC(Bai et al.，2021)

表3 點(diǎn)對(duì)離群值去除方法概要總結(jié)Table 3 Summary of outliers removal methods

2.4 姿態(tài)估計(jì)

在基于對(duì)應(yīng)關(guān)系的點(diǎn)云配準(zhǔn)中，姿態(tài)估計(jì)即通過對(duì)應(yīng)關(guān)系計(jì)算源點(diǎn)云與目標(biāo)點(diǎn)云之間的剛性變換R和t，是配準(zhǔn)的最后階段。SVD方法計(jì)算的是解析解，并且提供了可微分的實(shí)現(xiàn)(Papadopoulo和Lourakis，2000)，因此在深度點(diǎn)云配準(zhǔn)中得到廣泛應(yīng)用。大部分方法采用了常規(guī)的SVD求解方法，但在對(duì)SVD的使用上有所不同，因此本文僅從使用的角度對(duì)各個(gè)方法進(jìn)行總結(jié)與討論。

DCP(deep closest point)(Wang和Solomon，2019a)、DeepVCP(Lu等，2019)通過置信度的加權(quán)和計(jì)算對(duì)應(yīng)點(diǎn)的位置，進(jìn)而估計(jì)相對(duì)姿態(tài)。PRNet(Wang和Solomon，2019b)選取置信度較高的點(diǎn)對(duì)，用于SVD的計(jì)算。RPMNet(robust point matching network)(Yew和Lee，2020)、IDAM(Li等，2020)、DGR(Choy等，2020)通過置信度選擇點(diǎn)對(duì)，但同時(shí)保留了置信度，將其作為權(quán)重，使用加權(quán)SVD求解剛性變換。PointDSC(Bai等，2021)在網(wǎng)絡(luò)的訓(xùn)練階段使用加權(quán)SVD方法，在測試階段使用加權(quán)最小二乘法估計(jì)求解剛性變換。

僅對(duì)SVD求解模塊輸入點(diǎn)對(duì)坐標(biāo)意味著丟棄網(wǎng)絡(luò)中計(jì)算的點(diǎn)對(duì)置信度，因此網(wǎng)絡(luò)的反向傳播需要通過坐標(biāo)值進(jìn)行傳遞，而坐標(biāo)的值通常是確定的數(shù)值，因此可能對(duì)網(wǎng)絡(luò)中梯度的傳遞造成阻礙，而保留權(quán)重則意味著網(wǎng)絡(luò)可以通過權(quán)重值來傳播梯度。使用加權(quán)和計(jì)算的對(duì)應(yīng)點(diǎn)并不真實(shí)存在于目標(biāo)點(diǎn)云中，因此更加依賴于網(wǎng)絡(luò)對(duì)置信度的估計(jì)。PointDSC在測試階段使用傳統(tǒng)優(yōu)化技術(shù)對(duì)加權(quán)SVD進(jìn)行替代，并且取得了成功，提供了新的思路。

2.5 端到端點(diǎn)云配準(zhǔn)方法

點(diǎn)云數(shù)據(jù)配準(zhǔn)結(jié)果主要取決于對(duì)應(yīng)關(guān)系的估計(jì)，好的對(duì)應(yīng)關(guān)系可以通過高效的特征提取、匹配與離群值去除模塊來獲取，一些研究者對(duì)這些流程進(jìn)行了整合，通過訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)來直接解決配準(zhǔn)問題，輸入兩個(gè)點(diǎn)云，輸出運(yùn)動(dòng)參數(shù)，這種網(wǎng)絡(luò)稱為端到端網(wǎng)絡(luò)(end-to-end)。通常，端到端網(wǎng)絡(luò)將各個(gè)流程的處理模塊集成到一個(gè)網(wǎng)絡(luò)中，對(duì)顯存的需求較大，更適合數(shù)據(jù)量較小的配準(zhǔn)任務(wù)。另外，一些網(wǎng)絡(luò)并不是直接輸入原始點(diǎn)云，而是輸入處理后的點(diǎn)云相關(guān)數(shù)據(jù)，為敘述方便，本文統(tǒng)一將其歸類為端到端網(wǎng)絡(luò)。

Wang和Solomon(2019a)提出了深度最近點(diǎn)(DCP)方法，用于實(shí)現(xiàn)端到端的點(diǎn)云配準(zhǔn)。DCP使用由Wang等人(2019)提出的DGCNN學(xué)習(xí)點(diǎn)云的嵌入(embeding)，使用transformer(Vaswani等，2017)對(duì)上下文信息進(jìn)行編碼，實(shí)現(xiàn)對(duì)嵌入的微調(diào)。為了解決特征匹配的不可微分問題，使用嵌入的點(diǎn)積來度量相似度。DCP對(duì)噪聲取得了較好的魯棒性，但由于其采用單隨機(jī)矩陣確定對(duì)應(yīng)關(guān)系，這意味著點(diǎn)云X中的所有點(diǎn)在目標(biāo)點(diǎn)云中都有一個(gè)對(duì)應(yīng)，這種假設(shè)在異常值和低重疊情況下會(huì)引入錯(cuò)誤的對(duì)應(yīng)關(guān)系。

Wang和Solomon(2019b)進(jìn)一步提出了PRNet，用來改進(jìn)DCP。與DCP考慮所有輸入點(diǎn)的對(duì)應(yīng)不同，PRNet采用部分關(guān)鍵點(diǎn)進(jìn)行配準(zhǔn)。此外，為了獲取高質(zhì)量的對(duì)應(yīng)關(guān)系，PRNet使用了一種演員—評(píng)論家(actor-critic)模式，使用全局池化聚合逐點(diǎn)特征來得到全局特征，然后通過一個(gè)子網(wǎng)絡(luò)預(yù)測退火參數(shù)用于控制匹配的銳化程度。在匹配階段，使用了近似可微的Gumbel-softmax(Jang等，2017)函數(shù)代替不可微argmax函數(shù)，確保反向傳播時(shí)可以獲得梯度。最后，使用迭代優(yōu)化提高配準(zhǔn)的精度。盡管在低重疊和噪聲場景下PRNet取得了更好的效果，但是PRNet網(wǎng)絡(luò)模型較為龐大，不利于現(xiàn)實(shí)場景應(yīng)用。

Yew和Lee(2020)基于魯棒點(diǎn)匹配算法(robust point matching，RPM)(Gold等，1998)提出RPMNet。在特征提取部分，采用與PPFNet相似的結(jié)構(gòu)，同時(shí)在特征中加入點(diǎn)的3維坐標(biāo)得到混合特征；使用參數(shù)預(yù)測網(wǎng)絡(luò)來估計(jì)離群值參數(shù)與退火參數(shù)，然后結(jié)合混合特征計(jì)算點(diǎn)對(duì)匹配。在點(diǎn)對(duì)離群值去除階段，引入一個(gè)可微的sinkhorn層，對(duì)匹配矩陣進(jìn)行拓展，然后進(jìn)行迭代歸一化得到置信度更高的對(duì)應(yīng)關(guān)系。RPMNet在噪聲和部分重疊下取得了優(yōu)秀的性能，但模型的初始輸入需要額外的標(biāo)簽數(shù)據(jù)，因此不適用于密集的點(diǎn)云輸入。與PRNet類似，RPMNet需要在迭代中重復(fù)計(jì)算特征，這增加了計(jì)算成本。

由于在網(wǎng)絡(luò)模型中K近鄰的計(jì)算效率不高，大多數(shù)模型通常使用特征的內(nèi)積或者特征的二范數(shù)距離來表示兩點(diǎn)之間的匹配相似度，這種方式忽略了特征在某個(gè)通道上的差異。為了改善這種情況，IDAM(Li等，2020)使用距離感知相似矩陣卷積學(xué)習(xí)特征匹配的相似性度量，以獲取更好的匹配關(guān)系。該網(wǎng)絡(luò)支持使用快速點(diǎn)特征直方圖(fast point feature histograms，F(xiàn)PFH)或圖卷積網(wǎng)絡(luò)(graph neural network，GNN)來提取旋轉(zhuǎn)不變的幾何特征，并將其與一個(gè)簡單的點(diǎn)對(duì)4維歐氏特征進(jìn)行拼接得到距離增廣特征張量，然后在該張量上應(yīng)用1維卷積來學(xué)習(xí)特征匹配度量。為了提高相似矩陣卷積的運(yùn)算效率和匹配的準(zhǔn)確率，使用兩階段的點(diǎn)消除策略分別輸出逐點(diǎn)的顯著性打分和預(yù)測點(diǎn)對(duì)的置信度，進(jìn)而計(jì)算每個(gè)點(diǎn)對(duì)的權(quán)重。IDAM在密集輸入點(diǎn)的場景下有顯著的運(yùn)算優(yōu)勢，但網(wǎng)絡(luò)僅僅依靠關(guān)鍵點(diǎn)的選擇來避免離群點(diǎn)對(duì)，因此其配準(zhǔn)結(jié)果依賴于網(wǎng)絡(luò)對(duì)關(guān)鍵點(diǎn)的預(yù)測。

深度高斯混合模型配準(zhǔn)(deep Gaussian mixture model registration，DeepGMR)(Yuan等，2020)將神經(jīng)網(wǎng)絡(luò)嵌入到極大似然(maximum likelihood estimate，MLE)框架，將目標(biāo)點(diǎn)云用高斯混合模型(Gaussian mixed model，GMM)進(jìn)行建模，利用網(wǎng)絡(luò)預(yù)測任意兩個(gè)點(diǎn)對(duì)的對(duì)應(yīng)概率，然后利用可微分模塊計(jì)算GMM參數(shù)，然后從GMM參數(shù)中估計(jì)最優(yōu)變換。DeepGMR利用神經(jīng)網(wǎng)絡(luò)代替期望最大化算法中的E步(expectation-step)，對(duì)初始位置和噪聲不敏感，并且不需要迭代優(yōu)化，是一種全局的配準(zhǔn)方法。

Ginzburg和Raviv(2021)提出深度加權(quán)一致性(deep weighted consensus，DWC)用于全局配準(zhǔn)。DWC是一種無監(jiān)督網(wǎng)絡(luò)，首先在點(diǎn)的局部鄰域內(nèi)提取線性變換不變特征(rotation-invariant，RI)，然后使用兩個(gè)DGCNN(Wang等，2019)分別提取RI的全局和局部特征，通過全局—局部融合網(wǎng)絡(luò)得到最終特征。然后使用余弦相似性來定義兩個(gè)點(diǎn)云概率匹配矩陣，采樣包含K個(gè)對(duì)應(yīng)關(guān)系的集合并分別計(jì)算剛性變換，然后選取滿足內(nèi)點(diǎn)數(shù)量最多的剛性變換，最后通過采用加權(quán)一致性損失優(yōu)化對(duì)應(yīng)關(guān)系。

Lu等人(2019)提出了深度虛擬對(duì)應(yīng)點(diǎn)方法(deep virtual corresponding point，DeepVCP)以便在LiDAR(light detection and ranging)點(diǎn)云配準(zhǔn)(真實(shí)數(shù)據(jù))中能夠避免動(dòng)態(tài)對(duì)象，并采樣有利于配準(zhǔn)的穩(wěn)定的、獨(dú)特的特征，采用PointNet++提取點(diǎn)的語義特征。在關(guān)鍵點(diǎn)提取階段，受3DFeatNet啟發(fā)，設(shè)計(jì)了1個(gè)包含3個(gè)疊加完全連接層的多層感知器和一個(gè)Topk操作組成的點(diǎn)加權(quán)層，用于進(jìn)一步提取關(guān)鍵點(diǎn)。在匹配階段，為了在目標(biāo)點(diǎn)云中找到對(duì)應(yīng)點(diǎn)進(jìn)行最終配準(zhǔn)，使用了一個(gè)mini-PointNet提取逐個(gè)關(guān)鍵點(diǎn)的幾何特征。然后通過候選點(diǎn)坐標(biāo)與特征相似性的加權(quán)和來計(jì)算虛擬對(duì)應(yīng)點(diǎn)，進(jìn)而估計(jì)剛性變換。最后在損失中加入全局幾何約束以保證網(wǎng)絡(luò)預(yù)測的點(diǎn)的一致性。

深度全局配準(zhǔn)(deep global registration，DGR)(Choy等，2020)是用于真實(shí)數(shù)據(jù)的端到端配準(zhǔn)網(wǎng)絡(luò)。在特征提取階段，DGR采用FCGF(Choy等，2019b)。在離群值去除階段，采用了類似3DRegNet的思路，但有所不同的是，DGR利用Minkowski引擎(Choy等，2019a)實(shí)現(xiàn)6D卷積操作，進(jìn)而構(gòu)建一個(gè)Res-UNet網(wǎng)絡(luò)用于預(yù)測逐個(gè)點(diǎn)對(duì)的置信度。為了進(jìn)一步提高算法的魯棒性，在得到初步參數(shù)后，通過能量最小化函數(shù)對(duì)位姿進(jìn)行微調(diào)。

一些方法為了提高配準(zhǔn)精度，采用了遞歸網(wǎng)絡(luò)的設(shè)計(jì)，例如：PRNet(Wang和Solomon，2019b)、PRMNet(Yew和Lee，2020)、IDAM(Li等，2020)，但這也帶來重復(fù)計(jì)算特征的開銷，本質(zhì)上是因?yàn)樘卣鲗?duì)于旋轉(zhuǎn)的變化不夠魯棒；同時(shí)，遞歸的方式也導(dǎo)致了網(wǎng)絡(luò)在訓(xùn)練過程中的不穩(wěn)定，這可能是特征匹配模塊在不同迭代過程中網(wǎng)絡(luò)所關(guān)注到的信息不同所導(dǎo)致的。另外，由于配準(zhǔn)過程中存在大量的干擾因素，例如：異常點(diǎn)、部分重疊等，這些因素導(dǎo)致了一些點(diǎn)不可能存在一一對(duì)應(yīng)關(guān)系，因此考慮所有點(diǎn)的對(duì)應(yīng)關(guān)系必然會(huì)導(dǎo)致算法應(yīng)用的場景受到限制。

2.6 小結(jié)

在基于對(duì)應(yīng)關(guān)系的深度點(diǎn)云配準(zhǔn)中，核心任務(wù)是獲取有效的對(duì)應(yīng)關(guān)系?，F(xiàn)有方法基本上都是通過特征提取和匹配來獲取對(duì)應(yīng)關(guān)系。通常經(jīng)過特征提取和匹配階段的對(duì)應(yīng)關(guān)系并不一定是可靠的，其中包含大量離群點(diǎn)對(duì)，不能直接用于估計(jì)剛性變換，因此需要去除錯(cuò)誤匹配的點(diǎn)對(duì)。關(guān)鍵點(diǎn)檢測通常用于采樣對(duì)于配準(zhǔn)任務(wù)有效的點(diǎn)，這潛在地去除了一部分離群值的影響，但對(duì)于大規(guī)模離群值去除，專用的點(diǎn)對(duì)離群值去除模塊能發(fā)揮更強(qiáng)大的功效。另外，對(duì)于不同的干擾而言：1)點(diǎn)云中的噪聲、異常值主要影響的是特征的辨識(shí)度，直接的結(jié)果是導(dǎo)致誤匹配。2)對(duì)于存在部分重疊的情況，主要的解決方案包括兩種，一種是“銳化”對(duì)應(yīng)關(guān)系，即選擇置信度最高的一部分點(diǎn)；另一種是在特征匹配前去除非重疊區(qū)域的點(diǎn)以徹底排除非重疊點(diǎn)的影響。3)對(duì)于大旋轉(zhuǎn)場景下，要求特征對(duì)旋轉(zhuǎn)的變化具有較好魯棒性。

3 無對(duì)應(yīng)配準(zhǔn)

3.1 無對(duì)應(yīng)配準(zhǔn)方法

主流的深度點(diǎn)云配準(zhǔn)方法使用對(duì)應(yīng)關(guān)系求解剛性變換，研究者們探索出了一條不依賴于對(duì)應(yīng)關(guān)系的道路。相關(guān)方法概要整理如表4所示。

借鑒2維圖像中的算法思路，Aoki等人(2019)提出PointNetLK，利用去除了T-net模塊的PointNet網(wǎng)絡(luò)從兩個(gè)點(diǎn)云X和Y中提取相對(duì)位姿信息。然后利用逆合成(inverse compositional，IC)公式計(jì)算目標(biāo)點(diǎn)云全局特征的雅可比矩陣。最后，利用一個(gè)可微的Lucas & Kanade(LK)算法優(yōu)化全局特征之間的差異計(jì)算剛性變換，其網(wǎng)絡(luò)框架如圖5所示。

表4 無對(duì)應(yīng)配準(zhǔn)方法概要總結(jié)Table 4 Summary of correspondence-free registration methods

圖5 無對(duì)應(yīng)點(diǎn)云配準(zhǔn)PointNetLK(Aoki等，2019)Fig.5 Point cloud registration without corresponding PointNetLK(Aoki et al.，2019)

Deng等人(2019)提出一種數(shù)據(jù)驅(qū)動(dòng)的點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)。利用不同輸入但網(wǎng)絡(luò)結(jié)構(gòu)相同的PPF-FoldNet(輸入為PPF姿態(tài)不變特征)和PC-FoldNet(輸入為點(diǎn)云)輸出特征的差異產(chǎn)生包含結(jié)構(gòu)和姿態(tài)信息的新特征。在此基礎(chǔ)上，設(shè)計(jì)了RelativeNet直接預(yù)測相對(duì)姿態(tài)。該方法在真實(shí)數(shù)據(jù)集中得到了較高的召回率，但配準(zhǔn)精度較低。

PCRNet(Sarode等，2019)提出一種數(shù)據(jù)驅(qū)動(dòng)的方法。與PointNetLK不同，PCRNet(point cloud registration network)將兩個(gè)點(diǎn)云的全局特征進(jìn)行拼接，直接利用類似Siamese(Held等，2016)的網(wǎng)絡(luò)架構(gòu)預(yù)測運(yùn)動(dòng)參數(shù)。Groβ等人(2019)設(shè)計(jì)了一種網(wǎng)絡(luò)AlignNet-3D用于3維軌道狀態(tài)估計(jì)。該方法將旋轉(zhuǎn)角度劃分為若干個(gè)子區(qū)間，由網(wǎng)絡(luò)預(yù)測旋轉(zhuǎn)所屬區(qū)間，最后預(yù)測一個(gè)角度差得到最終的旋轉(zhuǎn)角度參數(shù)。特征度量配準(zhǔn)(FMR)(Huang等，2020)沿用了PointNetLK的思路，但不同的是，F(xiàn)MR利用剛性變換可逆的特性，使用編碼器—解碼器的模型對(duì)全局特征進(jìn)行間接監(jiān)督。編碼器模塊生成獨(dú)特的特征后，使用解碼器模塊將特征映射回3維點(diǎn)云。這種方法可以通過監(jiān)督或無監(jiān)督的方式訓(xùn)練網(wǎng)絡(luò)。FMR在真實(shí)數(shù)據(jù)集中取得了較高的精度，同時(shí)噪聲、密度和低重疊具有一定魯棒性。此外，F(xiàn)MR在跨源點(diǎn)云配準(zhǔn)中也取得了最先進(jìn)的結(jié)果。

Xu等人(2021a)提出了OMNet(overlapping mask network)，為了避免非重疊點(diǎn)的負(fù)面影響，在每次迭代中分別預(yù)測兩個(gè)源點(diǎn)云和目標(biāo)點(diǎn)云的重疊掩碼，對(duì)非重疊區(qū)域進(jìn)行過濾，然后再通過MLPs從兩個(gè)點(diǎn)云的全局特征中預(yù)測相對(duì)運(yùn)動(dòng)參數(shù)。OMNet通過移除重疊區(qū)域來避免全局特征受到干擾，取得了目前最先進(jìn)的結(jié)果。

目前無對(duì)應(yīng)方法通常都采用了與PointNet類似的網(wǎng)絡(luò)結(jié)構(gòu)用于提取感知空間位姿的全局特征，在姿態(tài)估計(jì)階段，PointNetLK(Aoki等，2019)、FMR(Huang等，2020)使用傳統(tǒng)優(yōu)化方法，從特征中計(jì)算雅可比矩陣，進(jìn)而估計(jì)運(yùn)動(dòng)參數(shù)，造成了較大的計(jì)算開銷。其他的無對(duì)應(yīng)方法使用了回歸的方式預(yù)測運(yùn)動(dòng)參數(shù)，這樣的好處在于避免計(jì)算雅可比矩陣的同時(shí)，通過網(wǎng)絡(luò)學(xué)習(xí)從全局特征到運(yùn)動(dòng)參數(shù)的映射，從而使得全局特征更好地感知空間位姿的變化，但是這樣的方式更加依賴于網(wǎng)絡(luò)對(duì)訓(xùn)練數(shù)據(jù)的學(xué)習(xí)。

3.2 無對(duì)應(yīng)方法與有對(duì)應(yīng)方法的比較

相比于基于對(duì)應(yīng)關(guān)系的方法，無對(duì)應(yīng)方法直接關(guān)注于兩個(gè)點(diǎn)云的相對(duì)位姿信息而不是局部幾何信息，避免了計(jì)算對(duì)應(yīng)關(guān)系的開銷，降低了后續(xù)處理的難度，這直接導(dǎo)致了兩者在參數(shù)估計(jì)上的差別。在有對(duì)應(yīng)方法中，SVD是更有效、流行的求解方式；而無對(duì)應(yīng)方法中，使用回歸的方式更為有利。這主要是因?yàn)楸硎鞠鄬?duì)位姿信息的全局特征具有抽象性，通過網(wǎng)絡(luò)的自適應(yīng)學(xué)習(xí)更加合理。而采用SVD方法本質(zhì)上是對(duì)對(duì)應(yīng)關(guān)系進(jìn)行監(jiān)督。在配準(zhǔn)的魯棒性方面，無對(duì)應(yīng)配準(zhǔn)方法更容易受到非重疊區(qū)域的干擾，主要的原因在于缺乏明確的監(jiān)督機(jī)制來保證全局特征與相對(duì)位姿信息唯一相關(guān)。對(duì)于合成數(shù)據(jù)的配準(zhǔn)，無對(duì)應(yīng)方法中的OMNet(Xu等，2021a)通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、引入重疊區(qū)域分割技術(shù)增強(qiáng)了全局特征的抗干擾能力，進(jìn)而增強(qiáng)了在未知類別模型(unseen-categories)數(shù)據(jù)上的泛化性能，取得了先進(jìn)的結(jié)果，展示了在泛化上的潛力。另外,目前無對(duì)應(yīng)方法很少應(yīng)用于真實(shí)場景的配準(zhǔn)，盡管無對(duì)應(yīng)方法能夠避免計(jì)算對(duì)應(yīng)關(guān)系帶來的一些問題，但其更可能受到復(fù)雜場景數(shù)據(jù)的影響，其跨數(shù)據(jù)集的泛化仍然有待研究。

4 性能評(píng)估

4.1 公開數(shù)據(jù)集

本文總結(jié)了3維點(diǎn)云配準(zhǔn)領(lǐng)域的通用數(shù)據(jù)集。用于配準(zhǔn)任務(wù)的3維點(diǎn)云數(shù)據(jù)集可以分為兩類：合成數(shù)據(jù)集和真實(shí)場景數(shù)據(jù)集。真實(shí)場景數(shù)據(jù)集通常由激光雷達(dá)或RGBD相機(jī)等設(shè)備獲得，包含戶外、室內(nèi)場景。合成數(shù)據(jù)通常包含人工合成的各類物體的3維模型。Zhang等人(2020)已經(jīng)對(duì)常用的數(shù)據(jù)集進(jìn)行了詳細(xì)的總結(jié)，本文僅對(duì)目前最具代表性的數(shù)據(jù)集進(jìn)行介紹。

1)ModelNet40(Wu等，2015)。由12 311個(gè)不包含噪聲和異常點(diǎn)的CAD(computer aided design)網(wǎng)格模型組成，總共包含40個(gè)常見類別，該數(shù)據(jù)集主要用于點(diǎn)云分類和檢索，同時(shí)也是近年來深度學(xué)習(xí)點(diǎn)云配準(zhǔn)領(lǐng)域中主要的合成數(shù)據(jù)集。獲取地址：http://modelnet.cs.princeton.edu/。

2)3DMatch(Zeng等，2017)。該數(shù)據(jù)集由SUN3D(Xiao等，2013)、7-Scene(Shotton等，2013)等3維重建數(shù)據(jù)集中拆分而來，包括62個(gè)不同室內(nèi)場景的RGB-D幀序列。獲取地址：http://3dmatch.cs.princeton.edu。

4.2 性能評(píng)價(jià)指標(biāo)

為了評(píng)估深度學(xué)習(xí)點(diǎn)云配準(zhǔn)算法的性能，通常需要借助通用的、客觀的評(píng)價(jià)指標(biāo)進(jìn)行度量。深度點(diǎn)云配準(zhǔn)的實(shí)驗(yàn)性能評(píng)價(jià)標(biāo)準(zhǔn)從處理階段來看，主要分為：特征匹配度量和配準(zhǔn)誤差度量。本小節(jié)對(duì)常用的度量指標(biāo)進(jìn)行了詳細(xì)的闡述，分別給出其適用的場景并比較了其差別。

4.2.1 特征匹配度量

特征匹配度量主要用于直接衡量特征匹配模塊性能的好壞，其主要包含以下兩個(gè)指標(biāo)：

1)內(nèi)點(diǎn)比例(inlier ratio，IR)。該值表示特征匹配后有效的對(duì)應(yīng)關(guān)系占所有對(duì)應(yīng)關(guān)系的比例。對(duì)于一組假定的對(duì)應(yīng)關(guān)系(p,q)∈Mi,j，內(nèi)點(diǎn)比例為

(3)

式中，1[]表示Iverson括號(hào)，括號(hào)內(nèi)為真取1，否則取0。R*與t*表示真實(shí)的旋轉(zhuǎn)、平移標(biāo)簽，τ1表示最小距離誤差閾值。

2)特征匹配召回率(feature match recall，F(xiàn)MR)。其表示配準(zhǔn)任務(wù)中成功置信度高的任務(wù)占總配準(zhǔn)任務(wù)的比例，計(jì)算為

(4)

式中，K表示數(shù)據(jù)集中用于配準(zhǔn)的點(diǎn)云對(duì)數(shù)量，R1i表示第i個(gè)點(diǎn)云對(duì)中的內(nèi)點(diǎn)比例，τ2表示內(nèi)點(diǎn)比例的最小閾值。

IR與FMR的主要區(qū)別在于，IR用于直接度量兩個(gè)點(diǎn)云的特征匹配的性能，而FMR是用于整個(gè)數(shù)據(jù)集中的配準(zhǔn)好壞的預(yù)示性度量(假設(shè)當(dāng)IR超過一定閾值后就可以完成配準(zhǔn))。

4.2.2 配準(zhǔn)誤差度量

1)均方根誤差(root mean squard error，RMSE)、均方誤差(mean squared error，MSE)與平均絕對(duì)誤差(mean absolute deviation，MAE)分別記為E1、E2、E3，即

(5)

(6)

(7)

2)相對(duì)平移誤差(relative translation error，RTE)和相對(duì)旋轉(zhuǎn)誤差(relative rotation error，RRE)用于度量平移、旋轉(zhuǎn)的估計(jì)值與真實(shí)標(biāo)簽的差值，其單位分別為厘米(cm)、度(°)，計(jì)算公式分別為

(8)

(9)

式中，R*與t*分別表示真實(shí)的旋轉(zhuǎn)、平移標(biāo)簽，tr()表示矩陣的跡。

3)倒角距離(chamfer distance，CD)用于公平地度量存在軸對(duì)稱場景下的配準(zhǔn)精度，即

(10)

式中，Xc與Yc分別表示初始的源、目標(biāo)點(diǎn)云，X、Y表示將經(jīng)過變換后的源、目標(biāo)點(diǎn)云。該公式由Yew和Lee(2020)提出。

4)配準(zhǔn)召回率(registration recall，RR)表示整個(gè)數(shù)據(jù)集中配準(zhǔn)誤差小于一定閾值的點(diǎn)云對(duì)的比例，即

(11)

式中，C為數(shù)據(jù)集中用于配準(zhǔn)的點(diǎn)云對(duì)數(shù)量，E1表示RMSE誤差，τ3表示點(diǎn)云對(duì)的RMSE誤差閾值。

RMSE、MSE和MAE是使用最為廣泛的度量指標(biāo)，但具有各向異性(anisotropic)的缺點(diǎn)。RRE與RTE是實(shí)際度量角度與平移距離差值的指標(biāo)，是各向同性的(isotropic)。以上5種度量都對(duì)軸對(duì)稱點(diǎn)云的配準(zhǔn)存在不公平的懲罰，而CD是最公正的度量。此外，在真實(shí)數(shù)據(jù)集中的配準(zhǔn)，往往更加關(guān)注配準(zhǔn)的成功率，因此RR在真實(shí)數(shù)據(jù)配準(zhǔn)中使用更為廣泛。

4.3 合成點(diǎn)云數(shù)據(jù)配準(zhǔn)性能評(píng)估

在合成點(diǎn)云數(shù)據(jù)上，需要人工處理原始數(shù)據(jù)集，但不同的處理方式都會(huì)對(duì)算法造成影響。此外，一些算法只針對(duì)某個(gè)特點(diǎn)的場景而設(shè)計(jì)，比如低重疊、大旋轉(zhuǎn)等。因此，本小節(jié)對(duì)比了各個(gè)場景中主流相關(guān)方法的性能。

在部分重疊場景下，性能對(duì)比如表5所示。其中，無對(duì)應(yīng)方法FMR(Huang等，2020)、OMNet(Xu等，2021a)在性能上相較于PointNetLK(Aoki等，2019)出現(xiàn)了較大的提升，這得益于網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。另外，OMNet引入了重疊區(qū)域分割技術(shù)，相較于FMR效果更好。在基于對(duì)應(yīng)關(guān)系的方法中，DeepGMR(Yuan等，2020)考慮了所有輸入點(diǎn)的對(duì)應(yīng)關(guān)系，因此無法適應(yīng)部分重疊場景的配準(zhǔn)任務(wù)。

表5 ModelNet40基準(zhǔn)下的部分重疊點(diǎn)云配準(zhǔn)Table 5 Partial-to-partial registration on ModelNet40 benchmark

在不同采樣點(diǎn)下的執(zhí)行速度如表6所示。DCP(Wang和Solomon，2019a)與DeepGMR沒有使用迭代的方式，因此其執(zhí)行速度相比于其他方法更快。PointNetLK與FMR需要重復(fù)計(jì)算全局特征和雅可比矩陣，而OMNet采用了回歸的方式預(yù)測相對(duì)姿態(tài)，避免使用復(fù)雜度較高的逆合成方法計(jì)算雅可比矩陣，從而顯著提高了算法的運(yùn)行速度。相比于RPMNet(Yew和Lee，2020)、PRNet(Wang和Solomon，2019b)，IDAM(Li 等，2020)在每次迭代中重復(fù)使用了特征提取模塊提取到的特征，避免了重復(fù)計(jì)算特征的開銷，并且使用關(guān)鍵點(diǎn)技術(shù)去除了一部分點(diǎn)對(duì)，因此運(yùn)行速度更快。盡管PRNet也采用了關(guān)鍵點(diǎn)技術(shù)，但因其網(wǎng)絡(luò)過于龐大，執(zhí)行速度仍然較慢。另外，RPMNet迭代地歸一化對(duì)應(yīng)關(guān)系矩陣的行和列，這種方法在點(diǎn)數(shù)量較多的情況下，計(jì)算時(shí)間出現(xiàn)了大幅增加。

全局配準(zhǔn)性能對(duì)比如表7所示。全局配準(zhǔn)是指任意的初始位姿下的配準(zhǔn)，DeepGMR和DCP在這種實(shí)驗(yàn)設(shè)置下取得了更為優(yōu)秀的性能，但DCP泛化效果較差，這可能是因?yàn)槠涮卣魈崛∧K的泛化性能較差。

表6 ModelNet40基準(zhǔn)下各算法在不同采樣點(diǎn)的執(zhí)行速度Table 6 The execution speed of each algorithm at different sampling points on ModelNet40 Benchmark

表7 ModelNet40基準(zhǔn)下全局配準(zhǔn)召回率Table 7 Global registration recall on ModelNet40 benchmark

綜上所述，隨著深度點(diǎn)云配準(zhǔn)領(lǐng)域的發(fā)展，各方法分別在對(duì)初始位姿、部分重疊等干擾上的魯棒性得到了顯著的提升，但很多算法仍然存在一定的局限性，例如：DeepGMR在全局配準(zhǔn)中取得了優(yōu)秀的結(jié)果，但其無法配準(zhǔn)部分重疊的點(diǎn)云數(shù)據(jù)；此外，在合成數(shù)據(jù)集上的不同處理方法產(chǎn)生的數(shù)據(jù)很難為研究者提供統(tǒng)一、公正的對(duì)比，針對(duì)不同任務(wù)的統(tǒng)一的基準(zhǔn)亟需研究人員的關(guān)注。

4.4 真實(shí)點(diǎn)云數(shù)據(jù)配準(zhǔn)性能評(píng)估

目前，在真實(shí)數(shù)據(jù)中的端到端方法較少，許多工作在特征提取、離群值去除兩個(gè)主要的階段上建立了比較基準(zhǔn)。特征提取的工作相對(duì)較多，離群值去除在近兩年得到了發(fā)展。

表8展示了在3DMatch比較基準(zhǔn)上主流特征提取算法的性能。從時(shí)間尺度上看，近年來特征提取算法的研究呈現(xiàn)出了高速發(fā)展的趨勢，已經(jīng)在匹配回調(diào)率、旋轉(zhuǎn)不變性、緊湊性和泛化能力上都有著巨大的提升。3DMatch(Zeng等，2017)率先開發(fā)了在體素上提取點(diǎn)云特征的方法。CGF(Khoury等，2017)、PPFNet(Deng等，2018b)和PPF-FoldNet(Deng等，2018a)依賴于對(duì)手工特征進(jìn)行二次編碼，限制了網(wǎng)絡(luò)的學(xué)習(xí)能力，性能較差。近年來，隨著卷積網(wǎng)絡(luò)的應(yīng)用，特征辨識(shí)度和旋轉(zhuǎn)魯棒性得到了很大的改善。FCGF(Choy等，2019b)依賴于固定大小的體素進(jìn)行稀疏體素卷積，導(dǎo)致泛化性能較差。Ms-SVConv(Horache等，2021)在FCGF的基礎(chǔ)上，通過多尺度的稀疏體素卷積大幅提高了泛化能力，達(dá)到了目前先進(jìn)的效果。而SpinNet(Ao等，2021)將輸入點(diǎn)云轉(zhuǎn)化為圓柱體素，在不需要旋轉(zhuǎn)增強(qiáng)的情況下取得了較好的泛化效果。SpinNet的成功在一定程度上說明：相比于純粹地依賴于網(wǎng)絡(luò)的學(xué)習(xí)，通過合適的引導(dǎo)和監(jiān)督，可以讓網(wǎng)絡(luò)學(xué)習(xí)到更加普適的描述點(diǎn)特征的方式。

表8 3DMatch基準(zhǔn)下的特征匹配Table 8 Feature match results on 3DMatch benchmark

表9展示了在3DMatch比較基準(zhǔn)上點(diǎn)對(duì)離群值去除性能。端到端的DGR(Choy等，2020)使用離群值去除網(wǎng)絡(luò)模塊并未取得理想的效果，其效果仍然依賴RANSAC(Fischler和Bolles，1981)算法作為保護(hù)措施(safeguard)。3DRegNet(Pais等，2020)采用了與DGR一樣的特征提取模塊FCGF和二分類網(wǎng)絡(luò)，盡管運(yùn)行速度更快，但是效果較差，這與3DRegNet采用單獨(dú)訓(xùn)練的方式和網(wǎng)絡(luò)構(gòu)成有關(guān)。最近提出的PointDSC(Bai等，2021)取得了優(yōu)于RANSAC的效果，展示了神經(jīng)網(wǎng)絡(luò)在離群值去除上的潛力，促進(jìn)端到端網(wǎng)絡(luò)在真實(shí)數(shù)據(jù)點(diǎn)云配準(zhǔn)上的發(fā)展?？偟膩碚f，基于深度學(xué)習(xí)的真實(shí)點(diǎn)云數(shù)據(jù)配準(zhǔn)研究仍然有著巨大的發(fā)展空間。

表9 3DMatch基準(zhǔn)上的離群值去除Table 9 Outliers removal on 3DMatch benchmark

5 結(jié) 語

點(diǎn)云配準(zhǔn)是諸多計(jì)算機(jī)視覺應(yīng)用的重要組成部分。本文對(duì)深度點(diǎn)云配準(zhǔn)領(lǐng)域的研究進(jìn)行了綜述，首先根據(jù)現(xiàn)有深度點(diǎn)云配準(zhǔn)方法的特點(diǎn)將其劃分為兩大類，在不同類別下，進(jìn)行了詳細(xì)的分組闡述和對(duì)比總結(jié)。然后列舉了主要方法在不同測試基準(zhǔn)上的性能。目前，盡管深度點(diǎn)云配準(zhǔn)技術(shù)取得了巨大的進(jìn)步，但是仍然難以滿足現(xiàn)實(shí)需求，主要的困難表現(xiàn)在魯棒性和泛化兩個(gè)方向，導(dǎo)致這些問題的因素有很多，比如：大量噪聲和異常值、低重疊、不同的初始位姿、對(duì)稱性、大尺度場景下的內(nèi)存負(fù)擔(dān)和計(jì)算開銷等。針對(duì)這些問題，研究者開發(fā)了各種各樣的算法，然而，這些算法大多具有局限性。最后，本文從目前點(diǎn)云配準(zhǔn)面臨的挑戰(zhàn)這一點(diǎn)出發(fā)，對(duì)未來的研究趨勢進(jìn)行展望。

1)在不同的應(yīng)用場景中，算法面臨的挑戰(zhàn)不同，這對(duì)點(diǎn)云配準(zhǔn)算法的通用性提出了要求。然而從目前研究階段來看，開發(fā)通用的算法是困難的。并且，基于對(duì)應(yīng)關(guān)系的深度點(diǎn)云配準(zhǔn)是一個(gè)流水線式的處理流程，在計(jì)算運(yùn)動(dòng)參數(shù)之前，通常需要經(jīng)過多個(gè)模塊的處理。因此，開發(fā)輕量、高效的專用模塊是更受歡迎的研究熱點(diǎn)。

2)現(xiàn)實(shí)中的傳感器獲取點(diǎn)云通常由于視角的限制而得到部分重疊的點(diǎn)云數(shù)據(jù)，直接對(duì)這些數(shù)據(jù)進(jìn)行配準(zhǔn)通常是困難的，盡管目前一部分研究者開發(fā)了能夠在部分重疊下配準(zhǔn)的網(wǎng)絡(luò)，但通常對(duì)重疊率有一定的要求。目前出現(xiàn)了一個(gè)更先進(jìn)的思路：一些研究人員開發(fā)了用于分割重疊區(qū)域的網(wǎng)絡(luò)(Sarode等，2020；Huang等，2021a；Xu等，2021a)，將部分重疊問題轉(zhuǎn)化為完全重疊問題。這種方法有望解除對(duì)重疊率要求的限制，從而在根本上解決部分重疊點(diǎn)云配準(zhǔn)的問題，因此具有較大的應(yīng)用價(jià)值和前景空間。

3)真實(shí)場景中會(huì)獲得海量的點(diǎn)，通常使用降采樣對(duì)點(diǎn)云進(jìn)行處理，然而降采樣可能會(huì)導(dǎo)致局部幾何信息的丟失，不利于局部幾何特征的提取。關(guān)鍵點(diǎn)技術(shù)能有效彌補(bǔ)這個(gè)缺點(diǎn)，通過尋找獨(dú)特的、對(duì)配準(zhǔn)任務(wù)有效的少量點(diǎn)用于下游任務(wù)，可以顯著降低內(nèi)存負(fù)擔(dān)并減少計(jì)算開銷，對(duì)于在真實(shí)應(yīng)用場景中的配準(zhǔn)具有重大意義。目前，關(guān)鍵點(diǎn)檢測技術(shù)在點(diǎn)云配準(zhǔn)領(lǐng)域中得到了廣泛的應(yīng)用，但得到的關(guān)注卻較少。因?yàn)轱@著性的定義并不明確，現(xiàn)階段主流方法大多采用MLPs從數(shù)據(jù)中學(xué)習(xí)顯著性。因此，開發(fā)更高效、明確的關(guān)鍵點(diǎn)檢測方法仍然是現(xiàn)階段亟待解決的問題。

4)基于回歸的離群值去除方法在真實(shí)數(shù)據(jù)點(diǎn)云配準(zhǔn)中未能取得理想的效果，目前仍然依賴傳統(tǒng)的RANSAC(Fischler和Bolles，1981)算法，然而該算法具有隨機(jī)性，且迭代次數(shù)隨離群值數(shù)目的增加出現(xiàn)指數(shù)級(jí)增長。一些研究者將RANSAC算法的思想引入到神經(jīng)網(wǎng)絡(luò)中，取得了更優(yōu)的效果，這表明神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)技術(shù)的結(jié)合具有較大的潛力，通常來說，傳統(tǒng)方法具有透明的特點(diǎn)，而神經(jīng)網(wǎng)絡(luò)則有強(qiáng)大的擬合能力，如何將兩者的優(yōu)勢進(jìn)行結(jié)合是目前研究的熱點(diǎn)。

5)無對(duì)應(yīng)配準(zhǔn)方法依賴于學(xué)習(xí)和位姿相關(guān)的全局特征，然而神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出來的全局特征是非常抽象的，很難準(zhǔn)確地施加約束?，F(xiàn)有方法提取出的全局特征對(duì)噪聲和部分重疊比較敏感，這主要是全局特征中融合了一些雜亂的信息導(dǎo)致的。另外，無對(duì)應(yīng)方法尚未廣泛應(yīng)用于真實(shí)數(shù)據(jù)，其魯棒性仍然受到一些研究者的質(zhì)疑。綜合來說，如何魯棒地提取位姿感知的全局特征也是未來的主要研究方向之一。