何?凱，李大雙，馬希濤，趙?巖，劉志國(guó)

基于混合注意力機(jī)制和相關(guān)性估計(jì)網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)算法

何?凱，李大雙，馬希濤，趙?巖，劉志國(guó)

(天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072)

點(diǎn)云配準(zhǔn)是對(duì)同一物體上采集到的點(diǎn)云數(shù)據(jù)進(jìn)行精確匹配，然而傳統(tǒng)方法計(jì)算成本高，配準(zhǔn)精度差．基于神經(jīng)網(wǎng)絡(luò)的算法也存在噪聲干擾，在類別未見(jiàn)的點(diǎn)云數(shù)據(jù)上應(yīng)用時(shí)效果不佳．為解決這一問(wèn)題，本文提出了一種基于混合注意力機(jī)制和相關(guān)性估計(jì)網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)算法．考慮到點(diǎn)云內(nèi)部特征的復(fù)雜性和點(diǎn)云對(duì)變換的隨機(jī)性，提出一種混合注意力機(jī)制來(lái)提取關(guān)鍵特征信息，利用殘差的方式進(jìn)行連接，可以得到更具魯棒性的點(diǎn)云特征．通過(guò)相關(guān)性估計(jì)網(wǎng)絡(luò)對(duì)點(diǎn)云特征進(jìn)行非線性激勵(lì)，可以提高表達(dá)能力，獲取點(diǎn)云對(duì)之間更緊密的相關(guān)性．在人工合成數(shù)據(jù)集ModelNet40和真實(shí)數(shù)據(jù)集ICL-NUIM上的仿真實(shí)驗(yàn)結(jié)果表明，本文算法在大尺度仿射變換下，對(duì)摻雜噪聲、類別未見(jiàn)點(diǎn)云數(shù)據(jù)的配準(zhǔn)精度有顯著的提升，證明了其有效性．

點(diǎn)云配準(zhǔn)；仿射變換；混合注意力機(jī)制；相關(guān)性估計(jì)網(wǎng)絡(luò)

點(diǎn)云指的是利用測(cè)量?jī)x器，在物體外觀表面得到的點(diǎn)數(shù)據(jù)集合．由于測(cè)量視角的限制，通常需要在多個(gè)視角下對(duì)同一物體進(jìn)行測(cè)量．如何利用采集到的點(diǎn)云數(shù)據(jù)來(lái)準(zhǔn)確獲得物體的空間變換關(guān)系，實(shí)現(xiàn)二者的完美匹配，是點(diǎn)云配準(zhǔn)的關(guān)鍵．點(diǎn)云配準(zhǔn)是三維重建技術(shù)的前提和基礎(chǔ)，具有重要的研究意義．例如：在醫(yī)學(xué)成像領(lǐng)域，精確配準(zhǔn)的點(diǎn)云數(shù)據(jù)可有效解決成像模糊、缺失等問(wèn)題；在機(jī)器視覺(jué)方面，點(diǎn)云配準(zhǔn)效果決定了機(jī)器人的姿態(tài)估計(jì)精度，進(jìn)而影響其行為判別和后續(xù)處理；在3D打印方面，點(diǎn)云配準(zhǔn)精度直接決定了產(chǎn)品的精度．

Besl等[1]提出了迭代最近點(diǎn)(ICP)算法，通過(guò)鄰近點(diǎn)查找建立點(diǎn)集之間的相關(guān)性，并重新計(jì)算對(duì)準(zhǔn)的交替方式，來(lái)實(shí)現(xiàn)最小二乘優(yōu)化；該方法僅可用于小尺度仿射變換估計(jì)，配準(zhǔn)精度也很不理想．2004年，Tsin等[2]提出了基于點(diǎn)集之間的相關(guān)性方法，可用于檢測(cè)點(diǎn)云中的異常點(diǎn)，提高了配準(zhǔn)精度和算法的魯棒性．2010年，Jian等[3]提出利用高斯混合模型，以概率分布形式來(lái)表現(xiàn)不同點(diǎn)云之間的相關(guān)性，可實(shí)現(xiàn)點(diǎn)云的局部配準(zhǔn)．2014年，韓賢權(quán)等[4]提出了一種改進(jìn)的粒子群優(yōu)化算法，通過(guò)最小化法向量叉積代數(shù)和作為適應(yīng)度函數(shù)，進(jìn)行高效的全局搜索，可實(shí)現(xiàn)散亂點(diǎn)云的精確配準(zhǔn)．2016年，葛寶臻等[5]引入鄰域半徑約束，提出了一種改進(jìn)固有形狀特征點(diǎn)的提取方法，再利用人工蜂群算法[6]進(jìn)行優(yōu)化求解，進(jìn)而得到空間變換矩陣參數(shù)，提高了抗噪性和計(jì)算效率．上述傳統(tǒng)方法配準(zhǔn)精度差，計(jì)算成本較高．

近年來(lái)，隨著點(diǎn)云數(shù)據(jù)量的不斷增加，傳統(tǒng)方法已不能滿足實(shí)際工程的需要，基于深度學(xué)習(xí)的方法實(shí)現(xiàn)點(diǎn)云配準(zhǔn)受到了越來(lái)越廣泛的關(guān)注．例如：2017年，Qi等[7]提出了PointNet深度網(wǎng)絡(luò)結(jié)構(gòu)，采用對(duì)稱的編碼器和解碼器，可直接處理無(wú)序的點(diǎn)云數(shù)據(jù)，但對(duì)大尺度變換和噪聲較敏感，精度有限．2019年，Aoki等[8]通過(guò)將PointNet與傳統(tǒng)方法相結(jié)合，提出PointNetLK模型，可將兩個(gè)點(diǎn)云數(shù)據(jù)映射到相同的空間進(jìn)行處理，同時(shí)采用循環(huán)神經(jīng)網(wǎng)絡(luò)減少了計(jì)算復(fù)雜性，在中等尺度變換和噪聲等條件下提高了匹配精度．Wang等[9]提出了深度最鄰近點(diǎn)(DCP)的方法，運(yùn)用動(dòng)態(tài)圖卷積網(wǎng)絡(luò)來(lái)挖掘點(diǎn)云的魯棒性特征，采用注意力機(jī)制在深層特征中計(jì)算點(diǎn)的相關(guān)性，并利用奇異值分解矩陣來(lái)估計(jì)點(diǎn)云的仿射變換，可實(shí)現(xiàn)在未知類別點(diǎn)云數(shù)據(jù)的精確配準(zhǔn)．2020年，Yew等[10]從空間和局部幾何坐標(biāo)來(lái)學(xué)習(xí)混合特征，使用退火等處理來(lái)減少初始對(duì)準(zhǔn)結(jié)果的影響，采用迭代網(wǎng)絡(luò)來(lái)計(jì)算待配準(zhǔn)點(diǎn)云和目標(biāo)點(diǎn)云的相關(guān)性矩陣，提高了對(duì)噪聲、陌生類別，以及部分可視點(diǎn)云數(shù)據(jù)的泛化能力，但運(yùn)算速度較慢．與傳統(tǒng)算法相比，深度學(xué)習(xí)方法具有特征提取效率高、運(yùn)算速度快等特點(diǎn)，在點(diǎn)云配準(zhǔn)方面具有很大的優(yōu)勢(shì)，代表了未來(lái)的研究方向．然而，現(xiàn)有深度學(xué)習(xí)方法仍然容易受到大視角、噪聲、類別多樣性等因素的影響，匹配準(zhǔn)確率有待提高．

為解決上述問(wèn)題，本文提出了一種基于混合注意力機(jī)制和相關(guān)性估計(jì)網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)算法．采用混合注意力機(jī)制的方式關(guān)注更為細(xì)致的點(diǎn)云內(nèi)部關(guān)鍵特征，以及點(diǎn)云對(duì)之間的空間聯(lián)系．此外，本文提出了相關(guān)性估計(jì)網(wǎng)絡(luò)，通過(guò)對(duì)編碼后的多通道特征直接進(jìn)行解碼，可保留不同空間的特征信息，有助于提高特征的表達(dá)能力和相關(guān)性估計(jì)的準(zhǔn)確性．

1?本文算法

圖1?混合注意力機(jī)制和相關(guān)性估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)

1.1?混合注意力機(jī)制

注意力機(jī)制能夠有選擇性地關(guān)注信息的部分內(nèi)容，產(chǎn)生更具分辨能力的特征表示．例如：自注意力機(jī)制[11]能夠獲取點(diǎn)云內(nèi)部點(diǎn)之間的依賴關(guān)系；互注意力機(jī)制[12]可以關(guān)注不同點(diǎn)云之間的特征相關(guān)性；多頭注意力機(jī)制[13]通過(guò)平行計(jì)算多個(gè)輸入特征信息，可以關(guān)注信息的不同部分．然而，上述注意力機(jī)制均存在一定的缺點(diǎn)：自注意力機(jī)制可有效保留點(diǎn)云內(nèi)部的關(guān)聯(lián)性，但缺失內(nèi)部空間的位置信息，容易陷入局部最優(yōu)；同時(shí)，缺失點(diǎn)云對(duì)之間的空間相對(duì)性，也會(huì)影響配準(zhǔn)精度．相反，互注意力機(jī)制可以關(guān)注兩個(gè)點(diǎn)云不同空間位置的相關(guān)性，得到點(diǎn)云對(duì)的空間關(guān)系；但忽視了點(diǎn)云的幾何特性，容易檢測(cè)到部分獨(dú)立于關(guān)鍵點(diǎn)之外的異常點(diǎn)，產(chǎn)生誤匹配．

圖2?混合注意力機(jī)制模塊

上述操作可表示為

輸出注意力結(jié)果歸一化后，利用多層感知器模塊，使用前饋傳播的方式來(lái)學(xué)習(xí)點(diǎn)云數(shù)據(jù)的內(nèi)部特征，可以獲得更精細(xì)的注意力表征．網(wǎng)絡(luò)含有1層隱藏層，節(jié)點(diǎn)數(shù)為1024，采用全連接的方式，激活函數(shù)采用ReLU．通過(guò)隱藏層的設(shè)置，可以將原始點(diǎn)云特征空間分布映射到更高維度的隱空間當(dāng)中，尋找潛在特征信息．

對(duì)于隱藏層的輸出進(jìn)行批歸一化處理，以提升網(wǎng)絡(luò)的泛化性能．隱藏層與輸出層之間也采用全連接的方式，從高維空間映射到原始特征空間．網(wǎng)絡(luò)的輸出層和輸入層節(jié)點(diǎn)數(shù)保持一致，并進(jìn)行殘差連接，再利用層歸一化，以充分提取特征的關(guān)鍵信息，具體操作為

具體操作為

1.2?相關(guān)性估計(jì)網(wǎng)絡(luò)

PointNet[7]是首個(gè)直接將點(diǎn)云數(shù)據(jù)作為輸入的深度神經(jīng)網(wǎng)絡(luò)，受其啟發(fā)，本文提出了一種簡(jiǎn)易的卷積神經(jīng)網(wǎng)絡(luò)，用于計(jì)算點(diǎn)云對(duì)之間的相關(guān)性，稱為相關(guān)性估計(jì)網(wǎng)絡(luò)(CE)．該網(wǎng)絡(luò)由編碼器和解碼器兩個(gè)部分組成，具體如圖3所示．編碼器共有4層，均采用相同的卷積、批歸一化和ReLU激活操作，且參數(shù)共享；使用一維卷積，卷積核大小為1×1，以保持特征圖大小不變，通過(guò)非線性激勵(lì)來(lái)提升網(wǎng)絡(luò)的表達(dá)能力，整合特征信息．編碼器前一層的輸出均作為后一層的輸入，從第1層到第4層的輸入通道數(shù)依次為80、64、128、256，第4層輸出通道數(shù)為1024，編碼過(guò)程為

式中：為激活函數(shù)；代表批歸一化；代表卷積核大小為1×1的一維卷積；為混合注意力機(jī)制的輸出．

1×1的卷積核可以在保持輸入尺寸不變的情況下，實(shí)現(xiàn)全連接的通道數(shù)變化．編碼器通過(guò)卷積操作，不斷增加特征的通道數(shù)，將輸入的特征從低維向高維空間進(jìn)行非線性映射，不斷挖掘多通道特征的隱藏信息，可以適應(yīng)大尺度的仿射變換．

為了得到點(diǎn)云對(duì)之間的相關(guān)性矩陣，需要對(duì)高維特征進(jìn)行解碼．與編碼器對(duì)稱，解碼器結(jié)構(gòu)包含3層，采用相同的處理方式；從第1層到第3層的輸入通道數(shù)依次為1024、512、256，第3層的輸出通道數(shù)為128．逐步減少通道數(shù)，通過(guò)非線性激勵(lì)獲得特征之間的相關(guān)性；采用1×1的卷積操作得到通道數(shù)為16的相關(guān)性矩陣輸出．

1.3?配準(zhǔn)參數(shù)計(jì)算

高斯混合模型指的是多個(gè)高斯分布函數(shù)的線性組合．由于點(diǎn)云數(shù)據(jù)的不規(guī)則性，難以獲得其分布規(guī)律；高斯混合模型可以通過(guò)多個(gè)高斯分布函數(shù)來(lái)擬合點(diǎn)云數(shù)據(jù)，再根據(jù)內(nèi)部點(diǎn)的相關(guān)性來(lái)賦予不同分布函數(shù)的對(duì)應(yīng)權(quán)重，從而有效獲取點(diǎn)云數(shù)據(jù)的內(nèi)部聯(lián)系，提高配準(zhǔn)精度．

利用均方差損失，可有效提高網(wǎng)絡(luò)的收斂速度，得到精確的配準(zhǔn)結(jié)果．

2?實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，將提出的混合注意力機(jī)制和相關(guān)性估計(jì)網(wǎng)絡(luò)應(yīng)用在高斯混合模型框架上，在合成點(diǎn)云數(shù)據(jù)集ModelNet40[15]和真實(shí)數(shù)據(jù)集ICL-NIUM[16]上進(jìn)行測(cè)試，并與經(jīng)典點(diǎn)云配準(zhǔn)方法進(jìn)行了比較．

2.1?數(shù)據(jù)集處理

ModelNet40數(shù)據(jù)集包含有Clean、Noisy和Unseen 3個(gè)子數(shù)據(jù)集．其中：①Clean包含40類不含噪聲的點(diǎn)云數(shù)據(jù)，在點(diǎn)云對(duì)之間有明確的相關(guān)性，訓(xùn)練/驗(yàn)證集包含9843個(gè)點(diǎn)云對(duì)，測(cè)試集包含2468個(gè)點(diǎn)云對(duì)；②Noisy中加入具有(0，0.01)分布的高斯噪聲，以更加貼近現(xiàn)實(shí)情況；③Unseen除了加入高斯噪聲以外，在訓(xùn)練時(shí)選取20個(gè)類別的點(diǎn)云數(shù)據(jù)，測(cè)試時(shí)采用另外20個(gè)類別的點(diǎn)云數(shù)據(jù)，以更好地測(cè)試算法的通用性．

ICL-NUIM數(shù)據(jù)集是利用激光掃描得到的真實(shí)室內(nèi)點(diǎn)云數(shù)據(jù)，采取與ModelNet40數(shù)據(jù)集相同的處理方式，數(shù)據(jù)集包含1478個(gè)點(diǎn)云對(duì)樣本，其中1278個(gè)用于訓(xùn)練和驗(yàn)證，200個(gè)用于測(cè)試．

2.2?實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

計(jì)算機(jī)配置為：CPU Intel Core i9-9900K；內(nèi)存64G；GPU RTX 2080Ti；顯存11G；Linux18.04系統(tǒng)，python編程環(huán)境，使用pytorch框架對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行配準(zhǔn)．

網(wǎng)絡(luò)訓(xùn)練時(shí)batch_size設(shè)為16，測(cè)試時(shí)設(shè)為32；采用Adam優(yōu)化器，學(xué)習(xí)率設(shè)為0.001，迭代次數(shù)為100．訓(xùn)練樣本和驗(yàn)證樣本按照9∶1比例劃分；驗(yàn)證損失迭代20次、損失函數(shù)值未改善時(shí)，學(xué)習(xí)率減半．仿射變換中平移變換沿坐標(biāo)軸在[-0.5，0.5]中隨機(jī)采樣，旋轉(zhuǎn)變換沿坐標(biāo)軸在[0，180°]中隨機(jī)采樣．

2.3?實(shí)驗(yàn)結(jié)果分析

采用根均方誤差(RMSE)對(duì)點(diǎn)云配準(zhǔn)結(jié)果進(jìn)行量化分析，其值越低表示配準(zhǔn)效果越好，計(jì)算公式為

為了測(cè)試本文點(diǎn)云配準(zhǔn)算法的有效性，在合成數(shù)據(jù)集ModelNet40的3個(gè)子數(shù)據(jù)集上，分別與幾種經(jīng)典算法進(jìn)行了對(duì)比．其中：ICP是局部點(diǎn)云經(jīng)典配準(zhǔn)算法；FGR[17]是全局點(diǎn)云經(jīng)典配準(zhǔn)算法；PointNetLK、PRNet[18]、DCP和DeepGMR[19]是近年來(lái)具有代表性的基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法．點(diǎn)云配準(zhǔn)后RMSE結(jié)果如表1所示．

從表1中可以看出，傳統(tǒng)算法ICP容易陷入局部最優(yōu)，在3個(gè)數(shù)據(jù)集上表現(xiàn)不佳；基于深度學(xué)習(xí)方法DCP在Clean和Noisy兩個(gè)子數(shù)據(jù)集上表現(xiàn)較好，但在Unseen子數(shù)據(jù)集上效果較差，魯棒性不佳；由于DeepGMR和本文算法是在高斯混合模型上進(jìn)行配準(zhǔn)，效果遠(yuǎn)優(yōu)于其他算法，為便于對(duì)比，在DeepGMR提供的算法上進(jìn)行仿真，結(jié)果保留小數(shù)點(diǎn)后6位．可以看出，大視角變換條件下大部分算法誤差較大，加入噪聲后性能更是不佳．對(duì)于未訓(xùn)練過(guò)的點(diǎn)云類別，算法普遍泛化能力較差；與之相比，本文算法能更好地關(guān)注點(diǎn)云特征的關(guān)鍵信息，對(duì)于大視角、含噪以及類別未見(jiàn)點(diǎn)云數(shù)據(jù)都具有良好的泛化能力，在3個(gè)合成數(shù)據(jù)集上指標(biāo)均為最高，證明了算法的有效性．

表1?不同算法在合成數(shù)據(jù)集上配準(zhǔn)效果對(duì)比

Tab.1 Comparison of the registration effects of different algorithms on a synthesized dataset

注：對(duì)比算法指標(biāo)均采用文獻(xiàn)[19]中的結(jié)果．

為了測(cè)試本文算法在真實(shí)點(diǎn)云數(shù)據(jù)集上的配準(zhǔn)效果，分別利用本文算法和經(jīng)典算法，對(duì)ICL-NUIM數(shù)據(jù)集進(jìn)行配準(zhǔn)，RMSE結(jié)果如表2所示．從表2中可以看出，由于真實(shí)點(diǎn)云數(shù)據(jù)的復(fù)雜程度比合成點(diǎn)云更高，因此大多數(shù)算法的配準(zhǔn)效果不及在Model Net40數(shù)據(jù)集上的測(cè)試結(jié)果(如表1所示)；但本文算法的配準(zhǔn)效果仍然最佳，證明其具有較強(qiáng)的泛化能力.

表2?不同算法在真實(shí)數(shù)據(jù)集上配準(zhǔn)效果對(duì)比

Tab.2 Comparison of the registration effects of different algorithms on a real dataset

注：對(duì)比算法指標(biāo)均采用文獻(xiàn)[19]中的結(jié)果．

采用本文算法對(duì)不同點(diǎn)云數(shù)據(jù)集的配準(zhǔn)效果如圖4所示，其中，圖4(a)～(d)分別代表在數(shù)據(jù)集ModelNet Clean、ModelNet Noisy、ModelNet Unseen和ICL-NUIM上的配準(zhǔn)結(jié)果；左邊一列代表待配準(zhǔn)點(diǎn)云和目標(biāo)點(diǎn)云，右邊一列代表配準(zhǔn)結(jié)果．從圖中可以看出，本文算法能夠精確地捕捉到關(guān)鍵特征信息，即使兩個(gè)點(diǎn)云存在較大的空間差異，仍然能夠獲得比較理想的配準(zhǔn)效果．

為了證明本文模塊的有效性，分別進(jìn)行了消融實(shí)驗(yàn)．在不同數(shù)據(jù)集上，分別采用不同網(wǎng)絡(luò)結(jié)構(gòu)：PointNet(PN)網(wǎng)絡(luò)，本文相關(guān)性估計(jì)網(wǎng)絡(luò)(CE)，本文混合注意力機(jī)制與PointNet網(wǎng)絡(luò)(MA＋PN)，本文混合注意力機(jī)制和相關(guān)性估計(jì)網(wǎng)絡(luò)(MA＋CE)進(jìn)行配準(zhǔn)．RMSE結(jié)果如表3所示．

圖4?不同數(shù)據(jù)集點(diǎn)云配準(zhǔn)結(jié)果對(duì)比

表3?不同網(wǎng)絡(luò)結(jié)構(gòu)點(diǎn)云配準(zhǔn)效果對(duì)比

Tab.3 Comparison of registration effects using different network structures

從表3中可以看出，與傳統(tǒng)PN網(wǎng)絡(luò)相比，本文CE網(wǎng)絡(luò)效果更佳．這是由于PN網(wǎng)絡(luò)在編碼層后做了最大池化操作，并將結(jié)果與編碼層的輸出進(jìn)行了拼接，此舉雖然可以消除冗余信息，但同時(shí)容易刪去關(guān)鍵性特征；而本文CE網(wǎng)絡(luò)是直接對(duì)編碼層的輸出特征進(jìn)行解碼，可保留更多的特征信息．此外，還可以看出MA＋PN優(yōu)于PN網(wǎng)絡(luò)，表明本文提出的混合注意力機(jī)制模塊有助于關(guān)注點(diǎn)云對(duì)的主要特征，忽視無(wú)關(guān)信息．將本文提出的兩個(gè)模塊進(jìn)行組合(MA＋CE)，配準(zhǔn)效果最佳，證明了本文提出這兩個(gè)模塊的有效性．

為了驗(yàn)證本文網(wǎng)絡(luò)模型的特征學(xué)習(xí)能力，與PointNet網(wǎng)絡(luò)在ModelNet Clean數(shù)據(jù)集上訓(xùn)練時(shí)的RMSE曲線進(jìn)行對(duì)比，結(jié)果如圖5所示．其中，橫坐標(biāo)代表迭代步數(shù)．從圖5中可以看出，PointNet網(wǎng)絡(luò)收斂較慢，且在迭代步數(shù)達(dá)到8000時(shí)有很大的峰值波動(dòng)；而本文模型指標(biāo)僅在前2000步時(shí)浮動(dòng)較大，隨后便保持平穩(wěn)，收斂速度明顯加快，表明本文網(wǎng)絡(luò)具有更強(qiáng)的特征學(xué)習(xí)能力．

2.4?算法復(fù)雜度分析

為了對(duì)網(wǎng)絡(luò)的整體性能進(jìn)行評(píng)價(jià)，在ModelNet40測(cè)試集上，采用不同算法對(duì)一個(gè)點(diǎn)云對(duì)進(jìn)行處理，其平均運(yùn)算時(shí)間如表4所示．其中，PRNet在采樣點(diǎn)為3000時(shí)顯存溢出，無(wú)法獲得運(yùn)算時(shí)間．從表中可以看出，本文算法的平均運(yùn)算時(shí)間明顯少于已有算法，僅略高于DeepGMR算法．這主要是引入了混合注意力機(jī)制模塊所致，雖然時(shí)間略有增加，但有效提高了配準(zhǔn)精度．

圖5?不同模型訓(xùn)練結(jié)果對(duì)比

表4?不同點(diǎn)云配準(zhǔn)算法的運(yùn)算時(shí)間對(duì)比

Tab.4 Comparison of time comsumptions of different algorithms ?ms

注：對(duì)比算法指標(biāo)均采用文獻(xiàn)[19]中的結(jié)果．

3?結(jié)?語(yǔ)

本文提出了一種混合注意力機(jī)制和相關(guān)性估計(jì)網(wǎng)絡(luò)模型．利用混合注意力機(jī)制來(lái)關(guān)注點(diǎn)云數(shù)據(jù)的細(xì)節(jié)特征，增強(qiáng)了網(wǎng)絡(luò)對(duì)重要信息的學(xué)習(xí)能力；其次，提出相關(guān)性估計(jì)網(wǎng)絡(luò)，可充分保留不同空間的點(diǎn)云特征．在合成數(shù)據(jù)集與真實(shí)數(shù)據(jù)集上的仿真實(shí)驗(yàn)結(jié)果表明，本文算法可以獲得更高的配準(zhǔn)精度，泛化能力更強(qiáng)．本文算法僅適用于對(duì)完整的點(diǎn)云數(shù)據(jù)進(jìn)行處理，實(shí)際工程中可能存在部分點(diǎn)云數(shù)據(jù)丟失的現(xiàn)象，這會(huì)導(dǎo)致內(nèi)部點(diǎn)相關(guān)性的丟失，影響本文算法精度．未來(lái)需要進(jìn)一步優(yōu)化混合注意力機(jī)制模塊，調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)配置，使得其在部分可見(jiàn)的點(diǎn)云數(shù)據(jù)上也能獲得良好的配準(zhǔn)效果．

［1］ Besl P J，McKay N D. A method for registration of 3-D shapes[J]. IEEE Trans on Pattern，1992，1067：239-256.

［2］ Tsin Y，Kanade T. A correlation-based approach to robust point set registration[C]// 8th European Conference on Computer Vision. Heidelberg，Berlin，2004：558-569.

［3］ Jian B，Vemuri B C. Robust point set registration using gaussian mixture models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，33(8)：1633-1645.

［4］ 韓賢權(quán)，朱?慶，丁雨淋，等. 散亂點(diǎn)云數(shù)據(jù)精配準(zhǔn)的粒子群優(yōu)化算法[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2014，39(10)：1214-1220.

Han Xianquan，Zhu Qing，Ding Yulin，et al. Precise registration of scattered cloud data based on the particle swarm optimization[J]. Geomatics and Information Science of Wuhan University，2014，39(10)：1214-1220(in Chinese).

［5］ 葛寶臻，周天宇，陳?雷，等. 基于改進(jìn)ISS特征點(diǎn)與人工蜂群算法的點(diǎn)云拼接方法[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2016，49(12)：1296-1302.

Ge Baozhen，Zhou Tianyu，Chen Lei，et al. Point clouds registration algorithm based on improved ISS feature points and artificial bee colony algorithm[J]. Journal of Tianjin University(Science and Technol-ogy)，2016，49(12)：1296-1302(in Chinese).

［6］ Karaboga D，Basturk B. A powerful and efficient algorithm for numerical function optimization：Artificial bee colony(ABC) algorithm[J]. Journal of Global Optimization，2007，39(3)：459-471.

［7］ Qi C R，Su H，Mo K，et al. Pointnet：Deep learning on point sets for 3D classification and segmentation [C]// IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，USA，2017：652-660.

［8］ Aoki Y，Goforth H，Srivatsan R A，et al. Point-netlk：Robust & efficient point cloud registration using pointnet[C]// IEEE Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：7163-7172.

［9］ Wang Y，Solomon J M. Deep closest point：Learning representations for point cloud registration[C]// IEEE Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：3523-3532.

［10］ Yew Z J，Lee G H. RPM-Net：Robust point matching using learned features[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle，USA，2020：11824-11833.

［11］ Lin Z，F(xiàn)eng M，Santos C N，et al. A structured self-attentive sentence embedding[EB/OL]. https://arxiv.org/ abs/1703. 03130，2017-03-09.

［12］ Xiong C，Zhong V，Socher R. Dynamic coattention networks for question answering[EB/OL]. https:// arxiv.org/abs/1611.01604，2016-11-05.

［13］ Vaswani A，Shazeer N，Parmar N，et al. Attention is all you need[C]// Advances in Neural Information Processing Systems. Long Beach，USA，2017：5998-6008.

［14］ Hornik K，Stinchcombe M，White H. Multilayer feedforward networks are universal approximators[J]. Neural Networks，1989，2(5)：359-366.

［15］ Wu Z，Song S，Khosla A，et al. 3d shapenets：A deep representation for volumetric shapes[C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston，USA，2015：1912-1920.

［16］ Choi S，Zhou Q Y，Koltun V. Robust reconstruction of indoor scenes[C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston，USA，2015：5556-5565.

［17］ Wang Y，Solomon J M. Prnet：Self-supervised learning for partial-to-partial registration[C]// Advances in Neural Information Processing Systems. Vancouver，Canada，2019：8812-8824.

［18］ Zhou Q Y，Park J，Koltun V. Fast global registration[C]// European Conference on Computer Vision. Amsterdam，The Netherlands，2016：766-782.

［19］ Yuan W，Eckart B，Kim K，et al. DeepGMR：Learning latent Gaussian mixture models for registration[C]// European Conference on Computer Vision. Seattle，USA，2020：733-750.

A Point Cloud Registration Algorithm Using a Mixed Attention Mechanism and Correlation Estimation Network

He Kai，Li Dashuang，Ma Xitao，Zhao Yan，Liu Zhiguo

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

Point cloud registration aims to accurately match point cloud data collected from the same object. However，traditional methods encounter high calculation cost and poor registration accuracy difficulties. Algorithms based on neural networks have not been effective in handling noisy and unseen point cloud data. To address this problem，a point cloud registration algorithm using a mixed attention mechanism (MA) and correlation estimation (CE)network is proposed. Considering that point clouds have complex internal features and random transformations，the MA is designed to fuse and extract the key features，which can be made more robust through a residual connection. Subsequently，the point cloud features are better expressed with the nonlinear excitation of the proposed CE network，which can obtain a closer correlation between point cloud pairs. Experimental results for the artificially synthesized dataset ModelNet40 and real dataset ICL-NUIM show a significant improvement in the registration accuracy of noisy and unseen point clouds under a large affine transformation，which demonstrates the effectiveness of the proposed algorithm.

point cloud registration；affine transformation；mixed attention mechanism；correlation estimation network

TP391

A

0493-2137(2022)03-0299-07

10.11784/tdxbz202012072

2020-12-31；

2021-02-27.

何?凱（1972—??），男，博士，副教授．

何?凱，hekai@tju.edu.cn.

國(guó)家自然科學(xué)基金資助項(xiàng)目(62171314).

Supported by the National Natural Science Foundation of China(No. 62171314).

(責(zé)任編輯：孫立華)