史魁洋

（1.四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065；2.四川大學(xué)視覺(jué)合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都 610065）

0 引言

三維幾何匹配是計(jì)算機(jī)視覺(jué)與模式識(shí)別中的一個(gè)重要研究方向。近年來(lái)，廉價(jià)便攜式點(diǎn)云獲取設(shè)備的發(fā)展，極大地帶動(dòng)了點(diǎn)云數(shù)據(jù)處理技術(shù)的研究；三維幾何匹配因其在姿態(tài)估計(jì)和場(chǎng)景重建中的重要性等需要更高性能的方法。

傳統(tǒng)手工構(gòu)造的低級(jí)幾何特征描述子，如Spin Im?ages[2]、Geometry Histograms[3]、Feature Histograms[4]、FP?FH[5]（Fast Point Feature Histogram）等。它們大多數(shù)都是基于靜態(tài)幾何屬性的直方圖信息，在具有完整曲面的三維模型上可以取得很好的效果，但在面對(duì)只有部分曲面信息的三維數(shù)據(jù)時(shí)就會(huì)出現(xiàn)表現(xiàn)不穩(wěn)定，這類算法對(duì)雜亂和遮擋的抗干擾力不強(qiáng)，在新場(chǎng)景下的應(yīng)用缺乏魯棒性。

Guo Y等提出了一種叫ROPS（Rotational Projec?tion Statistics）描述子[6]，在關(guān)鍵點(diǎn)處建立局部坐標(biāo)系，通過(guò)旋轉(zhuǎn)關(guān)鍵點(diǎn)的鄰域并投影到xy，xz，yz三個(gè)2D平面上，并在三個(gè)平面上劃分“盒子”，根據(jù)落到每個(gè)盒子的數(shù)量，來(lái)計(jì)算每個(gè)投影平面上的一系列分布數(shù)據(jù)（熵值、低階中心矩等）從而進(jìn)行描述。K.Simonyan[1]等提出了一種使用凸優(yōu)化的方法把局部圖像塊非線性映射為一種二維局部特征描述子，該描述子主要是用于圖片的二維對(duì)應(yīng)關(guān)系上，當(dāng)多視點(diǎn)立體圖像缺少紋理時(shí)容易造成對(duì)應(yīng)關(guān)系缺失。Samuele[7]等提出了SHOT描述子，在特征點(diǎn)處建立局部坐標(biāo)系，將鄰域點(diǎn)的空間位置信息和幾何特征統(tǒng)計(jì)信息結(jié)合起來(lái)描述特征點(diǎn)，Cirujeda P[9]等提出一種綜合顏色信息和幾何信息的協(xié)方差描述子，在三維場(chǎng)景的匹配中達(dá)到了很好的效果，這兩種描述方法都存在著描述子維數(shù)過(guò)大，計(jì)算速度慢等問(wèn)題。

近年來(lái)，隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域的廣泛應(yīng)用，深度學(xué)習(xí)也被引入到三維幾何匹配上。3D Shape Nets[8]把三維深度學(xué)習(xí)引入到三維形狀建模上面，通過(guò)計(jì)算三維數(shù)據(jù)的深層特征來(lái)實(shí)現(xiàn)物體的檢索與分類，它們是從整個(gè)三維物體提取出一個(gè)全局特征，這些工作具有啟發(fā)意義，但全局特征容易受到點(diǎn)云數(shù)據(jù)分辨率低，噪聲、遮擋等影響，難以發(fā)揮很好的效果。Guo[10]等使用一個(gè)2D卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的描述子來(lái)進(jìn)行局部幾何特征匹配，但是他們的只是把圖像塊特征向量連接起來(lái)作為網(wǎng)絡(luò)的輸入數(shù)據(jù)因而缺少空間關(guān)聯(lián)性，故只適用在合成的且具有完整曲面的三維模型上。Andy Zeng[11]等人提出一種叫做3DMatch的自監(jiān)督特征學(xué)習(xí)方法，通過(guò)一個(gè)3D卷積神經(jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練樣本的學(xué)習(xí)，得到一種局部體積塊描述子，該描述子在關(guān)鍵點(diǎn)匹配上達(dá)到很好的效果且在新場(chǎng)景下具有很好的魯棒性。本文在其基礎(chǔ)上通過(guò)對(duì)其使用的3D卷積神經(jīng)網(wǎng)絡(luò)的修改，訓(xùn)練得到的新的描述子在相同測(cè)試集下準(zhǔn)確率達(dá)到一定的提升。

1 3DMatch方法介紹

1.1 局部幾何特征學(xué)習(xí)

3DMatch方法的核心是創(chuàng)建一個(gè)函數(shù)ψ，可以把點(diǎn)云數(shù)據(jù)表面的一個(gè)興趣點(diǎn)及局部區(qū)域映射成一個(gè)描述子（向量表示），即給定任意兩個(gè)點(diǎn)，函數(shù)ψ把它們的局部三維體積塊轉(zhuǎn)換成兩個(gè)描述子表示。再計(jì)算這兩個(gè)描述子向量的L2范數(shù)，通過(guò)L2范數(shù)的距離來(lái)判斷兩個(gè)描述子的相似度，L2距離越小表示兩者的相似度越高。為得到該函數(shù)，3DMatch使用一個(gè)3D卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)訓(xùn)練集學(xué)習(xí)把三維立體圖像中某一個(gè)興趣點(diǎn)及其局部區(qū)域映射成一個(gè)512維的特征表示向量，此特征表示向量即是該局部區(qū)域的特征描述子。訓(xùn)練時(shí)通過(guò)使訓(xùn)練樣本中對(duì)應(yīng)的兩個(gè)匹配點(diǎn)的局部幾何描述子的L2距離最小以及兩個(gè)不匹配點(diǎn)的L2距離最大來(lái)優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)從而得到該函數(shù)模型。

1.2 三維數(shù)據(jù)表示

3DMatch使用的卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)為大小為 30×30×30 的 TDF（Truncated Distance Function）值的體素網(wǎng)格（Voxel Grid）。

TSDF（Truncated Distance Function）[12]值等于此體素到物體表面的最小距離值，其值范圍-1~1之間。TS?DF將整個(gè)三維空間劃分成立體網(wǎng)格，每個(gè)網(wǎng)格中存放的是其到物體表面的距離。TSDF值的正負(fù)分別代表被遮擋區(qū)域與可見(jiàn)區(qū)域，當(dāng)TSDF值大于零，表示該體素在物體表面之前，屬于可見(jiàn)區(qū)域；當(dāng)TSDF小于零時(shí)，表示該體素在物體表面后，屬于遮擋區(qū)域；當(dāng)TSDF值越接近于零，表示該體素越貼近于物體的真實(shí)表面。如圖1所示的是重建的一個(gè)人的臉（網(wǎng)格模型中值為0的部分，紅線表示重建的表面），重建好的表面到相機(jī)一側(cè)都是正值，另一側(cè)都是負(fù)值，在網(wǎng)格模型中從正到負(fù)的穿越點(diǎn)表示重建好的場(chǎng)景的表面。其大致原理如圖1所示。

圖1 TSDF網(wǎng)格表示原理示例：圖中的人臉輪廓表示其物體表面

3DMatch使用TDF與TSDF的區(qū)別在于TDF舍去了TSDF的正負(fù)符號(hào)，把值截?cái)嗖w一化為0~1之間，TDF值越接近1，表示該體素越貼近物體的真實(shí)表面，越接近0，表示該體素距表面越遠(yuǎn)。之所以選擇使用TSDF是因?yàn)門DF相比TSDF有幾項(xiàng)優(yōu)點(diǎn)：TDF去掉正負(fù)號(hào)使可見(jiàn)區(qū)域與遮擋區(qū)域的不再加以區(qū)分，使得體素值的最大梯度值從相機(jī)視景的可見(jiàn)區(qū)域與遮擋區(qū)域的陰影邊界處集中到物體表面附近，從而使得描述子即使在不完整的數(shù)據(jù)上也具有魯棒性；此外當(dāng)拍攝物體的相機(jī)視角不可知時(shí)，TDF可以減少物體遮擋空間的不確定性。

實(shí)驗(yàn)的局部三維圖像塊空間跨度為0.3m3，體素大小為0.01m3，體素網(wǎng)格相對(duì)于相機(jī)視角坐標(biāo)對(duì)齊，如果相機(jī)位置信息不可知，則體素網(wǎng)格通過(guò)物體坐標(biāo)對(duì)齊。

1.3 訓(xùn)練數(shù)據(jù)集

3DMatch通過(guò)RGB-D重建數(shù)據(jù)集生成對(duì)應(yīng)點(diǎn)的訓(xùn)練樣本。該訓(xùn)練樣本由3D圖像塊以及表示它們是否匹配的對(duì)應(yīng)關(guān)系標(biāo)簽組成。生成訓(xùn)練樣本的方法如下：首先，在從重建場(chǎng)景中隨機(jī)選取興趣點(diǎn)并提取興趣點(diǎn)周圍不同掃描視角的局部3D圖像塊，再把興趣點(diǎn)在重建場(chǎng)景的3D位置投影到相機(jī)視景內(nèi)的所有RGB-D幀上，要確保該興趣點(diǎn)沒(méi)有被遮擋，此外這些RGB-D幀的相機(jī)位置要相距1m以外，再分別從這兩個(gè)RGBD幀選取該興趣點(diǎn)的兩個(gè)局部圖像塊，這兩個(gè)局部圖像塊就作為一對(duì)匹配對(duì)；從重建物體表面隨機(jī)采樣兩個(gè)興趣點(diǎn)（至少相距0.1m），并從隨機(jī)挑選的兩個(gè)深度幀上選取這兩個(gè)興趣點(diǎn)對(duì)應(yīng)的局部3D圖像塊，這兩個(gè)局部圖像塊用來(lái)作為不匹配對(duì)。最后把這些匹配與不匹配的圖像塊轉(zhuǎn)換成TDF體素網(wǎng)格表示。訓(xùn)練集樣本總共為16,000,000個(gè),其中正負(fù)樣本各為8,000,000。部分RGB-D重建數(shù)據(jù)集場(chǎng)景如圖2所示。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)Lan Goodfellow[15]等，使用池化是一個(gè)無(wú)限強(qiáng)的先驗(yàn)，即每一個(gè)單元都具有少量平移不變性，與任何其他先驗(yàn)類似，卷積和池化只有當(dāng)先驗(yàn)的假設(shè)合理且正確時(shí)才有用，如果一項(xiàng)任務(wù)依賴于保存精確的空間信息，那么在所有特征上使用池化將會(huì)增大訓(xùn)練誤差，受到Szegedy[16]等的卷積網(wǎng)絡(luò)結(jié)構(gòu)啟發(fā)，為了保證當(dāng)平移不變性不合理時(shí)不會(huì)導(dǎo)致欠擬合的特征，而且由于初始輸入的TDF體素網(wǎng)格維度比較小，為了防止子采樣造成關(guān)鍵信息損失，本文對(duì)3DMatch的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改，設(shè)計(jì)成在通道上不使用池化；此外受到微軟ResNet[13]具有152層網(wǎng)絡(luò)的的啟發(fā)，在訓(xùn)練集樣本足夠多的情況下，更深的卷積網(wǎng)絡(luò)結(jié)構(gòu)往往能取得更好的訓(xùn)練效果，因此本文也適當(dāng)?shù)募由盍司W(wǎng)絡(luò)結(jié)構(gòu)的深度，由原來(lái)的8個(gè)卷積層（每一個(gè)都有線性修正單元激活函數(shù)進(jìn)行非線性化）增加到12個(gè)卷積層，在最后的卷積層輸出一個(gè)512維的特征表示向量，該特征表示向量作為一個(gè)特征描述子。其中網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，卷積層表示為（kernel size，number of filters）。

網(wǎng)絡(luò)的訓(xùn)練參數(shù)設(shè)置如下：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 關(guān)鍵點(diǎn)匹配測(cè)試

通過(guò)測(cè)試三維局部描述子在區(qū)分關(guān)鍵點(diǎn)的局部三維圖像塊匹配與不匹配的能力可以衡量三維局部描述子的性能。測(cè)試采用了3DMatch使用的基準(zhǔn)，該測(cè)試基準(zhǔn)包含30,000個(gè)3D圖像塊，其中匹配與不匹配的正負(fù)樣本數(shù)量比為1:1。評(píng)估結(jié)果是在95%召回率的條件下的錯(cuò)誤率，結(jié)果越低說(shuō)明效果越好。實(shí)驗(yàn)主要與 Spin-Images、FPFH、2D ConvNet on Depth、3DMatch描述子在基準(zhǔn)上進(jìn)行比較。其中Spin-Images、FPFH描述子使用PCL[14]（Point Cloud Library）提供的代碼實(shí)現(xiàn)進(jìn)行測(cè)試。比較結(jié)果如表1所示。

表1 關(guān)鍵點(diǎn)匹配測(cè)試錯(cuò)誤率（在95%召回率的情況下）

3.2 實(shí)驗(yàn)分析

本文通過(guò)對(duì)3DMatch卷積網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化與改進(jìn)，獲得了更好的訓(xùn)練效果。通過(guò)訓(xùn)練可以的到一個(gè)優(yōu)秀的局部體積塊描述子，該描述子對(duì)噪聲、新場(chǎng)景的變化具有魯棒性，可以獲得了良好的關(guān)鍵點(diǎn)匹配效果。此外實(shí)驗(yàn)也存在著許多不足之處，如在顯卡上進(jìn)行訓(xùn)練時(shí)占用顯存大，訓(xùn)練速度比較慢等，這些都有待進(jìn)一步對(duì)實(shí)驗(yàn)進(jìn)行優(yōu)化改進(jìn)，如采用新的數(shù)據(jù)表示方法以及新型網(wǎng)絡(luò)結(jié)構(gòu)等。

4 結(jié)語(yǔ)

深度學(xué)習(xí)是一種有效且方便的新方法，而且效果會(huì)隨著更多的數(shù)據(jù)集樣本、新型的更深的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)出現(xiàn)獲得進(jìn)一步的提升。在大數(shù)據(jù)的支持下，相信深度學(xué)習(xí)以后將在場(chǎng)景重建、形狀匹配等領(lǐng)域得到廣泛的使用。

參考文獻(xiàn)：

[1]Simonyan K,Vedaldi A,Zisserman A.Learning Local Feature Descriptors Using Convex Optimisation[M].IEEE Computer Society,2014.

[2]Johnson A E,Hebert M.Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2002,21（5）:433-449.

[3]Frome A,Huber D,Kolluri R,et al.Recognizing Objects in Range Data Using Regional Point Descriptors[J].Lecture Notes in Computer Science,2004,3023:224-237.

[4]Rusu R B,Blodow N,Marton Z C,et al.Aligning Point Cloud Views Using Persistent Feature Histograms[C].Ieee/rsj International Conference on Intelligent Robots and Systems.IEEE,2013:3384-3391.

[5]Rusu R B,Holzbach A,Blodow N,et al.Fast Geometric Point Labeling Using Conditional Random Fields[C].Ieee/rsj International Conference on Intelligent Robots and Systems.IEEE,2009:7-12.

[6]Guo Y,Sohel F,Bennamoun M,et al.Rotational Projection Statistics for 3D Local Surface Description and Object Recognition[J].International Journal of Computer Vision,2013,105（1）:63-86.

[7]Salti S,Tombari F,Stefano L D.SHOT:Unique Signatures of Histograms for Surface and Texture Description☆[J].Computer Vision&Image Understanding,2014,125（8）:251-264.

[8]Wu Z,Song S,Khosla A,et al.3D ShapeNets:A Deep Representation for Volumetric Shapes[J]，2014:1912-1920.

[9]Cirujeda P,Cid Y D,Mateo X,et al.A 3D Scene Registration Method via Covariance Descriptors and an Evolutionary Stable Strategy Game Theory Solver[J].International Journal of Computer Vision,2015,115（3）:306-329.

[10]Guo K,Zou D,Chen X.3D Mesh Labeling via Deep Convolutional Neural Networks[J].Acm Transactions on Graphics,2015,35（1）:1-12.

[11]Zeng A,Song S,Niebner M,et al.3DMatch:Learning Local Geometric Descriptors from RGB-D Reconstructions[J].2017:199-208.

[12]Curless B,Levoy M.A Volumetric Method for Building Complex Models from Range Images[C].Conference on Computer Graphics and Interactive Techniques.ACM,1996:303-312.

[13]He K,Zhang X,Ren S,et al.Deep Residual Learning for Image Recognition[J]，2015:770-778.

[14]http://pointclouds.org/.

[15]Lan Goodfellow等著.深度學(xué)習(xí)[M].趙申劍，黎彧君等譯.北京：人民郵電出版社，2017.8.

[16]Szegedy C,Liu W,Jia Y,et al.Going Deeper with Convolutions[C].Computer Vision and Pattern Recognition.IEEE,2015:1-9.