耿國華,姚文敏,周明全,劉 杰,徐雪麗,4, 曹 欣,劉陽洋,李 康

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;2.西北大學(xué) 文化遺產(chǎn)數(shù)字化國家地方聯(lián)合工程研究中心, 陜西 西安 710127;3.北京師范大學(xué) 教育部虛擬現(xiàn)實應(yīng)用工程研究中心,北京 100875;4.延安大學(xué) 數(shù)學(xué)與計算機科學(xué)學(xué)院,陜西 延安 716000)

地殼運動、氣候變化、收藏和搬運等過程中的不當操作都可能使文物破損,進而影響其藝術(shù)、歷史等價值,因此，拼接碎片以恢復(fù)文物原貌是一項重要工作。傳統(tǒng)的手工拼接不僅繁瑣,而且可能在拼接過程中對文物造成二次破壞[1]。計算機技術(shù)的發(fā)展使虛擬拼接技術(shù)取代手工操作成為可能。在大量待處理碎塊中,虛擬拼接技術(shù)能夠自動選擇合適的碎塊進行拼接，最終實現(xiàn)整體復(fù)原。該過程包括兩個階段:匹配與配準,前者確定哪些碎塊應(yīng)該拼接在一起,后者確定如何拼接。

三維物體匹配的通用方法是:提取物體的特征之后對特征描述子進行比對,確定物體之間的匹配關(guān)系。根據(jù)不同的特征來源,可以將這些方法歸為基于點[2-3]、基于線[4-7]和基于面[8-9]3類。PAN等通過檢測物體的關(guān)鍵點,對其局部特征進行編碼，利用能量函數(shù)對局部特征和歐幾里得幾何混合空間中臨界點的相似性進行建模,完成相應(yīng)匹配任務(wù)[2]。袁潔等通過構(gòu)建輪廓線到斷裂面和表面特征點的雙向距離描述子[7],提高了特征的魯棒性,但該方法對輪廓線有較高的依賴性,在輪廓線嚴重缺損時表現(xiàn)不佳。Son等提出了一種基于表面的描述符(surface signature),用于描述基于凹凸信息的幾何特征,以衡量不同表面的相似性[9]。總體而言,從點到線再到面的特征描述子包含的信息逐漸豐富,對噪聲的抗干擾程度逐漸增強。

配準的解決方案主要可分為3種[10]:基于距離[11-15]、基于濾波器[16-18]和基于概率分布[19-22]。迭代最近點(iterative closest point, ICP)算法[11]是基于距離的三維點云配準方法。ICP以三維點云之間的歐式距離為優(yōu)化目標,迭代更新點云與空間位姿的對應(yīng)關(guān)系。為了解決更具體、更復(fù)雜的問題,研究者們提出了一系列基于ICP的改進方法[12-15]，但此類方法仍存在計算量大、收斂時間長、局部最優(yōu)以及對噪聲敏感等缺點[23]。Sandhu等采用粒子濾波方案驅(qū)動點集的配準過程,對噪聲與結(jié)構(gòu)缺失等問題具有較好魯棒性[18]。Jian等將三維點云表示為高斯混合模型,并將點云配準問題視為對兩個高斯混合模型的配準[19]。此外,三維點云配準通常使用由粗到精的配準策略[24]。Kim等聯(lián)合主成分分析(principal component analysis, PCA)和ICP算法使用基于PCA的全局配準粗略對齊三維數(shù)據(jù),得到位置的初始估計,然后，采用ICP和Levenberg-Marquardt算法進行局部對齊得到更精細的配準結(jié)果,提高了算法的效率和精度[25]。此外,Wang等[26]提出了深度最近點(deep closest point， DCP)神經(jīng)網(wǎng)絡(luò),由于其訓(xùn)練樣本為理想狀態(tài)下的三維物體,因此，若直接將該方法應(yīng)用于現(xiàn)實問題,效果并不突出。

為了提高對破損輪廓線的魯棒性,本文提出一種基于斷裂面信息的文物碎塊自動拼接方法,該方法能夠降低對輪廓線的依賴程度,同時有效解決PCA配準的方向歧義性,并且通過構(gòu)建的由粗到細的配準方法,得到更精準的拼接結(jié)果。

1 方法描述

1.1 斷裂面提取

與文物外表面不同,斷裂面是因斷裂而產(chǎn)生的新表面,如圖1所示。斷裂面包含重要的紋理和幾何分布信息,能夠為匹配階段提供豐富的特征和有力的支持。本文參考Li等[27]的斷裂面提取方法,根據(jù)多尺度曲率確定斷裂面輪廓線,比較平面粗糙程度來區(qū)分斷裂面和外表面，斷裂面提取結(jié)果如圖2所示。

圖1 不同視角下的兵馬俑碎塊Fig.1 Terracotta Warriors fragment from different perspectives

圖2 斷裂面提取結(jié)果Fig.2 Extraction result of fracture surface

1.2 特征提取與匹配

快速點特征直方圖(fast point feature histograms,FPFH)[28]在三維點云關(guān)鍵點檢測、匹配和配準等領(lǐng)域有廣泛的應(yīng)用。文物最初斷裂產(chǎn)生的輪廓線比較尖銳,但輪廓線位于斷裂面外沿,經(jīng)歷長期自然以及人為因素的影響極易磨損。因此,高度依賴輪廓線的方法可能因特征的不可靠性導(dǎo)致性能下降?；诖?本文提出基于改進的FPFH特征的文物斷裂面特征提取與匹配算法,降低對輪廓線的依賴度。算法描述如圖3所示,以一對待處理的斷裂面作為輸入,經(jīng)過FPFH特征提取和比對得到匹配點,再根據(jù)該點是否位于輪廓線上,調(diào)整其對斷裂面的整體匹配度的權(quán)重,最終輸出匹配得分。

圖3 文物斷裂面特征提取與匹配算法示意圖Fig.3 Schematic diagram of the feature extraction and matching algorithm of cultural relics fracture surfaces

以斷裂面A,B為例,其分別由m和n個點組成,即A={a1,a2,…,am},B={b1,b2,…,bn}。 計算各點的FPPH特征, 得到FA={fa1,fa2,…,fam},FB={fb1,fb2,…,fbn}。A中任意一點對應(yīng)的匹配點為B中在FPPH特征向量空間中歐式距離接近的點。例如，若‖fai,fbj‖≤ξ,則ai與bj為一對匹配點，ξ為判斷點是否匹配的閾值。根據(jù)匹配點數(shù)占斷裂面上總點數(shù)的比例,確定最終的斷裂面匹配得分，

(1)

其中,若第i個點為匹配點,則Mi=1,否則Mi=0;若第i個點為輪廓線上的點,則wi=wc,否則wi=wp。wc表示輪廓線上點的權(quán)重，wp表示非輪廓線上點的權(quán)重，且wc

1.3 由粗到細配準

確定匹配關(guān)系后，下一步進行配準。給定三維物體P和Q，配準任務(wù)可以表述為:求解旋轉(zhuǎn)矩陣R和平移向量T以達到優(yōu)化目標,優(yōu)化目標是PR+T盡量與Q重合。

由于斷裂面是所屬碎塊的子集,二者共享同一個坐標系,因此,將根據(jù)斷裂面獲得的參數(shù)R與T用于碎塊即可實現(xiàn)碎塊拼接。匹配的斷裂面之間,形狀分布也較為接近。對于一個匹配碎塊對,本文利用PCA分別獲得其3個主方向,將其作為配準對象,取代了對斷裂面全體點進行配準,加快粗配準的速度,粗配準過程如圖4所示。

圖4 斷裂面粗配準過程Fig.4 Fracture surfaces coarse registration process

H=USV,R=VUT,

(2)

其中：U和V均為單位正交陣，分別稱為左右奇異矩陣；S的主對角線上為奇異值，其他元素為0；R即為所求的旋轉(zhuǎn)矩陣。平移向量T=CB-CA,CA與CB分別是斷裂面A與B的質(zhì)心。質(zhì)心可通過計算斷裂面的三維坐標平均值獲得,以A為例,有

(3)

然而,基于PCA的粗配準方法會帶來配準方向產(chǎn)生歧義的問題。A的任何一個主方向都可與B的兩種配準主方向相對應(yīng),即:xA與xB,或xA與-xB。所以3個主方向會產(chǎn)生8種配準方向,在主方向間相對位置的約束下,最后可能的配準方向有4種,分別是:

這4種可能的配準方向的配準結(jié)果如圖5所示。

圖5 4種配準方向Fig.5 Four registration directions

鑒于方向歧義的問題,本文分別實現(xiàn)了上述4種方向的配準,并評價其配準效果,最終擇優(yōu)選取。在此，以兩個斷裂面之間的距離為評價標準,即

D=DAB+DBA,

(4)

(5)

(6)

(7)

(8)

其中,DAB表示A到B的距離,即A中每個點到B中點最短距離的平均值,DBA同理。D作為兩個面之間距離的均值,可以體現(xiàn)點云的重合程度,用以評價配準質(zhì)量。如圖5A對應(yīng)的D最小,因此被確定為最終選擇。

深度最近點(deep closest point,DCP)模型是一種解決三維配準問題的深度學(xué)習方法。通過編碼模塊、注意力模塊以及奇異值分解模塊,DCP可以自動求解待配準物體間的旋轉(zhuǎn)矩陣R和平移向量T。DCP的編碼模塊采用動態(tài)圖卷積(dynamic graph convolution neural network, DGCNN),提取點云的深度特征,注意力模塊用于調(diào)整待配準物體的關(guān)聯(lián)特征,SVD模塊用于計算R和T,DCP模型結(jié)構(gòu)如圖6所示。在實驗過程中,DCP的訓(xùn)練集與測試集均為理想狀態(tài),即配準對象之間形狀完全重合,僅在位置上有區(qū)別。然而實際情況與理想狀態(tài)有很大差別:在數(shù)據(jù)采集的過程中,不同文物碎塊作為單獨的個體被分開處理,故在數(shù)據(jù)密度、精度以及形狀結(jié)構(gòu)上均有差別,所以直接將DCP應(yīng)用于文物配準,效果并不理想。

圖6 DCP架構(gòu)Fig.6 Structure of DCP

本文針對文物的特殊性,構(gòu)造完全由文物數(shù)據(jù)組成的數(shù)據(jù)集,對DCP進行遷移訓(xùn)練,得到適用于文物配準的DCP網(wǎng)絡(luò),并且與PCA結(jié)合,通過PCA給定初始的位姿估計,再使用DCP進行細微調(diào)整,最終實現(xiàn)配準精度的提升。

2 實驗

2.1 實驗說明

實驗數(shù)據(jù)均為兵馬俑碎塊,由秦始皇兵馬俑博物館提供,西北大學(xué)文化遺產(chǎn)數(shù)字化國家地方聯(lián)合工程研究中心整理入庫,通過Artec Eva手持掃描儀獲取。實驗分為兩個部分:一是仿真實驗，二是真實場景實驗。

2.2 仿真實驗

仿真實驗所用數(shù)據(jù)包括兩部分:標準數(shù)據(jù)集ModelNet40和兵馬俑碎塊數(shù)據(jù)。DCP網(wǎng)絡(luò)先在標準數(shù)據(jù)集上進行預(yù)訓(xùn)練,然后遷移至兵馬俑碎塊上繼續(xù)訓(xùn)練。關(guān)于兵馬俑數(shù)據(jù),本文通過隨機旋轉(zhuǎn),平移,裁剪等處理,得到包含1 800對待配準碎塊斷裂面的數(shù)據(jù)集,仿真了現(xiàn)實場景。此數(shù)據(jù)集以4∶1的比例分為訓(xùn)練集和測試集。在測試集上,除了本文方法之外,選取了ICP[11]、DCP[26]、單獨使用PCA,以及PCA與ICP聯(lián)合共4種方法作為對比,對比結(jié)果如表1所示。評價指標主要有3個:

1)配準成功率。統(tǒng)計配準成功的樣本占所有實驗樣本的比例,配準結(jié)果中碎塊斷裂面之間的角度以及距離在一定范圍內(nèi)即視為配準成功(角度誤差在10°之內(nèi),距離誤差在20 mm之內(nèi))。

2)距離誤差。統(tǒng)計所有成功樣本斷裂面之間距離的均方誤差MSE和平均絕對誤差MAE，斷裂面之間距離的定義見公式(4)。

3)計算開銷。統(tǒng)計所有樣本所需的平均迭代計算次數(shù)。

表1 不同配準方法在兵馬俑碎塊上實驗結(jié)果對比Tab.1 The experimental results comparison of different registration methods implemented on the Terracotta Warriors fragments

從表1的實驗結(jié)果可以看出,由于ICP算法迭代運算的特點,其在成功率、誤差和計算開銷上表現(xiàn)最差; DCP方法的成功率很低,但是在配準成功的實例上誤差較小;PCA作為粗配準方法,配準成功率很高,但是在細尺度的精度上不夠理想,反映為較高的距離誤差。

本文提出的PCA+DCP方法在各個指標上均表現(xiàn)最佳,且未引入迭代運算,計算開銷得以保證。與單獨使用PCA或者DCP相比,本文方法結(jié)合PCA的快速粗配準以及DCP在細配準階段的優(yōu)勢,彌補了前者精度不足以及后者成功率不高的缺陷。圖7為一對待配準斷裂面的不同拼接結(jié)果對比圖。由圖7可知,PCA獲得了總體的配準結(jié)果,但在細節(jié)上表現(xiàn)不佳;DCP在失去PCA的支持后,在該樣本上配準失敗;而結(jié)合了PCA和DCP的方法取得了最佳的配準結(jié)果。

圖7 具體樣本配準結(jié)果對比Fig.7 Comparison of registration results of a specific sample

PCA方法作為優(yōu)秀的粗配準方法,能為后續(xù)細配準提供良好的初始化結(jié)果,不僅可以與DCP結(jié)合,也可以與ICP結(jié)合。由表1可以看出,PCA可以全面提升ICP的性能,但屬于單方面提升,依舊落后于PCA本身。本文提出的PCA+DCP的方案可以實現(xiàn)二者的優(yōu)勢互補,實現(xiàn)最佳配準效果。

2.3 真實場景實驗

真實場景中,兩個被拼接在一起的碎塊可以作為一個新的碎塊加入到下一輪拼接過程中。以“G10-36”號兵馬俑背部為例,本文方法的拼接過程如圖8所示。

圖8 “G10-36”號兵馬俑背部拼接結(jié)果Fig.8 Reassembly process of back of Terracotta Warriors labeled “G10-36”

在拼接過程中,本文統(tǒng)計了匹配得分。此得分作為判斷碎塊是否匹配的依據(jù),越靠近真實值則說明匹配結(jié)果越合理,即:對于匹配碎塊,匹配得分應(yīng)盡量趨于1,對于不匹配碎塊,匹配得分應(yīng)盡量趨于0。本例中,每一步匹配的匹配得分如表2,其中，判斷匹配點的閾值ξ=20,輪廓線上點的權(quán)重wc=0.8,非輪廓線上點的權(quán)重wp=1.0。為了驗證權(quán)重調(diào)整的必要性,以未經(jīng)過輪廓線權(quán)重調(diào)整的FPFH方法作為對比。在匹配得分方面,本方法由于降低了輪廓線權(quán)重,更加信賴非輪廓線,因此得到的匹配得分更高;在運行時間方面,由于輪廓線已經(jīng)在斷裂面提取過程中獲取,沒有增加太多額外計算,因此，運行時間與FPFH相當。

表2 “G1036”號兵馬俑碎塊拼接過程匹配得分Tab.2 The matching scores of Terracotta Warriors fragments labeled “G10-36” in reassembly process

然而,在某些情形下,本文提出的方法會暴露一些不足。如圖9所示,由于碎塊的斷裂面嚴重破損(見紅色框線內(nèi)),特征信息不足,最終會導(dǎo)致匹配和配準的失敗。

圖9 斷裂面嚴重破損示例Fig.9 An example of severely damaged fracture surface

3 結(jié)語

本文提出了一種基于斷裂面信息的文物碎塊自動拼接方法。在匹配階段,通過FPFH特征確定匹配點對,考慮到輪廓線的磨損,調(diào)整其對斷裂面之間的匹配權(quán)重;在配準階段,實現(xiàn)PCA方法中所有可能的方向,并根據(jù)斷裂面之間的距離選擇最優(yōu),解決了方向歧義問題;制作文物數(shù)據(jù)對DCP進行了遷移訓(xùn)練,并與PCA方法結(jié)合,完成由粗到細的配準過程。通過一系列實驗,驗證了本文所提匹配策略的有效性和配準策略的高精度與低開銷,具體表現(xiàn)為:匹配得分提高了1到3,配準成功率達到53.89%,配準的平均絕對誤差為0.920 2 mm。

然而,由于本文方法的特征來源和直接拼接對象均為斷裂面,因此，具有一定的局限性。在斷裂面保存比較完整的情況下,匹配與配準效果都能夠?qū)崿F(xiàn)預(yù)期結(jié)果;但是，在斷裂面破損嚴重的情況下,結(jié)果不夠理想。后續(xù)工作將會考慮如何在斷裂面不完整的情形下完成文物碎塊拼接任務(wù)。