王維, 張丹, 胡曾一震, 左敦穩(wěn)

(南京航空航天大學(xué) 機(jī)電學(xué)院, 江蘇 南京 210016)

0 引言

隨著機(jī)械設(shè)備的集成度和復(fù)雜度越來(lái)越高，其相應(yīng)的維修和維護(hù)也變得越來(lái)越困難，傳統(tǒng)維修指導(dǎo)方式顯然無(wú)法滿足更高的要求，而基于增強(qiáng)現(xiàn)實(shí)技術(shù)的AR輔助維修成為一種令人期待的新型維修指導(dǎo)方式[1]。

如同大多數(shù)的AR應(yīng)用一樣，3D物體識(shí)別和定位技術(shù)一直以來(lái)都是限制其發(fā)展的主要羈絆，較早的AR輔助維修大多是基于對(duì)二維標(biāo)記或二維圖像的識(shí)別來(lái)實(shí)現(xiàn)信息增強(qiáng)的，如趙敏等人[2]采用靜態(tài)標(biāo)識(shí)和動(dòng)態(tài)標(biāo)識(shí)相結(jié)合的方法，實(shí)現(xiàn)場(chǎng)景識(shí)別和信息增強(qiáng)；崔波等人[3]采用基于圖像匹配的算法，進(jìn)行目標(biāo)識(shí)別和信息增強(qiáng)；蘭佳等人[4]采用基于改進(jìn)形狀描述符等特征的立體視覺(jué)識(shí)別算法，實(shí)現(xiàn)了弱紋理工件的識(shí)別和抓取。基于二維標(biāo)記的識(shí)別不僅污染場(chǎng)景，而且與基于二維圖像的識(shí)別一樣無(wú)法感知目標(biāo)物體的空間位姿，而目前解決這一問(wèn)題的最佳方案之一是采用基于三維數(shù)據(jù)的物體識(shí)別技術(shù)，其中最為普遍的是基于點(diǎn)云的3D物體識(shí)別技術(shù)。

基于點(diǎn)云的3D物體識(shí)別不僅可以給出類別，最重要的是可以給出空間位姿，關(guān)鍵在于點(diǎn)云的配準(zhǔn)。點(diǎn)云的配準(zhǔn)可分為基于點(diǎn)云全局特征型和基于點(diǎn)云局部特征型，AR輔助維修對(duì)目標(biāo)識(shí)別時(shí)間效率和位姿估計(jì)準(zhǔn)確度的要求是首要的，因此該類研究基于前者?；诓煌椒ǖ淖R(shí)別差異主要在描述符上，其中的ESF[5]以及近年出現(xiàn)的GASD[6]和GOOD[7]是目前實(shí)時(shí)性和準(zhǔn)確性較好的幾種全局描述符，而這三者中表現(xiàn)最好的是GOOD，即全局正交對(duì)象描述符，其描述符計(jì)算時(shí)間僅為1ms左右。

本文在GOOD描述符的基礎(chǔ)上進(jìn)行深度改進(jìn)，提出一種名為C-GOOD的全局描述符以及基于該描述符的3D物體識(shí)別與定位算法。主要工作有：1) 改進(jìn)關(guān)鍵技術(shù)，形成新的描述符生成方法。包括引入帶距離權(quán)值的協(xié)方差矩陣，改進(jìn)原有的局部參考系估計(jì)方法，以及在原有的GOOD描述符上加入紋理特征，形成新的描述符；2) 搭建基于蝸輪蝸桿減速器的實(shí)例驗(yàn)證維修場(chǎng)景，驗(yàn)證本文算法的實(shí)際可行性和具體識(shí)別效果。

1 識(shí)別算法框架

本文所提識(shí)別算法的整體框架如圖1所示，主要分為離線階段和在線階段。

圖1 3D物體識(shí)別算法整體框架

離線建庫(kù)階段，對(duì)所有訓(xùn)練對(duì)象點(diǎn)云模型的多個(gè)視角估計(jì)局部參考系并生成描述符，建立模板庫(kù)。在線識(shí)別階段，首先對(duì)測(cè)試場(chǎng)景進(jìn)行預(yù)處理得到聚類目標(biāo)，然后進(jìn)行局部參考系估計(jì)和描述符生成；之后進(jìn)行匹配搜索；匹配成功后將相應(yīng)模型視角變換到場(chǎng)景目標(biāo)即可獲取場(chǎng)景目標(biāo)初始位姿。

2 物體識(shí)別技術(shù)

2.1 局部參考系估計(jì)

在基于點(diǎn)云全局特征描述符的3D物體識(shí)別中，局部參考系是該類描述符具有唯一性、描述性和可重復(fù)性的基礎(chǔ)，對(duì)于目標(biāo)的位姿估計(jì)也不可或缺。常規(guī)的估計(jì)方法以主元分析法為基礎(chǔ)，其關(guān)鍵在于構(gòu)造歸一化協(xié)方差矩陣：

(1)

式中：pi為目標(biāo)點(diǎn)云中的第i個(gè)三維點(diǎn)；n為目標(biāo)點(diǎn)云中的總點(diǎn)數(shù)；pc為目標(biāo)點(diǎn)云質(zhì)心。

由于局部參考系的估計(jì)依賴三維數(shù)據(jù)點(diǎn)，且本文所提算法的應(yīng)用場(chǎng)景存在目標(biāo)點(diǎn)云局部缺失、邊緣突變、密度變化以及降采樣等情況，因此本文對(duì)原有參考系估計(jì)方法加以改進(jìn)，根據(jù)目標(biāo)點(diǎn)云中三維數(shù)據(jù)點(diǎn)到目標(biāo)點(diǎn)云質(zhì)心的距離，設(shè)定一個(gè)與距離有關(guān)的貢獻(xiàn)度權(quán)值，通過(guò)權(quán)值強(qiáng)化靠近質(zhì)心三維數(shù)據(jù)點(diǎn)的作用、減弱遠(yuǎn)離質(zhì)心三維數(shù)據(jù)點(diǎn)的作用。于是對(duì)式(1)進(jìn)行改進(jìn)即可得到新的協(xié)方差矩陣：

(2)

式中：pi、i、n和pc與式(1)相同；D為目標(biāo)點(diǎn)云中距質(zhì)心最遠(yuǎn)的三維點(diǎn)到質(zhì)心的歐式距離；di為目標(biāo)點(diǎn)云中第i個(gè)三維數(shù)據(jù)點(diǎn)到質(zhì)心的歐式距離。

對(duì)式(2)的協(xié)方差矩陣MCN進(jìn)行特征求解，可以得到一組特征向量[v1,v2,v3]，該向量即代表初始局部參考系，但此時(shí)的局部參考系具有方向二義性，本文通過(guò)引入三維點(diǎn)的空間分布以消除此方向二義性，其具體過(guò)程主要有：

1) 目標(biāo)點(diǎn)云與初始局部參考系對(duì)齊

目標(biāo)點(diǎn)云對(duì)齊時(shí)的變換矩陣由初始局部參考系定義，即由向量[v1,v2,v3]定義，同時(shí)需要保證3個(gè)向量相互垂直。

2)統(tǒng)計(jì)x和y坐標(biāo)軸正負(fù)區(qū)域內(nèi)的點(diǎn)數(shù)

分別統(tǒng)計(jì)對(duì)齊后的目標(biāo)點(diǎn)云中位于x和y坐標(biāo)軸正負(fù)區(qū)域的數(shù)據(jù)點(diǎn)個(gè)數(shù)。以x軸為例的具體統(tǒng)計(jì)規(guī)則為：

(3)

3) 確定x和y坐標(biāo)軸方向標(biāo)志

依據(jù)對(duì)齊后的目標(biāo)點(diǎn)云在x和y坐標(biāo)軸方向上的分布情況定義坐標(biāo)軸方向標(biāo)志。以x坐標(biāo)軸為例的具體定義為：

(4)

4) 確定z坐標(biāo)軸方向標(biāo)志

對(duì)于z坐標(biāo)軸的方向標(biāo)志，只需要依據(jù)x和y坐標(biāo)軸的方向標(biāo)志即可確定，因?yàn)榫植繀⒖枷档?個(gè)坐標(biāo)軸之間有右手定則限制，所以z坐標(biāo)軸的方向標(biāo)志定義為：

(5)

式中：Sx、Sy和Sz分別表示局部參考系3個(gè)坐標(biāo)軸的方向標(biāo)志，三者取值均為+1或者-1。

根據(jù)初始局部參考系以及3個(gè)坐標(biāo)軸的方向標(biāo)志Sx、Sy和Sz，就可以確定唯一的最終局部參考系坐標(biāo)軸的方向，消除歧義，獲得唯一可重復(fù)的局部參考系。

2.2 描述符生成

針對(duì)全局正交對(duì)象描述符(GOOD)進(jìn)行改進(jìn)，通過(guò)添加紋理信息設(shè)計(jì)生成帶紋理全局正交對(duì)象描述符(C-GOOD)，其形成過(guò)程主要包含主體形狀特征的生成、紋理信息的添加以及融合描述符的生成，具體分步細(xì)節(jié)為：

1) 局部參考系估計(jì)

此步驟在上一小節(jié)中已經(jīng)說(shuō)明。

2) 目標(biāo)點(diǎn)云與最終局部參考系對(duì)齊

目標(biāo)點(diǎn)云與局部參考系對(duì)齊時(shí)的變換矩陣由最終的唯一可重復(fù)局部參考系定義。

3) 確定3坐標(biāo)軸方向投影描述符直方圖

統(tǒng)計(jì)正交投影特征時(shí)，首先需要確定投影區(qū)域的大小和維度，假定對(duì)齊后的目標(biāo)點(diǎn)云其最大絕對(duì)坐標(biāo)值為Cmax，則投影方格網(wǎng)陣的邊長(zhǎng)設(shè)置為L(zhǎng)=2Cmax+δ，而投影方格網(wǎng)陣維度N是本文描述符最為關(guān)鍵的參數(shù)，經(jīng)過(guò)本文實(shí)驗(yàn)探索，其設(shè)置為10時(shí)可以達(dá)到識(shí)別效率和正確率的綜合最佳，這里為了便于說(shuō)明設(shè)置為5。活塞連桿在3坐標(biāo)軸方向的方格網(wǎng)陣上投影效果如圖2所示。

圖2 活塞連桿點(diǎn)云沿3坐標(biāo)軸方向上的投影

為了便于獲取投影方格網(wǎng)陣相應(yīng)區(qū)域的位置編號(hào)，在投影后需將投影方格網(wǎng)陣整體偏移至第1象限，2個(gè)方向偏移量均設(shè)置為投影方格網(wǎng)陣邊長(zhǎng)的一半?；钊B桿沿z軸方向上的投影及其統(tǒng)計(jì)時(shí)方格網(wǎng)陣的偏移過(guò)程如圖3所示。

圖3 活塞連桿沿z軸方向投影及投影方格網(wǎng)陣偏移

對(duì)于投影平面上的N維投影方格網(wǎng)陣，分別用row(∈{0,1,2,…，n-1})和col(∈{0,1,2,…，n-1})表示其區(qū)域方格所處的位置下標(biāo)；對(duì)于投影點(diǎn)pi，用pa和pb表示其在對(duì)應(yīng)投影平面上的兩個(gè)真實(shí)坐標(biāo)，用prow和pcol表示其將要投向的區(qū)域方格在方格網(wǎng)陣中的位置下標(biāo)，那么根據(jù)投影方格網(wǎng)陣的邊長(zhǎng)L和維度N，即可計(jì)算出每一個(gè)投影點(diǎn)投向的區(qū)域方格位置橫縱下標(biāo)：

(6)

將目標(biāo)點(diǎn)云中的所有三維點(diǎn)都進(jìn)行投影，并對(duì)每個(gè)區(qū)域方格進(jìn)行點(diǎn)數(shù)統(tǒng)計(jì)，然后對(duì)投影矩陣進(jìn)行歸一化處理即可得到點(diǎn)云形狀分布矩陣，將分布矩陣展開(kāi)即為單個(gè)投影方向上的描述符直方圖。對(duì)目標(biāo)點(diǎn)云分別沿x、y、z3個(gè)坐標(biāo)軸方向進(jìn)行投影，即可得到3個(gè)對(duì)應(yīng)于3個(gè)正交坐標(biāo)軸方向的描述符直方圖。

4) 形成主體形狀描述符直方圖

通過(guò)引入信息熵和方差對(duì)3)所得3個(gè)直方圖進(jìn)行排序拼接，消除排序歧義。首先以信息熵為第1排序標(biāo)準(zhǔn)，選出信息熵最大的排在首位；然后以方差為第2排序標(biāo)準(zhǔn)，在剩下的兩直方圖中選出方差較小的排在第2位；最后一個(gè)直方圖排在末尾，由此便形成了一個(gè)具有3N2個(gè)區(qū)間的單一直方圖，稱為主體形狀描述符直方圖。

5) 添加紋理信息形成融合描述符

主體形狀描述符只包含形狀信息，不含紋理信息，因此其在物體識(shí)別上存在很大局限性。為了彌補(bǔ)不足、提高識(shí)別率和位姿估計(jì)準(zhǔn)確度，本文在主體形狀描述符基礎(chǔ)上加入紋理信息，融合生成帶紋理全局正交對(duì)象描述符。

帶紋理全局正交對(duì)象描述符中紋理信息的添加，在主體形狀描述符的投影點(diǎn)數(shù)統(tǒng)計(jì)時(shí)同步進(jìn)行，具體來(lái)講就是在統(tǒng)計(jì)主體形狀描述符的投影點(diǎn)時(shí)，對(duì)相應(yīng)點(diǎn)整合后的顏色信息進(jìn)行統(tǒng)計(jì)，并在單個(gè)投影方格區(qū)域內(nèi)，求取所有投影點(diǎn)整合后顏色信息的均值計(jì)入對(duì)應(yīng)方格中，并在統(tǒng)計(jì)完成后與統(tǒng)計(jì)點(diǎn)數(shù)同步進(jìn)行歸一化處理。

對(duì)于每一個(gè)投影方向，紋理信息的加入方式和后續(xù)處理步驟都采用同樣的方法，而對(duì)于紋理信息直方圖的拼接只需與形狀直方圖保持同步即可。最后通過(guò)并聯(lián)組合的方式將生成的整體紋理信息直方圖和整體形狀信息直方圖合并，組合所得的形狀紋理并行直方圖即是最終的帶紋理正交對(duì)象描述符(C-GOOD)直方圖，其整體維度為2×3N2。圖4為活塞連桿的帶紋理正交對(duì)象描述符直方圖。

圖4 帶紋理正交對(duì)象描述符直方圖

2.3 識(shí)別定位

本文所述物體識(shí)別的實(shí)質(zhì)過(guò)程實(shí)為描述符的搜索匹配過(guò)程。在具體的匹配過(guò)程中，本文采用皮爾森相關(guān)系數(shù)來(lái)度量直方圖描述符之間的相似性。當(dāng)場(chǎng)景目標(biāo)的點(diǎn)云描述符與訓(xùn)練對(duì)象點(diǎn)云描述匹配成功，則認(rèn)為場(chǎng)景目標(biāo)正確識(shí)別。

識(shí)別成功后，目標(biāo)物的初始位姿估計(jì)具體過(guò)程為：

(7)

式中：Ts和Tt分別為場(chǎng)景目標(biāo)和訓(xùn)練對(duì)象的局部參考系矩陣；Tc為場(chǎng)景目標(biāo)初始位姿。根據(jù)式(7)即可得到較為準(zhǔn)確的初始位姿，但是若要得到更加精確的位姿，則可在犧牲一定實(shí)時(shí)性的基礎(chǔ)上，使用ICP[8]調(diào)優(yōu)算法來(lái)實(shí)現(xiàn)。

3 場(chǎng)景實(shí)例驗(yàn)證

3.1 維修場(chǎng)景搭建

對(duì)于具體的維修場(chǎng)景，本文通過(guò)Kinect相機(jī)采集場(chǎng)景深度數(shù)據(jù)和彩色數(shù)據(jù)，并將深度圖和彩色圖進(jìn)行融合，形成紋理點(diǎn)云對(duì)場(chǎng)景進(jìn)行表達(dá)。本文以蝸輪蝸桿減速器的拆裝維修為基礎(chǔ)，搭建驗(yàn)證本文3D物體識(shí)別算法的維修場(chǎng)景，如圖5(a)所示即為包含維修對(duì)象、采集設(shè)備以及處理設(shè)備的維修場(chǎng)景整體布置架構(gòu)。

用于驗(yàn)證本文3D物體識(shí)別算法的維修場(chǎng)景以蝸輪蝸桿減速器為主要目標(biāo)，通過(guò)對(duì)各個(gè)維修階段相應(yīng)場(chǎng)景中零部件的識(shí)別效果，來(lái)驗(yàn)證本文算法在實(shí)際維修場(chǎng)景中的表現(xiàn)。蝸輪蝸桿減速器的維修拆裝場(chǎng)景如圖5(b)所示，總共包括減速器底座、蝸輪、蝸輪軸、軸承端蓋、套筒和減速器上蓋6個(gè)零部件以及1個(gè)活動(dòng)扳手。

圖5 物體識(shí)別整體框架及維修場(chǎng)景紋理點(diǎn)云

3.2 實(shí)例識(shí)別驗(yàn)證

對(duì)于蝸輪蝸桿減速器的拆裝維修，本文所提3D物體識(shí)別算法在具體識(shí)別的過(guò)程中，不僅可以給出目標(biāo)的識(shí)別分類，同時(shí)會(huì)對(duì)目標(biāo)的空間位姿進(jìn)行估計(jì)。

對(duì)于零部件較多的某一維修場(chǎng)景，其識(shí)別過(guò)程中的兩幀結(jié)果如圖6所示。

圖6 維修場(chǎng)景的某兩幀場(chǎng)景點(diǎn)云識(shí)別結(jié)果

在所有的點(diǎn)云數(shù)據(jù)幀中，5個(gè)相對(duì)較大的目標(biāo)物均能正確識(shí)別，只有相對(duì)較小的扳手和套筒因?yàn)閷?shí)驗(yàn)中采集的數(shù)據(jù)精度太低導(dǎo)致無(wú)法成功識(shí)別。目標(biāo)識(shí)別成功即可估計(jì)初始位姿，該維修場(chǎng)景下所有場(chǎng)景幀中，識(shí)別成功目標(biāo)的平均初始位姿估計(jì)結(jié)果和所有場(chǎng)景幀的平均描述符計(jì)算匹配耗時(shí)如表1所示。

經(jīng)過(guò)對(duì)蝸輪蝸桿減速器拆裝維修場(chǎng)景的識(shí)別驗(yàn)證，可以明顯看出本文所提算法在識(shí)別相對(duì)較大目標(biāo)時(shí)效果顯著，只是對(duì)于過(guò)小目標(biāo)則相對(duì)較差，這主要是因?yàn)樯疃炔杉瘋鞲衅鞯木炔蛔悖瑹o(wú)法獲得較小目標(biāo)的精確形狀輪廓。同時(shí)在表1中不難發(fā)現(xiàn)，本文所提識(shí)別算法對(duì)單幀場(chǎng)景點(diǎn)云的識(shí)別耗時(shí)僅為33.6ms，基本達(dá)到AR輔助維修下實(shí)時(shí)識(shí)別目標(biāo)物的要求，而且也給出了目標(biāo)物的位置和姿態(tài)信息。

從總體來(lái)看，實(shí)例驗(yàn)證維修場(chǎng)景中的大多數(shù)目標(biāo)都得到了成功識(shí)別，整體識(shí)別過(guò)程滿足基本的實(shí)時(shí)性要求，并且給出了識(shí)別成功目標(biāo)物的初始位姿。實(shí)例識(shí)別實(shí)驗(yàn)結(jié)果表明，本文所提3D物體識(shí)別算法在實(shí)際維修場(chǎng)景中具備實(shí)際可行性和真實(shí)有效性。

4 結(jié)語(yǔ)

針對(duì)AR輔助維修信息增強(qiáng)對(duì)實(shí)際維修場(chǎng)景中，目標(biāo)物識(shí)別正確性、位姿估計(jì)準(zhǔn)確性以及識(shí)別過(guò)程實(shí)時(shí)性的需求，本文深入分析研究了目前最先進(jìn)的點(diǎn)云全局特征3D物體描述符、全局正交對(duì)象描述符，在此基礎(chǔ)上改進(jìn)并提出了附帶紋理信息的新型點(diǎn)云全局特征描述符及其3D物體識(shí)別算法。經(jīng)過(guò)實(shí)驗(yàn)分析和蝸輪蝸桿減速器拆裝維修場(chǎng)景的實(shí)例識(shí)別驗(yàn)證，證明本文所提算法在AR輔助維修信息增強(qiáng)的目標(biāo)識(shí)別應(yīng)用中具備實(shí)際可行性、真實(shí)有效性，進(jìn)一步助推了AR輔助維修技術(shù)的發(fā)展與應(yīng)用。

表1 場(chǎng)景幀的描述符平均計(jì)算匹配耗時(shí)和目標(biāo)平均位姿