趙衛(wèi)東 ，程 星 ，陳香梅

(安徽工業(yè)大學(xué) 電氣與信息工程學(xué)院，安徽 馬鞍山 243032)

近年，機(jī)器視覺(jué)在機(jī)器人領(lǐng)域得到迅速發(fā)展，且廣泛用于工業(yè)抓取、焊接及裝配等作業(yè)中[1]。錯(cuò)誤的目標(biāo)位姿會(huì)導(dǎo)致機(jī)器人抓取、焊接等作業(yè)出現(xiàn)明顯偏差、縮短機(jī)器人使用壽命，嚴(yán)重影響工業(yè)生產(chǎn)效率。因此，對(duì)物體識(shí)別定位的研究具有重大的工程意義。物體識(shí)別定位是從計(jì)算、比較或?qū)W習(xí)物體的幾何屬性、形狀屬性和結(jié)構(gòu)屬性等特征出發(fā)[2]，常見(jiàn)的物體識(shí)別定位方法大致分為基于2D 圖像特征和三維點(diǎn)云特征的物體識(shí)別法，兩者均利用物體在不同維度上的相同特征來(lái)完成對(duì)物體的識(shí)別定位。特征匹配作為機(jī)器視覺(jué)領(lǐng)域的核心問(wèn)題之一，本質(zhì)是通過(guò)物體的特征將不同場(chǎng)景下的物體建立聯(lián)系，從而將各場(chǎng)景下物體位姿進(jìn)行仿射變換[3]。物體的特征可通過(guò)2D 圖像的亮度、姿態(tài)、形狀等屬性表示，利用2D 特征對(duì)特定物體進(jìn)行識(shí)別定位[4]。鄭晶怡等[5]提出一種圖割法與形狀先驗(yàn)?zāi)Ｐ拖嘟Y(jié)合的工件識(shí)別定位方法，通過(guò)先驗(yàn)?zāi)Ｐ蛯⒛繕?biāo)工件分割出來(lái)，對(duì)采集的工件擬合出平面，計(jì)算擬合工件表面法向量，從而對(duì)目標(biāo)工件進(jìn)行識(shí)別定位；程義民等[6]在對(duì)物體深度圖像分割的基礎(chǔ)上，計(jì)算深度圖像高斯曲率、平均曲率等幾何信息，再利用屬性關(guān)系圖(attributed relational graph，ARG)描述物體，最后通過(guò)模型庫(kù)ARG 圖匹配來(lái)完成物體的識(shí)別定位。基于圖像的物體識(shí)別方法能夠快速識(shí)別定位物體，但受拍攝圖像質(zhì)量、光照、2D 特征不顯著等問(wèn)題的影響，無(wú)法準(zhǔn)確、高效地識(shí)別定位物體。

基于三維點(diǎn)云特征的物體識(shí)別作為物體識(shí)別定位領(lǐng)域研究熱點(diǎn)之一，具有較好描述物體細(xì)節(jié)特征的能力，從三維角度比對(duì)物體特征，可將特征分為局部特征和全局特征?；邳c(diǎn)云全局特征的方法如視點(diǎn)特征直方圖[7]、聚類(lèi)視點(diǎn)特征直方圖[8]等，對(duì)點(diǎn)云完整性要求較高，對(duì)遮擋、噪聲等問(wèn)題處理效果不佳，無(wú)法用于復(fù)雜環(huán)境。基于點(diǎn)云局部特征的方法，通過(guò)對(duì)點(diǎn)云局部特征計(jì)算編碼來(lái)識(shí)別整體，一定程度上解決了點(diǎn)云遮擋、殘缺和噪聲等問(wèn)題。Rusu 等[9]提出快速點(diǎn)特征直方圖(fast point feature histogram，F(xiàn)PFH)，根據(jù)特征點(diǎn)與其鄰域半徑內(nèi)的點(diǎn)估計(jì)法線方向角度差異，建立一個(gè)多維直方圖，通過(guò)比對(duì)、匹配直方圖完成點(diǎn)云識(shí)別。譚國(guó)威等[10]利用FPFH 描述子對(duì)點(diǎn)云進(jìn)行粗配準(zhǔn)后，使用迭代最近點(diǎn)(iterative closest point，ICP)進(jìn)行精確配準(zhǔn)，為點(diǎn)云配準(zhǔn)提供一種“粗細(xì)結(jié)合”的配準(zhǔn)方式；陸軍等[11]在點(diǎn)云配準(zhǔn)中加入關(guān)鍵點(diǎn)計(jì)算，優(yōu)化點(diǎn)云配準(zhǔn)速度；宗曉萍等[12]在粗配準(zhǔn)過(guò)程加入KD 樹(shù)數(shù)據(jù)結(jié)構(gòu)，加快對(duì)應(yīng)點(diǎn)對(duì)搜索，進(jìn)一步優(yōu)化整體配準(zhǔn)速度；Tombari等[13]提出方向直方圖簽名(signature of histograms of orientations，SHOT)，將特征點(diǎn)附近空間劃分為32 個(gè)子空間，計(jì)算統(tǒng)計(jì)每個(gè)子空間法線特征直方圖，再將每個(gè)子空間直方圖綜合到一起得到高維描述符，該描述符魯棒性較好?；诰植刻卣鞯狞c(diǎn)云識(shí)別對(duì)遮擋、殘缺等情況有較好的識(shí)別效果，但依然存在識(shí)別速度慢、精度低、魯棒性差等問(wèn)題[14-16]。鑒于此，針對(duì)復(fù)雜場(chǎng)景下傳統(tǒng)點(diǎn)云識(shí)別效率低、精度低、魯棒性差等問(wèn)題，提出一種基于SHOT 描述符的點(diǎn)云配準(zhǔn)方法，在目標(biāo)存在遮擋、殘缺和其他干擾物的情況下，利用高維SHOT 描述符記錄物體局部特征，對(duì)目標(biāo)進(jìn)行快速識(shí)別定位，為機(jī)器人提供精確的點(diǎn)云變換矩陣，具有較好的配準(zhǔn)效率和魯棒性。

1 基于點(diǎn)云局部特征的識(shí)別

針對(duì)傳統(tǒng)點(diǎn)云識(shí)別存在的問(wèn)題，對(duì)采集的點(diǎn)云進(jìn)行降采樣和內(nèi)部形狀簽名[17](intrinsic shape signatures，ISS)提取關(guān)鍵點(diǎn)預(yù)處理，采用KD 樹(shù)搜索匹配特征相似點(diǎn)對(duì)，縮短配準(zhǔn)用時(shí)；對(duì)提取的關(guān)鍵點(diǎn)采用魯棒性較好的SHOT 描述子計(jì)算、保存點(diǎn)云特征；采用隨機(jī)采樣一致性[18-19](random sample consensus，RANSAC)優(yōu)化配對(duì)點(diǎn)對(duì)和估計(jì)初始位姿，為迭代最近點(diǎn)[20](ICP)配準(zhǔn)提供初始條件，提高配準(zhǔn)精度。

1.1 點(diǎn)云降采樣

點(diǎn)云數(shù)據(jù)量龐大，需進(jìn)行降采樣預(yù)處理，但不能破壞點(diǎn)云的局部特征。文中采用體素重心降采樣，即通過(guò)建立空間體素柵格，將點(diǎn)云劃分?jǐn)?shù)個(gè)柵格區(qū)域，將柵格包含的所有點(diǎn)用質(zhì)心代替，此時(shí)質(zhì)心稱為降采樣點(diǎn)Q，如式(1)。

式中：n為點(diǎn)云個(gè)數(shù)；(qxi,qyi,qzi)為 空間坐標(biāo)系下第i個(gè)點(diǎn)沿x,y,z軸的坐標(biāo)值。

1.2 ISS 特征點(diǎn)提取

特征點(diǎn)是能夠充分展現(xiàn)點(diǎn)云特征的點(diǎn)集，數(shù)量遠(yuǎn)小于原始點(diǎn)數(shù)。ISS 提取特征點(diǎn)的步驟如下：

1.3 關(guān)鍵點(diǎn)SHOT 描述符

提取特征點(diǎn)后，對(duì)特征點(diǎn)建立空間SHOT 描述符。SHOT 描述符作為一種局部特征子，在特征點(diǎn)F處建立局部坐標(biāo)系，對(duì)半徑為r的球鄰域內(nèi)經(jīng)線、緯線和徑向方向分別劃分8，2，2 個(gè)部分，共形成32 個(gè)區(qū)域，如圖1。統(tǒng)計(jì)區(qū)域內(nèi)每個(gè)點(diǎn)的法向特征編碼至直方圖，將32 個(gè)區(qū)域的直方圖綜合到一起得到高維描述子。

圖1 SHOT 描述符分割示意圖Fig.1 Schematic diagram of SHOT descriptor splitting

計(jì)算SHOT 描述符的步驟如下：

1) 對(duì)ISS 提取的關(guān)鍵點(diǎn)pi構(gòu)建協(xié)方差矩陣M，其中p表示關(guān)鍵點(diǎn)pi鄰域內(nèi)的其他點(diǎn)，p*表示鄰域內(nèi)所有點(diǎn)的質(zhì)心，d表示鄰域內(nèi)的點(diǎn)到質(zhì)心p*的距離?！?/p>

2) 對(duì)協(xié)方差矩陣M求解得出特征值，可得λ1＞λ2＞λ3，對(duì)應(yīng)特征向量v1，v2，v3代表x，y，z坐標(biāo)軸。

3) 計(jì)算分布在32 個(gè)區(qū)域內(nèi)第k區(qū)域某關(guān)鍵點(diǎn)pi與其鄰域點(diǎn)p的 夾角余弦 cos θki，如式(6)。其中vki表示第k個(gè)區(qū)域內(nèi)第i個(gè)點(diǎn)的法向量，v3表 示關(guān)鍵點(diǎn)pi的法向量。

4) 統(tǒng)計(jì)各個(gè)區(qū)域內(nèi)夾角余弦，共分為11 維直方圖，再將32 個(gè)空間直方圖組合，最終得到 3 2×11=352維度的SHOT 描述符。

1.4 KD 樹(shù)對(duì)應(yīng)點(diǎn)對(duì)匹配

KD 樹(shù)是一種分割K維數(shù)據(jù)空間的數(shù)據(jù)結(jié)構(gòu)，將無(wú)序的K維數(shù)據(jù)按一定順序排列，以方便快捷高效地檢索，大幅減少搜索時(shí)間。KD 樹(shù)多用于處理多維數(shù)據(jù)，KD 樹(shù)中每一個(gè)節(jié)點(diǎn)代表一個(gè)空間范圍，構(gòu)建KD 樹(shù)的過(guò)程是一個(gè)逐級(jí)展開(kāi)遞歸的過(guò)程。構(gòu)建KD 樹(shù)后，對(duì)于特定點(diǎn)pi，對(duì)給定距離r找出滿足式(7)的所有點(diǎn)pr。

不同點(diǎn)云的相同位置SHOT 描述符應(yīng)近似相同，在對(duì)模型點(diǎn)云和場(chǎng)景點(diǎn)云提取特征后，需將相同特征的點(diǎn)聯(lián)系起來(lái)。對(duì)提取到點(diǎn)的SHOT 描述符進(jìn)行二進(jìn)制編碼，得到每個(gè)特征點(diǎn)的特征向量Di，構(gòu)建KD 樹(shù)檢索匹配相似特征向量的點(diǎn)對(duì)。匹配結(jié)果如圖2，圓圈代表特征點(diǎn)，實(shí)線代表正確配對(duì)，虛線代表錯(cuò)誤配對(duì)。

圖2 模型點(diǎn)云和場(chǎng)景點(diǎn)云配對(duì)關(guān)系Fig.2 Matching relationship between model point cloud and field point cloud

1.5 RANSAC 粗配準(zhǔn)

由于點(diǎn)云的稀疏程度、噪聲等影響，匹配完成的點(diǎn)對(duì)會(huì)存在誤匹配，直接影響粗配準(zhǔn)結(jié)果。文中采用RANSAC 在估計(jì)初始位姿的同時(shí)，剔除誤匹配點(diǎn)對(duì)，提高配準(zhǔn)成功率。RANSAC 步驟如下：

1) 從配對(duì)點(diǎn)集P中隨機(jī)選取3 組對(duì)應(yīng)點(diǎn)對(duì)，并擬合出模型A1；

2) 對(duì)P中剩余配對(duì)點(diǎn)對(duì)，計(jì)算每個(gè)點(diǎn)與擬合模型A1的歐式距離，若距離超過(guò)提前設(shè)定閾值認(rèn)為是局外點(diǎn)，不超過(guò)閾值則認(rèn)為是局內(nèi)點(diǎn)，記錄此時(shí)局內(nèi)點(diǎn)數(shù)量m；

3) 重復(fù)上述步驟直到迭代上限，統(tǒng)計(jì)不同剛體變換下樣本內(nèi)點(diǎn)個(gè)數(shù)，選取樣本內(nèi)點(diǎn)個(gè)數(shù)最多的模型為最佳數(shù)學(xué)模型，并保留所有樣本內(nèi)點(diǎn)，剔除在此剛體變換下的樣本外點(diǎn)。

對(duì)于最佳模型給出的配對(duì)點(diǎn)集，利用奇異值分解[20](singular value decomposition，SVD)計(jì)算粗配準(zhǔn)點(diǎn)云變換矩陣，為后續(xù)ICP 配準(zhǔn)提供良好的初始配準(zhǔn)條件。

1.6 ICP 精配準(zhǔn)

ICP 配準(zhǔn)需良好的初始配準(zhǔn)結(jié)果，否則會(huì)陷入局部最優(yōu)解，難以完成理想配準(zhǔn)。RANSAC 算法提供了較好的初始位姿，將目標(biāo)點(diǎn)云經(jīng)過(guò)旋轉(zhuǎn)平移變換，降低由空間差異造成的兩片點(diǎn)云之間的旋轉(zhuǎn)平移錯(cuò)位，有助于提高精配準(zhǔn)的速度和精度，不會(huì)陷入局部最優(yōu)解。采用ICP 配準(zhǔn)的主要步驟如下：

1) 設(shè)模型點(diǎn)云Cp={pi,i=1,2,3,···,u} ，場(chǎng)景點(diǎn)云Cq={qi,i=1,2,3,···,t}，u和t表示兩點(diǎn)云數(shù)量。

2) 在模型點(diǎn)云Cp中 隨機(jī)選取3 個(gè)即以上的點(diǎn)集Cp1, 從場(chǎng)景點(diǎn)云Cq中選擇預(yù)期最近的點(diǎn)集Ct1,確定其對(duì)應(yīng)關(guān)系，并計(jì)算對(duì)應(yīng)的旋轉(zhuǎn)矩陣R和平移矩陣T。

3) 計(jì)算變換后的模型點(diǎn)云和場(chǎng)景點(diǎn)云的均方差函數(shù)e，計(jì)算公式如下

4) 當(dāng)均方誤差小于初始設(shè)定值e0時(shí)，終止迭代，選擇當(dāng)前R和T為最終旋轉(zhuǎn)平移變換矩陣。若不滿足條件，重復(fù)步驟2)，3)，4)，直到滿足條件要求。其中N表示隨機(jī)選取點(diǎn)個(gè)數(shù)。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)過(guò)程

通過(guò)自主搭建的雙目點(diǎn)云掃描設(shè)備獲取點(diǎn)云，該雙目設(shè)備主要由2 個(gè)Basler 相機(jī)型號(hào)為acA1920-150 μm相機(jī)、步進(jìn)電機(jī)、線激光發(fā)射器和驅(qū)動(dòng)電路構(gòu)成。實(shí)驗(yàn)裝置及實(shí)驗(yàn)平臺(tái)如圖3。

圖3 掃描設(shè)備及實(shí)驗(yàn)平臺(tái)Fig.3 Scanning equipment and experimental platform

通過(guò)雙目點(diǎn)云掃描設(shè)備獲取熱電偶工件模型點(diǎn)云，對(duì)其處理得到紅色模型點(diǎn)云(圖4(b))，點(diǎn)云數(shù)量為35 215；為加快配準(zhǔn)速度，對(duì)模型點(diǎn)云進(jìn)行體素重心降采樣(圖4(c))，降采樣后點(diǎn)云個(gè)數(shù)為3 000；對(duì)降采樣后的點(diǎn)云采用ISS 提取特征點(diǎn)，設(shè)置搜索半徑為60 mm、閾值為0.03，最終提取特征點(diǎn)個(gè)數(shù)為132 個(gè)，特征點(diǎn)用綠點(diǎn)表示(圖4(d))。模型點(diǎn)云預(yù)處理過(guò)程如圖4。

圖4 模型點(diǎn)云的預(yù)處理Fig.4 Preprocessing of model point clouds

計(jì)算特征點(diǎn)SHOT 描述符，并進(jìn)行二進(jìn)制編碼后存放在本地模板庫(kù)中，為后續(xù)場(chǎng)景點(diǎn)云配準(zhǔn)做準(zhǔn)備。對(duì)包含熱電偶目標(biāo)場(chǎng)景進(jìn)行掃描，獲取的場(chǎng)景點(diǎn)云同樣進(jìn)行體素重心降采樣預(yù)處理，限制場(chǎng)景點(diǎn)云個(gè)數(shù)在5 000 個(gè)以下，并計(jì)算其特征點(diǎn)。取特征點(diǎn)周?chē)?0 個(gè)點(diǎn)計(jì)算法線，領(lǐng)域搜索半徑為60 mm，計(jì)算SHOT 描述符。對(duì)提取到的SHOT 描述符構(gòu)建KD 樹(shù)，與本地模板庫(kù)中的模型對(duì)比，設(shè)置閾值為0.25，完成與模型點(diǎn)云的點(diǎn)對(duì)匹配；設(shè)置RANSAC 最大迭代次數(shù)為500、閾值為0.5，通過(guò)RANSAC 去除誤匹配點(diǎn)對(duì)并獲取粗配準(zhǔn)位姿；將粗配準(zhǔn)獲取的初始位姿作為輸入，設(shè)置ICP 最大迭代次數(shù)為200、轉(zhuǎn)化差值為1e-6，結(jié)合粗配準(zhǔn)位姿完成最終精配準(zhǔn)。

為方便直觀觀察點(diǎn)云配準(zhǔn)效果，將整個(gè)過(guò)程用可視化結(jié)果表示，如圖5。圖5(a)為KD 樹(shù)配對(duì)后的點(diǎn)對(duì)關(guān)系，包含較多的誤匹配點(diǎn)對(duì)；圖5(b)為經(jīng)RANSAC 去除誤匹配點(diǎn)對(duì)，矯正后的配對(duì)關(guān)系；圖5(c)為經(jīng)RANSAC 粗配準(zhǔn)后的初始位姿；圖5(d)為最終ICP 配準(zhǔn)后位姿。

圖5 本文方法配準(zhǔn)的可視化流程Fig.5 Visualization process of this method registration

對(duì)于圖5(d)中的配準(zhǔn)結(jié)果，最終模型點(diǎn)云相對(duì)于場(chǎng)景目標(biāo)點(diǎn)云的位姿轉(zhuǎn)換關(guān)系T如下：

2.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文方法的有效性，按照上述配準(zhǔn)流程，分別對(duì)熱電偶和H 型鋼進(jìn)行點(diǎn)云配準(zhǔn)，并與傳統(tǒng)ICP 算法作比較，配準(zhǔn)效果如圖6，7。從圖6，7 可看出：直接使用ICP 配準(zhǔn)會(huì)陷入局部最優(yōu)解，導(dǎo)致配準(zhǔn)失??；本文方法能夠較好地完成配準(zhǔn)，不會(huì)陷入局部最優(yōu)解。為衡量配準(zhǔn)精度，取兩片點(diǎn)云空間距離接近程度SRMSE，定義為

圖6 本文及傳統(tǒng)方法熱電偶配準(zhǔn)效果比較Fig.6 Comparison of thermocouple alignment effect between this paper and traditional method

其中：N為對(duì)應(yīng)點(diǎn)數(shù)量；Xi為 配準(zhǔn)后對(duì)應(yīng)點(diǎn)之間的歐式距離；X︿i為對(duì)應(yīng)點(diǎn)之間歐氏距離的真值。

圖7 本文及傳統(tǒng)方法H 型鋼配準(zhǔn)效果比較Fig.7 Comparison of H-beam alignment effect between this paper and traditional methods

對(duì)工件熱電偶和H 型鋼按照本文方法配準(zhǔn)，配準(zhǔn)評(píng)估結(jié)果如表1。由表1 可看出：傳統(tǒng)的ICP 配準(zhǔn)都會(huì)使兩片點(diǎn)云產(chǎn)生明顯的錯(cuò)配，RMES 達(dá)到厘米級(jí)，H 型鋼的配準(zhǔn)誤差更大，而本文方法誤差在毫米級(jí)、精度較好；本文方法配準(zhǔn)用時(shí)較短，在2 s 以內(nèi)。這是因?yàn)楸疚姆椒ㄔ贗CP 精配準(zhǔn)前通過(guò)粗配準(zhǔn)為ICP 配準(zhǔn)提供了良好的初始條件，避免配準(zhǔn)陷入局部最優(yōu)發(fā)生錯(cuò)配現(xiàn)象。

表1 不同方法的配準(zhǔn)效果評(píng)估Tab.1 Evaluation of alignment effect of different methods

對(duì)熱電偶及H 型鋼采用本文方法進(jìn)行50 次掃描配準(zhǔn)，結(jié)果如圖8。由圖8 可看出：配準(zhǔn)平均誤差較穩(wěn)定，由于熱電偶表面凹凸變化明顯，相對(duì)于H 型鋼其特征更明顯，熱電偶的配準(zhǔn)精度比H 型鋼好。

圖8 平均配準(zhǔn)精度與配準(zhǔn)次數(shù)的關(guān)系Fig.8 Relationship between average alignment accuracy and alignment number

為驗(yàn)證本文方法具有較好的魯棒性，根據(jù)上文實(shí)驗(yàn)結(jié)果，采用本文方法對(duì)選擇特征不明顯的H 型鋼在遮擋和眾多干擾物干擾情況下進(jìn)行識(shí)別實(shí)驗(yàn)，結(jié)果如圖9，10。由圖9，10 可看出：對(duì)于無(wú)明顯特征的H 型鋼，在其他干擾平面和遮擋物存在的情況下，本文方法依然能夠?qū)ζ溥M(jìn)行準(zhǔn)確識(shí)別，具有較好的魯棒性。

圖9 本文方法對(duì)干擾物的識(shí)別情況Fig.9 Identification of interferers by this method

圖10 本文方法對(duì)遮擋物的識(shí)別情況Fig.10 Recognition of obstacles by this method

3 結(jié) 論

為實(shí)現(xiàn)復(fù)雜場(chǎng)景下機(jī)器人能夠高效、準(zhǔn)確地識(shí)別和定位目標(biāo)工件，提出一種基于SHOT 描述符的點(diǎn)云配準(zhǔn)方法。通過(guò)雙目點(diǎn)云掃描設(shè)備獲取目標(biāo)工件點(diǎn)云，對(duì)其進(jìn)行預(yù)處理，并計(jì)算SHOT 描述符且將其存儲(chǔ)在本地；對(duì)場(chǎng)景點(diǎn)云計(jì)算SHOT 描述符并進(jìn)行二進(jìn)制編碼，構(gòu)建KD 樹(shù)加速與本地模板庫(kù)的匹配，提高配準(zhǔn)速度；對(duì)配對(duì)完成的點(diǎn)對(duì)，使用RANSAC 去除誤匹配點(diǎn)對(duì)后，利用SVD 估計(jì)點(diǎn)云初始配準(zhǔn)位姿，提高配準(zhǔn)準(zhǔn)確率；使用ICP 優(yōu)化配準(zhǔn)結(jié)果，再次提高配準(zhǔn)精度。實(shí)驗(yàn)結(jié)果表明：本文方法能夠快速準(zhǔn)確的識(shí)別目標(biāo)工件，配準(zhǔn)精度在5 mm 以內(nèi)、配準(zhǔn)時(shí)間在2 s 以內(nèi)；相比于傳統(tǒng)點(diǎn)云配準(zhǔn)ICP，本文方法配準(zhǔn)精度更高，魯棒性更好；對(duì)目標(biāo)特征不明顯的工件在目標(biāo)遮擋、殘缺和其他干擾物的情況下，本文方法依然有較好的識(shí)別效果，魯棒性較好，能夠滿足復(fù)雜環(huán)境機(jī)器人場(chǎng)景的應(yīng)用。