許振瑛， 何 寧， 晁建剛?， 胡帥星

（1.中國(guó)航天員科研訓(xùn)練中心， 北京 100094； 2.中國(guó)航天員科研訓(xùn)練中心人因工程重點(diǎn)實(shí)驗(yàn)室， 北京 100094）

1 引言

航天員利用混合現(xiàn)實(shí)系統(tǒng)進(jìn)行在軌空間操作及地面訓(xùn)練，獲取場(chǎng)景重構(gòu)模型與數(shù)字模型的準(zhǔn)確匹配關(guān)系是混合現(xiàn)實(shí)場(chǎng)景實(shí)現(xiàn)虛實(shí)融合的關(guān)鍵。為獲取場(chǎng)景重構(gòu)模型，可采用點(diǎn)云匹配的方式融合混合現(xiàn)實(shí)系統(tǒng)深度傳感器各視角下的點(diǎn)云數(shù)據(jù)。點(diǎn)云匹配的本質(zhì)是估計(jì)傳感器的位姿變換，采用基于優(yōu)化的方法或基于特征點(diǎn)匹配的方法，其中基于特征點(diǎn)匹配的方法需要在關(guān)鍵點(diǎn)處計(jì)算特征描述符，由于傳感器姿態(tài)未知，關(guān)鍵點(diǎn)處的特征描述符易受角度影響，導(dǎo)致匹配失敗。

為提高特征點(diǎn)匹配成功率，文獻(xiàn)［6－8］采用在關(guān)鍵點(diǎn)處構(gòu)建局部坐標(biāo)系（Local Reference Frame，LRF）以克服傳感器姿態(tài)的不確定性，描述子的旋轉(zhuǎn)不變性優(yōu)于不構(gòu)建LRF 的方法。 受制于點(diǎn)云噪聲、遮擋、分辨率等因素，目前并不存在同時(shí)滿足健壯性和可重復(fù)性的LRF 構(gòu)建方法。

構(gòu)造LRF 最直觀的方法為主成分分析法，但由于獲取各點(diǎn)云片段的視角不同，對(duì)應(yīng)同一關(guān)鍵點(diǎn)處的鄰域點(diǎn)云分布不一致，導(dǎo)致該方法計(jì)算LRF 的可重復(fù)性僅約30%。 文獻(xiàn)［7－10］分別就LRF 構(gòu)建中的軸和軸計(jì)算提出了不同的改進(jìn)方法，其中Novatnack 等首次以關(guān)鍵點(diǎn)處法向量為L(zhǎng)RF 的軸，軸則通過(guò)對(duì)鄰域點(diǎn)云協(xié)方差矩陣特征值分解的方法獲得，該方法計(jì)算快捷，但計(jì)算軸的點(diǎn)云范圍過(guò)小，對(duì)噪聲敏感；Yang等仍然使用關(guān)鍵點(diǎn)法向量為軸，將計(jì)算法向量的鄰域范圍擴(kuò)大了到鄰域點(diǎn)云半徑的13， 并且用鄰域點(diǎn)云投影向量的加權(quán)和計(jì)算軸，由于計(jì)算軸依賴于點(diǎn)云均勻采樣，不規(guī)則分布的點(diǎn)云嚴(yán)重影響該方法的可重復(fù)性；Petrelli 等提出了在關(guān)鍵點(diǎn)鄰域半徑為5 mr（Mean Resolution，點(diǎn)云平均分辨率）的范圍內(nèi)擬合平面的方法計(jì)算軸，軸則與鄰域內(nèi)法向量與軸夾角最大的點(diǎn)有關(guān)，并且針對(duì)點(diǎn)云遮擋問(wèn)題提出了解決辦法，該方法對(duì)離群點(diǎn)敏感；Ao 等計(jì)算軸的方法與Yang 等一致，但通過(guò)對(duì)點(diǎn)云進(jìn)行變換創(chuàng)新了軸的計(jì)算方法，軸的可重復(fù)性限制了該方法的性能。 鑒于上述方法，為提升LRF 的可重復(fù)性，本文提出了基于法向量 DBSCAN聚類（Density?Based Spatial Clustering of Applications with Noise，DBSCAN）的關(guān)鍵點(diǎn)鄰域點(diǎn)云LRF 重構(gòu)方法，實(shí)現(xiàn)穩(wěn)定可靠的LRF 估計(jì)，進(jìn)而為后續(xù)計(jì)算具有旋轉(zhuǎn)不變特性的特征描述子提供前提，實(shí)現(xiàn)特征的準(zhǔn)確匹配。

2 局部坐標(biāo)系重構(gòu)

2.1 重構(gòu)方法概述

本文提出如下方法重構(gòu)關(guān)鍵點(diǎn)處局部坐{p∈R‖p－p‖，＝1，…，n；標(biāo)系：

1） 在含有n個(gè)點(diǎn)的點(diǎn)云片段內(nèi)隨機(jī)取一點(diǎn)為關(guān)鍵點(diǎn)，其中＝｛p∈R＝1，…，n｝ ；

2） 利用KDTree方法提取點(diǎn)處半徑為的球形鄰域點(diǎn)云P，共n個(gè)點(diǎn)，其中P ＝

3） 計(jì)算P中各點(diǎn)p的法向量n，并記P的法向量集為N；

4） 利用DBSCAN 方法對(duì)法向量集N聚類，元素最多的非噪聲類其均值即為軸；

5） 結(jié)合軸對(duì)P進(jìn)行變換后求得的第一主成分即為軸。

通過(guò)上述步驟，可以獲得關(guān)鍵點(diǎn)處的局部坐標(biāo)系L ＝［，×，］，選擇鄰域點(diǎn)并構(gòu)建局部坐標(biāo)系的過(guò)程如圖1 所示。

圖1 選擇鄰域點(diǎn)云并構(gòu)建LRFFig.1 Selection of neighborhood point and LRF con?struction

2.2 基于KDTree 方法的鄰域點(diǎn)云提取

本文采用KDTree 方法選擇關(guān)鍵點(diǎn)的球形鄰域點(diǎn)云。 點(diǎn)云數(shù)據(jù)構(gòu)建KDTree 的步驟為：

1） 分別對(duì)點(diǎn)云的，，軸數(shù)據(jù)計(jì)算方差，并獲取最大方差對(duì)應(yīng)的坐標(biāo)軸，記為axis；

2） 以axis軸數(shù)據(jù)為參考對(duì)點(diǎn)云數(shù)據(jù)排序，且令中位數(shù)為父節(jié)點(diǎn)，以垂直于axis軸且過(guò)父節(jié)點(diǎn)的平面為超平面平分點(diǎn)云數(shù)據(jù)，將小于父節(jié)點(diǎn)的點(diǎn)云列為左子節(jié)點(diǎn)，其他為右子節(jié)點(diǎn)；

3） 對(duì)左右子節(jié)點(diǎn)遞歸執(zhí)行步驟1）和2），直至所有數(shù)據(jù)被劃分完畢。

KDTree 能夠加快搜索速度，記KDTree 根節(jié)點(diǎn)，關(guān)鍵點(diǎn)，查找范圍，則查找KDTree 的步驟為：

1） 計(jì)算關(guān)鍵點(diǎn)到根節(jié)點(diǎn)分割超平面的距離；

2） 若，則步驟3），否則步驟4）；

3） 計(jì)算關(guān)鍵點(diǎn)到根節(jié)點(diǎn)的距離d，若d ＜r，則符合查找要求；否則4）；

4） 查找的左（右）子節(jié)點(diǎn)，若左（右）子節(jié)點(diǎn)存在，則以左（右）子節(jié)點(diǎn)為， 遞歸執(zhí)行步驟1）～3），直至不存子節(jié)點(diǎn)。

通過(guò)上述方法，可以查找出關(guān)鍵點(diǎn)處范圍為的所有鄰近點(diǎn)p。

2.3 法向量估計(jì)

計(jì)算cov 的特征值并排序，其最小特征值為，對(duì)應(yīng)的特征向量v，公式（2）計(jì)算了點(diǎn)p處的單位法向量：

圖2 法向量估計(jì)Fig.2 Normal vector estimation

2.4 基于法向量DBSCAN 聚類的Z 軸估計(jì)方法

圖3（a）、圖3（b）和圖3（c）分別列舉了平面、折角和散亂點(diǎn)云和法向量及其在單位球面上的分布，平面和折角點(diǎn)云存在大量方向基本一致的法向量，其法向量在單位球上的分布相對(duì)集中；散亂點(diǎn)云法向量分布相對(duì)廣泛，其核心較為模糊。因此可以通過(guò)法向量的集中程度推測(cè)某方向的重要性。

圖3 點(diǎn)云的法向量估計(jì)及其分布Fig.3 Normal vector estimation of point cloud and its distribution

DBSCAN 是一種基于密度的聚類方法，簇的數(shù)量只與點(diǎn)云密度分布相關(guān)，由于單位法向量在單位球面上的分布可看做點(diǎn)云，故步驟描述如下：

1） 任選一個(gè)未經(jīng)處理的法向量n，若其鄰域r內(nèi)點(diǎn)的個(gè)數(shù)小于min，則被標(biāo)記為噪聲，否則被標(biāo)記為核心樣本，并分配一個(gè)新的簇標(biāo)簽C，將其所有鄰域法向量加入候選集C；

2） 對(duì)于候選集C中所有未處理的法向量n，若其鄰域r內(nèi)的法向量數(shù)小于min，則標(biāo)記為噪聲，否則將其鄰域加入候選集C且將法向量n加入簇C；

3） 重復(fù)步驟2），直至候選集C為空；

4） 重復(fù)步驟1 ～3，直至處理完畢所有法向量。

將上述過(guò)程標(biāo)記為DBSCAN，如公式（3）所示，

DBSCAN 聚類方法存在缺陷，即：若法向量分布過(guò)于散亂而不滿足聚類條件，則方法失效。 此時(shí)采用協(xié)方差矩陣特征值分解計(jì)算軸。

2.5 局部坐標(biāo)系x 軸估計(jì)

由于噪聲、遮擋等原因，軸的確定較軸復(fù)雜許多。 本文采用對(duì)球形鄰域點(diǎn)云進(jìn)行變換后求第一主成分的方法確定軸，解決局部點(diǎn)云有效信息不足導(dǎo)致的軸估計(jì)一致性差的問(wèn)題

為降低數(shù)據(jù)的復(fù)雜度，首先將球形鄰域點(diǎn)云P投影到軸的切平面， 記為′， 如圖4所示。

圖4 鄰域點(diǎn)云在z 軸切平面上的投影Fig.4 Project points on orthogonal plane of z－axis

其中，p為鄰域中某點(diǎn)，′為p在上的投影，〈·〉 為向量?jī)?nèi)積，假定球形鄰域點(diǎn)云中心為原點(diǎn)，則：

投影后失去了立體特征，本文提出3 種權(quán)重因子將點(diǎn)′進(jìn)行變換，分別表示為、和′。代表了p到中心點(diǎn)的距離（此處為避免‖′‖ 為0 的情況設(shè)定‖′‖ 最小為0.001），即距離越遠(yuǎn)的點(diǎn)越能為軸的方向做出貢獻(xiàn)：

為點(diǎn)的法向與軸的內(nèi)積，即軸越大的點(diǎn)越能為軸的方向做出貢獻(xiàn)：

′是′的集合，′是點(diǎn)的法向在軸切平面上的投影，加強(qiáng)與軸方向不相同的點(diǎn)對(duì)軸方向估計(jì)的權(quán)重為式（10）：

p轉(zhuǎn)換后的點(diǎn)為式（11）：

局部坐標(biāo)系可表示為式（12）：

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)?zāi)繕?biāo)、比判準(zhǔn)則與數(shù)據(jù)選擇

1）實(shí)驗(yàn)?zāi)繕?biāo)。 評(píng)估上述方法在局部坐標(biāo)系構(gòu)建中的重復(fù)性。

為實(shí)現(xiàn)上述目標(biāo)，本文在與點(diǎn)云片段有重疊區(qū)域的點(diǎn)云片段＝{q∈R|＝1，…n} 中獲取關(guān)鍵點(diǎn)的對(duì)應(yīng)點(diǎn)并分別構(gòu)建局部坐標(biāo)系L和L，已知和間的轉(zhuǎn)換為，即＝·，則L＝·L ＋，其中為殘差。 本文采用公式（13）計(jì)算軸和公式（14）計(jì)算局部坐標(biāo)系間的絕對(duì)誤差。

其中，ε為軸間的旋轉(zhuǎn)誤差角度，為局部坐標(biāo)系間的旋轉(zhuǎn)誤差角度，誤差角度越小則匹配精度越高。

2）比判準(zhǔn)則。 本文以10°為標(biāo)準(zhǔn)統(tǒng)計(jì)匹配正確率，誤差角度小于該標(biāo)準(zhǔn)即認(rèn)為匹配正確。

3） 數(shù)據(jù)選擇。 本文選用 3DMatch、SpaceTime 和Registration 數(shù)據(jù)集評(píng)估軸和局部坐標(biāo)系重構(gòu)的重復(fù)性。

針對(duì)空間站艙內(nèi)三維重建場(chǎng)景匹配問(wèn)題，上述所選數(shù)據(jù)集包含了色彩和深度信息，符合重建匹配應(yīng)用場(chǎng)景需求；其中3DMatch 數(shù)據(jù)集為室內(nèi)場(chǎng)景，保證驗(yàn)證數(shù)據(jù)與應(yīng)用背景具有相似性；SpaceTime 數(shù)據(jù)集采用SpaceTime Stereo 技術(shù)獲取，為雙目立體視覺(jué)，Registration 數(shù)據(jù)集由Kinect設(shè)備獲取，為T(mén)oF 深度，保證驗(yàn)證數(shù)據(jù)適用不同數(shù)據(jù)來(lái)源。

3.2 關(guān)鍵參數(shù)設(shè)置

分別對(duì)各數(shù)據(jù)集隨機(jī)取1000 對(duì)重合點(diǎn)測(cè)試并統(tǒng)計(jì)正確率，每次測(cè)試的參數(shù)保持一致：鄰域點(diǎn)云半徑取15 mr；估計(jì)法向量鄰域范圍＝10，即附近10 個(gè)點(diǎn)； DBSCAN 聚類掃描半徑r ＝sin (5·π180) ， 最小包含點(diǎn)數(shù) min ＝max（［n］100，5） 。

3.3 z 軸重復(fù)性測(cè)試與對(duì)比

以圖5 為例，左右側(cè)分別為空間內(nèi)同一點(diǎn)處不同視角下的球形鄰域點(diǎn)云，圖5（a）為點(diǎn)云原始數(shù)據(jù)，可見(jiàn)不同視角下的點(diǎn)云存在差異；圖5（b）估計(jì)了點(diǎn)云所有點(diǎn)的法向量；圖5（c）對(duì)法向量進(jìn)行了聚類，其中屬同簇的法向量顏色相同，黑色為離群點(diǎn)；圖5（d）將點(diǎn)云中心移至原點(diǎn)并添加了軸（向上軸為軸，其余軸未約束，僅用于表征軸切平面）。

圖5 基于聚類的z 軸計(jì)算Fig.5 Calculation of z?axis based on DBSCAN Clus?tering

為評(píng)估本文軸計(jì)算方法的性能，本文與文獻(xiàn)［7－10］方法進(jìn)行了對(duì)比，結(jié)果如表1 所示。

表1 z 軸估計(jì)重復(fù)率對(duì)比Table 1 Comparation of repetitive rate of z－axis Estimation

可見(jiàn)，本文突出連續(xù)光滑曲面上點(diǎn)云的法向量有利于提高軸估計(jì)的重復(fù)性。

3.4 LRF 重復(fù)性測(cè)試與對(duì)比

圖6 以某一鄰域點(diǎn)云為例，對(duì)確定軸后的點(diǎn)云應(yīng)用本文方法進(jìn)行轉(zhuǎn)換，其中圖6（a）為原始點(diǎn)云，原始點(diǎn)云存在較大差異，圖6（b）為轉(zhuǎn)換后點(diǎn)云，可見(jiàn)原始圖像中的差異性被弱化，法線平行于軸方向的點(diǎn)云被集中，同時(shí)保持了法線垂直于軸方向點(diǎn)云的離散度，本例LRF 構(gòu)建誤差為4.6°。

圖6 點(diǎn)云轉(zhuǎn)換Fig.6 Point cloud transformation

為對(duì)比本文LRF 估計(jì)方法的性能，本文與文獻(xiàn)［7－10］方法進(jìn)行了比較，結(jié)果如表2 所示，本文方法在所選數(shù)據(jù)集上達(dá)到了最高重復(fù)率，平均為0.44。

表2 LRF 估計(jì)重復(fù)率對(duì)比Table 2 Comparation of repetitive rate of LRF estima?tion

本文方法在不同數(shù)據(jù)集上測(cè)試了不同權(quán)重因子組合，其重復(fù)率如表3 所示，組合因子的重復(fù)率優(yōu)于單個(gè)因子。

表3 不同權(quán)重因子組合對(duì)比Table 3 Comparation of different weight factor combinations

4 結(jié)論

本文提出了一種在關(guān)鍵點(diǎn)球形鄰域點(diǎn)云計(jì)算LRF 的方法，通過(guò)法向量聚類求得軸，對(duì)鄰域點(diǎn)云變換后求第一主成分獲得軸。 利用公開(kāi)數(shù)據(jù)集替代航天員混合現(xiàn)實(shí)訓(xùn)練真實(shí)環(huán)境點(diǎn)云并對(duì)比測(cè)試，試驗(yàn)結(jié)果表明本文所提方法在單軸和坐標(biāo)系的正確率指標(biāo)均優(yōu)于其他方法。

由于本文所提方法計(jì)算量較大，相比其他方法需要更多計(jì)算資源，后續(xù)工作可考慮如何提高計(jì)算效率；本文所提方法可以用于計(jì)算三維點(diǎn)云的旋轉(zhuǎn)不變特征描述子。