洪海波 萬舒彪 沈義平 鐘珂珂

基于光度-面結(jié)構(gòu)光復(fù)合傳感的大型航天構(gòu)件機器人原位測量方法

洪海波 萬舒彪 沈義平 鐘珂珂

（上海航天精密機械研究所，上海 201600）

機器人原位測量是當(dāng)前航天大型構(gòu)件制造重要的發(fā)展趨勢，針對大型金屬構(gòu)件機器人原位測量面臨的非朗伯表面光學(xué)測量和弱幾何微紋理表面點云匹配兩大技術(shù)挑戰(zhàn)，本文提出了一種基于光度-面結(jié)構(gòu)光多傳感器融合的高精度測量方法。該方法將一定數(shù)量的LED光源添加到傳統(tǒng)條紋投影測量裝置中，實現(xiàn)對高亮反射表面的高精度法向量估計，并將表面法向量信息與條紋投影測量的點云信息進行融合，同時設(shè)計多模態(tài)幾何特征描述子提高點云匹配精度，實現(xiàn)測量精度的整體優(yōu)化。該方法用于貯箱壁板面型測量，實驗結(jié)果驗證了其有效性。

大型構(gòu)件；原位測量；光度立體視覺；面結(jié)構(gòu)光；多傳感器融合

1 引言

近年來，機器人原位加工正逐漸成為航天大型構(gòu)件制造的新趨勢[1]。然而，機器人加工在精度和加工質(zhì)量方面，與傳統(tǒng)機床還存在一定差距，其制造過程中對加工表面的精確測量及精準(zhǔn)反饋是提高機器人制造裝備精度和性能的關(guān)鍵技術(shù)[2]。以移動機器人為執(zhí)行體，以近景三維光學(xué)測量為終端測量手段的組合式測量方法在工作空間、運動靈活度、柔性配置、原位測量等方面展現(xiàn)了極好的應(yīng)用前景[3]。相比傳統(tǒng)串聯(lián)式線性移動平臺，機器人定位精度較低，三維光學(xué)測量方法易受高光反射等環(huán)境特征影響，測量的全局精度不僅取決于光學(xué)傳感器的單幅測量精度，更依賴于后續(xù)多幅局部測量數(shù)據(jù)的拼接和融合。同時，大型航天金屬構(gòu)件表面多為非朗伯高反光曲面，缺乏充足的幾何和紋理特征，當(dāng)前主流的三維光學(xué)測量方法，如攝影測量、光束掃描、面結(jié)構(gòu)光投影等，大多基于漫反射表面的三角測量原理，針對經(jīng)銑、磨等加工工藝的非朗伯高光反射曲面，測量精度及可靠性會急劇降低[4]，無法滿足高精度檢測需求。此外，針對弱幾何和紋理特征的局部測量數(shù)據(jù)，無法利用傳統(tǒng)特征描述得到點云的匹配信息，需采用全站儀、激光跟蹤儀等全局測量設(shè)備或經(jīng)嚴(yán)格標(biāo)定的全局控制標(biāo)志點引導(dǎo)局部測量數(shù)據(jù)匹配融合[5]，價格昂貴、實時性低且精度易受環(huán)境干擾。

本文擬研制光度-面結(jié)構(gòu)光復(fù)合傳感器機器人測量系統(tǒng)，以非朗伯光度理論為基礎(chǔ)，研究光度立體視覺與面結(jié)構(gòu)光的協(xié)同三維光學(xué)測量方法，提升對金屬表面非朗伯高光反射的魯棒性，避免因成像質(zhì)量導(dǎo)致的精度降低和數(shù)據(jù)缺失。同時，利用復(fù)合傳感器測量的表面紋理信息，研究表面宏微形貌特征亞微米級表征方法，基于多維多模態(tài)特征描述，進一步優(yōu)化多幀測量數(shù)據(jù)的配準(zhǔn)與融合，實現(xiàn)大型航天構(gòu)件三維面型原位測量。

2 光度-面結(jié)構(gòu)光復(fù)合傳感測量方法

2.1 測量策略

利用結(jié)構(gòu)光測量金屬局部表面獲取初始形狀信息，計算入射光線與入射光強分布，基于近場光度立體視覺估計表面法向量，再與結(jié)構(gòu)光測量點云融合獲取更高精度。在全局傳感器給定的初始位姿基礎(chǔ)上進一步優(yōu)化匹配關(guān)系，提高點云融合精度。針對經(jīng)典點云匹配ICP算法[6]無法有效拼接弱幾何微紋理局部表面問題，利用點云與法向量信息構(gòu)建多維多模態(tài)幾何特征描述，實現(xiàn)高精度點云匹配。

2.2 測量方法

2.2.1 面結(jié)構(gòu)光條紋投影測量

條紋投影是通過投影儀向待測表面投射一系列正弦條紋圖案，根據(jù)條紋的變形恢復(fù)表面的形狀信息。對于相機拍攝圖片的每個像素點(,)，其對應(yīng)的像素值可以表示為式（1），式中(,)為平均像素值，(,)為調(diào)制像素值，(,)為待估計的相位。

2.2.2 近場光度立體視覺

光度立體視覺利用不同光源照射下的圖片信息恢復(fù)表面法向量，并引入反射模型克服復(fù)雜的非朗伯反射現(xiàn)象。對于非朗伯表面上任意一點，相機拍攝的像素值可以表示為式（3），其中是入射光線方向，是表面法向量，是觀測方向，light是光源強度。

利用條紋投影測量的初始點云計算每個點的、以及強度light，難點在于未知函數(shù)與未知法向量之間的非線性耦合。引入基于共位光源逆向反射模型（4）[8]。

2.2.3 點云法向量融合

光度立體視覺能有效估計全部表面的高頻細(xì)節(jié)信息，本文在法向量積分過程中加入點云約束，用于獲取完整且包含豐富細(xì)節(jié)的點云信息。對于每個像素(,)，對應(yīng)的軸與軸方向的梯度可表示為式（5）[9]。其中，表面法向量(n,n,x)，表示焦距。

此時，每個像素點的深度梯度誤差可以表示為式（7），深度值可以通過最小化式（7）獲得。然而，僅通過最小化該式將會引入累計誤差，造成極大的低頻誤差，導(dǎo)致測量表面扭曲。本文通過引入條紋投影測量的點云信息對該低頻誤差進行矯正。

2.3 點云匹配

傳統(tǒng)ICP算法對于匹配對選取較敏感，一旦錯配則會導(dǎo)致迭代計算不收斂。本文提出一個多維向量對點云特征進行描述，提升匹配的正確率。

3 實驗研究

將光度-面結(jié)構(gòu)光復(fù)合傳感器安裝在UR5機器人末端，對運載火箭鋁合金貯箱壁板的各個位置進行測量，最后進行點云拼接與融合。傳感器由一臺投影儀、一臺工業(yè)相機和29個LED燈組成，投影儀為德州儀器DLP4500，工業(yè)相機為大恒MER2-503-36U3C，LED為20W白色CREE燈珠。

3.1 光度立體視覺技術(shù)恢復(fù)表面紋理的有效性

選取三個不同波紋度的曲面進行測試，并與ZYGO Nexview 2白光干涉儀測得的結(jié)果為參考值對比，如圖1所示?？梢钥闯?，采用本文方法測量的表面紋理周期分布與白光干涉儀結(jié)果幾乎完全一致，波形基本相同，振幅噪聲較明顯。

表1為3個不同區(qū)域的表面紋理深度值，可以看到，所提方法測得的值相對誤差均小于15%，驗證了方法的有效性。

表1 不同樣件測量結(jié)果

3.2 光度-面結(jié)構(gòu)光協(xié)同測量系統(tǒng)的測量結(jié)果

光度-面結(jié)構(gòu)光多傳感器測量結(jié)果如圖2所示。圖2a展示了結(jié)構(gòu)光測量深度圖，該圖存在由于金屬表面高光反射導(dǎo)致點云缺失，并且點云噪聲較大。圖2b展示了光度立體視覺法向量估計圖，本文所提技術(shù)實現(xiàn)全局的表面法向量估計。圖2c展示了深度與法向量融合結(jié)果，從該圖可以看出，缺失點云部分全部補全，并且減小了點云噪聲。

圖2 光度-面結(jié)構(gòu)光多傳感器測量結(jié)果

3.3 多幀點云拼接融合

圖3展示了點云全局拼接結(jié)果，上圖展示了局部點云測量結(jié)果，下圖展示了點云融合結(jié)果，從圖中可以看出本文所提方法能夠有效實現(xiàn)大工件表面的測量。

4 結(jié)束語

大型航天金屬構(gòu)件測量包含兩大技術(shù)挑戰(zhàn)，分別是高光反射面測量與弱幾何微紋理表面點云拼接。對于金屬表面反射，本文提出一種光度-面結(jié)構(gòu)光多傳感器系統(tǒng)，該系統(tǒng)利用結(jié)構(gòu)光條紋投影測量的初始形狀驅(qū)動光度立體視覺技術(shù)估計表面法向量，隨后融合點云與表面法向量實現(xiàn)精細(xì)化局部測量。對于弱幾何表面點云匹配任務(wù)，本文利用條紋投影測量的點云數(shù)據(jù)以及光度立體視覺技術(shù)估計的表面法向量構(gòu)建了一種多模態(tài)特征描述子，用于實現(xiàn)更高精度的點云配準(zhǔn)。本文未來工作將會進一步專注在測量不確定度分析。

1 陶波，趙興煒，丁漢. 大型復(fù)雜構(gòu)件機器人移動加工技術(shù)研究[J]. 中國科學(xué)：技術(shù)科學(xué)，2018，48(12)：11

2 周瑩皓，張加波，樂毅，等. 移動機器人技術(shù)在航天制造業(yè)中的應(yīng)用[J]. 機械設(shè)計與制造工程，2018，47(2)：5

3 楊守瑞. 大型構(gòu)件復(fù)雜曲面自動化測量方法與技術(shù)[D] . 天津：天津大學(xué)

4 Liu Yanzhao, Fu Yanjun, Zhuang Yuhao, et al. High dynamic range real-time 3D measurement based on Fourier transform profilometry[J]. Optics & Laser Technology, 2021, 138: 106833

5 Reich C, Ritter R, Thesing J. 3-D shape measurement of complex objects by combining photogrammetry and fringe projection[J]. Opt Eng, 2000, 39(1): 224～231

6 Besl P J, Mckay N D. Method for registration of 3-D shapes; proceedings of the Sensor fusion IV: control paradigms and data structures, F, 1992[C]. Spie

7 Zhang Zonghua, Huang Shujun, Meng Shasha, et al. A simple, flexible and automatic 3D calibration method for a phase calculation-based fringe projection imaging system[J]. Opt Express, 2013, 21(10): 12218～12227

8 Wang Xi, Jian ZhenXiong, Ren MinJun. Non-Lambertian Photometric Stereo Network Based on Inverse Reflectance Model With Collocated Light[J]. Ieee T Image Process, 2020, 29: 6032～6042

9 Queau Y, Durou J D, Aujol J F. Normal integration: a survey[J]. Journal of Mathematical Imaging and Vision, 2018, 60(4): 576

Photometric and Surface Structure Light Composite Sensing Based Robot in-situ Measurement Method for Large Aerospace Component

Hong Haibo Wan Shubiao Shen Yiping Zhong Keke

(Shanghai Spaceflight Precision Machinery Institute, Shanghai 201600)

Robot in-situ measurement is an important development trend of current aerospace large component manufacturing. Aiming at the two technical challenges of non-Lambertian surface optical measurement and weak geometry micro texture surface point cloud matching, this paper proposes a high-precision measurement method based on photometric-surface structured light multi-sensor fusion. This method adds a certain number of LED light sources to the traditional fringe projection measurement device to achieve high-precision normal vector estimation of the highlighted reflection surface. Based on this, the surface normal vector information is fused with the point cloud information of fringe projection measurement, and a multi-modal feature descriptor is designed to improve the point cloud matching accuracy and realize the overall optimization of the measurement accuracy. The method is used to measure the surface shape of rocket tank sheet, and the experiment proves the effectiveness of the method.

large component；in-situ measurement；photometric stereo；surface structured light；multi-sensor fusion

TP391.7

A

洪海波（1986），博士，機械電子工程專業(yè)；研究方向：物聯(lián)網(wǎng)、數(shù)字孿生、智能傳感與檢測等。

2022-09-15