摘"要：為了直接獲取工件輪廓點云，設(shè)計一種基于ZYNQ可編程芯片的線激光輪廓傳感器。以ZYNQ芯片為核心處理器，設(shè)計傳感器的圖像采集與處理硬件電路。根據(jù)相機畸變模型，通過雙線性插值法矯正各像素點的灰度值，研究基于法向迭代的灰度重心法以提取激光條紋中心線，結(jié)合相機參數(shù)和激光光平面方程的標定，計算相機坐標系下激光條紋中心點的三維坐標。在ZYNQ芯片中實現(xiàn)上述算法的并行加速，進行工件輪廓掃描測試。結(jié)果表明：該傳感器可得到工件的三維輪廓點云。

關(guān)鍵詞：線激光輪廓傳感器；ZYNQ；灰度重心法；中心線提取；點云

中圖分類號：TP212.1""文獻標志碼：B""文章編號：1671-5276（2024）02-0157-05

Design of Line Laser Contour Sensor Based on ZYNQ

ZHAO Xinchuang， WANG Huaming， YANG Xuefeng， XU Ke， SHEN Ying

（College of Mechanical and Electrical Engineering， Nanjing University of Aeronautics and Astronautics， Nanjing 210016， China）

Abstract：To directly obtain the point cloud of workpiece contour， a line laser contour sensor based on ZYNQ fully programmable chip was designed. ZYNQ chip was applied as the core processor to design the circuit of image acquisition and processing. According to the distortion model of the camera， the gray value of each pixel was corrected by bilinear interpolation. The gray centroid method based on normal iteration was proposed to extract the centerline of laser stripe. Combined with the calibration of camera parameters and laser light plane equation， the 3D coordinates of the center point of the laser stripe in the camera coordinate system were calculated. The parallel acceleration of the above algorithm was realized with ZYNQ chip， and the workpiece contour scanning test was carried out. The results show that the sensor can obtain the 3D contour point cloud of the workpiece.

Keywords：line laser contour sensor；ZYNQ；gray centroid method；centerline extraction；point cloud

0"引言

隨著工業(yè)技術(shù)的發(fā)展，線激光三維測量技術(shù)在工業(yè)機器人引導、零部件尺寸測量、裝配精度測量等領(lǐng)域有著越來越多的應用。傳統(tǒng)線激光三維測量系統(tǒng)將采集到的圖像傳輸至PC處理，獲取工件輪廓點云的算法復雜，消耗大量PC運算資源。近年來，大規(guī)模集成電路飛速發(fā)展，F(xiàn)PGA芯片的集成度和并行運算速度大幅提高，可用于圖像處理算法加速。Xilinx公司推出的ZYNQ7000系列芯片采用“ARM+FPGA”的異構(gòu)架構(gòu)，內(nèi)部集成了一片Cortex-A9 ARM處理器和一片Artix-7 FPGA處理器，既有豐富的外設(shè)接口，又提供了充足的邏輯資源，符合線激光三維測量系統(tǒng)的需求。

目前已有許多關(guān)于ZYNQ/FPGA在線激光視覺中應用的研究。LI Z K等［1］提出了一種基于改進Hessain矩陣法的激光條紋中心線提取算法，以圖像二階矩特征估計激光條紋的寬度，采用二階泰勒展開簡化Hessain矩陣法的求解過程，在FPGA中實現(xiàn)了上述算法。MARKOVIC＇ B R等［2］針對外部噪聲源干擾問題，提出通過圖像自卷積來提高灰度重心法的準確性方法，在FPGA平臺進行了驗證。ZHANG L等［3］提出了一種用于ZYNQ芯片的實時多任務處理軟件結(jié)構(gòu)，實現(xiàn)了激光條紋中心線提取算法的設(shè)計。

結(jié)合上述研究現(xiàn)狀，設(shè)計一種直接獲取工件輪廓點云的線激光輪廓傳感器。以ZYNQ芯片為核心處理器，設(shè)計傳感器硬件電路，在ZYNQ芯片中實現(xiàn)圖像畸變矯正、激光條紋中心線提取和點云坐標計算等算法，通過掃描測試得到工件輪廓點云。

1"傳感器總體方案設(shè)計

基于ZYNQ的線激光輪廓傳感器設(shè)計方案如圖1所示。工業(yè)相機采集激光條紋圖像并以GigE Vision協(xié)議傳輸至ZYNQ芯片，ZYNQ芯片移植有Linux操作系統(tǒng)，可調(diào)用ARM和FPGA雙核實現(xiàn)圖像畸變矯正、中心線提取和點云坐標計算等算法。

2"線激光輪廓傳感器設(shè)計

2.1"傳感器硬件設(shè)計

1）傳感器結(jié)構(gòu)設(shè)計

線激光三維測量技術(shù)［4］屬于主動式視覺測量，基本原理為三角測量法［5］，如圖2所示。線激光器照射物體，在其表面形成線激光條紋，由工業(yè)相機采集圖像，根據(jù)△CGB—△CFE可以求出條紋上各點在像平面上的位移x與物體沿表面法線方向的偏移z的關(guān)系：

z=xasinβcosα1bsin（α1+α2）±sin（α1+α2+β）（1）

式中：α1和α2分別為線激光器光軸和接收透鏡光軸與物體表面法線的夾角；β為接收透鏡光軸與像平面的夾角；a和b分別為接收透鏡沿光軸方向到激光器光軸和像平面的距離。

采用斜射-直接收的布局進行傳感器結(jié)構(gòu)設(shè)計，如圖3所示，除工業(yè)相機和線激光器外，還包含反射鏡和窄帶濾光片。反射鏡用來改變激光方向以減小傳感器尺寸，窄帶濾光片用于減小雜光干擾，突出激光條紋信息。

2）傳感器硬件電路設(shè)計

傳感器選用ZYNQ7020芯片為核心處理器，采用核心板加擴展板的方案。擴展板電路包括電源模塊、SD卡接口、千兆網(wǎng)口、HDMI接口等。圖4為自行設(shè)計的擴展板實物圖。

ZYNQ芯片的ARM核提供USB、UART、IIC等外設(shè)接口，直接使能即可使用，但ARM核中沒有HDMI接口，且在使能部分外設(shè)后，不能同時提供兩個千兆網(wǎng)口，需要通過FPGA核的邏輯電路實現(xiàn)，如圖5所示為千兆以太網(wǎng)口和HDMI接口的邏輯電路設(shè)計方案。

2.2"圖像處理算法設(shè)計

激光條紋中心線點云通過圖像畸變矯正、激光條紋中心線提取和點云坐標計算來獲取。

1）圖像畸變矯正

由于制造工藝、安裝誤差等原因，工業(yè)相機采集到的圖像往往存在一定程度的非線性畸變［6］，影響測量精度，因此需要進行圖像畸變矯正。

根據(jù)式（2）所示相機畸變模型計算畸變前后像素點的映射關(guān)系。

x0y0=（1+k1r2+k2r4）xy+

2k3xy+k2（r2+2x2）k3（r2+2y2）+2k4xy（2）

式中：r2=x2+y2；（x0，y0）和（x，y）為成像點矯正前后的歸一化坐標；k1—k4是相機畸變系數(shù)。

根據(jù)映射關(guān)系確定像素點的映射坐標，通過雙線性插值法計算該像素的灰度值。如圖6所示，點P為某像素點的映射點，Δx與Δy為點P到其左上方相鄰點的偏移量，由式（3）可得矯正后的灰度值g。

g1=（1-Δx）g（x，y）+Δxg（x+1，y）

g2=（1-Δx）g（x+1，y）+Δxg（x+1，y+1）

g=（1-Δy）g1+Δyg2（3）

2）激光條紋中心線提取

a）圖像預處理

在提取激光條紋中心線之前，需要預先進行降噪處理，結(jié)果如圖7所示。具體流程如下：

①采用5×5大小的高斯濾波器進行濾波；

②對每一列圖像分別執(zhí)行閾值分割［7］，遍歷單列圖像，提取灰度最大值gmax，設(shè)置一個最小灰度閾值Tmin和偏移量ΔT（20＜ΔT＜50），根據(jù)式（4）確定本列的灰度閾值T；

T=max（gmax-ΔT，Tmin）（4）

③使用3×3矩形內(nèi)核先后對圖像進行膨脹和腐蝕操作［8］，去除細小孤立塊，最終得到如圖7（b）所示預處理結(jié)果。

b）激光條紋中心線提取

常用的激光條紋中心線提取算法有幾何中心法、極值法、骨架細化法、灰度重心法、曲線擬合法、Steger法、方向模板法等［9］?？紤]ZYNQ的邏輯資源消耗量，采用灰度重心法［10］進行中心線提取，原理如式（5）所示。

vCi=∑nj=0g（ui，vij）ij∑nj=0g（ui，uij），i=1，2，3，…，m（5）

式中：vCi為激光條紋圖像第i列的灰度重心點坐標；g（ui，vij）為像素點（ui，vij）的灰度值；m×n為圖像大小。

對于激光條紋中變化平緩的區(qū)域，灰度重心法提取效果好且速度快，但處理如圖8（a）所示斜率較大的區(qū)域時，易出現(xiàn)間斷現(xiàn)象。針對此問題，設(shè)計一種基于法向迭代的灰度重心法，實現(xiàn)步驟如下。

第1步，通過灰度重心法計算初始中心線坐標，構(gòu)建一個中心點集合，記為A。

第2步，對集合A中間距大于TD的相鄰點進行線性插值，將所得中點坐標插入集合A，以最小二乘法擬合該點局部斜率ki，若kigt;kT（kT為斜率閾值），則轉(zhuǎn)到第3步，否則繼續(xù)進行判斷。

第3步，計算此點所在位置的局部法向，沿法向重新通過灰度重心法計算坐標并加入集合A。首次進入第3步時，置迭代次數(shù)t=0。

第4步，判斷新的中心點集合是否滿足式（6）或t=T，若滿足則轉(zhuǎn)到第5步，否則t=t+T，轉(zhuǎn)到第3步重新計算。

1n∑ni=1［（ui-ui-1）2+（vi-vi-1）2］＜ε（6）

式中：n為中心點的總數(shù)；（ui，vi）為中心點坐標；ε為給定的極小正數(shù)（一般可取0.05）；t為迭代次數(shù)；T為迭代次數(shù)上限值。

第5步，采用滑動平均法對中心點集合進行數(shù)據(jù)平滑。

使用改進的灰度重心法提取激光條紋中心線，處理結(jié)果如圖8（b）所示，對比可知，中心線間斷問題有明顯改善。

3）點云坐標計算

取激光條紋中心線上一點，結(jié)合相機內(nèi)參和線激光光平面方程，即可求出相機坐標系下該點的三維坐標，具體過程如下。

a）根據(jù)相機標定結(jié)果，由相機成像模型推導出像素坐標與相機坐標系下空間坐標的對應關(guān)系：

zc=fx0u00

0fyv00

0001xcyczc1（7）

式中：fx和fy為相機尺度因子；（u0，v0）為相機光心的像素坐標；（xc，yc，zc）為點（u，v）在相機坐標系下的坐標。

b）基于相機外參，利用多特征點擬合法［11］標定相機坐標系下的激光光平面方程，如式（8）所示。

Axc+Byc+Czc-1=0（8）

c）聯(lián)立式（7）、式（8），得到相機坐標系下的三維坐標：

zc=Au-u0fx+Bv-v0fy+C-1

xc=u-u0fxzc

yc=v-v0fyzc（9）

4）圖像處理算法的實現(xiàn)

ZYNQ中圖像處理算法的實現(xiàn)方案如圖9所示，涉及復雜浮點運算的映射關(guān)系求解等。算法通過ARM實現(xiàn)，雙線性插值、灰度重心法等算法置于FPGA中并行執(zhí)行。進行畸變矯正和中心線提取時，ARM與FPGA之間的數(shù)據(jù)交互量較大，通過VDMA IP核以AXI4-Stream協(xié)議傳輸數(shù)據(jù)。三維坐標求解算法的數(shù)據(jù)量較少，使用AXI4-Lite協(xié)議進行數(shù)據(jù)交互。為了進一步減少畸變矯正模塊的數(shù)據(jù)量和BRAM資源占用，采用坐標偏移量表示映射關(guān)系，增大10倍后以整型存儲，將像素灰度值與映射關(guān)系組幀傳輸，在FPGA中進行數(shù)據(jù)緩存、處理和更新。

以分辨率為800×600的圖像為例，采用處理器為i5-7300HQ的計算機實現(xiàn)上述算法，單張圖片耗時約76ms。而在ZYNQ芯片中實現(xiàn)上述算法，單張圖像處理耗時約35ms，節(jié)省約54%。通過ARM核采集單張圖像耗時約50ms，數(shù)據(jù)傳輸耗時約12ms，因此芯片處理速度約10FPS。ZYNQ芯片資源消耗情況如表1所示，還留有充足資源供后續(xù)開發(fā)。

3"工件輪廓掃描試驗

構(gòu)建由線激光輪廓傳感器和直線運動平臺組成的工件輪廓掃描裝置，對圖10（a）所示工件進行掃描測試。設(shè)置運動平臺以3mm/s的速度移動，控制線激光輪廓傳感器以100ms的間隔采集激光條紋圖像。在上位機接收激光條紋中心線點云并進行拼接，得到如圖10（b）所示的工件輪廓點云，受金屬表面反光影響，工件邊緣有部分數(shù)據(jù)丟失。通過張正友標定法和多特征點擬合法進行相機和激光光平面標定，標定結(jié)果如表2所示。

4"結(jié)語

針對直接獲取工件輪廓點云的需求，設(shè)計了一種基于ZYNQ芯片的線激光輪廓傳感器，通過工件輪廓掃描試驗進行了功能驗證。采用ZYNQ芯片為核心處理器，進行了傳感器的軟硬件設(shè)計，通過邏輯電路實現(xiàn)中心線提取和點云坐標計算等算法的并行加速，直接輸出工件輪廓點云數(shù)據(jù)。該傳感器可使技術(shù)人員免于繁雜的點云獲取工作，能夠顯著提高產(chǎn)品的設(shè)計效率，縮短設(shè)計周期。

參考文獻：

［1］ LI Z K，MA L P，LONG X L，et al. Hardware-oriented algorithm for high-speed laser centerline extraction based on hessian matrix［J］. IEEE Transactions on Instrumentation and Measurement，2021，70：1-14.

［2］ MARKOVIC＇ B R，C＇ERTIC＇ J D. Improving sub-pixel estimation of laser stripe reflection center by autoconvolution on FPGA［J］. Journal of Circuits，Systems and Computers，2022，31（4）：2250063.

［3］ ZHANG L，ZHANG S F，YANG H. Design of embedded application software of 3D camera based on line laser［J］. Journal of Physics：Conference Series，2021，1812（1）：012017.

［4］ WANG H F，WANG Y F，ZHANG J J，et al. Laser stripe center detection under the condition of uneven scattering metal surface for geometric measurement［J］. IEEE Transactions on Instrumentation and Measurement，2020，69（5）：2182-2192.

［5］ 孫有春，龐亞軍，白振旭，等. 激光三角測量法應用技術(shù)［J］. 激光雜志，2021，42（4）：1-8.

［6］ JUNGER C，HESS A，ROSENBERGER M，et al. FPGA-based lens undistortion and image rectification for stereo vision applications［C］// Joint TC1-TC2 International Symposium on Photonics and Education in Measurement Science 2019Germany： Jena，2019，11144：284-291.

［7］ 黃鵬，鄭淇，梁超. 圖像分割方法綜述［J］. 武漢大學學報（理學版），2020，66（6）：519-531.

［8］ 張鵬，叢林. 基于分形方法的載人壓力容器內(nèi)壁缺陷可視化檢測方法［J］. 機械制造與自動化，2021，50（6）：73-76.

［9］ XU X B， FEI Z W， YANG J， et al. Line structured light calibration method and centerline extraction：a review［J］. Results in Physics，2020，19：103637.

［10］ 甘宏，張超，李林，等. 復雜背景下激光條紋中心亞像素提取方法［J］. 光電工程，2019，46（2）：82-89.

［11］ 郭新年，白瑞林，王秀平. 基于主動視覺的手眼矩陣和光平面標定方法［J］. 計算機工程與應用，2015，51（19）：56-60.

收稿日期：20221024