陳伯云，陸安江，趙麒，黃際瑋，彭熙舜

激光點(diǎn)云中散亂電子元器件分割方法

陳伯云1，陸安江1，趙麒2，黃際瑋1，彭熙舜1

（1.貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽(yáng) 550025；2.貴州民族大學(xué) 機(jī)械電子工程學(xué)院，貴陽(yáng) 550025）

針對(duì)散亂電子元器件計(jì)數(shù)過(guò)程中電子元器件分割困難的問(wèn)題，提出一種基于點(diǎn)云簇平均法線夾角、平均點(diǎn)云密度邊緣提取和區(qū)域生長(zhǎng)閾值自適應(yīng)的散亂電子元器件分割方法。通過(guò)體素化處理、RANSAC算法和統(tǒng)計(jì)離群濾波算法對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理，去除大量無(wú)關(guān)點(diǎn)云；使用歐式聚類算法對(duì)預(yù)處理結(jié)果粗分割得到電子元器件點(diǎn)云簇，以點(diǎn)云簇為閾值設(shè)置單元，避免閾值設(shè)置不合理的情況；通常邊緣點(diǎn)較非邊緣點(diǎn)法線夾角更大、鄰域點(diǎn)更少，提出通過(guò)點(diǎn)云簇平均法線夾角和平均點(diǎn)云密度自適應(yīng)約束來(lái)去除點(diǎn)云簇中邊緣點(diǎn)的方法；對(duì)去邊緣點(diǎn)后的點(diǎn)云簇細(xì)分割，根據(jù)細(xì)分割后點(diǎn)云簇的平均法線夾角進(jìn)行區(qū)域生長(zhǎng)閾值的自適應(yīng)選擇，通過(guò)改進(jìn)的區(qū)域生長(zhǎng)算法將每個(gè)電子元器件從點(diǎn)云簇中分割出來(lái)。實(shí)驗(yàn)結(jié)果證明，文中方法分割正確率達(dá)97%以上，每10個(gè)目標(biāo)分割耗時(shí)約345 ms。提出的方法具有良好的準(zhǔn)確性和實(shí)用性，分割效果優(yōu)于傳統(tǒng)分割算法，能夠準(zhǔn)確地將每個(gè)電子元器件從復(fù)雜場(chǎng)景中分割出來(lái)。

點(diǎn)云分割；數(shù)量檢測(cè)；邊緣提??；散亂電子元器件；區(qū)域生長(zhǎng)

在工業(yè)自動(dòng)化包裝過(guò)程中，經(jīng)常需要對(duì)電子元器件進(jìn)行計(jì)數(shù)，以確保銷(xiāo)售產(chǎn)品數(shù)量的一致性。如采用人工計(jì)數(shù)方式[1]，不僅任務(wù)繁雜、工作效率低，還可能出現(xiàn)人為主觀因素造成的計(jì)數(shù)偏差。使用稱量的方法雖然節(jié)省人力，但在計(jì)數(shù)準(zhǔn)確性上會(huì)有所欠缺。使用三維掃描設(shè)備獲取散亂電子元器件點(diǎn)云實(shí)現(xiàn)散亂電子元器件的數(shù)量檢測(cè)具有無(wú)接觸、快速高效、準(zhǔn)確率高等特點(diǎn)。由于散亂電子元器件分布的隨機(jī)性，以及相互之間的重疊、密接觸等因素的影響，將單個(gè)電子元器件從復(fù)雜場(chǎng)景中分割出來(lái)并不容易。分割的結(jié)果將直接影響電子元器件數(shù)量檢測(cè)的準(zhǔn)確性。所以，對(duì)散亂電子元器件點(diǎn)云的準(zhǔn)確分割是實(shí)現(xiàn)散亂電子元器件數(shù)量檢測(cè)的重要基礎(chǔ)。

目前，針對(duì)電子元器件計(jì)數(shù)的研究主要使用二維圖像。二維視覺(jué)通常難以提取有效信息，存在識(shí)別困難的問(wèn)題[2]，只能應(yīng)對(duì)電子元器件分布離散且無(wú)相互遮擋的簡(jiǎn)單場(chǎng)景。例如，陳孝威等[3]根據(jù)微小電子元器件的形狀和正反兩面的紋理特征對(duì)圖像中電子元器件的正面和反面分別處理最終獲得分割結(jié)果，計(jì)數(shù)準(zhǔn)確率達(dá)到了100%。這種方法雖然計(jì)數(shù)精度高，但無(wú)法應(yīng)對(duì)電子元器件出現(xiàn)散亂堆疊的復(fù)雜場(chǎng)景，且受光照環(huán)境影響較大。黃梓淳[4]將圖像處理的計(jì)數(shù)算法與深度學(xué)習(xí)結(jié)合，采用改進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的區(qū)域定位（Faster R-CNN）網(wǎng)絡(luò)模型[5]算法提高了檢測(cè)的速度和精度，計(jì)數(shù)準(zhǔn)確率達(dá)到了98.3%，但同樣不適用于電子元器件出現(xiàn)散亂堆疊的復(fù)雜場(chǎng)景且不具有實(shí)時(shí)性。近年來(lái)，隨著三維數(shù)據(jù)獲取精度的提高和成本的降低，點(diǎn)云數(shù)據(jù)處理成為了研究熱點(diǎn)[6-7]。采用三維激光掃描技術(shù)采集點(diǎn)云數(shù)據(jù)具有高速度、高精度、可量測(cè)等優(yōu)點(diǎn)[8]。點(diǎn)云分割是點(diǎn)云數(shù)據(jù)處理的重要環(huán)節(jié)[9]，目前常用的分割方法包括聚類分割、基于模型的分割、基于邊緣的分割以及區(qū)域生長(zhǎng)分割[10]，但這些傳統(tǒng)的分割算法都無(wú)法直接應(yīng)用于散亂電子元器件這一復(fù)雜場(chǎng)景。

針對(duì)散亂電子元器件這一復(fù)雜場(chǎng)景分割困難的問(wèn)題，文中提出基于點(diǎn)云簇平均法線夾角、平均點(diǎn)云密度邊緣提取和區(qū)域生長(zhǎng)閾值自適應(yīng)的散亂電子元器件分割方法。該方法以點(diǎn)云簇為重點(diǎn)處理對(duì)象，有效地解決分割過(guò)程中因閾值選擇不合理而造成的過(guò)分割和欠分割現(xiàn)象[11-12]，極大地提高分割的準(zhǔn)確率，為工業(yè)自動(dòng)化包裝中實(shí)現(xiàn)散亂電子元器件自動(dòng)計(jì)數(shù)提供技術(shù)支持。

1 散亂電子元器件分割算法

文中提出的散亂電子元器件分割算法主要包括點(diǎn)云數(shù)據(jù)預(yù)處理和點(diǎn)云數(shù)據(jù)分割2部分，具體算法流程見(jiàn)圖1。

1.1 點(diǎn)云預(yù)處理

點(diǎn)云數(shù)據(jù)通常是使用線陣激光掃描[13]，獲取的點(diǎn)云數(shù)據(jù)過(guò)于稠密，同時(shí)由于外界環(huán)境和相機(jī)自身等因素的影響，在獲取的點(diǎn)云數(shù)據(jù)中存在大量離群點(diǎn)和冗余點(diǎn)。點(diǎn)云的數(shù)據(jù)量過(guò)大會(huì)導(dǎo)致后續(xù)分割和計(jì)算過(guò)程中耗費(fèi)大量時(shí)間。離群點(diǎn)指遠(yuǎn)離目標(biāo)點(diǎn)，主要來(lái)自數(shù)據(jù)采集過(guò)程中深度相機(jī)和環(huán)境干擾產(chǎn)生的噪聲和未完全去除的冗余點(diǎn)。離群點(diǎn)的存在會(huì)對(duì)分割結(jié)果造成影響。冗余點(diǎn)則往往來(lái)自載物臺(tái)背景，同樣會(huì)造成數(shù)據(jù)量過(guò)大從而耗費(fèi)計(jì)算時(shí)間。針對(duì)上述問(wèn)題，需要對(duì)從深度相機(jī)獲得的點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理步驟如下。

1）點(diǎn)云數(shù)據(jù)體素化處理。將輸入的點(diǎn)云數(shù)據(jù)劃分為微小立方體的集合，使用每個(gè)立方體內(nèi)點(diǎn)的重心代替立方體內(nèi)所有點(diǎn)，從而在保證原有形狀不變的情況下降低整個(gè)點(diǎn)云的數(shù)據(jù)量。

2）使用隨機(jī)采樣一致性（RANSAC）算法[14]對(duì)輸入數(shù)據(jù)進(jìn)行平面擬合，將擬合出的載物臺(tái)平面內(nèi)點(diǎn)去除。算法的基本思想：從樣本集中隨機(jī)選取3點(diǎn)，使用這3點(diǎn)進(jìn)行平面擬合，計(jì)算所有點(diǎn)到該平面模型的距離，將小于距離閾值的點(diǎn)加入內(nèi)點(diǎn)集合，否則加入外點(diǎn)集合。將步驟1—2進(jìn)行次迭代，迭代次數(shù)中內(nèi)點(diǎn)最多的擬合平面即為載物臺(tái)平面。

3）去除離群點(diǎn)。使用統(tǒng)計(jì)濾波器對(duì)非感興趣點(diǎn)進(jìn)行剔除?；舅枷耄航o定鄰域半徑，點(diǎn)距其半徑內(nèi)所有鄰域點(diǎn)的平均距離呈高斯分布，如果該平均距離在標(biāo)準(zhǔn)范圍（由全局平均距離和方差定義）之外，則被定義為離群點(diǎn)移除。

為驗(yàn)證預(yù)處理的有效性，以圖2a所示散亂電子元器件點(diǎn)云數(shù)據(jù)Data1為例進(jìn)行實(shí)驗(yàn)，Data1點(diǎn)數(shù)為1 297 820，包含16個(gè)電子元器件點(diǎn)云數(shù)據(jù)。Data1預(yù)處理各階段見(jiàn)圖2，各階段點(diǎn)數(shù)變化見(jiàn)表1。

表1 Data1預(yù)處理各階段點(diǎn)數(shù)變化情況

1.2 點(diǎn)云簇邊緣提取

根據(jù)散亂電子元器件點(diǎn)云特征進(jìn)行分析，分割的難點(diǎn)主要在于分布的隨機(jī)性、相互之間的重疊和密接觸。對(duì)邊緣進(jìn)行提取可減少電子元器件相互之間的碰撞，同時(shí)降低后續(xù)區(qū)域生長(zhǎng)過(guò)分割的可能。文中使用歐式聚類算法對(duì)預(yù)處理后的點(diǎn)云數(shù)據(jù)進(jìn)行粗分割，將空間上相鄰的電子元器件點(diǎn)云分割為點(diǎn)云簇，將每個(gè)點(diǎn)云簇與基準(zhǔn)向量的平均夾角、點(diǎn)云簇的鄰域點(diǎn)密度作為約束條件進(jìn)行邊緣提取，以Data1為實(shí)驗(yàn)對(duì)象，Data1部分點(diǎn)云簇邊緣提取結(jié)果見(jiàn)圖3。

圖2 Data1預(yù)處理各階段結(jié)果

圖3 Data1部分點(diǎn)云簇邊緣提取結(jié)果圖

1.2.1 歐式聚類獲取點(diǎn)云簇

使用歐式聚類算法將原始場(chǎng)景點(diǎn)云數(shù)據(jù)分割為由1個(gè)或多個(gè)電子元器件構(gòu)成的點(diǎn)云簇。歐式聚類算法是一種基于歐式距離度量的分割算法，它使用Kdtree建立點(diǎn)的拓?fù)潢P(guān)系，通過(guò)計(jì)算點(diǎn)與其鄰域點(diǎn)的歐式距離，將在閾值范圍內(nèi)的點(diǎn)分割為一類，反復(fù)迭代直到?jīng)]有新的點(diǎn)加入。點(diǎn)與其鄰域中的一點(diǎn)的歐式距離為：

(1)

1.2.2 基于點(diǎn)云簇平均法線夾角和平均點(diǎn)云密度的邊緣提取

由于相機(jī)視場(chǎng)和外界環(huán)境等因素的影響，電子元器件表面的點(diǎn)云分布通常不是均勻的，因此文中提出以點(diǎn)云簇為約束條件設(shè)置單元，以提高邊緣提取的準(zhǔn)確率。具體步驟如下。

1）法線向量估計(jì)。使用PCA（主成分分析法）[15-16]計(jì)算每個(gè)點(diǎn)的法線向量，對(duì)于任意一點(diǎn)，以為半徑搜索其鄰近點(diǎn)，得到鄰近點(diǎn)數(shù)量為，使用最小二乘法對(duì)鄰域內(nèi)的點(diǎn)進(jìn)行平面擬合，見(jiàn)式（2）。

(2)

(3)

(4)

點(diǎn)云簇的法線夾角均值為：

(5)

(6)

統(tǒng)計(jì)實(shí)驗(yàn)數(shù)據(jù)Data1不同點(diǎn)云簇的平均法線夾角和=1 mm鄰域內(nèi)平均點(diǎn)密度見(jiàn)表2。

3）自適應(yīng)閾值邊緣提取。對(duì)任一點(diǎn)云簇，其平均法線夾角為，平均點(diǎn)密度為，根據(jù)多次實(shí)驗(yàn)統(tǒng)計(jì)分析，提取邊緣閾值法線夾角約束，鄰域內(nèi)點(diǎn)密度約束時(shí)邊緣提取效果最好。對(duì)于點(diǎn)云簇中任一點(diǎn)，基準(zhǔn)向量與該點(diǎn)法線的夾角為，在鄰域內(nèi)該點(diǎn)鄰近點(diǎn)數(shù)為，則該點(diǎn)被定義為邊緣點(diǎn)被去除的約束條件為：

(7)

表2 Data1點(diǎn)云簇平均法線夾角和平均點(diǎn)云密度

Tab.2 Average normal angle and average point cloud density of Data1 point cloud cluster

1.3 區(qū)域生長(zhǎng)閾值自適應(yīng)分割

區(qū)域生長(zhǎng)算法[17-18]是通過(guò)比較法向量，將符合平滑約束條件的鄰近點(diǎn)分割在一起，其基本原理是將點(diǎn)的曲率值進(jìn)行排序，選取曲率值最小的點(diǎn)作為種子點(diǎn)開(kāi)始生長(zhǎng)，曲率最小的點(diǎn)所在的區(qū)域稱為平坦區(qū)域，從此處開(kāi)始分割能夠降低重復(fù)分割率，提高效率。傳統(tǒng)的區(qū)域生長(zhǎng)算法由于適用性的不同，生長(zhǎng)閾值的設(shè)置比較困難且容易出現(xiàn)過(guò)分割和欠分割的現(xiàn)象，無(wú)法應(yīng)對(duì)散亂電子元器件這樣復(fù)雜場(chǎng)景的分割，因此，文中基于點(diǎn)云簇的平均法線夾角來(lái)進(jìn)行區(qū)域生長(zhǎng)閾值的自適應(yīng)選擇，有效地提高了分割的準(zhǔn)確率。具體過(guò)程為如下。

2）遍歷點(diǎn)云簇，計(jì)算所有點(diǎn)的曲率并將曲率值按大小排序，選取曲率最小的點(diǎn)開(kāi)始生長(zhǎng)。

3）統(tǒng)計(jì)分割結(jié)束后剩余點(diǎn)云的點(diǎn)數(shù)，如果剩余點(diǎn)數(shù)大于輸入點(diǎn)云簇點(diǎn)數(shù)的30%則將剩余點(diǎn)云再次輸入重復(fù)上述步驟1、2、3，直到分割剩余點(diǎn)云點(diǎn)數(shù)不再大于第1次輸入點(diǎn)云簇點(diǎn)數(shù)的30%。

統(tǒng)計(jì)不同點(diǎn)云簇平均法線夾角區(qū)間對(duì)應(yīng)的平滑度約束閾值見(jiàn)表3。

表3 平滑度約束閾值對(duì)應(yīng)表

Tab.3 Correspondence table of smoothness constraint threshold

2 實(shí)驗(yàn)結(jié)果與分析

文中使用的電子元器件為6.0 mm×8.0 mm×4.0 mm的貼片鉭電容。實(shí)驗(yàn)數(shù)據(jù)采用VS–PCA–P600 3D深度相機(jī)獲取，該相機(jī)使用近紅外激光光源，軸重復(fù)精度為0.1～0.5 mm，滿足文中對(duì)電子元器件點(diǎn)云數(shù)據(jù)采集的需求，搭建的實(shí)驗(yàn)數(shù)據(jù)采集平臺(tái)見(jiàn)圖4。實(shí)驗(yàn)使用的軟硬件環(huán)境：Windows10專業(yè)版、Intel(R) Core(TM) i5–6200U CPU@2.30 GHz 2.40 Hz、8 GB內(nèi)存。算法開(kāi)發(fā)環(huán)境為：Microsoft Visual Studio 2017結(jié)合pcl1.8.1點(diǎn)云庫(kù)。

圖4 實(shí)驗(yàn)數(shù)據(jù)采集平臺(tái)

為驗(yàn)證文中分割方法的可行性，以Data1作為原始數(shù)據(jù)輸入，按照文中算法流程進(jìn)行分割。實(shí)驗(yàn)中體素柵格大小size設(shè)置為0.3，RANSAC算法中平面模型內(nèi)點(diǎn)和外點(diǎn)閾值t設(shè)置為2.2 mm，統(tǒng)計(jì)濾波器標(biāo)準(zhǔn)差設(shè)置為1.0，歐式聚類算法中歐式距離閾值t為0.5 mm，最小點(diǎn)云簇點(diǎn)數(shù)大于150，用于法線估計(jì)的點(diǎn)的鄰域點(diǎn)數(shù)目為50，鄰域半徑設(shè)置為1.0 mm。

Data1分割結(jié)果見(jiàn)圖5。同一點(diǎn)云簇中每個(gè)區(qū)域生長(zhǎng)分割結(jié)果用不同顏色表示，可以看出，每個(gè)分割聚類均僅包含一個(gè)電子元器件，沒(méi)有出現(xiàn)過(guò)分割和欠分割的現(xiàn)象。統(tǒng)計(jì)實(shí)驗(yàn)相關(guān)數(shù)據(jù)見(jiàn)表4。

為進(jìn)一步驗(yàn)證文中分割方法的有效性，以3組不同散亂分布、不同數(shù)量的電子元器件點(diǎn)云數(shù)據(jù)為例進(jìn)行實(shí)驗(yàn)，并使用傳統(tǒng)歐式聚類算法和區(qū)域生長(zhǎng)算法對(duì)同樣的預(yù)處理結(jié)果進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)相關(guān)數(shù)據(jù)和統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果見(jiàn)表5。表5中分別記錄了3組數(shù)據(jù)使用文中算法和其他2種用于對(duì)比的算法的分割結(jié)果，其中A為文中算法，B為傳統(tǒng)歐式聚類算法，C為傳統(tǒng)區(qū)域生長(zhǎng)算法。分割聚類數(shù)為不同算法從點(diǎn)云數(shù)據(jù)中最終分割出的聚類個(gè)數(shù)，正確分割數(shù)量統(tǒng)計(jì)了分割算法分割出的聚類中確為單個(gè)電子元器件點(diǎn)云的聚類數(shù)量，即正確分割出目標(biāo)的數(shù)量。為了便于進(jìn)行算法性能分析，表5中還統(tǒng)計(jì)了文中算法和對(duì)比算法分割的正確率和分割耗時(shí)。

圖5 Data1分割結(jié)果

表4 Data1實(shí)驗(yàn)結(jié)果

Tab.4 Experimental results of Data1

表5 多組數(shù)據(jù)實(shí)驗(yàn)結(jié)果

Tab.5 Experimental results of multiple data sets

文中算法和對(duì)比算法對(duì)實(shí)驗(yàn)數(shù)據(jù)Test1、Test2和Test3的分割結(jié)果見(jiàn)圖6，不同顏色代表一個(gè)分割聚類，相鄰電子元器件構(gòu)成的點(diǎn)云簇中出現(xiàn)同色聚類則說(shuō)明該點(diǎn)云簇分割不完整，出現(xiàn)欠分割現(xiàn)象；單一電子元器件點(diǎn)云中出現(xiàn)2個(gè)及以上顏色則說(shuō)明該點(diǎn)云簇出現(xiàn)過(guò)分割現(xiàn)象。

從圖6—8可以看出，文中算法基本能夠準(zhǔn)確地將每個(gè)電子元器件從復(fù)雜場(chǎng)景中分割出來(lái)，分割準(zhǔn)確性遠(yuǎn)遠(yuǎn)高于傳統(tǒng)分割算法。由于傳統(tǒng)的歐式聚類分割算法是基于歐式距離進(jìn)行分割的，對(duì)相互重疊、粘連的電子元器件容易出現(xiàn)欠分割的現(xiàn)象，而傳統(tǒng)的區(qū)域生長(zhǎng)算法受限于生長(zhǎng)閾值，不能自動(dòng)調(diào)節(jié)，既有過(guò)分割又有欠分割現(xiàn)象，因此對(duì)這樣復(fù)雜的場(chǎng)景分割效果極差。對(duì)比提到的傳統(tǒng)算法，文中算法具有分割準(zhǔn)確率高、閾值自適應(yīng)選擇、不易出現(xiàn)過(guò)分割和欠分割等優(yōu)勢(shì)。從表6可以發(fā)現(xiàn)，文中分割算法分割正確率達(dá)97%以上，平均正確率較傳統(tǒng)歐式聚類算法提高了47.5%，較傳統(tǒng)區(qū)域生長(zhǎng)算法提高了19.1%。雖然耗時(shí)方面有所增加，但對(duì)實(shí)驗(yàn)中這樣量級(jí)數(shù)據(jù)的分割，平均耗時(shí)也僅需1.104 s，平均每10個(gè)目標(biāo)分割耗時(shí)約345 ms，具有良好的實(shí)用性。

圖6 實(shí)驗(yàn)數(shù)據(jù)Test1 3種算法分割結(jié)果

圖7 實(shí)驗(yàn)數(shù)據(jù)Test2 3種算法分割結(jié)果

圖8 實(shí)驗(yàn)數(shù)據(jù)Test3 3種算法分割結(jié)果

3 結(jié)語(yǔ)

為滿足工業(yè)自動(dòng)化包裝過(guò)程中散亂電子元器件計(jì)數(shù)需求，提出一種散亂電子元器件分割新方法，通過(guò)基于點(diǎn)云簇平均法線夾角和平均點(diǎn)云密度的邊緣提取有效減少了電子元器件間相互重疊、密接觸等情況，提高了分割的準(zhǔn)確率?；邳c(diǎn)云簇的平均法線夾角來(lái)進(jìn)行區(qū)域生長(zhǎng)閾值的自適應(yīng)選擇，有效減少了由于閾值設(shè)置不合理而導(dǎo)致的過(guò)分割和欠分割現(xiàn)象。實(shí)驗(yàn)證明，文中提出的散亂電子元器件分割算法分割正確率達(dá)97%以上，相較于傳統(tǒng)的歐式聚類算法和區(qū)域生長(zhǎng)算法在分割正確率上有很大提升，解決了散亂電子元器件這樣復(fù)雜場(chǎng)景分割困難的問(wèn)題，為實(shí)現(xiàn)散亂電子元器件計(jì)數(shù)提供了技術(shù)支持。同時(shí)，每10個(gè)目標(biāo)的分割耗時(shí)僅需約345 ms，兼顧了分割的準(zhǔn)確性和實(shí)用性。然而，文中算法目前分割的對(duì)象比較單一，適用于規(guī)則形狀的電子元器件，對(duì)于不規(guī)則形狀的電子元器件尚不具有可行性，如何實(shí)現(xiàn)多類型元器件的分割將是下一步的研究重點(diǎn)。

[1] 方志強(qiáng), 肖書(shū)浩, 熊禾根, 等. 基于機(jī)器視覺(jué)及SVM的零件產(chǎn)品計(jì)數(shù)系統(tǒng)[J]. 制造業(yè)自動(dòng)化, 2018, 40(7): 37-40.

FANG Zhi-qiang, XIAO Shu-hao, XIONG He-gen, et al. Part Product Counting System Based on Machine Vision and SVM[J]. Manufacturing Automation, 2018, 40(7): 37-40.

[2] 梁雪. 基于三維視覺(jué)的散亂零件抓取技術(shù)研究[D]. 濟(jì)南: 山東大學(xué), 2020: 1-5.

LIANG Xue. Research on the Robotic Grabbing Technology of Scattered Parts Based on 3D Vision[D]. Jinan: Shandong University, 2020: 1-5.

[3] 陳孝威, 王茵. 基于圖像處理的微小電子元器件自動(dòng)計(jì)數(shù)算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2009, 30(17): 4100-4103.

CHEN Xiao-wei, WANG Yin. Algorithm for Automatic Counting Tiny Electronic Device Based on Digital Image Processing[J]. Computer Engineering and Design, 2009, 30(17): 4100-4103.

[4] 黃梓淳. 深度學(xué)習(xí)在電子元器件計(jì)數(shù)中的應(yīng)用研究[D]. 廣州: 華南理工大學(xué), 2017: 36-42.

HUANG Zi-chun. Research on Deep Learning and Its Application on the Electronic Components Counting[D]. Guangzhou: South China University of Technology, 2017: 36-42.

[5] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[6] 李明磊, 宗文鵬, 李廣云, 等. 基于體素生長(zhǎng)的點(diǎn)云結(jié)構(gòu)直線段提取[J]. 光學(xué)學(xué)報(bào), 2018, 38(1): 0112001.

LI Ming-lei, ZONG Wen-peng, LI Guang-yun, et al. Extraction of Structure Line Segments from Point Clouds Using Voxel-Based Region Growing[J]. Acta Optica Sinica, 2018, 38(1): 0112001.

[7] PU Shi, VOSSELMAN G. Knowledge Based Reconstruction of Building Models from Terrestrial Laser Scanning Data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2009, 64(6): 575-584.

[8] 趙夢(mèng)娜, 花向紅, 馮紹權(quán), 等. 基于點(diǎn)云切片的建筑物門(mén)窗信息提取[J]. 中國(guó)激光, 2020, 47(6): 183-192.

ZHAO Meng-na, HUA Xiang-hong, FENG Shao-quan, et al. Information Extraction of Buildings, Doors, and Windows Based on Point Cloud Slices[J]. Chinese Journal of Lasers, 2020, 47(6): 183-192.

[9] 汪文琪, 李宗春, 付永健, 等. 基于改進(jìn)多規(guī)則區(qū)域生長(zhǎng)的點(diǎn)云多要素分割[J]. 光學(xué)學(xué)報(bào), 2021, 41(5): 198-212.

WANG Wen-qi, LI Zong-chun, FU Yong-jian, et al. Multi-Factor Segmentation of Point Cloud Based on Improved Multi-Rule Region Growing[J]. Acta Optica Sinica, 2021, 41(5): 198-212.

[10] 田青華, 白瑞林, 李杜. 基于改進(jìn)歐氏聚類的散亂工件點(diǎn)云分割[J]. 激光與光電子學(xué)進(jìn)展, 2017, 54(12): 316-324.

TIAN Qing-hua, BAI Rui-lin, LI Du. Point Cloud Segmentation of Scattered Workpieces Based on Improved Euclidean Clustering[J]. Laser & Optoelectronics Progress, 2017, 54(12): 316-324.

[11] BEN-SHABAT Y, AVRAHAM T, LINDENBAUM M, et al. Graph Based Over-Segmentation Methods for 3D Point Clouds[J]. Computer Vision and Image Understanding, 2018, 174: 12-23.

[12] XU Sheng, WANG Rui-sheng, WANG Hao, et al. Plane Segmentation Based on the Optimal-Vector-Field in LiDAR Point Clouds[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(11): 1-9.

[13] 熊駿偉, 劉全香. 基于物體表面變化的點(diǎn)云自適應(yīng)切片算法[J]. 包裝工程, 2016, 37(5): 167-171.

XIONG Jun-wei, LIU Quan-xiang. Adaptive Cloud Point Slicing Algorithm Based on Change of Object Surface[J]. Packaging Engineering, 2016, 37(5): 167-171.

[14] SCHNABEL R, WAHL R, KLEIN R. Efficient RANSAC for Point-Cloud Shape Detection[J]. Computer Graphics Forum, 2007, 26(2): 214-226.

[15] NURUNNABI A, WEST G, BELTON D. Outlier Detection and Robust Normal-Curvature Estimation in Mobile Laser Scanning 3D Point Cloud Data[J]. Pattern Recognition, 2015, 48(4): 1404-1419.

[16] QIN Xu-jia, HU Zhong-tian, ZHENG Hong-bo, et al. Surface Reconstruction from Unorganized Point Clouds Based on Edge Growing[J]. Advances in Manufacturing, 2019, 7(3): 343-352.

[17] VO A V, TRUONG-HONG L, LAEFER D F, et al. Octree-Based Region Growing for Point Cloud Segmentation[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 104: 88-100.

[18] ANGELINA S, SURESH L P, VENI S H K. Image Segmentation Based on Genetic Algorithm for Region Growth and Region Merging[C]// 2012 International Conference on Computing, Electronics and Electrical Technologies(ICCEET), 2012: 970-974.

Segmentation Method of Scattered Electronic Components in Laser Point Cloud

CHEN Bo-yun1, LU An-jiang1, ZHAO Qi2, HUANG Ji-wei1, PENG Xi-shun1

(1. School of Big Data and Information Engineering,Guizhou University, Guiyang 550025, China; 2. School of Mechatronics Engineering,Guizhou Minzu University, Guiyang 550025, China)

The work aims to propose a segmentation method of scattered electronic components based on edge extraction and adaptive region growth threshold of average normal angle and average point cloud density of point cloud cluster, so as to overcome the difficulty of dividing electronic components in counting of scattered electronic components. The original point cloud data were preprocessed by voxel processing, RANSAC algorithm and statistical outlier filtering algorithm to remove a large number of irrelevant point clouds. The European clustering algorithm was used to roughly segment the preprocessing results to obtain the point cloud cluster of electronic components. The point cloud cluster was used as the threshold setting unit to avoid the unreasonable threshold setting. In general, edge points had larger normal angle and fewer neighborhood points than non-edge points. A method was proposed to remove the edge points in point cloud cluster by adaptive constraints of average normal angle and average point cloud density. Finally, the point cloud cluster with the edge points removed was finely segmented, and the region growth threshold was adaptively selected according to the average normal angle of the point cloud cluster after fine segmentation. Thus, each electronic component was segmented from the point cloud cluster through the improved region growth algorithm. Experimental results proved that the segmentation accuracy of the method was over 97%, and it took about 345 ms to segment 10 targets. The proposed method has good accuracy and practicability, and has better segmentation effect than the traditional segmentation algorithm, which can accurately segment each electronic component from the complex scene.

point cloud segmentation; quantity detection; edge extraction; scattered electronic components; region growth

TP391.41

A

1001-3563(2022)13-0216-09

10.19554/j.cnki.1001-3563.2022.13.028

2021?10?16

國(guó)家自然科學(xué)基金（62065002，61865002）

陳伯云（1998—），男，貴州大學(xué)碩士生，主攻計(jì)算機(jī)視覺(jué)。

陸安江（1976—），男，博士，貴州大學(xué)副教授，主要研究方向?yàn)閳D像處理與分析、MEMS微機(jī)電系統(tǒng)。

責(zé)任編輯：曾鈺嬋