劉 瑤，趙 慧，伍世虔，陳 彬

（1.武漢科技大學(xué)機(jī)械自動(dòng)化學(xué)院，湖北 武漢 430081；2.武漢科技大學(xué)機(jī)器人與智能系統(tǒng)研究院，湖北 武漢 430081；3.武漢科技大學(xué)信息科學(xué)與工程學(xué)院，湖北 武漢 430081）

1 引言

Bin-picking系統(tǒng)的分揀功能在現(xiàn)代工業(yè)智能生產(chǎn)和制造等領(lǐng)域中發(fā)揮著重要的作用，如航空航天和汽車(chē)制造領(lǐng)域中的焊接與裝配，物流領(lǐng)域中的碼垛、分揀，工業(yè)2D、3D自動(dòng)化檢測(cè)等具體生產(chǎn)場(chǎng)景中有著廣泛的應(yīng)用前景。其中，利用視覺(jué)檢測(cè)對(duì)分揀目標(biāo)進(jìn)行分割在整個(gè)Bin-picking系統(tǒng)中發(fā)揮著基礎(chǔ)性作用，是“智能化”的一個(gè)重要體現(xiàn)。

目前分割算法大多基于圖像的顏色和紋理信息，這些信息獲取方式簡(jiǎn)便且廉價(jià)。文獻(xiàn)[1]針對(duì)含有不同紋理圖像提出基于連續(xù)紋理梯度信息的各向異性分割。文獻(xiàn)[2]提出一種基于FFT 的Hu矩的目標(biāo)形狀特征提取，利用特征形狀進(jìn)行目標(biāo)分割。文獻(xiàn)[3]使用形態(tài)學(xué)處理生成標(biāo)記圖，利用標(biāo)記圖輔助分水嶺。但Binpicking系統(tǒng)面對(duì)的目標(biāo)大多是缺乏表面紋理特征，形狀相似且無(wú)序堆疊，因此單獨(dú)利用圖像的顏色和紋理信息對(duì)目標(biāo)進(jìn)行分割，會(huì)導(dǎo)致分割范圍不準(zhǔn)確，出現(xiàn)欠分割現(xiàn)象。

隨著深度傳感器技術(shù)的成熟發(fā)展，越來(lái)越多的研究者利用場(chǎng)景的3D特征對(duì)興趣目標(biāo)進(jìn)行分割。深度傳感器采集的深度信息表示的是物體到相機(jī)的距離，其不受光照、背景遮擋等因素的影響，因此較于顏色紋理信息更加穩(wěn)定。文獻(xiàn)[4]以三維點(diǎn)云中視點(diǎn)特征直方圖作為特征，文獻(xiàn)[5]則是統(tǒng)計(jì)深度圖法向量差方作為特征，二者依據(jù)特征信息進(jìn)行目標(biāo)分割。但僅利用深度信息會(huì)受傳感器的影響有局部空洞，引發(fā)目標(biāo)缺失、過(guò)分割等問(wèn)題。

因此將目標(biāo)的顏色信息和深度信息相結(jié)合，是提高分割的準(zhǔn)確性的一個(gè)有效途徑。文獻(xiàn)[6]使用RGBD信息，計(jì)算顏色，3維坐標(biāo)，光流直方圖，使用直方圖差異構(gòu)建最小樹(shù)作為分層分割結(jié)果。文獻(xiàn)[7]利用深度梯度圖像、法向量梯度圖像和彩色梯度圖像的融合進(jìn)行標(biāo)記提取，最后使用標(biāo)記分水嶺分割。

文獻(xiàn)[8]提出使用3D圖神經(jīng)網(wǎng)絡(luò)（3DGNN）實(shí)現(xiàn)場(chǎng)景分割。這些方法存在執(zhí)行復(fù)雜，需要大量的特征計(jì)算，分割時(shí)間較長(zhǎng)的缺陷且不適應(yīng)工業(yè)場(chǎng)景。針對(duì)上述問(wèn)題，這里提出基于RGB-D無(wú)紋理工件分割方法，實(shí)驗(yàn)結(jié)果表明，對(duì)于無(wú)紋理工件的遮擋具有較強(qiáng)的魯棒性且運(yùn)行快速可滿足檢測(cè)的實(shí)時(shí)性要求。

2 RGB-D無(wú)紋理工件分割算法

2.1 算法描述

針對(duì)無(wú)紋理工件目標(biāo)分割這一問(wèn)題，提出首先利用邊緣圖像生成標(biāo)記圖輔助分水嶺，緩解因梯度圖偽極值點(diǎn)造成的分割不準(zhǔn)確問(wèn)題；而后，將深度信息與顏色信息相融合作為初始分割結(jié)果；最后，使用顏色域信息輔助初分割區(qū)域生長(zhǎng)法優(yōu)化分割結(jié)果。該法充分結(jié)合了顏色域分割的邊緣更加精準(zhǔn)，深度域分割目標(biāo)更加完整這一特點(diǎn)，將兩者進(jìn)行融合，有效抑制了顏色域中欠分割與深度域中過(guò)分割現(xiàn)象，獲得了更好得分割結(jié)果。這里所闡述的Bin-Picking中無(wú)紋理目標(biāo)的分割方法總體框架，如圖1所示。

圖1 算法流程圖Fig.1 Diagram of the Algorithm

2.2 基于邊緣的標(biāo)記提取

分水嶺算法在多數(shù)分割場(chǎng)景中具有較好的效果，但由于其對(duì)噪聲敏感，易出現(xiàn)分割區(qū)域不準(zhǔn)確。而使用標(biāo)記修改原始梯度圖可有效抑制這種現(xiàn)象。如何提取標(biāo)記圖像是分水嶺分割的重點(diǎn)，根據(jù)目標(biāo)表面紋理特性提出一種基于目標(biāo)邊緣圖提取標(biāo)記方法，并將其分別應(yīng)用于深度域和顏色域中。

在深度域，利用法向量信息計(jì)算邊緣信息。深度圖中的每個(gè)像素表示為其中x，y表示深度圖像中的像素點(diǎn)的坐標(biāo)，D(x，y) 為相應(yīng)像素坐標(biāo)位置的深度值。

深度圖中法向量，如圖2（a）中所示，N—物體表面p點(diǎn)（其坐標(biāo)為（x，y)）處的法向量梯度，圖2（b）中的θ，φ為法向量梯度θ與X，Z軸的夾角。法向量梯度N可通過(guò)向量的叉積表示為：

其中，點(diǎn)P處的法向量梯度N在Z軸方向的參數(shù)為1，為P點(diǎn)處在X軸和Y軸方向上的梯度。如圖2（b）中θ和φ角可由下述公式可得：

圖2 深度圖的法向量Fig.2 Normal Vector of the Depth

使用θ和φ可描述深度圖每個(gè)像素點(diǎn)的法向量梯度的方向。而在計(jì)算φ時(shí)，噪聲過(guò)大［9］，因此選擇θ作為深度域的邊緣。相應(yīng)地，在顏色域采用Canny邊緣檢測(cè)來(lái)計(jì)算邊緣信息，在此就不再贅述。通過(guò)分別對(duì)深度域D和RGB彩色域進(jìn)行處理獲得了關(guān)于同一拍攝場(chǎng)景的兩類(lèi)邊緣信息：深度域邊緣信息和顏色域邊緣信息。3D相機(jī)采集的深度圖和彩色圖，如圖3（a）、圖3（c）所示。上述計(jì)算的深度域邊緣圖，如圖3（b）所示。經(jīng)過(guò)canny算子檢測(cè)的顏色域邊緣圖，如圖3（d）所示。

圖3 邊緣圖Fig.3 Edges of the Image

工件物體表面紋理信息較弱，如圖3（a）、圖3（c）所示。邊緣提取后保留了目標(biāo)輪廓信息，如圖3（b）、圖3（d）所示。且有效抑制了其他噪聲因素的影響。因此提取的標(biāo)記不受其他偽極小值的干擾。對(duì)二者進(jìn)行形態(tài)學(xué)處理[3]提取前景與背景標(biāo)記，利用下式將前景與背景合并：

式中：MD、MRGB—深度域標(biāo)記圖，和顏色域標(biāo)記圖；fD、fRGB—深度域、顏色域前景標(biāo)記，bD、bRGB—深度域、顏色域背景標(biāo)記，效果，如圖4所示。

圖4 標(biāo)記圖Fig.4 Marks of the Image

2.3 RGB-D區(qū)域融合初分割

在式（4）、式（5）所示的標(biāo)記圖基礎(chǔ)上，采用極小值標(biāo)定技術(shù)[10]對(duì)顏色域和深度域梯度圖像進(jìn)行修正。使用極小值標(biāo)定技術(shù)利用標(biāo)記圖像MD、MRGB對(duì)原始顏色域梯度圖像GRGB和GD進(jìn)行修改（在此，梯度圖像G依據(jù)Sobel算子[11]計(jì)算），獲得修正后的顏色域和深度域的梯度圖像即：

其中，immin()—極小值標(biāo)定操作，減少分水嶺分割的區(qū)域。在修改后的彩色以及深度邊緣梯度圖使用分水嶺分割即可得到最終的分割結(jié)果SD和SRGB?；谶吘墭?biāo)記分水嶺在顏色域與深度域分割效果，如圖5（b）、圖5（c）所示。

在深度域的分割出大部分工件，分割邊界較為清晰，如圖5（c）所示。而與此同時(shí)，在顏色域中對(duì)無(wú)紋理目標(biāo)進(jìn)行上文所述的分割操作時(shí)，由于紋理信息的缺失極易造成目標(biāo)物體的欠分割，如圖5（b）所示。工件兩兩相接部分并沒(méi)有分割出來(lái)。

針對(duì)于上述問(wèn)題，在分別獲得顏色域及深度域分割結(jié)果的基礎(chǔ)上，利用式（8）將二者的分割結(jié)果相融合作為RGB-D初分割結(jié)果，即：

式中：SRGBD—RGB-D 的初分割結(jié)果；SRGB—顏色域的分割結(jié)果；SD—深度域分割結(jié)果；&—運(yùn)算，根據(jù)上式（8）分割效果，如圖5所示。

圖5 初分割結(jié)果Fig.5 Segmentations of the Result

通過(guò)上述方法融合后的RGB-D 初分割結(jié)果所示有效地融合了兩種分割結(jié)果，保留二者的分割邊緣。區(qū)域融合初分割結(jié)果，如圖5（d）所示。相對(duì)于基于顏色域分割改善了欠分割情況，如圖5（b）所示。

2.4 區(qū)域生長(zhǎng)優(yōu)化

初分割結(jié)果主要融合了深度分割的信息和部分顏色域分割信息。但是融合后的工件區(qū)域面積小于實(shí)際工件面積，雖然在顏色域中的標(biāo)記分水嶺分割結(jié)果存在欠分割，如圖5（d）所示。但是分割出來(lái)的工件邊界較為準(zhǔn)確。因此獲取RGB-D 初分割結(jié)果后，將顏色域分割范圍定義為生長(zhǎng)彈性范圍，使用彈性范圍與區(qū)域生長(zhǎng)法來(lái)調(diào)整分割后的目標(biāo)假設(shè)范圍，改善了初分割中過(guò)分割的現(xiàn)象，以提供更準(zhǔn)確的潛在目標(biāo)區(qū)域。

式中：p—一個(gè)像素點(diǎn)。具體生長(zhǎng)規(guī)則如下

（a）C為生長(zhǎng)法的種子區(qū)域，即初分割結(jié)果的輪廓；（b）將設(shè)為生長(zhǎng)停止邊界；（c）從種子區(qū)域C中選取一個(gè)種子Ci；（d）從彈性區(qū)域中Se找出與種子Ci的8領(lǐng)域連通點(diǎn)集合E；（e）將集合E中滿足條件|DEj-DCi|

根據(jù)上述步驟，生長(zhǎng)效果圖，如圖6所示。從圖6可知，相比較RGB-D初分割圖6（b），經(jīng)過(guò)RGB-D區(qū)域生長(zhǎng)優(yōu)化的圖6（c）更加接近真實(shí)目標(biāo)區(qū)域大小S.

圖6 區(qū)域生長(zhǎng)優(yōu)化結(jié)果Fig.6 Regions Growing

3 實(shí)驗(yàn)與分析

這里使用3D 相機(jī)Kinect2和vs2013搭建視覺(jué)檢測(cè)平臺(tái)，獲取RGB-D信息，并且對(duì)3D相機(jī)進(jìn)行畸變矯正和深度域、彩色域?qū)R。以直通管、三通管、彎管作為識(shí)別對(duì)象，將分割目標(biāo)隨意堆疊擺放在物料框中，如圖7所示。運(yùn)用RGB-D 無(wú)紋理工件分割算法分割雜亂堆疊的工件。

圖7 實(shí)驗(yàn)場(chǎng)景Fig.7 Experimental Platform

為驗(yàn)證文中算法的魯棒性，實(shí)驗(yàn)場(chǎng)景分為兩類(lèi)場(chǎng)景，一類(lèi)是工件平鋪擺放，另一類(lèi)是雜亂堆疊場(chǎng)景。為了對(duì)比驗(yàn)證文中區(qū)域融合初分割的有效性，將提出的分割方法與在RGB域分割方法[3]以及在RGBD域分割方法[6]進(jìn)行了比較。同時(shí)將這里生長(zhǎng)優(yōu)化前后的結(jié)果進(jìn)行對(duì)比，驗(yàn)證了算法優(yōu)化的有效性。

實(shí)驗(yàn)場(chǎng)景一是工件平鋪擺放在容器框內(nèi)，該場(chǎng)景的RGB圖，如圖8（a）所示。分割結(jié)果，如圖8（b）～圖8（e）所示。圖8（b）中有兩處彎管與直管相連的邊緣沒(méi)有被分割出來(lái)，圖8（c）中三個(gè)綠色工件區(qū)域、兩個(gè)紅色三通管以及兩個(gè)彎管相邊緣都沒(méi)有分割出來(lái)。圖8（d）為所提出的融合分割結(jié)果以及圖8（e）優(yōu)化后的結(jié)果，工件分割區(qū)域的數(shù)目明顯增加，其中可以看出圖8（e）的分割區(qū)域更加接近真實(shí)區(qū)域。因此提出的算法提高了分割的正確率，使得分割結(jié)果更加接近真實(shí)工件區(qū)域。

圖8 場(chǎng)景一對(duì)比實(shí)驗(yàn)分割結(jié)果Fig.8 Segmentation Results for Scene One Achieved by Different Algorithms

實(shí)驗(yàn)場(chǎng)景二是工件任意堆疊的。場(chǎng)景二的RGB 圖，如圖9（a）所示；分割結(jié)果，如圖9（b）～圖9（e）所示。從圖9（b）上層工件與下層工件基本都沒(méi)有被分割出來(lái)。圖9（c）紅色區(qū)域的工件與藍(lán)色區(qū)域工件也存在頂層與下層的工件沒(méi)有被分割出來(lái)，并且上層的三通管與直管之間也沒(méi)有分割出來(lái)。相比較圖9（d）和圖9（e）分割正確。從中可以看出，算法實(shí)現(xiàn)較好的分割效果，而且優(yōu)化后的分割結(jié)果圖9（e）更加接近工件的真實(shí)區(qū)域。

圖9 場(chǎng)景二對(duì)比實(shí)驗(yàn)分割結(jié)果Fig.9 Segmentation Results for Scene Two Achieved by Different Algorithms

從上述實(shí)驗(yàn)結(jié)果可以看出，這里方法與在顏色域分割相比，由于加入了深度信息，在工件緊鄰和工件堆疊時(shí)分割效果較好，對(duì)于復(fù)雜場(chǎng)景具有魯棒性。與在RGBD域分割方法二相比，這里分割數(shù)目錯(cuò)誤率較低，分割數(shù)目接近真實(shí)數(shù)目。此外在RGBD域分割是基于較為復(fù)雜點(diǎn)云的三個(gè)特征，算法復(fù)雜、運(yùn)算時(shí)間較長(zhǎng)。而本文算法步驟簡(jiǎn)單，復(fù)雜度較低。對(duì)于相同場(chǎng)景做處理，這里算法對(duì)一幅圖片分割只需要1min，而使用RGBD點(diǎn)云信息分割至少需要10min。

為了對(duì)驗(yàn)證這里提出優(yōu)化的有效性，針對(duì)優(yōu)化前后的分割結(jié)果與人工標(biāo)定結(jié)果進(jìn)行對(duì)比。計(jì)算分割范圍的準(zhǔn)確性則是采用IOU（并交比），計(jì)算假設(shè)框重疊率。重疊標(biāo)準(zhǔn)為每個(gè)人工選擇的工件目標(biāo)最大矩形框和分割結(jié)果的目標(biāo)假設(shè)框交集和并集之比，衡量?jī)蓚€(gè)邊界框的重疊相對(duì)大小，Ri為真實(shí)假設(shè)框的區(qū)域，Si為分割假設(shè)框的區(qū)域。i，j=1…n。公式如下表示：

由實(shí)驗(yàn)效果圖8、圖9及表1的正確率對(duì)比分析可知。優(yōu)化后的準(zhǔn)確率得到明顯提升。

表1 優(yōu)化前后正確率對(duì)比分析Tab.1 Analysis and Comparison Between the Original Algorithms and Optimized Algorithms

綜上所述，這里提出的算法與在顏色域和RGBD 域典型算法相比，優(yōu)化之后在分割效果上有所提高，且分割速度較快。在本文提出基于RGB-D無(wú)紋理工件分割算法下，達(dá)到了分割較為準(zhǔn)確且運(yùn)行速度快的效果，可滿足Bin-picking的實(shí)時(shí)性和魯棒性要求

4 結(jié)語(yǔ)

在Bin-picking的無(wú)紋理目標(biāo)的識(shí)別場(chǎng)景中，將顏色域和深度域相融合可分割出紋理信息較弱的潛在區(qū)域。針對(duì)無(wú)紋理的目標(biāo)輪廓信息的重要性，算法提取了深度域以及顏色域邊緣特征，使用邊緣特征生成二者標(biāo)記圖，依靠標(biāo)記圖輔助分水嶺分割，減少因工件表面?zhèn)螛O值點(diǎn)引起的小區(qū)域。然后將二者的分割區(qū)域相融合得到初分割結(jié)果，緩解基于顏色域的欠分割現(xiàn)象。最后利用顏色域分割區(qū)域?yàn)樯L(zhǎng)邊界限制初分割目標(biāo)區(qū)域生長(zhǎng)范圍，解決RGBD信息相融合引起的過(guò)分現(xiàn)象，優(yōu)化目標(biāo)潛在區(qū)域，提高分割區(qū)域的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，這里算法分割效果優(yōu)于在顏色域和RGBD域分割的典型算法，可在堆疊復(fù)雜場(chǎng)景中分割出完整的目標(biāo)區(qū)域，算法運(yùn)行速度較快，具有實(shí)時(shí)性和較強(qiáng)魯棒性。下一步的工作是利用分割目標(biāo)的潛在位置方法替代滑動(dòng)窗口實(shí)現(xiàn)對(duì)工件的識(shí)別和位姿估計(jì)，以此保持識(shí)別模塊的準(zhǔn)確性基礎(chǔ)上提高運(yùn)算效率。