陶 雄 吳 磊 黎 濤 曾曙光 葉劍飛

（三峽大學(xué) 理學(xué)院，湖北 宜昌 443002）

傳送帶隨著工業(yè)自動(dòng)化的普及已經(jīng)成為現(xiàn)代工業(yè)不可或缺的工具.傳送帶上的物品種類(lèi)繁多，小到易拉罐，大到汽車(chē).傳送帶本身也可分為多種，例如帶式輸送機(jī)、板式輸送機(jī)、小車(chē)式輸送機(jī)等.實(shí)際生產(chǎn)中，為了實(shí)現(xiàn)自動(dòng)化生產(chǎn)或質(zhì)量檢測(cè)，需要對(duì)傳送帶上產(chǎn)品的位置進(jìn)行實(shí)時(shí)監(jiān)測(cè).目前，對(duì)于傳送帶上產(chǎn)品識(shí)別與定位大多還是依靠人工的方式.這種方式速度慢、準(zhǔn)確度低，不能有效地滿足現(xiàn)代工業(yè)中自動(dòng)化生產(chǎn)、檢測(cè)的需求.

傳統(tǒng)上，對(duì)于物體的識(shí)別與定位廣泛采用的是雙目視覺(jué)技術(shù)［1－2］.由于傳送帶是一個(gè)理想的平面，可以采用單目視覺(jué)技術(shù)來(lái)實(shí)現(xiàn)產(chǎn)品的識(shí)別與定位.相比雙目視覺(jué)，單目視覺(jué)具有器材簡(jiǎn)單、操作方便、實(shí)用性廣等優(yōu)點(diǎn).國(guó)內(nèi)相關(guān)領(lǐng)域的學(xué)者們利用單目視覺(jué)技術(shù)在平面測(cè)量［3］、快速平面標(biāo)定［4］、道路圖像識(shí)別［5－6］、藥粒分類(lèi)［7］等方面開(kāi)展了研究.

本文主要利用單目視覺(jué)及數(shù)字圖像處理技術(shù)完成傳送帶上產(chǎn)品的定位.實(shí)驗(yàn)通過(guò)拍攝傳送帶圖片，對(duì)圖片進(jìn)行處理得到傳送帶上物體距相機(jī)的準(zhǔn)確距離達(dá)到定位的目的.依據(jù)傳送帶上物品需要的準(zhǔn)確定位區(qū)域，預(yù)先設(shè)置取框過(guò)程中框的大小，批量處理傳送帶上的圖片.此方法簡(jiǎn)單易行、準(zhǔn)確性高，在節(jié)約成本的同時(shí)還可以推廣到道路上車(chē)輛的定位、機(jī)器人定位系統(tǒng)等方面.

1 傳送帶上產(chǎn)品定位原理

1.1 坐標(biāo)系的建立

圖1給出了世界坐標(biāo)系示意圖.世界坐標(biāo)系oxyz：選取傳送帶所在平面為平面oxy，z軸垂直于oxy平面豎直向上.x垂直于傳送帶運(yùn)動(dòng)方向，y平行于傳送帶運(yùn)動(dòng)方向.Oc為攝像機(jī)在傳送帶上的投影點(diǎn).Oc到o點(diǎn)在y軸方向的距離為y0.

圖1 世界坐標(biāo)系示意圖

圖2給出了攝像機(jī)坐標(biāo)系示意圖.攝像機(jī)坐標(biāo)系：以攝像機(jī)的光軸中心點(diǎn)Om為坐標(biāo)系原點(diǎn)，zm軸的方向平行于攝像機(jī)光軸，并取攝像機(jī)到景物的方向?yàn)檎较?xm軸方向取圖像坐標(biāo)沿水平增加的方向，ym軸方向取圖像坐標(biāo)沿豎直增加的方向［3］.P1、P2為場(chǎng)景點(diǎn)，q1、q2分別為兩點(diǎn)在圖像平面的投影.

圖2 攝像機(jī)坐標(biāo)系

1.2 攝像機(jī)標(biāo)定

1.2.1 張正友平面標(biāo)定法

張正友平面標(biāo)定原理如下［8］：

公式（1）中fu、fv、u0、v0只與攝像機(jī)內(nèi)部參數(shù)有關(guān)，故稱矩陣M1為內(nèi)參數(shù)矩陣.其中fu＝f／dX，fv＝f／dY，分別稱為u軸和v軸上的歸一化焦距；f是相機(jī)的焦距，dX和dY分別表示傳感器u軸和v軸上單位像素的尺寸大小.γ為u軸、v軸的垂直度.u0和v0則表示的是光學(xué)中心，即攝像機(jī)光軸與圖像平面的交點(diǎn)，通常位于圖像中心處，故其值常取分辨率的一半.為實(shí)際上每個(gè)點(diǎn)對(duì)應(yīng)的縮放系數(shù).R、t分別稱為旋轉(zhuǎn)矩陣和平移矩陣.R是一個(gè)3×3的矩陣，t則是一個(gè)3×1的矩陣.M2為攝像機(jī)的外參數(shù)矩陣.

1.2.2 本文標(biāo)定公式

設(shè)三維空間有一點(diǎn)Q＝［XYZ1］T（齊次坐標(biāo)系表示），到成像儀上的q＝［xy1］T映射，設(shè)單應(yīng)性矩陣為H，s為比例系數(shù).則Q和q之間的關(guān)系可表示為q＝sHQ.

也就是這段突然而至的沉默，讓我想起了老家門(mén)口的四棵古樟，它們是那么自然地出現(xiàn)在我的生命中——我一出生，它們就已經(jīng)在家門(mén)口等我。

在點(diǎn)映射過(guò)程中，點(diǎn)要經(jīng)過(guò)旋轉(zhuǎn)和平移的物理變換，所以設(shè)物理變換坐標(biāo)M2＝［RT］.然后在投射過(guò)程中，根據(jù)得到的攝像機(jī)的內(nèi)參矩陣M1，所以q＝sM1M2Q，從而推算出H＝M1M2.H為3×3的單應(yīng)性矩陣，描述了空間中平面三維點(diǎn)（z≡0）和相機(jī)平面二維點(diǎn)之間的關(guān)系.H通過(guò)Matlab相機(jī)標(biāo)定工具箱（toolbox＿calib）得到［9］，這是整個(gè)標(biāo)定過(guò)程最終需要的參數(shù).

結(jié)合試驗(yàn)過(guò)程同時(shí)為了讓公式更簡(jiǎn)潔，可將（1）式簡(jiǎn)化為

1.3 物體識(shí)別

1.3.1 圖片加框

為了減小物體識(shí)別的難度、降低復(fù)雜場(chǎng)景帶來(lái)的誤差，在定位過(guò)程中引入圖片加框技術(shù).圖3給出了含有魔方、茶罐的圖片加框例子.預(yù)先將攝像機(jī)的取景區(qū)域?qū)?zhǔn)傳送帶上需準(zhǔn)確定位的區(qū)域并固定攝像機(jī)位置.輸入圖片后運(yùn)用Matlab中g(shù)input函數(shù)手動(dòng)選取4個(gè)點(diǎn)，利用roipoly函數(shù)構(gòu)成大小、形狀均適合且包含所有待測(cè)物體（必須含有各物體邊界）的四邊形區(qū)域用于處理傳送帶上的圖片，即形成所謂的取景框.

圖3 圖片加框過(guò)程

如圖3（a）所示，取景框區(qū)域內(nèi)都為白色（灰度值1），區(qū)域外的都為黑色（灰度值0）.將取景框與原圖片進(jìn)行與運(yùn)算得到僅含四邊形區(qū)域Ω內(nèi)場(chǎng)景的圖片（b）.對(duì)圖片（b）進(jìn)行邊緣檢測(cè)得到圖片（c）.去掉圖片（c）中的邊框后可以得到圖片（d）.圖片（d）中僅僅包含了待識(shí)別和定位的物體.

1.3.2 取下邊界

對(duì)圖片（d）先通過(guò)4連通算法進(jìn)行連通分量提取和統(tǒng)計(jì).識(shí)別出圖片中的物體的個(gè)數(shù)，并分離出各個(gè)物體.圖4～5的橫縱坐標(biāo)分別表示物體在垂直傳送帶運(yùn)行方向和平行于傳送帶運(yùn)行方向的像素坐標(biāo).對(duì)識(shí)別出的物體分別提取其在圖片對(duì)應(yīng)范圍內(nèi)、每一列灰度值為1且像素坐標(biāo)最大的點(diǎn).輸出所有點(diǎn)構(gòu)成物體的下邊界.例如，圖4顯示的是魔方的下邊界，圖5顯示了茶罐的下邊界.

圖4 魔方下邊界

圖5 茶罐下邊界

1.4 物體定位

2 實(shí)驗(yàn)流程

實(shí)驗(yàn)中用到了數(shù)碼相機(jī)、相機(jī)支架、10×10標(biāo)定板、筆記本電腦、卷尺等.標(biāo)定板由14×14個(gè)邊長(zhǎng)為30mm的正方形方格構(gòu)成.相機(jī)的分辨率為4 608×2 592，相機(jī)的F數(shù)為4.0，相機(jī)到傳送帶的垂直距離約為60cm.由于傳送帶是理想平面，實(shí)驗(yàn)中讓標(biāo)定板沿y軸方向（見(jiàn)圖1）移動(dòng)，地面近似模擬傳送帶平面.將標(biāo)定板至于需要定位的區(qū)域，建立該區(qū)域的世界坐標(biāo)系oxyz.

2.1 提取相機(jī)內(nèi)、外參數(shù)

要實(shí)現(xiàn)產(chǎn)品的識(shí)別與定位，需要先知道相機(jī)的內(nèi)外參數(shù).相機(jī)拍攝不同位置、不同角度帶有方格的標(biāo)定板，利用 Matlab中的相機(jī)標(biāo)定工具箱（toolbox＿calib）錄入圖片，經(jīng)過(guò)角點(diǎn)提取、處理運(yùn)行等操作可得到相機(jī)的內(nèi)參數(shù).

固定攝相機(jī)在傳送帶上的位置與傾角后拍攝帶有方格的標(biāo)定板，然后將拍攝到的圖片通過(guò)toolbox＿calib中的Comp.Extrinsic工具提取四周角點(diǎn)，設(shè)置較小的提取角點(diǎn)窗口范圍（wintx×winty）控制精度、用Recomp.corner工具減小圖片邊緣帶來(lái)的誤差，得到單應(yīng)性矩陣H.通過(guò)H＝sM1M2，最后得到外參數(shù).保持傾角與相機(jī)的位置不變，使得外參數(shù)與后續(xù)拍攝傳送帶上的圖片的外參數(shù)相同.

2.2 產(chǎn)品的定位技術(shù)

錄入圖片，從圖像文件（TIF格式）中讀取圖像數(shù)據(jù).將三維圖像劃分為紅、綠、藍(lán)三中分量的3幅灰度圖.選出物體與圖片背景之間灰度值相差較大，分割閾值較好的灰度圖.對(duì)這些灰度圖進(jìn)行圖片加框、取下邊界等操作.由于傳送帶上有可能有單個(gè)或多個(gè)物體及單種多種物體的存在.接下來(lái)分別以單物體和多物體做定位實(shí)驗(yàn).

2.2.1 單物體的定位

圖6顯示了茶罐作為單物體定位的初始圖.將茶罐下邊界所有點(diǎn)帶到公式（2），得到各點(diǎn)對(duì)應(yīng)在傳送帶運(yùn)行方向上的的Y值.選取最小Y值，并將最小Y值帶入公式（3），可求得茶罐距離參考點(diǎn)的距離L.最小Y值對(duì)應(yīng)點(diǎn)即定位點(diǎn).圖7給出了茶罐圖片經(jīng)過(guò)二值化、邊緣檢測(cè)后的圖片，圖片中用橙色三角形標(biāo)識(shí)出了定位點(diǎn).

圖6 單物體原圖

圖7 圖像處理后的單物體圖片

2.2.2 多物體的定位與識(shí)別

首先，對(duì)多物體的二值化圖像進(jìn)行連通分量的提取.從二值圖像中提取連通分量是許多自動(dòng)圖像分析應(yīng)用的核心.為減少對(duì)圖像的過(guò)度分割，本文采用4連通算法對(duì)連通分量進(jìn)行提取和統(tǒng)計(jì).其次，設(shè)定合適分割閾值.多物體中的定位與識(shí)別中，當(dāng)前一個(gè)物體后邊界與后一物體前邊界的像素坐標(biāo)在攝像機(jī)坐標(biāo)系ym方向上的差大于分割閾值時(shí)，就認(rèn)為兩相鄰物體不相連.若小于閾值則認(rèn)為是同一物體.對(duì)不相連的物體分別提取下邊界，利用下邊界輪廓識(shí)別出物體.最后，依據(jù)單物體定位原理，將各個(gè)物體的定位點(diǎn)返回到經(jīng)過(guò)二值化處理的邊界圖像輸出.通過(guò)公式（2）～（3）得到各個(gè)物體的定位距離.

圖8給出了魔方與茶罐作為多物體定位試驗(yàn)對(duì)象的原始圖片.圖9給出了茶罐圖片經(jīng)過(guò)二值化、圖像分割后的圖片，圖中用橙色三角形標(biāo)識(shí)出了定位點(diǎn).

圖8 多物體原圖

圖9 圖像處理后的多物體圖片

3 實(shí)驗(yàn)結(jié)果

為了測(cè)試本文提出的方法在傳送帶上定位、識(shí)別的普適性，分別進(jìn)行了單物體和多物體的定位實(shí)驗(yàn).兩組實(shí)驗(yàn)結(jié)果分別見(jiàn)表1、表2.

表1 單物體定位實(shí)驗(yàn)數(shù)據(jù)

表2 多物體定位實(shí)驗(yàn)數(shù)據(jù)

由上表可知，單物體定位實(shí)驗(yàn)中平均標(biāo)定誤差1.8‰，多物體定位實(shí)驗(yàn)中兩物體相對(duì)于世界坐標(biāo)系誤差平均值小于1.1‰.這說(shuō)明該方法可以有效地實(shí)現(xiàn)傳送帶上單個(gè)或多個(gè)物體的定位.

導(dǎo)致表中各物體定位誤差的主要來(lái)源如下：1）相機(jī)景深有限且相機(jī)拍攝照片在邊緣部分存在桶形畸變，導(dǎo)致物體位于取景區(qū)域上、下邊緣會(huì)有較大標(biāo)定誤差.2）由于打印機(jī)精度有限，標(biāo)定紙上的方格并不是嚴(yán)格的正方形.3）Matlab錄入圖像的像素過(guò)高會(huì)不完全顯示，實(shí)驗(yàn)中需要對(duì)圖片進(jìn)行壓縮.在壓縮后的圖像中一個(gè)像素坐標(biāo)代替了多個(gè)原圖像的像素坐標(biāo)，這也會(huì)帶來(lái)一定的誤差.

4 結(jié) 論

本文提出了一種基于單目視覺(jué)的傳送帶上產(chǎn)品定位技術(shù).利用相機(jī)的針孔模型，依據(jù)張正友的平面標(biāo)定方法，通過(guò)數(shù)字圖像處理技術(shù)實(shí)現(xiàn)了傳送帶上產(chǎn)品的定位.在定位過(guò)程中引入了圖片加框技術(shù)，顯著降低了復(fù)雜場(chǎng)景帶來(lái)的誤差.實(shí)驗(yàn)結(jié)果表明：該方法可以有效地實(shí)現(xiàn)傳送帶上單個(gè)或多個(gè)物體的定位；其中單物體定位的平均誤差為1.8‰，多物體定位的平均誤差小于1.1‰.

限于實(shí)驗(yàn)條件所限，實(shí)驗(yàn)采用的標(biāo)定板尺寸較小，導(dǎo)致隨機(jī)誤差較大.通過(guò)增大標(biāo)定板、增大計(jì)算機(jī)的分辨率，可進(jìn)一步提高定位精度.通過(guò)改善照明條件，可以將物體陰影、反光消除，可使該實(shí)驗(yàn)的可靠性更高.另外，通過(guò)改善軟硬件條件還可以實(shí)現(xiàn)傳送帶上產(chǎn)品的實(shí)時(shí)定位.此方法簡(jiǎn)單易行、準(zhǔn)確性高，可以推廣到道路上車(chē)輛的定位、機(jī)器人自動(dòng)定位等方面.

［1］ 鄭志強(qiáng)，李秀才，劉 斐.基于COMS的雙目定位系統(tǒng)的設(shè)計(jì)［J］.國(guó)防科技大學(xué)學(xué)報(bào)，2003，25（6）：1－4，34.

［2］ 高棟棟.基于雙目立體視覺(jué)定位和識(shí)別技術(shù)的研究［D］.秦皇島：燕山大學(xué)，2013.

［3］ 尹英杰，徐 德，張正濤，等.基于單目視覺(jué)的平面測(cè)量［J］.電子測(cè)量與儀器學(xué)報(bào)，2013，27（4）：347－352.

［4］ 張俊前，王文進(jìn).非測(cè)量相機(jī)的一種快速平面標(biāo)定［J］.測(cè)繪與空間地理信息，2008，31（6）：187－189.

［5］ 鄭全新.基于單目視覺(jué)的目標(biāo)識(shí)別與定位［D］.濟(jì)南：山東大學(xué)，2013.

［6］ 張 陽(yáng).基于單目視覺(jué)的道路圖像識(shí)別技術(shù)與研究［D］.長(zhǎng)沙：長(zhǎng)沙理工大學(xué)，2009.

［7］ 李怡萱.圖像處理在藥粒自動(dòng)分揀系統(tǒng)中的應(yīng)用［J］.中國(guó)科技信息，2011（17）：132.

［8］ Zhang Zhengyou.A Flexible New Technique for Camera Calibration［J］.IEEE Trans.Pattern Anal.March Intell，2000，22（11）：1330－1334.

［9］ 茹海峰，王耀明，殷 業(yè).計(jì)算機(jī)視覺(jué)中基于平面標(biāo)定物體的攝像機(jī)標(biāo)定［J］.上海電機(jī)學(xué)院學(xué)報(bào)，2005（6）：53－55.