夏立元，王沛龍，趙宏，肖昌炎，李樹濤

工業(yè)機(jī)器視覺

基于機(jī)器視覺的手持式瓦楞紙計(jì)數(shù)系統(tǒng)研究

夏立元1，王沛龍1，趙宏2，肖昌炎1，李樹濤1

（1.湖南大學(xué) 電氣與信息工程學(xué)院，長沙 410082；2.國防科技大學(xué) 空天科學(xué)學(xué)院，長沙 410073）

為了實(shí)現(xiàn)對(duì)瓦楞紙疊層的精確計(jì)數(shù)。提出一種基于機(jī)器視覺的手持式計(jì)數(shù)系統(tǒng)，介紹了系統(tǒng)的硬件組成和應(yīng)用場(chǎng)景，引入孔洞增強(qiáng)算法和基于傾斜校正的孔洞投影策略，并且與現(xiàn)有計(jì)數(shù)算法進(jìn)行對(duì)比分析，最后針對(duì)不同楞型的瓦楞紙疊層進(jìn)行計(jì)數(shù)實(shí)驗(yàn)，進(jìn)一步驗(yàn)證了所提出算法的魯棒性。對(duì)已有不同楞型的瓦楞紙進(jìn)行多次試驗(yàn)，提出的計(jì)數(shù)系統(tǒng)均能取得99%的準(zhǔn)確率。在實(shí)際工作場(chǎng)景下，大量測(cè)試表明該系統(tǒng)可以對(duì)瓦楞紙疊層進(jìn)行精確計(jì)數(shù)。

瓦楞紙疊層；機(jī)器視覺；海森矩陣；孔洞檢測(cè)

瓦楞紙因其較好的強(qiáng)度和緩沖性能通常被作為包裝材料。近年來對(duì)瓦楞紙板的需求逐年遞增[1]，制造行業(yè)正在尋求利用機(jī)器視覺[2]的方法提高生產(chǎn)效率。目前部分無接觸式的計(jì)數(shù)方法是通過傳感器得到瓦楞紙疊層的高度，再除以單張瓦楞紙的厚度得到層數(shù)[3]，但是實(shí)際應(yīng)用中，因?yàn)槭艹焙褪芰Φ仍?，每張瓦楞紙板間的厚度均有一定差異，因此最終計(jì)數(shù)誤差較大。當(dāng)前主流的無接觸式計(jì)數(shù)方式多采用基于機(jī)器視覺的方法，有關(guān)瓦楞紙疊層計(jì)數(shù)的論文中，針對(duì)瓦楞紙疊層堆疊高度高、紙板排布密集的這一特性，通常采用伺服電機(jī)帶動(dòng)線掃描相機(jī)，通過逐層掃描的方式來對(duì)瓦楞紙疊層端面進(jìn)行成像，這樣每次只聚焦于瓦楞紙疊層中的部分區(qū)域，可以得到較高的成像質(zhì)量。Suppitaksakul等[4]通過二值化和連通域檢測(cè)[5]來提取瓦楞紙中的孔洞特征，以實(shí)現(xiàn)計(jì)數(shù)。黃丹平等[6]通過小波變換來提取瓦楞紙中波浪線狀紋理，以實(shí)現(xiàn)計(jì)數(shù)。通過逐層掃描得到的圖像通常對(duì)比度較高，紋理特征較為明顯，因此算法往往能取得不錯(cuò)的效果。然而線掃描相機(jī)價(jià)格昂貴，成像方式嚴(yán)重依賴于機(jī)械結(jié)構(gòu)，導(dǎo)致圖像獲取時(shí)間長，測(cè)量效率低。同時(shí)實(shí)際工作場(chǎng)景需要對(duì)組合楞型的瓦楞紙進(jìn)行計(jì)數(shù)，此時(shí)圖像的頻率特性較為復(fù)雜，基于頻域的小波變換難以取得較好的效果。近年來，人們開始將深度學(xué)習(xí)的方法應(yīng)用到瓦楞紙計(jì)數(shù)中[7-8]，通過在大量的數(shù)據(jù)集上進(jìn)行訓(xùn)練，深度學(xué)習(xí)的算法能夠在組合楞型的瓦楞紙上取得不錯(cuò)的計(jì)數(shù)效果，但這些方法通常對(duì)系統(tǒng)運(yùn)算能力有較高的要求，且收集對(duì)應(yīng)的數(shù)據(jù)集進(jìn)行標(biāo)注需要花費(fèi)大量人力成本。

文中提出一種手持式計(jì)數(shù)系統(tǒng)，利用面陣相機(jī)一次性對(duì)整個(gè)瓦楞紙端面進(jìn)行成像，不依賴于額外的機(jī)械結(jié)構(gòu)。相比于線掃描相機(jī)逐行掃描的成像方式，這種成像方法得到的圖像質(zhì)量有所下降，因而目前已有的算法往往不能在這些圖像上取得較好的效果。針對(duì)這一問題，文中提出一種基于多尺度孔洞檢測(cè)的瓦楞紙計(jì)數(shù)算法，在所采集的圖像對(duì)比度較低、紋理特征不明顯的情況下，也能實(shí)現(xiàn)準(zhǔn)確計(jì)數(shù)。

1 手持式瓦楞紙計(jì)數(shù)系統(tǒng)硬件結(jié)構(gòu)

手持式瓦楞紙計(jì)數(shù)系統(tǒng)主要由3個(gè)部分構(gòu)成。相機(jī)和光源構(gòu)成成像系統(tǒng)，樹莓派芯片構(gòu)成了算法處理系統(tǒng)，紅外測(cè)距傳感器、觸控顯示屏等構(gòu)成了交互系統(tǒng)。整個(gè)系統(tǒng)的工作示意圖見圖1。

圖1 計(jì)數(shù)系統(tǒng)工作示意圖

成像系統(tǒng)使用單個(gè)面陣相機(jī)對(duì)瓦楞紙疊層圖像進(jìn)行采集，瓦楞紙疊層高度一般為2 m，在拍攝距離為2.1 m左右時(shí)，相機(jī)的視場(chǎng)能夠覆蓋到整個(gè)瓦楞紙疊層區(qū)域。同時(shí)為了使成像對(duì)比度更高，需要使用額外光源對(duì)瓦楞紙進(jìn)行補(bǔ)光，以保證在不同場(chǎng)景下的成像質(zhì)量。系統(tǒng)的設(shè)備結(jié)構(gòu)示意圖見圖2。

圖2 圖像采集設(shè)備結(jié)構(gòu)示意

2 瓦楞紙計(jì)數(shù)算法

算法流程見圖3，首先通過高分辨率的面陣相機(jī)對(duì)整個(gè)瓦楞紙疊層進(jìn)行成像，取代了現(xiàn)有計(jì)數(shù)設(shè)備使用的由伺服電機(jī)帶動(dòng)線掃描相機(jī)進(jìn)行成像的方案。面陣相機(jī)的成像質(zhì)量較差，因此需要對(duì)所拍攝的圖片進(jìn)行預(yù)處理，以提升圖像的對(duì)比度，后續(xù)所采用的多尺度孔洞增強(qiáng)算法，可以增強(qiáng)低對(duì)比度下各種不同型號(hào)的瓦楞紙孔洞。提取孔洞后，將孔洞沿著水平方向進(jìn)行投影，通過對(duì)投影的結(jié)果進(jìn)行峰值檢測(cè)來對(duì)瓦楞紙疊層進(jìn)行計(jì)數(shù)。

2.1 預(yù)處理

由于手持式設(shè)備的光源功率受到一定限制，加上需要和待測(cè)紙堆保持一定的距離，才能在相機(jī)的視場(chǎng)范圍內(nèi)拍攝到完整的瓦楞紙疊層目標(biāo)，所以實(shí)際拍攝的圖像通常整體較暗，對(duì)比度較低，需要對(duì)圖像進(jìn)行局部直方圖均衡化。局部直方圖均衡化是把圖像劃分為不同的子塊，在每個(gè)子塊中進(jìn)行直方圖均衡化，這樣能夠使得圖像的局部細(xì)節(jié)和對(duì)比度得到充分增強(qiáng)[9]。原始圖片見圖4a，局部直方圖均衡化后的效果見圖4b。

2.2 瓦楞紙疊層區(qū)域提取

成像設(shè)備采集的圖像中除了瓦楞紙疊層，通常還有其他的非感興趣區(qū)域，如放置瓦楞紙的木質(zhì)墊板。利用瓦楞紙的紋理特性可以較快速地區(qū)分紙張區(qū)域和非紙張區(qū)域，準(zhǔn)確地分割紙張區(qū)域和非紙張區(qū)域，有利于排除一些不必要的噪聲干擾。如圖5所示，根據(jù)瓦楞紙楞邊灰度分布情況，創(chuàng)建具有對(duì)角線紋理模式的卷積核，進(jìn)一步增強(qiáng)紙張區(qū)域的紋理，抑制非紙張區(qū)域的紋理，所采用的卷積核見式（1）。

初步卷積結(jié)果見圖6b，紙張區(qū)域的紋理得到顯著增強(qiáng)，但是非紙張區(qū)域仍有一些噪聲干擾，可以通過小連通域檢測(cè)和二值化的方法濾除這些噪聲干擾，見圖6c。最終通過形態(tài)學(xué)膨脹的方法分割出紙張區(qū)域和非紙張區(qū)域，見圖6d。

2.3 孔洞增強(qiáng)

提取完整的瓦楞紙紙張區(qū)域后，通常通過檢測(cè)瓦楞紙圖像中的直線[10]或者孔洞特征實(shí)現(xiàn)計(jì)數(shù)[11]。在實(shí)際的瓦楞紙疊層中，瓦楞紙板間會(huì)存在一定的間隙，在正常情況下，2張瓦楞紙板間只顯示出一條直線，而在縫隙處2張紙板間顯示出2條直線，因此利用直線特征進(jìn)行計(jì)數(shù)很容易引入誤差，而孔洞和每張瓦楞紙則有較好的對(duì)應(yīng)關(guān)系。

圖3 計(jì)數(shù)算法流程

圖4 局部直方圖均衡化前后的圖片

圖5 瓦楞紙楞邊灰度分布

圖6 紙張區(qū)域提取

瓦楞紙中的孔洞是一種近似半圓形的結(jié)構(gòu)，且灰度值較低，直方圖均衡化后孔洞周圍楞邊的灰度值均明顯高于孔洞內(nèi)部，求取海森矩陣可以進(jìn)一步增強(qiáng)孔洞的結(jié)構(gòu)[12]。海森矩陣對(duì)應(yīng)著圖像在某點(diǎn)處灰度值的二階導(dǎo)數(shù)，反映了圖像灰度梯度變換程度。直接將海森矩陣作用在圖像上往往會(huì)放大圖像中的噪聲。為了減少這些干擾，在求取海森矩陣之前，需要使用低通高斯濾波器對(duì)圖像進(jìn)行平滑處理。圖像處理領(lǐng)域中，通過對(duì)二維高斯核求取各個(gè)方向上的二階導(dǎo)數(shù)，將高斯平滑和求取海森矩陣這2個(gè)卷積操作變?yōu)?個(gè)卷積步驟，高斯核各個(gè)方向上的二階偏導(dǎo)數(shù)分別見式（2）—（4）。其中式（2）的二維高斯函數(shù)在方向上的二階偏導(dǎo)數(shù)圖像見圖7。

式中：和為像素坐標(biāo)；為高斯函數(shù)對(duì)應(yīng)的標(biāo)準(zhǔn)差。

圖7 二維高斯函數(shù)在x方向上的二階導(dǎo)數(shù)

在二維圖像中求取海森矩陣得到的2個(gè)特征值中，最大特征值與其對(duì)應(yīng)的特征向量表示其二維鄰域曲線最大曲率的強(qiáng)度和方向，最小特征值對(duì)應(yīng)的特征向量表示與其垂直的方向，即圖像某點(diǎn)處海森矩陣特征值的大小和符號(hào)，直接反映了該鄰域內(nèi)的幾何結(jié)構(gòu)。理想圓形孔洞的海森矩陣特征值具有各向同性，即2個(gè)特征向量的模值較大，且取值也比較接近。在瓦楞紙板中提取出的孔洞，通常形狀不規(guī)則，孔洞內(nèi)部某些位置處的特征值可能無法體現(xiàn)各向同性。同時(shí)受成像設(shè)備和光源的限制，圖像某些位置的對(duì)比度可能較低，在這種情況下，孔洞位置對(duì)應(yīng)的海森矩陣特征值和其他位置處的特征值間沒有顯著的差異，此時(shí)增強(qiáng)孔洞很容易引入噪聲干擾。

式中：1、2、3分別為三維海森矩陣的3個(gè)特征向量。

經(jīng)過上述分析，設(shè)計(jì)如式（7）所示的孔洞響應(yīng)函數(shù)，其本質(zhì)上仍是體積比的形式，但是二維圖像只有2個(gè)特征值，并且其中的部分特征值根據(jù)紙張孔洞的實(shí)際形狀進(jìn)行了更有針對(duì)性的歸一化。

以C楞型的瓦楞紙為例，對(duì)孔洞響應(yīng)的結(jié)果進(jìn)行分析。實(shí)際采集的圖像見圖8a，上半部分區(qū)域?qū)Ρ榷容^低，楞邊幾乎不可見。圖8b為局部直方圖均衡化后的結(jié)果，上半部分區(qū)域中孔洞和楞邊的對(duì)比度得到較大提升，但整體仍然較為模糊。圖8c為孔洞增強(qiáng)的結(jié)果，可以看出基本上所有孔洞均被孔洞響應(yīng)函數(shù)增強(qiáng)，圖像下半部分成像清晰，孔洞響應(yīng)較大，直觀體現(xiàn)為灰度值強(qiáng)度較大。上半部分較模糊區(qū)域中，大部分孔洞仍有較大的響應(yīng)，部分孔洞響應(yīng)較小，在圖8c中灰度值強(qiáng)度較暗。高對(duì)比度區(qū)域孔洞響應(yīng)結(jié)果見圖8e，孔洞響應(yīng)輸出的最大值為0.58，最小值為0.06。圖8d為低對(duì)比度區(qū)域孔洞響應(yīng)放大圖，其中響應(yīng)輸出最大值為0.25，最小值為0.06。因?yàn)榭锥丛鰪?qiáng)前進(jìn)行過平滑處理，并且對(duì)海森矩陣的特征值進(jìn)行了歸一化，所以在低對(duì)比度區(qū)域的孔洞得到增強(qiáng)的同時(shí)，并未引入其他非孔洞區(qū)域的噪聲干擾。

2.3.1 復(fù)合楞型與多尺度問題

實(shí)際生產(chǎn)中除了單楞型，通常還會(huì)有雙楞和三楞組合的混合楞型，如B楞和E楞組合形成BE楞，因此需要考慮多尺度問題。根據(jù)尺度空間的理論，調(diào)節(jié)生成的海森卷積核中高斯函數(shù)的標(biāo)準(zhǔn)差，可以使得卷積核作用后突出不同尺度下的特征。具體到瓦楞紙疊層測(cè)量中，需要根據(jù)不同型號(hào)的瓦楞紙?jiān)O(shè)置標(biāo)準(zhǔn)差，以突出不同楞型的孔洞。

以實(shí)際應(yīng)用中的B楞和E楞為例，E楞的高度范圍約為6～8個(gè)像素，B楞的高度范圍約為14～16個(gè)像素。只有卷積核的尺度和對(duì)應(yīng)楞型的尺度相近時(shí)才能達(dá)到最好的卷積效果。如果使用卷積核的尺度遠(yuǎn)大于孔洞的尺度，多個(gè)小孔洞被一個(gè)大尺度的卷積核卷積則造成孔洞的粘連，同時(shí)會(huì)引入更多的背景噪聲。同理使用小尺度的卷積核去卷積大尺度的孔洞，如利用E楞對(duì)應(yīng)的尺度去卷積B楞對(duì)應(yīng)的孔洞，則B楞孔洞提取不完整，原本一個(gè)孔洞會(huì)被分割為多個(gè)更小的孔洞。

針對(duì)BE的組合楞型，需要使用2個(gè)不同的尺度的卷積核分別去做卷積，得到2張卷積圖像后，在每個(gè)像素位置，選擇響應(yīng)值最高的作為最終的卷積結(jié)果[15]。圖9為經(jīng)過直方圖均衡化后BE組合楞型圖片，分別針對(duì)B楞型和E楞型設(shè)置2個(gè)不同尺度的高斯卷積核，最終結(jié)果見圖10。

圖8 不同對(duì)比度區(qū)域孔洞響應(yīng)

圖9 BE組合楞型

圖10 BE孔洞提取

2.4 后處理

孔洞增強(qiáng)結(jié)果中孔洞的形狀大小均不一致，在進(jìn)行投影操作時(shí)很難設(shè)置相應(yīng)的閾值，因此首先通過計(jì)算輪廓矩的方式提取每個(gè)孔洞的重心坐標(biāo)。灰度圖像中通過計(jì)算零階矩和一階矩來獲取輪廓重心坐標(biāo)，計(jì)算公式分別為：

輪廓重心計(jì)算公式為：

重心提取完成后，以每個(gè)孔洞重心為圓心，生成一個(gè)半徑為2像素的圓形。此時(shí)所有孔洞對(duì)應(yīng)的形狀大小均相同，圖11為孔洞大小標(biāo)準(zhǔn)化前后的效果。以C楞為例，在截取的80寬度的像素區(qū)域中，每行應(yīng)該有8～9個(gè)孔洞，考慮在某些低對(duì)比度的區(qū)域中可能有部分孔洞未能檢出，規(guī)定至少檢出3個(gè)以上的孔洞，才確定該區(qū)域?qū)?yīng)一張瓦楞紙。對(duì)于C楞，在沿水平方向投影的過程中小于這一閾值的投影結(jié)果設(shè)置為0，將一維投影結(jié)果以柱狀圖的形式顯示，圖12b為沿水平方向投影結(jié)果，為排除噪聲干擾，對(duì)于不同楞型瓦楞紙的水平投影結(jié)果，分別用對(duì)應(yīng)各自楞型高度的一維高斯濾波器進(jìn)行平滑，平滑的結(jié)果見圖12c。為進(jìn)一步驗(yàn)證算法的可靠性，將孔洞提取結(jié)果以及水平投影結(jié)果顯示在同一張圖上，見圖13，可見對(duì)于框出的紙張嚴(yán)重變形區(qū)域，雖然所檢測(cè)出的孔洞較小，部分孔洞未能檢出，但是在進(jìn)行孔洞大小標(biāo)準(zhǔn)化后，投影的結(jié)果中依然可以檢測(cè)到明顯的峰值。

圖11 孔洞處理

圖13 孔洞提取與投影結(jié)果

2.5 傾斜矯正

瓦楞紙?jiān)诙逊诺倪^程會(huì)出現(xiàn)傾斜問題，但在算法處理的過程中往往只截取較短的一段寬度進(jìn)行投影，因此在目前所采集的圖片中傾斜問題不會(huì)對(duì)投影結(jié)果造成太大的偏差，圖14為現(xiàn)有算法在紙張傾斜的圖像上運(yùn)行的結(jié)果，可見雖然瓦楞紙有一定程度的傾斜，投影結(jié)果中柱狀圖的峰值區(qū)域和瓦楞紙疊層中的每張瓦楞紙仍有較好的對(duì)應(yīng)關(guān)系。

圖14 算法投影結(jié)果

在傾斜程度較大的情況下，水平投影較容易產(chǎn)生誤差，因此結(jié)合實(shí)際情況對(duì)傾斜問題進(jìn)行進(jìn)一步分析。在實(shí)際的生產(chǎn)中，瓦楞紙很少整體往某一方向傾斜，通常越往頂部區(qū)域越容易發(fā)生傾斜，并且不同區(qū)域的傾斜方向可能不同，因此從算法適用性的角度來說，傾斜問題不能簡單通過沿著某一方向進(jìn)行投影來解決。

同一瓦楞紙疊層中，瓦楞紙不同方向的傾斜需要進(jìn)行不同的校正，因此借鑒圖像拼接的算法來對(duì)傾斜情況進(jìn)行校正。圖像拼接中首先通過SIFT算子查找2張圖像中匹配的特征點(diǎn)，然后利用這些特征點(diǎn)求取單應(yīng)矩陣，通過單應(yīng)變化將一張圖像對(duì)齊到另一張圖像的坐標(biāo)系下。在孔洞標(biāo)準(zhǔn)化后的圖像上應(yīng)用霍夫檢測(cè)可以快速得到不同區(qū)域中傾斜角度不同的直線，如圖15所示，其中上端白色的線為霍夫檢測(cè)得到的結(jié)果，期望傾斜校正后白色線上的點(diǎn)能夠移動(dòng)到下端水平的橘黃色直線上，因此可以把白色直線的2個(gè)端點(diǎn)和橘黃色直線的2個(gè)端點(diǎn)看作是原始圖像和校正后圖像中的一對(duì)匹配點(diǎn)，白色直線的2個(gè)端點(diǎn)可以直接利用霍夫檢測(cè)提供的角度信息求出，而橘黃色直線的兩個(gè)端點(diǎn)縱坐標(biāo)和白色直線左端點(diǎn)的縱坐標(biāo)相同，橫坐標(biāo)分別為0和圖像的寬度。這樣通過霍夫檢測(cè)在原始圖像中的不同區(qū)域分別檢測(cè)出4條直線，就可以提供8對(duì)匹配點(diǎn)，利用這些匹配點(diǎn)求出單應(yīng)矩陣后，通過對(duì)原始圖像進(jìn)行單應(yīng)變換，可以得到校正后的圖像。

圖15 孔洞標(biāo)準(zhǔn)化圖像上的霍夫檢測(cè)結(jié)果

如圖16所示，在圖像的不同位置選取4條直線，4條直線中除了第一條直線向下傾斜，其他直線基本水平或輕微向上傾斜，這也反映了瓦楞紙疊層中不用區(qū)域瓦楞紙的實(shí)際傾斜情況。通過這4條直線可以得到8個(gè)匹配點(diǎn)，利用這8個(gè)匹配點(diǎn)可以計(jì)算出如圖17所示的單應(yīng)矩陣。通過單應(yīng)變換即可實(shí)現(xiàn)傾斜校正，即將原始圖像對(duì)齊到期望的孔洞水平排布的圖像上。

圖16 霍夫檢測(cè)直線選取

圖17 單應(yīng)矩陣

校正前后的圖像見圖18，其中白色的標(biāo)記點(diǎn)對(duì)應(yīng)校正前的孔洞位置，紅色的標(biāo)記點(diǎn)為校正后的孔洞位置。對(duì)于原本向下傾斜瓦楞紙區(qū)域中的孔洞校正后均往上移動(dòng)，同時(shí)從右向左孔洞上移幅度逐漸增大。即相當(dāng)于繞著原本白色直線的左端點(diǎn)進(jìn)行了相應(yīng)角度的順時(shí)針旋轉(zhuǎn)，符合預(yù)期。對(duì)于向上傾斜瓦楞紙區(qū)域中的孔洞校正后孔洞均往下移動(dòng)，越往左下移幅度越大。可以得出結(jié)論校正后瓦楞紙疊層中所有孔洞點(diǎn)都趨于了水平分布，此時(shí)沿著水平方向?qū)锥催M(jìn)行投影，可以避免紙張傾斜問題帶來的干擾。根據(jù)單應(yīng)變換的基本原理，理論上提供的匹配點(diǎn)數(shù)目越多也即選取的霍夫直線數(shù)目越多，單應(yīng)變換的結(jié)果也就更加準(zhǔn)確。如何在圖像的不同區(qū)域選取合適的霍夫直線檢測(cè)結(jié)果仍需要進(jìn)行更多研究，如果所提供的匹配點(diǎn)全部集中在一小塊區(qū)域，單應(yīng)變換的結(jié)果很難對(duì)不同區(qū)域中的傾斜情況進(jìn)行校正，目前采用的策略是在圖像中盡量分散地去選擇霍夫檢測(cè)結(jié)果，使得所提供的匹配點(diǎn)盡可能地反映全局信息。對(duì)目前已有的圖片，不進(jìn)行傾斜校正也能取得較為準(zhǔn)確的結(jié)果，所以該校正方法的效果，仍有待在更有針對(duì)性、傾斜幅度更大的圖片上進(jìn)行驗(yàn)證。

3 結(jié)果與分析

基于孔洞檢測(cè)的計(jì)數(shù)算法和基于直線的計(jì)數(shù)方法相比，一個(gè)重要優(yōu)勢(shì)是孔洞和瓦楞紙薄片有嚴(yán)格的對(duì)應(yīng)關(guān)系，而實(shí)際場(chǎng)景下直線和單張瓦楞紙薄片間通常沒有較好的對(duì)應(yīng)關(guān)系，如圖19a中第3張瓦楞紙?zhí)幇l(fā)生了明顯的變形，通過自適應(yīng)閾值和形態(tài)學(xué)操作后，該區(qū)域一共檢測(cè)出4條線狀目標(biāo)，在不依據(jù)原圖進(jìn)行判斷的情況下，很容易誤認(rèn)為4條線狀目標(biāo)共對(duì)應(yīng)著3張瓦楞紙板，而實(shí)際該區(qū)域只有一張變形的瓦楞紙板。

圖18 傾斜校正結(jié)果

圖19 紙張變形區(qū)域線狀檢測(cè)結(jié)果

對(duì)于基于孔洞檢測(cè)的計(jì)數(shù)方法來說，每排孔洞只可能唯一對(duì)應(yīng)一張瓦楞紙板。所提出的算法在圖19紙張變形處檢測(cè)的結(jié)果見圖20，孔洞檢測(cè)相比于直線檢測(cè)有較明顯的優(yōu)勢(shì)。

圖20 紙張變形區(qū)域孔洞檢測(cè)結(jié)果

已有孔洞檢測(cè)算法均采用在二值圖像上進(jìn)行連通域檢測(cè)的方法來提取孔洞，而在實(shí)際應(yīng)用中低對(duì)比度的圖像上二值化很難取得較好的效果，從而進(jìn)一步影響后續(xù)孔洞提取的結(jié)果。圖21c為自適應(yīng)閾值分割的結(jié)果，圖21d為利用連通域檢測(cè)對(duì)孔洞提取的結(jié)果，可以發(fā)現(xiàn)有部分孔洞發(fā)生了聯(lián)結(jié)，同時(shí)檢測(cè)結(jié)果中有大量的噪聲干擾，楞邊和孔洞很容易被判斷為屬于同一個(gè)連通域；圖21e為文中提出的孔洞增強(qiáng)算法的效果，該算法可直接在灰度圖像上進(jìn)行孔洞提取，無需進(jìn)行二值化的操作，在低對(duì)比度區(qū)域也能較好地提取出孔洞。同時(shí)檢測(cè)結(jié)果中只會(huì)對(duì)孔洞區(qū)域進(jìn)行增強(qiáng)，不會(huì)像連通域檢測(cè)算法一樣引入其他非孔洞區(qū)域的噪聲干擾。

為進(jìn)一步驗(yàn)證算法在實(shí)際工作場(chǎng)景下的通用性與準(zhǔn)確性，將計(jì)數(shù)算法在樹莓派上進(jìn)行編譯，并導(dǎo)入一臺(tái)手持式設(shè)備，在實(shí)際的工作場(chǎng)景下進(jìn)行測(cè)試，對(duì)單楞型的E、B、C和雙楞型的BC、BE、AB分別進(jìn)行了測(cè)試。其中BE楞型的瓦楞紙疊層因?yàn)閿[放過久，出現(xiàn)了孔洞不清晰的情況；BC楞型的瓦楞紙疊層部分孔洞因?yàn)槭芰Σ痪黠@小于標(biāo)準(zhǔn)的孔洞；B楞型的瓦楞紙疊層有紙張傾斜和成像不夠清晰等問題。測(cè)試結(jié)果表明該算法有很強(qiáng)的魯棒性，在上述問題的干擾下仍能準(zhǔn)確得出計(jì)數(shù)結(jié)果。每種楞型的瓦楞紙疊層中用線條標(biāo)記出了每張瓦楞紙，見圖22。對(duì)計(jì)數(shù)結(jié)果的統(tǒng)計(jì)結(jié)果見表1。

圖21 孔洞檢測(cè)方法對(duì)比

表1 手持設(shè)備1計(jì)數(shù)結(jié)果

Tab.1 Counting result of hand-held device 1

4 結(jié)語

文中展示了一種手持式瓦楞紙計(jì)數(shù)系統(tǒng)的硬件結(jié)構(gòu)以及對(duì)應(yīng)的機(jī)器視覺計(jì)數(shù)算法?，F(xiàn)階段很多瓦楞紙計(jì)數(shù)算法仍停留在實(shí)驗(yàn)室算法仿真階段，無法在復(fù)雜的工業(yè)場(chǎng)景下正常運(yùn)行。該研究的主要貢獻(xiàn)有：利用低成本的面陣相機(jī)，不依賴額外的機(jī)械結(jié)構(gòu)，結(jié)合孔洞檢測(cè)的機(jī)器視覺算法，拍攝單張圖片即可對(duì)整個(gè)瓦楞紙疊層進(jìn)行精確計(jì)數(shù)，計(jì)數(shù)效率較高；多尺度的解決方案，能夠?qū)Ω鞣N單楞型和組合楞型的瓦楞紙進(jìn)行計(jì)數(shù)；手持式設(shè)備靈活便攜，應(yīng)用場(chǎng)景廣泛。

[1] 李莉. 瓦楞紙半年度分析——上半年呈“N”型走勢(shì) 下半年預(yù)期偏強(qiáng)[J]. 中華紙業(yè), 2021, 42(15): 28-29.

LI Li. Semi-annual Analysis of Corrugated Paper: "N" Trend in the First Half of the Second Half is Expected to Be Stronger[J]. China Paper, 2021, 42(15): 28-29.

[2] 劉翠翠, 楊濤. 機(jī)器視覺在智能制造中的應(yīng)用與產(chǎn)業(yè)發(fā)展[J]. 機(jī)床與液壓, 2021, 49(11): 172-178.

LIU Cui-cui, YANG Tao. Application and Industrial Development of Machine Vision in Intelligent Manufacturing[J]. Machine Tool & Hydraulics, 2021, 49(11): 172-178.

[3] 鄒炳華. 一種瓦楞紙生產(chǎn)的紙張高度測(cè)量系統(tǒng): 中國, 110360936A[P]. 2019–10–22.

ZOU Bing-hua. A Paper Height Measuring System for Production of Corrugated Paper: China, 110360936A[P]. 2019-10-22.

[4] Suppitaksakul C, Rattakorn M. Machine Vision System for Counting the Number of Corrugated Cardboard[C]2014 International Electrical Engineering Congress (iEECON), Chonburi, Thailand, 2014: 1-4.

[5] Suzuki S, be K. Topological Structural Analysis of Digitized Binary Images by Border Following[J]. Computer Vision, Graphics, and Image Processing, 1985, 30(1): 32–46.

[6] 黃丹平, 廖世鵬, 于少東, 等. 基于機(jī)器視覺瓦楞紙板自動(dòng)計(jì)數(shù)系統(tǒng)研究[J]. 機(jī)械工程學(xué)報(bào), 2017, 53(10): 79-86.

HUANG Dan-ping, LIAO Shi-peng, YU Shao-dong, et al. Research on Automatic Counting System Corrugated Paper Board Based on Machine Vision[J]. Journal of Mechanical Engineering, 2017, 53(10): 79-86.

[7] 楊憲強(qiáng), 于興虎, 劉偉華, 等. 一種基于神經(jīng)網(wǎng)絡(luò)的瓦楞紙檢測(cè)算法: 中國, 109671074A[P]. 2019–04–23.

YANG Xian-qiang, YU Xing-hu, LIU Wei-hua, et al. A Detection Algorithm for Corrugated Paper Based on Neural Network: China, 109671074A[P]. 2019-04-23.

[8] 張堃, 韓宇, 徐子洋, 等. 一種基于深度學(xué)習(xí)的瓦楞紙堆疊層數(shù)計(jì)數(shù)方法: 中國, 111862122A[P]. 2020–10–30.

ZHANG Kun, HAN Yu, XU Zi-yang, et al. A Count Method for Stacking Layers of Corrugated Paper Based on Depth Study: China, 111862122A[P]. 2020-10-30.

[9] ZHU Hui, Chan F H Y, Lam F K. Image Contrast Enhancement by Constrained Local Histogram Equalization[J]. Computer Vision and Image Understanding, 1999, 73(2): 281-290.

[10] ZHANG Zhi-hao, ZHU Peng-bo, YANG Xian-qiang. A Counting Method for Stacked Corrugated Board Based on Autocorrelation[C]// 2018 37th Chinese Control Conference (CCC), Wuhan, 2018: 9379-9382.

[11] 楊憲強(qiáng), 衛(wèi)作龍, 張智浩, 等. 一種基于圖像輪廓提取與聚類的瓦楞紙智能檢測(cè)方法: 中國, 109658404A[P]. 2019.

YANG Xian-qiang, WEI Zuo-long, ZHANG Zhi-hao, et al. An Intelligent Detection Method for Corrugated Paper Based on Extraction and Aggregation of Picture Contour: China, 109658404A[P]. 2019.

[12] LIU Jia-min, White J M, Summers R M. Automated Detection of Blob Structures by Hessian Analysis and Object Scale[C]// 2010 IEEE International Conference on Image Processing, Hong Kong, 2010: 841-844.

[13] ?tepán-Buksakowska I L, Accurso J M, Diehn F E. Computer-Aided Diagnosis Improves Detection of Small Intracranial Aneurysms on MRA in a Clinical Setting[J]. American Journal of Neuroradiology, 2014, 35(10): 1897-1902.

[14] Jerman T, Pernus F, Likar B. Blob Enhancement and Visualization for Improved Intracranial Aneurysm Detection[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(6): 1705-1717.

[15] Frangi A F, Niessen W J, Vincken K L, et al. Multiscale Vessel Enhancement Filtering[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer Berlin Heidelberg, 1998: 130-137.

Hand-held Corrugated Cardboard Counting System Based on Machine Vision

XIA Li-yuan1, WANG Pei-long1, ZHAO Hong2, XIAO Chang-yan1, LI Shu-tao1

(1. College of Electrical and Information Engineering, Hunan University, Changsha 410082, China;2. College of Aerospace Science Engineering, National University of Defense Technology, Changsha 410073, China)

The work aims to count the corrugated cardboard accurately. A hand-held corrugated cardboard counting system based on machine vision was proposed and the hardware structure and application scenario of the system were introduced. The blob enhancement algorithm and the blob projection strategy based on slope correction were adopted and compared with the existing counting algorithms for analysis. Finally, counting experiments were carried out on corrugated cardboard laminates with different shapes, and the robustness of the proposed algorithm was further verified. The existing corrugated cardboards with different shapes were tested for many times, and the accuracy of the proposed counting system reached 99%. In the actual working scenario, a large number of tests show that the system can accurately count corrugated cardboard laminates.

corrugated cardboard laminates; machine vision; Hessian matrix; blob test

TB487.1；TP29

A

1001-3563(2022)15-0001-12

10.19554/j.cnki.1001-3563.2022.15.001

2022–07–18

夏立元（1998—），男，湖南大學(xué)碩士生，主攻計(jì)算機(jī)視覺。

肖昌炎（1972—），男，博士，湖南大學(xué)教授，主要研究方向?yàn)闄C(jī)器視覺與機(jī)器人技術(shù)。

責(zé)任編輯：曾鈺嬋