潘昱亭，蔡培良，張晶，杜浦澤，唐玉林，呂國強，邵樂樂

基于視覺成像技術的高速包裝機模盒內煙支檢測的研究

潘昱亭，蔡培良，張晶，杜浦澤，唐玉林，呂國強，邵樂樂

（紅云紅河煙草（集團）有限責任公司曲靖卷煙廠，云南 曲靖 655001）

解決機械探針式煙支檢測在檢測模盒內煙支時存在誤檢和漏檢的問題。設計一種基于視覺成像技術的高速包裝機模盒內煙支檢測裝置，研究其關鍵技術，包括工業(yè)相機、LED光源和控制器的安裝，動態(tài)圖像采集和圖像處理算法，PLC控制程序的設計等。該煙支檢測裝置安裝使用后，對模盒內煙支缺陷產(chǎn)品檢測的準確率≥98%，誤檢率≤1%。該煙支檢測裝置能有效解決機械探針式煙支檢測誤檢和漏檢的問題，提高了產(chǎn)品質量，降低了廢煙消耗，提高了設備有效作業(yè)率，可推廣應用于行業(yè)內所有包裝設備上。

包裝機；煙支檢測；視覺檢測；圖像處理算法；PLC編程

FOCKE FX2（以下簡稱FX2）是一種高速卷煙包裝設備，煙支通過輸送通道到達包裝機煙庫組件，在煙庫攪拌電機的作用下均勻下落到煙庫下煙通道，然后推煙排將煙支平行推入包裝機七角輪模盒內，并且形成767的排列方式，F(xiàn)X2是雙通道的高速包裝機，煙庫推桿每次能推4包煙進入模盒內。煙支在輸送過程中，易出現(xiàn)煙支空頭、缺支等現(xiàn)象，所以，在煙支進入七角輪模盒之后，需要對模盒內的煙支進行檢測，將空頭、缺支等缺陷產(chǎn)品進行判別和剔除，這一環(huán)節(jié)在整個卷煙包裝過程中至關重要。

目前針對FX2機型，國內普遍采用機械探針式煙支檢測或光電式煙支檢測，張濤等[1]設計的探針式煙支檢測，通過煙支端面各煙支不同的深度來判斷煙支是否空頭或缺支，雖然能檢測，但實際使用過程中，探針式煙支檢測容易誤檢和漏檢；王法明[2]設計的光電式煙支檢測，雖然避免了探針式檢測對煙支擠壓造成的煙絲下陷，其檢測反應速度及檢測靈敏度都得到了提高，但是隨著使用時間的增加，光電式檢測光線強度會慢慢衰減，逐漸造成漏檢，影響檢測的有效性，因此，上述方法均不能保證對煙支空頭或缺支的有效檢測。為此，基于視覺技術設計一種包裝機模盒內煙支檢測裝置，從而實現(xiàn)對模盒內煙支的缺陷產(chǎn)品進行有效檢測和剔除，保證產(chǎn)品質量，減少廢煙消耗，提升設備效率。

1 問題分析

FX2高速包裝機目前采用的是機械探針式煙支檢測，其工作原理是利用探針在接觸到煙支端面時，因其端面空松凹陷使探針不能被有效壓縮，探針頂部不能接觸公共端，從而識別該煙支空松。在實際使用中，由于模盒內煙支比較晃動，造成探針與煙支接觸時并沒有完全對齊，就會偏離煙支位置造成誤判。另外，機械探針式檢測是靠內部彈簧的伸縮情況來感應煙支空陷的深度，并且每包煙都需要探針靠近一次，這樣，在使用一段時間以后彈簧會發(fā)生形變造成無法回彈，導致漏檢甚至壓壞煙支?？傊褂脵C械探針式煙支檢測對模盒內煙支進行質量檢測時，容易造成誤檢和漏檢，不僅不能有效保證產(chǎn)品質量，還造成大量的廢煙消耗，因此，針對上述問題，設計一種基于視覺成像技術的高速包裝機模盒內煙支檢測裝置[3]，對模盒內煙支的缺陷產(chǎn)品進行有效檢測和剔除，從而保證產(chǎn)品質量，減少廢煙消耗。

2 模盒內煙支視覺檢測系統(tǒng)

為了解決由于現(xiàn)有機械探針式煙支檢測在檢測模盒內煙支時存在誤檢和漏檢的問題，基于視覺成像技術設計了一種包裝機模盒內煙支檢測裝置。

2.1 模盒內煙支視覺檢測裝置的構成

如圖1，該高速包裝機模盒內煙支視覺檢測裝置，包括了4個LED閃光燈、4個工業(yè)照相機、2個控制器、工控機、觸摸顯示屏、PLC、編碼器、PLC控制程序等。通過PLC控制程序編寫[4]，將觸發(fā)脈沖信號和機器相位共同作為觸發(fā)條件，對七角輪模盒內煙支進行實時動態(tài)檢測，采集的照片經(jīng)控制器處理后上傳到工控機，通過圖像處理相關算法計算出圖片是否為缺陷圖片[5]，并通過PLC編寫移位剔除程序將缺陷煙包在第一干燥鼓入口處準確剔除。

圖1 模盒內煙支視覺檢測裝置的結構

2.2 模盒內煙支視覺檢測裝置的工作原理

在七角輪模盒煙絲側和濾嘴側各安裝2個工業(yè)相機及LED光源[6]，當模盒內煙支旋轉到檢測工位，且機器相位到達指定相位時，觸發(fā)脈沖觸發(fā)相機和LED光源動作，進行瞬時拍照。相機將所拍到的圖像傳輸?shù)礁髯缘目刂破髦羞M行處理，處理后傳輸?shù)焦た貦C，進行圖像算法分析，從而識別出煙支是否空頭或缺支，如果煙支空頭或缺支，工控機輸出高電平信號至PLC，通過程序編寫移位后，將缺陷煙包在第一干燥鼓入口處進行剔除。當連續(xù)出現(xiàn)3包缺陷煙包時，PLC控制機器停機，并發(fā)出報警信息。

如圖2所示為高速包裝機模盒內煙支視覺檢測裝置的檢測示意圖，圖2中1為煙絲側的2個工業(yè)相機及LED閃光燈，2為濾嘴側的2個工業(yè)相機及LED閃光燈。

正常生產(chǎn)時，模盒內煙支跟隨七角輪順時針旋轉，每次旋轉51°，當模盒內煙支轉到機器相位290°～310°時，由觸發(fā)脈沖觸發(fā)工業(yè)相機對模盒內煙支進行拍照，煙絲側拍到的是第1組雙包煙2個軌道的煙包，濾嘴側拍到的是第1組雙包煙的軌道1中的煙支和第2組雙包煙的軌道2中的煙支，在拍照時濾嘴側的2個工業(yè)相機采集到的圖像其實是相差1個工位的，因此，在進行移位剔除時，濾嘴側的煙包移位數(shù)也要相差一個工位，這樣才能保證缺陷煙包準確剔除[7]。

圖2 模盒內煙支視覺檢測裝置的檢測示意圖

3 模盒內煙支視覺檢測的算法

3.1 視覺檢測中的模盒識別方法

在系統(tǒng)拍攝的煙絲端面圖像中，多數(shù)煙支區(qū)域內只包含煙絲與盤紙，灰度差異較大，系統(tǒng)根據(jù)此特點能準確地將煙絲分割[8]，但有部分煙支區(qū)域內還包括模盒部分，模盒隨著使用時間的加長會逐漸老化，其顏色也會由白色逐漸變?yōu)辄S色，在灰度化處理后，模盒與煙絲的灰度值非常接近，在后續(xù)的處理中可能會將其誤識別為煙絲，影響系統(tǒng)的檢測準確度[9]，故文中提出一種煙支空頭檢測過程中的模盒識別方法，保證煙絲分割的準確性。

具體步驟如下：

1）將煙絲端面圖像按RGB三通道分割為3張灰度圖像，分別記為Ib、Ig、Ir。

2）將Ib中每個像素點對應的灰度值與Ir中每個像素點對應的灰度值[10]進行比較，并將結果賦值給蒙板圖像Mask1，若比較值為正，蒙板圖像上相應像素點的灰度值賦值為0，若比較值非正，蒙板圖像上相應像素點的灰度值賦值為255。

3）將Ig中每個像素點對應的灰度值與Ir中每個像素點對應的灰度值作差取絕對值，結果與10進行比較，將比較結果賦值給蒙板圖像Mask2，若比較值為正，蒙板圖像上相應像素點的灰度值賦值為0，若比較值非正，蒙板圖像上相應像素點的灰度值賦值為255。

4）蒙板圖像mask1、mask2求交集，將兩蒙板圖像作“與”操作得到蒙板圖像mask3。

5）使用蒙板圖像mask3對原彩色圖像進行賦值處理。若蒙板圖像中某像素點的灰度值為255，則將煙絲端面圖像相應像素點的RGB值全部賦值為255；若蒙板圖像某像素點的灰度值為0，則相應像素點的RGB值不變。此時，煙絲端面圖像中漸變成黃色的模盒部分已識別并設置為白色。

第2和第3處理過程見式（1）。

其中，()、()、()分別為原圖像BGR的3個通道的灰度值。

最后處理效果見圖3。

圖3 去除模盒實驗效果

原彩色圖像經(jīng)該方法處理后，得到結果如圖3d所示，煙絲右側的黃色模盒部分均已識別出并已全部設置為白色，此時模盒與煙絲部分形成了鮮明的對比。如圖3e所示，圖像經(jīng)過二值化[11]處理并繪制的輪廓能更為準確地反應出煙絲的實際情況。

3.2 煙支自動定位方法

由于FX2包裝機特殊的煙支裝填方式，煙支在模盒中晃動較大，對基于機器視覺技術的煙支檢測裝置提出了更高的要求。為了保證煙支檢測的準確性，文中提出一種智能的、自動的煙支定位[12]方法，準確確定各煙支的檢測區(qū)域。下面將以煙絲側為例進行詳細說明。

對圖像傳感器采集的待檢煙支煙絲端面圖像進行灰度化處理，見圖4。

圖4 煙絲灰度圖像

以圖像像素灰度值作為投影特征進行水平投影，見式（2），得到水平投影曲線如圖5所示。在水平投影曲線中，每排煙支邊界處的投影值相對周圍其他區(qū)域較大，形成波峰。

對水平投影曲線進行式（3）的特殊濾波處理，得到與煙支排數(shù)相對應的幾段獨立波形，波形圖像，見圖6。

最后查找確定各段波形中波峰的具體位置，根據(jù)波峰位置對灰度圖像進行分割可得到每排煙支對應的圖像，見圖7。

圖7 水平分割效果圖像

同理，以圖像像素灰度值作為投影特征分別對分割出的每排煙支圖像進行垂直方向的投影，得到垂直投影曲線。在垂直投影曲線中，每支煙邊界處的投影值會相對周圍其他區(qū)域較大，形成波峰。對垂直投影曲線進行特殊濾波處理，得到與煙支數(shù)相對應的幾段獨立波形。查找確定各段波形中波峰的具體位置，根據(jù)波峰位置對灰度圖像進行分割可得到該排煙支中包含的各煙支，最終確定模盒內各煙支的準確位置，最后分割效果見圖8。

圖8 最終定位效果圖像

在進行空頭或缺支檢測前，先采用該方法對煙絲或濾嘴側圖像進行煙支位置的準確分割，達到每支煙支準確定位的效果，能對香煙包裝機模盒內的煙支進行準確定位，確定各煙支的檢測區(qū)域，從而保證后續(xù)煙支空頭檢測的準確性。

3.3 煙支空頭識別方法

如圖9所示，為了有效地識別煙支空頭，將工業(yè)相機的光學鏡頭中心軸與待檢測煙支的煙絲端面成一定角度，以最常見的直徑為7.8 mm的煙支為例，要求煙支空頭基準的可調范圍為0～5 mm，如果煙支空頭5 mm，當圖像傳感器拍攝到的恰好全部是白色的煙支盤紙內表面時，光學鏡頭與煙支之間的角度為57.4°，實際安裝時該角度應該略小于57.4°，即當煙支空頭5 mm時圖像傳感器還能拍攝到很小的煙絲區(qū)域，這樣可以保證煙支空頭基準設為5 mm時是有效的。

一支空頭約為3 mm煙支的煙絲端面的圖像需要經(jīng)過的一系列圖像處理流程，見圖10。當工業(yè)相機采集到待檢測煙支煙絲端面的圖像后，傳送至控制器中進行圖像處理，因為煙絲為褐色、盤紙內表面為白色，所以可以利用這種明顯的顏色對比，通過圖像處理技術對煙絲進行識別，處理過程包括灰度化處理、二值化處理、腐蝕處理、膨脹處理?；叶然菍D像傳感器拍攝到的煙絲端面的彩色圖像轉換為灰度圖像；二值化是將煙絲與煙支盤紙內表面進行區(qū)分；腐蝕及膨脹是消除經(jīng)二值化處理后的圖像中的一些小噪點。這樣可以提高后續(xù)查找煙絲區(qū)域輪廓的速度，將煙絲像素的灰度值設為255，煙支盤紙內表面像素的灰度值設為0，查找并繪制待檢測煙支煙絲區(qū)域輪廓，再計算出待檢測煙支煙絲區(qū)域輪廓面積，即待檢測煙支煙絲區(qū)域的像素數(shù)，然后將待檢測煙支煙絲區(qū)域的像素數(shù)與基準值進行比較，當待檢測煙支煙絲區(qū)域的像素數(shù)小于基準值時，判斷煙支為空頭煙支。

圖9 煙絲側工業(yè)相機的鏡頭角度

圖10 煙絲測圖像處理流程

3.4 煙支缺支識別方法

煙支缺支的識別方法見圖11，為了有效地識別煙支缺支，將工業(yè)相機的光學鏡頭中心軸與待檢測煙支的濾嘴端面垂直，拍攝濾嘴端面的圖像。因為濾嘴是白色的，所以有濾嘴的部分亮度很高，沒有濾嘴的部分亮度很低，這樣就能很明顯的區(qū)分出是否缺支。

工業(yè)相機采集到濾嘴側圖像后傳到控制器進行圖像處理，圖像處理包括灰度化、二值化、腐蝕、膨脹等處理，查找并繪制出濾嘴端面區(qū)域的輪廓線，計算各濾嘴端面區(qū)域輪廓線包圍的像素數(shù)，當濾嘴端面區(qū)域像素數(shù)低于用戶設定的基準值時計算機則判斷該煙支位置缺少煙支。如圖12所示，當檢測框內不缺支時，計算輪廓面積為6 655像素，而當檢測框內缺支時，計算輪廓面積為2 009像素，兩者之間差異非常明顯，因此，此方法能有效檢測出模盒內煙支是否缺支。

圖11 濾嘴側工業(yè)相機的鏡頭角度

圖12 煙支缺支識別方法

4 檢測裝置控制程序的設計

4.1 取消原機煙支檢測組件配置

原機煙支端部檢測組件通過Ethenet與FX2包裝機Profibus總線通信網(wǎng)絡[13]連接在一起（見圖13），安裝煙支視覺檢測后，需保留原機煙支檢測的網(wǎng)絡配置，保證設備網(wǎng)絡通信正常，并將原機煙支檢測組件功能關閉（見圖14）。

圖13 FX2包裝機總線網(wǎng)絡

圖14 關閉原機煙支檢測組件功能

4.2 設置視覺檢測相位

結合FX2的七角輪安裝位置、運行軌跡和相位變化，給煙支視覺檢測添加觸發(fā)、剔除及自診斷的相位區(qū)間，使視覺檢測在相應的相位區(qū)間給設備輸出剔除[14]、報警和停機的指令，見圖15。

圖15 設置視覺檢測相位區(qū)間

4.3 程序編寫

煙支視覺檢測輸出一個8位二進制變量，用于傳遞檢測、剔除、自診斷信號[15]。根據(jù)生產(chǎn)需要確定程序段所需要具備的功能，編寫相機觸發(fā)、空頭和缺支信號輸出以及自診斷信號的程序，見圖16。

4.4 設置剔除移位

設置空頭和缺支煙包的剔除移位REJECT_005和REJECT_006，如圖17所示，使缺陷煙包在第一干燥鼓入口處剔除。

5 應用效果

完成煙支視覺檢測改造后，進行連續(xù)10個工作日的跟蹤記錄，將煙支視覺檢測系統(tǒng)每天的剔除數(shù)量、誤剔除的煙包數(shù)量、下游機缺陷品返回的煙包數(shù)量進行數(shù)據(jù)統(tǒng)計。改造前的統(tǒng)計數(shù)據(jù)見表1，由數(shù)據(jù)可知，改造前的煙支檢測系統(tǒng)對模盒內煙支缺陷的誤檢率高達8.3%，漏檢率達4.2%，檢測效果很不理想；改造后的統(tǒng)計數(shù)據(jù)見表2，由數(shù)據(jù)可知，改進后的煙支視覺檢測系統(tǒng)對模盒內煙支缺陷的誤檢率為0.3%，漏檢率為0%，能有效保證模盒內煙支的質量。

圖17 設置空頭和缺支煙包的剔除移位

表1 改造前的剔除數(shù)據(jù)統(tǒng)計

Tab.1 Statistics of eliminated data before transformation

注：缺陷產(chǎn)品主要包括模盒內煙支空頭、煙支缺支、煙支歪斜以及斷殘煙支等4種缺陷類型。

表2 改造后的剔除數(shù)據(jù)統(tǒng)計

Tab.2 Statistics of eliminated data after transformation

注：缺陷產(chǎn)品主要包括模盒內煙支空頭、煙支缺支、煙支歪斜以及斷殘煙支等4種缺陷類型。

6 結語

文中基于視覺成像技術設計了一種高速包裝機模盒內煙支檢測裝置，對高速包裝機模盒內煙支質量缺陷進行判別和剔除。該煙支檢測裝置能有效地解決機械探針式煙支檢測在檢測模盒內煙支時存在誤檢和漏檢的問題，提高了產(chǎn)品質量，降低了廢煙消耗，提高了設備有效作業(yè)率，可推廣應用于行業(yè)內所有包裝設備上。

[1] 張濤, 張昆. 一種煙支空頭檢測器設計[J]. 電子科學技術, 2015, 2(2): 224-225.

ZHANG Tao, ZHANG Kun. The Design of Cigarette Loose End Detector[J]. Electronic Science & Technology, 2015, 2(2): 224-225.

[2] 王法明. 一種光電式煙支檢測系統(tǒng)的設計[J]. 儀器儀表用戶, 2008, 15(4): 43-44.

Wang Fa-ming. Design of Cigarette Monitor System Based on Photoelectric[J]. Instrumentation Customer, 2008, 15(4): 43-44.

[3] 章磊, 李耀, 劉光徽. 基于機器視覺的煙支檢測系統(tǒng)的設計[J]. 電子技術應用, 2012, 38(5): 15-18.

ZHANG Lei, LI Yao, LIU Guang-hui. Designing of Cigarette Detection System Based on Machine Vision[J]. Application of Electronic Technique, 2012, 38(5): 15-18.

[4] 史騰虎, 李少波, 于麗婭, 等. P LC編程方法、方式研究[J]. 自動化儀表, 2021, 42(7): 31-36.

SHI Teng-hu, LI Shao-bo, YU Li-ya, et al. Research on PLC Programming Method and Mode[J]. Process Automation Instrumentation, 2021, 42(7): 31-36.

[5] 盧凡. 基于機器視覺的包裝機空頭煙支檢測技術研究[J]. 輕工機械, 2010, 28(2): 65-67.

Lu Fan. Research on Detection Technology of the Packaging Machines Loose Ends Based on Machine Vision[J]. Light Industry Machinery, 2010, 28(2): 65-67.

[6] 閆楓, 吳斌. 視覺檢測系統(tǒng)中的光源照明方法[J]. 兵工自動化, 2006, 25(11): 85-86.

YAN Feng, WU Bin. Lamp-House Illumination Method in Visual Detection System[J]. Ordnance Industry Automation, 2006, 25(11): 85-86.

[7] 李詢, 王福利. 包裝機缺支自動剔除裝置[J]. 煙草科技通訊, 1979, 12(3): 7-9.

LI Xun, WANG Fu-li. Automatic Eliminating Device for Missing Branch of Packaging Machine[J]. Tobacco Science & Technology, 1979, 12(3): 7-9.

[8] 許新征, 丁世飛, 史忠植, 等. 圖像分割的新理論和新方法[J]. 電子學報, 2010, 38(2): 76-82.

XU Xin-zheng, DING Shi-fei, SHI Zhong-zhi, et al. New Theories and Methods of Image Segmentation[J]. Acta Electronica Sinica, 2010, 38(2): 76-82.

[9] 景曉軍, 蔡安妮, 孫景鰲. 一種基于二維最大類間方差的圖像分割算法[J]. 通信學報, 2001, 22(4): 71-76.

JING Xiao-jun, CAI An-ni, SUN Jing-ao. Image Segmentation Based on 2D Maximum Between-Cluster Variance[J]. Journal of China Institute of Communications, 2001, 22(4): 71-76.

[10] 李強, 張鈸. 一種基于圖像灰度的快速匹配算法[J]. 軟件學報, 2006, 17(2): 216-222.

LI Qiang, ZHANG Bo. A Fast Matching Algorithm Based on Image Gray Value[J]. Journal of Software, 2006, 17(2): 216-222.

[11] 吳冰, 秦志遠. 自動確定圖像二值化最佳閾值的新方法[J]. 測繪學院學報, 2001, 18(4): 283-286.

WU Bing, QIN Zhi-yuan. New Approaches for the Automatic Selection of the Optimal Threshold in Image Binarization[J]. Journal of Geomatics Science and Technology, 2001, 18(4): 283-286.

[12] 傅衛(wèi)平, 秦川, 劉佳, 等. 基于SIFT算法的圖像目標匹配與定位[J]. 儀器儀表學報, 2011, 32(1): 163-169.

FU Wei-ping, QIN Chuan, LIU Jia, et al. Matching and Location of Image Object Based on SIFT Algorithm[J]. Chinese Journal of Scientific Instrument, 2011, 32(1): 163-169.

[13] 夏繼強, 邢春香, 耿春明, 等. 工業(yè)現(xiàn)場總線技術的新進展[J]. 北京航空航天大學學報, 2004, 30(4): 358-362.

XIA Ji-qiang, XING Chun-xiang, GENG Chun-ming, et al. Development of the Fieldbus Technology[J]. Journal of Beijing University of Aeronautics and Astronautics, 2004, 30(4): 358-362.

[14] 蔡培良, 楊劍鋒, 李明, 等. C800–BV包裝機條盒紙膠點視覺檢測系統(tǒng)的設計[J]. 煙草科技, 2017, 50(9): 92-96.

CAI Pei-liang, YANG Jian-feng, LI Ming, et al. Design of Visual Detection System for Glue Points on Carton Blank for C800-BV Cartoner[J]. Tobacco Science & Technology, 2017, 50(9): 92-96.

[15] 蔡培良, 何邦貴, 華衛(wèi), 等. BV包裝機條煙外觀質量檢測裝置的設計[J]. 包裝工程, 2018, 39(23): 143-150.

CAI Pei-liang, HE Bang-gui, HUA Wei, et al. Design of Inspection Device for the Appearance Quality of Cigarette in BV Packaging Machine[J]. Packaging Engineering, 2018, 39(23): 143-150.

Cigarette Detection in Mold Box of FX2 High-speed Packaging Machine Based on Visual Imaging Technology

PAN Yu-ting, CAI Pei-liang, ZHANG Jing, DU Pu-ze, TANG Yu-lin, LYU Guo-qiang, SHAO Le-le

(Qujing Cigarette Factory, Hongyun Honghe (Group) Co., Ltd., Yunnan Qujing 655001, China)

The work aims to solve the problems of false detection and missing detection of cigarettes in the mold box by mechanical probe. A cigarette detection device used in the mold box of high-speed packaging machine was designed based on visual imaging technology. Through the research on the key technologies, including the installation of industrial camera, LED light source and controller, dynamic image acquisition and image processing algorithm, and design of PLC control program. After the cigarette detection device was installed and used, the detection accuracy of defective cigarettes in the mold box was ≥ 98%, and the false detection rate was ≤ 1%. The cigarette detection device can effectively solve the problems of false detection and missing detection of cigarette by mechanical probe, improve the product quality, reduce the waste cigarette consumption, and improve the effective operation rate of equipment and can be widely used in all packaging equipment in the industry.

packaging machine; cigarette detection; visual detection; image processing algorithm; PLC programming

TB486

A

1001-3563(2023)05-0188-08

10.19554/j.cnki.1001-3563.2023.05.024

2022?03?23

云南省科技項目（2018BA087）

潘昱亭（1994—），男，本科，助理工程師，主要研究方向為卷煙包裝設備電氣故障診斷。

蔡培良（1972—），男，高級工程師，主要研究方向為卷包設備和電氣控制理論。

責任編輯：曾鈺嬋