王文博，章 軍，汪建偉，應(yīng) 偉，馮 東，陸曉家，沈宇航，陳 明，張 龍，王 澍，董 浩*,3,4

1.浙江中煙工業(yè)有限責(zé)任公司杭州卷煙廠，杭州市西湖區(qū)科海路118 號(hào) 310024

2.中國科學(xué)院合肥物質(zhì)科學(xué)研究院，合肥市蜀山湖路350 號(hào) 230031

3.中國科學(xué)技術(shù)大學(xué)，合肥市金寨路96 號(hào) 230026

4.國家煙草質(zhì)量監(jiān)督檢驗(yàn)中心，鄭州高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)翠竹街6 號(hào) 450001

卷煙小盒外觀缺陷會(huì)嚴(yán)重影響卷煙產(chǎn)品質(zhì)量，現(xiàn)行國家標(biāo)準(zhǔn)中規(guī)定的缺陷類型包括煙盒破損、透明紙褶皺、包裝紙污漬等幾十種［1］，對(duì)其進(jìn)行檢測(cè)和質(zhì)量控制主要依靠包裝設(shè)備上配置的在線檢測(cè)裝置［2］。當(dāng)前主要采用計(jì)算機(jī)視覺技術(shù)進(jìn)行卷煙外觀質(zhì)量檢測(cè)，由于包裝設(shè)備種類、型號(hào)豐富，檢測(cè)原理和圖像處理算法也各不相同，導(dǎo)致不同設(shè)備間的檢測(cè)能力存在較大差異［3-5］。機(jī)器視覺外觀缺陷檢測(cè)系統(tǒng)主要由硬件和軟件兩大模塊組成，硬件部分獲取目標(biāo)圖像數(shù)據(jù)并上傳至軟件進(jìn)行分析。因此，圖像數(shù)據(jù)是評(píng)價(jià)視覺檢測(cè)系統(tǒng)性能的原始數(shù)據(jù)，其成像質(zhì)量直接影響系統(tǒng)的分析決策結(jié)果。研究表明，影響成像質(zhì)量的主要因素有光照均勻性、成像畸變率、圖像清晰度等［6-8］。光照不均勻會(huì)弱化圖像中的細(xì)節(jié)信息，影響工業(yè)檢測(cè)的準(zhǔn)確性和穩(wěn)定性；成像畸變率過大會(huì)影響小缺陷的特征形態(tài)，進(jìn)而影響目標(biāo)檢測(cè)的識(shí)別率；鏡頭對(duì)焦不準(zhǔn)會(huì)模糊圖像邊界的細(xì)節(jié)特征，影響缺陷檢測(cè)結(jié)果。為此，搭建卷煙小盒外觀缺陷離線檢測(cè)系統(tǒng)以模擬煙盒在線檢測(cè)過程，通過分析不同成像條件下檢測(cè)系統(tǒng)對(duì)煙盒外觀缺陷的識(shí)別率，建立一種卷煙小盒外觀缺陷檢測(cè)設(shè)備成像質(zhì)量評(píng)價(jià)方法，以期提升卷煙產(chǎn)品包裝品質(zhì)。

1 材料與方法

1.1 材料

“利群（長嘴）”牌卷煙小盒（由浙江中煙工業(yè)有限責(zé)任公司杭州卷煙廠提供）。與煙盒尺寸近似的白度標(biāo)準(zhǔn)塊（120 mm×50 mm×30 mm，圖1a），材質(zhì)為聚四氟乙烯，光譜反射率＞99%，換算成標(biāo)準(zhǔn)灰階為253；與白度標(biāo)準(zhǔn)塊同等規(guī)格和材質(zhì)的棋盤格標(biāo)準(zhǔn)塊（圖1b），其測(cè)試面印有10×7 個(gè)黑/白正方形方塊，每個(gè)方塊尺寸為10 mm×10 mm。

1.2 設(shè)備與儀器

DLAP-3200-CFP12 型工業(yè)計(jì)算機(jī)，采用Intel?Core?CPU i7-8700K@3.70 GHz 處理器和NVIDIA GeForce RTX 1080Ti 顯卡，內(nèi)存為48 GB［凌華科技（中國）有限公司］；DFK23G274 型CCD 相機(jī)（德國Imaging Source公司）；焦距為5.0、8.0、16.0 mm的鏡頭（日本Computa 公司）；焦距為12.5 mm 的鏡頭（日本FUJIFILM 公司）；焦距為4.0 mm 的鏡頭（福建浩藍(lán)光電有限公司）。

1.3 方法

1.3.1 搭建離線檢測(cè)系統(tǒng)

卷煙小盒外觀缺陷離線檢測(cè)系統(tǒng)由顯示屏、成像模塊、照明模塊、輸送帶、動(dòng)力裝置以及計(jì)算機(jī)等組成，見圖2。裝置啟動(dòng)后，輸送帶4在動(dòng)力裝置6帶動(dòng)下將煙盒7以5 m/s的速度輸送至檢測(cè)工位，設(shè)置在輸送帶兩側(cè)的擋板5可以限制煙盒運(yùn)動(dòng)軌跡，以保證煙盒成像位姿具有一致性；煙盒在照明模塊3照射下由成像模塊2 采集圖像并將圖像上傳至工業(yè)計(jì)算機(jī)8進(jìn)行缺陷檢測(cè)；通過顯示屏1可顯示系統(tǒng)工作流程及檢測(cè)結(jié)果。其中，成像模塊可以配置1～3 臺(tái)位置可調(diào)的CCD 相機(jī)，照明模塊可以配置條形LED、環(huán)形LED 以及漫反射穹頂光源，工業(yè)計(jì)算機(jī)安裝了煙盒缺陷檢測(cè)軟件。

圖2 卷煙小盒外觀缺陷離線檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖Fig.2 Structure of offline inspection apparatus for cigarette packet appearance quality

1.3.2 建立缺陷檢測(cè)算法

如圖3 所示，根據(jù)文獻(xiàn)［9-10］設(shè)計(jì)基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的圖像特征提取器，并建立基于正常樣本的卷煙小盒外觀缺陷檢測(cè)算法。缺陷檢測(cè)算法原理為：①構(gòu)建深度卷積殘差網(wǎng)絡(luò)ResNet25［11］并使用前16 層，在公開數(shù)據(jù)集ImageNet 上進(jìn)行預(yù)訓(xùn)練，將訓(xùn)練好的模型作為特征提取器；②將無缺陷煙盒圖像集輸入特征提取器，獲取圖像中各區(qū)域的特征分布；③將測(cè)試圖像輸入特征提取器提取特征，并使用馬氏距離［12］計(jì)算圖像中每一個(gè)區(qū)域特征與無缺陷特征分布之間的異常值，若異常值超出設(shè)定閾值則定義為缺陷區(qū)域。閾值的確定方法：人工挑選11個(gè)正常樣本，隨機(jī)挑選其中1個(gè)作為合格標(biāo)準(zhǔn)樣品，計(jì)算剩余10個(gè)測(cè)試樣本與合格標(biāo)準(zhǔn)樣品圖像中各區(qū)域馬氏距離的最大值，并將其作為對(duì)應(yīng)區(qū)域的判定閾值。

圖3 卷煙小盒外觀缺陷檢測(cè)算法原理圖Fig.3 Principle of inspection algorithm for cigarette packet appearance defects

軟件環(huán)境配置：Ubuntu Server 18.04、PyTorch 1.10.1、Python 3.6.13、CUDA 11.3。構(gòu)建特征提取器時(shí)參數(shù)設(shè)置：訓(xùn)練正常樣本圖像320 張，統(tǒng)一尺寸為256 px×256 px，訓(xùn)練迭代次數(shù)為200，訓(xùn)練批次大小為32。

1.3.3 標(biāo)準(zhǔn)缺陷煙盒樣本的制作

表1 為常見的9 類卷煙小盒外觀缺陷以及相應(yīng)質(zhì)控標(biāo)準(zhǔn)。依據(jù)表1中的質(zhì)控標(biāo)準(zhǔn)設(shè)計(jì)了缺陷標(biāo)簽，并粘貼在煙盒表面制作標(biāo)準(zhǔn)缺陷煙盒樣本，缺陷標(biāo)簽設(shè)計(jì)與粘貼要求：①標(biāo)簽尺寸為2 mm×2 mm；②在0～255 灰階范圍內(nèi)，設(shè)計(jì)25 種不同灰度值的缺陷標(biāo)簽（圖4a），為避免標(biāo)簽顏色與煙盒背景色差過小而影響系統(tǒng)識(shí)別率，根據(jù)公式（1）選取合理灰度值的缺陷標(biāo)簽；③將缺陷標(biāo)簽粘貼至煙盒相應(yīng)位置（圖4b），煙盒正、反面及兩個(gè)側(cè)面的粘貼位置均相互對(duì)應(yīng)，單個(gè)煙盒共包含30 個(gè)標(biāo)簽（正、反面各12 個(gè)，與輸送帶無接觸的3個(gè)側(cè)面各2個(gè)）。

表1 常見9類卷煙小盒外觀缺陷Tab.1 Nine common appearance defects of cigarette packet

圖4 缺陷標(biāo)簽灰度設(shè)計(jì)與粘貼位置示意圖Fig.4 Schematic diagram of grayscales and pasting locations of defect labels

式中：C為區(qū)域顏色對(duì)比度，%；VB為煙盒背景中非圖案、條紋的主色區(qū)域的平均灰度值（通過CCD 相機(jī)隨機(jī)采樣至少10個(gè)像素點(diǎn)并取平均值）；VT為標(biāo)簽的設(shè)計(jì)灰度值。

1.3.4 成像質(zhì)量對(duì)煙盒外觀缺陷檢測(cè)結(jié)果的影響

1.3.4.1 實(shí)驗(yàn)設(shè)計(jì)

選取光照均勻性、成像畸變率、成像清晰度以及圖像分辨率4 個(gè)指標(biāo)評(píng)估成像質(zhì)量對(duì)煙盒外觀缺陷識(shí)別率的影響。其中：①在照明模塊上依次安裝條形LED、環(huán)形LED以及漫反射穹頂光源（照明距離均設(shè)置為150 mm），以實(shí)現(xiàn)不同光照均勻性的成像環(huán)境。在安裝條形LED 光源時(shí)通過調(diào)整入射角（0°、30°、60°以及90°）可以改變光照均勻性。②固定使用漫反射穹頂光源照明，通過更換不同焦距F（4.0、5.0、8.0、12.5、16.0 mm）的鏡頭，以實(shí)現(xiàn)不同成像畸變率的成像環(huán)境。③固定使用漫反射穹頂光源照明并采用焦距F=8 mm 的鏡頭，通過對(duì)鏡頭圈進(jìn)行焦距微調(diào)以實(shí)現(xiàn)不同清晰度的成像環(huán)境。④固定使用漫反射穹頂光源照明并采用焦距F=8 mm 的鏡頭，將CCD 相機(jī)圖像分辨率分別調(diào)至28 px×28 px、32 px×32 px、64 px×64 px、128 px×128 px以及256 px×256 px時(shí)采集圖像。

不同光照均勻性實(shí)驗(yàn)中，在3 個(gè)對(duì)比度范圍（C≥10%、5%≤C＜10%、C<5%）內(nèi)隨機(jī)選取缺陷標(biāo)簽制作3種標(biāo)準(zhǔn)缺陷煙盒樣品，考察對(duì)比度對(duì)缺陷識(shí)別率的影響；不同成像畸變率、成像清晰度以及圖像分辨率實(shí)驗(yàn)中，僅選取對(duì)比度C≥10%的缺陷標(biāo)簽制作標(biāo)準(zhǔn)缺陷煙盒樣品。每個(gè)實(shí)驗(yàn)條件下分別測(cè)試10個(gè)標(biāo)準(zhǔn)缺陷煙盒樣品的缺陷識(shí)別率，取平均值。

1.3.4.2 指標(biāo)量化方法

圖像分辨率可直接獲得，成像清晰度采用Tenengrad 梯度函數(shù)［13-14］進(jìn)行計(jì)算，光照均勻性和成像畸變率則需要建立相應(yīng)的量化方法。

（1）光照均勻性。在不同光照條件下，將白度標(biāo)準(zhǔn)塊置于卷煙小盒的檢測(cè)工位，利用離線檢測(cè)系統(tǒng)采集圖像，選取單個(gè)檢測(cè)面的感興趣區(qū)域（Region of Interest，ROI），根據(jù)公式（2）計(jì)算該檢測(cè)面的光照均勻性系數(shù)IP。利用IP值表征光照均勻性，光照越均勻，IP值越小。

式中：fROI（x,y）表示ROI 區(qū)域中像素點(diǎn)的像素值，0～255 灰階；STD（）為求標(biāo)準(zhǔn)偏差函數(shù)；MEAN（）為求平均值函數(shù)。

（2）成像畸變率。圖5示意了基于棋盤格標(biāo)準(zhǔn)塊的成像畸變率計(jì)算原理，在不同成像畸變率條件下，將棋盤格標(biāo)準(zhǔn)塊置于卷煙小盒檢測(cè)工位并將棋盤格測(cè)試面的中心點(diǎn)記為原點(diǎn)O，P為沿45°方向在棋盤格區(qū)域內(nèi)距離O點(diǎn)的最遠(yuǎn)點(diǎn)。采用局部幾何畸變測(cè)量方法（local geometric distortion method）［15］計(jì)算圖像畸變率Od。

式中：L為點(diǎn)P距離點(diǎn)O的實(shí)際距離，mm；l為圖像中點(diǎn)P距離點(diǎn)O的計(jì)算距離，mm。

2 結(jié)果與討論

2.1 光照均勻性對(duì)缺陷識(shí)別率的影響

圖6為不同光照條件下采集的白度標(biāo)準(zhǔn)塊圖像，根據(jù)公式（2）計(jì)算其光照均勻性系數(shù)，并在不同光照均勻性環(huán)境下對(duì)標(biāo)準(zhǔn)缺陷樣品進(jìn)行檢測(cè)，結(jié)果見表3?？梢?，在6種光照條件下，隨著光照均勻性系數(shù)的降低，檢測(cè)系統(tǒng)對(duì)不同對(duì)比度缺陷標(biāo)簽的識(shí)別率均呈上升趨勢(shì)，采用漫反射穹頂光源時(shí)缺陷識(shí)別率最高；采用條形光源時(shí)，入射角會(huì)影響光照均勻性，當(dāng)入射角為0°時(shí)，光照最均勻；在同一種光照條件下，缺陷標(biāo)簽與煙盒背景的對(duì)比度C值越大，缺陷識(shí)別率越高。為保證檢測(cè)效率和識(shí)別準(zhǔn)確性，將光照均勻性系數(shù)閾值設(shè)置為5.0%，在檢測(cè)過程中若光照均勻性系數(shù)測(cè)量值大于5.0%，則應(yīng)調(diào)整光源結(jié)構(gòu)直至光照均勻性系數(shù)滿足要求。

圖6 白度標(biāo)準(zhǔn)塊圖像及對(duì)應(yīng)光照條件Fig.6 Images of whiteness standard block and corresponding illumination conditions

2.2 成像畸變率對(duì)缺陷識(shí)別率的影響

不同焦距鏡頭具有不同的成像畸變率，圖7為使用不同焦距鏡頭采集的棋盤格標(biāo)準(zhǔn)塊圖像，根據(jù)公式（2）計(jì)算圖像畸變率，并在不同成像畸變率環(huán)境下對(duì)標(biāo)準(zhǔn)缺陷樣品進(jìn)行檢測(cè)，結(jié)果見表4?？梢?，成像畸變率絕對(duì)值與焦距呈負(fù)相關(guān)。當(dāng)成像畸變率絕對(duì)值≤1.15%時(shí)，缺陷識(shí)別率無明顯變化；當(dāng)成像畸變率絕對(duì)值＞1.15%時(shí)，缺陷識(shí)別率略微下降。整體上，成像畸變率對(duì)煙盒外觀缺陷識(shí)別率影響不大。

表4 不同成像畸變率條件下煙盒外觀缺陷識(shí)別率①Tab.4 Recognition rate of cigarette packet appearance defects at different imaging distortion rates

圖7 不同焦距鏡頭采集的棋盤格標(biāo)準(zhǔn)塊圖像Fig.7 Checkerboard standard block images collected by lenses with different focal lengths

2.3 成像清晰度對(duì)缺陷識(shí)別率的影響

圖8 和表5 分別為不同成像清晰度條件下采集的煙盒外觀圖像以及根據(jù)文獻(xiàn)［11-12］得到的成像清晰度T值。由表5可見，缺陷識(shí)別率與清晰度T值正相關(guān)。當(dāng)T＞12 時(shí)，缺陷識(shí)別率差異較?。划?dāng)T＜12 時(shí)，缺陷識(shí)別率顯著下降。因此，將T=12 設(shè)置為清晰度閾值，在檢測(cè)過程中若清晰度測(cè)量值T＜12，則調(diào)整或更換鏡頭直至清晰度滿足要求。

表5 不同成像清晰度條件下煙盒外觀缺陷識(shí)別率①Tab.5 Recognition rate of cigarette packet appearance defects at different imaging clarity

圖8 煙盒外觀圖像及對(duì)應(yīng)成像清晰度T值Fig.8 Images of cigarette packet and corresponding imaging clarity

2.4 圖像分辨率對(duì)缺陷識(shí)別率的影響

圖9 和表6 分別為不同圖像分辨率下煙盒外觀圖像及缺陷識(shí)別率。由表6可見，缺陷識(shí)別率與圖像分辨率呈正相關(guān)。當(dāng)圖像分辨率低于128 px×128 px時(shí)，缺陷識(shí)別率明顯降低。因此，在檢測(cè)過程中將CCD相機(jī)的圖像分辨率調(diào)至128 px×128 px及以上。

表6 不同圖像分辨率下煙盒外觀缺陷識(shí)別率Tab.6 Recognition rate of cigarette pocket appearance defects at different image resolutions

圖9 不同圖像分辨率下采集的煙盒外觀圖像Fig.9 Images of cigarette packet collected at different image resolutions

3 結(jié)論

搭建一種卷煙小盒外觀缺陷離線檢測(cè)系統(tǒng)并獲得不同成像條件下標(biāo)準(zhǔn)缺陷煙盒樣本的圖像，采用光照均勻性、成像畸變率、成像清晰度以及圖像分辨率4 項(xiàng)指標(biāo)評(píng)估成像質(zhì)量對(duì)煙盒缺陷識(shí)別率的影響。結(jié)果表明：①光照均勻性越好、成像清晰度和圖像分辨率越高，缺陷識(shí)別率越高；成像畸變率對(duì)缺陷識(shí)別率的影響不大。②采用漫反射穹頂光源時(shí)光照均勻性最好，采用條形光源時(shí)最佳入射角為0°。③為保證檢測(cè)效率和識(shí)別準(zhǔn)確性，檢測(cè)系統(tǒng)中各參數(shù)閾值分別為光照均勻性系數(shù)＜5.0%、成像清晰度T值＞12、圖像分辨率≥128 px×128 px。