李　敏， 周　強， 陳　晗， 王亞波

(陜西科技大學(xué) 電氣與信息工程學(xué)院， 陜西 西安　710021)

0　引言

在日常生活中，人們通過噴碼印刷的塑料薄膜包裝了解產(chǎn)品信息，但是塑料薄膜包裝噴碼印刷過程中由于不確定因素的干擾，導(dǎo)致產(chǎn)品會出現(xiàn)印刷不清、漏印、白點、褶皺、拖筆、斷筆畫等缺陷，造成產(chǎn)品文字信息的不完全，從而對人們了解產(chǎn)品信息造成影響，因此印刷產(chǎn)品的文字缺陷問題不容忽視.

現(xiàn)今，針對文字缺陷檢測的方法有文字字庫識別檢測、直接匹配差分檢測[1]、骨架模板匹配檢測[2]等方法.其中，文字字庫檢測需要將所有文字一一辨識出來進行訓(xùn)練，運算量過大，時長無法滿足工業(yè)上的效率要求；直接匹配差分檢測需將閾值分割出的文字與標準圖像文字進行匹配以得到缺陷信息，檢測速度過慢，誤差較大；而骨架模板匹配檢測則需通過粗精分割、連通量分析得到骨架模板，將樣品圖像與骨架模板匹配得到缺陷信息，此方法較前兩種檢測法精度有所提高，但在背景復(fù)雜區(qū)域無法輕易提取出骨架模板，不易檢測出缺陷.

相對而言，針對印刷產(chǎn)品圖像缺陷的檢測研究成果較為成熟，常用的方法有圖像差分法、模板匹配法及分層檢測法，為縮短檢測時間，一些學(xué)者還提出了分層和隔點抽樣檢測法[3,4].但是以上方法通常不能有效解決印刷過程中各色板因配準誤差、抖動等帶來的影響，檢測精度不夠高.為提高圖像缺陷的檢測精度，又有學(xué)者提出分區(qū)域分等級檢測方法[5]，將印刷品設(shè)置成不同的檢測等級進行缺陷特征分析，但此方法對于缺陷的定位不夠精確，只可以檢測到一般的圖像缺陷，對于細小的文字缺陷檢測結(jié)果誤差往往較大.因此，針對現(xiàn)有方法的不足，找出一種能夠快速精確檢測印刷文字缺陷的方法至關(guān)重要.

針對塑料薄膜印刷品文字缺陷，本文將待檢測文字區(qū)域視為一種小篇幅圖像，提出針對文字缺陷圖像的檢測算法：首先對樣本圖像進行多次分割，實現(xiàn)多區(qū)域聯(lián)合定位的變形補償和差分規(guī)律訓(xùn)練，隨后通過待檢測文字圖像與差分模型的對比，以獲得印刷品文字缺陷信息.并且由于HALCON軟件功能完善且效率高，因而本文在HALCON平臺上進行了算法研究以實現(xiàn)文字缺陷檢測的功能.實驗結(jié)果表明該方法可以實現(xiàn)對文字缺陷的精確定位，提高檢測速度，可大大減少漏檢誤檢的發(fā)生，具有一定的生產(chǎn)指導(dǎo)意義.

1　檢測系統(tǒng)及檢測流程

印刷工業(yè)的自動化生產(chǎn)線上，缺陷檢測系統(tǒng)對經(jīng)過噴涂印刷的塑料薄膜進行文字在線檢測和廢品剔除.

如圖1所示，缺陷檢測系統(tǒng)主要由機械傳送模塊、圖像采集模塊、計算機控制模塊組成.機械傳送模塊主要由傳送機械和編碼器組成，其將產(chǎn)品按一定速度運送到檢測區(qū)域；圖像采集模塊由LED光源，CCD線陣相機，鏡頭和采集卡組成，通過線陣相機拍攝印刷品并將圖像傳送到計算機；計算機控制模塊主要由計算機，IO卡及報警裝置組成，支持開發(fā)者在HALCON軟件平臺上進行圖像處理算法的設(shè)計、仿真和調(diào)試，并生成可執(zhí)行的C++程序?qū)Ξa(chǎn)品進行在線檢測，若檢測到有缺陷，計算機將利用I/O卡驅(qū)動外部報警設(shè)備，提示產(chǎn)線操作人員.

(b)檢測系統(tǒng)結(jié)構(gòu)圖圖1　檢測系統(tǒng)結(jié)構(gòu)及實物圖

2　文字缺陷檢測的難點

印刷產(chǎn)品中圖像通常會存在如白點、刮痕、墨斑等缺陷，當前的缺陷檢測技術(shù)能夠檢測到它們.比較而言，印刷品的字符缺陷難以檢測，主要有以下幾點原因：

(1)文字缺陷窄小.相對于整幅圖像文字的尺寸往往很小，而文字所包含的信息卻很豐富，細小的文字缺陷都可能給文字信息造成破壞，如圖2(a)所示的斷筆畫缺陷和圖2(b)所示的文字斷裂缺陷，缺陷寬度僅3～5個像素，缺陷面積十多個甚至幾十個像素，這樣窄小的缺陷原本就不易檢測，而設(shè)備抖動和塑料薄膜變形產(chǎn)生的圖像隨機偏移，其幅度可達到幾百個甚至上千個像素，使現(xiàn)有的圖像處理方法更加難以檢測文字缺陷.

(2)文字信息背景復(fù)雜.文字形狀特征多樣，其特征量不易構(gòu)建，而印刷品的背景多變且復(fù)雜，使得淹沒于背景之中的文字缺陷辨識特征量受到嚴重影響，如圖2(c)，印刷品背景與文字信息顏色相近使得文字難以區(qū)分，同時文字缺陷難以檢測.

(3)文字變形嚴重.塑料薄膜產(chǎn)品的材質(zhì)較軟在印刷過程易發(fā)生伸縮、褶皺或扭曲等變形，使得文字嚴重變形，現(xiàn)有的補償方法難以將文字恢復(fù)原形狀，文字變形造成的匹配差分誤差遠大于文字缺陷造成的誤差.因此，變形對文字缺陷檢測造成的影響很難克服.

正是以上因素造成了文字缺陷易漏檢誤檢的問題，本文針對這些因素提出了一種字符圖像缺陷檢測的算法.

(a)斷筆畫

(b)斷裂

(c)背景與字符顏色相近圖2　常見的難點文字缺陷

3　HALCON平臺的文字缺陷檢測算法

為了克服印刷品難點缺陷檢測問題，本文使用HALCON這一圖像處理算法開發(fā)平臺.

HALCON包含很強大的視覺算法開發(fā)包[5]，有一千多個獨立的算子，是一款功能完善、效率高的圖像處理軟件.同時HALCON可以將算法程序?qū)С鰹镃++，C，C#，Visual Basic和 Delphi等多種語言程序，并將這些程序移植在計算機上運行[6-9].因此，本文將在HALCON平臺上進行塑料薄膜印刷產(chǎn)品文字缺陷檢測新方法的研究.

3.1　缺陷檢測算法流程

在HALCON平臺上，研究并實現(xiàn)了一種采用多特征區(qū)域定位的二次分割技術(shù)的文字缺陷檢測算法.具體算法如下:

(1)針對文字缺陷信息窄小問題，將印刷品中的圖片與文字圖像進行區(qū)分，檢測文字圖像區(qū)域比圖片的比對閾值系數(shù)小，使得缺陷識別率高，可準確檢測到信息窄小的文字缺陷.

(2)針對文字信息背景復(fù)雜問題，將彩色圖像轉(zhuǎn)換為灰度圖像，通過多幅圖像訓(xùn)練出差分模型，從而得到對應(yīng)像素點灰度的均值和偏差，在比對過程中可以高效準確地檢測出復(fù)雜背景上的文字缺陷.

(3)針對文字變形問題，提出多次分割法將整幅圖劃分成了若干塊小篇幅圖像，對這些小篇幅圖像進行不同程度的變形補償，以大化小，分塊處理；同時，采用多特征區(qū)域的聯(lián)合定位來提高圖像變形補償?shù)木_度，從而解決印刷中由于抖動而造成的文字變形問題.

完整的檢測算法流程如圖3所示：

(1)建立差分模型.通過對樣本圖像進行基本處理和差分模型訓(xùn)練獲得了印刷品文字凸顯的差分模型.

(2)文字待檢測圖像的變形補償.通過基本處理模塊對實時拍攝到的文字圖像進行變形補償.

(3)文字缺陷檢測.通過對差分模型和經(jīng)過變形補償后的文字圖像比對可以判斷是否存在文字缺陷.

圖3　檢測算法流程圖

3.2　圖像基本處理模塊

圖像基本處理模塊對樣本圖像以及實時采集待檢測圖像進行變形補償，為缺陷檢測做準備，其流程圖如圖4所示.需變形補償圖像和標準圖像在經(jīng)過灰度變換及相同的一次分割后，利用標準圖像對需變形補償圖像進行一次變形補償，使得塑料薄膜材料伸縮引起的文字圖像的輪廓變形獲得初步補償；隨后進行的二次分割和二次變形補償，使得文字圖像的細節(jié)變形也獲得校正.

圖像基本處理模塊的處理過程包含灰度轉(zhuǎn)換、圖像分割和變形補償?shù)茸幽K.

圖4　圖像基本處理模塊流程圖

3.2.1灰度轉(zhuǎn)換

通常獲取的圖像為彩色圖像，需要將圖像進行灰度轉(zhuǎn)換，圖像灰度化方法有 RGB 三原色等權(quán)法和不等權(quán)法[10,11].本文采用不等權(quán)法進行轉(zhuǎn)換，轉(zhuǎn)換后灰度為：

f(x,y)=0.299R(x,y)+0.587G(x,y)+

0.114B(x,y)

(1)

式(1)中：x,y分別為圖像的橫縱坐標.

3.2.2圖像分割

灰度轉(zhuǎn)換后，對灰度圖像進行初次分割，初次分割根據(jù)圖中字符信息所占的區(qū)域，將一幅圖像分割成多幅圖像，對分割后的圖像分別進行變形校正；再對校正后圖像進行二次分割.一次分割大體將字符區(qū)域劃分出來，二次分割將劃分出來的字符區(qū)域均分，分別對均分后的每塊小區(qū)域進行檢測處理，使得配準的精度和檢測質(zhì)量提高.圖像經(jīng)過兩次分割可以有效解決亮度不均勻?qū)е碌拈撝惦y以確定的問題.

3.2.3變形補償

在噴涂印刷過程中，塑料薄膜印刷產(chǎn)品存在抖動等一系列干擾因素，造成伸縮，褶皺或者扭曲等的產(chǎn)品變形，由于變形存在不確定性和隨機性，使得補償效果往往不佳.因此本文補償思想是多次分割和多次補償相結(jié)合，從而提高配準精度補償效果[8].變形補償?shù)牧鞒倘鐖D5所示.

圖5　圖像變形補償流程框圖

其具體步驟如下：

(1)創(chuàng)建配準模板[12]

獲取配準區(qū)域(ROI)，變形補償?shù)呐錅蔬^程中選用多個ROI，初次變形補償選取標準圖像中上下左右四塊特征比較明顯的小區(qū)域依次進行多次配準，二次分割后的圖像選取兩個ROI.再根據(jù)配準區(qū)域ROI創(chuàng)建形狀模板.

(2)建立變換矩陣

①創(chuàng)建搜索區(qū)域.需變形補償?shù)膱D像搜索形狀模板的范圍是在之前創(chuàng)建的配準區(qū)域基礎(chǔ)上擴展出100～200個像素點進行搜索，由于在印刷的過程中，印刷品的變形移動范圍不會有過大的偏移，因此選擇部分區(qū)域作為搜索區(qū)域準確率不會改變，且因為搜索區(qū)域減小而節(jié)省了搜索時間.

(2)

為模板與待檢測圖像對應(yīng)點的方向向量點積總和，對相似度函數(shù)做歸一化處理，得到：

(3)

相似度s取值范圍[-1,1]，取值為1時，表示模板圖像與待檢測圖像完全匹配.

③生成仿射變換矩陣.根據(jù)搜索得到ROI的中心點坐標、旋轉(zhuǎn)角度等數(shù)值生成仿射變換矩陣，變換矩陣能夠?qū)︻A(yù)處理后的圖像進行變形補償，變換矩陣包含平移、旋轉(zhuǎn)、縮放三種算子[15,16].

本文通過待配準圖像與標準圖像進行多個不同區(qū)域的配準獲得平均變換矩陣H.

(4)

(3)仿射變換

根據(jù)變換矩陣H對待配準圖像局部區(qū)域像素點(x1,y1)進行仿射變換，如公式(5).

(5)

經(jīng)過仿射變換，圖像得到變形補償，更有利于字符信息缺陷檢測.

3.3　缺陷檢測過程

樣本圖像經(jīng)過基本處理模塊處理后，訓(xùn)練得到差分模型，隨后實時采集的圖像傳送入計算機，對其進行灰度轉(zhuǎn)換，圖像分割，變形補償?shù)然咎幚恚⑴c差分模型進行比對，找出文字缺陷.

3.3.1差分模型訓(xùn)練

訓(xùn)練差分模型是將一組樣本圖像計算出理想圖像和變化圖像，即對樣本圖像進行基于灰度的運算，取樣本圖像平均值或者中值為理想圖像，訓(xùn)練圖像的標準偏差為變化圖像.針對圖像的灰度變動進行變換范圍的計算，將訓(xùn)練出的理想圖像和變化圖像轉(zhuǎn)換為兩個閾值圖像并將它們存儲在差分模型中來完成，以加速待檢測圖像與差分模型的比較.

3.3.2在線缺陷檢測

令A(yù)=a(x,y)為理想圖像，B=b(x,y)為變異圖像，如下計算兩個閾值圖像：

Tu=A+max{au,bu·B}

(6)

Tl=A-max{al,bl·B}

(7)

式(6)、(7)中：Tu為最大閾值圖像范圍，Tl為最小閾值圖像范圍.au、al、bu、bl都是設(shè)置的閾值系數(shù)，設(shè)置的系數(shù)較大，訓(xùn)練點的灰度變動大，不同情況下設(shè)置不同的系數(shù).

如表1～4所示，本文以減少計算量為目的，設(shè)au=al，bu=bl，使用試湊法對a,b的取值進行選取，由實驗可得，相同條件下當a=33,b=3.5時，文字缺陷檢測的正確率最高.

表1　當b=1時，a的取值對正確率的影響

表2　當b=3時，a的取值對正確率的影響

表3　當b=4時，a的取值對正確率的影響

表4　當b=3.5時，a的取值對正確率的影響

令待檢測圖像為C=cx,y，待檢測圖像與差分模型進行比對，比對原理參照以下公式：

C>Tu或C

(8)

在比對的過程中，圖片圖像和文字圖像設(shè)置不同的閾值系數(shù)，針對文字缺陷設(shè)置小的閾值系數(shù)以達到精度高的要求.經(jīng)過對比的圖像區(qū)域進行形態(tài)學(xué)處理，形態(tài)學(xué)處理的基本思想就是用具有一定形態(tài)的結(jié)構(gòu)元素提取圖像中對應(yīng)的形狀，從而實現(xiàn)對圖像的分析和識別[7]，即通過對比的區(qū)域去除干擾區(qū)域得到缺陷區(qū)域.

根據(jù)上述圖像局部區(qū)域的缺陷檢測方法，得到圖像局部缺陷信息，從而判定整幅圖像的質(zhì)量狀況：若圖像局部檢測均合格，則認為該整幅印刷品質(zhì)量合格；若有任何一圖像出現(xiàn)局部缺陷，則該檢測圖像存在質(zhì)量問題.

4　實驗

4.1　實驗條件

將本文算法應(yīng)用于圖6所示的塑料薄膜印刷品生產(chǎn)線進行24 h的在線實驗.本次實驗生產(chǎn)線中印刷品材料寬度為1 000 mm，印刷機型號為羅蘭700，現(xiàn)場印刷機速度一般為230 m/min.

(a)印刷生產(chǎn)設(shè)備　　　　(b) 圖像檢測設(shè)備圖6　塑料薄膜印品生產(chǎn)環(huán)境

4.2　算法流程

實驗中，在HALCON平臺上實現(xiàn)所采用的算法流程如下：

(1)對圖像進行灰度轉(zhuǎn)換和圖像分割.調(diào)用rgb1_to_gray算子(公式(1))將彩色圖像轉(zhuǎn)換成灰度圖.隨后對圖像進行分割，首次分割將灰度圖分為左中右三部分，二次分割對分割后的圖像進行均分；

(2)對圖像進行變形補償.調(diào)用gen_rectangle1算子在標準圖像上選取四個配準區(qū)域ROI1～ROI4，使用reduce_domain算子截取配準區(qū)域，同時利用算子area_center得到配準區(qū)域ROI中心坐標.調(diào)用create_shape_model算子創(chuàng)建匹配模板.調(diào)用dilation_rectangle1算子將四個配準區(qū)域擴大200個像素作為搜索區(qū)域.調(diào)用算子find_shape_model(公式(3))在搜索區(qū)域中尋找配準區(qū)域，找到后利用vector_to_aniso算子對圖像進行仿射變換.隨后將補償后的圖像進行二次分割，創(chuàng)建兩個ROI再次進行配準變形補償；

(3)將樣本進行變形補償后，調(diào)用train_variation_model(公式(6)、(7))訓(xùn)練模板.隨后調(diào)用prepare_variation_model算子，在默認的參數(shù)基礎(chǔ)上調(diào)試算子參數(shù)，為比對做準備；

(4)使用camepare_variation_model算子(公式(8))將做了相同基本處理后的待檢測圖像與差分模型進行比較，輸出的區(qū)域調(diào)用connection進行連通域處理，調(diào)用select_shape算子根據(jù)特征設(shè)定去除干擾區(qū)域從而得到缺陷.

4.3　實驗結(jié)果及分析

圖7為兩幅含有文字缺陷的待檢測圖像.

(a)存在斷筆畫缺陷的圖像

(b)背景復(fù)雜的地方存在缺陷圖7　兩幅含有文字缺陷的待檢測圖像

待檢測圖像經(jīng)過4.2的檢測過程，該檢測過程如圖8所示.

圖8　檢測過程圖

檢測結(jié)果如圖9所示，該方法能夠準確地辨識出文字中的不同缺陷.

(a)斷筆畫缺陷檢測結(jié)果

(b)背景復(fù)雜下對文字缺陷的檢測結(jié)果圖9　缺陷檢測結(jié)果

現(xiàn)將完成同樣文字缺陷檢測功能的普通算法與本文算法進行性能比較，其結(jié)果如表5所示.

表5　文字缺陷檢測性能對比

通過表5中檢測時間、正確率以及精度等參數(shù)對比，說明本文算法優(yōu)于通常檢測方法.通常的方法在配準上耗時大，無法解決印刷過程中產(chǎn)生的不均勻變形問題，而經(jīng)實驗證明本文多區(qū)域聯(lián)合定位與多次分割結(jié)合顯著提高了定位的精度；配準過程中選取小特征區(qū)域同時減少了搜索配準區(qū)域面積，提高了變形補償?shù)乃俣龋晃淖謭D像與差分模型精確比對，不僅可以提高查找文字缺陷的正確率而且提高了檢測速度，縮短了檢測時間，因此本文算法較之以往的方法在速度、精度等方面均有了較大的提高.

5　結(jié)論

在現(xiàn)今檢測方法的基礎(chǔ)上，本文利用HALCON平臺針對塑料薄膜文字缺陷檢測易誤檢漏檢的難題，提出并實現(xiàn)了多次分割，多區(qū)域變形補償，比較差分模型的改進算法.實驗證明，采用本文算法可以更精確的配準校正，正確率達到99%，有效地檢測到印刷產(chǎn)品文字信息缺陷，同時檢測速度和精度上都有了較大的提升.隨著自動化不斷地融入到工業(yè)生產(chǎn)過程中，基于HALCON的機器視覺算法也將不斷地擴大應(yīng)用范圍.

[1] 徐瑋東,王毅,張榮閣.基于機器視覺的液晶屏字符缺陷檢測系統(tǒng)設(shè)計[J].電腦知識與技術(shù),2016,12(17):182-184.

[2] 肖習(xí)雨,張昌凡,龍永紅.基于骨架模板匹配的彩色印刷品文字缺陷檢測[J].包裝學(xué)報,2010,2(1):38-41.

[3] 劉飛.基于圖像處理的印刷質(zhì)量自動檢測算法研究[D].武漢：華中科技大學(xué)，2006.

[4] 劉海娟.基于圖像處理的印刷品缺陷檢測技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2012.

[5] 田敏,劉全香.分區(qū)域分等級的印刷品缺陷檢測方法[J].包裝工程,2015,36(21):122-127.

[6] 王文成.基于HALCON的齒輪缺陷檢測系統(tǒng)設(shè)計[J].機械傳動,2014,38(9):60-63.

[7] 肖?？?，葛廣英,姚坤，等.基于 HALCON 的噴碼字符識別技術(shù)的研究與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2015,38(15):95-98.

[8] 郭佳寅,岳秀江,吳雙，等.基于 HALCON 的乳制品箱體噴碼字符識別方法研究[J].制造業(yè)自動化,2013，35(2):21-22.

[9] 盧泉奇,苗同升,汪地等.基于HALCON的機械手視覺抓取應(yīng)用研究[J].光學(xué)儀器,2014，36(6):492-498.

[10] Rafael C Gonzalez,Richard E Woods.數(shù)字圖像處理[M].阮秋琦，阮宇智.北京:電子工業(yè)出版社， 2007.

[11] 王宏麗,趙不賄,孫智權(quán),等.基于HALCON的醫(yī)療袋缺陷檢測[J].包裝工程,2015,36(13):125-129.

[12] 肖開明.圖像配準算法及其在印刷質(zhì)量檢測中的應(yīng)用[D].上海:上海大學(xué),2004.

[13] 鄒廣華.基于幾何特征的快速模板匹配算法[D].哈爾濱：哈爾濱工業(yè)大學(xué),2010.

[14] 汪青芳.基于機器視覺的標簽缺陷檢測系統(tǒng)設(shè)計與實現(xiàn)[D].成都:電子科技大學(xué),2014.

[15] Chen C Y,Deng Q L,Lin B S,et al.Quartz-blazed grating applied on auto stereoscopic display[J].Journal of Display Technology,2012,8(8):433-438.

[16] Joo D Y,Youngshin K,Seungjoon Y.Evaluation of perceptual resolution and crosstalk in stereoscopic displays[J].Journal of Display Technology,2013,9(2):106-111.