蘭偉, 何松柏

(1. 重慶城市職業(yè)學(xué)院 信息工程系， 重慶 402160；2. 電子科技大學(xué) 電子工程學(xué)院， 四川 成都 610000)

采用圖像定位與輪廓檢測(cè)的噴墨寬度測(cè)量算法

蘭偉1,2, 何松柏2

(1. 重慶城市職業(yè)學(xué)院 信息工程系， 重慶 402160；2. 電子科技大學(xué) 電子工程學(xué)院， 四川 成都 610000)

提出基于圖像定位與輪廓檢測(cè)的噴墨寬度測(cè)量算法.首先，根據(jù)圖像灰度熵特征與旋轉(zhuǎn)定位函數(shù)，提出基于動(dòng)態(tài)閾值熵函數(shù)分割與EmguCV的產(chǎn)品定位算子，得到產(chǎn)品中心點(diǎn)坐標(biāo)與旋轉(zhuǎn)角度;然后,傳遞給機(jī)器人Robert，引導(dǎo)Robert到產(chǎn)品邊緣噴墨上方進(jìn)行局部圖像采集；最后，采用大律法分割法處理噴墨邊緣圖像，設(shè)計(jì)基于Canny邊緣檢測(cè)與輪廓檢測(cè)的測(cè)量算子，從而完成噴墨寬度測(cè)量.實(shí)驗(yàn)數(shù)據(jù)顯示：與當(dāng)前目標(biāo)寬度測(cè)量技術(shù)相比，文中算法具有更高的測(cè)量精度與穩(wěn)定性.

噴墨寬度； 圖像定位； 輪廓檢測(cè)； 動(dòng)態(tài)閾值熵函數(shù)； 邊緣檢測(cè)

隨著國內(nèi)制造業(yè)人力成本的不斷上升和企業(yè)運(yùn)營壓力的增大，越來越多企業(yè)意識(shí)到用自動(dòng)化的智能制造設(shè)備取代人力作業(yè)已經(jīng)是市場立足的關(guān)鍵[1-2].在電子屏幕制造中，屏幕邊緣需要噴一定寬度的墨，才能保證屏幕漏光測(cè)試通過,邊緣噴墨的寬度直接影響屏幕質(zhì)量.由于噴墨寬度測(cè)量精度要求高、數(shù)量大，且近距離接觸工業(yè)墨對(duì)作業(yè)人員身體有一定的傷害，因此,采用智能視覺技術(shù)測(cè)量噴墨寬度非常必要[3-4].國內(nèi)專門測(cè)量噴墨的成熟設(shè)備極少，但是在類似的制造工件或材料尺寸測(cè)量方面，國內(nèi)研究人員已經(jīng)將圖像處理與計(jì)算機(jī)視覺技術(shù)引入到材料尺寸測(cè)量中，而噴墨也是一種特殊的材料.李旭[5]提出基于色差的機(jī)器視覺尺寸測(cè)量系統(tǒng)，利用目標(biāo)與背景色差完成對(duì)材料目標(biāo)的定位測(cè)量.但是，此技術(shù)依靠圖像色差，容易受到外界環(huán)境光的影響，導(dǎo)致定位和測(cè)量的錯(cuò)誤.羅月迎[6]提出基于幾何參數(shù)的機(jī)器視覺測(cè)量方法，使用目標(biāo)幾何特征，完成材料目標(biāo)定位.然而，這種技術(shù)依靠目標(biāo)明顯的幾何特征，在噴墨這種沒有特殊幾何特征的情況下，往往不能精確測(cè)量目標(biāo)尺寸，導(dǎo)致測(cè)量錯(cuò)誤.為了提高測(cè)量算法的適應(yīng)性，使其在背景復(fù)雜、目標(biāo)特征不明顯的背景下，仍然能夠精確定位目標(biāo)并正確測(cè)量噴墨尺寸，本文提出了基于圖像定位與視覺引導(dǎo)的噴墨寬度測(cè)量算法.

圖1 文中機(jī)制架構(gòu)Fig.1 Structure of mechanisms

1 噴墨寬度測(cè)量架構(gòu)

提出的基于圖像定位與輪庫查找的噴墨寬度測(cè)量過程，如圖1所示.首先，將屏幕材料隨滾輪運(yùn)動(dòng)到工業(yè)相機(jī)鏡下進(jìn)行整體圖像采集.此時(shí),采集到的圖像是整個(gè)材料，如圖2所示.然后，基于動(dòng)態(tài)閾值的一維熵函數(shù)把材料邊緣主體從背景中分離；基于EmguCV的旋轉(zhuǎn)定位函數(shù)，計(jì)算出材料主體的中心點(diǎn)坐標(biāo)與旋轉(zhuǎn)角度，并傳遞給機(jī)器人Robert.EmguCV為開源視覺函數(shù)庫OpenCV的.NET framework版本，即經(jīng)過.NET封裝的OpenCV函數(shù)，所提算法就是基于開源視覺庫EmguCV中的函數(shù)實(shí)現(xiàn).隨后，Robert帶動(dòng)工業(yè)相機(jī)運(yùn)動(dòng)到材料邊緣即噴墨位置，再次取像，如圖3所示.圖3中：黑色長條是需要測(cè)量的墨寬度.最后，采用基于灰度方差的大律分割，獲取包含噴墨的二值圖像；基于Canny邊緣檢測(cè)與輪廓查找，測(cè)量出噴墨寬度，判斷是否達(dá)到工業(yè)標(biāo)準(zhǔn).

由于當(dāng)前對(duì)噴墨寬度的測(cè)量主要依賴人工作業(yè)，缺乏完整的智能化噴墨寬度測(cè)量系統(tǒng).因此，所提技術(shù)是將常規(guī)算法與開源函數(shù)融合，用于噴墨邊緣實(shí)際寬度小而延伸范圍大的條件下的噴墨寬度精確測(cè)量，尤其是針對(duì)屏幕邊緣墨寬檢測(cè)，從而形成一套完整的噴墨寬度測(cè)量智能系統(tǒng)，有效地提高生產(chǎn)效率與質(zhì)量.

圖2 材料整體圖像 圖3 材料邊緣噴墨位置 Fig.2 Overall image of materials Fig.3 Inkjet localization materials edge

2 基于熵函數(shù)分割與EmguCV的定位

圖4 定位流程圖Fig.4 Flow chart of localization

屏幕材料隨傳送帶到相機(jī)鏡下，對(duì)屏幕整體進(jìn)行圖像采集完成后，需要對(duì)屏幕材料整體進(jìn)行定位，計(jì)算中心點(diǎn)坐標(biāo)與旋轉(zhuǎn)角度，為后續(xù)Robert帶著相機(jī)準(zhǔn)確運(yùn)動(dòng)到屏幕邊緣測(cè)量噴墨寬度做好準(zhǔn)備.由于屏幕邊緣材料敏感，不宜進(jìn)行物理定位，使其往往存在角度旋轉(zhuǎn)與坐標(biāo)偏移.故文中提出了產(chǎn)品定位算子，其流程如圖4所示.采用一維最大熵閾值分割分離屏幕主體與背景，以圖像像素局部極值的集合、局部像素差值小于設(shè)定值的領(lǐng)域，作為目標(biāo)圖像區(qū)域.對(duì)每一個(gè)圖像塊，假設(shè)其灰度級(jí)為l，利用其作為閾值分割屏幕主體區(qū)域與背景區(qū)域，由領(lǐng)域內(nèi)像素值高于l的像素點(diǎn)構(gòu)成屏幕主題區(qū)域，反之，構(gòu)成背景區(qū)域.但是屏幕整體圖像大，所以，文中采用計(jì)算量較小的熵函數(shù)閾值分割[7-8]，其屏幕目標(biāo)與背景區(qū)域的熵分別為

(2)

式(1)，(2)中:HT是屏幕目標(biāo)熵；Hb為背景圖像熵；Pi為灰度值為i的像素比例；t為分割閾值；PT為閾值t以下所有像素值比例和,即

得到目標(biāo)與背景熵后，再構(gòu)建熵函數(shù)S，將熵函數(shù)值最大的閾值作為最佳閾值，即

采用最大熵閾值分割處理圖2結(jié)果，如圖5所示.由圖5可知：熵函數(shù)分割能準(zhǔn)確地從背景中分割出屏幕主體目標(biāo).分割出屏幕主體后，還需進(jìn)一步精確定位，計(jì)算中心點(diǎn)坐標(biāo)與旋轉(zhuǎn)角度，即精確的定位屏幕主體的輪廓，從而為Robert提供噴墨邊緣采集位置.

為了進(jìn)一步精確定位與角度計(jì)算，基于開源庫EmguCV函數(shù)cvMinAreaRect2(const CvArr* points,CvMemStorage*storage) 實(shí)現(xiàn)[9-10].其中,points為目標(biāo)區(qū)域點(diǎn)序列/數(shù)組;storage為臨時(shí)存儲(chǔ)倉;該函數(shù)建立凸外形及旋轉(zhuǎn)外形，以尋找給定2D點(diǎn)集的最小面積的外接矩形，返回值數(shù)據(jù)結(jié)構(gòu)為CvBox2D{CvPoint2D32f center;float angle}，即中心點(diǎn)及角度.最小外接矩形定位效果,如圖6所示.由圖6可知：精確定位屏幕四邊，經(jīng)過對(duì)四邊和四頂點(diǎn)的坐標(biāo)簡單計(jì)算，可獲得中心點(diǎn)坐標(biāo)與角度，并傳遞給Robot.

圖5 熵函數(shù)分割圖像 圖6 定位圖像 Fig.5 Entropy function of segmented image Fig.6 Image localization

圖7 測(cè)量流程圖Fig.7 Flowchart of measurement

3 耦合大律分割與邊緣檢測(cè)的寬度測(cè)量

完成對(duì)屏幕中心點(diǎn)與角度的精準(zhǔn)計(jì)算后，就可以引導(dǎo)Robot帶動(dòng)相機(jī)，準(zhǔn)確拍攝噴墨邊緣位置.在完成屏幕材料主體定位后，再采集屏幕噴墨邊緣，此時(shí)，需要定位噴墨邊緣并測(cè)量寬度.由于噴墨邊緣圖像較整體圖像小，且測(cè)量精度較高(誤差值小于0.1 mm)，因此，采用基于灰度方差的大律分割[11-12]處理噴墨邊緣，避免背景干擾，其測(cè)量過程如圖7所示.將背景與噴墨目標(biāo)區(qū)域的分界閾值設(shè)為k，首選背景與噴墨目標(biāo)在整個(gè)圖像范圍內(nèi)占得比例分別為

式(5),(6)中:W0為背景區(qū)域在整圖中比例；W1為噴墨目標(biāo)區(qū)域在整圖中比例；Pi為灰度值為i的像素在整圖中比例.

計(jì)算背景與噴墨目標(biāo)區(qū)域的平均灰度值,即

依據(jù)式(7)，(8)，可計(jì)算噴墨目標(biāo)與背景間灰度方差，選取方差最大時(shí)的閾,即

圖8 大律分割圖像結(jié)果Fig.8 Result of firm split image

式(9)中:δ(k)2為大律分割中背景與目標(biāo)灰度方差，將該值最大時(shí)的k視為分割閾值，以圖3為目標(biāo)，分割結(jié)果如圖8所示.由圖8可知：文中算法精確地將噴墨邊緣目標(biāo)從背景分割出來.

在分割得到的二值圖的基礎(chǔ)上，進(jìn)行基于Canny的邊緣檢測(cè)[13-14].首先，計(jì)算圖像X，Y方向一階偏導(dǎo)函數(shù)，作為平面梯度變化算子，由于目標(biāo)邊緣為圖像灰度值突變處，故該算子可以探測(cè)出X，Y方向的邊緣梯度變化值，即

(11)

式(10),(11)中:Px[i,j]為圖像坐標(biāo)[i,j]像素點(diǎn)在X方向上梯度算子;Py[i,j]為圖像坐標(biāo)[i,j]像素點(diǎn)在Y方向上梯度算子，分別代表X,Y方向上灰度變化程度.

依據(jù)邊緣梯度變化值Px與Py，計(jì)算圖像灰度梯度幅值與方向,即

Q(i,j)=arctan(Px/Py).

(13)

式(12),(13)中:M(i,j)代表圖像坐標(biāo)[i,j]像素點(diǎn)的梯度幅值;Q(i,j)代表圖像坐標(biāo)[i,j]像素點(diǎn)梯度方向.

式(10)～(13)共同組成Canny邊緣檢測(cè)梯度算子的梯度矩陣，以檢測(cè)目標(biāo)邊緣，結(jié)果如圖9所示.由圖9可知：該算法有效檢測(cè)出目標(biāo)邊緣輪廓，為后續(xù)查找噴墨兩端輪廓邊，測(cè)量寬度做好了準(zhǔn)備.

圖9 Canny邊緣檢測(cè)圖 圖10 輪廓定位結(jié)果Fig.9 Canny edge detection image Fig.10 Contour localization result

得到含目標(biāo)邊緣后，需定位邊緣的輪廓位置，文中基于開源庫EmguCV遍歷輪廓函數(shù)cvTravelContour(const CvArr*contour,CvMemStorage*storage)實(shí)現(xiàn).其中,contour為目標(biāo)輪廓點(diǎn)數(shù)組;storage為臨時(shí)存儲(chǔ)倉.該函數(shù)遍歷圖像中所有邊緣，本系統(tǒng)取邊緣坐標(biāo)最小與最大，代表噴墨兩端.計(jì)算兩端邊緣的坐標(biāo)差,即噴墨寬度測(cè)量.遍歷輪廓函數(shù)處理效果,如圖10所示.由圖10可知：輪廓定位精確定位出噴墨輪廓，獲得噴墨寬度.

4 實(shí)驗(yàn)與討論

為了體現(xiàn)文中算法的優(yōu)勢(shì)，將當(dāng)前測(cè)量性能較好的技術(shù)——文獻(xiàn)[5]算法和文獻(xiàn)[6]算法設(shè)為對(duì)照組，檢測(cè)對(duì)象如圖11所示.圖11中：包含屏幕主體與背景圖像，背景復(fù)雜且目標(biāo)邊緣特征不明顯.采用最大熵函數(shù)分割處理圖像，EmguCV定位函數(shù)cvMinAreaRect2，實(shí)現(xiàn)定位目標(biāo)最小外接矩形，從而得到屏幕目標(biāo)四邊與四頂點(diǎn)，精準(zhǔn)計(jì)算屏幕材料中心點(diǎn)坐標(biāo)與旋轉(zhuǎn)角度，即準(zhǔn)確定位目標(biāo)四邊，結(jié)果如圖12所示.利用文獻(xiàn)[5]和文獻(xiàn)[6]算法對(duì)圖11進(jìn)行檢測(cè)，對(duì)應(yīng)的結(jié)果如圖13，14所示.由圖13,14可知：這兩種算法都出現(xiàn)定位不準(zhǔn)確的現(xiàn)象.圖13中，由于文獻(xiàn)[5]算法單純依靠色差特征，在背景與目標(biāo)色差不明顯時(shí)，往往定位效果不佳.圖14中，由于文獻(xiàn)[6]算法單純依靠幾何特征，在背景干擾較大時(shí)，影響了定位精度.

圖11 原圖 圖12 文中算法定位圖像 Fig.11 Original image Fig.12 Localized image of proposed algorithm

圖13 文獻(xiàn)[5]算法定位效果 圖14 文獻(xiàn)[6]算法定位效果 Fig.13 Localization effect of reference [5] Fig.14 Localization effect of reference [6]

將文中算法、文獻(xiàn)[5]和文獻(xiàn)[6]算法進(jìn)一步應(yīng)用到噴墨邊緣圖像檢測(cè)中，待檢測(cè)原圖如圖15所示.文中算法采用大律分割處理噴墨邊緣圖像，基于Canny邊緣檢測(cè)提取出噴墨邊緣圖像輪廓，通過EmguCV輪廓查找函數(shù)，準(zhǔn)確定位噴墨邊緣并計(jì)算噴墨寬度，如圖16所示.由圖16可知：文中算法測(cè)量圖像輪廓定位準(zhǔn)確，測(cè)量精度較高效果較佳.

圖15 待測(cè)量噴墨邊緣圖像 圖16 文中算法測(cè)量效果圖 Fig.15 Original image of inkjet edge Fig.16 Localization image effect of proposed algorithm

文獻(xiàn)[5]和文獻(xiàn)[6]算法的檢測(cè)結(jié)果,分別如圖17,18所示.由圖17,18可知：在背景干擾較大的情況下，這兩種算法對(duì)噴墨邊緣定位不準(zhǔn)確，出現(xiàn)較大的偏差，影響了噴墨測(cè)量精度.

圖17 文獻(xiàn)[5]算法測(cè)量效果 圖18 文獻(xiàn)[6]算法測(cè)量效果Fig.17 Algorithm effect of reference [5] Fig.18 Algorithm effect of reference[6]

5 結(jié)束語

為了解決噴墨范圍小而整體圖像大且復(fù)雜環(huán)境下定位測(cè)量失誤的問題，設(shè)計(jì)了基于圖像定位與視覺引導(dǎo)的噴墨寬度測(cè)量算法，實(shí)現(xiàn)對(duì)屏幕材料主體、噴墨邊緣的圖像采集、定位和測(cè)量.實(shí)驗(yàn)結(jié)果表明：與當(dāng)前測(cè)量技術(shù)相比，文中算法既保證全局圖像定位準(zhǔn)確，局部目標(biāo)測(cè)量精準(zhǔn)的目的，又具有更好的精度和穩(wěn)定性，為噴墨寬度測(cè)量提供了技術(shù)保障.

[1] 楊煒.融合道路圖像關(guān)鍵信息的車距視覺測(cè)量方法[J].計(jì)算機(jī)工程與應(yīng)用,2015,11(17):196-199.

[2] 徐巖,宋君.大型印刷機(jī)械人機(jī)工程學(xué)關(guān)系探討[J].包裝工程,2012,10(20):48-52.

[3] 何留喜,陳廣學(xué).基于UV噴墨的彩色3D打印研究[J].包裝工程,2015,3(9):134-138.

[4] 賈歡歡,陳蘊(yùn)智,王新.噴墨制版技術(shù)打印機(jī)制的研究[J].包裝工程,2016,2(3):133-142.

[5] 李旭.色差對(duì)機(jī)器視覺尺寸測(cè)量精度的影響研究[J].包裝工程,2015,43(2):71-76.

[6] 羅月迎.船用彎管幾何參數(shù)的機(jī)器視覺測(cè)量方法研究[J].機(jī)械設(shè)計(jì)與制造,2015(6):427-430.

[7] WANG Yongsheng.A new image threshold segmentation based on fuzzy entropy and improved intelligent optimization algorithm[J].Journal of Multimedia,2014,9(4):499-505.

[8] XIA Dongxue,LI Chungui,YANG Shuhong.Fast threshold selection algorithm of infrared human images based on two-dimensional fuzzy tsallis entropy[J].Mathematical Problems in Engineering,2014,28(11):1012-1021.

[9] 鄭婷.一種DOM與圖像工程相結(jié)合的智能閱卷系統(tǒng)[D].太原:太原理工大學(xué),2014:21-32.

[10] 張瀟磊.基于計(jì)算機(jī)視覺的智能安防監(jiān)控系統(tǒng)研究[D].南京:南京郵電大學(xué),2014:18-35.

[11] CHEN Xiaohong.Extraction and analysis of the width, gray scale and radian in Chinese signature handwriting[J].Forensic Science International,2015,255(23):123-32.

[12] LOWE J M,BRENNAN P C,EVANOFF M G,et al.Variations in performance of LCDs are still evident after DICOM gray-scale standard display calibration[J].American Journal of Roentgenology,2010,195(1):181-187.

[13] TSANAKAS J A,CHRYSOSTOMOU D,BOTSARIS P N.Fault diagnosis of photovoltaic modules through image processing and canny edge detection on field thermographic measurements[J].International Journal of Sustainable Energy,2015,34(6):351-372.

[14] INGLE M A,TALMALE G R.Respiratory mask selection and leakage detection system based on canny edge detection operator[J].Procedia Computer Science,2016,78(10):323-329.

(責(zé)任編輯： 黃曉楠 英文審校： 吳逢鐵)

Measurement Algorithm of Inking Width Using Image Localization and Contour Detection

LAN Wei1,2, HE Songbo2

(1. Department of Information Engineering， Chongqing City Vocational College, Chongqing 402160, China;2. College of Electronic Engineering, University of Electronic Science and Technology of China, Chengdu 610000, China)

This paper proposed a new measurement algorithm of inking width based on image localization and contour detection. Firstly, product location algorithm which's based on segmentation of dynamic threshold value entropy function and EmguCV was proposed to get product center coordinates and rotation angle, and then passed it to the Robert, and guide the Robert to the local image acquisition edge to command inkjet products. Finally, great law segmentation was adopted to process the image on inkjet edge, based on Canny edge detection and contour measurement operator to complete inkjet width measurement. Experimental data shows that: compared with the current measurement technology, this algorithm has higher precision and stability.. Keywords：inkjet width; image localization; contour detection; dynamic threshold entropy function; edge detection

10.11830/ISSN.1000-5013.201703021

2016-04-26

蘭偉(1974-)，男，副教授，主要從事計(jì)算機(jī)應(yīng)用、圖像處理的研究.E-mail:183862606@qq.com.

國家自然科學(xué)基金資助項(xiàng)目(61001032)； 重慶市科技成果轉(zhuǎn)化重點(diǎn)研究資助基金(2015-ZJ-006)

TP 391

A

1000-5013(2017)03-0402-06