李天建

（福建工程學(xué)院 信息科學(xué)與工程學(xué)院，福建 福州 350108）

隨著計(jì)算機(jī)技術(shù)和集成電子技術(shù)的發(fā)展，機(jī)器人視覺技術(shù)在現(xiàn)代工業(yè)中得到廣泛應(yīng)用.在一些用于汽車制造業(yè)的專用設(shè)備中，機(jī)器人視覺也已逐漸替代了傳統(tǒng)的檢測(cè)方式.如對(duì)汽車儀表盤加工精度的檢查、軸承生產(chǎn)中對(duì)滾珠數(shù)量和破損情況的檢查、食品包裝上面對(duì)生產(chǎn)日期的辨識(shí)和對(duì)標(biāo)簽貼放位置的檢查等［1-2］.德國(guó)康耐視在視覺傳感器中整合了PatMax軟件的視覺工具，不但能辨識(shí)出25種不同濾清器產(chǎn)品的個(gè)體形狀，還能判定目標(biāo)的精確位置，且目標(biāo)判定精確率可高達(dá)99.9%.在國(guó)內(nèi)，各行業(yè)的領(lǐng)先企業(yè)開始將目光轉(zhuǎn)向視覺測(cè)量自動(dòng)化［3］.有些公司已將視覺系統(tǒng)成功應(yīng)用于汽車密封條涂層檢測(cè)、汽車零部件漏裝檢測(cè)和汽車零部件表面字符檢測(cè)等.

基于以上背景，本文通過對(duì)機(jī)器人視覺表面檢測(cè)算法的分析和研究，建立一種基于Siemens PLC平臺(tái)的表面檢測(cè)仿真系統(tǒng)，用于解決汽車零配件生產(chǎn)中存在的質(zhì)量控制問題.

1 視覺系統(tǒng)檢測(cè)算法分析

1.1 視覺系統(tǒng)檢測(cè)算法建模

機(jī)器人視覺（robot vision）是使機(jī)器人具有視覺感知功能的系統(tǒng)，是圖像技術(shù)在機(jī)器人系統(tǒng)中的應(yīng)用.其通過對(duì)某些信號(hào)進(jìn)行運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作［4］.視覺計(jì)算理論創(chuàng)始人D.Marr認(rèn)為對(duì)視覺的研究可分為三個(gè)層次：視覺的計(jì)算理論、算法和系統(tǒng)結(jié)構(gòu)［5-6］.

視覺信息處理可以看作是從三維環(huán)境的圖像中抽取、描述和解釋信息的過程.它可劃分為六個(gè)主要部分：傳感、預(yù)處理、分割、描述、識(shí)別及知識(shí)表達(dá)和解釋.其基本工作流程圖如圖1所示.

圖1 機(jī)器人視覺系統(tǒng)基本工作流程Fig.1 Basic workflow of robot vision system

本文建立的機(jī)器人視覺系統(tǒng)，主要用于汽車零配件的表面缺陷檢測(cè)，因此更關(guān)注“表面檢測(cè)”和”二維碼識(shí)別”.由于系統(tǒng)需同時(shí)滿足汽車零配件表面檢測(cè)及讀取二維碼兩個(gè)要求，文中通過“培訓(xùn)”對(duì)零配件建立一個(gè)較為完整的模板信息模型.通過對(duì)目標(biāo)零配件的目標(biāo)信息模型與模板信息模型進(jìn)行匹配，根據(jù)不同的“匹配度”對(duì)零配件進(jìn)行質(zhì)量的判斷和分級(jí).視覺系統(tǒng)模型如圖2所示.

圖2 視覺系統(tǒng)檢測(cè)算法模型Fig.2 Model of visual system detection algorithm

1.2 零配件表面檢測(cè)算法分析

目前圖像缺陷檢測(cè)主要有三種方法：基于顏色直方和柱狀圖的檢測(cè)方法、模板匹配法、圖像相減匹配法［7］.考慮到零配件質(zhì)量檢測(cè)的特點(diǎn)，本文采用分塊圖像相減匹配檢測(cè)法進(jìn)行零配件質(zhì)量檢測(cè)，“分塊”即將目標(biāo)圖像和模板圖像劃分成感興趣區(qū)域（ROI，Region of Interest）和不感興趣區(qū)域.在檢測(cè)過程中，其只對(duì)ROI進(jìn)行比對(duì)操作，即將對(duì)應(yīng)的子區(qū)域圖像與數(shù)據(jù)庫(kù)中相應(yīng)模塊圖像進(jìn)行相減匹配檢測(cè)，進(jìn)而利用子區(qū)域的相關(guān)系數(shù)來(lái)判斷目標(biāo)圖像質(zhì)量是否滿足要求.其檢測(cè)流程如圖3所示.

圖3 分塊圖像相減匹配檢測(cè)法流程Fig.3 Process of block image subtraction coincidence detection method

假定感興趣區(qū)域（ROI）的模板為S（M×N），目標(biāo)圖像為G（I，Y）.將模板S放在目標(biāo)圖像G上以流水方式進(jìn)行上下左右掃描，在目標(biāo)圖像G上被模板S覆蓋的區(qū)域?yàn)樽訄DG′（i，y）.匹配過程即是獲得達(dá)到一定匹配度的子圖G′（i，y）的過程，以目標(biāo)圖像G（I，Y）的左上角的像素點(diǎn)為基準(zhǔn)像素點(diǎn)G（0，0），此時(shí)可以獲得i與j的取值范圍為0≤i≤（I-M），0≤j≤（J-N）.這里使用模板S（M×N）和子圖G′（i，y）的方差σ2表示相差度.

當(dāng)σ2（i，j）＝0，則G′（i，y）與S（M×N）匹配，即認(rèn)為找到滿足要求的子圖G′（i，y）.但實(shí)際上，由于目標(biāo)零配件圖像與模板圖像一般具有較大的相似度，同一區(qū)域中不同的像素點(diǎn)σ（i，j）的值變化較大.因此還需確定其他指標(biāo)，這里引入相關(guān)系數(shù)ρ來(lái)表示兩張圖的像素點(diǎn)線性相關(guān)的程度.定義模板S（i，j）和子圖G′（i，y）中的像素點(diǎn)是關(guān)于函數(shù)μ和ν的隨機(jī)變量，則可以得到其相關(guān)系數(shù)ρ（μ，ν）為

相關(guān)系數(shù)滿足ρ（μ，ν）≤1，在［-1，1］的絕對(duì)尺度范圍之間衡量二者的相似性.相關(guān)系數(shù)表示了兩圖像之間的相似程度的度量.如果將模板S作為1個(gè)絕對(duì)單位，可以將認(rèn)為是目標(biāo)圖像的質(zhì)量，這個(gè)值也是零配件分級(jí)的重要依據(jù).

通過以上的計(jì)算，可以在目標(biāo)圖像上找到與ROI對(duì)應(yīng)的區(qū)域，如果在該區(qū)域中汽車零配件存在缺陷，那么相應(yīng)圖像至少有一個(gè)點(diǎn)的灰度與其他點(diǎn)存在差異，這些差異體現(xiàn)在像素灰度值與圖像灰度均值的差和該像素梯度值與圖像梯度均值的差.

由模板S（i，j）和子圖S（i，j）相應(yīng)像素點(diǎn)進(jìn)行匹配相減后可以得到圖像（差別圖像）像素灰度值E（i，j）：

E（i，j）表示出了兩幅圖像對(duì)應(yīng)像素間的灰度差值，但是無(wú)法確認(rèn)零配件是否具有缺陷，可以計(jì)算獲得差別圖像的特征圖像的面積A，當(dāng)A大于所設(shè)定的閾值時(shí)，認(rèn)為該部分零配件存在缺陷.求面積的方法，根據(jù)直方圖的性質(zhì)，邊界是灰度級(jí)定義的輪廓線的物體的面積.

在實(shí)際中，還需進(jìn)行圖像的邊緣跟蹤、細(xì)化、孤立點(diǎn)的剔除、膨脹與收縮等處理步驟，并且這些特征圖像可以進(jìn)行歸一化處理，提取零配件的特征參數(shù)如周長(zhǎng)、面積、質(zhì)心、圓形度、伸長(zhǎng)度等，以此來(lái)進(jìn)行缺陷檢測(cè)和分類.

2 機(jī)器人視覺仿真系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)的結(jié)構(gòu)組成

本文以檢測(cè)螺絲釘表面缺陷為例，建立一種以西門子S7-300PLC、視覺傳感器VS120和VS130-2、攝像頭、管理員站等硬件組成的仿真平臺(tái).系統(tǒng)可與其他檢測(cè)單元聯(lián)機(jī)工作，也可以獨(dú)立運(yùn)行.系統(tǒng)分控制單元和檢測(cè)單元，各單元間可以使用Profibus總線和Industrial Ethernet通信，滿足在不同總線通信的生產(chǎn)需要，其拓補(bǔ)結(jié)構(gòu)如圖4所示.

圖4中智能傳感器VS120可以和多種輸送設(shè)備協(xié)同工作.例如輸送帶和環(huán)形零件輸送系統(tǒng)、裝夾系統(tǒng)和生產(chǎn)機(jī)械.通過更換4種不同的鏡頭，SIMATIC VS120可以處理多種尺寸的目標(biāo).

圖4 系統(tǒng)拓補(bǔ)結(jié)構(gòu)Fig.4 Topology of the system

VS130-2視覺傳感器用于讀取符合ECC 200的二維碼數(shù)據(jù)，其矩陣的信息密度是相同大小條形碼的信息密度的100倍.同時(shí)，VS130-2對(duì)零配件的旋轉(zhuǎn)角度和平移位置要求不高，只需對(duì)傳感器頭粗略定位，使目標(biāo)代碼位于其圖像區(qū)域內(nèi).VS130-2可以讀取多種方式的ECC 200二維碼，可以滿足汽車零配件種類繁多的要求，如激光代碼、印刷代碼、觸針標(biāo)記代碼、打孔代碼，可在平面或略微彎曲的表面上被識(shí)別出來(lái).

2.2 仿真系統(tǒng)PLC控制程序設(shè)計(jì)

文中PLC程序主要用于對(duì)視覺傳感器VS120和VS130-2的控制和讀取相應(yīng)圖像處理結(jié)果，同時(shí)包含兩個(gè)視覺傳感器相互控制程序與零配件品質(zhì)分級(jí)程序.

在主程序OB1中，根據(jù)工藝要求分別調(diào)用FC1、FC2和FC3等功能.其中，F(xiàn)C1為VS120的控制程序和零配件的分級(jí)程序，在FC1中調(diào)用圖像處理算法程序FB1功能塊和保存控制字和狀態(tài)字的DB1共享數(shù)據(jù)塊，通過匹配運(yùn)算后，將結(jié)果保存到DB10中供上位機(jī)組態(tài)分析和報(bào)表使用.同理，使用FC2和FC3作為VS130-2的控制和讀碼程序，在FC3中編寫二維碼圖像讀取程序，而FC2則是作為二維碼代碼轉(zhuǎn)換的程序.用DB79和DB48作為保存二維碼處理結(jié)果的共享數(shù)據(jù)塊.

在編寫VS130-2的二維碼讀取程序時(shí)，將二維碼算法程序封裝在FB79功能塊中.在PLC控制程序中，由于涉及較多的數(shù)據(jù)傳送和轉(zhuǎn)換，文中使用STL語(yǔ)言與LAD語(yǔ)言混合編寫的方法.如圖5所示為FB79的程序.這里應(yīng)該注意，VS130-2硬件組態(tài)的I／O輸入輸出設(shè)置和FB79塊的輸入輸出地址應(yīng)與硬件組態(tài)一致.

圖5 FB79功能塊程序Fig.5 Program of FB79function block

文中視覺傳感器VS120可完成三種功能中的“正確性判斷”和“完整性判斷”兩種.本文將圖像處理程序封裝在FB1功能塊中，可以方便通過FC1調(diào)用.圖像處理的結(jié)果以ANY的數(shù)據(jù)類型“P＃DB10.DBX1.0BYTE 245”保存在 D B10中.這里注意VS120硬件組態(tài)的I／O輸入輸出設(shè)置，F(xiàn)B1塊的輸入輸出地址應(yīng)與硬件組態(tài)一致.

2.3 IFIX組態(tài)界面的建立

目前，常用的組態(tài)軟件有IFIX、RSView32［8］、intuch等.本文根據(jù)汽車零配件生產(chǎn)的需要，在IFIX上建立了包括“機(jī)器人視覺主界面”“零配件表面完整性控制界面”“二維碼控制界面”“表面完整率曲線圖”和“報(bào)表”等一系列的監(jiān)控界面.

首先，在IFIX上安裝S7A驅(qū)動(dòng)，建立IFIX與西門子S7-300PLC的連接.并在IFIX數(shù)據(jù)庫(kù)管理中，通過建立變量表來(lái)讀取零配件表面圖片與模板圖片的匹配度.文中建立變量名為MAIN＿ROI＿RESULT的節(jié)點(diǎn)變量，并在I／O地址處填入S7：DB10.DBB 3.通過這些設(shè)置后，系統(tǒng)可將FB的背景DB塊數(shù)據(jù)讀取到IFIX上進(jìn)行處理和保存到數(shù)據(jù)庫(kù)中.接著，在STEP 7上，將從視覺傳感器VS130-2所讀取的二維碼字符串按字符排列順序依次保存在DB48所定義的數(shù)組ARRAY［0..500］中，保存格式定義為 Char.在IFIX上，也按同樣的方式將字符串以字節(jié)的形式讀取到數(shù)據(jù)庫(kù)管理器中，然后根據(jù)字符串的長(zhǎng)度使用Visual Basic語(yǔ)言對(duì)讀取到的所有字節(jié)進(jìn)行組合，恢復(fù)為原有的字符串形式并顯示在Textbox中方便管理員查看并以完整的形式保存到數(shù)據(jù)庫(kù)中.

3 運(yùn)行調(diào)試與檢測(cè)因素分析

3.1 機(jī)器人視覺仿真系統(tǒng)調(diào)試

文中設(shè)定被測(cè)目標(biāo)物（螺釘）的方形邊框?yàn)槟繕?biāo)檢測(cè)的區(qū)域.系統(tǒng)在讀取圖像信息后，進(jìn)行匹配處理，如零配件偏轉(zhuǎn)角度、XY軸方向上位置與目標(biāo)零配件的匹配程度等，其結(jié)果可以在系統(tǒng)控制界面上顯示，并保存到歷史數(shù)據(jù)庫(kù)和Access數(shù)據(jù)庫(kù)中.圖6提供的兩張圖片信息，本文假設(shè)圖6a為完整的零配件模板，圖6b為具有缺陷的零配件（檢測(cè)區(qū)域被紙張掩蓋）.經(jīng)表面檢測(cè)后，其檢測(cè)結(jié)果在IFIX界面上顯示相似度只有73.2%.若系統(tǒng)設(shè)定不合格產(chǎn)品的閾值為90%，則系統(tǒng)自動(dòng)判定圖6b為不合格產(chǎn)品，判定結(jié)果如圖7所示.

圖6 零配件判別圖Fig.6 Discriminatory diagrams of parts and accessories

圖7 仿真系統(tǒng)控制界面Fig.7 Control interface of simulation system

通過多次重復(fù)檢測(cè)，系統(tǒng)能自動(dòng)將表面質(zhì)量數(shù)據(jù)寫入歷史數(shù)據(jù)庫(kù)和Access數(shù)據(jù)庫(kù)，并可將其檢測(cè)結(jié)果通過歷史曲線圖體現(xiàn)，如圖8所示.

圖8 零配件表面質(zhì)量歷史曲線圖Fig.8 Historical graphs of Parts surface quality

從圖8零配件表面質(zhì)量歷史曲線結(jié)果分析可以得出，系統(tǒng)若將閾值設(shè)定為90%時(shí)，其測(cè)試結(jié)果準(zhǔn)確率為100%.若將閾值設(shè)定為95%時(shí)，其測(cè)量結(jié)果的準(zhǔn)確率仍可達(dá)到90%以上.調(diào)試結(jié)果表明，該算法設(shè)計(jì)達(dá)到預(yù)期目標(biāo)，并滿足一定的精度要求.

3.2 視覺仿真系統(tǒng)精度影響因素分析

實(shí)驗(yàn)表明，該仿真系統(tǒng)可以實(shí)現(xiàn)對(duì)螺絲、文字等缺陷識(shí)別，但在獲取清晰圖像的過程中，現(xiàn)有系統(tǒng)中仍存在一些影響最終精度的因素.對(duì)硬件部分的分析改進(jìn)后，檢測(cè)過程可以獲得更為清晰的圖像，但這只是便于使用高斯濾波器對(duì)圖像進(jìn)行平滑處理，要獲得準(zhǔn)確的結(jié)果，保持系統(tǒng)的穩(wěn)定性，圖像處理算子仍是一個(gè)很重要的影響因素.此外，由于零配件旋轉(zhuǎn)、角度變化等因素的存在.在檢測(cè)過程中，這些因素會(huì)影響到ROI尋找結(jié)果，特別對(duì)于M×N較大的模板，像素點(diǎn)之間易產(chǎn)生跳躍，從而無(wú)法很好地獲得目標(biāo)圖像ROI.這些問題都是在今后的算法改進(jìn)中需要注意的.

4 結(jié) 語(yǔ)

本文基于分析分塊圖像相減法基本原理，從汽車零配件的特點(diǎn)出發(fā)，選擇相應(yīng)的硬件平臺(tái)建立仿真，使之與汽車零配件的生產(chǎn)場(chǎng)合相符.通過仿真平臺(tái)的調(diào)試，結(jié)果表明，該算法可以穩(wěn)定地檢測(cè)出缺陷目標(biāo).今后可以通過進(jìn)一步改進(jìn)算法和平臺(tái)，使之適應(yīng)工業(yè)化的需求.

［1］ 王健.機(jī)器視覺系統(tǒng)在現(xiàn)代包裝行業(yè)中的應(yīng)用［J］.包裝與食品機(jī)械，2004，22（5）：46-49.（Wang Jian.Introduction to Machine Vision System and its Applications in Modern Packaging Industry［J］.Packaging and Food Machinery，2004，22（5）：46-49.）

［2］ 周洋.玻璃質(zhì)量在線檢測(cè)算法研究與系統(tǒng)實(shí)現(xiàn)［D］.武漢：華中科技大學(xué)，2006.（Zhou Yang. Research on the Algorithm and Implementation of a Glass Quality On-line Detection System［D］. Wuhan： Huazhong University of Science and Technology，2006.）

［3］ 王思為，朱明.基于DM642機(jī)器視覺系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.微計(jì)算機(jī)信息，2006，22（35）：175-177.（Wang Siwei，Zhu Ming.Design and Realization of a Machine Vision System Based on DM642［J］.Control ＆Automation，2006，22（35）：175-177.）

［4］ 祁廣利，武晉輝.機(jī)器人視覺的蘋果無(wú)損檢測(cè)技術(shù)［J］.陜西農(nóng)業(yè)科學(xué)，2007（5）：63-65.（Qi Guangli，Wu Jinhui.Detection on Apple with Visual of Robert［J］.Shanxi Journal of Agricultural Sciences，2007（5）：63-65.）

［5］ 周鵬.機(jī)器人及視覺系統(tǒng)在卷煙輔材配盤系統(tǒng)中的應(yīng)用研究［D］.合肥：合肥工業(yè)大學(xué)，2007.（Zhou Peng.Application and Study of the Robot Vision System for Tobacco Boxes Palletizing［D］.Hefei：Hefei University of Technology，2007.）

［6］ 陳延國(guó).基于V3圖像處理板的機(jī)器人目標(biāo)跟蹤算法研究［D］.哈爾濱：哈爾濱工程大學(xué)，2003.（Chen Yanguo. The Research of Object Tracking Arithmetic of Robot Based on V3Image Processing Board［D］.Harbin：Harbin Engineering University，2003.）

［7］ 孫見青，汪榮貴，胡韋偉.基于EM-PCA和級(jí)聯(lián)分類器的人臉檢測(cè)［J］.中國(guó)科學(xué)院研究生院學(xué)報(bào)，2008，25（2）：216-223.（Sun Jianqing，Wang Ronggui，Hu Weiwei.Face Detection Based on EM-PCA and Hierarchical Classification［J］.Journal of the Graduate School of the Chinese Academy of Sciences，2008，25（2）：216-223.）

［8］ 朱原震，李彥平.RSView32在無(wú)水氯化鎂生產(chǎn)控制系統(tǒng)中的應(yīng)用［J］.沈陽(yáng)大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，25（1）：54-57.（Zhu Yuanzhen，Li Yanping.RSView32in Anhydrous Magnesium Chloride Production Control System ［J］.Journal of Shenyang University：Natural Science，2013，25（1）：54-57.）