趙煒杰 王丹

摘? 要：為了檢測(cè)工件表面是否存在污漬，是否有缺陷，進(jìn)行了基于OpenMV的工件表面質(zhì)量系統(tǒng)檢測(cè)設(shè)計(jì)，并對(duì)不合格的工件進(jìn)行分揀。系統(tǒng)主要由OpenMV機(jī)器視覺(jué)處理模塊、光電開(kāi)關(guān)位置檢測(cè)模塊、LED光源模塊、OLED顯示模塊以及步進(jìn)電機(jī)傳送驅(qū)動(dòng)模塊等組成。軟件模塊實(shí)現(xiàn)了顏色識(shí)別、工件位置檢測(cè)、傳送帶驅(qū)動(dòng)模塊以及檢測(cè)結(jié)果顯示等功能。經(jīng)實(shí)物運(yùn)行驗(yàn)證，本系統(tǒng)穩(wěn)定可靠，檢測(cè)精準(zhǔn)度高，能夠?qū)崿F(xiàn)流水線上的工件表面質(zhì)量檢測(cè)，有效地解放人工生產(chǎn)力。

關(guān)鍵詞：機(jī)器視覺(jué);OpenMV;顏色識(shí)別;缺陷檢測(cè)

中圖分類號(hào)：TP391.4? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）15-0182-03

Abstract： In order to detect whether there are stains and defect on the surface of the workpiece， the OpenMV-based workpiece surface quality system inspection design is carried out， and the unqualified workpieces are sorted. The system is mainly composed of OpenMV machine vision processing module， photoelectric switch position detection module， LED light source module， OLED display module and stepper motor transmission driver module. The software module realizes the functions of color identification， workpiece position detection， conveyor belt driver module and detection result display. Verified by physical operation， the system is proved to be stable and reliable with high detection accuracy. It can detect the surface quality of workpiece on the assembly line and effectively liberate the human productivity.

Keywords： machine vision; OpenMV; color identification; defect detection

0? 引? 言

常規(guī)的工件缺陷檢測(cè)可使用機(jī)器視覺(jué)檢測(cè)代替人工檢測(cè)，使用機(jī)器視覺(jué)檢測(cè)可以避免人工長(zhǎng)時(shí)間檢查大量且重復(fù)的工件帶來(lái)的視覺(jué)疲勞導(dǎo)致的檢測(cè)誤差，同時(shí)使人工生產(chǎn)力從簡(jiǎn)單重復(fù)的質(zhì)檢工作中得到解放。機(jī)器視覺(jué)的顏色識(shí)別在許多領(lǐng)域都有應(yīng)用，用于紅綠燈識(shí)別，為幫助色盲、色弱群體以及無(wú)人駕駛提供可能[1];用于農(nóng)產(chǎn)品色選機(jī)，大大提高挑選效率，減少人工挑選誤差[2];用于食品熏烤過(guò)程，提升食品生產(chǎn)效率與品質(zhì)[3]。本文對(duì)工件表面污跡的檢測(cè)進(jìn)行研究，采用OpenMV機(jī)器視覺(jué)模塊進(jìn)行圖像采集與處理，采用流水線傳輸?shù)姆绞竭M(jìn)行工件傳送，使用紅外對(duì)傳送帶上的工件進(jìn)行定位，使用ROI感興趣區(qū)域?qū)⒐ぜ砻媸軝z區(qū)劃出，對(duì)該區(qū)域進(jìn)行顏色識(shí)別，使用邊緣檢測(cè)將污漬圈出，將圖像處理結(jié)果通過(guò)OLED屏幕顯示并根據(jù)結(jié)果驅(qū)動(dòng)導(dǎo)向閥進(jìn)行分揀，實(shí)現(xiàn)流水線化工件表面污漬檢測(cè)。

1? 系統(tǒng)概述

1.1? 系統(tǒng)結(jié)構(gòu)

基于OpenMV的元件質(zhì)量在線檢測(cè)控制系統(tǒng)結(jié)構(gòu)如圖1所示，由圖像采集裝置、工件定位傳感器、步進(jìn)電機(jī)傳送帶以及分揀導(dǎo)向閥4個(gè)部分組成。

圖像采集裝置主要由OpenMV模塊，光源等模塊組成。OpenMV模塊主要由CCD相機(jī)和STM32控制器構(gòu)成，負(fù)責(zé)采集工件信息并進(jìn)行圖像處理，判斷工件質(zhì)量情況將結(jié)果輸出。光源模塊主要由LED構(gòu)成，由于相機(jī)采集數(shù)據(jù)時(shí)受光線影響比較大，所以需要補(bǔ)償燈光，防止外界因素的干擾，獲得正常的圖片信息。

工件定位傳感器主要由光電開(kāi)關(guān)組成，負(fù)責(zé)檢測(cè)工件的到位信息。

傳送模塊：主要由步進(jìn)電機(jī)與傳送帶組成。

分揀模塊：由推料氣缸和電磁閥構(gòu)成。

工件在傳送帶上傳送到工件定位傳感器所在的位置時(shí)傳送帶停止，工件上方的圖像采集器裝置拍攝工件并進(jìn)行圖像處理，檢測(cè)是否存在污漬、缺陷，檢測(cè)結(jié)果會(huì)顯示在OLED顯示屏中，當(dāng)檢測(cè)出在檢工件不合格時(shí)，分揀導(dǎo)向閥會(huì)將不合格工件篩檢出來(lái)，完成工件檢測(cè)后傳送帶繼續(xù)運(yùn)行，對(duì)下一個(gè)工件進(jìn)行檢測(cè)。

1.2? 系統(tǒng)原理

系統(tǒng)原理如圖2所示，將待檢測(cè)工件放置在流水線上，啟動(dòng)流水線，由傳送帶將工件傳送至紅外定位點(diǎn)后停止，OpenMV模塊進(jìn)行圖像采集，將采集到的圖像使用ROI感興趣區(qū)域算法將受檢工件的表面從畫(huà)面中分割出來(lái)，并使用LAB色彩模型進(jìn)行色彩分析和邊緣檢測(cè)分析，根據(jù)分析結(jié)果判斷工件是否合格，如果合格，則啟動(dòng)流水線將工件運(yùn)送到下一工位，如果不合格則驅(qū)動(dòng)導(dǎo)向閥把不合格的工件分揀出來(lái)。

2? 圖像處理原理

2.1? ROI感興趣區(qū)域

OpenMV拍攝得到的圖像因?yàn)橛布?、拍攝條件以及一些隨機(jī)因素，會(huì)使得采集到的圖像產(chǎn)生部分噪聲和畸變，達(dá)不到直接識(shí)別的要求。根據(jù)香濃的信息論，DPI（每英寸點(diǎn)數(shù)）高、噪點(diǎn)低的圖像是理想的圖像分析對(duì)象，對(duì)拍攝得到的圖像進(jìn)行ROI處理能夠限制圖像畸變以及噪點(diǎn)對(duì)圖像的影響減少圖像的中的干擾信息并增強(qiáng)關(guān)鍵特征，減少分析所需要的算法的復(fù)雜度，使得圖像分析的結(jié)果更準(zhǔn)確[4]。本系統(tǒng)根據(jù)被測(cè)工件在圖像的中央劃出感興趣區(qū)域并只對(duì)該區(qū)域進(jìn)行分析識(shí)別。

2.2? 顏色識(shí)別

對(duì)圖像進(jìn)行顏色識(shí)別涉及色彩模型，色彩模型有RGB、CMYK、LAB以及灰度圖等，本系統(tǒng)使用LAB模型進(jìn)行圖像的顏色識(shí)別，RGB、CMYK這兩種色彩模型是基于設(shè)備的色彩模型，RGB模型對(duì)應(yīng)的媒介是光色，CMYK模型對(duì)應(yīng)的媒介則是印刷工藝，前者適合對(duì)自發(fā)光的物體進(jìn)行檢測(cè)，后者則需要光源反射顯色，因此對(duì)照明條件要求較高，而Lab模型描述的色彩空間更接近自然[4]，對(duì)圖像進(jìn)行顏色識(shí)別時(shí)不需要高要求的光照補(bǔ)充[5]。LAB色彩模型不同于RGB和CMYK，LAB由L（亮度）和A、B兩種顏色通道構(gòu)成，亮度L有由暗至亮0～100個(gè)級(jí)別;A則是從深綠色（低亮度值）到灰色（中亮度值）再到亮粉紅色（高亮度值）-128～100個(gè)級(jí)別;B則是從亮藍(lán)色（低亮度值）到灰色（中亮度值）再到黃色（高亮度值）-128～100個(gè)級(jí)別。由這些顏色混合產(chǎn)生的色彩具有明顯的明暗效果，更貼近現(xiàn)實(shí)的色彩。

本系統(tǒng)采集的原圖像使用RGB模型，在進(jìn)行顏色識(shí)別之前需要先將圖像的色彩模型轉(zhuǎn)換為L(zhǎng)AB模型[5]，由于光照條件等拍攝條件會(huì)對(duì)色彩分布造成影響導(dǎo)致圖片的色彩并非預(yù)設(shè)的精確Lab值，而是在一個(gè)波動(dòng)的LAB數(shù)值，因此要預(yù)設(shè)亮度L_max，L_min;A通道A_max，A_min;B通道B_max，B_min六個(gè)變量以此保存每個(gè)顏色的顏色特征，再遍歷ROI區(qū)域內(nèi)的所有像素點(diǎn)，讀取LAB值進(jìn)行判斷匹配[5]。

2.3? 程序編寫(xiě)

2.3.1? ?攝像頭初始化

程序開(kāi)始之前，將需要用到的底層模塊引入[6]。在程序編寫(xiě)時(shí)，需要引入內(nèi)置庫(kù)函數(shù)中的感光元件模塊（sensor）、機(jī)器視覺(jué)模塊（image）、時(shí)鐘控制模塊（time）和板級(jí)功能模塊（pyb）[7]。攝像頭初始化流程如圖3所示。

2.3.2? 燈光補(bǔ)償

在使用LED模塊前需要將LED模塊進(jìn)行調(diào)用，然后定義端口。主要采用指令from pyb import LED。

因LED模塊是由三個(gè)色度組成，所以需要將三個(gè)端口進(jìn)行定義。主要指令如以下所示：

led1=pyb.LED（1）;led2=pyb.LED（2）;led3=pyb.LED（3）

在圖像采集過(guò)程中，需要一個(gè)穩(wěn)定的白光光源，因此需要將三個(gè)LED端口打開(kāi)。主要指令如以下所示：

led1.on（）#紅LED;led2.on（）#綠LED;led3.on（）#藍(lán)LED

2.3.3? 閾值編輯器

在對(duì)工件表面進(jìn)行顏色識(shí)別檢測(cè)時(shí)，需要了解采集到的圖像中某特征點(diǎn)的顏色閾值范圍。根據(jù)OpenMV模塊的視覺(jué)處理軟件的色彩控件直方圖可以直觀讀取特征點(diǎn)顏色閾值范圍。若要準(zhǔn)確地采集特征點(diǎn)的顏色閾值范圍，需要使用閾值編輯器采集特征區(qū)域的閾值，閾值編輯器可以獲取最佳的顏色閾值[8]。

2.3.4? 算法選擇

邊緣是圖像最基本、最重要的特征之一，圖像的絕大部分信息都包含在邊緣中，圖像邊緣的提取對(duì)于圖像特征的檢測(cè)識(shí)別是極其重要的，也是圖像分割進(jìn)行所需要的重要依據(jù)[9];邊緣檢測(cè)可很有效地減少圖像數(shù)據(jù)量，去除其不相關(guān)的圖像信息，以保留圖像所需的圖像信息、屬性。

本系統(tǒng)中，顏色識(shí)別作和邊緣檢測(cè)算法分別作為基本檢測(cè)算法，實(shí)現(xiàn)系統(tǒng)的工件檢測(cè)功能。顏色識(shí)別方法用以對(duì)工件表面污跡檢測(cè)，用邊緣檢測(cè)進(jìn)行驗(yàn)證，確保工件檢測(cè)的準(zhǔn)確性。

3? 實(shí)驗(yàn)與分析

在OpenMVIDE上檢測(cè)正常拍攝條件下紅黃藍(lán)三色的Lab值，并以此為標(biāo)準(zhǔn)設(shè)置紅黃藍(lán)三色在Lab模型上的閾值，完成工件檢測(cè)的顏色的設(shè)置。本次進(jìn)行三組實(shí)驗(yàn)，第一組使用紅色和藍(lán)色記號(hào)筆在工件受檢區(qū)域進(jìn)行標(biāo)記，標(biāo)記寬度大約2 mm;第二組使用藍(lán)色的記號(hào)筆在工件受檢區(qū)域做一個(gè)0.5 mm寬的標(biāo)記;第三組設(shè)定為表面有頭發(fā)絲，直徑為0.12 mm。將工件放置在紅外定位處，連接IDE使用算法進(jìn)行檢測(cè)，分別如圖4，5，6所示。

根據(jù)檢測(cè)畫(huà)面，得到數(shù)據(jù)，工件表面的標(biāo)記均被檢測(cè)識(shí)別出來(lái)并標(biāo)記，分別檢測(cè)出色塊中心坐標(biāo)為（133，149），像素點(diǎn)1 231個(gè);（155，38），像素點(diǎn)2 898個(gè);（189，108），像素點(diǎn)702個(gè)。

第二組標(biāo)記與第一組相比較細(xì)，顏色也較淺，該系統(tǒng)成功檢測(cè)出污漬，并進(jìn)行了標(biāo)記，中心點(diǎn)坐標(biāo)為（114，180），像素點(diǎn)120個(gè)。

第三組圖像并沒(méi)有識(shí)別到顏色，進(jìn)行邊緣檢測(cè)時(shí)檢測(cè)到工件表面的頭發(fā)絲，并通過(guò)匹配判定輸出不合格。

4? 結(jié)? 論

本系統(tǒng)使用OpenMV機(jī)器視覺(jué)進(jìn)行工件表面顏色和污跡檢測(cè)，經(jīng)檢驗(yàn)?zāi)軌蜻_(dá)到預(yù)期結(jié)果。該系統(tǒng)使用ROI感興趣區(qū)域劃分主要受檢區(qū)域，使用顏色檢測(cè)算法成功檢測(cè)出工件表面污漬，如顏色檢測(cè)無(wú)效，通過(guò)邊緣檢測(cè)驗(yàn)證，確保能正確檢測(cè)出其他污跡，并通過(guò)OpenMV的IO實(shí)現(xiàn)了對(duì)機(jī)器結(jié)構(gòu)的控制以及顯示。這種非接觸式的工件表面缺陷檢測(cè)能夠應(yīng)用于多數(shù)工件表面污漬檢測(cè)工作并進(jìn)行自動(dòng)分揀，能夠減少人工勞動(dòng)力的浪費(fèi)，在現(xiàn)實(shí)應(yīng)用中有一定的價(jià)值。

參考文獻(xiàn)：

[1] 楚婉藝，野瑩瑩，朱禹蒙，等.基于視覺(jué)的紅綠燈識(shí)別 [J].信息技術(shù)與信息化，2021（5）：66-68.

[2] 宋騁.機(jī)器視覺(jué)技術(shù)在農(nóng)產(chǎn)品色選機(jī)上的應(yīng)用 [J].科技創(chuàng)新與應(yīng)用，2021，11（18）：169-171.

[3] 于芳珠.基于機(jī)器視覺(jué)技術(shù)的烤羊肉顏色識(shí)別與褐變程度預(yù)測(cè) [D].錦州：渤海大學(xué)，2021.

[4] STEGER C，CHRISTIAN U M.機(jī)器視覺(jué)算法與應(yīng)用 [M].清華大學(xué)出版社，2008.

[5] 張宏建.Lab色彩模式在圖像處理中的應(yīng)用 [J].福建電腦，2011，27（1）：146-147.

[6] 李晉.基于open mv智能機(jī)械手臂創(chuàng)新實(shí)踐課程探索 [J].電腦知識(shí)與技術(shù)，2018，14（31）：197-199.

[7] 鄒浩，郭雨婷，李佳盈，等.基于OPENMV的色彩引導(dǎo)機(jī)器人系統(tǒng)研究 [J].科技資訊，2018，16（25）：85-86.

[8] 許龍銘，紀(jì)培燁.基于Open MV的商店客流量監(jiān)測(cè)系統(tǒng)的設(shè)計(jì) [J].電子世界，2018（23）：120-121+124.

[9] 張旭.螺旋管內(nèi)焊圖像處理算法的研究 [D].沈陽(yáng)：沈陽(yáng)工業(yè)大學(xué)，2015.

作者簡(jiǎn)介：趙煒杰（1999—），男，漢族，廣東中山人，本科，研究方向：機(jī)器視覺(jué)。

3590500338259