王 炎，連曉峰，葉 璐

(北京工商大學(xué) 計算機與信息工程學(xué)院，北京 100048 )

基于特征融合的多尺度窗口產(chǎn)品外觀檢測方法

王 炎，連曉峰，葉 璐

(北京工商大學(xué) 計算機與信息工程學(xué)院，北京 100048 )

為提高產(chǎn)品外觀質(zhì)量的檢測精度和實時性，提出一種基于特征融合的多尺度滑動窗口機器視覺檢測方法；在訓(xùn)練階段，首先提取圖像的HOG特征和Lab顏色特征，并采用典型相關(guān)分析法(CCA)進行特征融合；接下來，采用支持向量機(SVM)對融合的特征進行訓(xùn)練，生成分類器；在檢測階段，產(chǎn)品外觀不同區(qū)域?qū)鹊囊蟛煌瑸樘岣邫z測效率，生成不同尺度的滑動窗口，在每個窗口中都進行圖像的特征提取與特征融合；最后，對采集的圖像序列進行匹配，實現(xiàn)產(chǎn)品外觀劃痕的實時檢測；實驗中，選取不同的特征提取方法進行對比，并分別生成大小不同的滑動窗口，通過分析實驗結(jié)果，結(jié)合檢測時間與精度，確定各個區(qū)域的窗口尺度；實驗表明，與傳統(tǒng)的檢測方法相比，所提方法在檢測精度和實時性上具有顯著提高。

機器視覺；質(zhì)量檢測；特征融合；多尺度滑動窗口；支持向量機

0 引言

隨著生產(chǎn)力的提高以及生產(chǎn)資料的豐富，人們對工業(yè)產(chǎn)品質(zhì)量要求也不斷在提高，產(chǎn)品外觀缺陷問題愈發(fā)受到重視?，F(xiàn)有的外觀缺陷檢測方法有Blob檢測算法、LBP特征檢測算法等。Blob檢測算法是依據(jù)所需要的檢測精度將目標(biāo)圖像劃分成為一個個的小區(qū)域，計算時將每個小分區(qū)內(nèi)的RGB平均值代替分區(qū)顏色信息，然后再將待檢測的目標(biāo)圖像和標(biāo)準(zhǔn)圖像的對應(yīng)的分區(qū)進行對比[1]。這種檢測方法檢測速度慢，內(nèi)存消耗大，不能滿足對產(chǎn)品的實時檢測,并且如果待檢劃痕的顏色和機身本體顏色很接近，該算法的精度不高。LBP特征(局部紋理特征)檢測方法是將目標(biāo)圖像劃分為若干個3*3的小區(qū)域，通過對比區(qū)域中周圍8個點和中心點的灰度值來得到中心點的LBP值，并用該值來表示整個區(qū)域的LBP特征，這種特征提取方法并不能很好的描述工業(yè)產(chǎn)品的外觀特征，其精確度也不能滿足一般的工業(yè)要求。除此以外還有基于小波分析的外觀缺陷檢測方法[2]、Hough變換法[3]、自適應(yīng)閾值分割算法[4]等外觀檢測方法，但是目前僅限于實驗研究階段，未能應(yīng)用于實際工業(yè)生產(chǎn)，對產(chǎn)品外觀進行實時快速精確的檢測是當(dāng)前亟待解決的問題。

本文提出一種基于特征融合的多尺度滑動窗口檢測算法，可以實現(xiàn)對產(chǎn)品外觀的快速精確的檢測。整個過程分為樣本訓(xùn)練階段和實際檢測階段。在訓(xùn)練階段，對訓(xùn)練樣本進行圖像的HOG特征和Lab顏色特征提取，特征提取完畢采用CCA進行特征融合，然后送入SVM進行訓(xùn)練。在檢測階段，先在采集到的圖像上選取同樣的感興趣區(qū)域，在圖像上生成多尺度滑動窗口，即對待不同精度需求的產(chǎn)品檢測面，生成大小不同的滑動窗口。尺度分為三個等級，精度需求不同，窗口的尺度大小也不同，這樣既能保證檢測精度，又能保證檢測的實時性，大大提升了檢測效率。接下來在滑動窗口中進行特征提取與特征融合，將融合的特征送入已經(jīng)訓(xùn)練好的分類器中，檢測是否存在外觀劃痕缺陷，檢測完畢后滑至下一個窗口繼續(xù)檢測。總體的檢測流程如圖1所示。

圖1 檢測流程

1 特征提取與融合

特征提取包括基于局部的方向梯度直方圖(HOG)特征提取和基于全局的Lab顏色特征提取。

1.1 HOG特征提取

HOG特征是一種機器視覺與圖像處理中用來進行圖像檢測的特征描述算子[5]。相比較其它的特征描述方法，其優(yōu)點在于它對圖像的幾何形變和光學(xué)形變擁有良好的魯棒性，因為這兩種形變只會出現(xiàn)在大的空間領(lǐng)域中，而HOG特征是在圖像劃分的小區(qū)間內(nèi)進行操作的。HOG特征提取的步驟如下：

1)將目標(biāo)圖像進行規(guī)范化(歸一化)，其目的主要是降低光照對圖像的影響；

2)分別用[-1,0,1]和[1,0,-1]T梯度算子對圖像做卷積運算，得到水平方向和豎直方向的梯度分量。然后計算像素點(x,y)的梯度：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(2)

在式(1)、式(2)中，Gx(x,y)表示目標(biāo)圖像中像素點(x,y)的水平方向梯度，Gy(x,y)表示該像素點豎直方向梯度，H(x,y)表示像素值。像素點(x,y)的梯度幅值和梯度方向如式(3)所示：

(3)

3)將目標(biāo)圖像劃分為大小為6*6個像素的圖像單元，統(tǒng)計每個圖像單元的梯度直方圖。

4)將小的圖像單元組合成空間上連通的區(qū)間，每個區(qū)間上所有的圖像單元的特征向量串聯(lián)起來就可以得到該區(qū)間的HOG特征向量。最后將目標(biāo)圖像內(nèi)所有的區(qū)間HOG特征向量串聯(lián)起來，得到整個圖像的HOG特征向量。

HOG特征提取流程圖如圖2所示。

圖2 HOG特征提取流程

HOG特征提取如圖3所示，圖(a)為產(chǎn)品外觀圖，圖(b)為該圖提取的HOG特征，橫軸表示每一個block中的特征數(shù)量，縱軸表示block的個數(shù)。

圖3 產(chǎn)品外觀HOG特征提取

1.2 Lab顏色特征提取

與RGB等顏色空間相比，Lab顏色空間色域更加寬廣，包含了RGB和CMYK等其它顏色空間的所有色域，人類肉眼所能感知的顏色都可表現(xiàn)，同時Lab顏色空間又彌補了RGB和CMYK等其它顏色空間的色彩分布不均勻的缺陷。多次實驗表明，使用Lab顏色空間來描述圖像的顏色特征，比其他顏色空間有更高的精度和更低的誤檢率。因目前常用的圖像獲取設(shè)備都是以RGB顏色空間為標(biāo)準(zhǔn)的，所以要先將RGB空間轉(zhuǎn)換為Lab空間[6]:

(4)

(5)

1.3 特征融合

常用的特征融合方法有CCA、D-S證據(jù)理論法和主成分分析法(PCA)[7]。主成分分析法考慮到變量內(nèi)部各維數(shù)據(jù)之間的關(guān)聯(lián)，誤差較小，但是其求解復(fù)雜，應(yīng)用困難，且本課題研究只需要融合兩種特征，所以主成分分析法不適用。D-S證據(jù)理論是一種多源信息融合方法，但是該方法要不同特征之間必須相互獨立，特征之間的關(guān)聯(lián)會導(dǎo)致融合出現(xiàn)較大的誤差，故也不適用。本文特征融合采取CCA。該方法通過提取兩組特征向量中有代表性的綜合變量，可以從整體上把握兩組特征向量之間的相關(guān)性。在融合特征的同時，又降低了特征表示維數(shù)。具體融合方法描述如下：

設(shè)從圖像中提取的HOG特征和Lab顏色特征分別為兩組向量空間X=[x1,x2,…,xm]和Y=[y,y2,…,yn]，m和n分別為兩組特征向量的維數(shù)。兩組特征向量的相關(guān)系數(shù)如式(6)所示：

(6)

式中，Cxy為X，Y間互協(xié)方差矩陣；Cxx為X的協(xié)方差矩陣；Cyy為Y的協(xié)方差矩陣。找到一組合適的投影矢量矩陣u和v，使得投影分量z1=uTx和z2=vTy的相關(guān)性最大。

2 SVM學(xué)習(xí)分類器

2.1 SVM基本原理

SVM是針對線性分類器提出的一種設(shè)計準(zhǔn)則，相比起其他的分類方法，其泛化性能強、精度高，在解決非線性小樣本的識別問題中具備很明顯的優(yōu)勢[8]。

SVM的目的是求得一個超平面使得該超平面與訓(xùn)練樣本的距離最大。求取超平面的極大化泛函如式(7)所示：

(7)

式中，N為樣本的個數(shù)，x為樣本，y為類別編號，ai為函數(shù)優(yōu)化時拉格朗日系數(shù)。求得函數(shù)最大值Q(a)，即可求得最優(yōu)解，最優(yōu)權(quán)向量為：

(8)

式中，Ns為支持向量的個數(shù)。求得拉格朗日系數(shù)ai，即可求得最優(yōu)超平面。

2.2 分類器生成

將采集到的圖像進行HOG特征提取和Lab顏色特征提取，經(jīng)過特征融合以后送入分類器進行訓(xùn)練，然后將訓(xùn)練好的分類器用于后續(xù)的外觀檢測中。在進行檢測時，對待檢圖像進行特征提取以及特征融合，然后送入已經(jīng)訓(xùn)練好的SVM分類器中，得到檢測結(jié)果。

3 多尺度滑動窗口的生成

由于產(chǎn)品外觀劃痕的位置分布具有不確定性，所以檢測時在檢測面生成矩形窗口進行檢測，選取大小合適的矩形窗口在圖像上進行滑動，使其包含整個圖像，每滑動一次，就對窗口內(nèi)的圖像進行一次特征提取。窗口的大小對檢測時間以及檢測精度會產(chǎn)生很大的影響，若是窗口選擇太大，包含過多的像素點，則會使窗口內(nèi)分辨率下降，降低檢測精度；若是窗口選擇太小，則會因為多次提取特征導(dǎo)致檢測時間過長并且內(nèi)存消耗過大，而且可能會將機身上的灰塵或是水珠等誤檢為劃痕。

一件產(chǎn)品不同的面對于外觀缺陷的精度要求也是不同的。通常來說側(cè)面及正面對于檢測精度要求較高，生成尺度較小的窗口進行檢測；而背面和頂面對于檢測精度要求較低，則需要生成尺度較大的窗口進行檢測。

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集

本文所采用的數(shù)據(jù)集是來自海爾集團滾筒洗衣機生產(chǎn)流水線上的產(chǎn)品實際外觀圖。每張圖片的尺寸為2 456*2 058。

4.2 實驗設(shè)計

4.2.1 特征提取方式對比

采取HOG特征和Lab顏色特征相結(jié)合的特征提取方式，為了體現(xiàn)該方法的優(yōu)越性，另外選取不同的特征提取方式來進行對比實驗。在特征提取方式中，另外選取了Blob特征提取和LBP(局部二值模式)特征提取兩種特征提取方式。

實驗中將機身貼上劃痕標(biāo)簽(如圖4所示)，用不同的特征提取方法來進行檢測，比較檢測結(jié)果。

圖4 機身外觀劃痕

4.2.2 不同窗口尺度對比

滑動窗口的尺度選取不同會較大程度地影響檢測結(jié)果，本實驗所采用的檢測圖像較大，對于精度要求較低的檢測面，若窗口尺度選取較小，則需要相當(dāng)長的時間，不能滿足流水線的實時檢測。實驗中分別選取尺度為20*20、25*25、30*30、35*35、40*40、45*45、50*50的窗口，每種尺度測試數(shù)量為200臺，將產(chǎn)品的檢測面上人為貼上劃痕標(biāo)簽，最終得到窗口尺度和檢測時間以及檢測精度的關(guān)系曲線圖。

4.3 實驗結(jié)果分析

4.3.1 特征提取方式對比結(jié)果分析

分別采取不同的特征提取方式對同一批產(chǎn)品進行檢測，選取幾組典型的檢測結(jié)果，可以明顯看出，相比起HOG特征和Lab顏色特征想結(jié)合的特征提取方法，其他特征提取方法效果并不理想(見圖5～圖7)。

圖5 Blob特征提取檢測結(jié)果

圖6 LBP特征提取檢測結(jié)果

圖7 HOG與Lab顏色特征結(jié)合檢測結(jié)果

4.3.2 不同窗口尺度對比結(jié)果分析

實驗中選取大小不同的窗口，得到窗口大小和檢測時間的關(guān)系如圖8所示。

圖8 窗口大小和時間的關(guān)系

在生產(chǎn)過程中機身會沾染少許灰塵，在實驗中若將灰塵檢測為劃痕，則判定為誤檢，若未能檢測到貼上的劃痕標(biāo)簽，則同樣判定為誤檢。設(shè)定精度為正確檢測的機器數(shù)量與總量的比值。窗口大小和檢測精度的關(guān)系如圖9所示。

圖9 窗口大小和精確度的關(guān)系

窗口大小15*1520*2025*2530*3035*3540*4045*45時間/s9.06.24.84.03.53.23.0精度96.1%96.9%98.8%98.3%98.2%97.8%96.5%

表1為不同大小的窗口的檢測時間與檢測精度對應(yīng)的具體數(shù)值。分析圖表，在窗口大小為25*25時，精確度會達(dá)到一個峰值，之后緩慢下降，結(jié)合時間，選取大小為25*25大小的滑動窗口用于檢測產(chǎn)品的正面以及側(cè)面；35*35大小的窗口相比起30*30大小的窗口，精確度幾乎持平，而時間卻明顯減少，所以選取大小為35*35的滑動窗口用于檢測產(chǎn)品的頂面；背面對于精確度的要求較低，可選取大小為40*40的滑動窗口用于檢測背面。

5 結(jié)論

提出了一種基于HOG特征和Lab顏色特征融合的多尺度

滑動窗口檢測方法，可以對產(chǎn)品外觀質(zhì)量完成快速準(zhǔn)確的檢測，且具有實時性，多特征融合可以保證檢測結(jié)果的準(zhǔn)確性，多尺度滑動窗口既能保證較高的檢測精度又能降低檢測時間。實驗過程中對比了其他幾種特征提取方法，結(jié)果表明本文采取的HOG特征和Lab顏色特征具有最高的檢測精度；通過分別選取不同大小的窗口，結(jié)合精度和時間，在不同的檢測面生成大小合適的窗口。在實際的生產(chǎn)流水線進行實驗，結(jié)果表明該研究具有很高的工業(yè)應(yīng)用價值。但是經(jīng)過實驗，發(fā)現(xiàn)還是會存在誤檢漏檢的情況，在生產(chǎn)密集的時候，檢測速度還是略微有些跟不上生產(chǎn)速度，在未來的研究中，還需要繼續(xù)改進，逐步完善性能。

[1] 孫 浩，王 程，王潤生.局部不變特征綜述[J]. 中國圖象圖形學(xué)報，2011,16(2)：141-151.

[2] 蔣年德，王耀南.一種新的基于主分量變換與小波變換的圖像融合方法[J]. 中國圖象圖形學(xué)報，2005，10(7)：910-915.

[3] 陳培俊，伍鐵軍.去除陰影后利用霍夫直線變換檢測茶葉中的雜質(zhì)[J].機械工程與自動化，2014(5)：63-65.

[4] 龍建武，申鉉京，陳海鵬.自適應(yīng)最小誤差閾值分割算法[J].自動化學(xué)報，2012,38(7)：1134-1144.

[5] Dragan V， Morozan T， Stoica A M．Robust Stabilization of Linear Stochastic Systems[J]．Mathematical Methods in Robust Control of Linear Stochastic Systems，2013，52:381-436．

[6] Guo Q， Chen G X， Luo J. A Blind Watermarking Algorithm Using DWT and DCT Techniques for Color Image[J].2015,731(1)：179-182.

[7] 劉金梅，王國宇.基于特征接近度的多特征融合方法[J].中國海洋大學(xué)學(xué)報，2015，45(11)：109-113.

[8] 唐銀鳳，黃志明，黃榮娟.基于多特征提取和SVM分類器的紋理圖像分類[J].計算機應(yīng)用與軟件，2011，28(6)：22-26.

Product Appearance Detection Based on Feature Fusion and Multi - Scale Window

Wang Yan，Lian Xiaofeng，Ye Lu

(School of Computer and Information Engineering,Beijing Technology and Business University,Beijing 100048, China)

In order to improve the detection accuracy and real-time performance of the product appearance quality, we present a method of machine vision on the basis of feature fusion and multi-scale sliding window. In the training phase, in the first part of the paper, the HOG feature and Lab color feature of the image are extracted, and then the feature are fused using the classical correlation analysis(CCA). Next, support vector machine(SVM) is used to train the fused features to generate a classifier. In the detection phase, the accuracy requirements of different regions of the product are different. In order to improve the detection efficiency, the sliding window of different scales is generated. In each window, the feature extraction and feature fusion are carried out. Finally, the acquisition of the image sequence to match, to achieve real-time detection of product appearance scratches. In the experiment, different feature extraction methods are selected to compare and generate sliding windows with different sizes respectively. By analyzing the experimental results and combining the detection time and precision, the window scales of each region are determined. Experiments show that compared with the traditional detection method, the proposed method has a significant improvement in detection accuracy and real-time.

machine vision; quality inspection; feature fusion; multi - scale sliding window; SVM

2017-05-26；

2017-06-10。

北京工商大學(xué)兩科基金培育項目(LKJJ2017-23)。

王 炎(1993-)，男，天津人，碩士研究生，主要從事機器視覺與智能檢測方向的研究。

連曉峰(1977-)，男，山西長治人，副教授，碩士研究生導(dǎo)師，主要從事圖像處理、機器視覺、智能控制與網(wǎng)絡(luò)測控方向的研究。

1671-4598(2017)12-0039-04

10.16526/j.cnki.11-4762/tp.2017.12.010

TP391

A