解 博，周 律

(上海理工大學(xué) 機(jī)械工程學(xué)院，上海 200093)

?

基于機(jī)器視覺的杏核圖像識別系統(tǒng)設(shè)計

解 博，周 律

(上海理工大學(xué) 機(jī)械工程學(xué)院，上海 200093)

針對杏核分揀效率問題，文中構(gòu)建了一種基于機(jī)器視覺的杏核圖像特征檢測系統(tǒng)。運用多種數(shù)字圖像處理技術(shù)完成對不同杏核圖像的識別，前期基于Matlab完成算法研究，再采用VC++調(diào)用Opencv圖像處理函數(shù)庫實現(xiàn)分揀系統(tǒng)軟件。經(jīng)驗證，雜質(zhì)杏核識別率可達(dá)94%，有效提高了杏核識別的準(zhǔn)確性和時效性。

Matlab；圖像處理；VC++；機(jī)器視覺

XIE Bo, ZHOU Lv

(School of Mechanical Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China)

傳統(tǒng)的杏核產(chǎn)品分揀多采用目測法通過杏核表面特征的差異實現(xiàn)人工分揀，分揀方法存在人力成本高、分揀效率低下、勞動強度大、耗工耗時、檢測結(jié)果主觀性強等弊端。隨著人力資源成本的不斷提高，亟需找到一種新方法來代替?zhèn)鹘y(tǒng)人工分揀的方式，實現(xiàn)杏核產(chǎn)品的自動化分揀。本研究設(shè)計出機(jī)器視覺檢測算法系統(tǒng)，在算法研究階段采用Matlab編程實現(xiàn)，運用多種數(shù)字圖像處理技術(shù)，采用VC++開發(fā)平臺完成杏核識別軟件。本研究根據(jù)杏核產(chǎn)品的質(zhì)量及市場定位，利用計算機(jī)視覺技術(shù)[1-3]、圖像處理技術(shù)[4-5]研究了杏核分揀方法，搭建了基于機(jī)器視覺的杏核識別系統(tǒng)，可實現(xiàn)對發(fā)黑發(fā)霉、褐斑一類杏核的檢測，為后續(xù)分揀系統(tǒng)的研發(fā)提供了參考。

1 機(jī)器視覺采集系統(tǒng)設(shè)計

機(jī)器視覺檢測是利用鏡頭、攝像機(jī)、圖像采集卡等設(shè)備獲取圖像信息，基于計算機(jī)或嵌入式系統(tǒng)進(jìn)行分析計算獲得結(jié)果，進(jìn)而控制執(zhí)行設(shè)備完成相應(yīng)動作的過程，其構(gòu)成如圖1所示。

圖1 機(jī)器視覺系統(tǒng)構(gòu)成

通過對杏核形狀、顏色及尺寸大小等方面的實驗研究，最終對本系統(tǒng)中所涉及到的視覺設(shè)備進(jìn)行了如下的設(shè)計與選型：

研究使用的是日本W(wǎng)AT-535EX2型工業(yè)相機(jī)，總像素為811(H)×508(V)有效像素為768(H)×494(V)，足以滿足系統(tǒng)要求；本研究的圖像采集卡采用大恒公司的DH-CG400圖像采集卡，具有集成度高、功耗低等特點。由于工業(yè)檢測時周圍有環(huán)境光，照明方案設(shè)計需考慮排除周圍光線的干擾，因此本文設(shè)計了排除外界光源干擾的光源箱。本研究的照明方式選用漫射光照明，其安裝特點是在光照箱內(nèi)4個角落安裝上LED光源。

計算機(jī)是視覺檢測系統(tǒng)硬件環(huán)境，直接關(guān)系到圖像處理算法的運行速度，以及整個系統(tǒng)的工作穩(wěn)定性。本研究利用現(xiàn)有的試驗條件，所選用計算機(jī)配置如表1所示。

表1 系統(tǒng)計算機(jī)配置

2 杏核圖像處理

利用Matlab提供的數(shù)字圖像處理工具對獲取的杏核圖像進(jìn)行包括圖像濾波、閥值分割、邊緣檢測等預(yù)處理并進(jìn)一步進(jìn)行杏核圖像的二次分割，為后續(xù)圖像特征和參數(shù)的提取做好準(zhǔn)備。

2.1 杏核圖像濾波

在采集待檢測物體圖像時，由于受到各種因素干擾，如電磁光線以及攝像機(jī)內(nèi)部元器件性能等，實際獲取的數(shù)字圖像中不可避免地夾雜著大量的噪聲信號，導(dǎo)致圖像品質(zhì)下降。因此，為便于計算機(jī)對圖像進(jìn)行后期的檢測與識別，需進(jìn)行圖像預(yù)處理，消除或盡量減少噪聲，改善圖像質(zhì)量，突出感興趣信息。圖2為待處理的杏核圖像。

圖2 杏核初始圖像

中值濾波[6]是一種統(tǒng)計濾波方式。中值濾波過程中首先對模板單元內(nèi)的像素按灰度值進(jìn)行排序，然后將排序結(jié)果中的灰度中值作為該模板中心的灰度替代值。該方法對于存在較多獨立噪聲點的圖像切實可行，能極大限度的濾除孤立點，同時對圖像損壞較小，使圖像的邊緣保持清晰。中值濾波表達(dá)式為

g(x,y)=Med{f(x-k,y-l),(k,l∈W)}

(1)

其中，f(x,y)表示原圖像；g(x,y)表示中值濾波后的圖像；W表示中值濾波模型單元。濾波結(jié)果如圖3所示。

圖3 杏核圖像中值濾波處理結(jié)果

2.2 杏核圖像閥值分割

圖像分割[7]是杏核識別過程中至關(guān)重要的一步，只有準(zhǔn)確分離杏核與背景，提取出杏核區(qū)域，才能可靠地提取杏核特征，從而提高杏核識別的準(zhǔn)確性。由于杏核區(qū)域與背景之間灰度值差異明顯，可采用灰度閾值分割方法獲取杏核區(qū)域。本文采用自動閥值中的Otsu法[8]進(jìn)行杏核圖像的閥值分割處理。根據(jù)圖像整體灰度分布，基于最小二乘原理，將圖像看作目標(biāo)和背景兩類，尋找最優(yōu)閾值，使目標(biāo)和背景之間的灰度方差最大，以實現(xiàn)圖像的最佳分割。背景和目標(biāo)的類間方差表示為

(2)

令k在0～L～1范圍內(nèi)，計算不同k值下的類間方差δ2(k)，使δ2(k)最大的那個k值就是最佳分割閾值。在使用Otsu閥值分割對圖像進(jìn)行閥值分割處理后，圖像杏核區(qū)域空洞少，能準(zhǔn)確地提取出杏核區(qū)域。分割效果如圖4所示。

圖4 Otsu閥值分割處理結(jié)果

2.3 杏核定位及杏核區(qū)域提取算法

圖像采集卡采集的杏核原始圖像大小為768×570像素，為減小運算量、提高圖像處理速度，并為后續(xù)提取單粒杏核的識別特征做準(zhǔn)備，考慮提取僅包含杏核在內(nèi)的較小圖像區(qū)域，將其作為圖像處理對象，減小圖像處理面積。為精確提取包含杏核在內(nèi)的較小圖像區(qū)域，采用基于杏核重心的定位算法獲取杏核區(qū)域。定位算法如下：

首先對杏核的二值圖像進(jìn)行連通區(qū)域標(biāo)記，提取出一幅圖像中的多粒杏核。然后，計算每一粒杏核的重心坐標(biāo)，對于連通區(qū)域標(biāo)記后大小為M×N的連通區(qū)域f(x,y)，重心坐標(biāo)計算公式如下

(3)

(4)

其中，x,y為二值圖像的行與列；f(x,y)表示圖像像素的灰度值。獲取杏核區(qū)域重心坐標(biāo)后，以每粒杏核重心為中心，截取以各杏核重心為中心大小為像素的矩形區(qū)域，作為圖像處理和特征提取的單元。進(jìn)行杏核區(qū)域提取，提取結(jié)果如圖5所示。

圖5 采用重心定位算法獲取的杏核圖像

2.4 杏核邊緣檢測

邊緣是一種重要的圖像信息，是圖像處理過程中目標(biāo)與背景之間的分界線，依靠邊緣可將圖像目標(biāo)和背景分開，邊緣檢測[9]是一種圖像分割方法，同時也是后續(xù)提取形狀特征及其他特征的基礎(chǔ)。

邊緣是圖像中灰度值劇烈變化的像素點的集合。由于圖像中目標(biāo)和背景之間灰度值差異明顯，使得杏核圖像整體灰度分布并不連續(xù)，而邊緣恰是這些灰度變化最劇烈的像素點。由于圖像灰度分布較為復(fù)雜，本設(shè)計采用圖像一階導(dǎo)數(shù)和二階導(dǎo)數(shù)來計算邊緣，采用的邊緣算子為Sobel算子[10]。

圖6 邊緣檢測結(jié)果

2.5 發(fā)黑發(fā)霉杏核褐斑杏核圖像二次分割

觀察優(yōu)質(zhì)杏核與褐斑杏核、發(fā)黑發(fā)霉杏核的灰度分布直方圖可發(fā)現(xiàn)，優(yōu)質(zhì)杏核與褐斑杏核、發(fā)黑發(fā)霉杏核在較低灰度區(qū)間像素分布比例存在差異，考慮對褐斑杏核、發(fā)黑發(fā)霉杏核圖像進(jìn)行二次灰度閾值分割，提取出褐斑杏核區(qū)域、發(fā)黑發(fā)霉杏核區(qū)域，進(jìn)一步提取杏核特征。

經(jīng)Otsu自動閾值分割操作后，可較好地提取出杏核區(qū)域，為進(jìn)一步分析優(yōu)質(zhì)杏核、褐斑杏核、發(fā)黑發(fā)霉杏核的杏核區(qū)域灰度特性，由于杏核灰度在較高灰度區(qū)間存在一個聚集分布，為了去除這部分灰度干擾，取杏核褐斑區(qū)域和發(fā)黑發(fā)霉區(qū)域作為前景，杏核其他區(qū)域作為背景，對于0～Ave(杏核整體灰度均值)區(qū)間灰度采用Otsu法進(jìn)行二次分割，計算前景與背景之間的分割閾值thresh2。確立了圖像中背景和目標(biāo)的類間方差判別公式為

(5)

發(fā)黑發(fā)霉杏核褐斑杏核圖像二次分割結(jié)果如圖7所示。

圖7 發(fā)黑發(fā)霉杏核二次分割圖像

3 杏核視覺檢測算法研究

3.1 杏核特征參數(shù)的提取

灰度特征[11]：根據(jù)計算得到的分割閾值，統(tǒng)計每一粒測試杏核的杏核區(qū)域灰度值位于閾值以下的像素所占比例，將此比例作為褐斑杏核、發(fā)黑發(fā)霉杏核及優(yōu)質(zhì)杏核識別的灰度識別特征。經(jīng)研究，優(yōu)質(zhì)杏核與褐斑杏核發(fā)黑發(fā)霉杏核較低區(qū)域灰度分布比例差別明顯，可作為識別特征。

紋理特征[12]：紋理是圖像灰度在空間位置上交織作用形成的一定灰度關(guān)系?；叶裙采仃囀瞧渲幸环N應(yīng)用最廣泛的紋理特征表達(dá)方法。灰度共生矩陣是一種二階統(tǒng)計方法，可描述一定方向上相距特定距離的大量像素點的灰度統(tǒng)計信息。

3.2 杏核識別系統(tǒng)的設(shè)計

圖8 發(fā)黑發(fā)霉、褐斑杏核識別流程圖

采集杏核圖像，經(jīng)圖像濾波，Otsu灰度閾值分割，提取杏核區(qū)域，計算杏核區(qū)域像素灰度均值，若杏核像素灰度均值小于給定閾值，則該杏核為雜質(zhì)杏核；若灰度均值大于給定閾值T0，則判斷杏核區(qū)域灰度值位于給定灰度閾值Thresh1以下比例是否大于給定值P1，若大于，則該杏核為雜質(zhì)杏核；否則判斷該杏核紋理特征能量值是否

4 杏核分揀系統(tǒng)軟件設(shè)計

一套完備的杏核視覺檢測系統(tǒng)需要有良好的軟件系統(tǒng)支撐，設(shè)計在算法階段采用Matlab編程實現(xiàn)，充分利用了Matlab編程快速便捷的優(yōu)點，在軟件的最終完成階段，采用VC++調(diào)用Opencv圖像處理函數(shù)庫[13-15]實現(xiàn)，充分發(fā)揮其高效的執(zhí)行效率優(yōu)點。

本設(shè)計構(gòu)建的基于機(jī)器視覺的杏核識別系統(tǒng)主要由圖像采集、圖像預(yù)處理、圖像特征提取、杏核分類4大模塊組成：圖像采集模塊是調(diào)用圖像采集子程序，完成CCD攝像頭采集杏核圖像信息的過程，并可根據(jù)需要將圖像以BMP格式儲存到指定空間區(qū)域內(nèi)；圖像處理模塊包括杏核圖像濾波、杏核圖像分割、杏核圖像邊緣檢測等模塊；特征提取模塊包括杏核幾何形狀特征提取、杏核紋理特征提取部分；杏核分類就是根據(jù)顏色特征、紋理特征進(jìn)行的對發(fā)黑發(fā)霉、褐斑一類杏核的識別。系統(tǒng)界面如圖9所示。

圖9 杏核識別系統(tǒng)顯示界面

5 結(jié)束語

基于機(jī)器視覺的杏核識別系統(tǒng)具有高精度、非接觸、自動化的特點，克服了傳統(tǒng)的人工分揀效率低、檢測結(jié)果主觀性強、一致性較差的弊端，具有較好的應(yīng)用價值。為實現(xiàn)對發(fā)黑發(fā)霉、褐斑杏核的檢測，研究了優(yōu)質(zhì)杏核與發(fā)黑發(fā)霉杏核、褐斑杏核在灰度特征和紋理特征方面的差異，利用改進(jìn)的Otsu閥值分割算法，對杏核圖像進(jìn)行二次分割，獲取分割閥值。通過大量的統(tǒng)計數(shù)據(jù)分析對比，確立了最終的特征閥值，建立了一種基于顏色和紋理特征閥值的杏核識別規(guī)則。

[1] 黃星奕,吳守一,方如明,等.計算機(jī)視覺在大米胚芽識別中的應(yīng)用[J].農(nóng)業(yè)機(jī)械學(xué)報,2000,31(1):62-65.

[2] 許俐.機(jī)器視覺測量大米留胚率的研究[J].江蘇理工大學(xué)學(xué)報,1997,18 (6):8-11.

[3] 徐洪蕊.基于計算機(jī)視覺對“次郎”甜柿外部品質(zhì)檢測與分級的研究[D].南京: 南京農(nóng)業(yè)大學(xué),2010.

[4] 楊新華,王艷,段永軍,等.基于Matlab的圖像增強處理系統(tǒng)的設(shè)計與實現(xiàn)[M]. 火力與指揮控制,2008,33(6):143-145, 153.

[5] 楊丹,趙海濱,龍哲,等.Matlab圖像處理實例詳解[M].北京:清華大學(xué)出版社,2013.

[6] 候宏花,陳樹越,郭保全.醫(yī)學(xué)B超圖像降噪處理的三種方法比較[J].測試技術(shù)學(xué)報,2003,17(3):262-264.

[7] 趙榮椿,趙忠明,趙歆波.數(shù)字圖像處理與分析[M].北京:清華大學(xué)出版社,2013.

[8] 王鳳朝,黃樹采,韓朝超.基于改進(jìn)的二維Otsu法的圖像分割法[J].航空計算技術(shù),2008,38(4):4-7.

[9] 張凱麗,劉輝.邊緣檢測技術(shù)的發(fā)展研究[J].昆明理工大學(xué)學(xué)報:理工版,2000,25(5):36-39.

[10] 容觀澳.計算機(jī)圖像處理學(xué)[M].北京: 清華大學(xué)出版社,1999.

[11] 汪黎明,陳健敏,王銳,等.織物折皺紋理灰度共生矩陣分析[J].青島大學(xué)學(xué)報:工程技術(shù)版,2003,18(4):5-8.

[12] 徐小軍,邵英,郭尚芬.基于灰度共生矩陣的火焰圖像紋理特征分析[J].計算機(jī)技術(shù)與自動化,2007,26(4):64-67.

[13] Bradski G,Kaehler A.學(xué)習(xí)Opencv[M]. 于仕琪,劉瑞禎,譯.北京:清華大學(xué)出版社,2009.

[14] 曲揚.精通Visual C++實效編程280例[M].北京:人民郵電出版社,2009.

[15] 劉銳寧,寧坤.Visual C++從入門到精通[M].北京:清華大學(xué)出版社,2010.

Design of an Almond Image Recognition System Based on Machine Vision

This paper constructs an almond image feature detection system based on machine vision for higher almond sorting efficiency. A variety of digital image processing technologies are employed for the identification of different almond images. The Matlab algorithm is studied and the sorting system software is implemented by using C++ image processing library to call Opencv. Tests show that the impurity almond recognition rate improves up to 94% after verification.

Matlab; image processing; VC++; machine vision

2015- 12- 28

解博(1990-)，男，碩士研究生。研究方向：機(jī)器視覺圖像處理。周律(1976-)，男，博士，講師，碩士生導(dǎo)師。研究方向：機(jī)電一體化。

10.16180/j.cnki.issn1007-7820.2016.10.028

TP391.41

A

1007-7820(2016)10-097-04