陳　璞，劉立波

(寧夏大學(xué) 數(shù)學(xué)計(jì)算機(jī)學(xué)院，寧夏 銀川 750021)

基于形態(tài)學(xué)邊緣檢測的枸杞外部缺陷識別方法

陳璞，劉立波

(寧夏大學(xué) 數(shù)學(xué)計(jì)算機(jī)學(xué)院，寧夏 銀川 750021)

摘要：在基于機(jī)器視覺技術(shù)的枸杞外部缺陷識別過程中，樣品數(shù)量過多且擺放密集，導(dǎo)致邊界陰影與外部缺陷相互混淆，從而影響了識別的準(zhǔn)確性。針對此問題，提出一種基于形態(tài)學(xué)邊緣檢測的枸杞外部缺陷識別方法。首先，通過二值化進(jìn)行背景分割，提取存在邊界陰影的果實(shí)圖像。然后，以改進(jìn)的自適應(yīng)形態(tài)學(xué)梯度算子提取精確果實(shí)邊界，進(jìn)而對其填充并與樣本圖像做差運(yùn)算，去除邊界陰影。最后，對圖像去噪并增強(qiáng)對比度，通過二值化篩選缺陷部位完成識別。實(shí)驗(yàn)結(jié)果表明，提出的方法正確率達(dá)到90%以上。該方法滿足枸杞外部缺陷識別的實(shí)際需求，為進(jìn)一步進(jìn)行枸杞質(zhì)量評價(jià)提供了有利條件。

關(guān)鍵詞：枸杞外部缺陷；邊界陰影；缺陷區(qū)域識別；形態(tài)學(xué)邊緣檢測

中圖分類號：TP391.9

文獻(xiàn)標(biāo)志碼：碼：A

文章編號：號：2095-4824(2015)06-0032-06

收稿日期：2015-09-02

基金項(xiàng)目：國家自然基金項(xiàng)目(61363054)

作者簡介：陳璞(1990-)，男，河南信陽人，寧夏大學(xué)數(shù)學(xué)計(jì)算機(jī)學(xué)院碩士研究生。

Abstract：In the recognition of the wolfberry appearance defects based on the technology of machine vision, samples are excessive and intensive, which causes a mutual confusion between border shadow and defect region and accordingly affects the recognition accuracy. To solve this problem, this paper puts forward a recognition method for wolfberry appearance defects by edge detection of morphology. Firstly, the binarization is applied to segment the background and extract the fruit region with boundary shadow. Secondly, a modified adaptive morphological gradient operator is used to obtain the precise boundaries of fruit. Thirdly, different operation is performed between the filled image and the sample image to extract precise fruit image for removing the boundary shadow. Finally, the resultant image is denoised and enhanced to improve its contrast. And the binarization is used to locate the appearance defects region for its recognition. The experiment results indicated that the correct rate is above 90%. The proposed method meets the practical demand of the recognition of wolfberry appearance defects and offers favorable conditions for its further quality evaluation.

枸杞在采摘和運(yùn)輸過程中，容易產(chǎn)生傷痕或病斑等外部缺陷，導(dǎo)致其品質(zhì)受到一定程度的影響。隨著機(jī)器視覺技術(shù)的迅速發(fā)展，因其具有快速、高精度、非破壞性等優(yōu)點(diǎn)，該技術(shù)已廣泛應(yīng)用于農(nóng)產(chǎn)品檢測[1-3]。

在基于機(jī)器視覺的枸杞外部缺陷檢測中，對缺陷部位的精確定位是識別的關(guān)鍵環(huán)節(jié)[4]。由于枸杞果實(shí)體積小，識別過程中往往樣本擺放數(shù)目較多，且密集程度高，果實(shí)邊界陰影與外部缺陷在圖像處理時(shí)容易產(chǎn)生混淆，導(dǎo)致出現(xiàn)誤判?，F(xiàn)有的解決方法主要是通過邊緣檢測區(qū)分外部缺陷與邊界陰影，效果并不理想，因此，如何實(shí)現(xiàn)枸杞果實(shí)的有效邊緣檢測是目前面臨的主要問題。

國內(nèi)外學(xué)者在邊緣檢測領(lǐng)域開展了大量研究，研究結(jié)果表明，傳統(tǒng)圖像處理方法不能有效處理非線性系統(tǒng)，因此無法滿足實(shí)際應(yīng)用中邊緣檢測的需求[5]。作為一種新興的圖像處理技術(shù)，形態(tài)學(xué)兼顧線性系統(tǒng)與非線性系統(tǒng)的處理能力，能夠在一定程度上彌補(bǔ)傳統(tǒng)圖像處理方法的不足[6-8]。在農(nóng)業(yè)領(lǐng)域，閻慶等通過對圖像進(jìn)行形態(tài)學(xué)濾波，實(shí)現(xiàn)了玉米田間雜草識別[9]；李江波等采用形態(tài)學(xué)梯度增強(qiáng)與重構(gòu)方法，實(shí)現(xiàn)了類球形水果外部缺陷的精確分割[10]。上述研究促進(jìn)了形態(tài)學(xué)邊緣檢測在農(nóng)作物識別上的應(yīng)用，但精度仍然較低，尤其在提取枸杞等細(xì)小物體邊界時(shí)誤差較大，不能有效去除果實(shí)邊界陰影，對枸杞外部缺陷的識別造成很大干擾。

本文以形態(tài)學(xué)邊緣檢測為基礎(chǔ)，通過對自適應(yīng)形態(tài)學(xué)梯度算子進(jìn)行改進(jìn)，精確檢測出枸杞果實(shí)邊緣，有效去除其邊界陰影干擾。在此基礎(chǔ)上，對枸杞果實(shí)圖像去噪并增強(qiáng)對比度，最終通過二值化處理提取出枸杞外部缺陷，實(shí)現(xiàn)對其精確識別。該方法為后續(xù)實(shí)現(xiàn)枸杞品質(zhì)的自動化鑒定奠定了良好基礎(chǔ)。

1實(shí)驗(yàn)材料與方法

1.1實(shí)驗(yàn)材料

實(shí)驗(yàn)材料為寧夏枸杞，共選取10袋，平均每袋260個(gè)樣本。各袋中缺陷樣品數(shù)量分別為10個(gè)到20個(gè)不等。經(jīng)檢驗(yàn)發(fā)現(xiàn)，缺陷分為條形與點(diǎn)狀兩類。實(shí)驗(yàn)前用清水清洗樣本，并用干凈的棉布將其表面擦干，以免殘留水分影響圖像質(zhì)量。

劉立波(1974-)，女，寧夏銀川人，寧夏大學(xué)數(shù)學(xué)計(jì)算機(jī)學(xué)院教授，博士。

1.2圖像采集

仿真實(shí)驗(yàn)從單一面對枸杞外部缺陷進(jìn)行靜態(tài)檢測，以驗(yàn)證算法的有效性。每次實(shí)驗(yàn)選取26個(gè)樣本，隨機(jī)設(shè)置混入缺陷枸杞的數(shù)量。根據(jù)實(shí)驗(yàn)結(jié)果進(jìn)行進(jìn)一步優(yōu)化調(diào)整，為后續(xù)枸杞外部缺陷的動態(tài)全面檢測提供技術(shù)支撐。由于枸杞樣品大多數(shù)為暗紅色，在圖像采集過程中，將其置于純白棉布之上，以提高背景與枸杞顏色的對比度，從而降低后續(xù)的背景分割難度[11]，采集后的樣本圖像如圖 1所示。

圖1　樣本圖像

1.3實(shí)驗(yàn)方法

利用Matlab 2013a軟件設(shè)計(jì)基于形態(tài)學(xué)的枸杞外部缺陷識別程序并進(jìn)行仿真實(shí)驗(yàn)，識別流程如圖 2所示。

圖2　枸杞外部缺陷識別流程圖

該方法主要通過三步完成對枸杞外部缺陷的精確識別。首先，選取合適閾值對背景部分進(jìn)行分割，提取存在邊界陰影的枸杞果實(shí)圖像；其次，以改進(jìn)的自適應(yīng)形態(tài)學(xué)梯度算子對枸杞果實(shí)邊界進(jìn)行精確提取，然后對其進(jìn)行填充并與樣本圖像做差運(yùn)算，從而去除邊界陰影；最后，對圖像去噪并增強(qiáng)對比度，通過二值化提取缺陷部位，實(shí)現(xiàn)對外部缺陷的識別。

2邊緣檢測

2.1形態(tài)學(xué)邊緣檢測算法

對細(xì)小物體的邊緣檢測一直是形態(tài)學(xué)圖像處理的難點(diǎn)，賀智濤等構(gòu)建多方位結(jié)構(gòu)元素，從8個(gè)方向?qū)τ衩追N子進(jìn)行邊緣檢測，提高了邊緣判斷的精度[12]。但該方法結(jié)構(gòu)元素較大，使邊緣細(xì)節(jié)丟失過多，導(dǎo)致提取出的邊界存在較多斷點(diǎn)。有學(xué)者發(fā)現(xiàn)，對邊緣部分進(jìn)行先去噪再檢測的處理方法，可保證邊界圖像的連續(xù)性，在此基礎(chǔ)上提出了抗噪型形態(tài)學(xué)梯度算子[13-14]，但無法對邊界進(jìn)行精確判斷。賀萌將上述方法進(jìn)行融合并優(yōu)化，提出了自適應(yīng)形態(tài)學(xué)梯度算子[15]。但此方法去噪時(shí)使用多尺度結(jié)構(gòu)元素，導(dǎo)致圖像失真，影響邊緣判斷的精確性。

本文在前人研究的基礎(chǔ)上，提出了改進(jìn)的自適應(yīng)形態(tài)學(xué)梯度算子。在去噪方面，將不同尺度結(jié)構(gòu)元素調(diào)整為同尺度，使圖像在處理過程中不失真。在邊緣檢測方面，根據(jù)枸杞的實(shí)際結(jié)構(gòu)，將結(jié)構(gòu)元素調(diào)整為具有4個(gè)檢測方向的3階矩陣，在保證邊界判斷精度的同時(shí)，不會對邊緣細(xì)節(jié)產(chǎn)生太大影響。該算子既能使邊界線段連續(xù)，又能提高邊界判斷的準(zhǔn)確性，其定義式表示為：

C=[(A?B1)⊕B1]⊕B2-[(A?⊕B1)?B1]?B2

(1)

式中：C為邊界圖像，A為枸杞圖像，B1為去噪結(jié)構(gòu)元素。由于菱形結(jié)構(gòu)具有各向同性，有助于進(jìn)行不同方向的處理，所以B1矩陣結(jié)構(gòu)選為{0 1 0;1 1 1;0 1 0}。B2為邊緣檢測結(jié)構(gòu)元素，分為水平(B21)、垂直(B22)、45°(B23)和135°(B24)四個(gè)方向矩陣，取值依次為{0 0 0;1 1 1;0 0 0}，{0 1 0;0 1 0;0 1 0}，{0 0 1;0 1 0;1 0 0}，{1 0 0;0 1 0;0 0 1}。當(dāng)方向矩陣與被檢測邊緣相互垂直時(shí)，檢測效果最佳。

為了確立結(jié)構(gòu)元素B2，在某一區(qū)域使用方向矩陣首先計(jì)算目標(biāo)像素與相鄰像素間的灰度差，以此判斷邊界曲線方向，然后選擇與其方向垂直的矩陣?；叶炔钣?jì)算公式為：

dm=|Pm-P1|

(2)

式中：P1為目標(biāo)像素，Pm(m=2,3…9)為P1的相鄰的像素,將P1正右方的像素設(shè)為P2，逆時(shí)針依次設(shè)置其他像素為P3到P9，dm為對應(yīng)相鄰像素與目標(biāo)像素的灰度差。灰度差越大，則灰度突變越大，意味著這兩個(gè)像素位于邊界兩側(cè)的可能性越大。設(shè)D1、D2、D3、D4分別表示水平、垂直、45°、135°四個(gè)方向邊緣的馬氏距離，它們的計(jì)算公式分別為：

D1=d2+d4+d5+d6+d7+d8

(3)

D2=d2+d3+d5+d6+d7+d9

(4)

D3=d2+d4+d5+d6+d8+d9

(5)

D4=d2+d3+d5+d6+d7+d8

(6)

當(dāng)計(jì)算出不同方向的馬氏距離后，選出最大值Dmax，其對應(yīng)的方向?yàn)檫吔缜€最有可能的走向，則與之垂直的方向矩陣對這個(gè)區(qū)域檢測效果最好。

2.2背景分割

由于采集過程中會受到多方面因素的影響，導(dǎo)致圖像存在一些背景噪聲。因此，需要對樣本圖像轉(zhuǎn)化為灰度圖像進(jìn)行背景分割。觀察發(fā)現(xiàn)，灰度圖像分為背景區(qū)域與果實(shí)區(qū)域，外部缺陷在果實(shí)區(qū)域中，邊界陰影在背景區(qū)域與果實(shí)區(qū)域的交界處。為驗(yàn)證背景區(qū)域與果實(shí)區(qū)域在灰度特性上的差異，獲取如圖 3(a)所示灰度級直方圖，其中橫軸表示灰度級，縱軸表示某一灰度級對應(yīng)的像素個(gè)數(shù)。

(a)灰度直方圖

(b)二值圖像　　　　(c)進(jìn)行背景分割后圖像

通過分析灰度級直方圖，發(fā)現(xiàn)圖像由兩個(gè)不同灰度值區(qū)域的雙峰所組成，即背景部分與非背景部分。文獻(xiàn)[16]的研究表明，以靠近非背景部分的低谷端點(diǎn)作為閾值能最大程度地去除背景干擾，故本實(shí)驗(yàn)的最優(yōu)二值化閾值為0.55。對應(yīng)的二值化圖像如圖 3(b)所示，其中黑色部分非背景部分，白色部分為背景部分。由于邊界陰影所屬的灰度區(qū)間靠近非背景部分，所以大多數(shù)邊界陰影被分到非背景部分。在二值圖像中，非背景部分灰度值相同，無法識別邊界陰影，所以后續(xù)處理不能在二值圖像中進(jìn)行，需要利用二值圖像對原始灰度圖像進(jìn)行分割。在分割過程中，由于圖像背景部分不包含缺陷部位，為使后續(xù)圖像處理的范圍縮小到果實(shí)邊界周圍，將二值化后的圖像轉(zhuǎn)化成與灰度圖像相同的格式，采用掩膜法[17-18]提取非背景部分，即包含邊界陰影的果實(shí)區(qū)域，結(jié)果如圖 3(c)所示。與原始樣本圖像對比，發(fā)現(xiàn)背景區(qū)域幾乎全部去除。

2.3去除邊界陰影

背景分割后得到的果實(shí)區(qū)域中依然存在邊界陰影，盡管肉眼難以發(fā)現(xiàn)，但在圖像處理過程中給缺陷識別帶來很大干擾。圖 4給出了對圖 3(c)進(jìn)行缺陷識別的結(jié)果。雖然在去噪等識別過程中能夠去除一部分邊界陰影，但與外部缺陷相似度較高的陰影仍然被保留下來，并且在圖像增強(qiáng)后與缺陷部位的差別進(jìn)一步減小，導(dǎo)致檢測出的缺陷數(shù)量明顯多于實(shí)際情況。

圖4　邊界陰影的干擾

上述結(jié)果表明，去除邊界陰影能夠提高對外部缺陷的識別精度。由于枸杞果實(shí)區(qū)域與邊界陰影區(qū)域存在灰度上的差異，而外部缺陷在果實(shí)區(qū)域中，可以通過改進(jìn)的自適應(yīng)形態(tài)學(xué)梯度算子檢測它們之間的灰度邊界，進(jìn)而去除邊界陰影。提取的邊界圖像如圖 5所示。

圖5　邊界檢測結(jié)果

為驗(yàn)證改進(jìn)的自適應(yīng)形態(tài)學(xué)梯度算子在邊緣檢測上的有效性，分別使用多方位結(jié)構(gòu)元素檢測算子、抗噪型形態(tài)學(xué)梯度算子、自適應(yīng)形態(tài)學(xué)梯度算子對枸杞的灰度邊界進(jìn)行檢測，并觀察檢測結(jié)果。不同梯度算子的檢測結(jié)果如圖 6所示。

(a)多方位結(jié)構(gòu)元素算子　(b)抗噪型形態(tài)學(xué)梯度算子

(c)自適應(yīng)形態(tài)學(xué)梯度算子

觀察發(fā)現(xiàn)，多方位結(jié)構(gòu)元素檢測算子檢測出的邊界存在斷點(diǎn)(見圖 6(a))，抗噪型形態(tài)學(xué)梯度算子檢測出的邊界在去噪?yún)^(qū)域向內(nèi)凹陷，失真嚴(yán)重(見圖 6(b))，自適應(yīng)形態(tài)學(xué)梯度算子雖然成功提取出了完整清晰的邊界圖像(見圖 6(c))，但其檢測出的邊界被放大，導(dǎo)致一些區(qū)域的果實(shí)邊界幾乎重合。相比這三種算法，改進(jìn)的自適應(yīng)形態(tài)學(xué)梯度算子檢測出的邊界效果最好。

當(dāng)提取枸杞果實(shí)的精確邊界后，由于外部缺陷在邊界內(nèi)，邊界陰影在邊界外，可對邊界內(nèi)區(qū)域進(jìn)行填充，獲得無邊界陰影的枸杞果實(shí)區(qū)域，然后結(jié)合灰度圖像再次使用掩膜法去除邊界陰影干擾。為了更好地觀察處理后的效果，將除去邊界陰影后的圖像進(jìn)行二值化處理，結(jié)果如圖7所示。

圖7　邊界陰影

3外部缺陷的識別與驗(yàn)證

3.1外部缺陷的提取

在圖7中雖然去除了邊界陰影，但在枸杞果實(shí)區(qū)域中，外部缺陷與果實(shí)其他部分的灰度差異并不明顯。為了降低對外部缺陷的識別難度，將果實(shí)部分對應(yīng)的灰度區(qū)間進(jìn)行灰度拉伸，并通過對圖像的線性疊加來提高對比度。然后，利用形態(tài)學(xué)開運(yùn)算去除枸杞果實(shí)圖像上的紋路和細(xì)小顆粒點(diǎn)，篩選出缺陷部位圖像并加粗。經(jīng)多次實(shí)驗(yàn)，選取0.2為閾值進(jìn)行二值化處理，提取缺陷部位的結(jié)果如圖8所示。

圖8　缺陷提取結(jié)果

觀察發(fā)現(xiàn)，在該結(jié)果中識別出的缺陷數(shù)量與人工檢測的數(shù)量大致相同。因此，本文提出的方法能有效去除邊界陰影對檢測精度的干擾。

3.2結(jié)果驗(yàn)證

為了進(jìn)一步驗(yàn)證結(jié)果的有效性，對其他袋中的枸杞樣品進(jìn)行7次抽樣檢驗(yàn)，每次從不同袋中取出枸杞50個(gè)，其中混入的缺陷枸杞數(shù)量隨機(jī)設(shè)置。檢測結(jié)果如表 1所示。

表1　檢測結(jié)果

在本次檢測中，絕大部分外部缺陷能很好地被識別出來，正確率達(dá)到90%以上。為探明未能將全部缺陷識別出的原因，對各袋枸杞樣品反復(fù)進(jìn)行多次實(shí)驗(yàn)，統(tǒng)計(jì)發(fā)現(xiàn)設(shè)計(jì)的枸杞外部缺陷識別方法針對條形缺陷以及直徑大于1.5 mm的點(diǎn)狀缺陷具有較好的檢測率，在微小點(diǎn)狀缺陷上的檢測仍存在一定程度的偏差。針對此問題，在后續(xù)的研究中將對算法進(jìn)行完善，以進(jìn)一步提高檢測的精度。

4結(jié)論

針對枸杞外部缺陷與邊界陰影可以由果實(shí)邊界區(qū)分的特點(diǎn)，本文提出了一種基于形態(tài)學(xué)邊緣檢測的枸杞外部缺陷識別方法。首先，通過改進(jìn)的自適應(yīng)形態(tài)學(xué)梯度算子對枸杞圖像進(jìn)行邊緣檢測，提取出的邊界精度高于前人方法，可以更好地去除邊界陰影的干擾。然后，利用缺陷部位與果實(shí)其他部位的灰度差異，通過二值化處理篩選出外部缺陷，實(shí)現(xiàn)對缺陷的有效識別。仿真實(shí)驗(yàn)表明，該方法識別精度達(dá)到90%以上，為后續(xù)開展枸杞質(zhì)量評價(jià)奠定了良好基礎(chǔ)。

[參考文獻(xiàn)]

[1]Arman A, Asad M, Kaveh M, et al. Recognition and localization of ripen tomato based on machine vision[J].Australian Journal of Crop Science,2011,5(10):1144-1149.

[2]汪成龍,李小昱,武振中,等.基于流形學(xué)習(xí)算法的馬鈴薯機(jī)械損傷機(jī)器視覺檢測方法[J].農(nóng)業(yè)工程學(xué)報(bào),2014,30(1):245-252.

[3]王玉德，張學(xué)志.復(fù)雜背景下甜瓜果實(shí)分割算法[J].農(nóng)業(yè)工程學(xué)報(bào),2014,30(2):176-181.

[4]Cuber S, Aleixos N, Moltó E, et al. Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables[J].Food Bioprocess Technology, 2011, 4(4): 487-504.

[5]陶曉勛,安如,周紹光,等.基于多尺度形態(tài)梯度的灰度圖像邊緣檢測[J].遙感信息,2007(1):58-62.

[6]Hu X L, Zhang M, Yang W P,et al. Image de-noising and granularity detection based on morphology[J].Physics Procedia, 2012, 24(Part C): 1822-1829.

[7]Alexandru C, Mihai I, Noel R. Probabilistic pseudo morphology for grayscale and color images[J].Pattern Recognition, 2014, 47(2):721-735.

[8]Thouraya M, Malika B, Bachir B.Mathematical morphology for TOFD image analysis and automatic crack detection[J].Ultrasonics, 2014, 54(6):133-141.

[9]閻慶,梁棟,張東彥.基于監(jiān)督局部線性嵌入算法的玉米田間雜草識別[J].農(nóng)業(yè)工程學(xué)報(bào),2013,29(14):171-177.

[10]李江波,彭彥昆,黃文倩,等.桃子表面缺陷分水嶺分割方法研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014, 45(8):288-293.

[11]彭輝,吳鵬飛,翟瑞芳,等.基于視差圖像的重疊果實(shí)圖像分割算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(6):167-173.

[12]賀智濤,王俊,毛鵬軍,等.數(shù)學(xué)形態(tài)學(xué)在種子圖像邊緣檢測中的應(yīng)用[J].湖北農(nóng)業(yè)科學(xué),2008,47(5):587-589.

[13]Shen J, Hu S, Feng S, et al. Edge detection of seam image based on mathematical morphology[J].Journal of Tianjin University Science and Technology, 2010, 43(4):373-377.

[14]Yang J, Huang C, Fan Y. Edge detection of medical image based on multi-structure element morphology[J].Opto-Electronic Engineering, 2008, 35(3): 112-116.

[15]賀萌.基于自適應(yīng)形態(tài)學(xué)的邊緣檢測及應(yīng)用[D].長沙:中南大學(xué),2013.

[16]刁智華,王歡,宋寅卯,等.復(fù)雜背景下棉花病葉害螨圖像分割方法[J].農(nóng)業(yè)工程學(xué)報(bào),2013,29(5):147-152.

[17]李江波,饒秀勤,應(yīng)義斌,等.基于掩模及邊緣灰度補(bǔ)償算法的臍橙背景和表面常見缺陷分割研究[J].農(nóng)業(yè)工程學(xué)報(bào),2009,25(12):133-137.

[18]Li J B, Rao X Q, Wang F J, et al. Automatic detection of common surface defects on oranges using combined lighting transform and image ratio methods[J].Postharvest Biology and Technology, 2013, 82(2): 59-69.

Recognition of Wolfberry Appearance Defects Based on

Edge Detection of Morphology

Chen Pu, Liu Libo

(SchoolofMathematicsandComputerScience,NingxiaUniversity,Yinchuan,Ningxia750021,China)

Key Words：wolfberry appearance defects; boundary shadow; recognition of defects region; morphology edge detection

(責(zé)任編輯：張凱兵)