仇遜超,曹　軍

(東北林業(yè)大學(xué)機(jī)電工程學(xué)院,黑龍江哈爾濱 150040)

?

基于改進(jìn)的C-V模型的東北松子外部品質(zhì)等級(jí)檢測(cè)研究

仇遜超,曹軍*

(東北林業(yè)大學(xué)機(jī)電工程學(xué)院,黑龍江哈爾濱 150040)

提出了東北松子外部品質(zhì)的無(wú)損等級(jí)劃分方法。利用CCD相機(jī)獲取松子圖像,采用改進(jìn)的C-V模型實(shí)現(xiàn)松子輪廓特征的提取;利用數(shù)學(xué)形態(tài)學(xué)的方法,提取松子的果長(zhǎng)、橫徑特征參數(shù),并與實(shí)際測(cè)量值間構(gòu)建數(shù)學(xué)模型;根據(jù)提取出的特征參數(shù),建立松子外部品質(zhì)綜合等級(jí)評(píng)定標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果表明,采用本文方法能夠?qū)崿F(xiàn)同時(shí)對(duì)多個(gè)東北松子外部品質(zhì)的等級(jí)劃分,且劃分的平均準(zhǔn)確率為97.2%。

東北松子,改進(jìn)的C-V模型,多目標(biāo)等級(jí)劃分

我國(guó)是松子產(chǎn)量大國(guó),又以東北的紅松子最為著名,目前東北紅松子已銷往多個(gè)國(guó)家和地區(qū),為我國(guó)帶來的經(jīng)濟(jì)效益十分可觀[1]。然而,松子只有經(jīng)過產(chǎn)后商品化處理,才能創(chuàng)造更大的經(jīng)濟(jì)價(jià)值,品質(zhì)分級(jí)作為商品化處理的第一個(gè)步驟,起到至關(guān)重要的作用[2]。

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展,農(nóng)副產(chǎn)品的分級(jí)技術(shù)逐漸向自動(dòng)化和可視化方向發(fā)展。研究人員將人工智能的方法應(yīng)用到農(nóng)副產(chǎn)品的等級(jí)劃分中,通過提取果實(shí)大小、缺陷、顏色等數(shù)字特征,并對(duì)特征參數(shù)進(jìn)行進(jìn)一步的智能分析,實(shí)現(xiàn)了良好的分級(jí)結(jié)果[3-9]。在堅(jiān)果類方面,研究人員已實(shí)現(xiàn)了基于機(jī)器視覺的山核桃等級(jí)劃分[10],然而目前對(duì)于松子的外部品質(zhì)等級(jí)劃分仍多采用人工分選或機(jī)械振動(dòng)篩選的方法實(shí)現(xiàn)。人工分級(jí)不僅需要大量的勞動(dòng)力,且勞動(dòng)強(qiáng)度大,分級(jí)結(jié)果會(huì)受到主觀經(jīng)驗(yàn)的影響;振動(dòng)篩選雖在分級(jí)效率方面有所提高,但由于較大的級(jí)差,使得分級(jí)的精準(zhǔn)度不高[11],且在分級(jí)過程中會(huì)對(duì)松子產(chǎn)生一定程度的碰撞磕傷。本研究將偏微分方程的方法應(yīng)用到松子果實(shí)的分級(jí)中,利用改進(jìn)的多水平集C-V模型實(shí)現(xiàn)多目標(biāo)松子輪廓的提取,根據(jù)提取到的輪廓信息,進(jìn)一步獲得松子的果長(zhǎng)、橫徑等特征參數(shù),根據(jù)特征參數(shù),進(jìn)而構(gòu)建出松子外部品質(zhì)綜合等級(jí)評(píng)定模型。本研究不僅要實(shí)現(xiàn)對(duì)單個(gè)松子的外部品質(zhì)等級(jí)劃分,還要實(shí)現(xiàn)同時(shí)對(duì)多個(gè)松子的外部品質(zhì)等級(jí)劃分,使分級(jí)效率有所提升的同時(shí),還為東北松子的外部品質(zhì)無(wú)損等級(jí)劃分提供新的方法和思路。

1　材料與方法

1.1材料與設(shè)備

實(shí)驗(yàn)裝置的硬件系統(tǒng)如圖1所示,由松下WV-CP484/CH高清攝像頭,精工SSV02812GNB 2.8～12 mm鏡頭,嘉恒OK_MC10A-E圖像采集卡以及一臺(tái)thinkpad t430 PC機(jī)組成。

圖1　圖像采集系統(tǒng)Fig.1　Image collection system注：1.CCD相機(jī);2.遮光罩;3.松子果實(shí);4.載物臺(tái);5.光源;6.PC。

其中遮光罩內(nèi)壁表有一層反光熱貼膜,載物臺(tái)背景為淺灰色絨布。設(shè)定圖像尺寸的標(biāo)準(zhǔn)為516×516。生的東北松子樣品由東寧縣北域良人貿(mào)易有限公司提供。

1.2實(shí)驗(yàn)方法

1.2.1相機(jī)標(biāo)定由于CCD相機(jī)的鏡頭是一塊光學(xué)透鏡,因此采集到的投影圖像會(huì)呈現(xiàn)鏡頭畸變的現(xiàn)象,多數(shù)情況下,透鏡的徑向畸變起主要作用,并且在相機(jī)標(biāo)定的過程中引入過多的非線性參數(shù)會(huì)導(dǎo)致解的不穩(wěn)定[12],因此,本文僅對(duì)鏡頭的徑向畸變進(jìn)行考慮?；兡Ｐ涂梢酝ㄟ^多項(xiàng)式的形式表達(dá)出來,且畸變系數(shù)k1對(duì)徑向畸變起主要作用[13],因此,本文僅考慮前兩個(gè)畸變系數(shù)k1、k2,則徑向畸變模型如式1所示。

xd=x·[1+k1(x2+y2)2+k2(x2+y2)4]

yd=y·[1+k1(x2+y2)2+k2(x2+y2)4]K

式(1)

式中(x,y)表示實(shí)際圖像點(diǎn)(畸變)投影坐標(biāo),(xd,yd)表示線性模型的圖像點(diǎn)(非畸變)理想坐標(biāo),ki表示畸變系數(shù)。

本文采用張正友標(biāo)定法[14]實(shí)現(xiàn)對(duì)相機(jī)參數(shù)的標(biāo)定,從而實(shí)現(xiàn)投影圖像的徑向畸變的修正,圖2所示為經(jīng)過標(biāo)定后的東北松子果實(shí)圖像。

圖2　東北松子修正圖像Fig.2　Modification image of northeastern pine nuts

1.2.2多目標(biāo)松子輪廓的提取根據(jù)松子果實(shí)目標(biāo)與背景間的平均灰度的不同,利用閉合曲線,可以實(shí)現(xiàn)圖像內(nèi)部區(qū)域和外部區(qū)域的劃分,使在曲線內(nèi)部和外部的灰度平均值反應(yīng)出目標(biāo)與背景間的灰度平均值的區(qū)別,則該閉合曲線就可以看做為松子果實(shí)的輪廓[15]。多水平集C-V模型的能量泛函如式2所示[16]。

式(2)

式中ci為松子目標(biāo)和背景的平均灰度值,n為不同分割區(qū)域的個(gè)數(shù),m為水平集的個(gè)數(shù),H(Φi)為引入的Heaviside函數(shù),xl為各區(qū)域的特征函數(shù),u(x,y)為關(guān)于圖像的嵌入函數(shù)。

由于初始化的嵌入函數(shù)u0(x,y)是距離函數(shù),在經(jīng)過少量的迭代后會(huì)發(fā)生背離,就需要對(duì)其再次進(jìn)行初始化,因此,在多水平集C-V模型的能量泛函中引入一個(gè)控制單元,用以提高松子輪廓的提取效率:

式(3)

則改進(jìn)的多水平集C-V模型為:

En(c1,c2,…cn,Φ1,Φ2,…Φn)

=En(c1,c2,…cn,Φ1,Φ2,…Φn)+P(u)

式(4)

圖3a所示為定義的多個(gè)水平集的初始圓閉合曲線,圖3b所示為采用多水平集C-V模型獲得的多個(gè)松子果實(shí)對(duì)象的輪廓,并將輪廓結(jié)果疊加到原始灰度圖像上,便于觀察提取到的松子輪廓信息的準(zhǔn)確性。

圖3　東北松子輪廓提取圖像Fig.3　Contour extraction image of northeastern pine nuts

1.2.3特征參數(shù)的提取計(jì)算機(jī)想要完成對(duì)松子果實(shí)的外部品質(zhì)等級(jí)劃分,就必須實(shí)現(xiàn)從采集到的圖像中獲取所需的特征參數(shù)。如圖4所示,從形狀上看,松子果頂尖、果底寬,呈倒卵狀三角形。松子果實(shí)上、下果頂間的距離稱為“果長(zhǎng)”;垂直于果長(zhǎng)方向,松子的最大寬度距離稱為“橫徑”,通過松子的果長(zhǎng)和橫徑能夠比較全面、準(zhǔn)確的表征松子果實(shí)的特征。因此,本文采用數(shù)學(xué)形態(tài)學(xué)的方法對(duì)松子果實(shí)的果長(zhǎng)、橫徑等特征進(jìn)行提取,從而實(shí)現(xiàn)松子果實(shí)的等級(jí)劃分。

圖4　特征參數(shù)描述Fig.4　Description of feature parameters

松子特征參數(shù)提取的具體步驟為:

(1)松子果實(shí)果長(zhǎng)的確定:根據(jù)提取出的松子輪廓信息,計(jì)算松子輪廓上兩點(diǎn)之間的最大距離,進(jìn)而實(shí)現(xiàn)松子果長(zhǎng)特征的提取,兩點(diǎn)之間的距離計(jì)算公式為:

式(5)

式中(x1,y1)、(x2,y2)為松子輪廓上的兩點(diǎn)坐標(biāo),果長(zhǎng)提取結(jié)果如圖5a所示。

(2)松子果實(shí)最大脫蒲橫徑的確定:以松子果長(zhǎng)的一個(gè)端點(diǎn)為起點(diǎn),另一個(gè)端點(diǎn)為終點(diǎn),進(jìn)行遍歷,過這些遍歷點(diǎn)作垂直于果長(zhǎng)直線的垂線,并對(duì)垂線與松子輪廓相交的點(diǎn)的坐標(biāo)進(jìn)行求取,根據(jù)遍歷及交點(diǎn)的坐標(biāo)計(jì)算垂線的長(zhǎng)度,則垂線長(zhǎng)度的最大值即為松子果實(shí)的最大脫蒲橫徑。橫徑提取結(jié)果如圖5b所示。

圖5　特征參數(shù)的求解Fig.5　Solution of feature parameters

1.2.4算法描述東北松子外部品質(zhì)無(wú)損等級(jí)檢測(cè)的流程圖如圖6所示,等級(jí)檢測(cè)部分分為輪廓提取、特征提取、等級(jí)判定及結(jié)果顯示,整個(gè)系統(tǒng)在Matlab 7.10.0軟件上實(shí)現(xiàn)。

圖6　算法流程圖Fig.6　The flow diagram of algorithm

2　結(jié)果與分析

采用以上所介紹的方法,進(jìn)行松子輪廓的提取,并根據(jù)提取出的輪廓信息,進(jìn)一步提取松子的果長(zhǎng)、橫徑特征參數(shù);利用游標(biāo)卡尺,多次反復(fù)測(cè)量獲取松子的實(shí)際果長(zhǎng)、橫徑測(cè)量值,建立松子數(shù)字特征參數(shù)與實(shí)際測(cè)量值之間的線性關(guān)系,用于驗(yàn)證采用本文方法提取到的松子特征參數(shù)的可靠性,并為松子的外部品質(zhì)無(wú)損等級(jí)劃分提供依據(jù)。圖7所示為松子多目標(biāo)果長(zhǎng)、橫徑特征參數(shù)的提取結(jié)果。

圖7　多松子目標(biāo)特征參數(shù)的提取Fig.7　Extraction of multiple pine’s feature parameters

需要說明的是,在對(duì)多個(gè)松子果實(shí)進(jìn)行外部品質(zhì)等級(jí)劃分的過程中,計(jì)算機(jī)的判別順序是從左向右,從下向上依次給出的,即如圖7b所標(biāo)注的順序,進(jìn)行結(jié)果的顯示。

選取各形態(tài)東北松子91粒,用于數(shù)學(xué)模型的建立,利用實(shí)際測(cè)量值和機(jī)器測(cè)量值進(jìn)行一元線性回歸,則松子果長(zhǎng)的回歸方程為:y=0.1580x+0.4900,松子橫徑的回歸方程為:y=0.1577x+0.1130。圖8a所示為松子果長(zhǎng)機(jī)測(cè)值和實(shí)測(cè)值的對(duì)應(yīng)關(guān)系,圖8b所示為松子橫徑機(jī)測(cè)值和實(shí)測(cè)值的對(duì)應(yīng)關(guān)系。

圖8　機(jī)測(cè)值和實(shí)測(cè)值的對(duì)應(yīng)關(guān)系Fig.8　The correspondences between the values of the machine measurement and that of the measured

將機(jī)測(cè)值與實(shí)測(cè)值進(jìn)行對(duì)比,以評(píng)價(jià)預(yù)測(cè)值的精準(zhǔn)度M,則精準(zhǔn)度M的計(jì)算公式為:

式(6)

式中Dr為實(shí)測(cè)值,Df為機(jī)測(cè)值,則果長(zhǎng)和橫徑的平均機(jī)測(cè)精準(zhǔn)度分別為98.4824%和97.7218%。

需要說明的是,松子外部品質(zhì)等級(jí)劃分是一個(gè)比較模糊的概念,目前尚無(wú)一個(gè)明顯的界限,為此本文依據(jù)消費(fèi)者的選購(gòu)規(guī)律,結(jié)合松子的果長(zhǎng)、橫徑來進(jìn)行東北松子的等級(jí)劃分,劃分標(biāo)準(zhǔn)如表1所示。

表1　東北松子的外部品質(zhì)建議分級(jí)標(biāo)準(zhǔn)

根據(jù)松子的果長(zhǎng)、橫徑對(duì)松子的外部品質(zhì)進(jìn)行三個(gè)等級(jí)的劃分,即一等品、二等品和等外品,果長(zhǎng)和橫徑在綜合等級(jí)評(píng)定標(biāo)準(zhǔn)中分別占55%和45%的權(quán)重,綜合等級(jí)劃分的計(jì)算公式為:

W=0.55D果長(zhǎng)+0.45D橫徑K

式(7)

式中W綜合等級(jí)評(píng)分,建議一等品得分大于13.3,二等品得分在10.25～13.3之間;三等品得分小于10.25。

為了驗(yàn)證本文方法等級(jí)劃分的準(zhǔn)確性及可靠性,任意選取2000粒松子并進(jìn)行標(biāo)記,采用傳統(tǒng)的機(jī)械振動(dòng)篩選,得一等品:543粒,二等品:1272粒,等外品:185粒;采用本文方法進(jìn)行等級(jí)劃分,得一等品:527粒,二等品:1295粒,等外品:178粒。分級(jí)結(jié)果基本一致,準(zhǔn)確率分別為:97.1%、98.2%、96.2%,平均準(zhǔn)確率為97.2%。分級(jí)結(jié)果存在差異的原因是,本文分級(jí)方法對(duì)松子果實(shí)的綜合特性進(jìn)行了考慮,而傳統(tǒng)的機(jī)械振動(dòng)篩選僅依賴松子的單一方向果徑進(jìn)行劃分,本文的分級(jí)結(jié)果更符合消費(fèi)者的視覺習(xí)慣和心理需求。對(duì)單個(gè)松子果實(shí)進(jìn)行外部品質(zhì)等級(jí)劃分所需要的時(shí)間平均為0.78 s,同時(shí)對(duì)7個(gè)松子果實(shí)進(jìn)行外部品質(zhì)等級(jí)劃分所需要的時(shí)間平均為4.42 s;對(duì)一個(gè)松子進(jìn)行單獨(dú)的外部品質(zhì)等級(jí)劃分與將該松子放入其它6個(gè)松子中同時(shí)進(jìn)行外部品質(zhì)等級(jí)劃分的結(jié)果是一樣的,由此表明,采用本文方法可以實(shí)現(xiàn)同時(shí)對(duì)多個(gè)松子的外部品質(zhì)等級(jí)劃分,在保證了分級(jí)的準(zhǔn)確性的同時(shí),提高了松子等級(jí)劃分的效率。

3　結(jié)論

本文采用改進(jìn)的C-V模型獲取松子果實(shí)的輪廓信息,根據(jù)提取到的松子果長(zhǎng)、橫徑數(shù)字特征,對(duì)東北松子的外部品質(zhì)等級(jí)進(jìn)行無(wú)損劃分,實(shí)驗(yàn)結(jié)果表明:采用改進(jìn)的多水平集C-V模型能夠?qū)崿F(xiàn)同時(shí)對(duì)多個(gè)松子果實(shí)目標(biāo)輪廓的提取;通過對(duì)松子形狀的分析,結(jié)合數(shù)學(xué)形態(tài)學(xué)的方法,實(shí)現(xiàn)了對(duì)松子果長(zhǎng)和最大脫蒲橫徑的數(shù)字特征參數(shù)的提取,并且對(duì)機(jī)器測(cè)量值和實(shí)際測(cè)量值進(jìn)行一元線性回歸,分別構(gòu)建了松子的果長(zhǎng)和最大脫蒲橫徑的數(shù)學(xué)模型;采用本文方法可以同時(shí)實(shí)現(xiàn)對(duì)多個(gè)松子的外部品質(zhì)等級(jí)劃分,與對(duì)松子進(jìn)行單獨(dú)的等級(jí)劃分相比,在分級(jí)效率上有所提高;采用本文提出的東北松子外部品質(zhì)綜合等級(jí)評(píng)定的建議標(biāo)準(zhǔn),對(duì)東北松子進(jìn)行等級(jí)劃分,分級(jí)結(jié)果的平均準(zhǔn)確率在97%以上,分級(jí)結(jié)果是可靠的,并且更加符合購(gòu)買者的視覺習(xí)慣。

本文的進(jìn)一步研究方向是,將松子出仁率、脂肪和蛋白質(zhì)等含量標(biāo)準(zhǔn)融入到等級(jí)劃分中,以更全面的實(shí)現(xiàn)東北松子內(nèi)部品質(zhì)和外部品質(zhì)的檢測(cè)。

[1]陳寶,南江,王星,等.松子的開發(fā)與利用[J].現(xiàn)代農(nóng)業(yè)科學(xué),2010,1(20):160.

[2]張道東.基于機(jī)器視覺技術(shù)的蜜桔、臍橙外部品質(zhì)在線檢測(cè)分級(jí)研究[D].杭州：浙江大學(xué),2011.

[3]Sergio C,Nuria A,Enrique M,et al.Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables[J].Food and Bioprocess Technology,2011,4(5):487-504.

[4]Devrim U,Bernard G,Olivier K,et al.Automatic grading of Bi-colored apples by multispectral machine vision[J].Computers and Electronics in Agriculture,2011,75(1):204-212.

[5]Muhammad M,Peeyush S.Detecting rottenness caused by Penicillium genus fungi in citrus fruits using machine learning techniques[J].Computers and Electronics in Agriculture,2012,39(1):780-785.

[6]饒秀勤,應(yīng)義斌.水果按表面顏色分級(jí)的方法[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2009,43(5):869-871.

[7]Yudong Z,Lenan W.Classification of Fruits Using Computer Vision and a Multiclass Support Vector Machine[J].Sensors,2012,12(9):12489-12505.

[8]Krishna K P.A.Kar S N,Jha M A.Machine vision system:a tool for quality inspection of food and agricultural products[J].Food Science and Technology,2012,49(2):123-141.

[9]Lorente D,Aleixos N,Gomez-Sanchis J,et al.Recent advances and applications of hyperspectral imaging for fruit and vegetable quality assessment[J].Food and Bioprocess Technology,2012,5(4):1121-1142.

[10]劉建軍,姚立健,彭樟林.基于機(jī)器視覺的山核桃等級(jí)檢

測(cè)技術(shù)[J].浙江農(nóng)業(yè)學(xué)報(bào),2010,22(6):854-858.

[11]葛亮,陳紅,任金海,等.機(jī)器視覺在香菇品質(zhì)分級(jí)中的應(yīng)用[J].中國(guó)食用菌,2011,30(1):8-9.

[12]山海濤,郝向陽(yáng),馬淑宇,等.影像畸變對(duì)基本矩陣估計(jì)精度的影響分析[J].測(cè)繪科學(xué)技術(shù)學(xué)報(bào),2010,27(1):50-53.

[13]馬廣彬,章文毅,陳甫.圖像幾何畸變精校正研究[J].計(jì)算機(jī)工程與應(yīng)用,2007,43(9):45-48.

[14]Zhang Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[15]王大凱,侯榆青,彭進(jìn)業(yè). 圖像處理的偏微分方程方法[M].北京:科學(xué)出版社,2008:103-105.

[16]Chan T,Vese L. Active contour without edges[J]. IEEE Image Processing,2001,10(2):266-277.

A research of the external quality grading detection for northeastern pine nuts based on improved C-V model

QIU Xun-chao,CAO Jun*

(School of Mechanic and Electronic Engineering,Northeast Forestry University,Harbin 150040,China)

A nondestructive gradation method has been introduced for the external quality of northeastern pine nuts in this paper.Images of pine nuts were got by a CCD camera with improved C-V model to extract contour features.Feature parameters of pine nuts’ length and width were extracted by the method of mathematical morphology,and according to those and the measured values the mathematical model was established,and a comprehensive evaluation standard for the external quality of pine nuts grade was established too.The results were demonstrated that the external quality of multiple northeastern pine nuts could be graded simultaneously by the method in this paper with the accuracy of 97.2%.

northeastern pine nuts;improved C-V model;multiple targets classification

2015-11-16

仇遜超(1986-),女,在讀博士研究生,研究方向:農(nóng)、林業(yè)機(jī)械化工程研究,E-mail:ldqiuxunchao@126.com。

曹軍(1956-),男,博士,教授,研究方向:傳感技術(shù)與智能測(cè)控技術(shù)、機(jī)電一體化,E-mail:ldcaojun@126.com。

國(guó)家自然科學(xué)基金(31270757)。

TS255.6

A

1002-0306(2016)11-0289-05

10.13386/j.issn1002-0306.2016.11.051