鄭紀(jì)業(yè)，張琛，劉光，王風(fēng)云

（1.山東省農(nóng)業(yè)科學(xué)院科技信息研究所，山東濟(jì)南 250100；2.中國(guó)移動(dòng)通信集團(tuán)山東有限公司青島分公司，山東青島 266000；3.濟(jì)南市中小企業(yè)公共服務(wù)中心，山東濟(jì)南 250099）

我國(guó)蘋(píng)果種植面積大、產(chǎn)量高［1］，與之對(duì)應(yīng)的是產(chǎn)銷(xiāo)過(guò)程中占用大量的人力資源，與日俱增的人力成本壓縮了蘋(píng)果產(chǎn)銷(xiāo)的利潤(rùn)空間。為減少人力成本，加速農(nóng)業(yè)現(xiàn)代化，科研人員從不同角度做了相關(guān)研究，其中蘋(píng)果分級(jí)因需求大、可行性高而成為研究熱點(diǎn)。

當(dāng)前我國(guó)蘋(píng)果分級(jí)主要依賴(lài)人工進(jìn)行，也有少量依靠機(jī)械方式進(jìn)行［2］。隨著機(jī)器視覺(jué)的發(fā)展，依據(jù)圖像進(jìn)行分級(jí)成為主要研究方向［3，4］。大小分級(jí)是蘋(píng)果等農(nóng)產(chǎn)品分級(jí)的重要組成部分，受到國(guó)內(nèi)外諸多關(guān)注［5-8］。Hayrettin等［9］利用蘋(píng)果二值圖像在x、y方向上的像素?cái)?shù)計(jì)算蘋(píng)果直徑；Paulus等［10］用表面積、直徑和體積三特征表征蘋(píng)果大小。國(guó)內(nèi)當(dāng)前有關(guān)農(nóng)產(chǎn)品大小分級(jí)的研究則主要用到最小外接矩形法［11，12］、擬合圓法［13，14］、最大橫切面直徑法［15］等，這些方法可以較準(zhǔn)確地求出圖像中蘋(píng)果直徑像素?cái)?shù)，但易受果形影響，存在不同程度偏差。而且在求出蘋(píng)果直徑像素?cái)?shù)后，還需要對(duì)直徑像素?cái)?shù)與實(shí)際直徑建立映射關(guān)系，因?yàn)樘O(píng)果大小變化會(huì)影響圖像中像素?cái)?shù)與實(shí)際尺寸的比例，所以基于固定比例的直徑計(jì)算方法會(huì)隨著蘋(píng)果直徑變化程度的增大而產(chǎn)生更大的誤差。若要減小直徑計(jì)算誤差，就需要改進(jìn)直徑像素?cái)?shù)與實(shí)際直徑的映射關(guān)系。劉新庭等［14］利用與蘋(píng)果大小相近的球體建立圖像直徑與實(shí)際直徑的映射關(guān)系，但蘋(píng)果實(shí)際形狀與球體模型一致程度有限；陳艷軍等［15］利用蘋(píng)果三幅不同果面圖像的直徑像素?cái)?shù)與蘋(píng)果實(shí)際直徑建立線性模型進(jìn)行映射，三幅圖像能一定程度上反映蘋(píng)果大小，但是卻沒(méi)有計(jì)算出圖像中蘋(píng)果的實(shí)際直徑?？梢?jiàn)，利用上述方法雖能對(duì)蘋(píng)果大小分級(jí)，根據(jù)各自分級(jí)標(biāo)準(zhǔn)也均能得到較高準(zhǔn)確率，但仍存在較大的平均誤差。

當(dāng)前蘋(píng)果大小分級(jí)難點(diǎn)在于將蘋(píng)果直徑像素?cái)?shù)準(zhǔn)確映射到實(shí)際直徑［16］，針對(duì)該難點(diǎn)，本研究設(shè)計(jì)一種關(guān)于直徑像素?cái)?shù)與實(shí)際直徑的線性模型，并用最小二乘法對(duì)線性模型進(jìn)行擬合。該模型采用不同大小的蘋(píng)果數(shù)據(jù)進(jìn)行建模，與球體模型［14］相比更符合蘋(píng)果實(shí)際形狀特點(diǎn)，與多幅圖像建立的線性模型［15］相比能更準(zhǔn)確計(jì)算圖像中的蘋(píng)果直徑。同時(shí)為進(jìn)一步提升分級(jí)準(zhǔn)確率，本研究還對(duì)直徑像素?cái)?shù)計(jì)算方法做了改進(jìn)，利用HSV顏色空間分割蘋(píng)果區(qū)域并提取蘋(píng)果輪廓，用蘋(píng)果輪廓最外側(cè)點(diǎn)迭代求最小外接圓，以最小外接圓直徑作為蘋(píng)果直徑。經(jīng)過(guò)上述改進(jìn)，本分級(jí)方法的準(zhǔn)確率不僅能滿(mǎn)足應(yīng)用需求，而且明顯降低了分級(jí)過(guò)程中的計(jì)算誤差。

1 材料與方法

1.1 試驗(yàn)材料與設(shè)備

試驗(yàn)材料為煙臺(tái)棲霞生產(chǎn)的“煙富3”蘋(píng)果，共75個(gè)，大小在70～95 mm之間。測(cè)量蘋(píng)果實(shí)際大小后，按總體大小分布規(guī)律從中選擇40個(gè)作為建模集，剩余35個(gè)作為測(cè)試集。

試驗(yàn)裝置如圖1所示，其中相機(jī)型號(hào)為維視MV-VEM200SC，相機(jī)到傳送帶平面的高度為61 cm，光圈型號(hào)為維視 AFT-RL 12068，計(jì)算機(jī)CPU為Intel Core i3。相機(jī)位于傳送帶正上方，傳送帶將蘋(píng)果從上料口傳送至相機(jī)下，光圈用于照明蘋(píng)果，相機(jī)采集的數(shù)據(jù)傳送至計(jì)算機(jī)進(jìn)行大小分級(jí)。

試驗(yàn)使用語(yǔ)言開(kāi)發(fā)工具M(jìn)icrosoft Visual Studio 2013以及計(jì)算機(jī)視覺(jué)函數(shù)庫(kù)OpenCV對(duì)圖像進(jìn)行處理。

圖1 試驗(yàn)裝置示意圖

1.2 試驗(yàn)方法

蘋(píng)果實(shí)際直徑依據(jù)垂直于果梗-花萼連線的最大橫切面測(cè)得：試驗(yàn)中用游標(biāo)卡尺對(duì)蘋(píng)果最大直徑測(cè)量3次，若有與另兩次數(shù)據(jù)差距較大的異常值，則重新測(cè)量，最終取3次測(cè)量的平均值作為蘋(píng)果實(shí)際直徑。

蘋(píng)果圖像由圖1試驗(yàn)裝置采集：將蘋(píng)果從上料口放置于傳送帶上，勻速傳送至相機(jī)下，由傳送帶上的觸發(fā)裝置感應(yīng)到蘋(píng)果后進(jìn)行拍照，圖像傳送到計(jì)算機(jī)進(jìn)行處理，并給出分級(jí)結(jié)果。圖像處理流程如圖2所示。

圖2 圖像處理流程

2 結(jié)果與分析

2.1 蘋(píng)果輪廓提取

提取蘋(píng)果輪廓需要先從圖像中分割出蘋(píng)果區(qū)域［17］，可利用閾值分割實(shí)現(xiàn)。閾值分割［18］具有快速、直觀的特點(diǎn)，它用一個(gè)或多個(gè)閾值分割圖像中的不同內(nèi)容，按閾值設(shè)置方式不同可分為自適應(yīng)閾值分割和固定閾值分割。大津法［19］是自適應(yīng)閾值分割方法中的代表方法，對(duì)圖3a所示蘋(píng)果圖像進(jìn)行分割得到如圖3b所示蘋(píng)果區(qū)域，可見(jiàn)，受蘋(píng)果果形影響，光反射率由中心向四周呈降低趨勢(shì)，圖像中蘋(píng)果區(qū)域灰度存在梯度變化，分割結(jié)果損失部分邊緣，難以將蘋(píng)果區(qū)域提取完整。而用固定灰度閾值對(duì)圖3a進(jìn)行分割可以較完整提取到如圖3c所示的蘋(píng)果區(qū)域，可見(jiàn)，固定閾值分割雖然不具備多變環(huán)境的適應(yīng)性，但是在圖像采集環(huán)境固定的情況下分割效果優(yōu)于自適應(yīng)閾值分割。但由于蘋(píng)果區(qū)域存在灰度變化，灰度取值范圍較寬，利用固定閾值分割出蘋(píng)果區(qū)域的同時(shí)也會(huì)提取到噪聲區(qū)域。為更準(zhǔn)確地提取蘋(píng)果區(qū)域，本研究先利用多色彩顏色空間進(jìn)行前景提取。

2.1.1 圖像顏色空間轉(zhuǎn)換 通常相機(jī)采集到的圖像在計(jì)算機(jī)視覺(jué)上是用RGB顏色空間表達(dá)的。不同于RGB顏色空間，HSV顏色空間［20］是用色調(diào)（H）、飽和度（S）、明度（V）表達(dá)色彩，在表達(dá)圖像色調(diào)、鮮艷程度以及色彩明暗上更具有優(yōu)勢(shì)，且便于進(jìn)行顏色之間的對(duì)比，所以本研究首先將相機(jī)采集到的蘋(píng)果圖像由RGB顏色空間轉(zhuǎn)換到HSV顏色空間以進(jìn)行圖像分割。顏色空間轉(zhuǎn)換通過(guò)對(duì)圖像像素紅（R）、綠（G）、藍(lán)（B）三數(shù)值的操作實(shí)現(xiàn)，轉(zhuǎn)換公式如下：

2.1.2 HSV閾值分割 同種蘋(píng)果不同個(gè)體的H、S、V值分布區(qū)間具有共性，用采集圖像中的蘋(píng)果區(qū)域樣本與非蘋(píng)果區(qū)域樣本進(jìn)行試驗(yàn)，確定出蘋(píng)果H、S、V的取值范圍，在HSV顏色空間提取蘋(píng)果區(qū)域圖像。圖4a為兩種環(huán)境下采集到的蘋(píng)果圖像，圖4b為用固定灰度閾值分割兩種環(huán)境下蘋(píng)果區(qū)域的效果，圖4c為用HSV閾值分割兩種環(huán)境下蘋(píng)果區(qū)域的效果?？梢?jiàn)，利用HSV閾值分割能將蘋(píng)果較完整地從背景中分割出來(lái)，且能在一定程度上與雜物、反光等噪聲區(qū)分，比灰度閾值分割有更好的環(huán)境適應(yīng)性。

2.1.3 蘋(píng)果輪廓提取 由于傳送帶上可能存在雜物或其他影響分割準(zhǔn)確性的因素，且果梗、花萼及缺陷區(qū)域也會(huì)對(duì)分割造成干擾，提取的前景二值圖像中會(huì)存在噪聲，需要去除噪聲以準(zhǔn)確提取蘋(píng)果區(qū)域。鑒于后文中求最小外接圓需要用到蘋(píng)果輪廓，且噪聲輪廓與蘋(píng)果輪廓在大小上存在明顯差異，本研究通過(guò)判斷輪廓大小去除噪聲。首先提取前景圖像輪廓，然后遍歷所有輪廓，將大小低于閾值的輪廓?jiǎng)h除，則輪廓信息中只保留如圖5所示蘋(píng)果輪廓。

2.2 確定最小外接圓并計(jì)算蘋(píng)果直徑像素?cái)?shù)

圖像中的蘋(píng)果直徑根據(jù)蘋(píng)果輪廓求得，以像素?cái)?shù)的形式體現(xiàn)。當(dāng)前常見(jiàn)求輪廓直徑的方法中，最小外接矩形法［12］通過(guò)旋轉(zhuǎn)輪廓確定最小外接矩形，但因蘋(píng)果果形不規(guī)則易產(chǎn)生誤差；同心外接圓法［14］以蘋(píng)果圖像質(zhì)心作為外接圓圓心求蘋(píng)果最小外接圓，但是蘋(píng)果圖像質(zhì)心不完全與蘋(píng)果實(shí)際最小外接圓圓心一致，因此該方法求出的同心外接圓通常大于真正的最小外接圓。本研究采用輪廓外側(cè)點(diǎn)迭代求圓的方法，求出蘋(píng)果區(qū)域最小外接圓，得到更準(zhǔn)確的直徑像素?cái)?shù)。

該方法首先遍歷輪廓所有點(diǎn)，確定上、下、左、右最外側(cè)四點(diǎn)A、B、C、D，查找四點(diǎn)所能確定的最大三角形，求該三角形最小外接圓，假設(shè)三角形三頂點(diǎn)分別為 A（x1，y1）、B（x2，y2）、C（x3，y3），則圓心O坐標(biāo)（x，y）由（4）（5）式求得，半徑R由（6）式求得：

圖5 蘋(píng)果輪廓提取結(jié)果

再次遍歷輪廓所有點(diǎn)，檢查是否有點(diǎn)在前一步所求圓之外，即輪廓到圓心的距離大于半徑R。若無(wú)點(diǎn)在圓外，則該圓為蘋(píng)果輪廓最小外接圓，直徑為蘋(píng)果輪廓直徑；若有點(diǎn)在圓外，則將圓外距離圓心最遠(yuǎn)點(diǎn)E與先前四點(diǎn)A、B、C、D組成四個(gè)不同組合 ABCE、ABDE、ACDE、BCDE。以組合ABCE確定包圍4點(diǎn)的最小圓，判斷組合外的D點(diǎn)是否在該圓內(nèi)，若不在圓內(nèi)，則求解其他組合確定的最小圓，并判斷組合外的一點(diǎn)是否在該組合所確定圓內(nèi)。如此重復(fù)進(jìn)行，直到某組合外的一點(diǎn)在該組合所確定的最小外接圓內(nèi)，則該圓為蘋(píng)果輪廓新的最小外接圓。

用新的最小外接圓驗(yàn)證是否有輪廓在圓外，若有點(diǎn)在圓外，重復(fù)上述過(guò)程，直到輪廓所有點(diǎn)都在外接圓內(nèi)，則該外接圓為蘋(píng)果區(qū)域最小外接圓（圖6），其直徑像素?cái)?shù)代表蘋(píng)果最大橫切面直徑。

2.3 構(gòu)建線性模型計(jì)算蘋(píng)果直徑

圖像中的蘋(píng)果直徑以像素?cái)?shù)體現(xiàn)，不能直接用于分級(jí)，還需將其映射為以毫米為單位的數(shù)值才能用于蘋(píng)果分級(jí)。本研究首先嘗試將標(biāo)定尺放在傳送帶上拍照，獲得圖像像素?cái)?shù)與實(shí)際尺寸的比例，進(jìn)而求出圖像中蘋(píng)果的直徑，結(jié)果發(fā)現(xiàn)利用該方法計(jì)算得到的蘋(píng)果直徑明顯偏大（表1）。經(jīng)分析，原因主要在兩方面：一是蘋(píng)果形狀類(lèi)似球體，其最大直徑所在橫切面高度明顯高于傳送帶，而相機(jī)取景范圍近似為錐體，相同大小橫切面的高度越高，測(cè)量得到的直徑越大；二是蘋(píng)果外形不規(guī)則，果梗-花萼的連線與傳送帶平面并不一定垂直，而是可能略微傾斜，改變了蘋(píng)果橫切面在圖像上投影的面積。由此可見(jiàn)，用標(biāo)定尺比例作為圖像與實(shí)際大小的映射關(guān)系不能滿(mǎn)足分級(jí)要求。

圖6 蘋(píng)果區(qū)域最小外接圓

表1 按標(biāo)定尺比例計(jì)算的蘋(píng)果直徑及誤差

針對(duì)上述問(wèn)題，本研究采用最小二乘法對(duì)蘋(píng)果直徑像素?cái)?shù)與實(shí)際直徑的關(guān)系進(jìn)行擬合，以計(jì)算蘋(píng)果直徑。首先以蘋(píng)果直徑像素?cái)?shù)為橫坐標(biāo)，蘋(píng)果實(shí)際直徑為縱坐標(biāo)，生成圖7所示散點(diǎn)圖，發(fā)現(xiàn)直徑像素?cái)?shù)與實(shí)際直徑存在線性關(guān)系，故設(shè)計(jì)線性模型y＝ax＋b，其中y為蘋(píng)果直徑（mm），x為直徑像素?cái)?shù)。

圖7 蘋(píng)果直徑像素?cái)?shù)與實(shí)際直徑對(duì)應(yīng)關(guān)系

最小二乘法［21］是一種數(shù)學(xué)優(yōu)化技術(shù)，通過(guò)最小化誤差平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡(jiǎn)便求得未知數(shù)據(jù)，并使所求數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差平方和最小?；谠撔再|(zhì)，本研究利用最小二乘法求解線性模型。由線性模型y＝ax＋b可得最小二乘式如下：

為計(jì)算參數(shù)a、b，需對(duì)最小二乘式求偏導(dǎo)：

最終計(jì)算得到a、b如下：

計(jì)算建模集中蘋(píng)果直徑像素?cái)?shù)，用最小二乘法對(duì)建模集的像素?cái)?shù)據(jù)及實(shí)際直徑數(shù)據(jù)進(jìn)行擬合，得到線性模型y＝0.0724554x＋1.80354。用測(cè)試集對(duì)該模型進(jìn)行測(cè)試，計(jì)算所得蘋(píng)果直徑與實(shí)際直徑的對(duì)比，如圖8所示?？梢?jiàn)，利用本研究模型計(jì)算得到的蘋(píng)果直徑與實(shí)際直徑高度一致，利用該模型能比較準(zhǔn)確地預(yù)測(cè)出蘋(píng)果實(shí)際直徑。

圖8 測(cè)試集蘋(píng)果直徑計(jì)算值與實(shí)際值對(duì)比結(jié)果

2.4 基于線性擬合模型的蘋(píng)果大小分級(jí)結(jié)果

通常蘋(píng)果大小分級(jí)依據(jù)鮮蘋(píng)果標(biāo)準(zhǔn)GB／T 10651—2008及煙臺(tái)蘋(píng)果標(biāo)準(zhǔn)GB／T 18965—2008進(jìn)行，分級(jí)標(biāo)準(zhǔn)見(jiàn)表2，其中直徑為蘋(píng)果最大橫切面直徑。

表2 蘋(píng)果大小分級(jí)標(biāo)準(zhǔn) （mm）

本試驗(yàn)所選的75個(gè)蘋(píng)果樣品為隨機(jī)選取，符合“煙富3”品種的大小分布規(guī)律，實(shí)測(cè)直徑均大于70 mm，大于75 mm的有72個(gè)，所以?xún)H依據(jù)上述標(biāo)準(zhǔn)對(duì)本研究構(gòu)建分級(jí)方法進(jìn)行驗(yàn)證，參照價(jià)值有限。為更好體現(xiàn)分級(jí)方法準(zhǔn)確率，將蘋(píng)果按實(shí)測(cè)直徑分為數(shù)量大致相等的三類(lèi)進(jìn)行分級(jí)，同時(shí)為客觀體現(xiàn)方法的準(zhǔn)確性，選用平均測(cè)量誤差作為方法準(zhǔn)確性的另一評(píng)判標(biāo)準(zhǔn)。

通過(guò)分類(lèi)，所選75個(gè)樣品中，直徑在70～80 mm之間的有25個(gè)，80～85 mm之間的有27個(gè)，85～95 mm之間的有23個(gè)，故設(shè)計(jì)“煙富3”分級(jí)標(biāo)準(zhǔn)如表3。

表3 “煙富3”大小分級(jí)標(biāo)準(zhǔn) （mm）

基于表3所示分級(jí)標(biāo)準(zhǔn)對(duì)本研究方法的分級(jí)準(zhǔn)確率進(jìn)行驗(yàn)證。結(jié)果（表4）顯示，測(cè)試集利用本研究方法的分級(jí)準(zhǔn)確率為91.4%，總體分級(jí)準(zhǔn)確率為92.0%，平均誤差均為0.56 mm，測(cè)試集與樣本整體的準(zhǔn)確率及平均誤差相近或一致，表明試驗(yàn)結(jié)果較為穩(wěn)定，該方法具有較高的可靠性。

表4 本研究方法分級(jí)準(zhǔn)確率及平均誤差

3 討論與結(jié)論

本研究通過(guò)改進(jìn)蘋(píng)果直徑像素?cái)?shù)計(jì)算方式以及利用最小二乘法構(gòu)建直徑像素?cái)?shù)與實(shí)際直徑的映射模型，提高了蘋(píng)果大小分級(jí)的準(zhǔn)確性。在改進(jìn)直徑像素?cái)?shù)計(jì)算方式時(shí)，利用HSV顏色空間分割蘋(píng)果區(qū)域，并用基于輪廓外側(cè)點(diǎn)的最小外接圓法計(jì)算蘋(píng)果最大橫切面的直徑，相比現(xiàn)有方法提高了蘋(píng)果直徑檢測(cè)的準(zhǔn)確性。針對(duì)蘋(píng)果直徑像素?cái)?shù)與實(shí)際直徑難以準(zhǔn)確映射的問(wèn)題，本研究對(duì)直徑像素?cái)?shù)與實(shí)際直徑進(jìn)行擬合，用最小二乘法構(gòu)建兩者的線性擬合模型，提高了直徑像素?cái)?shù)與實(shí)際直徑映射的準(zhǔn)確度，減小了蘋(píng)果最大橫切面高度及果形變化等客觀因素對(duì)分級(jí)結(jié)果的影響。

利用本研究方法對(duì)75個(gè)蘋(píng)果進(jìn)行大小分級(jí)試驗(yàn)，總體分級(jí)準(zhǔn)確率為92.0%，蘋(píng)果直徑平均計(jì)算誤差為0.56 mm。劉新庭等［14］基于最小外接圓直徑對(duì)30個(gè)65～95 mm的蘋(píng)果按75-70-65 mm標(biāo)準(zhǔn)進(jìn)行分級(jí)，分級(jí)準(zhǔn)確率96.67%，平均測(cè)量誤差為0.94 mm。陳艷軍等［15］基于機(jī)器視覺(jué)的最大橫切面直徑對(duì)40個(gè)55～95 mm的蘋(píng)果按85-75-70 mm標(biāo)準(zhǔn)進(jìn)行分級(jí)，分級(jí)準(zhǔn)確率87.1%，平均測(cè)量誤差0.67 mm。余揚(yáng)［22］基于多特征對(duì)60個(gè)60～100 mm的蘋(píng)果進(jìn)行分級(jí)，蘋(píng)果直徑的平均測(cè)量誤差為4%；利用本研究樣本對(duì)其方法進(jìn)行驗(yàn)證，平均測(cè)量誤差為3.30 mm?？紤]到各文獻(xiàn)樣本及分級(jí)標(biāo)準(zhǔn)不同，分級(jí)準(zhǔn)確率不能完全代表分級(jí)效果，故采用平均測(cè)量誤差來(lái)更客觀地反映方法分級(jí)效率，可見(jiàn)，本研究建立的蘋(píng)果大小分級(jí)方法分級(jí)準(zhǔn)確率較高，平均測(cè)量誤差小，能夠滿(mǎn)足蘋(píng)果銷(xiāo)售的市場(chǎng)需求。

但利用本研究方法進(jìn)行蘋(píng)果大小分級(jí)時(shí)仍存在一定誤差，分析誤差產(chǎn)生的原因，主要在兩方面：一是蘋(píng)果最大橫切面高度雖然與蘋(píng)果大小有相關(guān)性，但變化不完全一致，對(duì)模型準(zhǔn)確性造成一定影響；二是蘋(píng)果傾斜角度的不規(guī)則變化使圖像中蘋(píng)果橫切面投影大小有不同程度的改變?；诖?，后續(xù)研究將從減小或解決蘋(píng)果姿態(tài)對(duì)最大橫切面投影影響的角度出發(fā)對(duì)分級(jí)方法進(jìn)行改進(jìn)，以進(jìn)一步提高蘋(píng)果大小分級(jí)的準(zhǔn)確性。另外，隨著農(nóng)業(yè)現(xiàn)代化的推進(jìn)及市場(chǎng)需求的變化，農(nóng)產(chǎn)品分級(jí)目的會(huì)發(fā)生相應(yīng)改變，對(duì)分級(jí)準(zhǔn)確性提出更高的要求，建立適合各種分級(jí)目的且具有更高分級(jí)準(zhǔn)確性的方法將是今后農(nóng)產(chǎn)品分級(jí)研究的重要研究方向。