蔡家旭，王 飛，奚冬冬，劉 路，2，王玉偉，2，*

(1.安徽農(nóng)業(yè)大學(xué) 工學(xué)院，安徽 合肥 230036； 2.安徽省智能農(nóng)機(jī)裝備工程實(shí)驗(yàn)室，安徽 合肥 230036)

我國是蘋果生產(chǎn)和出口大國，總體產(chǎn)量位居世界第一[1]。隨著經(jīng)濟(jì)的飛速發(fā)展和社會(huì)消費(fèi)水平的逐步提高，人們對(duì)安全、優(yōu)質(zhì)蘋果的需求越來越大。目前，蘋果分級(jí)多采用人工或機(jī)械的檢測方式，其精度和效率均較低，而且容易造成蘋果的機(jī)械損傷。近年來，機(jī)器視覺在水果品質(zhì)檢測中發(fā)揮出巨大的優(yōu)勢，逐漸取代了傳統(tǒng)人工或機(jī)械檢測的分級(jí)方式[2-4]?，F(xiàn)有的機(jī)器視覺檢測技術(shù)通常根據(jù)顏色、大小和外觀缺陷來對(duì)蘋果進(jìn)行分級(jí)[5]，其中，針對(duì)蘋果顏色和大小的檢測已經(jīng)取得比較成熟的應(yīng)用[6-8]。然而，蘋果缺陷檢測過程中，其外部缺陷具有與果梗/花萼相似的光學(xué)特性，二維圖像檢測技術(shù)難以對(duì)兩者進(jìn)行有效區(qū)分[9-10]。因此，準(zhǔn)確地識(shí)別出果梗/花萼區(qū)域是確保蘋果缺陷檢測效果的重要前提。針對(duì)蘋果果梗/花萼的識(shí)別和外觀缺陷的檢測，國內(nèi)外學(xué)者開展了大量的研究。Throop等[11]設(shè)計(jì)了一種特殊的機(jī)械傳輸裝置，在傳輸過程中可避免蘋果的果梗/花萼出現(xiàn)在相機(jī)視場之內(nèi)，但該裝置的定向結(jié)構(gòu)復(fù)雜、成本較高，并且無法保證果梗/花萼均在相機(jī)視場之外。Leemans等[12]基于k-均值聚類算法開發(fā)出一套商業(yè)化的蘋果分級(jí)系統(tǒng)，但該系統(tǒng)并不能有效區(qū)分蘋果的果梗/花萼與外觀缺陷，分級(jí)率僅為73%。Zhang等[13]利用進(jìn)化構(gòu)造(evolutionary constructed，ECO)特征區(qū)分蘋果的果梗/花萼與表面缺陷，識(shí)別率達(dá)到94%，但該技術(shù)依賴于所提取的特征，針對(duì)不同品種的蘋果需要重新訓(xùn)練模型。

結(jié)構(gòu)光投影技術(shù)具有非接觸、精度高、速度快等優(yōu)點(diǎn)，近年來不少學(xué)者將該技術(shù)應(yīng)用于水果品質(zhì)檢測中。Lu等[14-15]構(gòu)建了結(jié)構(gòu)光照明成像系統(tǒng)，對(duì)蘋果的外觀品質(zhì)進(jìn)行檢測與評(píng)估；Yang[16]構(gòu)建了線結(jié)構(gòu)光陣列成像系統(tǒng)，通過曲率分析算法識(shí)別條紋圖像，進(jìn)而區(qū)分缺陷與果梗/花萼；Zhang等[17]利用近紅外線結(jié)構(gòu)光重建蘋果的三維面型，通過與標(biāo)準(zhǔn)球模型進(jìn)行對(duì)比，實(shí)現(xiàn)了對(duì)果梗/花萼的檢測，但其識(shí)別率受到蘋果球形度的影響，且線結(jié)構(gòu)光掃描速度慢，檢測效率偏低。

針對(duì)目前蘋果果梗/花萼檢測識(shí)別困難的問題，本文結(jié)合條紋投影技術(shù)提出了一種蘋果果梗/花萼識(shí)別方法。首先，利用相移條紋投影法重建蘋果的相位高度圖；然后，采用灰度形態(tài)學(xué)算法對(duì)相位高度圖進(jìn)行填充，得到相位填充圖，并將相位填充圖與相位高度圖相減得到相位差值圖；最后，通過對(duì)相位差值圖進(jìn)行閾值分割，準(zhǔn)確地識(shí)別出果梗/花萼區(qū)域，以有效避免果梗/花萼區(qū)域?qū)μO果缺陷檢測的干擾。

1 材料與方法

1.1 條紋投影系統(tǒng)

搭建如圖1所示的條紋投影系統(tǒng)，主要設(shè)備包括投影儀(DLP Light-Crafter 4500，Texas Instruments，美國)、相機(jī)(Basler a2A1920-160ucBAS，Basler AG，德國)、電動(dòng)旋轉(zhuǎn)臺(tái)(HT03RA100，北京江云聚力科技有限公司)、絲杠滑臺(tái)(LYX150-1605，東臺(tái)路易馬丁科技有限公司)和計(jì)算機(jī)(MECHREVO S1 Pro，Inter Core i5-8265U CPU@60 GHz，RAM 8.0 GB)。投影儀的分辨率為912 pixel×1 140 pixel，相機(jī)的分辨率為1 920 pixel×1 200 pixel，鏡頭的焦距為8 mm，滑軌的有效行程為300 mm。投影儀與相機(jī)的夾角約為30°，兩者光心連線平行于參考平面，檢測場景置于視場前0.4～0.5 m。電動(dòng)旋轉(zhuǎn)臺(tái)固定在絲杠滑臺(tái)上，工作時(shí)在xoy平面內(nèi)旋轉(zhuǎn)，絲杠滑臺(tái)沿滑軌在y軸方向上做往復(fù)運(yùn)動(dòng)。

圖1 條紋投影系統(tǒng)實(shí)物圖Fig.1 Photograph of fringe projection system

條紋投影系統(tǒng)的測量原理如圖2所示，其大致工作流程如下[18]：首先，通過投影儀投射相移條紋至物體表面，條紋經(jīng)物體的高度調(diào)制會(huì)發(fā)生變形，同時(shí)相機(jī)采集到包含物體高度信息的條紋圖像；然后，將采集的圖像數(shù)據(jù)傳輸至計(jì)算機(jī)，通過條紋分析重建出被測物體的相位高度。圖2中C點(diǎn)表示投影儀的光心，D點(diǎn)表示相機(jī)的光心，兩者光心的連線CD平行于參考平面，相機(jī)光軸垂直于參考平面，且相機(jī)光心到參考平面的距離等于l。設(shè)點(diǎn)H為被測物體的表面上任意一點(diǎn)，該點(diǎn)至參考平面的距離等于h，其與投影儀光心和相機(jī)光心的連線分別與參考平面相交于點(diǎn)A和B，則相機(jī)所采集的條紋圖的數(shù)學(xué)表達(dá)式為

圖2 系統(tǒng)測量原理圖Fig.2 Principle of measurement system

I(x，y)=a(x，y)+b(x，y)cos[2πfxx+φ]。

(1)

式(1)中：(x，y)表示圖像像素坐標(biāo)；a表示條紋背景強(qiáng)度；b表示條紋調(diào)制度；fx為x軸方向上的空間頻率；φ表示初始相位。

假設(shè)B點(diǎn)和H點(diǎn)的相位分別為

ΦB=2πfxxB+φ；

(2)

ΦH=2πfxxA+φ。

(3)

式(2)、(3)中：xA=OA，xB=OB。

H點(diǎn)與B點(diǎn)的相位差(ΔΦ)為

(4)

由近似三角形△HCD、△HAB可知：

(5)

進(jìn)而，可推導(dǎo)出被測物體的相位-高度映射關(guān)系：

(6)

1.2 解相位

相移算法具有精度高、穩(wěn)健性強(qiáng)等優(yōu)勢，常用于三維形貌測量。本文采用五步相移法求解條紋的相位分布[19]。一般地，相移條紋上各點(diǎn)光強(qiáng)分布的數(shù)學(xué)表達(dá)式為

Ii(x，y)=a(x，y)+b(x，y)cos[φ(x，y)+δi]。

(7)

式中：下標(biāo)i=1，2，3，4，5表示相移步數(shù)；δi=2πi/5表示相移量(式中i的取值同下標(biāo)i)；φ表示待求相位，其計(jì)算公式為

(8)

通過式(8)計(jì)算得到的φ，其取值被截?cái)嘣?-π，+π]，因此Φ也被稱為截?cái)嘞辔唬枰獙?duì)其進(jìn)行相位展開，計(jì)算絕對(duì)相位Φ：

Φ(x，y)=φ(x，y)+2πk(x，y)。

(9)

式(9)中：k表示截?cái)嘞辔沪账鶎?duì)應(yīng)的條紋級(jí)次。

本文采用三頻法，即分別使用高頻、中頻、低頻3種頻率的條紋展開截?cái)嘞辔?。其中，低頻條紋只有1個(gè)周期，所以低頻截?cái)嘞辔沪誰不需要進(jìn)行相位展開就可以得到低頻絕對(duì)相位Φl，即Φl=φl。根據(jù)低頻絕對(duì)相位Φl、中頻絕對(duì)相位Φm、高頻絕對(duì)相位Φh的數(shù)學(xué)比例關(guān)系，可計(jì)算得到中頻截?cái)嘞辔沪誱和高頻截?cái)嘞辔沪説所對(duì)應(yīng)的條紋級(jí)次(km和kh)[20]：

(10)

(11)

式(10)、(11)中：fh、fm和fl分別表示高頻條紋、中頻條紋和低頻條紋的頻率。進(jìn)而，可以計(jì)算得到：

Φm(x，y)=φm(x，y)+2πkm(x，y)；

(12)

Φh(x，y)=φh(x，y)+2πkh(x，y)。

(13)

1.3 灰度形態(tài)學(xué)算法

根據(jù)蘋果果梗/花萼的凹形特征，本文利用灰度形態(tài)學(xué)算法對(duì)果梗/花萼區(qū)域進(jìn)行填充?；叶刃螒B(tài)學(xué)[21]是數(shù)學(xué)形態(tài)學(xué)的重要內(nèi)容之一。假設(shè)有輸入模板圖像M和標(biāo)記圖像L，其中L≤M，以一維曲線Mc為例，圖3展示了灰度形態(tài)學(xué)的填充原理。在模板圖像M=255-Mc的約束下，利用結(jié)構(gòu)元素E對(duì)標(biāo)記圖像L=M-0.5進(jìn)行重構(gòu)，直至達(dá)到穩(wěn)定狀態(tài)ρM(L)。其詳細(xì)計(jì)算公式如下：

圖3 灰度形態(tài)學(xué)填充原理圖Fig.3 Schematic of filling operation of grayscale morphology

(14)

(15)

圖4展示了果梗/花萼區(qū)域的填充示意圖，可以看出，利用灰度形態(tài)學(xué)算法能夠填充果梗/花

a、c分別為蘋果的相位高度圖，及對(duì)應(yīng)的中心線輪廓；b、d分別為蘋果的相位填充圖，及對(duì)應(yīng)的中心線輪廓；e、f分別為蘋果的相位差值圖，及對(duì)應(yīng)的中心線輪廓。a， c indicated the phase height image of apples， and the corresponding centerline profile， respectively; b， d indicated the phase filled image of apples， and the corresponding centerline profile， respectively; e， f indicated the phase difference image of apples， and the corresponding centerline profile， respectively.圖4 果梗/花萼區(qū)域填充示意圖Fig.4 Schematic of stem/calyx area filling

萼區(qū)域，為相位高度圖提供作差對(duì)象。根據(jù)填充前后相位高度的不同，將相位填充圖與相位高度圖相減，得到相位差值圖，即可合理地剔除非果梗/花萼區(qū)域，只保留被填充的果梗/花萼區(qū)域，然后通過閾值分割便可以有效地識(shí)別出果梗/花萼區(qū)域。

1.4 偏轉(zhuǎn)相位

(16)

式(16)中：n=1，2，3，…，N，N表示偏轉(zhuǎn)相位的數(shù)量；α、β分別表示x軸和y軸的偏轉(zhuǎn)角度，通過調(diào)整α、β能夠模擬多角度下參考平面相位的偏轉(zhuǎn)相位；A、B取值為0或1。

(17)

圖5 多角度下相位填充示意圖Fig.5 Schematic of phase filling under multiple angles

(18)

相位填充圖與相位高度圖相減能夠有效剔除非果梗/花萼區(qū)域，只保留被填充的果梗/花萼區(qū)域，所以閾值T可在0～0.1中選取。經(jīng)過多組實(shí)驗(yàn)的總結(jié)，本文將閾值T設(shè)置為0.05。

最后，通過求或運(yùn)算得到果梗/花萼的識(shí)別結(jié)果R：

R=S∪X1∪X2…∪Xn。

(19)

式(19)中S表示蘋果圖像區(qū)域的外輪廓邊緣曲線。

2 結(jié)果與分析

2.1 實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果

為了驗(yàn)證本文提出的果梗/花萼識(shí)別方法的有效性，選擇40個(gè)無缺陷的蘋果和20個(gè)帶缺陷的蘋果為實(shí)驗(yàn)樣本，采用圖1所示的條紋投影系統(tǒng)進(jìn)行檢測實(shí)驗(yàn)。為了避免人為因素影響樣本的隨機(jī)性，將蘋果放置于電動(dòng)旋轉(zhuǎn)臺(tái)上，隨著電動(dòng)旋轉(zhuǎn)臺(tái)和絲杠滑臺(tái)運(yùn)動(dòng)，電動(dòng)旋轉(zhuǎn)臺(tái)每次旋轉(zhuǎn)60°，絲杠滑臺(tái)沿滑軌做往復(fù)運(yùn)動(dòng)，且每次移動(dòng)的位移大小隨機(jī)分布。絲杠滑臺(tái)與電動(dòng)旋轉(zhuǎn)臺(tái)的配合運(yùn)作，不僅有效地增加了實(shí)驗(yàn)樣本，而且能夠確保果梗/花萼位置的隨機(jī)性，因此果梗/花萼區(qū)域可能位于蘋果圖像中的任意位置。

實(shí)驗(yàn)中每個(gè)蘋果樣本采集5組不同位置的圖像，共采集300組蘋果圖像，具體包括如下4個(gè)類別：(1)162組無缺陷蘋果圖像，出現(xiàn)果梗/花萼；(2)38組無缺陷蘋果圖像，未出現(xiàn)果梗/花萼；(3)65組帶缺陷蘋果圖像，出現(xiàn)果梗/花萼；(4)35組帶缺陷蘋果圖像，未出現(xiàn)果梗/花萼。

文中選定4個(gè)偏轉(zhuǎn)角度α=β∈{π/30，π/60，π/90，π/120}，對(duì)所采集的300組蘋果圖像進(jìn)行處理，圖6展示了部分蘋果果梗/花萼的識(shí)別結(jié)果?？梢钥闯觯疚姆椒軌蛴行У刈R(shí)別出果梗/花萼區(qū)域，且在蘋果表面存在缺陷的情況下仍具有很好的識(shí)別效果。

為統(tǒng)計(jì)上述300組蘋果圖像的識(shí)別率，對(duì)識(shí)別結(jié)果做如下規(guī)定：若圖像中的連通區(qū)域大于1 000 pixel，判別為果梗/花萼區(qū)域，認(rèn)為蘋果圖像中出現(xiàn)果梗/花萼，否則判別為非果梗/花萼區(qū)域，認(rèn)為蘋果圖像中未出現(xiàn)果梗/花萼；若果梗/花萼區(qū)域中心點(diǎn)與邊緣輪廓最近點(diǎn)的歐氏距離小于100，認(rèn)為果梗/花萼位于蘋果圖像的邊緣區(qū)域，否則認(rèn)為果梗/花萼位于蘋果圖像的中心區(qū)域。

將采集得到的300組蘋果圖像導(dǎo)入Matlab R2019a軟件平臺(tái)，采用本文提出的方法識(shí)別蘋果的果梗/花萼區(qū)域，平均處理時(shí)間為0.207 3 s，即每秒能夠檢測4～5個(gè)蘋果。經(jīng)統(tǒng)計(jì)，果梗/花萼識(shí)別率如下：類別(1)的平均識(shí)別正確率為96.91%，類別(2)的平均識(shí)別正確率為100%，類別(3)的平均識(shí)別正確率為98.46%，類別(4)的平均識(shí)別正確率為94.29%，總體識(shí)別正確率為97.33%。由此可見，本文方法在保證工作效率的前提下，又具有識(shí)別率高、結(jié)構(gòu)簡單、適用性好、穩(wěn)健性強(qiáng)等優(yōu)點(diǎn)，能夠滿足實(shí)際生產(chǎn)的需求。

a，蘋果原始圖像；b，相位高度圖；c，帶輪廓邊緣的相位差值圖；d，識(shí)別結(jié)果圖。a， Original apple images; b， Phase height images; c， Phase difference images with edge; d， Recognition results.圖6 果梗/花萼識(shí)別結(jié)果Fig.6 Stem and calyx recognition results

表1 果梗/花萼識(shí)別率統(tǒng)計(jì)結(jié)果Table 1 Statistical results of stem/calyx recognition accuracy

2.2 分析與討論

結(jié)果顯示：200組無缺陷蘋果圖像中有5組被誤識(shí)別，100組帶缺陷蘋果圖像中有3組被誤識(shí)別。對(duì)產(chǎn)生誤識(shí)別的原因進(jìn)行分析：第一種情況，被測蘋果的果梗/花萼位于投影儀的投影死角，附近區(qū)域被陰影遮擋，導(dǎo)致重建出的果梗/花萼不完整，從而無法識(shí)別出果梗/花萼區(qū)域。后期，可通過優(yōu)化投影方向、利用機(jī)械裝置調(diào)整被測蘋果的放置角度加以解決。第二種情況，由于缺陷果腐爛嚴(yán)重，在被測蘋果表面形成凹陷，以致將表面正常區(qū)域誤識(shí)別為果梗/花萼。蘋果的腐爛不僅會(huì)形成凹陷，還會(huì)由于果肉嚴(yán)重失水導(dǎo)致腐爛區(qū)域發(fā)黑，從而與無損傷果皮產(chǎn)生明顯對(duì)比。針對(duì)這種情況，可利用相關(guān)算法辨識(shí)腐爛果，直接將其歸為下等果，不予檢測。此外，當(dāng)表面缺陷位于果梗/花萼區(qū)域時(shí)，本文方法仍可根據(jù)果梗/花萼的凹形特征成功識(shí)別出果梗/花萼區(qū)域，但由于果梗/花萼與表面缺陷位置重疊，因此很難將果梗/花萼與表面缺陷有效地區(qū)分開來。

綜上所述，本文提出的識(shí)別方法具有以下優(yōu)勢：(1)識(shí)別結(jié)構(gòu)簡單且成本較低；(2)檢測前無須挑選樣本進(jìn)行訓(xùn)練，具有良好的適用性和穩(wěn)健性；(3)不易受蘋果形狀大小、外部缺陷等因素的影響，具有較高的識(shí)別正確率。

3 結(jié)論

本文提出了一種基于條紋投影的蘋果果梗/花萼識(shí)別方法。該方法根據(jù)蘋果果梗/花萼的凹形特征，利用相移條紋投影技術(shù)，通過數(shù)學(xué)變換和灰度形態(tài)學(xué)算法，對(duì)蘋果相位高度圖中的凹形區(qū)域進(jìn)行填充，再通過分析處理填充前后的相位差值圖，識(shí)別蘋果的果梗/花萼。選定4個(gè)偏轉(zhuǎn)角度，對(duì)采集的300組蘋果圖像進(jìn)行處理。結(jié)果表明，本文方法能夠有效識(shí)別蘋果的果梗/花萼區(qū)域，減小果梗/花萼區(qū)域?qū)μO果缺陷檢測的影響，果梗/花萼的總體識(shí)別正確率可達(dá)97.33%。當(dāng)果梗/花萼位于蘋果圖像的邊緣區(qū)域時(shí)，果梗/花萼仍能被檢測出來。與現(xiàn)有的果梗/花萼識(shí)別方法相比，本文的識(shí)別方法具有實(shí)施成本低、適應(yīng)性好、識(shí)別率高等優(yōu)勢，對(duì)于蘋果外觀品質(zhì)的檢測具有重要的現(xiàn)實(shí)意義，同時(shí)在梨子、桃子等水果檢測領(lǐng)域亦具有潛在的應(yīng)用價(jià)值。