劉陽(yáng)，丁奉龍，劉英，沈鷺翔，董瑞文

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，南京 210037)

青梅含有豐富的氨基酸、脂類、無(wú)機(jī)鹽、維生素和微量元素[1]，具有很高的營(yíng)養(yǎng)價(jià)值[2]和藥用價(jià)值，對(duì)人體蛋白質(zhì)組成和正常代謝十分有益。青梅缺陷和主要指標(biāo)成分對(duì)其精、深加工過(guò)程有重要影響，但目前青梅的缺陷檢測(cè)與分級(jí)仍然依靠人工完成，存在著效率低、質(zhì)量低等問(wèn)題，遠(yuǎn)遠(yuǎn)不能滿足青梅制品的生產(chǎn)需求。為提高青梅制品的品質(zhì)和附加值，在青梅表面缺陷檢測(cè)工作中引入機(jī)器視覺技術(shù)對(duì)青梅品質(zhì)進(jìn)行無(wú)損檢測(cè)，以提高青梅制品生產(chǎn)過(guò)程的自動(dòng)化和智能化水平，推動(dòng)青梅制品產(chǎn)業(yè)的升級(jí)。

國(guó)內(nèi)外利用機(jī)器視覺技術(shù)對(duì)農(nóng)林產(chǎn)品進(jìn)行無(wú)損檢測(cè)的研究已經(jīng)比較成熟。Hussain Hassan等[3]提出了一種基于紋理分析和均勻性紋理測(cè)量的橄欖缺陷檢測(cè)技術(shù)，對(duì)A類橄欖分類精度為98%，對(duì)B類橄欖分類精度為99%，對(duì)健康橄欖分類精度為100%。李龍等[4]設(shè)計(jì)了一套包括傳送裝置、圖像采集裝置和分揀裝置在內(nèi)的蘋果內(nèi)外品質(zhì)在線無(wú)損檢測(cè)分級(jí)系統(tǒng)。王旭[5]利用巴特沃斯低通濾波技術(shù)對(duì)柑橘的灰度圖像進(jìn)行濾波處理，獲得了柑橘的亮度分布圖像，應(yīng)用柑橘的圖像閾值分割算法成功識(shí)別出柑橘表面存在的潰瘍、損傷等缺陷。劉佳男[6]以柑橘和碭山梨的缺陷紋理特征值、平均灰度、缺陷面積占果實(shí)表面總面積的比例作為BP神經(jīng)網(wǎng)絡(luò)的輸入，柑橘和碭山梨的6種缺陷作為輸出，完成了水果的缺陷識(shí)別與分類。Iqbal等[7]提出對(duì)水果表面顏色數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)來(lái)判斷水果表面質(zhì)量，該方法需要提前對(duì)大量不同的背景、缺陷表面、正常表面、果梗的RGB組合數(shù)據(jù)進(jìn)行訓(xùn)練，但是由于水果表面顏色信息的開環(huán)多變性，且沒有提及實(shí)際光照變化對(duì)訓(xùn)練方法的影響，因此，通過(guò)實(shí)際應(yīng)用完成所有類型的先驗(yàn)重復(fù)頻繁訓(xùn)練不太現(xiàn)實(shí)。Zhang等[8]使用環(huán)帶區(qū)域灰度平均數(shù)值法矯正水果表面亮度不均勻灰度，然而當(dāng)水果為不標(biāo)準(zhǔn)球狀或者水果位置不在相機(jī)視場(chǎng)光軸中心時(shí)，亮度矯正仍會(huì)出現(xiàn)不均勻現(xiàn)象。

雖然機(jī)器視覺技術(shù)在農(nóng)林產(chǎn)品無(wú)損檢測(cè)中的應(yīng)用較為廣泛，技術(shù)較為成熟，但針對(duì)青梅果實(shí)的無(wú)損檢測(cè)技術(shù)研究較少。本研究采用高斯混合模型[9-11](Gaussian mixture model，GMM)，結(jié)合EM(expectation-maximization)算法[12]提出一種青梅缺陷分類模型，并建立了一個(gè)青梅缺陷檢測(cè)分級(jí)系統(tǒng)。

1 檢測(cè)裝置

在實(shí)際的工業(yè)應(yīng)用中，需要研發(fā)出一套集青梅快速動(dòng)態(tài)檢測(cè)和分選為一體的青梅智能分選設(shè)備來(lái)實(shí)現(xiàn)青梅品質(zhì)分選。為滿足工業(yè)化應(yīng)用的需求，本研究通過(guò)機(jī)器視覺對(duì)青梅表面潰爛、傷疤以及雨斑缺陷進(jìn)行靜態(tài)識(shí)別，提高青梅后續(xù)的分級(jí)及深加工效率，為最終實(shí)現(xiàn)青梅快速動(dòng)態(tài)檢測(cè)和分選提供前期技術(shù)支持。在保障青梅圖像質(zhì)量的前提下，為實(shí)現(xiàn)較高的圖像采集速度，光學(xué)鏡頭選用Computar公司生產(chǎn)的M1620-MP2型工業(yè)相機(jī)鏡頭，焦距16 mm，最小物距20 cm，500萬(wàn)像素；工業(yè)相機(jī)選用北京大恒圖像技術(shù)公司的MER-531-20GC-P型工業(yè)相機(jī)，相機(jī)采用1”O(jiān)nsemi PYTHON 5 000幀曝光CMOS傳感器芯片，集成千兆以太網(wǎng)接口，彩色光譜，適合相對(duì)惡劣的工作環(huán)境；光源采用LED環(huán)形光源。青梅表面圖像采集平臺(tái)見圖1。在采集圖像時(shí)，通過(guò)調(diào)節(jié)光源與背景板之間的距離及角度、相機(jī)的工作距離與光圈大小，尋找可以使青梅表面圖像質(zhì)量較佳的光源與相機(jī)位置。在實(shí)際拍攝時(shí)，相機(jī)安裝在位于傳送帶上的暗箱中，使用LED環(huán)形光源給圖像采集提供穩(wěn)定的光照環(huán)境，可以保證圖片質(zhì)量的穩(wěn)定性。

圖1 青梅表面圖像采集平臺(tái)Fig. 1 Acquisition platform of green plum surface image

2 檢測(cè)算法

2.1 青梅缺陷圖像預(yù)處理主要流程

將相機(jī)采集到的BMP格式的三通道彩色圖像分割為R、G、B 3個(gè)單通道的單色圖，并將這3個(gè)單色圖轉(zhuǎn)換為HSV(H為色調(diào)、S為飽和度、V為明度)色彩空間，對(duì)采集的圖像經(jīng)過(guò)S通道分量提取、高斯濾波、特征提取以及分割后，將青梅從原始圖像中提取出來(lái)，排除背景上其他干擾條件，降低后續(xù)處理與分析的復(fù)雜程度。對(duì)于在暗箱條件下采集的圖片，利用高斯濾波可以有效減少圖像中的噪點(diǎn)。

2.2 青梅缺陷圖像特征提取

對(duì)青梅表面的缺陷檢測(cè)，需要提取出有效的感興趣區(qū)域，剔除其他干擾。根據(jù)青梅的表面缺陷特征，可以將其分為潰爛、傷疤、雨斑，如圖2所示。青梅缺陷圖像特征提取流程見圖3。缺陷部分與正常表面的最大差異在于顏色的不同，缺陷部分顏色大多偏褐色甚至黑色，可以推斷缺陷部分的灰度值較低，而正常表面的灰度值較高，利用這一差異可以從其單通道灰度圖像中經(jīng)閾值分割將缺陷提取出來(lái)。

圖2 青梅缺陷Fig. 2 Defects of green plum

圖3 青梅缺陷圖像特征提取流程Fig. 3 Feature extraction process of green plum defect image

2.3 青梅缺陷檢測(cè)原理

常見的分類器模型有多層感知器(multi-layer perceptron，MLP)、支持向量機(jī)(support vector machine，SVM)[13-18]。MLP是一種前向結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，很難確定網(wǎng)絡(luò)的隱含節(jié)點(diǎn)個(gè)數(shù)；經(jīng)典的SVM算法只有二類分類的算法，而在數(shù)據(jù)挖掘的實(shí)際應(yīng)用中，一般要解決多類的分類問(wèn)題。高斯混合模型用多個(gè)模態(tài)精確量化事物，對(duì)復(fù)雜的背景有較強(qiáng)的適應(yīng)性和抗干擾能力。因此，初步確定選用高斯混合模型建立青梅缺陷檢測(cè)分級(jí)系統(tǒng)。

高斯混合模型(GMM)可以用較高的精度表示任何連續(xù)分布，多個(gè)高斯分布疊加可形成混合高斯分布，定義集合ν={νn,n=1,2,…，N}，表示從訓(xùn)練集中提取的局部特征描述子集合，νn為L(zhǎng)維特征向量，假定ν服從混合高斯分布，則高斯混合模型的概率分布模型[u(ν)]為：

(1)

(2)

式中：μk為GMM中第k個(gè)高斯分布的均值；οk為GMM中第k個(gè)高斯分布的協(xié)方差矩陣。

GMM中的參數(shù)根據(jù)從大量訓(xùn)練樣本中提取的局部特征向量集ν，采用EM算法優(yōu)化最大似然函數(shù)迭代求解。GMM中初始的μk、οk和ωk由k均值聚類算法得出，根據(jù)這些初始參數(shù)，運(yùn)用EM算法計(jì)算γnk(E步驟)：

(3)

式中：γnk為νn由第k個(gè)高斯混合成分生成的后驗(yàn)概率。由γnk更新GMM中μk、οk和ωk(M步驟)可得：

(4)

(5)

3 檢測(cè)與分類

3.1 青梅缺陷檢測(cè)

在對(duì)青梅圖像執(zhí)行通道分解、灰度二值化等操作后，發(fā)現(xiàn)青梅果實(shí)的6個(gè)顏色通道(R、G、B、H、S、V)分量的圖像經(jīng)閾值分割后，因?yàn)楣麑?shí)邊緣一些區(qū)域與缺陷區(qū)域灰度值相近易導(dǎo)致其被誤判為缺陷。通過(guò)對(duì)比青梅果實(shí)各通道閾值分割后的圖像，發(fā)現(xiàn)R通道發(fā)生邊緣誤判情況最嚴(yán)重，邊緣灰度范圍與缺陷區(qū)域灰度范圍重疊區(qū)較大，最難實(shí)現(xiàn)邊緣與缺陷的分離提??；而H通道發(fā)生邊緣誤判情況最輕微，閾值分割后，果實(shí)邊緣僅有一些孤立點(diǎn)與缺陷區(qū)域灰度范圍重疊。雖然可以通過(guò)前述取連通域后按照連通域的特征提取缺陷，但每種缺陷的形狀、大小、顏色等特征不一，難以采取統(tǒng)一的提取標(biāo)準(zhǔn)將缺陷從閾值分割后的圖像中提取出來(lái)，使青梅缺陷檢測(cè)工作變得復(fù)雜。

為了在缺陷檢測(cè)識(shí)別中避免使用特征提取法而又能達(dá)到精準(zhǔn)識(shí)別缺陷的目的，本研究采用邊緣檢測(cè)方法檢測(cè)出青梅果實(shí)邊緣并膨脹數(shù)倍作為掩模區(qū)域，并從H通道閾值分割后的圖像中剔除掩模覆蓋的區(qū)域，留下缺陷區(qū)域Region 1。采用邊緣法對(duì)包含潰爛、傷疤、雨斑3種缺陷的青梅進(jìn)行缺陷檢測(cè)的效果見圖4，其中，潰爛缺陷的面積較大，占果實(shí)總面積的比例較大；雨斑缺陷多為斑點(diǎn)，數(shù)量多且孤立，斑點(diǎn)所占面積較小。另外，從對(duì)應(yīng)的果實(shí)彩色圖可以發(fā)現(xiàn)，3種缺陷對(duì)應(yīng)的果皮顏色也不相同。上述眾多特征皆為青梅缺陷分類及品質(zhì)分類提供依據(jù)。

圖4 青梅缺陷檢測(cè)Fig. 4 Green plum defect detection

3.2 高斯混合模型分類

高斯密度函數(shù)估計(jì)是一種參數(shù)化模型。高斯混合模型是單一高斯概率密度函數(shù)的延伸且能夠平滑地近似任意形狀的密度分布。高斯混合模型種類有單高斯模型(single Gaussian model，SGM)和高斯混合模型兩類。類似于聚類，根據(jù)高斯混合概率密度函數(shù)(probability density function，PDF)參數(shù)不同，每一個(gè)高斯模型可以看作一種類別，輸入一個(gè)樣本x，即可通過(guò)PDF計(jì)算其值，然后通過(guò)一個(gè)閾值來(lái)判斷該樣本是否屬于高斯模型。SGM適合于僅有兩類別問(wèn)題的劃分，而GMM因具有多個(gè)模型，劃分更為精細(xì)，適用于多類別的劃分，可以應(yīng)用于復(fù)雜對(duì)象建模。采用高斯混合模型對(duì)感興趣區(qū)域內(nèi)交叉點(diǎn)進(jìn)行分類，其難點(diǎn)在于特征參數(shù)的選取。通過(guò)對(duì)比青梅果實(shí)的3種缺陷可以發(fā)現(xiàn)，每種缺陷所對(duì)應(yīng)的果皮顏色有所不同，形狀大小特征也不同。因此，本研究采用HALCON圖像處理軟件對(duì)采集到的青梅表面圖像進(jìn)行處理，以青梅果實(shí)缺陷的R、G、B顏色分量值、缺陷圓度、矩形度以及緊密度共6個(gè)特征參數(shù)為νn向量中的6個(gè)元素，并將νn作為高斯混合模型的輸入信號(hào)，輸出信號(hào)則為存在潰爛、傷疤、雨斑3種缺陷的青梅及完好青梅。其中，缺陷圓度、矩形度以及緊密度這3個(gè)特征參數(shù)分別通過(guò)circularity (Region 1, Circularity)、rectangularity (Region 1, Rectangularity)和compactness (Region 1, Compactness)3個(gè)算子得出。

青梅缺陷檢測(cè)測(cè)試結(jié)果見表1。從表1可以看出，在對(duì)測(cè)試集中77張青梅缺陷圖片利用GMM、MLP、SVM 3種分類器分類對(duì)比后發(fā)現(xiàn)，GMM分類器的誤判數(shù)量少于MLP、SVM。其中，GMM對(duì)青梅缺陷檢測(cè)分類的準(zhǔn)確率達(dá)96.10%，相比于MLP、SVM算法，缺陷檢測(cè)準(zhǔn)確率分別提高了14.28%和7.79%，說(shuō)明利用多模態(tài)精確量化事物的高斯混合模型相比MLP、SVM更適用于對(duì)青梅缺陷的檢測(cè)。

表1 青梅缺陷檢測(cè)測(cè)試結(jié)果Table 1 Test results of green plum defect detection

4 檢測(cè)分級(jí)系統(tǒng)

4.1 分級(jí)標(biāo)準(zhǔn)

目前國(guó)內(nèi)對(duì)于青梅的等級(jí)還沒有明確的分級(jí)標(biāo)準(zhǔn)，本試驗(yàn)根據(jù)南京某農(nóng)業(yè)發(fā)展有限公司的實(shí)際需求提出了一種青梅的分級(jí)標(biāo)準(zhǔn)，將青梅等級(jí)分為三級(jí)：無(wú)潰爛、傷疤、雨斑缺陷，即完好的青梅定級(jí)為一等品；無(wú)潰爛缺陷且表面缺陷面積小于水果面積3%的青梅定級(jí)為二等品；存在潰爛缺陷或表面缺陷面積不小于水果面積3%的青梅定級(jí)為次品。

4.2 青梅缺陷檢測(cè)分級(jí)系統(tǒng)的實(shí)現(xiàn)

本系統(tǒng)軟件是采用HALCON HDevelop 18.11 Steady與C#聯(lián)合編程，并基于Microsoft Visual Studio 2017自主開發(fā)設(shè)計(jì)了一個(gè)青梅缺陷檢測(cè)分級(jí)系統(tǒng)，其主要界面見圖5。其中，圖像讀取功能可以實(shí)現(xiàn)連接相機(jī)或加載本地文件2種方式獲得待處理的青梅圖像，通過(guò)點(diǎn)擊工作界面左上角“圖像讀取”選擇圖像讀取的方式，獲得的圖像可在工作界面左側(cè)窗口顯示。在圖像讀取的同時(shí)，利用系統(tǒng)自帶的圖像高斯混合模型分類器進(jìn)行訓(xùn)練。圖像處理功能，可以在點(diǎn)擊工作界面左上角“圖像處理”時(shí)，對(duì)獲得的圖像自動(dòng)進(jìn)行處理分析，獲得圖像中青梅果實(shí)表面所存在的缺陷圖像，并在工作界面的右側(cè)窗口顯示。青梅分級(jí)功能，可以在獲取經(jīng)處理分析的缺陷圖像后，利用高斯混合模型分類器實(shí)現(xiàn)對(duì)青梅品質(zhì)的分級(jí)，分級(jí)結(jié)果在工作界面右下角顯示。圖像保存功能，可以在創(chuàng)建的SQL sever數(shù)據(jù)庫(kù)中保存圖像的分級(jí)結(jié)果，即圖像路徑。青梅缺陷檢測(cè)分級(jí)系統(tǒng)共處理了348張圖片，系統(tǒng)最小能夠分辨半徑為5 μm的圓面積缺陷。對(duì)3種缺陷分別用閾值分割從H通道中提取出來(lái)，其中一張缺陷圖像運(yùn)行結(jié)果如圖5b所示，圖中正確識(shí)別出了青梅潰爛缺陷特征。該系統(tǒng)對(duì)帶有潰爛缺陷的青梅檢測(cè)準(zhǔn)確率為100%，對(duì)帶有傷疤缺陷的青梅檢測(cè)準(zhǔn)確率為97.22%，對(duì)帶有雨斑缺陷的青梅檢測(cè)準(zhǔn)確率為92.31%，對(duì)完好青梅的檢測(cè)準(zhǔn)確率為94.44%。

圖5 系統(tǒng)主要界面Fig. 5 Main interface of the system

5 結(jié) 論

受工作經(jīng)驗(yàn)和勞動(dòng)強(qiáng)度等因素的制約，青梅缺陷檢測(cè)難以適應(yīng)產(chǎn)業(yè)的發(fā)展。針對(duì)該問(wèn)題，本研究通過(guò)搭建青梅表面圖像靜態(tài)采集系統(tǒng)，采用圖像處理軟件HALCON HDevelop 18.11 Steady對(duì)青梅表面進(jìn)行了單通道灰度圖像提取、圖像濾波、灰度二值化及特征提取等預(yù)處理操作，實(shí)現(xiàn)了對(duì)青梅表面圖像的去背景化，并利用去邊緣法在青梅H通道分量圖像成功提取到青梅表面缺陷。最后采用高斯混合模型對(duì)青梅表面缺陷進(jìn)行分類，并創(chuàng)建了一個(gè)基于機(jī)器視覺的青梅表面缺陷檢測(cè)分級(jí)系統(tǒng)。本算法具體采用348張青梅缺陷圖像作為訓(xùn)練測(cè)試樣本，其中271張為訓(xùn)練集，77張為測(cè)試集，結(jié)果表明：對(duì)帶有潰爛缺陷的青梅檢測(cè)準(zhǔn)確率為100%，對(duì)帶有傷疤缺陷的青梅檢測(cè)準(zhǔn)確率為97.22%，對(duì)帶有雨斑缺陷的青梅檢測(cè)準(zhǔn)確率為92.31%，對(duì)完好青梅的檢測(cè)準(zhǔn)確率為94.44%。驗(yàn)證算法的應(yīng)用驗(yàn)證了青梅缺陷檢測(cè)的有效性。筆者構(gòu)建了青梅缺陷檢測(cè)分級(jí)系統(tǒng)界面，該系統(tǒng)能夠?qū)崿F(xiàn)圖像采集、圖像處理、青梅分級(jí)，并將分級(jí)結(jié)果保存到SQL sever數(shù)據(jù)庫(kù)中。但是在實(shí)際應(yīng)用中，不僅需要對(duì)青梅全表面進(jìn)行采集以充分獲取青梅表面缺陷，青梅分級(jí)標(biāo)準(zhǔn)還需要根據(jù)實(shí)際精確計(jì)算青梅全表面缺陷面積，以便根據(jù)缺陷面積占比對(duì)青梅進(jìn)行分級(jí)。本系統(tǒng)設(shè)計(jì)的青梅圖像采集系統(tǒng)是對(duì)青梅某一部分表面的靜態(tài)采集，目的是為了驗(yàn)證算法以及系統(tǒng)的可行性，為實(shí)現(xiàn)動(dòng)態(tài)、全方位采集提供理論和實(shí)踐基礎(chǔ)。目前主要圍繞現(xiàn)有的缺陷樣本進(jìn)行識(shí)別，后續(xù)還將擴(kuò)充樣本庫(kù)，搜集碰撞等原因造成的損傷和缺陷樣本以進(jìn)一步驗(yàn)證系統(tǒng)的可行性和精度，并將通過(guò)構(gòu)建、修正青梅三維模型來(lái)實(shí)現(xiàn)青梅品質(zhì)的精確分級(jí)。