王士龍 朱景煥
摘要 ?使用計算機視覺系統(tǒng)提取沙糖橘果皮正面圖像,構建有效的圖像采集方法、預處理方法、分割方法。從目標區(qū)域圖像中提取6個與品質密切相關的果皮紋理特征信息用來分類識別果皮光滑,使用單一方差參數配合參數區(qū)間分類的方式正確率較低,為76.3%;進而以果皮6個灰度紋理特征開展MLP模型設計和訓練,使用訓練后的模型進行分類檢測。在實測一定數量的果皮得出分類檢測結果的基礎上,進行系統(tǒng)設計的可行性驗證。結果表明,基于3層的BP神經網絡模型,設計6-8-2BP網絡結構,分類識別正確率達到97.5%。該設計方法可對果蔬果皮特征檢測提供參考和借鑒。
關鍵詞 ?果皮;計算機視覺;圖像處理;智能分級
中圖分類號 ?S 126 ??文獻標識碼 ?A ??文章編號 ?0517-6611(2023)05-0237-04
doi: 10.3969/j.issn.0517-6611.2023.05.054
開放科學(資源服務)標識碼(OSID):
Detection of Shatangju Peels Smooth Index Based on Computer Vision
WANG Shi-long,ZHU Jing-huan
(Guangxi Science & Technology Normal University,Laibin,Guangxi 546199)
Abstract ?Extraction of frontal image of Shatangju peel by computer vision system, construction of effective image acquisition method, preprocessing method and segmentation method. Six peel texture features closely related to the quality were extracted from the image of target region to classify and identify whether the peel was smooth or not, the accuracy rate of single variance parameter combined with parameter interval classification was 76.3%, which was low. Then, the MLP model was designed and trained based on the six gray texture features of the peel, and the trained model was used for classification detection, the feasibility of the system design was verified on the basis of the classification test results of a certain number of peels. Results showed that based on the three-layer BP neural network model, the 6-8-2BP network structure was designed, and the accuracy of classification and recognition reached 97.5%.The design method could provide references for fruit and vegetable peel feature detection.
Key words ?Fruit peel;Computer vision;Image processing;Intelligent grading
計算機視覺技術(computer vision,CV),也稱機器視覺技術(machine vision,MV)。計算機視覺技術涉及人工智能、模式識別、圖像處理、計算機軟硬件等領域[1-4]。計算機視覺比人工視覺的觀察速度和分辨度更高,識別結果有可重復性,廣泛應用于批量化和標準化生產中,如產品質量檢測、產品分級、醫(yī)學影像分析、智能分析處理系統(tǒng)等[5-9]。因此,可利用計算機視覺技術配合沙糖橘外觀品質分類標準進行自動分類系統(tǒng)的開發(fā)。
鑒于此,筆者以沙糖橘果皮特征為研究對象,采用計算機圖像技術為基礎集合模式識別技術,把通過依據國標的人工感官評價結合利用機器視覺設備測量的結果作為綜合評價依據,選用常用的視覺圖像采集系統(tǒng),對水果外部特征的有效提取方法進行研究探討,設計建立準確度高、穩(wěn)定性強的圖像分級評判模型,并搭建一套功能齊全的沙糖橘果皮品質分類硬軟件系統(tǒng)。
1 計算機視覺檢測系統(tǒng)設計
使用CCD硬件系統(tǒng)采集高品質的果皮圖像,重點實現果皮圖像特征數據的有效完整提取,核心工作在于建立果皮光滑與否與圖像特征因子兩者間的映射關系判別模型,并利用優(yōu)化后的模型來實現果皮光滑檢測。首先在試驗過程中建立果皮光滑與否的判別分類模型,然后使用分類判別結果修正模型,最后使用部分預測樣品數據進行模型驗證,并對模型進行性能評價。
視覺采集系統(tǒng)采用單CCD和環(huán)形LED白光源,使用黑色載物背景,調整光圈到合適位置并鎖定,同時固定采集系統(tǒng)在同一環(huán)境的光源下,可以達到理想的圖像采集狀況。
計算機操作系統(tǒng)采用64位Windows 7,開發(fā)軟件主要為學生版MATLAB R2015a和OpenCV3以及Halcon,使用千兆網卡連接CCD。整體系統(tǒng)軟件采用模塊化結構設計,主要包括用戶交互模塊、原始圖像獲取、圖像處理特征信息提取和分類檢測模型訓練建立以及試用分類模型進行分類預測[10-11]。
2 圖像處理算法
2.1 原始圖像獲取和圖像預處理
使用CCD相機以靜態(tài)方式進行圖像的采集,采集到的原始圖像如圖1所示。圖像預處理是圖像分割和特征提取的基礎步驟,視覺系統(tǒng)采集到的原始圖像往往容易受到光照和機械噪聲等因素的影響,因此必須通過對圖像的預處理去除噪聲污染,同時提高圖像質量,或者進行格式轉換和區(qū)域獲取等。通常可在空間濾波和頻域濾波2個方向對圖像噪聲進行去除,如圖2所示,常用的濾波方法有中值濾波、選擇平均、小波變換、拉普拉斯濾波等。用中值濾波使用3×3奇數窗口處理的效果如圖3所示。該中值濾波法不但去除了椒鹽噪聲,同時圖像的邊緣和細節(jié)信息也得到了很好的保留,濾波效果如圖4所示[12-13]。
大津法或最大類間方差法Otsu算法被廣泛用于圖像分割。在沙糖橘的6個分量(GRB和HSI)中,B分量圖中沙糖橘果體和背景灰度差最顯著,對沙糖橘的背景分割最有利,因此進行閾值分割時采用沙糖橘B通道圖像進行。從圖5
可看出,在進行沙糖橘閾值處理灰度圖像時,圖像B通道使用自適應迭代選擇閾值法與大津法(Otsu算法)都能把沙糖橘與背景完成分割[14-15]。
2.2 果皮紋理特征提取
圖6為沙糖橘果面的光滑特征圖,果皮紋理特征與顏色特征不同,紋理特征需要統(tǒng)計和計算多個像素區(qū)域,而不是僅基于像素點。紋理特征具有局部抗噪能力和旋轉不變性的特性,其優(yōu)點就來自具有統(tǒng)計特征,可基于此來描述反映果面的光滑程度[16]。模型、幾何、結構、統(tǒng)計和信號處理等是現實操作中常采用的提取紋理特征的方法。參照代表基于灰度共生矩陣(gray level co-occurrence matrix,縮寫GLCM)的最典型的特征提取法[17],經圖像灰度級計算得到共生矩陣,紋理特征由反差、自相關、能量、均值、逆差距和方差6個參數值來表示。由表1可知,實際測試得到的部分數據值可以看出,表面相對不光滑的沙糖橘方差集中在37.310 0~38.810 0,表面相對光滑的沙糖橘方差集中在35.970 0~43.870 0。
使用紋理特征方差數據的范圍區(qū)間來判定果皮表面是否光滑的驗證結果如表2所示,使用該方差來判定果皮是否光滑的平均正確率為76.3%,正確率較低,這些紋理特征的參數為非線性,使用一個參數范圍來進行判定正確率不能得到保證,需要使用多層神經網絡設計一個更合理的分類器。
2.3 BP神經網絡的配置
由于沙糖橘果皮紋理特征是個一維數組,不適于線性分類,根據所提取的沙糖橘紋理特征,??通過分析試驗篩選沙糖橘紋理特征分類的合理學習算法和BP神經網絡模型,設計BP神經網絡分類器應用于沙糖橘紋理特征的智能分類算法。
3 試驗分析
不光滑沙糖橘的網絡期望輸出結果為0,光滑沙糖橘的網絡期望輸出結果為1。依據沙糖橘外觀國標人工精心分級獲得光滑和不光滑沙糖橘共120個,提取各個沙糖橘果皮的灰度紋理特征,部分紋理特征數據如表3所示。
表4為使用參數區(qū)間和BP神經網絡分類正確率對比,歸一化處理120個沙糖橘樣本數據,然后隨機共抽取80組沙糖橘的特征值作為訓練樣本(果皮光滑為50個,果皮不光滑為30個),使用這80個樣本數據完成一個BP神經網絡的訓練,再把剩下的樣本數據輸入網絡模型對網絡模型進行驗證測試,并對BP神經網絡的分類性能進行測評。利用神經網絡識別方法得到的沙糖橘類別與實際分類結果相一致,僅有個別誤判現象(把光滑果判定成不光滑果),40個沙糖橘測試樣本中有39個判斷正確,正確率為97.5%,表明該研究設計的BP神經網絡能滿足沙糖橘的分級要求。
4 結論與討論
用沙糖橘紋理特征表示果皮光滑與否,使用單一方差參數配合參數區(qū)間分類的方式正確率為76.3%,正確率較低。而基于3層的BP神經網絡模型,設計6-8-2BP網絡結構,綜合使用6個特征參數經過訓練模型和使用模型進行測試并分析,得出該網絡模型可以實現依據灰度圖下果皮紋理特征對沙糖橘光滑與否進行分類,使用此特征分類結果和人工分類結果對比可達到97.5%的正確率。對比人工感官分類,該系統(tǒng)具有可重復性高、可靠性好和快速的優(yōu)勢。因此設計該系統(tǒng)具有較好的實用價值,研究方法對于其他果蔬果皮光滑分類具有較好的借鑒和參考價值[18-21]。
參考文獻
[1] ?陳靜,梁俊毅.基于機器視覺的禽蛋外觀品質在線檢測系統(tǒng)設計[J].食品工業(yè),2020,41(5):232-234.
[2] 馬佳佳,王克強,鄭奕雄,等.基于機器視覺的花生種子外觀品質檢測與分類方法研究[J].安徽農業(yè)科學,2021,49(10):225-227,231.
[3] 閆朋濤,王昆倫,孫家亮,等.基于機器視覺的淡水魚去鱗損傷無損檢測識別方法[J].食品工業(yè),2020,41(3):184-187.
[4] 何東健,張庭鋒,李邦國,等.除草機器人機器視覺自動導航技術研究[J].安徽農業(yè)科學,2020,48(18):201-205.
[5] 王哲祿,程向嬌,尤文生.基于機器視覺的蔬菜嫁接機自動上苗控制系統(tǒng)設計[J].安徽農業(yè)科學,2019,47(7):218-220.
[6] 安叢姝.關于圖像處理技術現狀及發(fā)展的分析[J].科技資訊,2018,16(25):72-73.
[7] PU Y Y,FENG Y Z,SUN D W.Recent progress of hyperspectral imaging on quality and safety inspection of fruits and vegetables:A review[J].Comprehensive reviews in food science and food safety,2015,14(2):176-188.
[8] 應義斌,饒秀勤,趙勻,等.機器視覺技術在農產品品質自動識別中的應用(I)[J].農業(yè)工程學報,2000,16(3):103-108.
[9] SUN D W.Computer vision technology for food quality evaluation[M].2nd ed.Amsterdam:Elsevier/Academic Press,2016.
[10] ?BAIGVAND M,BANAKAR A,MINAEI S,et al.Machine vision system for grading of dried figs[J].Computers and electronics in agriculture,2015,119:158-165.
[11] 劉峻,孫美艷,焦中元,等.基于全局閾值迭代的蘋果圖像分割計數方法[J].安徽農業(yè)科學,2018,46(29):180-182,186.
[12] 余洪.基于計算機視覺技術的茶葉品質分級研究[D].南昌:江西農業(yè)大學,2017.
[13] SATORRES MARTNEZ S,MARTNEZ GILA D,BEYAZ A,et al.A computer vision approach based on endocarp features for the identification of olive cultivars[J].Computers and electronics in agriculture,2018,154:341-346.
[14] 羅楓,魯曉翔,張鵬,等.冷藏櫻桃內部品質的近紅外漫反射光譜檢測[J].食品與發(fā)酵工業(yè),2015,41(3):219-224.
[15] 孫旭東,劉燕德,李軼凡,等.鴨梨黑心病和可溶性固形物含量同時在線檢測研究[J].農業(yè)機械學報,2016,47(1):227-233.
[16] 常英.基于機器視覺的櫻桃番茄在線分級檢測研究[D].蘭州:蘭州理工大學,2019:22.
[17] GONZALEZ R C,WOODS R E,EDDINS S L.Digital image processing using MATLAB[M].Upper Saddle River,N.J.:Pearson Prentice Hall,2004:42-45.
[18] 張玉華,孟一,張明崗,等.基于近紅外、機器視覺及信息融合的水果綜合品質檢測[J].食品工業(yè),2018,39(11):247-250.
[19] 裴悅琨,葉家敏,姜艷超,等.基于機器視覺的櫻桃形狀及大小檢測技術[J].食品工業(yè),2020,41(8):199-202.
[20] 張世慶,戴其俊,孫力,等.禽蛋裂紋檢測敲擊裝置力學分析與結構優(yōu)化[J].農業(yè)機械學報,2017,48(5):363-368.
[21] ZHU Q B,HE C L,LU R F,et al.Ripeness evaluation of“Sun Bright”tomato using optical absorption and scattering properties[J].Postharvest biology and technology,2015,103:27-34.