關鍵詞:濰縣蘿卜;圖像處理;目標檢測;蘿卜分級;YOLOv5s
0 引言
濰縣蘿卜又稱濰坊蘿卜,是山東省著名蘿卜優(yōu)良品種,近年來,濰縣蘿卜種植面積不斷擴大,2019年首次突破3333.33hm2[1-2]。外表的缺陷檢測是濰縣蘿卜上市銷售前的重要環(huán)節(jié),目前主要依靠人工分揀。人工成本投入大、篩選效率低等問題阻礙了濰縣蘿卜加工自動化產(chǎn)業(yè)發(fā)展。
近年來,機器視覺技術越來越多地應用于表面缺陷檢測領域,與農(nóng)業(yè)生產(chǎn)之間的聯(lián)系變得更加緊密,農(nóng)業(yè)的數(shù)字化進程已提上日程[3-4]。目前研究主要集中于馬鈴薯、西紅柿、蘋果等類似球狀的水果蔬菜上,對于蘿卜等非類似球狀的水果蔬菜的研究處于起步階段,而且主要面向胡蘿卜[5-14]。謝為俊等[15-16]利用機器視覺技術對胡蘿卜的不同缺陷實現(xiàn)自動識別,有效識別出胡蘿卜青頭、彎曲、斷裂和分叉等缺陷。韓仲志等[17]利用提取骨架檢測端點數(shù)的根須算法,在此基礎上實現(xiàn)了對胡蘿卜青頭、須根與開裂的檢測。倪建功等[18]對胡蘿卜傳統(tǒng)外部缺陷檢測進行了改進,提出一種知識蒸餾模型,減少了網(wǎng)絡模型及運行時間。
綜上所述,當前依靠機器視覺進行分揀作業(yè)的研究已經(jīng)逐漸成熟,本研究依托機器視覺技術,使用YOLOv5s對濰縣蘿卜缺陷識別模型進行訓練,采用雙攝像頭進行濰縣蘿卜外表缺陷檢測,通過下位機控制分揀動作的執(zhí)行,篩選出外表缺陷的濰縣蘿卜。
1 數(shù)據(jù)集構(gòu)建
1.1 圖像采集
在山東省濰坊市的濰坊青泉農(nóng)業(yè)科技有限公司,使用尼康相機(D7200型)在單一背景下采集濰縣蘿卜圖像400張。通過與當?shù)氐膹臉I(yè)者交流,將濰縣蘿卜的表面缺陷分為根部多頭、彎曲、損傷和蟲眼4種,如圖1所示。具體缺陷種類的圖像數(shù)量如表1所示。
1.2 數(shù)據(jù)增強
為增加樣本多樣性,避免數(shù)據(jù)集不足造成訓練過程中產(chǎn)生過擬合問題,通過調(diào)節(jié)亮度與對比度、旋轉(zhuǎn)、翻轉(zhuǎn)、縮放、高斯模糊及添加椒鹽噪聲等諸多方法,對采集的濰縣蘿卜表面缺陷數(shù)據(jù)集進行增廣,得到3200張濰縣蘿卜圖像數(shù)據(jù)集,并按照(訓練集+驗證集)∶測試集=9∶1,訓練集∶驗證集=9∶1的比例,隨機將2592張圖片作為訓練集、320張圖片作為測試集及288張圖片作為驗證集。數(shù)據(jù)增強結(jié)果如圖2所示。
1.3 數(shù)據(jù)標注
本研究使用LabelImg軟件對濰縣蘿卜表面缺陷數(shù)據(jù)集進行人工標注,標注的類別包括duotou(多頭)、wanqu(彎曲)、sunshang(損傷)和chongyan(蟲眼)4類,標注完成后存儲為XML后綴的文件。
2 識別檢測樣機搭建
2.1 結(jié)構(gòu)設計
基于外形特征的濰縣蘿卜篩選系統(tǒng)由換向系統(tǒng)、圖像采集與處理系統(tǒng)、篩選系統(tǒng)及控制系統(tǒng)等組成,整體結(jié)構(gòu)如圖3所示。
工作流程:將濰縣蘿卜置于輸送機入口端,輸送機帶動蘿卜前進,當蘿卜經(jīng)過換向裝置時,若蘿卜的方位與篩選系統(tǒng)中推板的夾角過大,則撥桿發(fā)揮作用調(diào)整蘿卜方向,從而減小蘿卜與推板的夾角。當蘿卜被輸送至工業(yè)相機對應位置時,工業(yè)相機獲取畫面,上位機識別模塊通過YOLOv5s網(wǎng)絡對蘿卜實時畫面進行檢測,并將符合訓練模型中表面缺陷的蘿卜且置信度達標的檢測結(jié)果用矩形框標出,并通過串口向單片機發(fā)送信號;當單片機接收到上位機信號后,在光電紅外開關檢測到蘿卜進入推板范圍時,單片機向步進電機驅(qū)動器發(fā)送信號使步進電機帶動固定在滑臺上的推板運動,將蘿卜推出傳送帶,當滑塊運動到另一端的限位開關處時,步進電機停止,完成一次分揀操作。下一次分揀時推板將從另一端開始運動,直到滑臺運動到限位開關時停止,兩側(cè)交替分揀,提高了推板分揀效率。
2.1.1 換向裝置
換向裝置由撥桿和復位彈簧組成。整個換向裝置可繞中心軸旋轉(zhuǎn),其三維結(jié)構(gòu)如圖4所示。兩個換向裝置錯落固定在帶式輸送機兩側(cè),左右兩側(cè)的撥桿沿左右方向的間距大于蘿卜寬度,其作用是當蘿卜經(jīng)過換向裝置時,若蘿卜與推板水平線夾角過大,利用撥桿的作用使蘿卜換向,從而減小蘿卜與推板的夾角,在完成一次換向操作后,通過復位彈簧使撥桿恢復原位。
2.1.2 圖像采集處理裝置
圖像采集與處理系統(tǒng)由上位機(筆記本電腦)與工業(yè)相機(S50PT1080型)組成。兩臺工業(yè)相機分別設置在擴展支架的左右兩側(cè),通過可調(diào)節(jié)支架與擴展支架連接,借助可調(diào)節(jié)支架手動調(diào)節(jié)其采集角度。兩臺工業(yè)相機的設置大大減少了視野盲區(qū),可以采集到蘿卜更多的外表信息,增加了識別的準確性。
2.1.3 篩選系統(tǒng)
篩選系統(tǒng)由導軌、滑臺、推板、限位開關和光電紅外開關組成,三維結(jié)構(gòu)如圖5所示。其中,限位開關用于檢測滑臺的運動邊界;光電傳感器位于推板后方傳送帶邊緣的橫桿上,用于感知蘿卜位置;推板安裝在滑臺上,由步進電機驅(qū)動滑臺進行往復運動;推板上包裹泡沫墊,減少對蘿卜的損傷。
2.2 控制系統(tǒng)設計
選用51單片機作為控制器,用于對上位機串口信息的接收、各傳感器信號的采集及步進電機的控制等??刂葡到y(tǒng)的電路板通過AltiumDesigner軟件設計,原理如圖6所示。
上位機通過USB轉(zhuǎn)TTL模塊經(jīng)串口向單片機發(fā)送控制指令,其python環(huán)境中需導入串口通信庫pyserial進行相應編程。
3 樣機試驗
3.1 試驗內(nèi)容與方法
參考根莖類凈菜加工流水線中人工分揀臺的傳送帶速度,暫定樣機傳送帶速度0.16m/s。當蘿卜經(jīng)過推板區(qū)域時,推板需要及時將缺陷蘿卜推出傳送帶。推板最長允許動作時間為
經(jīng)計算,在步進電機最高安全轉(zhuǎn)速下,所選同步帶滑臺中滑塊帶動推板掃過傳送帶所需時間t2≈0.77s,遠小于推板最長允許動作時間1.875s的設計要求,可以順利完成分揀動作。若增加傳送帶速度,以滑臺帶動推板掃過傳送帶所需時間t2為參考,則可由式(1)反推出傳送帶可與推板匹配的最快速度約0.39m/s。
為了測試篩選系統(tǒng)是否能達到實際生產(chǎn)所需要的篩選效果,選取包含根部多頭、彎曲、損傷和蟲眼的濰縣蘿卜各50個,分別調(diào)整傳送帶速度為0.16、0.30和0.38m/s進行篩選試驗,試驗場景如圖7所示。實時檢測畫面如圖8所示。
3.2 試驗結(jié)果與分析
篩選準確率試驗結(jié)果如表2所示。在輸送平臺傳送帶速度0.16m/s時,篩選的總體準確率97.5%;速度提升至0.30m/s時也有92%的總體準確率;當傳送帶速度0.38m/s時,即提升到設計極限速度附近時,識別準確率下降明顯。試驗中,蟲眼類缺陷識別率略低的原因是部分蟲眼位于蘿卜與傳送帶接觸的底部,攝像頭無法捕捉其缺陷。
4 結(jié)束語
(1)本研究針對濰縣蘿卜的篩選需求,設計了一種基于機器視覺的分揀系統(tǒng)。采用傳送帶進行蘿卜輸送,經(jīng)換向裝置調(diào)整蘿卜姿態(tài);雙攝像頭采集實時圖像,處理后控制同步帶滑臺驅(qū)動推板進行分揀動作。
(2)在輸送平臺的速度分別為0.16、0.30和0.38m/s時,對樣機進行了篩選準確率試驗。結(jié)果表明,篩選的總體準確率分別為97.5%、92.0%和82.5%,篩選裝置可高于流水線人工分揀臺傳送帶的速度進行篩選作業(yè),為濰縣蘿卜實際篩選系統(tǒng)研發(fā)提供設計參考。
(3)本篩選裝置還存在以下待研究問題:一是對于濰縣蘿卜蟲眼缺陷的識別問題,可增加翻轉(zhuǎn)裝置,進一步減少視覺檢測的盲區(qū),提高識別準確率;二是本篩選系統(tǒng)缺少對濰縣蘿卜內(nèi)部品質(zhì)的檢測,后續(xù)可增加高光譜系統(tǒng),進一步完善篩選功能。