徐境深,王昕彤,周 芹,黃 晨,徐維健
(揚(yáng)州大學(xué) 機(jī)械工程學(xué)院,江蘇 揚(yáng)州 225000)
經(jīng)過30 多年的發(fā)展,我國設(shè)施瓜菜產(chǎn)業(yè)取得了巨大成就,形成了節(jié)能、低碳、低成本的獨(dú)具特色的發(fā)展格局,同時(shí)也面臨著諸多問題。近年來我國設(shè)施瓜菜的種植面積不斷擴(kuò)大,產(chǎn)量也在不斷提升。數(shù)據(jù)顯示,設(shè)施瓜菜的土地種植面積從一開始的133.33萬hm2直線增加,到2016 年底增加到了391.47 萬hm2,翻了一番以上,此外,甜瓜、蔬菜生產(chǎn)設(shè)施也在2016年底達(dá)2 億t,平均每年增加面積超過13.33 萬hm2。
基于機(jī)器視覺學(xué)習(xí)的設(shè)施瓜菜病蟲害識(shí)別技術(shù)是生產(chǎn)中病蟲害檢測(cè)的最主要方式,目前仍存在一些問題。一方面,設(shè)施瓜菜病蟲種類增多,新病蟲害或疑難病蟲害不斷出現(xiàn),加大了瓜菜病蟲害安全防控難度,嚴(yán)重影響產(chǎn)量、品質(zhì)和安全性;另一方面,設(shè)施瓜菜檢測(cè)工作量巨大,但檢測(cè)設(shè)備性能偏低,使得檢測(cè)速度不快,病蟲害外形相似導(dǎo)致設(shè)備難以區(qū)分,出現(xiàn)漏判、誤判等情況[1-2]。現(xiàn)急需研究性能更高的設(shè)施瓜菜病蟲害識(shí)別技術(shù)以提高檢測(cè)效率,實(shí)現(xiàn)設(shè)施瓜菜的高質(zhì)量生產(chǎn)。
基于機(jī)器視覺應(yīng)用和卷積神經(jīng)網(wǎng)絡(luò)的病蟲害識(shí)別系統(tǒng)和方法,使用廣泛,是一種人工智能新技術(shù)。但系統(tǒng)不等同于方法,系統(tǒng)是一個(gè)方向的大范圍,而方法是指在這個(gè)范圍內(nèi),為了達(dá)到目的或需要得到數(shù)據(jù)所采用的手段。該系統(tǒng)研究主要內(nèi)容包括:圖像采集、視覺識(shí)別、信息數(shù)據(jù)分類檢測(cè)和訓(xùn)練更新、模型訓(xùn)練、模型測(cè)試等,囊括圖像和模型的各大基礎(chǔ)管理模塊設(shè)計(jì)應(yīng)用。該方法主要包括:圖像采集、視覺識(shí)別、信息分類檢測(cè)與訓(xùn)練、模型訓(xùn)練、模型測(cè)試、更新等相應(yīng)的主要核心檢測(cè)方法與精確建模步驟。總的說來,系統(tǒng)和方法相輔相成,缺一不可。針對(duì)設(shè)施瓜菜病蟲害識(shí)別檢測(cè)方法的不足,本文提出了一種基于機(jī)器視覺的表面缺陷檢測(cè)方法,其通過對(duì)缺陷圖像的處理和分析,可快速、準(zhǔn)確地實(shí)現(xiàn)設(shè)施瓜菜病蟲害的分類識(shí)別[3-4]。該方法使用工業(yè)內(nèi)窺鏡進(jìn)行病蟲害圖像的獲取,通過對(duì)圖像的灰度直方圖分析,判斷其是否為病蟲害,對(duì)缺陷圖像分別進(jìn)行二值化處理、形態(tài)學(xué)濾波和圖像標(biāo)記,以準(zhǔn)確獲得圖像的缺陷區(qū)域;對(duì)缺陷區(qū)域進(jìn)行特征提取后,利用缺陷分類決策樹完成缺陷類型的識(shí)別。試驗(yàn)表明,該方法實(shí)時(shí)性好、運(yùn)算速度快,可有效檢測(cè)出設(shè)施瓜菜病蟲害。
巡航周期模塊是圖像采集步驟的重要組成。在使用時(shí),一般以小時(shí)、天為單位設(shè)定巡航周期,每個(gè)收集點(diǎn)周期所需時(shí)間間隔相同。具體示例,若巡航所需周期為2 h,即需要預(yù)先設(shè)置程序指令要求每2 h進(jìn)行一次圖像采集,以快門按鍵為命令啟示,采集設(shè)備可以在每次快門后立即采集定時(shí)圖像信息。信息技術(shù)不僅局限于圖像的數(shù)據(jù)、時(shí)間、圖片采集歸納工作,還包括著圖像采集時(shí)的經(jīng)緯度收集和比對(duì)。眾所周知,地理位置的微小變化也會(huì)影響著實(shí)驗(yàn)結(jié)果,在已知因素中,為了保證技術(shù)實(shí)驗(yàn)的完整與精確性,圖像采集的經(jīng)緯度是必須確認(rèn)的。經(jīng)緯度不是常數(shù),而是一個(gè)不斷變化的值, 并受采集設(shè)備水平和垂直的角度值、不動(dòng)點(diǎn)以及焦距和快門時(shí)間的影響,在圖像采集的過程中都具有極大的參考意義。
本文提出一種不同于以往單一識(shí)別系統(tǒng)的新型系統(tǒng)和方法(如圖1 所示),該系統(tǒng)能夠在內(nèi)在輸入指令的指導(dǎo)下,定點(diǎn)和定時(shí)精確獲取動(dòng)態(tài)清晰圖像數(shù)據(jù),并將網(wǎng)絡(luò)模型測(cè)試和視覺識(shí)別置于圖像采集的前端,從而合理分配了網(wǎng)絡(luò)資源,提高了識(shí)別效率,減少了無效圖像帶寬的失誤損耗,降低了記憶存儲(chǔ)的浪費(fèi)。良好的控制反饋機(jī)制和更新機(jī)制使模型不斷優(yōu)化和梯度化,控制系統(tǒng)的循環(huán)更加完善與流暢,并可實(shí)時(shí)同步前端模型,提高精確度。
圖1 新型多途徑識(shí)別方法
圖像在采集、傳輸和處理時(shí)受光線、電流和噪音等不同因素的干擾,導(dǎo)致圖像存在一些噪聲或噪點(diǎn),對(duì)特征參數(shù)的提取產(chǎn)生不利影響。有些病蟲害部位的顏色色差小且輪廓復(fù)雜,為了能最大程度保持病蟲害部位圖像的顏色和輪廓特征,使用中值濾波法對(duì)圖像進(jìn)行處理,不僅可以有效去除噪聲,還能保留較為完整的病蟲害顏色特征[5]。
灰度直方圖描述了一幅圖像的灰度級(jí)統(tǒng)計(jì)信息,通過直方圖可以很直觀地看到圖像灰度值的分布情況,完好圖像的灰度值比較集中,而缺陷圖像的分度值比較分散。使用MATLAB 圖像處理工具箱中的函數(shù)可以得到圖像的均值和標(biāo)準(zhǔn)差, 根據(jù)標(biāo)準(zhǔn)差的大小來判斷作物圖像是否有缺陷。采集圖像,以RGB 格式保存,分別對(duì)應(yīng)紅、綠、藍(lán)的顏色信息。RGB顏色豐富,在圖像處理時(shí)占用大量?jī)?nèi)存,且RGB 對(duì)物體形狀特征處理并不突出。為了降低處理難度和計(jì)算時(shí)間,可將原始圖像灰度化后提取形狀特征。
式中,Gray(x,y)表示灰度值,B(x,y)、G(x,y)、R(x,y)分別表示RGB 不同的分量值。較為常見的灰度化方法有平均灰度法和最大值法。平均法是以RGB 通道的平均值作為灰度值; 最大值法是將原圖像的RGB 三通道中最亮的值作為灰度值; 而較為準(zhǔn)確的方法是設(shè)置不同的權(quán)重,將RGB 分量按不同比例進(jìn)行劃分。比如人眼對(duì)藍(lán)色敏感度低,對(duì)綠色較強(qiáng),為了提高準(zhǔn)確性且符合人們的感官,本文用加權(quán)平方對(duì)圖像進(jìn)行處理,計(jì)算公式如下:
式中,Y 表示RGB 圖像灰度化值。在二值圖像中提取連通區(qū)域時(shí),通常的做法是給每個(gè)區(qū)域分配唯一代表該區(qū)域的編號(hào),該區(qū)域內(nèi)所有像素的像素值就賦值為該編號(hào),這樣的輸出圖像被稱為標(biāo)記圖像。目前的二值圖像連通區(qū)域標(biāo)記算法大致可以分為3 類:像素標(biāo)記法、游程編碼法和區(qū)域生長(zhǎng)法。本文采用8 連通區(qū)域標(biāo)記法,按照從左到右、從上到下的順序依次掃描圖像中的各像素點(diǎn),找到灰度值為0 的黑點(diǎn)并對(duì)其進(jìn)行標(biāo)記,判斷其右邊點(diǎn)、右下點(diǎn)、下邊點(diǎn)是否為黑點(diǎn),是黑點(diǎn)則進(jìn)行同一編號(hào)標(biāo)記,否則編號(hào)加1 并繼續(xù)進(jìn)行掃描,直至掃描結(jié)束。其原理是把每個(gè)像素相互鄰接的8 個(gè)像素中灰度值為0(黑點(diǎn)) 的像素集合提取出來進(jìn)行同一編號(hào)標(biāo)記,這樣便可以獲得標(biāo)記圖像。
不同方法外形識(shí)別結(jié)果比較:通過余弦定理法和傅里葉變換法識(shí)別了作物葉片的特征。利用余弦定理法識(shí)別不同輪廓特征,相比傅里葉法識(shí)別在提取速度和精度上效果都好,但是利用余弦定理提取葉片特征,若不能得到較好的波峰和波谷,則會(huì)影響余弦定理法的結(jié)果,這也是后續(xù)研究需要解決的一個(gè)問題。利用傅里葉變換對(duì)極坐標(biāo)變換后的不同輪廓的葉片進(jìn)行處理,其識(shí)別精度與正余弦定理法接近,但處理速度慢于后者,且處理復(fù)雜,但傅里葉變換已在很多領(lǐng)域都有應(yīng)用,因此理論與實(shí)際結(jié)合較為容易[6]。
試驗(yàn)表明,利用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)識(shí)別農(nóng)作物病蟲害時(shí),識(shí)別精度一般會(huì)受到多種外在因素的影響而出現(xiàn)變化,且這些外在環(huán)境因素都是不可抗的,比如企業(yè)激勵(lì)函數(shù)、迭代次數(shù)、卷積層數(shù)及圖像數(shù)量等。當(dāng)使用Sigmoid 函數(shù)時(shí),會(huì)出現(xiàn)飽和神經(jīng)元,干擾其他神經(jīng)元的再生優(yōu)化,使神經(jīng)網(wǎng)絡(luò)的反向傳播命令不能傳達(dá)、識(shí)別與執(zhí)行,導(dǎo)致系統(tǒng)不能響應(yīng)[7]。此外,此函數(shù)的計(jì)算預(yù)算成本相對(duì)較高,并且其輸出數(shù)據(jù)并不是零中心, 不符合常規(guī)函數(shù)認(rèn)知,缺點(diǎn)極明顯。在使用Tanh 函數(shù)時(shí),會(huì)出現(xiàn)梯度消失,函數(shù)表達(dá)突兀,不完整的問題。針對(duì)函數(shù)出現(xiàn)的問題,我們使用LeakyReLU 函數(shù)來優(yōu)化解決,LeakyReLU 函數(shù)不會(huì)有梯度消失,而且此函數(shù)計(jì)算效率高,圖象收斂快速,基本避免了前兩個(gè)函數(shù)遇到的問題。使用LeakyReLU 函數(shù)還可以通過增加參數(shù),比如迭代的次數(shù)、卷積的層數(shù)以及進(jìn)行圖像的數(shù)量等變量參數(shù)來進(jìn)行圖像的精確與修復(fù),函數(shù)的正確率得到更加明顯的提高[8]。同時(shí),使用LeakyReLU 函數(shù)可以提高識(shí)別成功率,進(jìn)而密切與其他參數(shù)間的聯(lián)系,進(jìn)一步優(yōu)化程序,并借助Matlab 等算法處理軟件進(jìn)行圖像仿真,優(yōu)化設(shè)施瓜菜精準(zhǔn)識(shí)別程序,有效提高效率和精確度。
本文采用卷積神經(jīng)網(wǎng)絡(luò)、機(jī)器視覺技術(shù),利用顏色空間的變換提取了病蟲害的顏色特征,利用極坐標(biāo)變換、傅里葉變換方法提取了外形特征,對(duì)病蟲害進(jìn)行快速、準(zhǔn)確的識(shí)別,使用設(shè)施瓜菜病蟲害智能化高效識(shí)別裝置,能實(shí)現(xiàn)病蟲害的快速精確識(shí)別,識(shí)別準(zhǔn)確率≥99%,識(shí)別速度≥320 株/min。