康朋新,卿粼波,滕奇志,何小海,董德良
(1.四川大學(xué) 電子信息學(xué)院,四川 成都 610064;2.中儲糧成都糧食儲藏科學(xué)研究所,四川 成都 610091)
進(jìn)入21世紀(jì)以來,中國的糧食產(chǎn)量連創(chuàng)新高,而糧食安全問題也越發(fā)顯得重要。作為中國主要食用谷物的小麥的質(zhì)量安全是國家糧食安全的重要組成部分。
小麥質(zhì)量鑒定是對麥粒的正常、生病、破碎情況進(jìn)行觀察[1],通常是由人工來完成,這樣的方式需要消耗大量的人力勞動。隨著機(jī)器學(xué)習(xí)的興起,逐步形成了首先對小麥麥粒進(jìn)行分割,接著提取小麥輪廓、紋理等特征,最后訓(xùn)練分類器并識別的方法。
小麥麥粒分割通常有以下幾種方法:
(1)閾值分割[2]。閾值分割是選取灰度閾值將圖像分為目標(biāo)區(qū)域和背景區(qū)域。根據(jù)閾值選取方法的不同又分為自動閾值分割和手動閾值分割。
(2)區(qū)域生長[3]。區(qū)域生長是將具有相似性質(zhì)的像素聚集在一起構(gòu)成區(qū)域,首先需要先選取一個種子點,然后將種子像素周圍的相似像素合并到種子像素所在的區(qū)域中。
(3)基于邊緣的分割方法[4]。該方法利用在區(qū)域邊緣上的像素灰度值變化往往比較劇烈的情況,通過檢測包含不同區(qū)域的邊緣來對圖像進(jìn)行分割。
在分割之后對得到的小麥區(qū)域進(jìn)行紋理、輪廓等特征的提取,這里紋理特征使用灰度共生矩[5]來表示,并將提取的特征送到Blinear SVM[6]分類器進(jìn)行訓(xùn)練和識別??梢钥闯錾鲜龇椒ㄐ枰獙π←湀D像進(jìn)行分割處理而且不可以自己學(xué)習(xí)特征。而LENet[7]可以直接對小麥麥粒的圖像進(jìn)行自動的特征提取,不必經(jīng)過分割環(huán)節(jié)并且可以自己學(xué)習(xí)特征。由于小麥麥粒的圖像有行列信息,因此對提取的特征進(jìn)行矩陣化處理,并送入效果更佳的SMM[8]分類器進(jìn)行訓(xùn)練識別。
LENet由3部分組成,分別是輸入層、中間層和輸出層。其中輸入層通過對輸入圖片進(jìn)行取塊、中心化處理之后得到樣本的協(xié)方差矩陣。中間層對得到的協(xié)方差矩陣求特征值和特征向量,并且對特征值對應(yīng)的特征向量按照特征值大小進(jìn)行升序排列之后,選取前k個作為網(wǎng)絡(luò)的權(quán)重參數(shù),在得到權(quán)重參數(shù)之后與輸入圖片做卷積得到下一層的輸入。最后的輸出層對上一層得到的卷積圖進(jìn)行分塊直方圖編碼,并融合成最終的特征。
(1)
依據(jù)協(xié)方差矩陣的定義,得到協(xié)方差矩陣為:
(2)
對于輸入層得到的C1進(jìn)行拉普拉斯映射特征映射處理。建立如下的目標(biāo)函數(shù):
(3)
(4)
其中D1是一個對角矩陣,它的對角元素對應(yīng)W_L每一行元素的和。
(5)
經(jīng)過上式的線性變換,目標(biāo)函數(shù)的優(yōu)化可以變?yōu)椋?/p>
s.t.TC1′L(C1′)TTT=IL1
(6)
L1=D1-W_L1
(7)
其中L1是拉普拉斯矩陣,是大小為F1×F1的單位矩陣。通過對下面的矩陣方程求解,可以得到目標(biāo)函數(shù)優(yōu)化的解。
L1α=λD1α
(8)
通過求解上面的方程,可以得到F1個特征向量,再對這些特征向量按照對應(yīng)特征值大小進(jìn)行升序排列之后,利用最小的k個特征值對應(yīng)的特征向量作為網(wǎng)絡(luò)的參數(shù)。權(quán)重參數(shù)可以表征為:
f=1,2,3,…,F1
(9)
其中,tomats1,s2是一個函數(shù),將V∈Rs1×s2變換到W∈Rs1×s2;qf(Lα=λDα)表示廣義特征矩陣經(jīng)過按特征值大小升序排列之后對應(yīng)的第f個特征向量。選取廣義特征矩陣最小的k個特征值對應(yīng)的特征向量來提取所有中心化之后的塊向量的特征。在獲得第一層卷積層的卷積核之后,定義第一層卷積層的輸出為:
(10)
(11)
(12)
Y=[Y1,Y2,…,YF1]∈Rs1s2×F1Nmn
(13)
重復(fù)第一層求取特征值和特征向量的過程,則第二層卷積層的卷積核可以表示為:
f=1,2,…,F2
(14)
定義兩層卷積層的輸出為:
(15)
輸出的數(shù)量為F1×F2。
(16)
(17)
2015年,Luo Luo等提出支持矩陣機(jī)的新分類方法SMM[8],最大程度上使用了矩陣的行列相關(guān)信息,來提高分類的精度。SMM也是使用權(quán)重矩陣W的低秩性,區(qū)別于Blinear SVM將W分解為兩個矩陣的方式,SMM用核范數(shù)來保證W的低秩性。其目標(biāo)函數(shù)如下 :
(18)
該目標(biāo)函數(shù)可看作F范數(shù)[9]、核范數(shù)[10]、Hinge Loss Function的結(jié)合,相對于Blinear SVM,該分類器更加充分地利用了樣本的行列相關(guān)信息,在分類時有更好的效果。
在建立的小麥麥粒圖像數(shù)據(jù)庫進(jìn)行了測試,經(jīng)驗性地設(shè)置LENet的參數(shù),對小麥麥粒圖像進(jìn)行特征提取,并對提取到的特征向量矩陣化之后送入到SMM分類器進(jìn)行訓(xùn)練識別。同時對小麥麥粒圖像進(jìn)行分割、輪廓和紋理特征提取,并把特征送入Blinear SVM分類器進(jìn)行訓(xùn)練識別。
建立的小麥麥粒圖像數(shù)據(jù)庫包含7 000張小麥麥粒圖像,主要由正常、生病、破碎3種小麥麥粒組成。圖1所示從左到右分別是小麥的正常、生病、破碎的圖像。
圖1 小麥麥粒圖像數(shù)據(jù)庫的正常、生病、破碎圖像
在實驗中將小麥麥粒圖像分為測試和訓(xùn)練兩部分,進(jìn)行了兩組實驗。第一組實驗隨機(jī)選取訓(xùn)練樣本4 000張小麥麥粒圖像,測試樣本3 000張小麥麥粒圖像;第二組實驗隨機(jī)選取訓(xùn)練樣本5 000張,測試樣本2 000張。利用LENet提取特征,用SMM作為分類器進(jìn)行訓(xùn)練識別,再分別與LENet+Blinear SVM分類器和輪廓、紋理+Blinear SVM分類器方法進(jìn)行比較,結(jié)果如表1所示。
表1 算法識別率比較表 (%)
注:方法1為輪廓、紋理+Blinear SVM;方法2為LENet+Blinear SVM;本文方法為LENet+SMM。
從表1中可以看出,LENet+ SMM的方法相對于輪廓和紋理方法以及LENet+ Blinear SVM的方法有更好的識別效果。這是由于該方法利用了LENet的自動學(xué)習(xí)特性,對小麥麥粒的特征進(jìn)行了更高層次的提取,同時在提取特征的時候考慮了樣本圖像的行列相關(guān)信息,并且使用了SMM分類器進(jìn)行分類,因而取得了更好的識別效果。
本文提出了一種使用新的卷積網(wǎng)絡(luò)LENet和SMM分類器對小麥麥粒圖像進(jìn)行特征提取和分類識別的方法。LENet能夠?qū)π←湹柠溋D像進(jìn)行自動特征提取而不必經(jīng)過分割環(huán)節(jié),另外考慮了小麥麥粒樣本的行列相關(guān)信息,引入SMM分類器進(jìn)行分類。經(jīng)過實驗表明,LENet+SMM分類器的方法相較于LENet+Blinear SVM分類器和輪廓、紋理特征+Blinear SVM的方法,LENet+SMM有更好的識別效果,使得小麥麥粒識別的識別率有了較大的提升。
參考文獻(xiàn)
[1] 陳豐農(nóng). 基于機(jī)器視覺的小麥并肩雜與不完善粒動態(tài)實時檢測研究[D]. 杭州:浙江大學(xué), 2012.
[2] OHTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 2007, 9(1):62-66.
[3] OHTA Y I, KANADE T, SAKAI T. Color information for region segmentation[J]. Computer Graphics & Image Processing, 1980, 13(3):222-241.
[4] HUECKEL M H. A local visual operator which recognizes edges and lines[J]. ACM, 1973,20(4): 634-647.
[5] 高程程, 惠曉威. 基于灰度共生矩陣的紋理特征提取[J]. 計算機(jī)系統(tǒng)應(yīng)用, 2010, 19(6):195-198.
[6] PIRSIAVASH H, RAMANAN D, FOWLKES C. Bilinear classifiers for visual recognition[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc, 2009:1482-1490.
[7] Kang Pengxin, He Xiaohai, Qing Lingbo, et al. A new convolution network based on Laplacian eigenmap[C]// International Conference on Machinery, Materials and Computing Technology, 2017.
[8] Luo Luo, Xie Yubo, Zhang Zhihua, et al. Support matrix machines[C]// International Conference on Machine Learning,2015:938-947.
[9] 伍俊良,石聰聰.一個矩陣F-范數(shù)不等式的推廣[J]. 西南大學(xué)學(xué)報(自然科學(xué)版), 2016, 38(4):50-53.
[10] 趙新斌. 一類帶有核范數(shù)的優(yōu)化問題的梯度算法[D]. 北京:北京工業(yè)大學(xué), 2012.