韓浩然 李蒙 杜德偉 潘明康 王鑫野
摘 要:高光譜成像技術(shù)包含圖像信息和光譜信息。本文利用高光譜成像技術(shù)檢測蘋果摔傷,主要采用主成分分析、波段比算法和支持向量機分析所采集的高光譜圖像數(shù)據(jù)。實驗結(jié)果表明,波段比算法和主成分分析法分類識別正確率為93.3%,與支持向量機相比更適用于蘋果摔傷的實時快速檢測。
關(guān)鍵詞:水果損傷;高光譜;波段比算法;主成分分析;支持向量機
中圖分類號:TS255.7 文獻標識碼:A 文章編號:1003-5168(2018)10-0028-05
Damage Analysis of Fruits Based on Hyper spectral Imaging
HAN Haoran1,2 LI Meng1,2 DU Dewei1,2 PAN Mingkang1,2 WANG Xinye1,2
(1.College of Physics and Electronic, Yunnan Normal University,Kunming Yunnan 650500;2.Provincial Key Laboratory for Opto-electronic Information Technology,Kunming Yunnan 650500)
Abstract: Hyper-spectral imaging technology includes image information and spectral information. This paper used hyperspectral imaging technology to detect apple fall. In the process of experiment, principal component analysis, band ratio algorithm and support vector machine were used to analyze hyperspectral image data collected. The experimental results showed that the accuracy of band ratio algorithm and principal component analysis was 93. 3%, which was more suitable for real time and fast detection of apple fall than support vector machine.
Keywords: fruit injury;hyper-spectral;band ratio algorithm;principal component analysis; support vector machine
我國是水果生產(chǎn)和消費大國,但目前的水果檢測與分類分級技術(shù)還比較落后,主要靠人工進行分類分級,這種方法存在勞動時間長、容易疲勞、主觀性強等缺點。因此,迫切需要一種客觀、準確、無損的檢測分類技術(shù)。而融合了光譜信息和圖像信息的高光譜成像技術(shù),可以更全面地反映農(nóng)產(chǎn)品的信息,因此,被廣泛應(yīng)用。高光譜成像技術(shù),配合合適的光譜重建算法,其光譜維和空間維信息既可以檢測水果的內(nèi)在物理性質(zhì)和化學(xué)成分等,又能全面反映出農(nóng)產(chǎn)品的外部特征、表面缺陷[1]及污染[2]等情況。從農(nóng)產(chǎn)品的高光譜圖像中提取出相應(yīng)的特征光譜波長,就能對農(nóng)產(chǎn)品的品質(zhì)進行準確快速地檢測。因此,在檢測水果的品質(zhì)時,可以從光譜信息或是圖像信息的角度分析其有效特征信息。由于高光譜圖像具有海量、高維的信息,因此,在光譜重建和后期光譜分析時需要對其進行降維。主成分分析(principal component analysis,PCA)、波段比算法(Band Ratio Algorithm)和支持向量機法(Support Vector Machine Method)等是常用的降維方法,在高光譜圖像的處理中得到廣泛應(yīng)用。主成分分析法利用降維技術(shù)用少數(shù)幾個綜合變量來代替原始多個變量,這些綜合變量集中了原始變量的大部分信息;其通過計算綜合主成分函數(shù)得分,對客觀經(jīng)濟現(xiàn)象進行科學(xué)評價。波段比算法可以使光照不均勻影響達到最小化,增強波段之間的差異性,提供一些單波段下無法得到的有效信息。支持向量機法選取感興趣區(qū),抽取少量波段,運算速度較快。本研究應(yīng)用高光譜成像技術(shù),研究了無損檢測肉眼看不到的蘋果機械損傷的可能性,并用主成分分析、波段比運算、監(jiān)督分類的支持向量機三種方法對高光譜圖像進行分析研究,確定了合適的檢測方法。
1 降維算法
1.1 主成分分析法
1.1.1 主成分分析的原理。主成分分析法是利用降維(線性變換)的思想,把多種指標化簡為少數(shù)的幾個綜合指標(主成分),化簡后的前幾個主成分就能反映原始數(shù)據(jù)的絕大部分信息,而且所含信息之間沒有重復(fù)。這種方法將復(fù)雜因素歸結(jié)為少數(shù)幾個主成分,使問題得以簡化,且數(shù)據(jù)信息更加科學(xué)有效[3]。主成分分析的特點是利用線性擬合的思路把分布在多個維度的高維數(shù)據(jù)投射到幾個軸上。如果每個樣本只有兩個數(shù)據(jù)變量,這種擬合就是:
[a1x1+a2x2=PC] (1)
其中,[x1]和[x2]分別是樣本的兩個變量,而[a1]和[a2]則被稱為載荷,計算出的[PC]值就被稱為主成分。
實際上,當一個樣本只有兩個變量時,主成分分析本質(zhì)上就是一個線性回歸。式(1)本質(zhì)上就是一條直線。主成分坐標旋轉(zhuǎn)圖[3]見圖1。
如果一個樣本有m個變量,那主成分就變?yōu)椋?/p>
[a1x1+a2x2+…+amxm=PC1] (2)
其中,[PC1]稱為第一主成分,而且還可以獲得一系列與這個[PC]直線正交的其他直線,如:
[b1x1+b2x2+…+bmxm=PC2] (3)
[PC2]被稱為第二主成分,以此類推。若令[A=a1,a2,…,am],[X=x1,x2,…,xm],則
[ATX=PC] (4)
此時,向量[A]稱為主成分的載荷(Loading),計算出的主成分的值[PC]稱為得分(Score)。
1.1.2 主成分分析處理高光譜數(shù)據(jù)的計算步驟。設(shè)高光譜數(shù)據(jù)含有[P]個波段,每幅圖像包含[K=M×N]個像素,其中[M]表示行數(shù),[N]表示列數(shù),用矩陣[X=x1,x2,…,xp]表示高光譜圖像數(shù)據(jù),其中[xi](1≤i≤p)為各波段圖像,為[K×1]維的列向量,則X為[K×P]維矩陣[4],主成分分析的計算步驟具體如下。
①對原始數(shù)據(jù)分波段進行標準化處理,標準化后得到矩陣Y,Y矩陣為:
[yij=xij-xjVarxji=1,2,…,K,j=1,2,…,P] (5)
其中,[xj]和[Varxj]分別為:
[xj=1Kk=1Kxij] (6)
[Varxi=1K-1i=1Kxij-xj2j=1,2,…,K] (7)
②得到相關(guān)系數(shù)矩陣R,并計算 的特征值和特征向量。經(jīng)標準化處理后的數(shù)據(jù)構(gòu)成相關(guān)系數(shù)矩陣R(P×P方陣):
[rij=1K-1t=1Kyityjti=1,2,3,…,P,j=1,2,3,…,P] (8)
相關(guān)系數(shù)矩陣R對應(yīng)的特征值[λ1≥λ2≥…≥λP]和特征向量[ai=ai1,ai2,ai3,…,aik],其中[i=1,2,3,…,P]。
③以AT對原圖像進行計算,得到主成分PC,計算公式見式(4)。
④給出一個數(shù)值T(如0.85),根據(jù)公式(7)計算出累計貢獻[Tm≥T]的主成分個數(shù)m。
[Tm=i=1mλii=1Pλi] (9)
⑤當前,m個主成分大于等于[T]時,選取前m個主成分,代替原來的高光譜圖像X。
1.2 波段比算法
1.2.1 波段比算法原理。波段比算法又稱為比值增強(Ratio Enhancement),是計算同一幅圖像不同波段間相應(yīng)像元的像元值之比的圖像增強方法。波段比就是用一個波段除以另一個波段生成一幅能提供相對波段強度的圖像。比值函數(shù)的數(shù)學(xué)表達式如式(10)所示[5]:
[BVi,j,r=BVi,j,m/BVi,j,n] (10)
式(10)中,[BVi,j,m]和[BVi,j,n]分別是第m和n波段相同位置像素[i,j]的亮度值。[BVi,j,r]是該位置下像素[i,j]的m和n波段的比率值。分母[BVi,j,n]若為0,輸出比值[BVi,j,r]將賦值為0。使用歸一化函數(shù)進行進一步處理,如式(11)所示[5]:
[BVi,j,o= 0 BVi,j,r=0IntBVi,j,r×127+1 BVi,j,r∈1255,1IntBVi,j,r2+128 BVi,j,r∈1,255] (11)
式(5)中,[BVi,j,o]表示像素[i,j]的輸出亮度值,[Int]表示取整運算。
1.2.2 特征波長選取。由于高光譜圖像數(shù)據(jù)量非常大,相鄰波段之間相關(guān)性很強,因此特征波段的選擇非常關(guān)鍵。波段之間的相關(guān)性越小,波段比值圖像的信息量就越大,所以必須尋找相關(guān)性較小的特征波長。Sheffield指數(shù)(Sheffield Index,SI)[6-8]可以很好地用來確定和評價最佳波段,如式(12)所示:
[SI=Covp×p] (12)
其中,p為所選擇的波段數(shù)目,當選擇p>2時,根據(jù)[SI]確定的波段數(shù)也大于2,仍需確定相關(guān)性最小的兩個波段,因此只需考慮P=2的情況。分別計算各種波段組合的[SI]值,[SI]值越大,相關(guān)性越小。對[SI]值進行排序,就可以選到特征波長[6]。
1.3 監(jiān)督分類的支持向量機
1.3.1 支持向量機方法原理。支持向量機(Support Vector Machine,SVM)是Corinna Cortes和Vapnik等于1995年首先提出的,其在解決小樣本、非線性及高維模式識別中表現(xiàn)出特有的優(yōu)勢,并能推廣應(yīng)用到函數(shù)擬合等機器學(xué)習問題中[9]。在機器學(xué)習中,支持向量機是與相關(guān)學(xué)習算法有關(guān)的監(jiān)督學(xué)習模型,可以分析數(shù)據(jù)、識別模式以及用于分類和回歸分析。
SVM的關(guān)鍵在于核函數(shù)。低維空間向量集很難劃分,解決的方法是將其映射到高維空間。但是,帶來的問題是計算變得更復(fù)雜。解決這個問題的方法是引入核函數(shù)。只要選用適當?shù)暮撕瘮?shù),就可以得到高維空間分類函數(shù)。在支持向量機理論中,采用不同的核函數(shù)將產(chǎn)生不同的支持向量機算法。常見的核函數(shù)有以下四種[10]。
①線性核函數(shù)(Linear Kernel)。計算公式為:
[kx,y=xTy+c] (13)
②多項式核函數(shù)(Polynomial Kernel)。計算公式為:
[kx,y=acTy+cd] (14)
③徑向基函數(shù)(Radial Basis Function)。計算公式為:
[kx,y=exp-γx-y2] (15)
④二層神經(jīng)網(wǎng)絡(luò)核函數(shù)(Sigmoid Kernel)。計算公式為:
[kx,y=tanhaxT+c] (16)
本研究采用多項式核函數(shù)和徑向基函數(shù)。
2 實驗及數(shù)據(jù)處理
2.1 實驗材料
市場購買不同品種的蘋果15個,目視檢測均完好無損。將蘋果置于室溫下1d后開始實驗。將蘋果在高1m左右摔落于硬質(zhì)地板,表面肉眼觀察不到損傷。摔后損傷區(qū)手感稍微發(fā)軟。
2.2 圖像采集
圖像采集采用北京卓立漢光儀器有限公司的Gaia Sorter高光譜分選儀,獲得一個包含圖像信息和光譜信息的三維數(shù)據(jù)立方體。在采集高光譜圖像之前,需要對系統(tǒng)各參數(shù)進行調(diào)整、設(shè)置,以保證采集到清晰的圖像。CCD曝光時間設(shè)置為15ms,掃描寬度設(shè)為150mm,輸送速度設(shè)為0.6cm/s。為校正CCD暗電流等對圖像的影響,對圖像進行黑白校準處理。設(shè)W為掃描白板采集到的全白的圖像,B為蓋上鏡頭采集到的全黑圖像,I是原始的高光譜圖像,R是黑白校準后的高光譜圖像。采用高光譜系統(tǒng)配套的SPECview軟件進行處理。光譜黑白校正的計算公式為[6-12]:
[R=I-BW-B] (17)
2.3 數(shù)據(jù)分析
2.3.1 主成分分析方法。主成分分析法處理高光譜圖像就是為了把實驗樣品中包含的海量信息用少數(shù)幾個變量來表示,對高光譜圖像信息進行降維。采用ENVI5.0軟件選取760~1 000nm波長進行主成分分析,取前6個主成分。各主成分經(jīng)ENVI5.0軟件處理后的圖像如圖2所示。
從圖2可以清楚地看到,第1至第3主成分圖像,完全觀察不到損傷的痕跡,第4至第6主成分圖像,可以觀察到損傷部分,以第5主成分圖像顯示損傷效果比較好,圖像最清晰。
2.3.2 波段比算法。波段比運算就是用兩個波段相除生成新的相對波段強度圖像的過程。其可以降低蘋果表面不平整帶來光線反射不均勻的影響,還可以增強波段之間的波譜差異,提供一些單波段無法得到的信息。從幾組正常和摔傷的蘋果中各選3組光譜數(shù)據(jù),正常完好的蘋果某一部位的光譜反射曲線如圖3所示,同一部位損傷后的光譜反射圖像如圖4所示。
對比圖3和圖4可得出,損傷部分和正常部分的光譜反射在紅外部分差別明顯。正常蘋果的在紅外部分反射率斜率較大;兩個損傷部分的光譜反射在560nm附近有個峰值,與正常部分相近波段的光譜反射率有明顯區(qū)別。損傷部分在紅外區(qū)反射率起伏不大,較正常部分變化平緩??傊?,蘋果正常部分的光譜反射率與摔傷部分的光譜反射率存在明顯差異,為通過特征波段進行分類識別提供了可能性。
通過對比兩個光譜反射率,應(yīng)用波段比率法原理,對SI值進行排序。損傷區(qū)在近紅外波段選取801nm和1 000nm做波段比運算,處理后的圖像如圖5(c)所示。
圖5(a)是損傷水果在555nm附近的灰度圖像,圖5(b)損傷水果在700nm附近的灰度圖像,圖5(c)是經(jīng)過波段比法處理過的圖像。圖5(a)和圖5(b)比較亮的部分是鏡面反射,看不到損傷。根據(jù)人眼感知機理,人眼對555nm波長最敏感,但在圖5(a)中卻看不到損傷情況;蘋果顏色多為紅色或黃色,但在圖5(b)700nm附近也察覺不到損傷;圖5(c)為經(jīng)過波段比法處理過的圖像,清楚地顯示出了中間近似圓形的損傷區(qū),周圍為完好區(qū)域。通過圖5綜合分析,波段比運算能在近紅外波段快速準確檢測出蘋果原始圖像不易顯示的機械損傷。
2.3.3 監(jiān)督分類的支持向量機法。支持向量機方法是采用ENVI5.0軟件,在損傷區(qū)與完好區(qū)選取感興趣區(qū),采用多項式核函數(shù)和徑向基函數(shù),分別進行數(shù)據(jù)處理。因為肉眼看不到損傷,盡管損傷區(qū)在560nm有個峰值,不選為特征波段。從圖4與圖5可知,在近紅外區(qū),正常蘋果與損傷區(qū)的光譜反射率差別較大,所以在近紅外區(qū)選取760、761、810、811、860、861、910、911、960nm和961nm作為特征波段。利用這些波段對圖像進行處理,圖5(a)的蘋果處理后的圖像如圖6所示。圖6(a)是多項式核函數(shù)的圖像處理結(jié)果,圖6(b)是徑向基函數(shù)的圖像處理結(jié)果。圖6(a)分類效果較主成分分析和波段比算法差,圖像不規(guī)則,因為蘋果是摔在硬的地板磚上的,損傷區(qū)應(yīng)該是接近圓形的規(guī)則圖像。圖6(b)沒有準確反映出損傷部位,反映的只是光照較強的部分。
3 數(shù)據(jù)分析結(jié)果及對比評價
對15個樣本數(shù)據(jù)分別采用以上三種算法進行分析,得出的分類、篩選結(jié)果如表1所示。
主成分分析和波段比運算有14個樣本能很好地顯示出損傷區(qū),正確率為93.3%。對于同樣一組高光譜數(shù)據(jù),監(jiān)督分類的支持向量機(多項式核函數(shù))方法只有11個在摔傷區(qū)有不規(guī)則投影,圖像質(zhì)量很差。
主成分分析選用的是波長760nm到1 000nm進行主成分分析,數(shù)據(jù)量大,檢測速度較慢。波段比算法選取801nm和1 000nm做波段比運算,數(shù)據(jù)量小,計算速度快,損傷區(qū)檢測也比較準確。監(jiān)督分類的支持向量機效果較差。綜合比較,波段比運算是最有前途的檢測水果機械損傷的無損檢測方法。
4 結(jié)論
①本研究采用主成分分析法、波段比算法和監(jiān)督分類支持向量機三種方法分析高光譜圖像,對肉眼看不到的蘋果機械損傷進行識別,前兩種方法檢測正確率達到93.3%,支持向量機效果較差。
②主成分分析法與選取的波段、選用協(xié)方差矩陣或相關(guān)系數(shù)矩陣均有關(guān)。選用不同的波段及不同的矩陣,最后采用的主成分不一樣。
③實驗結(jié)果表明,克服相鄰波段之間的相關(guān)性強的方法是SI。SI可以快速確定出特征波長,從而快速實現(xiàn)高光譜數(shù)據(jù)降維。
④波段比算法可以有效克服光照不均勻?qū)悠樊a(chǎn)生的影響,提取光譜間的差異,迅速從高光譜數(shù)據(jù)中找出準確信息,準確地確定肉眼看不見的損傷區(qū)域的輪廓。通過選取合適的特征波段,就可以達到快速檢測出水果機械損傷的目的。
參考文獻:
[1]趙娟,彭彥坤,趙松瑋,等.基于高光譜技術(shù)檢測蘋果外觀缺陷[J].食品安全質(zhì)量檢測學(xué)報,2012(6):681-684.
[2]索少增,劉翠玲,吳靜珠,等.高光譜圖像技術(shù)檢測梨表面農(nóng)藥殘留試驗研究[J].北京工商大學(xué)學(xué)報(自然科學(xué)版),2011(6):73-77.
[3]彭謹.主成分分析入門[EB/OL].(2016-10-16)[2018-03-01].https://www.cnblogs.com/SCUJIN/p/5965946.html.
[4]張明月,賀金蘭,田尉霞.主成分分析在高光譜圖像降維中的應(yīng)用[J].內(nèi)蒙古科技與經(jīng)濟,2017(15):88-90.
[5]蔡健榮,王建黑,陳全勝,等.波段比算法結(jié)合高光譜圖像技術(shù)檢測柑橘果銹[J].農(nóng)業(yè)工程學(xué)報,2009(1):127-131.
[6]Inoue Y, Pe?uelas J, Miyata A, et al. Normalized difference spectral indices for estimating photosynthetic efficiency and capacity at a canopy scale derived from hyperspectral and CO2 flux measurements in rice[J]. Remote Sensing of Environment, 2008(1):156-172.
[7] Steve De Backer, Aleksandra Pi?urica, Bruno Huysmans, et al. Denoising of multicomponent images using wavelet least-squares estimators[J]. Image and Vision Computing, 2008(7):1038-1051.
[8] Thomas Koenig,Lester Melie-Garcia, Maria Stein, et al. Establishing correlations of scalp field maps with other experimental variables using covariance analysis and resampling methods[J]. Clinical Neurophysiology, 2008(6):1262-1270.
[9]百度百科.支持向量機[EB/OL].(2015-01-13)[2018-03-01].https://baike.baidu.com/item/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA/9683835.
[10]常用的核函數(shù)[EB/OL].(2016-07-03)[2018-03-01].https://blog.csdn.net/qq_27231343/article/details/51817866.
[11]趙杰文,劉劍華,陳全勝,等.利用高光譜圖像技術(shù)檢測水果輕微損傷[J].農(nóng)業(yè)機械學(xué)報,2008(1):106-109.
[12]陳全勝,趙杰文,蔡健榮,等.利用高光譜圖像技術(shù)評判茶葉的質(zhì)量等級[J].光學(xué)學(xué)報,2008(4):669-674.