馮 迪, 紀建偉, 張 莉, 劉思伽, 田有文*

(1. 沈陽農業(yè)大學 信息與電氣工程學院， 遼寧 沈陽 110866；2. 遼寧廣播電視臺， 遼寧 沈陽 110004； 3. 遼寧廣播電視傳輸發(fā)射中心， 遼寧 沈陽 110004)

基于高光譜成像提取蘋果糖度與硬度最佳波長

馮 迪1,2, 紀建偉1, 張 莉3, 劉思伽1, 田有文1*

(1. 沈陽農業(yè)大學 信息與電氣工程學院， 遼寧 沈陽 110866；2. 遼寧廣播電視臺， 遼寧 沈陽 110004； 3. 遼寧廣播電視傳輸發(fā)射中心， 遼寧 沈陽 110004)

利用高光譜成像技術提取可同時檢測蘋果糖度與硬度的最佳波長。首先雙面采集蘋果的高光譜圖像，獲取亮度相近感興趣區(qū)域(ROIs)的反射波形，采用二階導數結合標準正態(tài)變量(SD+SNV)的方法平滑波形，測試ROIs的糖度與硬度；之后采用連續(xù)投影算法(SPA)提取兩項指標的特征波長，根據特征波長的分布提出二次連續(xù)投影算法，結合波形集特征與兩次投影結果確定不同取樣面的最佳波長；最后采用遺傳算法開發(fā)神經網絡(GA-BP)建立預測模型，雙面取樣波長(543 nm和674 nm)效果最優(yōu)，糖度相關系數(R)為0.847 6，均方誤差(MSE)為3.32；硬度R為0.793 8，MSE為9.6。結果表明，相同波長信息可以檢測蘋果糖度與硬度。

高光譜成像； 蘋果； 最佳波長； 二次連續(xù)投影算法； 遺傳算法開發(fā)神經網絡

1 引 言

作為衡量內部品質的兩項重要指標，蘋果的糖度與硬度的檢測近些年被廣泛研究。高光譜成像是近些年應用于蘋果無損檢測與分級的主要技術。其中圖像技術能反映外在特征，光譜技術能檢測物理結構和化學成分。關于蘋果內部成分檢測，以往主要集中在波形預處理、數據降維、RIOs、預測模型開發(fā)環(huán)節(jié)[1-5]，在單項指標檢測上已經可以獲得較高的準確率。在糖度方面，郭志明通過選擇RIOs范圍、S-G一階微分法做光譜預處理，使預測相關系數(R)達到0.923 2[6]；郭俊先等通過一階微分光譜預處理，10個波長的光譜合并，多元線性回歸(MLR)法建立蘋果糖度的預測模型，預測相關系數為0.911，均方根誤差(RMSE)為0.76%[7]。在硬度方面，趙杰文等采用支持向量回歸法(SVR)和偏最小二乘法(PLS)校正硬度模型，預測相關系數達到0.680 8[8]；王爽等通過非變量消除法(UVE)和近鄰算法(SAP)選擇高光譜散射圖像的特征波長，采用PLS法和BP神經網絡建立硬度預測模型，預測相關系數分別為0.814和0.828[9]。在兩項指標檢測的英文文獻中，Mendoza 等通過平均反射率、離散連續(xù)小波變換法分析散射光譜，使用一階統(tǒng)計、傅里葉變換、共生矩陣和方差分析法做圖像分析，基于PLS對3種蘋果的兩項指標建立預測模型，使不同種類蘋果的兩項指標的預測標準誤差(SEP)有了不同程度的降低，糖度與硬度最大降幅為13.7%和11.2%[10]；Peng等采用10次修改后的洛倫茲分布函數預測硬度，MLR和交叉驗證法預測糖度，分別獲得了0.894和0.883的預測系數[11]。在中文文獻中，單佳佳等利用高光譜空間散射曲線的洛倫茲擬合參數檢測兩項指標，采用PLS、MLR、BP神經網絡建立預測模型，其中PLS的建模效果最好，糖度與硬度的預測相關系數分別達到0.93和0.95[12]；萬相梅采用偏最小二乘支持向量機法(LS_SVM)檢測蘋果的硬度和液汁含量，糖度與硬度的預測相關系數為0.744和0.539[13]。

從上述文獻可知，研究人員對蘋果糖度與硬度檢測的各個環(huán)節(jié)進行了多種數學方法的嘗試與開發(fā)，建立的模型擁有較高的預測相關系數和較低的均方誤差。然而檢測過程卻存在指標的針對性，不能通過相同的數據與方法檢測兩項或更多指標；另外，理想的預測結果在建模過程中需要較多的波段信息，大量的數據計算影響檢測效率，不利于快速的在線檢測。對此，本文提出一種雙項指標檢測的新方法，在雙面多點取樣的前提下，通過平滑波形數據與兩次SPA運算，提取糖度與硬度共同的特征波長從而確定最佳波長，利用少量的波長信息實現蘋果雙指標的高效檢測。

2 實 驗

2.1 蘋果指標測試相關材料

實驗樣本為沈陽農業(yè)大學實驗果園的寒富蘋果240個，果徑范圍為65～90 mm，少量外形不均勻，但表面無大面積缺陷、黑斑，外表做清潔處理。樣本采摘后儲藏于4 ℃風冷冰柜中，實驗前2 h拿出。糖度測試選用深圳佛蘭德電子有限公司的DBR45型數字折光儀，測量指標范圍為0～45%，測量精度為0.1。硬度測試選用北京金科利達電子有限公司GY-4型數顯果實硬度計,測量時選用二號探針，直徑為8 mm，計量單位為牛頓(N)。

2.2 高光譜成像系統(tǒng)

蘋果樣本圖像使用高光譜成像系統(tǒng)獲得。該系統(tǒng)主要部件包括高光譜相機(內含CCD和成像光譜儀)、鹵素燈、位移控制平臺、數據處理機和專用高光譜圖像采集軟件。整個系統(tǒng)置于黑箱內，系統(tǒng)結構與主要元件參數見圖1與表1。

圖1 高光譜成像系統(tǒng)結構示意圖

Fig.1 Schematic representation of the hyperspectral imaging system

2.3 高光譜圖像獲取與校正

蘋果樣本置于移動平臺的水果托架上，在圖像預掃描過程中調整托架位置，設置采集軟件相關參數—相機曝光時間40 ms；平臺移動速度2.1 mm/s；

表1 高光譜成像系統(tǒng)主要元件信息

Tab.1 Information of main components of hyperspectral imaging system

元件品牌型號產地相關信息成像光譜儀S.I.V10E芬蘭波段:400～1100nm位移控制平臺COMIRCP0076-1臺灣范圍:0～600mmCCDIMPERXB1410M美國像素:1392×1040鹵素燈I.T.3900美國150W數據處理機DELL5560D臺灣五鈴光學采集軟件

光源校正系數DN 3 300(未校正前為4 095)；物距(樣本平臺與鏡頭的距離)420 mm；平臺移動范圍160～245 mm。蘋果核平行于平臺移動方向，獲取位置居中、比例協(xié)調、亮度均勻、色彩真實的高光譜圖像。

系統(tǒng)使用前采用標準白板(聚四氟乙烯長方形白板)和關閉鏡頭蓋，分別獲得標定白板反射譜和暗電流反射譜，采用校正方程進行圖像校正。按照公式(1)做黑白校正：

(1)

其中BC為關閉光源得到的高光譜圖像，WC為使用聚四氟乙烯白板得到的全白參考高光譜圖像，IC為蘋果樣本原始高光譜圖像，RC為校正后的高光譜圖像。每個樣本做赤道雙面圖像采集并做好標記。

2.4 RIOs

由于蘋果外形接近球體，光照強度隨不同緯度變化，所以RIOs取4個邊長為50像素點的正方形區(qū)域，分布在果身中心(x=696,y=520)上下左右4個方位，對點中心距離為300像素點。使用ENVI4.7提取RIOs的反射波形，數據保存在EXCEL2007中并計算單面與雙面的平均反射波形。RIOs及對應反射波形見圖2、3。

圖2 一個取樣面的感興趣區(qū)域

圖3 感興趣區(qū)域平均反射波形

2.5 波形校正

波形校正是預處理環(huán)節(jié)的一項重要步驟，用于消除波形中的噪聲，提高高光譜分辨的靈敏度，改善模型預測準確率。參考以往學者對寒富蘋果品質的光譜分析結果[3]，本實驗使用二階導數結合標準正態(tài)變量的方式(SD+SNV)平滑各取樣點的反射波形，建立平滑后的波形集合。

2.6 指標檢測

本實驗將蘋果樣本分為校正集(C)160個，預測集(P)80個。RIOs的波形數據采集后，檢測其包含區(qū)域的平均糖度與點對點硬度。在糖度檢測中，由于蘋果的液汁不易少量獲取，切取4個RIOs中間部位，擠出液汁，用糖度計逐滴檢測，至少獲取3次相近的數值，之后建立A面、B面、雙面的平均集合。

在硬度檢測中，以一側糖度取樣后的切面為支撐面，在另一側將探針按照取樣點次序逐個插入約10 mm，如果因操作失誤(插入過程不連續(xù)、深度過大、過早觸及果核)產生較大的數值差，則在取樣點近處選點重新測試，記錄每個測試點的數值并建立各取樣面的平均集合。樣本糖度與硬度的統(tǒng)計結果見表2。

表2 蘋果樣本糖度與硬度統(tǒng)計

注：C代表校正集，P代表預測集；平均值指在某測試面指標的平均結果，最大值或最小值是測試點出現的極值。

2.7 實驗相關理論

2.7.1 SPA

SPA(連續(xù)投影算法)用于提取蘋果的糖度與硬度的特征波長。SPA不僅能夠消除波長變量間的共線性影響,而且可以提取具有最小共線性和最低冗余度的特征波長,以較小的信息量表示大多數樣品的光譜信息。該方法在初始狀態(tài)時選擇一個波長,然后采用循環(huán)選擇的方式向前進行,通過計算在未選入的波長上的投影來選取投影向量的最大波長,再將該向量引入波長組合,直至循環(huán)截止[14]。

2.7.2 GA-BP

GA-BP(遺傳算法開發(fā)神經網絡)用于檢驗最佳波長建模的預測結果。在傳統(tǒng)BP只有輸入層、隱含層和輸出層的基礎上，采用GA優(yōu)化BP神經網絡的初始權值和閾值，使模型能夠獲得更高的預測相關系數。

2.8 實驗流程

本實驗共采集480幅高光譜圖像，一方面每幅圖像參考光照亮度確定4個RIOs，提取4條整體相近的反射波形，采用SD+SNV法建立不同取樣面的平滑波形集合；另一方面測試樣本糖度與硬度，建立校正集與預測集。之后，以RIOs平滑波形數據為參考向量，以指標集合為輸出向量進行一次SPA運算，提取兩項指標的特征波長。各取樣面的特征波長提取后，尋找兩項指標特征波長間的聯系。如果波長數值相近、數量差異較大，以較多特征波長的數據為參考向量，更改輸出向量(互換指標集合)做二次SPA，提取二次特征波長。結合兩次特征波長、校正波形集及三基色的指示線確定各取樣面的最佳波長。最后，基于GA-BP建立預測模型，檢驗不同取樣面的預測效果，確定雙指標同檢的最佳波長。

圖4 蘋果糖度與硬度最佳波長獲取流程

3 結果與討論

3.1 最佳波長選擇

各取樣面的最佳波長建立在兩次SPA提取特征波長的基礎上，在雙面取樣的糖度一次SPA運算中，指標集合Yb與波形矩陣建立如下關系：

(2)

其中M為樣本數、K為計算中所帶入的波長個數。在全波段范圍內(400～1 000 nm)，經過ENVI4.7獲得蘋果472個波長的反射率，形成240×472的吸收矩陣。將初始的迭代向量記做{XK(0)}，將提取的變量數記做N(N

(3)

剩余列向量集合中的投影向量：

(4)

獲取{XK(0)=0,…，N-1}的變量。按此方式提取各取樣面糖度與硬度的一次特征波長，變量N(特征波長上限)設置為30，共獲得6組結果(見表3)，圖5為雙面取樣硬度的特征波長。

表3 蘋果糖度與硬度一次SPA特征波長序號

圖5 雙面硬度一次SPA特征波長分布

Fig.5 Characteristic wavelengths distribution of double-sided firmness by once SPA

從表3的結果可知，經過一次SPA運算后的同一指標在不同取樣面的特征波數量基本接近，硬度特征波數量多于糖度，兩項指標的特征波長存在重復和臨近關系。為確定兩項指標特征波長的聯系，做以硬度特征波長F的數據信息為投影向量和以糖度指標集合為輸出向量的二次SPA，可建立如下關系：

(5)

二次SPA特征波上限N′<(F-1)最大輸出值設置為8，運行結果見圖6。

圖6 雙面二次SPA特征波長分布

Fig.6 Characteristic wavelengths distribution of double-sided facets by two times SPA

雙面二次SPA提取4個特征波長，它們對應雙面硬度一次SPA的特征波序號為2，7，117，220，實際波長值為402，408，543，674 nm。從圖7雙面校正集反射波形分布觀察，第2、7特征波長位于波形起始端，受共線性影響大，特征不易被挖掘；與之相反，第117、220特征波長線性區(qū)別明顯，與一次SPA特征波長相近，還接近三基色中紅綠顏色的標定線，反映蘋果的主色調及顏色變化。全波段范圍內確定543 nm和674 nm為雙面取樣雙指標檢測的最佳波長(在圖5中已做紅綠標定)，采用該兩波長的數據建立預測模型。

參考以上過程提取兩個單面取樣的最佳波長，A面為544 nm和674 nm，B面為547 nm和676 nm。由于各取樣面的最佳波長值相近，反射數據成為影響預測模型的關鍵因素。

圖7 校正集的雙面平均波形分布及三基色的特征線

Fig.7 Distribution of double-sided average waveforms of calibration set and the characteristic lines of three primary colors

3.2 模型檢驗

本實驗基于遺傳算法開發(fā)神經網絡(GA-BP)檢驗各取樣面最佳波長下雙指標的預測效果。模型中的學習訓練速度與訓練次數是影響模型預測的兩個重要權值，經過數次修改，發(fā)現在學習訓練速度為0.05、訓練次數為800的環(huán)境下可獲取相對較高的預測系數(R)和較低均方誤差(MSE)，圖8與圖9描述兩項指標的回歸分布。

圖8 雙面糖度的GA-BP預測圖

圖9 雙面硬度的GA-BP預測圖

3.3 討論

本實驗基于高光譜成像技術提取蘋果不同取樣面的反射波形，在SD+SNV平滑后建立波形集合，采用一次和二次SPA法提取不同取樣面糖度與硬度的特征波長，參考波形集特征、三基色分布等相關信息確定各取樣面的最佳波長，其中對雙面取樣最佳波長的提取過程進行了詳細描述。為檢驗實驗效果，采用GA-BP法分別參考特征波長與最佳波長數據建立糖度和硬度的預測模型，結果見表4。

實驗結果表明，以最佳波長數據預測糖度的結果與一次特征長相差不大，在數量相等的情況下預測能力稍遜于特征波長；而最佳波長對硬度的預測結果卻明顯優(yōu)于特征波長，具有較高的相關系數與較低的均方誤差。兩項指標相比，糖度預測效果優(yōu)于硬度。這是由于硬度的一次SPA部分特征波長相近、波形曲線密集、包含較多模糊信息，影響了最終模型預測效果。綜合全部結果，雙面預測效果普遍高于單面，全面反映了蘋果顏色的過渡性，確定雙面取樣的最佳波長—543 nm和674 nm為本實驗的最佳波長。

表4 不同條件下糖度與硬度的建模結果

在GA-BP模型中，歸一化和反歸一化處理很好地表達了反射數據和指標值之間復雜的非線性關系，獲得了較好的結果。但模型精度仍有一定提升空間，一方面相關參數精細調試仍可以使相關系數有小幅提升，另一方面建立準確的指標集合同樣可以提高模型精度。在重復實驗過程中，應重視相關設備使用的合理性與清潔度，抓好實驗細節(jié)。

4 結 論

本文采用雙面多點RIOs的平滑取樣、兩次SPA的方式提取了蘋果糖度與硬度的最佳波長，既避免了單一點取樣的局限性，又可獲取同時檢測兩項指標的數據信息，減少了因顏色過渡造成的誤判，保障了雙指標判定的準確率和效率，最終確定雙面取樣的543 nm和674 nm為實驗的最佳波長。在驗證環(huán)節(jié)中，GA-BP建立預測模型獲得了較好的結果，糖度相關系數R為0.847 6，均方誤差MSE為3.32；硬度R為0.793 8，MSE為9.6。雖然與單項指標檢測結果略有差距，但完成了相同信息的雙指標同檢。

二次SPA法是本文的核心環(huán)節(jié)，為雙指標檢測提供了一種理論，為今后農產品開發(fā)提供一種新思路。利用該方法可以更多去除特征波長中的無用信息，也是對一次SPA結果的檢驗。它的局限性在于不同指標的一次特征波長有緊密的聯系，不但個別波長數值相近，而且數量差別要明顯，在滿足條件下方可使用。

[1] 孫梅, 陳興海, 張恒, 等. 高光譜成像技術的蘋果品質無損檢測 [J]. 紅外與激光工程, 2014, 43(4):1272-1277. SUN M, CHEN X H, ZHANG H,etal.. Nondestructive inspect of apple quality with hyperspectral imaging [J].InfraredLaserEng., 2014, 43(4):1272-1277. (in Chinese)

[2] 吳龍國, 何建國, 賀曉光, 等. 高光譜圖像技術在水果無損檢測中的研究進展 [J]. 激光與紅外, 2013, 43(9):990-996. WU L G, HE J G, HE X G,etal.. Research progress of hyperspectral imaging technology in non-destructive detection of fruit [J].LaserInfrared, 2013, 43(9):990-996. (in Chinese)

[3] 宮元娟, 周鐵, 屈亞堃, 等. 寒富蘋果品質無損檢測光譜信息在線分析 [J]. 沈陽農業(yè)大學學報, 2014, 45(6):708-713. GONG Y J, ZHOU T, QU Y K,etal.. Online analysis on Hanfu apple quality spectral information based on NDT [J].J.ShenyangAgric.Univ., 2014, 45(6):708-713. (in Chinese)

[4] 汪泊錦, 黃敏, 朱啟兵, 等. 基于高光譜散射圖像技術的UVE-LLE蘋果粉質化分類 [J]. 光子學報, 2011, 40(8):1132-1136. WANG B J,HUANG M,ZHU Q B,etal.. UVE-LLE classification of apple mealiness based on hyperspectral scattering image [J].ActaPhoton.Sinica, 2011, 40(8):1132-1136. (in Chinese)

[5] 黃鴻, 鄭新磊, 羅甫林. 融合加權均值濾波與流形重構保持嵌入的高光譜影像分類 [J]. 光子學報, 2016, 45(10):1030001. HUANG H, ZHENG X L, LUO F L. Hyperspectral image classification with combination of weighted mean filter and manifold reconstruction preserving embedding [J].ActaPhoton.Sinica, 2016, 45(10):1030001. (in Chinese)

[6] 郭志明, 黃文倩, 彭彥昆, 等. 高光譜圖像感興趣區(qū)域對蘋果糖度模型的影響 [J]. 現代食品科技, 2014, 30(8):59-63. GUO Z M, HUANG W Q, PENG Y K,etal.. Impact of region of interest selection for hyperspectral imaging and modeling of sugar content in apple [J].Mod.FoodSci.Technol., 2014, 30(8):59-63. (in Chinese)

[7] 郭俊先, 饒秀勤, 程國首, 等. 基于高光譜成像技術的新疆冰糖心紅富士蘋果分級和糖度預測研究 [J]. 新疆農業(yè)大學學報, 2012, 35(1):78-86. GUO J X, RAO X Q, CHENG G S,etal.. Prediction of the sugar degree and grading of Xinjiang Fuji apple by hyper-spectral imaging techniques [J].J.Xinjiang.Agric.Univ., 2012, 35(1):78-86. (in Chinese)

[8] ZHAO J W, CHEN Q S, SARITPORN V,etal.. Determination of apple firmness using hyperspectral imaging technique and multivariate calibrations [J].Trans.CSAE, 2009, 25(11):226-231.

[9] WANG S, HUANG M, ZHU Q B. Model fusion for prediction of apple firmness using hyperspectral scattering image [J].Comput.Electron.Agric., 2012, 80:1-7.

[10] MENDOZA F, Lu R F, ARIANA D,etal.. Integrated spectral and image analysis of hyperspectral scattering data for prediction of apple fruit firmness and soluble solids content [J].PostharvestBiol.Technol., 2011, 62(2):149-160.

[11] PENG Y K, LU R F. Analysis of spatially resolved hyperspectral scattering images for assessing apple fruit firmness and soluble solids content [J].PostharvestBiol.Technol., 2008, 48(1):52-62.

[12] 單佳佳, 吳建虎, 陳菁菁, 等. 基于高光譜成像的蘋果多品質參數同時檢測 [J]. 光譜學與光譜分析, 2010, 30(10):2729-2733. SHAN JJ, WU J H, CHEN J J,etal.. Rapid nondestructive detection of apple quality attributes using hyperspectral scattering images [J].Spectrosc.Spect.Anal., 2010, 30(10):2729-2733. (in Chinese)

[13] 萬相梅, 黃敏, 朱啟兵. 基于高光譜散攝圖像的蘋果壓縮硬度和汁液含量無損檢測 [J]. 食品工業(yè)科技, 2012, 33(6):71-74. WAN X M, HUANG M, ZHU Q B. Non-destructive detection for compression hardness and juiciness in apple based on hyperspectral scattering image [J].Sci.Technol.FoodInd., 2012, 33(6):71-74. (in Chinese)

[14] 張巍. 基于高光譜成像技術的藍莓內部品質檢測方法的研究 [D]. 沈陽: 沈陽農業(yè)大學, 2016:21-22. ZHANG W.ResearchonBlueberryInternalQualityDetectionMethodBasedonHyperspectralImagingTechnology[D]. Shenyang: Shenyang Agricultural University, 2016:21-22. (in Chinese)

馮迪(1981-)，男，遼寧沈陽人，博士，2007年于內蒙古農業(yè)大學獲得碩士學位，主要從事智能檢測在農業(yè)中的應用研究。

E-mail： fengdi_007@126.com田有文(1968-)，女，遼寧沈陽人，博士,教授，主要從事智能檢測在農業(yè)中的應用研究。

E-mail： youwen_tian10@163.com

Optimal Wavelengths Extraction of Apple Brix and Firmness Based on Hyperspectral Imaging

FENG Di1,2, JI Jian-wei1, ZHANG Li3, LIU Si-jia1, TIAN You-wen1*

(1.CollegeofInformationandElectricalEngineering,ShenyangAgriculturalUniversity,Shenyang110866,China;2.LiaoningRadioandTelevision,Shenyang110004,China； 3.LiaoningRadioandTelevisionTransmissionCenter,Shenyang110004,China)

Hyperspectral imaging technology was used to extract the optimal wavelength for apple brix and firmness test. Firstly, the hyperspectral images of apples were acquired from double-sided sampling. The reflection waveforms of the regions of interest (RIOs) with similar brightness were acquired and smoothed by the second derivation and standard normal variate (SD+SNV) method. The brix and firmness values of RIOs were also tested. Then, the characteristic wavelengths of two indicators were extracted by using the successive projections agorithm(SPA). According to the distribution of characteristics wavelengths, two times SPA was proposed. Combined the feature of waveforms and the results of two projections, the optimal wavelengths of different sampling facets were determined. Finally, the genetic algorithm for back propagation(GA-BP) was used to build the prediction model. The best results were obtained from the double-sided sampling wavelengths (543 nm and 674 nm). The correlation coefficient of brix (R) is 0.847 6 and the mean square error (MSE) is 3.32, and for the firmness,Ris 0.793 8 and MSE is 9.6. The results show that the brix and firmness can be detected by the same wavelength information.

hyperspectral imaging; apple; optimal wavelength; two times SPA; GA-BP

1000-7032(2017)06-0799-08

2016-12-17；

2017-03-08

遼寧省大型儀器設備共享服務項目(LNDY201501003)；沈陽市大型儀器設備共享服務專項項目(F15-166-4-00)資助 Supported by Liaoning Large Scale Instrument and Equipment Sharing Service Project(LNDY201501003); Shenyang Large Scale Instrument and Equipment Sharing Service Project(F15-166-4-00)

S126; TP391.44

A

10.3788/fgxb20173806.0799

*CorrespondingAuthor,E-mail:youwen_tian10@163.com