孫晶京 ，楊武德 ，馮美臣 ，肖璐潔

（1.山西農(nóng)業(yè)大學(xué)農(nóng)學(xué)院，山西 太谷 030801；2.山西農(nóng)業(yè)大學(xué)文理學(xué)院，山西 太谷 030801）

在對樣品進行光譜測量時，由于儀器、樣品本身和測量環(huán)境條件的影響，往往不能獲取樣品理想的光譜信息。另外，采集的近紅外光譜不僅包含了樣品待分析化學(xué)成分濃度的信息，也含有與待分析成分無關(guān)的其他一些物理化學(xué)信息。這些信息的存在使得光譜的吸光度與待分析成分濃度之間呈現(xiàn)了復(fù)雜的非線性關(guān)系，不符合Lambert-Beer定律[1]，后續(xù)數(shù)據(jù)的分析帶來很大的影響。因此通常需要對光譜數(shù)據(jù)進行預(yù)處理，以減少噪聲或背景信息來增加化學(xué)信息的信號，確保光譜的高信噪比，進一步改善光譜信號和分析濃度之間的線性關(guān)系。

大量研究文獻[2-6]表明光譜建模之前對光譜進行預(yù)處理可以提高模型的預(yù)測精度，但在如何選擇光譜預(yù)處理技術(shù)方面仍存在一些問題。對光譜預(yù)處理方法的選擇完全由個人主觀喜好來決定，而不是基于大多數(shù)預(yù)處理方法的比較或者嚴格的光譜觀察分析。另外關(guān)于預(yù)處理方法對數(shù)據(jù)集劃分的影響也沒有系統(tǒng)的研究報道。

因此，本文以玉米籽粒光譜數(shù)據(jù)為例，系統(tǒng)地探討S-G平滑、S-G一階和二階導(dǎo)數(shù)、多元散射校正（MSC）、標準正態(tài)變換（SNV）和去趨勢等不同預(yù)處理技術(shù)對數(shù)據(jù)集劃分的影響，以期為光譜的預(yù)處理方法的選擇提供依據(jù)。

1 數(shù)據(jù)獲取

本文采用的數(shù)據(jù)集是玉米的一個標準近紅外光譜數(shù)據(jù)集，由80個玉米樣品組成，每個樣品在三種不同的近紅外光譜儀上進行了測量。每條光譜的光譜范圍是1 100～2 498 nm，光譜間隔為2 nm。本文使用的是在m5光譜儀上測得的光譜數(shù)據(jù)，該玉米的蛋白含量作為光譜響應(yīng)值。

2 預(yù)處理方法的評價

用預(yù)處理后的光譜進行PLS建模，通過RMSEP和RMSEC對預(yù)處理方法進行綜合評價。

3 結(jié)果與分析

本研究采用Kennard Stone（K-S）采樣方法[7]對數(shù)據(jù)集進行劃分。將數(shù)據(jù)集劃分成11種比例（即校正集樣本數(shù)占全部樣本數(shù)的百分比），分別為 40%、45%、50%、55%、60%、65%、70%、75%、80%、85%、90%。

3.1 S-G平滑及其導(dǎo)數(shù)對數(shù)據(jù)集劃分的影響

傳統(tǒng)的有限差分導(dǎo)數(shù)對噪聲非常敏感，一般通過S-G系數(shù)和窗口內(nèi)點值的點積來計算導(dǎo)數(shù)，為此將導(dǎo)數(shù)和平滑一起進行討論。

窗口大小和擬合多項式次數(shù)的選擇會影響S-G平滑的效果，通過嘗試兩者的多種不同組合，得出擬合多項式的次數(shù)對模型的結(jié)果影響不大，所以將擬合多項式次數(shù)都設(shè)置為2。而對于窗口大小，當窗口大小為13時，S-G平滑和S-G一階導(dǎo)數(shù)的結(jié)果比較好，當窗口大小為5時，S-G二階導(dǎo)數(shù)的模型性能較好，但其光譜曲線出現(xiàn)嚴重的噪聲。圖1為采用S-G平滑及一階、二階導(dǎo)數(shù)處理后的光譜曲線圖。從圖上可以看出，經(jīng)過S-G平滑后，光譜曲線的形狀幾乎沒有發(fā)生變化，而經(jīng)過光譜一階、二階導(dǎo)數(shù)處理后，光譜形狀跟原始光譜完全不同。一階導(dǎo)數(shù)將原始光譜中的重疊峰突顯了出來，而且相比原始光譜，基線偏移得到了很好地改善。二階導(dǎo)數(shù)消除了光譜的基線漂移，但由于窗口大小選擇太小，出現(xiàn)了嚴重的噪聲。通過綜合比較，設(shè)定S-G平滑和一階導(dǎo)窗口大小為13，S-G二階導(dǎo)窗口大小為11。

將不做任何預(yù)處理的情況作為對照，比較三種預(yù)處理方法對數(shù)據(jù)集劃分的影響。得出在同一劃分比例下，三種不同預(yù)處理方法對數(shù)據(jù)集劃分的情況完全不同。其中S-G一階導(dǎo)和二階導(dǎo)與原始光譜劃分的結(jié)果差異比較大，尤其是在劃分比例較小的時候。這是因為對原始數(shù)據(jù)進行預(yù)處理后，各原始樣本點之間的距離已經(jīng)發(fā)生變化，這就表明在建模之前對數(shù)據(jù)集的劃分要在預(yù)處理之后，否則由于模型訓(xùn)練時樣本的代表性不顯著，容易導(dǎo)致模型出現(xiàn)過擬合或欠擬合的現(xiàn)象。

三種不同預(yù)處理方法在不同的校正集和驗證集劃分比例下，模型性能不同。經(jīng)過三種預(yù)處理方法，模型性能都有所改善，其中S-G一階導(dǎo)預(yù)測性能最好。對于S-G平滑來說，當校正集的比例較小時，模型預(yù)測性能較差。當校正集比例達到60%時，模型校正集和驗證集誤差都開始下降，但是超過80%時，模型預(yù)測性能又開始下降。與無預(yù)處理光譜相比，S-G一階導(dǎo)，模型校正集和驗證集誤差都明顯降低，而且模型預(yù)測性能隨校正集比例的增加不斷改善，在校正集比例為90%時，模型性能最優(yōu)，表明通過對光譜進行S-G一階導(dǎo)數(shù)預(yù)處理能較好地刻畫出光譜的特征信息，校正集樣本數(shù)的增加有助于模型的建立。S-G二階導(dǎo)，除了在校正集比例超過90%時，模型性能得到改善外，其他情況模型性能較差，存在模型過擬合的現(xiàn)象。相比S-G一階導(dǎo)，S-G二階導(dǎo)需要較多的訓(xùn)練樣本得到較優(yōu)的模型。正如前面所述，經(jīng)過預(yù)處理后，有可能會改變原始光譜數(shù)據(jù)點之間的相對距離，對于S-G平滑處理，如果先劃分后處理，模型預(yù)測性能跟原始光譜結(jié)果非常相似，沒有得到改善；如果先處理后劃分，在校正集比例超過60%時，模型性能有所改善。對于S-G一、二階導(dǎo)，先劃分后預(yù)處理，導(dǎo)致模型預(yù)測性能隨校正集比例的增加忽高忽低，尤其在校正集比例較小時更明顯。

3.2 散射校正法對數(shù)據(jù)集劃分的影響

圖2是MSC、SNV、去趨勢和SNV+去趨勢法預(yù)處理后的光譜曲線，從圖上可以看出，原始光譜經(jīng)過MSC和SNV處理后，光譜吸光度值的范圍發(fā)生了變化，但處理后的光譜曲線形狀極其相似。跟原始光譜相似，兩者都能很好地辨別出原始光譜吸收峰。而經(jīng)過去趨勢處理或SNV+去趨勢處理后，光譜吸光度值在0點上下浮動，原始光譜的吸收峰特征變得不明顯。另外，MSC、SNV、去趨勢在同一校正集和驗證集劃分比例下，選擇樣本點的情況與原始光譜也有較大差異。其中MSC和SNV不管在哪一種劃分比例下，都選擇了相同的校正集和驗證集，這表明經(jīng)過MSC和SNV處理后的樣本點在空間位置上極其相似，兩者表現(xiàn)出相似的數(shù)據(jù)處理功能。不同數(shù)據(jù)集劃分比例對模型性能的影響也不相同。MSC和SNV在模型預(yù)測方面表現(xiàn)出相似的結(jié)果，當校正集比例低于60%時，模型出現(xiàn)嚴重的過擬合；當校正集比例在70%～80%時，模型性能相對較好，優(yōu)于無預(yù)處理的模型性能，超過85%模型性能開始有所下降。這表明MSC和SNV對校正集樣本數(shù)不能太少也不宜太多。去趨勢法和結(jié)合SNV的去趨勢法表現(xiàn)較差，在大多數(shù)情況下，模型性能都不如無處理操作下的模型性能，這個從其處理后的光譜可以看到，光譜的特征細節(jié)都被不同程度地弱化，導(dǎo)致模型性能下降。但其模型性能受校正集樣本數(shù)的影響較小，隨校正集樣本數(shù)的增加略有改善。為此預(yù)處理操作之后，再對數(shù)據(jù)集劃分更有利于模型的建立。模型性能不再像先數(shù)據(jù)集劃分后預(yù)處理忽高忽低變化，而是隨校正集樣本的變化比較穩(wěn)定有規(guī)律地變化。

4 結(jié)論

通過以上對不同預(yù)處理方法的對比分析，發(fā)現(xiàn)預(yù)處理方法對數(shù)據(jù)集劃分有著非常重要的影響。為了增強模型的泛化能力，提高預(yù)測精度，對校正集和驗證集的劃分應(yīng)該放到數(shù)據(jù)預(yù)處理之后，這主要是因為預(yù)處理后原始光譜樣本點之間的距離發(fā)生了變化，從而使得提前劃分好的校正集樣本可能不具有代表性，這種情況尤其在校正樣本數(shù)量較少時容易發(fā)生。另外，模型性能也受校正集和驗證集劃分比例大小的影響，而劃分比例大小的設(shè)置受不同的預(yù)處理方法的影響，S-G平滑、MSC、SNV在校正集劃分比例超過60%時，模型的性能相對比較穩(wěn)定；SNV和去趨勢結(jié)合的方法隨校正集劃分比例影響相對較大，其模型預(yù)測誤差隨校正集劃分比例的增大而減小。S-G一階導(dǎo)和S-G二階導(dǎo)隨校正集劃分比例影響相對較小，其中S-G一階導(dǎo)在90%時達到最低預(yù)測誤差。