解 毅，張永清，荀 蘭，柴旭榮

基于多源遙感數(shù)據(jù)融合和LSTM算法的作物分類研究

解 毅1，張永清1，荀 蘭2，柴旭榮1

（1. 山西師范大學(xué)地理科學(xué)學(xué)院，臨汾 041004； 2. 中國科學(xué)院空天信息研究院，北京 100094）

準(zhǔn)確、及時地獲取農(nóng)作物的空間分布信息，對于指導(dǎo)農(nóng)業(yè)生產(chǎn)、制定農(nóng)業(yè)政策具有重要意義。為了檢驗長短時記憶網(wǎng)絡(luò)（long short-term memory，LSTM）算法在基于時序遙感數(shù)據(jù)進行作物分類中的優(yōu)勢，該文以臨汾盆地為研究區(qū)域，利用Savitzky-Golay濾波對MODIS NDVI進行平滑處理，并采用ESTARFM（enhanced spatial and temporal adaptive reflectance fusion model）算法對濾波后的MODIS NDVI和Landsat NDVI進行融合，生成空間分辨率為30 m、時間分辨率為8天的時序NDVI?；贚andsat NDVI利用LSTM算法進行作物分類，同時，基于融合NDVI分別利用LSTM算法和神經(jīng)網(wǎng)絡(luò)（neural network，NN）算法進行作物分類，并對比3種方法的分類精度。結(jié)果表明，Savitzky-Golay濾波后的時序MODIS NDVI能夠反映不同作物的物候特征；基于融合NDVI的分類精度明顯高于基于Landsat NDVI的分類精度，表明融合后的時序NDVI由于具有更高的時間分辨率，能夠更加突出不同作物的物候特征，顯著提高作物分類精度；基于融合NDVI和LSTM算法的分類精度高于基于融合NDVI和NN算法的分類精度，前者的冬小麥面積估測精度高于后者的估測精度，表明LSTM算法的分類精度高于NN算法。該文可為基于遙感影像進行不同作物種植區(qū)域提取的研究提供重要的方法參考。

作物；遙感；分類；數(shù)據(jù)融合；物候特征；長短時記憶網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)

0 引 言

作物類型遙感識別是提取不同作物種植面積、作物長勢分析及產(chǎn)量估測、預(yù)測的基礎(chǔ)，也是農(nóng)情遙感監(jiān)測的重要內(nèi)容[1-5]。時間序列遙感數(shù)據(jù)能夠反映不同作物的物候特征，比單一時相遙感數(shù)據(jù)在識別不同作物類型或不同作物種植結(jié)構(gòu)上更有優(yōu)勢[6-10]。時間分辨率高的遙感數(shù)據(jù)（如MODIS數(shù)據(jù)）其空間分辨率較低（250～1 000 m），在進行作物分類時存在混合像素的問題，而中、高空間分辨率的遙感數(shù)據(jù)回訪周期較長，例如，在遙感分類中被廣泛應(yīng)用的Landsat數(shù)據(jù)，其時間分辨率為16 d，且在作物生長的主要生育期由于云的干擾，很難獲得充足的Landsat數(shù)據(jù)用以提取作物的物候信息[11-13]。因此，將MODIS和Landsat數(shù)據(jù)進行融合，獲取中空間、高時間分辨率的時序遙感數(shù)據(jù)，是基于作物物候特征進行不同作物分類的有效途徑[14-16]。

在遙感數(shù)據(jù)融合方面，Gao等[17]提出了自適應(yīng)遙感影像融合模型（spatial and temporal adaptive reflectance fusion model，STARFM）用于融合Landsat和MODIS數(shù)據(jù)，構(gòu)建以天為尺度的30 m分辨率的時序數(shù)據(jù)，該算法在融合過程中能夠同時考慮研究區(qū)域的時間、空間差異性，是目前應(yīng)用最廣泛的時空融合模型之一。然而，在異質(zhì)性較強的區(qū)域，空間分辨率較低的MODIS數(shù)據(jù)容易產(chǎn)生混合像素問題，從而影響STARFM算法的融合精度。通過假設(shè)地表反射率在一段時間內(nèi)為線性變化，且混合像素反射率為不同地表類型反射率的線性組合，針對異質(zhì)性強的區(qū)域，Zhu等[18]提出了增強型STARFM（enhanced STARFM，ESTARFM）算法，該算法在STARFM算法的基礎(chǔ)上引入一個轉(zhuǎn)換系數(shù)來提高數(shù)據(jù)融合的精度，被廣泛應(yīng)用于遙感數(shù)據(jù)融合的研究。

近年來，深度學(xué)習(xí)方法被逐漸應(yīng)用于遙感影像的自動分類，如卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）、層疊去噪自編碼器（stacked denoising auto-encoders，SDAE）、深度信念網(wǎng)絡(luò)（deep belief network，DBN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）等，這些算法均被證明能夠有效地應(yīng)用于光學(xué)影像（高光譜、多光譜影像）和雷達影像的處理以及不同土地覆蓋分類研究[19-23]。目前，大多數(shù)研究主要是基于深度學(xué)習(xí)方法利用單一時相的遙感影像進行土地覆蓋和作物類型的分類，然而，結(jié)合時間序列遙感數(shù)據(jù)和不同作物的物候特征能夠更加準(zhǔn)確地區(qū)分不同作物的種植區(qū)域。因此，Kussul等[24]結(jié)合Landsat-8和Sentinel-1A數(shù)據(jù)構(gòu)建時間序列遙感數(shù)據(jù)以提取作物物候特征，利用CNN算法進行不同作物的分類，并取得了較高的分類精度。Sharma等[25]基于影像像素與其鄰域像素間的空間相關(guān)性，提出了一種基于塊的CNN算法（a patch-based CNN），并將其應(yīng)用于中空間分辨率時序遙感影像的分類，其分類精度明顯高于基于像素的CNN算法的精度。

CNN算法能夠較好地處理遙感影像的空間自相關(guān)性，但其不能充分地考慮復(fù)雜的時間相關(guān)性，因此，基于CNN算法不能夠充分地提取時序遙感數(shù)據(jù)所反映的作物物候特征，而RNN算法中的長短時記憶網(wǎng)絡(luò)（long short-term memory，LSTM）算法，能夠較好地處理時序遙感數(shù)據(jù)中的時間依賴性。LSTM算法基于循環(huán)的方式獲取時序數(shù)據(jù)中存在的時間相關(guān)性，被成功應(yīng)用于基于時序遙感數(shù)據(jù)的作物分類研究[26]。Zhong等[23]將LSTM算法應(yīng)用于時間序列Landsat EVI數(shù)據(jù)，從而對美國加利福尼亞州約洛縣的夏季作物進行了分類。Ienco等[26]結(jié)合LSTM算法和時序遙感數(shù)據(jù)進行不同作物的分類研究，結(jié)果表明，在異質(zhì)性強的區(qū)域，LSTM算法的分類精度高于傳統(tǒng)機器學(xué)習(xí)算法的精度。盡管目前已有研究將LSTM算法應(yīng)用于時序遙感數(shù)據(jù)的分類，但很少有研究基于LSTM算法對融合后的中空間、高時間分辨率的遙感數(shù)據(jù)進行分類，并檢驗不同時間分辨率數(shù)據(jù)對LSTM算法分類精度的影響。因此，本文融合MODIS和Landsat-8數(shù)據(jù)以構(gòu)建空間分辨率為30 m的時序遙感數(shù)據(jù)，結(jié)合時序遙感信息和LSTM算法進行不同作物的分類研究。為了檢驗該方法對遙感分類精度的影響，本文進行以下2方面的對比：1）基于融合前的Landsat-8數(shù)據(jù)對LSTM模型進行訓(xùn)練并分類，將其精度和融合數(shù)據(jù)的分類精度進行對比；2）基于融合數(shù)據(jù)分別采用LSTM和神經(jīng)網(wǎng)絡(luò)（neural network，NN）算法進行分類，并對比2種算法的精度。

1 研究區(qū)域和數(shù)據(jù)處理

1.1 研究區(qū)域概況

臨汾盆地包括整個汾河下游地區(qū)以及陜西韓城山前平原，長約200 km，寬約20～25 km，面積約5 000 km2，海拔約400～500 m，自北向南主要包括洪洞縣、堯都區(qū)、襄汾縣、曲沃縣、侯馬市、新絳縣、稷山縣和河津市8個縣區(qū)（圖1）。臨汾盆地地處半干旱、半濕潤季風(fēng)氣候區(qū)，屬溫帶大陸性氣候，雨熱同期，年平均降水量約500～600 mm，土壤肥沃，灌溉發(fā)達，是華北地區(qū)重要的糧食生產(chǎn)基地。

圖1 研究區(qū)域和樣點的分布

1.2 Landsat數(shù)據(jù)預(yù)處理

本研究獲取了臨汾盆地2015年全年云量小于10%的Landsat-8遙感影像，軌道號為126/035，傳感器類型為OLI/TIRS，影像獲取時間分別為2015-02-16、2015-05-23、2015-06-08、2015-07-26、2015-08-27、2015-09-12、2015-12-17。該影像來源于美國地質(zhì)勘查局網(wǎng)站（USGS, http://glovis.usgs.gov/）。對獲取的Landsat-8影像進行輻射定標(biāo)、大氣校正和幾何校正預(yù)處理，然后計算歸一化植被指數(shù)（normalized difference vegetation index，NDVI）

式中NIR和RED分別為影像的近紅外波段和紅光波段反射率。

1.3 MODIS數(shù)據(jù)預(yù)處理

本文通過美國國家航空航天局網(wǎng)站（NASA，http://reverb.echo.nasa.gov/reverb/）獲取h26v05軌道的MODIS地表反射率產(chǎn)品（MOD09Q1），該產(chǎn)品的時間分辨率為8 d，空間分辨率為250 m。該產(chǎn)品為經(jīng)過幾何校正和大氣校正的標(biāo)準(zhǔn)2級產(chǎn)品，數(shù)據(jù)中包含的紅光和近紅外波段與Landsat-8對應(yīng)的波段如表1所示。利用MRT（MODIS Re-projection Tool）工具將MODIS數(shù)據(jù)重投影為UTM-WGS84坐標(biāo)系，對研究區(qū)域進行裁剪并利用最近鄰域法將像素大小重采樣為240 m，以便后續(xù)利用Landsat-8數(shù)據(jù)進行MODIS混合像素的分解[27]。將MODIS紅光和近紅外波段影像乘以10-4轉(zhuǎn)化為[0，1]的地表反射率，計算NDVI，從而構(gòu)建時間序列MODIS NDVI。

表1 Landsat-8和MODIS影像的對應(yīng)波段信息

1.4 樣本數(shù)據(jù)獲取

基于中國氣象數(shù)據(jù)網(wǎng)（http://data.cma.cn/）提供的農(nóng)氣資料、空間分辨率為30 m的全球地表覆蓋數(shù)據(jù)GlobeLand30、Google Earth高分辨率影像和野外調(diào)查數(shù)據(jù)獲取不同土地覆蓋和作物類型樣點的坐標(biāo)信息，分析不同樣點的時間序列NDVI的變化特征。根據(jù)冬小麥-夏玉米、春玉米、冬小麥、林地（包括果園）和建筑用地（包括裸地）區(qū)域的NDVI變化特征，隨機選取不同像素并對其時序NDVI進行判定，確定該像素所屬類別，從而在原有樣本基礎(chǔ)上增加樣本數(shù)目，最終獲得冬小麥-夏玉米、林地（包括果園）、冬小麥、春玉米和建筑用地（包括裸地）的樣本數(shù)分別為100、80、58、68和70，樣點空間分布如圖1所示。每種土地覆蓋類型選取30個樣本作為驗證樣本，其余樣本作為訓(xùn)練樣本。此外，本文采用GlobeLand30數(shù)據(jù)中水體的分布區(qū)域?qū)ρ芯繀^(qū)域進行掩膜。

2 研究方法

本文的技術(shù)流程如圖2，首先對逐像素的時間序列MODIS NDVI進行Savitzky-Golay（S-G）濾波處理，然后利用ESTARFM算法對濾波后的時序MODIS NDVI和Landsat NDVI進行融合，獲得時間分辨率為8天、空間分辨率為30 m的融合NDVI。分別采用以下3種方法進行分類：1）基于訓(xùn)練樣本的Landsat NDVI對LSTM模型進行訓(xùn)練，采用訓(xùn)練后的模型對待測樣本進行判定，獲得研究區(qū)域的作物分類圖（稱為“Landsat NDVI+LSTM”方法）；2）基于訓(xùn)練樣本的融合NDVI訓(xùn)練LSTM模型并進行作物分類（稱為“融合 NDVI+LSTM”方法）；3）基于訓(xùn)練樣本的融合NDVI訓(xùn)練NN模型并進行作物分類（稱為“融合 NDVI+NN”方法）。

2.1 S-G濾波處理

本文采用上包絡(luò)線S-G濾波對時序MODIS NDVI進行平滑處理，獲得濾波后的時序MODIS NDVI，其計算方法為[28-29]

式中為濾波后的NDVI；全年有46幅MODIS NDVI影像，表示第1～46時相；為滑動窗口的大小，設(shè)為5；為滑動窗口內(nèi)第個原始NDVI；Eh為窗口內(nèi)第h個原始NDVI的濾波系數(shù)，即Savitzky-Golay多項式擬合的系數(shù)，通過查表獲得[30]。

2.2 遙感數(shù)據(jù)融合

采用ESTARFM算法融合時序MODIS NDVI和Landsat NDVI數(shù)據(jù)，獲得時間分辨率為8 d、空間分辨率為30 m的融合NDVI，其具體過程為：

1）類別定義及豐度提取。利用非監(jiān)督分類方法ISO-DATA對Landsat-8影像聚類獲得分類圖，在分類圖上創(chuàng)建大小為MODIS NDVI分辨率（240 m）像素尺度的網(wǎng)格，統(tǒng)計MODIS NDVI混合像素內(nèi)各土地覆蓋類別的面積占該像素面積的比例，得到各土地覆蓋類別的豐度。

2）降尺度數(shù)據(jù)獲取。利用全約束的混合像素線性分解模型對MODIS NDVI進行分解[16]，得到各土地覆蓋類的NDVI均值。將求得的NDVI均值依照類別對應(yīng)到相應(yīng)像素上，獲得分解后的降尺度NDVI。

3）融合影像生成。在Landsat NDVI影像的局部窗口（窗口大小設(shè)為11×11個Landsat-8 OLI像素[16]）內(nèi)計算中心像素和相鄰像素間的NDVI差值，將NDVI差值小于閾值的像素作為中心像素的相似像素[18]。根據(jù)式（3）計算t時刻的逐個相似像素的Landsat NDVI與降尺度NDVI間的光譜差異性S

最后通過式（9）預(yù)測t時刻的30 m分辨率NDVI

2.3 作物分類與驗證

最后分別將Landsat NDVI和融合NDVI代入訓(xùn)練后的LSTM模型進行研究區(qū)域不同作物的分類，為了進行對比，同時將融合NDVI代入NN模型進行不同作物分類，本研究中利用ENVI工具實現(xiàn)NN模型的分類過程。通過驗證樣本對3種方法的分類精度進行檢驗和對比，然后基于3種算法的分類結(jié)果估測小麥種植面積，并采用臨汾盆地各縣區(qū)的小麥種植面積統(tǒng)計數(shù)據(jù)進一步對分類結(jié)果進行檢驗和對比。

3 結(jié)果與分析

3.1 Savitzky-Golay濾波

利用S-G濾波對逐像素的時間序列MODIS NDVI進行平滑處理，獲得重構(gòu)的NDVI，以冬小麥-夏玉米和春玉米樣點的時序NDVI為例進行分析（圖3）。結(jié)果表明，原始的MODIS NDVI曲線雖然呈現(xiàn)顯著的波峰、波谷特征，但由于云、大氣和MODIS數(shù)據(jù)質(zhì)量的影響，NDVI曲線呈現(xiàn)驟降現(xiàn)象，導(dǎo)致NDVI曲線從波谷到波峰呈鋸齒狀的不規(guī)則波動，不利于進行不同作物的物候特征分析。經(jīng)S-G濾波處理后的NDVI曲線由于去除了噪聲的影響而更加平滑，能夠清晰地反映時序NDVI的長期變化趨勢及局部的突變信息，符合作物的生長特征，能夠滿足識別不同作物種植模式的要求。

3.2 遙感數(shù)據(jù)融合

基于ESTARFM算法融合時序MODIS NDVI和Landsat NDVI，獲得逐像素的30 m分辨率時序NDVI。為了檢驗ESTARFM算法的準(zhǔn)確性，通過2015年5月23日和7月26日的Landsat NDVI預(yù)測6月8日的30 m分辨率NDVI，并將其與6月8日的Landsat NDVI進行對比（圖4a）；通過2015年7月26日和9月12日的Landsat NDVI預(yù)測8月27日的30 m分辨率NDVI，并將其與8月27日的Landsat NDVI進行對比（圖4b）。結(jié)果表明，6月8日、8月27日的預(yù)測NDVI與Landsat NDVI間的相關(guān)系數(shù)分別為0.91和0.95，且散點主要分布在1:1線的附近，表明預(yù)測NDVI與Landsat NDVI間的線性相關(guān)性較高。因此，融合后的NDVI能夠有效地反映同時期Landsat NDVI的信息，能夠用于不同作物類型的識別。

圖3 S-G濾波后的冬小麥-夏玉米和春玉米的時間序列NDVI

圖4 Landsat NDVI和基于ESTARFM預(yù)測NDVI的散點圖

基于中國氣象數(shù)據(jù)網(wǎng)提供的農(nóng)氣資料、空間分辨率為30 m的全球地表覆蓋數(shù)據(jù)GlobeLand30、Google Earth高分辨率影像和野外調(diào)查數(shù)據(jù)獲取不同土地覆蓋和作物類型樣點的坐標(biāo)信息，并分析不同樣點的時序NDVI的物候特征（圖5）。結(jié)果表明，冬小麥-夏玉米種植區(qū)域的時序NDVI包含2個大的波峰和1個小的波峰，具有明顯的一年兩季種植模式的變化特征，第1個大波峰出現(xiàn)在DOY（day of year, 年積日）125左右，對應(yīng)于冬小麥的抽穗-灌漿期，第2個大波峰出現(xiàn)在DOY240左右，對應(yīng)于夏玉米的抽雄-灌漿期，小波峰出現(xiàn)在DOY330左右，對應(yīng)于冬小麥的分蘗期。單季冬小麥和單季春玉米種植區(qū)域的時序NDVI具有明顯的一年一季作物種植模式的物候特征，春玉米種植區(qū)域的時序NDVI僅包含1個波峰，出現(xiàn)在DOY200左右，對應(yīng)于春玉米的抽雄-灌漿期；單季冬小麥種植區(qū)域的時序NDVI包含1個大的波峰和1個小的波峰，大波峰出現(xiàn)在DOY125左右，對應(yīng)于冬小麥的抽穗-灌漿期，小波峰出現(xiàn)在DOY330左右，對應(yīng)于冬小麥的分蘗期。冬小麥-其他種植區(qū)域的時序NDVI包含1個大的波峰和2個小的波峰。在研究區(qū)域范圍內(nèi)，冬小麥-其他主要包括冬小麥-油葵、冬小麥-棉花和冬小麥-大豆等，由于這些作物種植模式的區(qū)域分布較少，本文將其與單季冬小麥合并為一類。林地（包括果園）區(qū)域的時序NDVI不具有明顯的作物物候特征，在DOY80左右NDVI開始快速升高，然后基本保持穩(wěn)定，在DOY270左右NDVI開始緩慢下降。建筑用地（包括裸地）區(qū)域的時序NDVI較低，不超過0.2，沒有明顯的波峰波谷現(xiàn)象。

圖5 不同土地覆蓋和作物類型的時序NDVI

3.3 分類結(jié)果及精度驗證

將LSTM模型最終的h和全連接層、softmax層的神經(jīng)元實現(xiàn)連接并構(gòu)建代價函數(shù)，將訓(xùn)練樣本的30 m分辨率時序NDVI代入LSTM模型進行訓(xùn)練，當(dāng)隱藏層維數(shù)分別為5、10和30時，分析多次迭代訓(xùn)練后代價函數(shù)的變化。結(jié)果表明，無論隱藏層維數(shù)為5、10或30，在2 000次迭代內(nèi)，代價函數(shù)均急劇下降，在2 000至4 000次迭代內(nèi)，代價函數(shù)緩慢下降，在4 000次迭代后，代價函數(shù)基本保持不變；當(dāng)隱藏層維數(shù)為5時，最終的h和softmax層直接連接，此時代價函數(shù)的最低值為0.55，低于隱藏層維數(shù)為10和30時的代價函數(shù)最低值（分別為0.66和0.65）。因此，本文將隱藏層維數(shù)設(shè)為5，迭代次數(shù)設(shè)置為4 000，對LSTM模型進行訓(xùn)練。

基于Landsat NDVI+LSTM方法、融合NDVI+LSTM方法和融合NDVI+NN方法獲得的分類結(jié)果如圖6所示。結(jié)果表明，基于3種方法獲取的不同土地覆蓋和作物類型的分布區(qū)域大體一致，同時存在一些差異?；贚andsat NDVI+LSTM方法的臨汾盆地中南部的冬小麥-夏玉米分布區(qū)域略小于基于融合NDVI+LSTM方法以及基于融合NDVI+NN方法的分類結(jié)果；基于Landsat NDVI+LSTM方法的臨汾盆地西北部的冬小麥-夏玉米的分布區(qū)域略大于基于融合NDVI+LSTM方法以及基于融合NDVI+NN方法的分類結(jié)果。

圖6 臨汾盆地的土地覆蓋和作物類型的分類

采用混淆矩陣對分類結(jié)果進行精度評價，評價指標(biāo)包括總體精度（overall accuracy，OA）、用戶精度（user’s accuracy，UA）、生產(chǎn)者精度（producer’s accuracy，PA）和Kappa系數(shù)4項（表2）。結(jié)果表明，3種方法的總體精度均大于80%，其中，融合NDVI+LSTM方法的總體精度（90.00%）、Kappa系數(shù)（0.88）以及融合NDVI+NN方法的總體精度（88.10%）、Kappa系數(shù)（0.86）明顯大于Landsat NDVI+LSTM方法的總體精度（82.86%）、Kappa系數(shù)（0.80），表明在基于物候信息進行不同作物識別時，時序遙感數(shù)據(jù)的時間分辨率對分類精度有重要影響，分辨率越高，分類精度越高。融合NDVI+LSTM方法的分類結(jié)果中冬小麥-夏玉米、林地（包括果園）、冬小麥以及春玉米的UA、PA均明顯高于Landsat NDVI+LSTM方法分類結(jié)果對應(yīng)的UA、PA，這是因為以上4種作物種植模式的物候特征顯著，相比于離散的Landsat NDVI，融合后的時序NDVI更加突出物候特征，從而更利于對不同作物種植模式進行識別。同時，融合NDVI+LSTM方法分類的總體精度、Kappa系數(shù)與融合NDVI+NN方法的分類精度相差不大，前者比后者略有提高，對于冬小麥-夏玉米、林地（包括果園）及建設(shè)用地和裸地，前者的UA、PA與后者相差不大，對于春玉米，前者的PA明顯大于后者。

表2 3種方法的分類精度對比

臨汾盆地包括洪洞縣、堯都區(qū)、襄汾縣、曲沃縣、侯馬市、新絳縣、稷山縣和河津市8個縣區(qū)，冬小麥?zhǔn)窃摰貐^(qū)的主要糧食作物之一，估測各縣區(qū)2015年的冬小麥種植面積，即分類圖中各縣區(qū)冬小麥-夏玉米和單季冬小麥像素所表示的面積之和，然后將各縣區(qū)的冬小麥估測面積和統(tǒng)計面積進行相關(guān)性分析，并計算估測面積和統(tǒng)計面積間的相對誤差（relative error，RE）和均方根誤差（root mean square error，RMSE）（圖7）。結(jié)果表明，基于融合NDVI+LSTM方法（2=0.94，<0.001）和基于融合NDVI+NN方法（2=0.91，<0.001）的小麥估測面積與統(tǒng)計面積間的相關(guān)性明顯大于基于Landsat NDVI+LSTM方法的相關(guān)性（2=0.71，<0.01）。同時，基于融合NDVI+ LSTM方法（RE=9.89%，RMSE=3 023.37 hm2）和基于融合NDVI+NN方法（RE=11.78%，RMSE=4 386.40 hm2）的估測面積與統(tǒng)計面積間的RE、RMSE均小于基于Landsat NDVI+LSTM方法的RE、RMSE（RE=19.48%，RMSE= 7 712.88 hm2），表明相比于離散的Landsat NDVI，融合后的時序NDVI能夠有效地提高冬小麥面積估測精度。此外，基于融合NDVI+LSTM方法的估測面積和統(tǒng)計面積間的相關(guān)性大于基于融合NDVI+NN方法的相關(guān)性，前者的RE和RMSE均小于后者的RE和RMSE，表明LSTM算法比NN算法在估測作物面積方面更有優(yōu)勢。

圖7 臨汾盆地各縣區(qū)的冬小麥估測面積和統(tǒng)計面積的對比

4 討 論

本文基于ESTARFM算法融合時序MODIS NDVI和Landsat NDVI得到時間分辨率為8 d、空間分辨率為30 m的NDVI，相比于MODIS NDVI，融合后的NDVI的混合像素減少。相比于離散的Landsat NDVI，融合后的時序NDVI更利于反映作物生長特征，從而更易于提取不同作物類型的物候信息，因而在作物分類和作物面積估測方面的精度更高。然而，基于Landsat NDVI和ESTARFM算法對MODIS NDVI混合像素分解的過程仍存在著不確定性，從而使作物分類結(jié)果產(chǎn)生誤差，同樣，30 m空間分辨率的Landsat NDVI在異質(zhì)性強的區(qū)域也存在著混合像素問題。自2017年6月起，可獲取的Sentinel-2數(shù)據(jù)（包括Sentinel-2A和Sentinel-2B）的有效回訪周期為5 d，相比于Landsat-8數(shù)據(jù)，Sentinel-2數(shù)據(jù)的紅光波段和近紅外波段的空間分辨率更高（10 m）。因此，在今后的研究中可采用時間分辨率更高的時序Sentinel-2 NDVI數(shù)據(jù)進行作物物候信息的提取，同時能夠避免混合像素分解產(chǎn)生的誤差，從而進一步提高不同作物的分類精度。

深度學(xué)習(xí)中的LSTM算法能夠基于循環(huán)的方式獲取時序遙感數(shù)據(jù)中存在的時間相關(guān)性，進而有效地提取作物物候信息從而識別不同作物種植區(qū)域。本文基于逐像素的時序NDVI利用LSTM算法進行作物分類，利用混淆矩陣對分類結(jié)果進行了精度評估，并根據(jù)分類結(jié)果獲取了臨汾盆地各縣區(qū)的冬小麥估測面積。相比于神經(jīng)網(wǎng)絡(luò)算法，LSTM算法的分類精度和冬小麥的面積估測精度均有所提高?；贚STM算法能夠從時序遙感數(shù)據(jù)中提取作物的物候信息，然而，在進行作物分類時，遙感影像的紋理特征同樣能夠提供重要信息[31]，且CNN算法能夠較好地處理遙感影像上的空間相關(guān)性。因此，今后的研究中可將LSTM和CNN方法相結(jié)合，從而同時利用物候特征和空間紋理特征進行不同作物的分類。

5 結(jié) 論

對臨汾盆地逐像素的時序MODIS NDVI進行S-G濾波，然后基于ESTARFM算法融合Landsat NDVI和濾波后的時序MODIS NDVI，獲得時間分辨率為8 d、空間分辨率為30 m的NDVI，結(jié)合訓(xùn)練樣本的融合NDVI和LSTM算法進行臨汾盆地不同作物的分類，并將其分類精度分別與基于Landsat NDVI、基于NN算法的分類精度進行對比，主要結(jié)論為：

1）S-G濾波處理后的時序MODIS NDVI能夠有效地去除云、大氣和MODIS數(shù)據(jù)質(zhì)量的影響，從而反映不同作物的NDVI的長期變化趨勢和局部突變信息，有效地表達了不同作物的物候特征。

2）基于ESTARFM算法融合生成的30 m分辨率NDVI與相同日期的Landsat NDVI間的線性相關(guān)性較高。基于融合NDVI的分類精度明顯高于基于Landsat NDVI的分類精度，且前者的小麥估測面積與統(tǒng)計面積間的誤差明顯低于后者的估測誤差，說明NDVI時間分辨率的提高能夠更加突出作物物候特征，從而提高作物分類及面積估測精度；基于融合NDVI和LSTM的分類精度略高于基于融合NDVI和NN的分類精度，且前者的小麥估測面積與統(tǒng)計面積間的誤差低于后者的估測誤差，說明基于LSTM算法的作物分類及面積估測精度優(yōu)于NN算法的精度。

[1] 王利民，劉佳，楊福剛，等. 基于GF-1衛(wèi)星遙感的冬小麥面積早期識別[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(11)：194－201.

Wang Limin, Liu Jia, Yang Fugang, et al. Early recognition of winter wheat area based on GF-1 satellite[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(11): 194—201. (in Chinese with English abstract)

[2] 歐陽玲，毛德華，王宗明，等. 基于GF-1 與Landsat8 OLI 影像的作物種植結(jié)構(gòu)與產(chǎn)量分析[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(11)：147—156.

Ouyang Ling, Mao Dehua, Wang Zongming, et al. Analysis crops planting structure and yield based on GF-1 and Landsat8 OLI images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 147—156. (in Chinese with English abstract)

[3] 黃健熙，侯矞焯，蘇偉，等. 基于GF-1 WFV數(shù)據(jù)的玉米與大豆種植面積提取方法[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(7)：164—170.

Huang Jianxi, Hou Yuzhuo, Su Wei, et al. Mapping corn and soybean cropped area with GF-1 WFV data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(7): 164—170. (in Chinese with English abstract)

[4] Skakun S, Franch B, Vermote E, et al. Early season large-area winter crop mapping using MODIS NDVI data, growing degree days information and a Gaussian mixture model[J]. Remote Sensing of Environment, 2017, 195: 244—258.

[5] 郝鵬宇，唐華俊，陳仲新，等. 基于歷史增強型植被指數(shù)時序的農(nóng)作物類型早期識別[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(13)：179—186.

Hao Pengyu, Tang Huajun, Chen Zhongxin, et al. Early season crop type recognition based on historical EVI time series[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 179—186. (in Chinese with English abstract)

[6] Bargiel D. A new method for crop classification combining time series of radar images and crop phenology information[J]. Remote Sensing of Environment, 2017, 198: 369—383.

[7] Clark M L. Comparison of simulated hyperspectral HyspIRI and multispectral Landsat 8 and Sentinel-2 imagery for multi-seasonal, regional land-cover mapping[J]. Remote Sensing of Environment, 2017, 200: 311—325.

[8] Veloso A, Mermoz S, Bouvet A, et al. Understanding the temporal behavior of crops using Sentinel-1 and Sentinel-2-like data for agricultural applications[J]. Remote Sensing of Environment, 2017, 199: 415—426.

[9] 王鵬新，荀蘭，李俐，等. 基于時間序列葉面積指數(shù)傅里葉變換的作物種植區(qū)域提取[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(21)：207—215.

Wang Pengxin, Xun Lan, Li Li, et al. Extraction of planting areas of main crops based on Fourier transformed characteristics of time series leaf area index products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(21): 207－215. (in Chinese with English abstract)

[10] 常布輝，王軍濤，羅玉麗，等. 河套灌區(qū)沈烏灌域GF-1/WFV 遙感耕地提取[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(23)：188—195.

Chang Buhui, Wang Juntao, Luo Yuli, et al. Cultivated land extraction based on GF-1/WFV remote sensing in Shenwu irrigation area of Hetao Irrigation District[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 188—195. (in Chinese with English abstract)

[11] 許青云，楊貴軍，龍慧靈，等. 基于MODIS NDVI多年時序數(shù)據(jù)的農(nóng)作物種植識別[J]. 農(nóng)業(yè)工程學(xué)報，2014，30(11)：134—144.

Xu Qingyun, Yang Guijun, Long Huiling, et al. Crop information identification based on MODIS NDVI time-series data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(11): 134—144. (in Chinese with English abstract)

[12] 王連喜，徐勝男，李琪，等. 基于決策樹和混合像元分解的江蘇省冬小麥種植面積提取[J]. 農(nóng)業(yè)工程學(xué)報，2016，32(5)：182—187.

Wang Lianxi, Xu Shengnan, Li Qi, et al. Extraction of winter wheat planted area in Jiangsu province using decision tree and mixed-pixel methods[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(5): 182—187. (in Chinese with English abstract)

[13] Cai Yaping, Guan Kaiyu, Peng Jian, et al. A high-performance and in-season classification system of field-level crop types using time-series Landsat data and a machine learning approach[J]. Remote Sensing of Environment, 2018, 210: 35—47.

[14] Emelyanova I V, Mcvicar T R, Van Niel T G, et al. Assessing the accuracy of blending Landsat-MODIS surface reflectances in two landscapes with contrasting spatial and temporal dynamics: A framework for algorithm selection[J]. Remote Sensing of Environment, 2013, 133: 193—209.

[15] Jia Kun, Liang Shunlin, Zhang Ning, et al. Land cover classification of finer resolution remote sensing data integrating temporal features from time series coarser resolution data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 93(7): 49—55.

[16] 謝登峰，張錦水，孫佩軍，等. 結(jié)合像元分解和STARFM 模型的遙感數(shù)據(jù)融合[J]. 遙感學(xué)報，2016，20(1)：62—72.

Xie Dengfeng, Zhang Jinshui, Sun Peijun, et al. Remote sensing data fusion by combining STARFM and downscaling mixed pixel algorithm[J]. Journal of Remote Sensing, 2016, 20(1): 62—72. (in Chinese with English abstract)

[17] Gao Feng, Masek J, Schwaller M, et al. On the blending of the Landsat and MODIS surface reflectance: Predicting daily Landsat surface reflectance[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(8): 2207—2218.

[18] Zhu Xiaolin, Chen Jin, Gao Feng, et al. An enhanced spatial and temporal adaptive reflectance fusion model for complex heterogeneous regions[J]. Remote Sensing of Environment, 2010, 114: 2610—2623.

[19] Geng Jie, Fan Jianchao, Wang Hongyu, et al. High-resolution SAR image classification via deep convolutional autoencoders[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(11): 2351—2355.

[20] Liang Heming, Li Qi. Hyperspectral imagery classification using sparse representations of convolutional neural network features[J]. Remote Sensing, 2016, 8(2): 1—16.

[21] Lyu Haobo, Lu Hui, Mou Lichao. Learning a transferable change rule from a recurrent neural network for land cover change detection[J]. Remote Sensing, 2016, 8(6): 1—22.

[22] Chen Yushi, Lin Zhouhan, Zhao Xing, et al. Deep learning-based classification of hyperspectral data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 7(6): 2094—2107.

[23] Zhong Liheng, Hu Lina, Zhou Hang. Deep learning based multi-temporal crop classification[J]. Remote Sensing of Environment, 2019, 221: 430—443.

[24] Kussul N, Lavreniuk M, Skakun S, et al. Deep learning classification of land cover and crop types using remote sensing data[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 778—782.

[25] Sharma A, Liu Xiuwen, Yang Xiaojun, et al. A patch-based convolutional neural network for remote sensing image classification[J]. Neural Networks, 2017, 95: 19—28.

[26] Ienco D, Gaetano R, Dupaquier C, et al. Land cover classification via multitemporal spatial data by deep recurrent neural networks[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1685—1689.

[27] 鄔明權(quán)，牛錚，王長耀. 利用遙感數(shù)據(jù)時空融合技術(shù)提取水稻種植面積[J]. 農(nóng)業(yè)工程學(xué)報，2010，26(增刊2)：48—52.

Wu Mingquan, Niu Zheng, Wang Changyao. Mapping paddy fields by using spatial and temporal remote sensing data fusion technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.2): 48—52. (in Chinese with English abstract)

[28] Chen Jin, J?nsson P, Tamura M, et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky-Golay filter[J]. Remote Sensing of Environment, 2004, 91: 332—344.

[29] Xun Lan, Wang Pengxin, Li Li, et al. Identifying crop planting areas using Fourier-transformed feature of time series MODIS leaf area index and sparse-representation- based classification in the North China Plain[J]. International Journal of Remote Sensing, 2018: 1—19.

[30] Savitzky A, Golay M J E. Smoothing and differentiation of data by simplified least squares procedures[J]. Analytical Chemistry, 1964, 36(8): 1627—1639.

[31] Zhang Lefei, Zhang Liangpei, Tao Dacheng, et al. On combining multiple features for hyperspectral remote sensing image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(3): 879—893.

Crop classification based on multi-source remote sensing data fusion and LSTM algorithm

Xie Yi1, Zhang Yongqing1, Xun Lan2, Chai Xurong1

(1.,,041004,; 2,,100094,)

Accurate distribution information of crop types is vital for monitoring crop growth, guiding agricultural production, and making effective management measurements. Time series remote sensing data can reflect phenological characteristics of crops, which have more advantages than single temporal data in identifying crop types or planting patterns. MODIS and Landsat data can be fused to obtain time series data with medium spatial resolution and high temporal resolution, which can be used for classifying different crops based on phenology characteristics. In this study, in order to test the accuracy of combining long short-term memory (LSTM) algorithm with time series remote sensing data in crop classification, the Linfen basin was chosen as the study area for obtaining crop distribution map. At first, the Savitzky-Golay filter was used to denoise and reconstruct time series MODIS NDVI data. Then the filtered MODIS NDVI and Landsat NDVI were merged by the enhanced spatial and temporal adaptive reflectance fusion model (ESTARFM) to generate time series NDVI with a spatial resolution of 30 m pixel by pixel. Based on field investigation, GlobeLand30 data, Google Earth images and agro-meteorological stations data, we obtained the coordinate information of several sampling sites representing different land cover and crop types. The phenological characteristics of time series NDVI of the pixels covering the sampling sites were analyzed, and the types of randomly selected pixels were determined based on the phenological characteristics for increasing the number of sampling sites. Three methods were used for crop classification in this study: 1) the Landsat NDVI of training samples were used to train the LSTM model, and the trained LSTM model was adopted to determine the crop type pixel by pixel (called the Landsat NDVI+LSTM method); 2) the fused NDVI of training samples were used to train the LSTM model for crop classification (called the fused NDVI+LSTM method); and 3) the fused NDVI of training samples were used to train the neural network (NN) model for crop classification (called the fused NDVI+NN method). In order to compare the accuracies of the three methods, the classification accuracies were evaluated with the validation samples. The evaluation indexes included overall accuracy (OA) and Kappa coefficient. Also, the planting area of winter wheat for each county of the study area was estimated according to the crop classification map, and the relative error (RE) and root mean square error (RMSE) between estimated and statistical wheat areas were calculated for further validating the accuracies of the three methods. Results showed that the Savitzky-Golay filter can remove the influence of factors such as cloud and atmosphere, thus the reconstructed time series MODIS NDVI curves could reflect the phenological characteristics of crops effectively. Positive correlation between the fused NDVI and the Landsat NDVI indicated the fused NDVI can reflect the information of Landsat NDVI effectively. The classification accuracies based on the fused NDVI, either using the fused NDVI+LSTM (OA=90.00%, Kappa=0.88) or fused NDVI+NN (OA=88.10%, Kappa=0.86) methods, were significantly higher than the accuracy of the Landsat NDVI+LSTM method (OA=82.86%, Kappa=0.80). The RE and RMSE of the formers were lower than those of the latter. These results indicated that the fused time series NDVI could highlight the phenological information of different crop types, thus the classification accuracy can be improved significantly. In addition, the classification accuracy of the fused NDVI+LSTM method was slightly higher than that of the fused NDVI+NN method, and the RE and RMSE of the former were lower than those of the latter. These indicated that the classification accuracy of LSTM algorithm was higher than that of the NN algorithm. This study can provide an important reference for accurately extracting distribution information of different crops in the study area.

crops; remote sensing; classification; data fusion; phenological characteristics; long short-term memory; neural network

10.11975/j.issn.1002-6819.2019.15.017

S127

A

1002-6819(2019)-15-0129-09

2019-06-04

2019-07-28

國家自然科學(xué)基金面上項目（31571604）

解 毅，博士，講師，主要從事定量遙感及其在農(nóng)業(yè)中的應(yīng)用研究。Email：a791909926@163.com

解 毅，張永清，荀 蘭，柴旭榮. 基于多源遙感數(shù)據(jù)融合和LSTM算法的作物分類研究[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(15)：129－137. doi：10.11975/j.issn.1002-6819.2019.15.017 http://www.tcsae.org

Xie Yi, Zhang Yongqing, Xun Lan, Chai Xurong. Crop classification based on multi-source remote sensing data fusion and LSTM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 129－137. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.15.017 http://www.tcsae.org