趙紅偉，陳仲新,3，姜 浩，劉 佳

·農(nóng)業(yè)信息與電氣技術(shù)·

基于Sentinel-1A影像和一維CNN的中國南方生長季早期作物種類識別

趙紅偉1,2，陳仲新1,2,3※，姜 浩4,5,6，劉 佳1,2

（1. 中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所，北京 100081；2. 農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)遙感重點實驗室，北京 100081； 3. Information Technology Division, Food and Agriculture Organization of the United Nations (FAO), Rome 00153, Italy； 4. 廣東省遙感與地理信息系統(tǒng)應(yīng)用實驗室，廣州 510070； 5. 廣東省地理空間信息技術(shù)與應(yīng)用公共實驗室，廣州 510070； 6. 廣州地理研究所，廣州 510070）

作物的早期識別對糧食安全至關(guān)重要。在以往的研究中，中國南方作物早期識別面臨的主要挑戰(zhàn)包括：1）云層覆蓋時間長、地塊尺寸小且作物類型豐富；2）缺少高時空分辨率合成孔徑雷達（synthetic aperture radar，SAR）數(shù)據(jù)。歐洲航天局Sentinel-1A（S1A）衛(wèi)星提供的SAR圖像具有12 d的重訪周期，空間分辨率達10 m，為中國南方作物早期識別提供了新的機遇。為在作物早期識別中充分利用S1A影像的時間特征，本研究提出一維卷積神經(jīng)網(wǎng)絡(luò)（one-dimensional convolutional neural network, 1D CNN）的增量訓(xùn)練方法：首先利用生長季內(nèi)全時間序列數(shù)據(jù)來訓(xùn)練1D CNN的超參數(shù)，稱為分類器；然后從生長季內(nèi)第一次S1A影像獲取開始，在每個數(shù)據(jù)獲取時間點輸入該點之前（包括該點）生長季內(nèi)所有數(shù)據(jù)訓(xùn)練分類器在該點的其他參數(shù)。以中國湛江地區(qū)2017年生長季為研究實例，分別基于VV、VH和VH+VV，評估不同極化數(shù)據(jù)在該地區(qū)的作物分類效果。為驗證該方法的有效性，本研究同時應(yīng)用經(jīng)典的隨機森林（random forest, RF）模型對研究區(qū)進行試驗。結(jié)果表明：1）基于VH+VV、VH和VV極化數(shù)據(jù)的分類精度依次降低，其中，基于VH+VV后向散射系數(shù)時間序列1D CNN 和RF測試結(jié)果的Kappa系數(shù)最大值分別為0.924和0.916，說明S1A時間序列數(shù)據(jù)在該地區(qū)作物分類任務(wù)中有效；2）在研究區(qū)域內(nèi)2017年生長季早期，基于1D CNN和RF 的5種作物的-均達到0.85及以上，說明本文所構(gòu)建的1D CNN在該地區(qū)主要作物早期分類任務(wù)中有效。研究結(jié)果證明，針對中國南方作物早期分類，本研究提出的1D CNN訓(xùn)練方案可行。研究結(jié)果可為深度學(xué)習(xí)在作物早期分類任務(wù)中的應(yīng)用提供參考。

作物；遙感；識別；早期；一維卷積神經(jīng)網(wǎng)絡(luò)（1D CNN）；深度學(xué)習(xí)；合成孔徑雷達；Sentinel-1

0 引 言

及時準確的作物類型圖對糧食安全至關(guān)重要[1]。在作物年度制圖中，需要在作物生長季結(jié)束之前對作物類型進行早期識別，以便進行產(chǎn)量預(yù)測和灌溉管理[2]。除了熱帶或非常干旱地區(qū)，大多數(shù)地區(qū)的作物每年有1個或2個（冬季和夏季）生長季。本研究中，作物生長季早期分類指的是在年度周期的第6個月至第9個月之間提供年度作物類型圖[3]。

在作物識別領(lǐng)域，光學(xué)影像通常比合成孔徑雷達（synthetic aperture radar, SAR）影像應(yīng)用的更廣泛，這是由于光學(xué)影像觀測結(jié)果與植被物候之間的關(guān)系能夠更好地被理解[3]。然而，在中國南方地區(qū)，由于頻繁的陰雨天氣和長時間的云層覆蓋，光學(xué)傳感器無法很好地發(fā)揮作用[4]。相比之下，SAR的主動微波遙感可以在任何時間、任何天氣條件下進行工作[5-6]。

SAR后向散射對作物結(jié)構(gòu)（高度、孔隙率、覆蓋度等）和田間條件（田間含水量等）敏感，每種作物的物候演變產(chǎn)生了后向散射系數(shù)的獨特時間分布[7-8]。因此，SAR的時間序列影像可以有效用于作物分類任務(wù)[9-10]。在以往的研究中，由于小面積的種植結(jié)構(gòu)和豐富的作物類型，缺乏高時空分辨率的SAR影像在中國南方作物分類中的應(yīng)用研究[8]。特別是針對作物早期分類，足夠的數(shù)據(jù)獲取頻率非常關(guān)鍵。

歐洲航天局（europeanspace agency, ESA）于2014年4月3日發(fā)射的Sentinel-1A（S1A）衛(wèi)星[11]搭載了重訪周期為12 d的C波段SAR傳感器，具有單極化、雙極化等不同的極化方式。寬幅干涉模式（interferometric wide swath mode, IW）的距離分辨率和方位分辨率分別為5 m和20 m。IW Level-1產(chǎn)品中地距影像（ground range detected, GRD）最高分辨率為10 m，并可免費獲取。該數(shù)據(jù)為中國南方作物早期識別提供了新的機遇。

傳統(tǒng)作物分類方法，如隨機森林（random forest, RF）、支持向量機（support vector machine, SVM）等，把傳感器在不同時間獲取的數(shù)據(jù)作為特征輸入[12-13]。忽略了數(shù)據(jù)的時間特性[14]。此外，傳統(tǒng)作物分類系統(tǒng)通過使用多個預(yù)處理步驟提取模型所需特征[4,15-16]，分類過程復(fù)雜，且依賴于專業(yè)知識來設(shè)計特征提取器。

深度學(xué)習(xí)通過簡單但非線性的模塊獲得多個級別的特征表示，每個模塊將特征從一個級別（從原始輸入開始）轉(zhuǎn)換成更高級別。對于分類任務(wù)，較高級別的特征層放大了輸入數(shù)據(jù)中區(qū)分不同類別的重要部分，并抑制了不重要的信息[17]。這種從觀察值中獲取并被編碼到內(nèi)部權(quán)重參數(shù)的數(shù)據(jù)驅(qū)動模型[18]將特征提取和分類以聯(lián)合的方式執(zhí)行，只需要基于原始輸入數(shù)據(jù)和輸出標簽就可以用端到端的方式進行訓(xùn)練。

研究證明，循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network, RNN）[19]和一維卷積神經(jīng)網(wǎng)絡(luò)（one-dimensional convolutional neural network, 1D CNN）[20]可以有效地用于基于時間序列的分類任務(wù)[21-22]。長短時間記憶網(wǎng)絡(luò)（long short-term memory, LSTM）[23]和門控循環(huán)網(wǎng)絡(luò)（gated recurrent unit,GRU）[24]是RNN的2種變體，用于解決普通RNN隨著序列的增長梯度爆炸和消失的問題[23-24]。在作物分類領(lǐng)域，已有學(xué)者將LSTM、GRU和1D CNN應(yīng)用于基于時間序列的光學(xué)影像[25-27]和SAR影像[14, 28]，并取得了良好的效果。但是，針對作物的早期識別，深度學(xué)習(xí)方法的應(yīng)用較少。

在作物生長季早期識別中，為尋找不同作物的最優(yōu)識別時間點，模型輸入的時間序列長度是不斷變化的。RNN的參數(shù)與時間序列的長度有關(guān)，它的每個神經(jīng)元在時間序列上循環(huán)展開[29-30]。因此，相對于RNN，1D CNN具有更簡單的網(wǎng)絡(luò)結(jié)構(gòu)、更少的訓(xùn)練參數(shù)[30]，這對于作物早期識別的效率具有重要價值。Cai等[31]利用2000－2013年研究區(qū)域大豆和玉米生長期內(nèi)全時間序列數(shù)據(jù)（Landsat 5, 7, 8）訓(xùn)練1D CNN 的超參數(shù)和參數(shù)。并利用2014年和2015年的時間序列數(shù)據(jù)作為測試數(shù)據(jù)。測試數(shù)據(jù)從生長季內(nèi)第一次的數(shù)據(jù)獲取開始，在每個數(shù)據(jù)獲取時間點將之前所有數(shù)據(jù)輸入訓(xùn)練好的1D CNN，來尋找不同作物早期分類的時間點。該方法中1D CNN（包括超參數(shù)和參數(shù)）的訓(xùn)練數(shù)據(jù)是作物生長季內(nèi)全時間序列，而測試數(shù)據(jù)是全時間序列的子集。

與Cai等的方案不同，在本研究中，作者提出基于中國湛江地區(qū)主要作物生長季的全時間序列數(shù)據(jù)來訓(xùn)練1D CNN的超參數(shù)，分別得到S1A 3類極化方式（VH, VV, VH+VV）的最優(yōu)超參數(shù)，稱為分類器；然后，針對每一種極化方式，從生長季內(nèi)第一次數(shù)據(jù)獲取開始，在每個S1A影像獲取時間點輸入該點之前（包括該點）生長季內(nèi)所有數(shù)據(jù)來訓(xùn)練分類器在該點的其他參數(shù)。最后對測試數(shù)據(jù)的分類結(jié)果進行分析，得到研究區(qū)域內(nèi)不同作物早期識別的最優(yōu)時間點和最佳極化方式。通過該方案來評估1D CNN在作物早期分類中的作用和S1A極化時間序列數(shù)據(jù)對作物早期分類的影響。為驗證該方案的有效性，本研究同時應(yīng)用經(jīng)典的RF模型對研究區(qū)進行試驗[3]。

1 材料與方法

1.1 研究區(qū)域概況和地面數(shù)據(jù)獲取

研究區(qū)域位于中國廣東省南部的雷州半島，包括遂溪縣和雷州市2個縣（縣級市），如圖1所示。該地區(qū)屬亞熱帶濕潤氣候，年平均氣溫22～23℃，7月份平均氣溫28.4 ℃，1月份平均氣溫15.5 ℃，年平均降水量為1 400～1 700 mm，且干濕明顯，5－10月為雨季[32]。

地面調(diào)查時間為2017年10月，共獲得當(dāng)?shù)厮尽⒏收?、香蕉、菠蘿和桉樹5類地面覆被類型（以下統(tǒng)稱“作物”）的830個樣本點（地面數(shù)據(jù)），如圖1所示。水稻、甘蔗、香蕉、菠蘿和桉樹的樣本數(shù)量分別為179，215，53，44和339。5類作物中，水稻包括早稻和晚稻，生育期分別為每年的3月初－7月中下旬和8月初－11月底；甘蔗的生育期為每年的3月中旬－第二年的2月中旬；香蕉、菠蘿、桉樹的生育期一般分別為2～4、1.5～2和4～6 a。

1.2 SAR時間序列

本研究使用S1A衛(wèi)星IW模式下Level-1產(chǎn)品中GRD影像的VH和VV極化數(shù)據(jù)。該產(chǎn)品具有12 d的重訪周期，最高分辨率為10 m，可以通過ESA的Sentinels Scientific Data Hub網(wǎng)站（https://scihub.copernicus.eu/dhus/）獲取?；赟entinel應(yīng)用平臺(SNAP)的開放源碼軟件6.0.0版本對S1A數(shù)據(jù)進行預(yù)處理。預(yù)處理步驟如下：

1）輻射校正。根據(jù)S1A數(shù)據(jù)中的元數(shù)據(jù)信息生成與雷達后向散射系統(tǒng)直接相關(guān)的影像。本研究使用Level-1產(chǎn)品查找表中的帶返回像素值。

2）正射校正。為了補償影像的幾何變形，利用距離多普勒地形正射校正步驟1）中輸出的影像。

3）重新投影。使用雙線性插值將經(jīng)過正射校正的SAR影像進一步重新采樣到10 m的空間分辨率。然后重新投影到1984世界大地測量系統(tǒng)（world geodetic system, WGS-84），北緯49°帶的通用橫向墨卡托（universal transverse mercator, UTM）坐標系。

4）斑點過濾。應(yīng)用7×7的Gamma-MAP濾波器[33]過濾影像的顆粒噪音。

5）將經(jīng)過斑點濾波的影像轉(zhuǎn)換為后向散射系數(shù)（dB）標度，并歸一化為0～255之間的值。

在2017年主要作物（水稻和甘蔗）生長季內(nèi)（2017年3月初－2018年2月底），S1A對該研究區(qū)域重復(fù)訪問30次。雙極化（VH、VV）通道共得到60幅圖像，每類作物在VV、VH極化方式下后向散射系數(shù)的時間分布如圖2所示，每個時間序列由30個點組成。水稻、甘蔗、香蕉、菠蘿和桉樹的VH/VV均值依次為?17.562/?10.634、?16.117/?10.130、?11.905/?4.772、?13.352/?13.352和?14.302/?14.302；VH/VV方差依次為1.264/0.917、1.521/1.231、1.327/1.267、1.942/1.674、0.506/0.355，如圖3所示。

圖1 研究區(qū)域和采樣點分布

圖2 不同極化方式下五類作物的后向散射系數(shù)時間序列

圖3 不同極化方式的五類作物后向散射系數(shù)均值和方差

2 研究方法

本研究的技術(shù)路線如圖4所示。

注：X表示極化類型，包括VV, VH, VH+VV三類，L表示Sentiel-1A數(shù)據(jù)獲取日期的個數(shù)。

具體步驟如下：

1）數(shù)據(jù)預(yù)處理，并根據(jù)地面樣點數(shù)據(jù)提取相應(yīng)位置的VH、VV的后向散射系數(shù)時間序列（=30個）；

2）利用全時間序列數(shù)據(jù)（=30個）訓(xùn)練1D CNN和RF以獲得最優(yōu)參數(shù)，稱其為分類器。需要說明的是，隨機選擇每種作物類型的80%構(gòu)成訓(xùn)練集，其余20%用于測試集；

3）執(zhí)行增量訓(xùn)練。從第一次數(shù)據(jù)獲取開始，在每個S1A影像獲取時間點輸入之前所有數(shù)據(jù)來訓(xùn)練分類器在該點的其他參數(shù)；

根據(jù)總體準確性和Kappa系數(shù)以及每個作物時間序列的準確性分析網(wǎng)絡(luò)性能。對VV, VH和 VH+VV極化數(shù)據(jù)分別執(zhí)行以上步驟。

2.1 1D CNN

與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，CNN通過卷積核進行局部連接和權(quán)重共享，不僅減少了參數(shù)數(shù)量，而且降低了模型復(fù)雜度，更適用于大數(shù)據(jù)量的圖像處理[34]。卷積層通過計算卷積核與覆蓋區(qū)域信號值的點積來確定神經(jīng)元的輸出。1D CNN利用一維卷積核來捕捉輸入序列的時間模式或形狀[35]。

在1D CNN的訓(xùn)練過程中，每一層輸入數(shù)據(jù)的分布都會因為前一層參數(shù)的變化而變化。如果每批（batch）訓(xùn)練數(shù)據(jù)的分布各不相同，網(wǎng)絡(luò)在每次迭代都去學(xué)習(xí)適應(yīng)不同的分布，這將會降低網(wǎng)絡(luò)的訓(xùn)練速度。此外，訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)的分布不同，網(wǎng)絡(luò)的泛化能力將大大降低[3,36]，本研究通過增加批量歸一化層（batch-norm）來解決該問題。

針對基于時間序列數(shù)據(jù)的作物分類，本研究構(gòu)建的1D CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示，包括2個卷積層（Conv1/Conv2）、2個批量歸一化層（Batch-Norm）、2個修正線性單元（Relu）、2個全連接層（Full-Con1/Full-Con2）。卷積核的通道（Channel）數(shù)與輸入數(shù)據(jù)的通道數(shù)相同。

圖5 1D CNN架構(gòu)

2.2 RF分類器

RF分類器[37]通過擬合多個簡單決策樹分類器的結(jié)果來提高分類精度并控制過擬合。為了降低算法的復(fù)雜度和樣本子集之間的相關(guān)性，當(dāng)決策樹達到最大深度或者當(dāng)節(jié)點上的樣本數(shù)小于最小樣本閾值時，RF分類器便停止決策樹的構(gòu)造。已有研究表明，在基于時間序列數(shù)據(jù)的作物識別中，與SVM等機器學(xué)習(xí)方法相比，RF具有精度高、計算速度快、參數(shù)易調(diào)整的特點[2,12]?？紤]到模型輸入的特征量最高為60個，即S1A對研究區(qū)域重復(fù)訪問30次,雙極化（VH、VV）通道共得到60幅圖像，本研究選擇RF與1D CNN進行比較分析。

2.3 超參數(shù)訓(xùn)練

超參數(shù)訓(xùn)練的目標是得到每種極化方式（VV, VH, VH+VV）下1D CNN和RF的最優(yōu)超參數(shù)，稱其為分類器。訓(xùn)練標準通常是用最少計算量獲得最高分類精度。本研究中，1D CNN和RF模型需要訓(xùn)練的超參數(shù)如表1所示。模型的輸入為全時間序列（=30個）極化數(shù)據(jù)。由于不同作物的樣本數(shù)量分布不均勻，試驗隨機選取每類作物樣本的80%為訓(xùn)練集，其余20%樣本為測試集。

1D CNN 的訓(xùn)練采用Adam優(yōu)化器，該優(yōu)化器已被證明優(yōu)于其他隨機優(yōu)化方法[38]，并在一些時間序列的分類任務(wù)中得到了成功的應(yīng)用[25,39]。其他參數(shù)根據(jù)經(jīng)驗設(shè)置，如濾波器的寬度一般設(shè)置為3～5，以獲取局部時間信息特征[40-41]。圖5中Conv1和Conv2的卷積核（寬×高×輸入通道×輸出通道）分別為5×1×1×16，4×1×16×14。

2.4 時間序列增量訓(xùn)練

時間序列增量訓(xùn)練[3]目標是得到每個時間點上的1D CNN和RF模型的所有參數(shù)。首先，設(shè)置2017年主要作物（水稻和甘蔗）生長季內(nèi)（2017年3月初－2018年2月底）首次獲得S1A數(shù)據(jù)的日期2017年3月10日為開始時間點；然后在每個S1A影像獲取時間點輸入之前所有數(shù)據(jù)來訓(xùn)練分類器在該點的其他參數(shù)；最后得到每個Sentinel-1A數(shù)據(jù)獲取時間點基于2017年3月10日到該時間點的所有數(shù)據(jù)的分類模型。對3種極化數(shù)據(jù)（VV、VH或VH+VV）分別執(zhí)行以上操作。每個時間點將有1D CNN（VV、VH、VH+VV）和RF（VV、VH、VH+VV）共6個分類模型。

軟件環(huán)境：開發(fā)平臺Python的版本為3.6；基于Tensorflow-gup深度學(xué)習(xí)架構(gòu)構(gòu)建1D CNN網(wǎng)絡(luò)，版本為1.13.1；RF分類器的實施基于Python庫Scikit-learn，版本為0.19.1。

表1 1D CNN和RF模型的超參數(shù)

3 結(jié)果與分析

3.1 時間序列SAR數(shù)據(jù)對南方作物的識別能力分析

圖6、圖7為1D CNN和RF模型在測試集S1A（VV、VH、VH+VV）時間序列上分類精度的演變。

圖6 1D CNN模型的時間序列增量分類Kappa系數(shù)

圖7 RF模型的時間序列增量分類Kappa系數(shù)

由Kappa系數(shù)趨勢線[44]可知：

1）不同極化方式的S1A數(shù)據(jù)在2類模型中具有相似的特征：VV極化數(shù)據(jù)分類精度最低；VH+VV極化數(shù)據(jù)分類精度最高；VH極化數(shù)據(jù)分類精度接近于VH+VV，且在每個時間點的精度都高于VV。此外，VV極化方式下Kappa系數(shù)最大值為0.796，出現(xiàn)在圖6中2017年12月23日。說明VV單極化數(shù)據(jù)難以完成該地區(qū)的作物分類任務(wù)。

因此，本文重點分析VH和VH+VV極化方式對作物早期識別的影響。圖6、圖7中，大部分時間的VH+VV極化的Kappa系數(shù)均高于VH，詳細分析如表2所示。相對于VH極化，VH+VV極化不僅整體精度更高，而且Kappa系數(shù)首次大于等于0.8的日期更早。因此，VH+VV極化方式下的散射數(shù)據(jù)在早期作物識別中更有優(yōu)勢。

2）就不同時間序列對分類精度的影響而言：5月21日之前，Kappa系數(shù)基本處于低水平波動狀態(tài)，這時候多數(shù)作物還未進入快速成熟期；5月下旬到10月中旬之間，Kappa系數(shù)快速上升，在這期間增加時相，構(gòu)建時間序列能夠有效提高作物識別精度；10月24日之后Kappa系數(shù)趨于穩(wěn)定，基本處于小幅波動，這時候雙季晚稻和甘蔗成熟。

表2 Kappa系數(shù)分析

3.2 1D CNN 和RF 在作物早期識別中的表現(xiàn)

圖8為1D CNN和RF模型基于VH+VV極化測試數(shù)據(jù)集的Kappa系數(shù)的時間序列曲線。由圖可知，兩者非常接近。1D CNN和RF 的Kappa系數(shù)最大值分別為0.924（2018年01月28）和0.916（2017年12月11日），這充分說明利用作物生長季內(nèi)全時間序列數(shù)據(jù)訓(xùn)練1D CNN的超參數(shù)，進而利用時間序列增量訓(xùn)練每個時間點分類模型（包含所有參數(shù)）是有效的。

圖8 VH+VV極化下時間序列增量分類的Kappa系數(shù)

針對作物早期分類任務(wù)，根據(jù)“生長季早期”的定義，研究區(qū)域內(nèi)第6個月－第9個月是指2017年8月－2017年11月。1D CNN 和RF模型的Kappa系數(shù)連續(xù)大于0.85的時間分別為2017年09月06日－2017年09月18日和2017年09月30日－2017年10月12日。根據(jù)研究區(qū)域內(nèi)作物的生育期可知，09月06日－10月12日在雙季晚稻和甘蔗生育期結(jié)束之前。為深入分析不同作物早期識別的最佳時間，表3給出了利用1D CNN和RF模型對測試集不同作物的[45]時間序列。用于度量測試集的準確性，平衡了分類結(jié)果的準確率和召回率。

根據(jù)表3可知，基于1D CNN 和VH+VV后向散射系數(shù)分類結(jié)果表明：1）香蕉和桉樹幾乎在每個時間點的-都大于0.8，香蕉在2017年07月08日已經(jīng)可以完全識別（= 1）；2）隨著時間序列的增加，水稻的分類精度呈平穩(wěn)增長，在2017年07月20日達到0.853，這與早季水稻進入收割期后向散射系數(shù)突降有關(guān)；3）2017年09月18日甘蔗的達到0.875，早于甘蔗收割期4～5個月；4）菠蘿的在2017年09月30日達到1。

表3 不同模型下五種作物的F-measure時間序列

此外，基于RF模型和VH+VV后向散射系數(shù)分類結(jié)果表明：1）香蕉和桉樹的都大于0.8，但是香蕉完全識別的日期（2017年08月01日）比1D CNN 晚了24 d；2）水稻的同樣在2017年07月20日出現(xiàn)較高增長，到達0.872，略大于1D CNN模型；3）甘蔗的F-measure在2017年10月12日達到0.854，比1D CNN模型早了12 d；4）菠蘿的在2017年10月24日達到1。

需要說明的是，在2017年08月13日，菠蘿的值在1D CNN 和RF模型中均出現(xiàn)大幅度下降，分別為0.308和0.364。結(jié)合圖2和圖3可知，在5種作物中，菠蘿在2017年生長季內(nèi)VV和VH極化值變化最大，尤其是05月09日－08月25日期間，與水稻和甘蔗的后向散射系數(shù)曲線多次相交，這導(dǎo)致這個時間段內(nèi)菠蘿的曲線變化劇烈，8月初該地區(qū)早稻已經(jīng)收割，晚稻開始出苗，一定程度上影像了菠蘿時間特征的提取。

4 討 論

本研究使用中國湛江地區(qū)S1A時間序列數(shù)據(jù)，評估了1D CNN模型在作物早期分類中的應(yīng)用和VV、VH和VH+VV極化數(shù)據(jù)在早期作物分類中的效果。使用2017年生長季節(jié)30個全時間序列S1A數(shù)據(jù)來訓(xùn)練1D CNN模型的超參數(shù)，稱為分類器；然后，從第一次數(shù)據(jù)獲取開始，在每個S1A影像獲取時間點輸入該點之前（包括該點）生長季內(nèi)所有數(shù)據(jù)訓(xùn)練分類器在該點的其他參數(shù)。

首先，無論是1D CNN方法還是經(jīng)典RF模型，基于S1A VH+VV、VH和VV時間序列數(shù)據(jù)的分類精度依次降低。說明S1A雙極化數(shù)據(jù)（VH+VV）對研究區(qū)域的作物分類具有重要價值。值得注意的是，本研究同時下載了光學(xué)傳感器Sentinel-2在2017年生長季研究區(qū)域內(nèi)33幅光學(xué)圖像，其中只有6幅沒有云層覆蓋。因此，具有12 d重訪期的S1A SAR不僅可以在任何天氣條件下獲取數(shù)據(jù)，而且可以對作物生長進行精確的時間跟蹤，對作物早期分類非常重要。

其次，圖8中1D CNN的Kappa系數(shù)曲線與RF的 Kappa系數(shù)曲線非常接近。這也證明了本研究提出的1D CNN訓(xùn)練方案有效。利用全時間序列數(shù)據(jù)訓(xùn)練1D CNN的超參，然后在每個S1A影像獲取時間點輸入之前所有數(shù)據(jù)來訓(xùn)練分類器在該點的其他參數(shù)。這對早期分類任務(wù)中精確提取作物時間特征具有重要意義。避免了Cai等方案中每個時間點利用同一個1D CNN網(wǎng)絡(luò)對作物進行分類。

此外，每類作物的分類精度是隨時間變化的，不同作物最早達到≥0.85的時間是不同的。Cai等證明了使用不同年份的時間序列數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)模型的所有參數(shù)的有效性，本研究在作物制圖任務(wù)中可以選用不同年份的數(shù)據(jù)來訓(xùn)練1D CNN，進而根據(jù)不同作物的需求選擇用于制圖的時間序列數(shù)據(jù)。

最后，分析結(jié)果表明了所提出1D CNN 的訓(xùn)練方案的有效性。盡管1D CNN的性能幾乎與RF相似，但深度學(xué)習(xí)模型具有其他方法所沒有的優(yōu)勢。例如，端到端的訓(xùn)練可以學(xué)習(xí)手工特征模型無法獲得的長期依賴性和表示形式。因此，在不久的將來，深度學(xué)習(xí)方法將在作物早期識別中發(fā)揮重要的作用。

5 結(jié) 論

本文以中國湛江為研究區(qū)域，評估了高時空分辨率的Sentinel-1A（S1A）數(shù)據(jù)（VV、VH、VH+VV）在我國南方作物早期識別中的潛力，并研究了深度學(xué)習(xí)技術(shù)中一維卷積神經(jīng)網(wǎng)絡(luò)（1D CNN）在作物早期識別中的效果。主要結(jié)論如下：

1）針對研究區(qū)域內(nèi)5種作物識別。無論是采用經(jīng)典的機器學(xué)習(xí)模型RF還是1D CNN，S1A VH和VH+VV極化方式下的后向散射系數(shù)均具有良好的效果，其中VH+VV的分類精度更高，Kappa系數(shù)分別為0.924（1D CNN）和0.916（RF）。表明S1A時間序列數(shù)據(jù)是該區(qū)域中作物識別的有效數(shù)據(jù)源，其中以VH+VV雙極化數(shù)據(jù)分類效果最佳。

2）針對研究區(qū)域內(nèi)5種作物早期識別。1D CNN在2017年作物生長季早期2017年9月-2019年11月，能夠識別出5種作物，且每類作物≥0.85。表明本研究在每個S1A數(shù)據(jù)獲取時間點的分類模型是有效的。

3）本研究提出的1D CNN 訓(xùn)練方案的核心是利用生長季節(jié)全時間序列數(shù)據(jù)來訓(xùn)練1D CNN的超參數(shù)，然后從第一個時間點開始，執(zhí)行增量訓(xùn)練過程，在每個S1A影像獲取時間點輸入該點之前（包括該點）生長季內(nèi)所有數(shù)據(jù)來訓(xùn)練分類器在該點的其他參數(shù)。避免了已有研究中每個時間點利用同一個1D CNN網(wǎng)絡(luò)對作物進行分類。為深度學(xué)習(xí)方法在作物早期識別中的應(yīng)用提供了新的視角。

需要說明的是，1D CNN具有多種潛在的網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)，在作物早期分類中的應(yīng)用有待進一步挖掘。未來的工作將側(cè)重于基于深度學(xué)習(xí)技術(shù)的作物繪圖，挖掘不同深度學(xué)習(xí)模型在多源遙感數(shù)據(jù)作物制圖中的潛力，以期為中國農(nóng)業(yè)監(jiān)測提供基礎(chǔ)數(shù)據(jù)。

[1] Thenkabail P S . Global croplands and their importance for water and food security in the Twenty-first Century: Towards an ever creen revolution that combines a second green revolution with a blue revolution[J]. Remote Sensing, 2010, 2(9): 2305－2312.

[2] Jordi I , Marcela A , Benjamin T , et al. Assessment of an operational system for crop type map production using high temporal and spatial resolution satellite optical imagery[J]. Remote Sensing, 2015, 7(9): 12356－12379.

[3] Inglada J, Vincent A, Arias M, et al. Improved early crop type identification by joint use of high temporal resolution SAR and optical image time series[J]. Remote Sensing, 2016, 8(5): 362.

[4] Xie L, Zhang H, Li H, Wang C. A unified framework for crop classification in southern China using fully polarimetric, dual polarimetric, and compact polarimetric SAR data[J]. International Journal of Remote Sensing, 2015, 36: 3798－3818.

[5] Lee J S , Pottier E. Polarimetric Radar Imaging: Basics to Applications, Second Edition[M]. Boca Raton: Crc Press, 2009.

[6] S R Cloude, Howard Zebker. Polarisation: Applications in remote sensing[J]. Physics Today, 2010, 63(10): 53－54.

[7] Mosleh M , Hassan Q , Chowdhury E . Application of remote sensors in mapping rice area and forecasting its production: A review[J]. Sensors, 2015, 15(1): 769－791.

[8] Jiang H, Li D, Jing W, et al. Early season mapping of sugarcane by applying machine learning algorithms to sentinel-1A/2 time series data: A case study in Zhanjiang City, China[J]. Remote Sensing, 2019, 11(7): 861.

[9] Rogan J, Franklin J, Roberts D A. A comparison of methods for monitoring multitemporal vegetation change using thematic mapper imagery[J]. Remote Sensing of Environment, 2002, 80(1): 143－156.

[10] Xie Y, Sha Z, Yu M. Remote sensing imagery in vegetation mapping: A review[J]. Journal of plant ecology, 2008, 1(1): 9－23.

[11] Drusch M, Del Bello U, Carlier S, et al. Sentinel-2: ESA’s optical high-resolution mission for GMES operational services[J]. Remote sensing of Environment, 2012, 120: 25－36.

[12] Onojeghuo A O, Blackburn G A, Wang Q, et al. Mapping paddy rice fields by applying machine learning algorithms to multi-temporal Sentinel-1A and landsat data[J]. International journal of remote sensing, 2018, 39(4): 1042－1067.

[13] Hao P, Zhan Y, Wang L, et al. Feature selection of time series MODIS data for early crop classification using random forest: A case study in Kansas, USA[J]. Remote Sensing, 2015, 7(5): 5347－5369.

[14] Ndikumana E, Ho Tong Minh D, Baghdadi N, et al. Deep recurrent neural network for agricultural classification using multitemporal SAR Sentinel-1 for Camargue, France[J]. Remote Sensing, 2018, 10(8): 1217.

[15] Conrad C, Dech S, Dubovyk O, et al. Derivation of temporal windows for accurate crop discrimination in heterogeneous croplands of Uzbekistan using multitemporal RapidEye images[J]. Computers and Electronics in Agriculture, 2014, 103: 63－74.

[16] Foerster S, Kaden K, Foerster M, et al. Crop type mapping using spectral–temporal profiles and phenological information[J]. Computers and Electronics in Agriculture, 2012, 89: 30－40.

[17] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436－444.

[18] Ru?wurm M, K?rner M. Multi-temporal land cover classification with sequential recurrent encoders[J]. ISPRS International Journal of Geo-Information, doi:10.3390/ijgi7040129

[19] Werbos P J. Backpropagation through time: what it does and how to do it[J]. Proceedings of the IEEE, 1990, 78(10): 1550－1560.

[20] Wang Z, Yan W, Oates T. Time series classification from scratch with deep neural networks: A strong baseline[C]// 2017 international joint conference on neural networks (IJCNN). IEEE, 2017: 1578－1585.

[21] Giles C L, Miller C B, Chen D, et al. Extracting and learning an unknown grammar with recurrent neural networks[C]// Advances in neural information processing systems. 1992: 317－324.

[22] Lawrence S, Giles C L, Fong S. Natural language grammatical inference with recurrent neural networks[J]. IEEE Transactions on Knowledge and Data Engineering, 2000, 12(1): 126－140.

[23] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735－1780.

[24] Cho K , Van Merrienboer B , Bahdanau D , et al. On the properties of neural machine translation: Encoder-decoder approaches[J]. Computer Science, doi：10.3390/ijgi7040129

[25] Ru?wurm M, Korner M. Temporal vegetation modelling using long short-term memory networks for crop identification from medium-resolution multi-spectral satellite images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017: 11－19.

[26] Zhong L, Hu L, Zhou H. Deep learning based multi-temporal crop classification[J]. Remote sensing of environment, 2019, 221: 430－443.

[27] Kogan F, Kussul N N, Adamenko T I, et al. Winter wheat yield forecasting: A comparative analysis of results of regression and biophysical models[J]. Journal of Automation and Information Sciences, 2013, 45(6) : 68－81.

[28] Bermudez J D, Feitosa R Q, Achanccaray P M, et al. Evaluation of recurrent neural networks for crop recognition from multitemporal remote sensing images[C]//Anais do XXVII Congresso Brasileiro de Cartografia, 2017.

[29] Sak H, Senior A, Beaufays F. Long short-term memory recurrent neural network architectures for large scale acoustic modeling[C]//Fifteenth annual conference of the international speech communication association, 2014: 337—342.

[30] Gamboa J C B. Deep learning for time-series analysis[J]. Computer Science: arXiv preprint arXiv:1701.01887, 2017: 1－13.

[31] Cai Y, Guan K, Peng J, et al. A high-performance and in-season classification system of field-level crop types using time-series Landsat data and a machine learning approach[J]. Remote sensing of environment, 2018, 210: 35－47.

[32] 王壬，陳建耀，江濤，等近30年雷州半島季節(jié)性氣象干旱時空特征[J]. 水文，2017(37)：36－41.

Wang Ren, Chen Jianyao, Jiang Tao, et al. Spatiotemporal characteristics of seasonal meteorological drought in leizhou peninsula during 1984-2013[J]. Journal of China Hydrology, 2017(37): 34－41. (in Chinese with English abstract)

[33] Frost V S, Stiles J A, Shanmugan K S, et al. A model for radar images and its application to adaptive digital filtering of multiplicative noise[J]. IEEE Transactions on pattern analysis and machine intelligence, 1982 (2): 157－166..

[34] O'Shea K, Nash R. An introduction to convolutional neural networks[J]. Computer Science: arXiv preprint, arXiv: 1511.08458, 2015: 1—11.

[35] Wei H , Yangyu H , Li W , et al. Deep donvolutional neural networks for hyperspectral image classification[J]. Journal of Sensors, 2015, 2015: 1－12.

[36] Jaderberg M, Simonyan K, Zisserman A. Spatial transformer networks[C]//Advances in neural information processing systems, 2015: 2017－2025.

[37] Michie D, Spiegelhalter D J, Taylor C C. Machine learning[J]. Neural and Statistical Classification, 1994, 13: 1－4.

[38] Kingma D P , Ba J . Adam: A method for stochastic optimization[J]. Computer Science: arXiv:1412.6980, 2014: 1－15.

[39] Karim F, Majumdar S, Darabi H, et al. Multivariate lstm－fcns for time series classification[J]. Neural Networks, 2019, 116: 237－245.

[40] Hatami N, Gavet Y, Debayle J. Classification of time-series images using deep convolutional neural networks[C]//Tenth International Conference on Machine Vision (ICMV 2017). International Society for Optics and Photonics, 2018: 1－8.

[41] Zheng Y, Liu Q, Chen E, et al. Time series classification using multi-channels deep convolutional neural networks[J]. Springer, doi: 10.1007/978-3-319-08010-9_33

[42] Tatsumi K, Yamashiki Y, Torres M A C, et al. Crop classification of upland fields using Random forest of time-series Landsat 7 ETM+ data[J]. Computers and Electronics in Agriculture, 2015, 115: 171－179.

[43] Goldstein B A, Polley E C, Briggs F B S. Random forests for genetic association studies[J]. Statistical Applications in Genetics and Molecular Biology, 2011, 10(1): 1－34.

[44] Congalton R G. A review of assessing the accuracy of classifications of remotely sensed data[J]. Remote Sensing of Environment, 1991, 37(1): 35－46.

[45] Sasaki Y. The truth of the F-measure[J]. Teach Tutor mater, 2007, 1(5): 1－5.

Early growing stage crop species identification in southern China based on sentinel-1A time series imagery and one-dimensional CNN

Zhao Hongwei1,2, Chen Zhongxin1,2,3※, Jiang Hao4,5,6, Liu Jia1,2

(1.,,100081,; 2.,100081,; 3.(),00153; 4.,510070,; 5.,510070,; 6.,510070,)

Timely and accurate estimation of the area and distribution of crops is vital for food security. In previous research, the main challenges of early crop identification in southern China were: 1) cloudy days are frequent; 2) most parcels are small and crop types are variant; 3) high spatial and temporal resolution synthetic aperture radar (SAR) data is lack. The European Space Agency Sentinel-1A (S1A) satellite, which recently became operational, is a satellite system providing global coverage of SAR with 12-days revisit period at high spatial resolution at 10 m. This provides a new opportunity for early crop identification in southern China. Compared with classical machine learning methods, deep learning has many advantages, such as end-to-end training, mobility, it provides a new chance for using high spatio-temporal data efficiently. One-dimensional convolutional neural network (1D CNN) and recurrent neural network (RNN) have been shown to be effective deep learning methods for extracting temporal features for classification tasks. However, the parameters (but not hyper-parameters) of RNN are determined by the length of the time series. Compared with RNN, 1D CNN has the advantages of simple structure and few parameters, but very few studies have applied 1D CNN to time series data for early stage crop’s identification at present. In this study, we proposed to combine 1D CNN hyper-parameters training with an incremental time series training method to attain a classification model for each time point in the growth season. Firstly, we trained the 1D CNN hyper-parameters using the full time series data during the growth season, and refer to the 1D CNN with hyper-parameters as a classifier. Then, starting at the first time point, the incremental training process was carried out, at the acquisition time point of each S1A image, input all data in the growing season before (including) the point to train other parameters of the classifier at that point, and then obtained a classification model with all parameter values (including the previous hyper-parameters) at each time point. Finally, test accuracies of each time point were assessed for each crop type to determine the optimal time series length. A case study was conducted in Zhanjiang City, China. To verify the effectiveness of this method, a comparative experiment with the classical random forest (RF) method was carried out. In order to evaluate different polarizations mode (VV, VH, VH+VV) of S1A data for crop classification in the study area, we performed the above training process for each polarization time series data. The results were as follows: 1) the classification accuracies of VH+VV, VH, and VV decrease in order, based on the VH+VV backscatter coefficient time series, the maximum Kappa coefficient values of 1D CNN and RF model were 0.924 and 0.916 respectively, illustrating that S1A time series data was valid for crop classification task in the study area; 2) in the early growing season of 2017 of the study area,of 1D CNN and RF model were above 0.85, which indicated that 1D CNN in this work was effective for early crop classification. All results indicated that the proposed training method of 1D CNN was valid for early stage crop’s classification. At the same time, 33 optical images of sentinel-2 in the study area of 2017 growth season were downloaded, of which only 6 were not hindered by clouds. Therefore, S1A SAR with 12 days revisit period can not only obtain data under any weather conditions, but also track crop growth accurately. This method provides a new perspective for the application of deep learning in early stage crop’s classification tasks. In addition, all parameters of 1D CNN can be trained by using time series data from different years. Although the performances of 1D CNN almost similar to those of the RF, deep learning models have advantages that other methods do not have. Therefore, we believe that deep learning methods will play an important role in early crop identification in the near future.

crops; remote sensing; recognition; early stage; one-dimensional convolutional neural network (1D CNN); deep learning; synthetic aperture radar (SAR); Sentinel-1

趙紅偉，陳仲新，姜 浩，劉 佳. 基于Sentinel-1A影像和一維CNN的中國南方生長季早期作物種類識別[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(3)：169－177.doi：10.11975/j.issn.1002-6819.2020.03.021 http://www.tcsae.org

Zhao Hongwei, Chen Zhongxin, Jiang Hao, Liu Jia. Early growing stage crop species identification in southern China based on sentinel-1A time series imagery and one-dimensional CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(3): 169－177. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.03.021 http://www.tcsae.org

2019-07-28

2019-11-27

高分辨率對地觀測系統(tǒng)重大專項：GF-6衛(wèi)星數(shù)據(jù)大氣校正技術(shù)（30-Y20A02-9003-17/18）；農(nóng)業(yè)農(nóng)村部現(xiàn)代農(nóng)業(yè)人才支撐計劃（農(nóng)業(yè)空間信息技術(shù)創(chuàng)新團隊）項目（914-2）；廣東省農(nóng)業(yè)科技創(chuàng)新及推廣項目（2019KJ102）

趙紅偉，博士，助理研究員，研究方向為農(nóng)業(yè)遙感；農(nóng)業(yè)空間信息技術(shù)應(yīng)用。Email：zhaohongwei@caas.cn

陳仲新，博士生導(dǎo)師，研究員，博士，研究方向為農(nóng)業(yè)遙感；農(nóng)業(yè)空間信息技術(shù)應(yīng)用。Email：chenzhongxin@caas.cn

10.11975/j.issn.1002-6819.2020.03.021

S-1

A

1002-6819(2020)-03-0169-09