司凱凱，汪傳建，趙慶展*，楊啟原，任媛媛，袁盼麗

(1 石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院/兵團空間信息工程技術(shù)研究中心，新疆 石河子 832003；2 安徽大學(xué)互聯(lián)網(wǎng)學(xué)院，安徽 合肥 230039)

新疆境內(nèi)種植面積最大的農(nóng)作物是棉花，其產(chǎn)量占全國棉花產(chǎn)量84%以上，近年來，中國棉花主產(chǎn)區(qū)已經(jīng)從長江流域、黃河流域、新疆“三足鼎立”演變?yōu)樾陆耙患要毚蟆盵1]，新疆已經(jīng)成為全國最重要的棉花生產(chǎn)基地，及時準確的提取棉花種植區(qū)域?qū)ο嚓P(guān)部門制定政策有著重要的作用。

棉花種植區(qū)域的主要特點在于棉花的種植面積巨大，依靠傳統(tǒng)方法抽樣調(diào)查，手動估算，費時費力，難以快速準確的獲得棉田的種植區(qū)域[2-5]，基于傳統(tǒng)方法存在這種缺點,衛(wèi)星遙感由于監(jiān)測范圍大的緣故已廣泛用于農(nóng)作物的提取，如高時間分辨率的MODIS數(shù)據(jù)，在大面積作物種植信息提取中的應(yīng)用較多[6-9]，實現(xiàn)了小麥、玉米和大豆等農(nóng)作物的分類識別和種植結(jié)構(gòu)的提取研究。比MODIS數(shù)據(jù)分辨率高的中等分辨率的landsat 8遙感影像應(yīng)用范圍應(yīng)用比較廣，如闞志毅等[10]使用landsat 8在分析各個行政分區(qū)的地表覆蓋狀況、作物結(jié)構(gòu)和地塊破碎度差別的基礎(chǔ)上,該模型在提取不同空間分布特征的冬小麥種植面積具有較好的精度，landsat 8遙感影像在草原檢測、土地分類等方面也有一定的應(yīng)用，實現(xiàn)了很好的分類與檢測效果[11-12]。

隨著深度學(xué)習(xí)技術(shù)的興起，由于深度學(xué)習(xí)技術(shù)能夠提取出圖像的高層語義特征，許多學(xué)者將深度學(xué)習(xí)技術(shù)應(yīng)用到農(nóng)作物分類上來[13-15]，但是，對于該類方法來說，需要海量的數(shù)據(jù)進行模型的學(xué)習(xí)，而實際情況卻是，農(nóng)田區(qū)域都處于農(nóng)村地區(qū)，遙感數(shù)據(jù)保存不易。此外，由于云層過厚等特殊的天氣原因?qū)?dǎo)致影像質(zhì)量難以利用，作物生長期的遙感數(shù)據(jù)缺失情況時有發(fā)生，導(dǎo)致了遙感影像數(shù)據(jù)量難以滿足深度學(xué)習(xí)模型的要求，這些情況的出現(xiàn)給我們實際應(yīng)用造成了很大的困難。為了解決這些問題，許多學(xué)者將時間序列應(yīng)用到深度學(xué)習(xí)模型上[16-18]，取得了較好的分類效果。而對于一些常見的遙感影像，如landsat 8遙感影像，其重訪時間達到了16 d以上，如MODIS數(shù)據(jù)，其重訪時間為3 d，空間分辨率僅僅為250 m，時間分辨率和空間分辨率限制了我們在農(nóng)田分類方面的應(yīng)用，而對于分辨率較高的高分數(shù)據(jù)等，其獲取價格卻是十分昂貴，這些數(shù)據(jù)在一定情況下限制了遙感技術(shù)在農(nóng)業(yè)方面的發(fā)展，而Sentinel-2影像在時間分辨率、空間分辨率、獲取難度上相較于其他遙感影像都有一定程度的改善，為農(nóng)作物在分類方面提供了新的思路[19-20]。Deeplabv3+作為Deeplab的改進型網(wǎng)絡(luò)，結(jié)合了ASPP模塊與編碼器—解碼器結(jié)構(gòu)，在有效捕獲多尺度信息的同時，能夠獲得更清晰的分割對象邊界[21]，在道路[22]、水體[23]、綠地[24]、農(nóng)用地[16]等方面均得到了較好的結(jié)果。

針對傳統(tǒng)方法耗時耗力，數(shù)據(jù)利用不充分，難以快速準確獲取棉田種植區(qū)域的問題,將Deeplabv3+模型應(yīng)用到棉花提取上面來，使用棉花生長期內(nèi)時序遙感影像，以新疆維吾爾自治區(qū)尉犁縣為研究區(qū)，Sentinel-2遙感影像為數(shù)據(jù)源,通過依次加入最優(yōu)提取時相來獲得適合棉花提取的最優(yōu)時相組合，為棉花在數(shù)據(jù)不足及快速準確提取方面提供一定的參考。

1 資料與方法

1.1 研究區(qū)概況

衛(wèi)星遙感數(shù)據(jù)獲取區(qū)域位于新疆維吾爾自治區(qū)尉犁縣，西部為塔克拉瑪干沙漠，東部為庫木塔格沙漠，介于40°47′～40°58′N，86°47′～87°07′E之間，屬暖溫帶大陸性荒漠氣候，溫度的年月變化大，最熱月與最冷月的平均氣溫差高達36 ℃左右，降水稀少，且年際變化大，光照充足，適合棉花種植，其余還散布著一些香梨、棗樹、水域等豐富的地物類別。

1.2 遙感數(shù)據(jù)獲取與預(yù)處理

據(jù)歐空局介紹，哨兵2號衛(wèi)星共有兩顆衛(wèi)星，其中在2015年發(fā)射的一顆衛(wèi)星名為“哨兵-2A”衛(wèi)星，2017年發(fā)射的另一顆衛(wèi)星名為“哨兵-2B”，兩顆衛(wèi)星為同一組，兩者之間相互補充，每5天可完成一次對地球赤道地區(qū)的完整成像。Sentinel-2遙感影像地面分辨率分別包含有10 m、20 m和60 m，是唯一一個在紅邊范圍含有3個波段的光學(xué)遙感影像，有利于監(jiān)測植被的健康信息。為了找出最適合提取棉花的時相，從歐空局哥白尼數(shù)據(jù)中心(https://scihub.copernicus.eu/dhus/#/home)獲取了2019年棉花生長期內(nèi)4月—10月的遙感影像，在保證影像質(zhì)量和生長期內(nèi)各個時相影像均有的前提下，選取了以下7幅棉花生長期內(nèi)的Sentinel-2遙感影像，影像采集時間如表1所示：

表1 影像獲取日期

為了獲取地物真實反射率情況，對哨兵-2號10 m分辨率遙感影像進行輻射定標、大氣校正和裁剪，并將地實測地物數(shù)據(jù)和對應(yīng)Google Earth的衛(wèi)星數(shù)據(jù)作為數(shù)據(jù)集制作的參考。

由于研究區(qū)的地物類型復(fù)雜，為了更好獲得棉花種植區(qū)域，將研究區(qū)的地物劃分為3個類別，棉花、非棉花農(nóng)用地及背景，并對預(yù)處理獲得的TIF文件進行切分并獲得樣本尺寸為256×256大小的訓(xùn)練樣本，篩選去除掉農(nóng)作物種植區(qū)域占比較少的小圖，每個時相獲得有效樣本小圖66張，并對獲得的小圖進行旋轉(zhuǎn)，濾波，亮度變化進行數(shù)據(jù)增強，并將每個時相的訓(xùn)練樣本增強到594張，數(shù)據(jù)預(yù)處理過程如圖1所示。

圖1 數(shù)據(jù)集制作過程

1.3 野外數(shù)據(jù)采集及研究區(qū)作物信息

野外調(diào)查數(shù)據(jù)采集時間是2019年7月1日—7月5日，根據(jù)研究區(qū)特點，選擇駕車和步行相結(jié)合的方式，進行隨機打點并記錄地物類型，共采集1 807個樣本點，其中有1 008個樣本點地物類型為棉花，其余點為香梨、棗樹，建筑物，水體，沙漠等地物。根據(jù)野外調(diào)查結(jié)果可知，研究區(qū)的主要農(nóng)作物有棉花、香梨和棗樹，且由于作物生長方式不同，棉花一般在每年4月初進行種植，而香梨棗樹等作物一般是多年種植，在3月中旬由于該地區(qū)氣溫回暖，此時兩種作物在此時已處于萌芽期，生長情況有一定的差異。

1.4 Deeplabv3+網(wǎng)絡(luò)棉花提取模型

1.4.1 Deeplabv3+網(wǎng)絡(luò)結(jié)構(gòu)

DeepLabv3+網(wǎng)絡(luò)是由Deeplabv3網(wǎng)絡(luò)添加解碼器改進而來，由Encoder-Decoder架構(gòu)和空間金字塔池塊(Atrous Spatial Pyramid Pooling, ASPP)構(gòu)成，其主體部分是帶有空洞卷積的深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)，Deeplabv3+改進Deeplab的部分正在于解碼器部分，該部分可以很好的將高層特征與底層特征進行融合，更好的提高分割效果[25]。其整體架構(gòu)如圖2所示。

1.4.2 精度評價指標

考慮到本文的分割類別為3分類，為了合理的對模型的棉花提取效果進行評價，本文選取棉花的準確度(Precision，P)、召回率(Recall，R)、F1值、交并比(Intersection over Union，IoU)作為分類結(jié)果的評價指標[26]，計算公式為：

(1)

(2)

其中，真陽性(True Positive，TP)這被正確分類為棉花數(shù)目的值，假陽性(False Positive，F(xiàn)P)代表非棉花的地物被錯誤的分類為棉花，假陰性(False Negative，F(xiàn)N)代表棉花被錯分為背景或非棉花地物，準確度(P)在識別為棉花的數(shù)目中確實為棉花的比例，召回率(R)代表實際識別出為棉花的地物占總棉花地物的比例，而此時可能出現(xiàn)實際識別出的棉花并不是真正的棉花而是其他地物，即假陽性。為了平衡P和R的關(guān)系，引入F1[26]兩者進行調(diào)和，棉花的IoU則是為了更好的反映類別在遙感影像進行分割時的準確性與完整性，其計算公式為：

(3)

(4)

1.4.3 分段函數(shù)評估模型建立

由于Deeplabv3+提取結(jié)果的指標及相互對比較多，為了進一步的使用模型對時相組合之間的提取效果進行較快的量化比較，更快得出提取效果的優(yōu)劣，摒棄了一般深度學(xué)習(xí)模型的多個指標比較，引入高等數(shù)學(xué)間斷函數(shù)[27]的方法，選取了綜合P和R的F1指數(shù)和表征分割完整性的IoU指數(shù)結(jié)合進行整體評價，建立簡單的間斷函數(shù)對兩種組合之間的提取效果進行快速比較，簡化模型如下：

(5)

其中Fi,Fj表示第i,j時相組合的F1值，Ui,Uj表示第i,j時相(或組合個數(shù))的IoU值，用單一數(shù)值函數(shù)Iij進行評價各時相及其組合提取效果的比較，其函數(shù)取值情況如下：

Iij=

(6)

其函數(shù)Iij表示取值表示時相組合取值的效果好壞，取值為2時表示第i時相的提取效果F1指數(shù)與IoU指數(shù)均比j時相的值大，提取效果最好，取值為1時表示第i時相的提取效果的F1和IoU兩個指數(shù)其中一個相等，一個大于第j時相的指數(shù)，提取效果較好，取值為0表示i時相的提取效果的F1和IoU兩個指數(shù)分別大于小于第j時相的指數(shù)，提取效果不相上下，無法判斷，函數(shù)Iij取值為負時，比較結(jié)果相反。

1.5 研究方法

結(jié)合以上數(shù)據(jù)處理過程并設(shè)計以下技術(shù)路線：(1)結(jié)合模型對單時相Sentinel-2遙感影像進行提??；(2)使用評估函數(shù)單月份時相提取結(jié)果進行提取效果的比較，并對單月份時相提取效果進行排序；(3)依次加入提取效果最佳的時相進行棉花提取，并獲得棉花提取的最優(yōu)時相組合；(4)在最優(yōu)時相組合下使用本文模型與SegNet和U-Net進行對比分析，本文的技術(shù)路線如圖3所示。

圖3 技術(shù)路線圖

2 結(jié)果與分析

2.1 Deeplabv3+模型對單時相遙感影像進行棉花提取

為了獲取棉花提取的最優(yōu)時相及其組合，使用本文模型對棉花生長周期的每個時相進行逐一提取，提取結(jié)果如表2所示。

對該結(jié)果使用評估模型進行兩兩的比較，函數(shù)Iij取值結(jié)果如表3所示。

其中表3中第一列的月份值為式(5)中的i，第二行的月份值為式(5)中的j，那么從表3可知：

I67=2,I78=2,I89=2,I910=0,I104=2,I45=2。

(7)

根據(jù)該分段函數(shù)評估結(jié)果式(7)我們可以發(fā)現(xiàn)，模型單時相提取效果從高到低排序為6月時相、7月時相、8月時相、9月時相或10月時相，4月時相，5月時相，當(dāng)時相為6時遙感影像的提取效果最好，準確率、召回率、F1指數(shù)和IoU值可達到0.86、0.89、0.88、0.78，其中提取效果7月時相和8月時相與6月時相相比略低一些，而對于9月時相和10月時相，提取效果較為相近，時相為4時提取效果比5時相提取效果好，F(xiàn)1和IoU指數(shù)分別高出5%和7%。

表2 模型單時相提取結(jié)果

表3 分段函數(shù)評估模型單時相比較

2.2 Deeplabv3+模型對不同時相遙感影像組合進行棉花提取

為了獲得最優(yōu)提取時相組合，通過Deeplabv3+模型使用準確率P、召回率R、F1指數(shù)和交并比IoU對棉花提取時相及其組合對棉花的提取效果進行衡量，分別從上表按提取效果依次加入最佳的時相進行棉花提取。式(7)中我們可以看出，在使用Deeplabv3+模型對單時相棉花遙感影像進行提取時，函數(shù)I910=0，9月時相與10月時相的遙感影像兩者的提取效果相差不大，而當(dāng)分別訓(xùn)練6月、7月、8月、9月時相組合和6月、7月、8月、10月時相組合時，得出加入10月時相組合時的提取結(jié)果P、R、F1、IoU分別為0.93、0.94、0.93、0.87，而加入9月時相的提取結(jié)果為0.90、0.91、0.91、0.84，此時兩種時相組合評估模型的函數(shù)Iij取值為I6 789,67 810=-2，故按提取結(jié)果從高到低的順序并使用分段函數(shù)評估模型對有疑義的組合進行重新排序時，可得該結(jié)果可以按6月、7月、8月、10月、9月、5月、4月進行排列，依次加入單時相進行訓(xùn)練組合，組合方式如表4所示。

表4 多時相影像組合方式

其中1表示該時相遙感影像輸入到神經(jīng)網(wǎng)絡(luò)中進行運算，0表示該時相遙感影像不輸入到神經(jīng)網(wǎng)絡(luò)中進行運算，確定時相組合方式后，將其輸入到網(wǎng)絡(luò)中，它的訓(xùn)練結(jié)果如表5所示。

表5 多時相組合提取結(jié)果

將各時相組合代入到分段函數(shù)評估模型Iij取值結(jié)果有：

I45=2,I53=2,I36=0,I62=1,I27=1,I71=2。

(8)

2.3 遙感影像多時相組合棉花提取結(jié)果及分析

2.3.1 多時相組合遙感影像提取結(jié)果

(1)從式(8)的取值結(jié)果中，我們可以發(fā)現(xiàn)，其多時相棉花提取效果從高到低的順序為4個時相、5個時相、3個時相或6個時相、2個時相、7個時相、1個時相，即在使用時相組合個數(shù)為4個時，所獲得棉花提取效果是最好的，此時多時相月份的組合為6月、7月、8月和10月，棉花的提取效果最好，其P、R、F1、IoU指數(shù)分別為0.93、0.94、0.93、0.87，訓(xùn)練時間適中，適合作為棉花提取的最優(yōu)時相組合，而當(dāng)多時相組合為5時，訓(xùn)練時間開始增加，提取效果開始下降。

(2)由表3可知，在使用單時相影像對棉花進行提取，時相為6時的棉花影像表現(xiàn)最佳，而多時相組合的提取效果整體上要大于單一時相的提取效果，為了進一步分析時相組合影像對棉田提取效果的情況，以棉花的單時相提取最低指標IoU值0.77為基準得圖4，從圖4知棉花單時相提取指標低于所有的組合時相的提取指標，且按單時相提取效果依次對6時相的影像進行組合，此時隨著時相組合個數(shù)的增加，數(shù)據(jù)量也在不斷增加，模型得到充分的訓(xùn)練，對棉花的提取效果逐漸變好，而當(dāng)時相組合個數(shù)為5、6、7時，雖然數(shù)據(jù)依舊在增加，其提取效果卻不再提高，反而有所下降。

2.3.2 對多時相遙感影像提取結(jié)果進行分析

我們從圖5影像中可以發(fā)現(xiàn)，由于研究區(qū)內(nèi)不僅含有棉花，還有其它地物，當(dāng)時相個數(shù)逐漸增加時，圖像信息會變得更多，比如5月遙感影像和6月遙感影像同時輸入到模型中時，此時訓(xùn)練集影像信息將會變得異常豐富，但由于不同地物生長期的不同，雖然同一地物在同一時間所表現(xiàn)出不同的特征，但是在不同時相時，其表現(xiàn)出的特征會發(fā)生類似的情況。

圖4 各月時相組合指標

A為影像的標簽，B，C和D為其不同時相的遙感影像，其中B標注為1的區(qū)域為5月時相非棉花區(qū)域，C標注為2的區(qū)域為6月時相非棉花區(qū)域，D標注為3的區(qū)域為6月時相棉花區(qū)域。圖5 不同時相相同地物光譜差異

從圖5中可以看到，5月遙感影像(圖5標注2)與6月遙感影像(圖5標注3)的特征不相同，但是圖5標注1中與其它地物光譜與圖5標注3中棉花光譜類似，出現(xiàn)了“同物異譜，異物同譜現(xiàn)象”，從而導(dǎo)致影像信息之間發(fā)生了沖突，識別效果發(fā)生了一些下降。

而棉花一般在9月下旬至10月初采摘，相較于9月時相遙感影像，10月時相與其它月份時相的“同物異譜，異物同譜”的現(xiàn)象得到了緩和，與其它地物光譜差異較大，易于區(qū)分，識別精度略有提升。

從圖6中可以看到，標注1(非棉花區(qū)域)與標注2(棉花區(qū)域)光譜較為類似，而到了10月份時，棉花到了收獲期，原種植棉花的地塊變成了裸地，此時標注3(棉花區(qū)域)與標注4(非棉花區(qū)域)差別較大，識別精度得到了一些提升。

因此，按單時相提取效果依次對6時相的影像進行組合，開始時加入7月時相和8月時相時，棉花的提取效果逐漸變好，由于10月棉花已收獲，10月遙感影像類間區(qū)別變大，當(dāng)加入10月遙感影像時，提取效果進一步提升，而當(dāng)再加入9月時相、4月時相和5月時相時，“同物異譜，異物同譜”的現(xiàn)象的出現(xiàn)，此時隨著數(shù)據(jù)量的增加，提取精度并不再增加，而是一點點降低，此時數(shù)據(jù)量的增加對提取效果正面的影響小于“同物異譜，異物同譜”對提取效果負面的影響。因此，棉花的最優(yōu)提取時相組合為6月、7月、8月、10月。

2.3.3 不同網(wǎng)絡(luò)模型在最優(yōu)時相組合下進行對比分析

為了驗證該模型在最優(yōu)時相組合下進行棉花提取效果較好，將最優(yōu)時相組合遙感影像分別輸入到SegNet與U-Net中，它們的提取結(jié)果如表6所示。

此時可以看到，本文模型對比U-Net模型，其準確率、召回率、F1指數(shù)、IoU指數(shù)至少高出4個百分點，而對比SegNet模型，各指數(shù)至少高出16個百分點，棉花提取效果相較于SegNet模型和U-Net模型，其提取效果都有不同程度的提高。為了進一步評價本文模型相較于其它模型的優(yōu)勢，對各模型的提取效果進行了可視化，從圖7中可以看到，本文模型相較于SegNet模型農(nóng)田與農(nóng)田的間隙恢復(fù)較好，對絕大部分地塊的完整性都有很好的表達，而相較于U-Net模型，U-Net模型出現(xiàn)了大塊農(nóng)田的錯分情況。該結(jié)果說明，本文模型對農(nóng)田的完整性，及地塊邊緣的恢復(fù)都有很好的效果，棉田的實際情況可以得到充分表達。

表6 Deeplabv3+、SegNet、U-Net在最優(yōu)時相組合上的提取結(jié)果

A:地物標簽；B:Deeplabv3+;C:SegNet;D:U-Net。圖7 不同網(wǎng)絡(luò)提取結(jié)果

3 結(jié)論

本文通過對棉花生長期內(nèi)Sentinel-2遙感影像輸入到模型中，探究了遙感影像不同時相及時相組合對棉花提取的效果，得出了以下結(jié)論：

(1)使用Sentinel-2單時相遙感影像對棉花進行提取，其在棉花生長周期內(nèi)遙感影像提取效果從高到低依次為6月、7月、8月、10月或9月、4月、5月，在9月和10月均有相似的提取效果，6月時相的遙感影像提取效果最佳。

(2)對Sentinel-2遙感影像按提取效果進行組合發(fā)現(xiàn)，組合時相個數(shù)從1個時相到4個時相時，提取效果逐漸提高，在4個時相時達到最佳，其最優(yōu)的提取時相組合為6月、7月、8月、10月，而當(dāng)組合時相個數(shù)增加到5個及以上時，隨著數(shù)據(jù)量的增加，其棉花提取效果并沒有得到提升，提取效果出現(xiàn)了略微的下降。

(3)通過本文模型與SegNet模型，U-Net模型對比發(fā)現(xiàn)，本文模型對棉田的邊緣信息恢復(fù)較好，農(nóng)田的完整性得到更好的表達，棉田的實際種植區(qū)域可以進行充分完整提取。