王雅慧,陳爾學(xué),郭 穎*,李增元,金玉棟,趙俊鵬,周 瑤
(1. 中國林業(yè)科學(xué)研究院資源信息研究所,北京 100091;2. 喀喇沁旗旺業(yè)甸實驗林場,內(nèi)蒙古 赤峰 024423;3. 赤峰市紅山區(qū)棚戶區(qū)改造辦公室,內(nèi)蒙古 赤峰 024000)
深度學(xué)習(xí)模型是近年來新興的一類機(jī)器學(xué)習(xí)算法,已被有效的應(yīng)用于許多領(lǐng)域當(dāng)中。其中,在遙感領(lǐng)域,該類方法的應(yīng)用效果也得到了有效的證明。對于遙感地物分類的應(yīng)用問題,研究表明全卷積類深度神經(jīng)網(wǎng)絡(luò)方法(Fully Convolutional Networks,F(xiàn)CN)可有效的解決該問題。方旭等[1]證明通過將均值漂移分割算法與FCN-8s方法相結(jié)合能夠有效提高高分辨率遙感影像的分類精度,與傳統(tǒng)機(jī)器學(xué)習(xí)分類方法SVM相比提高了10%以上的精度。鄧國徽等[2]將FCN-8s應(yīng)用于高分遙感數(shù)據(jù)的語義分割,以分割圖像中的施工場地為例,結(jié)果表明:提出的改進(jìn)全卷積網(wǎng)絡(luò)模型能夠較為顯著的提高了施工場地的識別率。Piramanayagam[3]利用FCN將高分辨率遙感影像的光譜信息與DSM的幾何信息有效融合,從而提高了高分辨遙感圖像的語義分割能力。條件隨機(jī)場方法(Conditional Random Field,CRF)作為圖像處理中常用的能量優(yōu)化算法,也已被學(xué)者證明可有效的改善FCN網(wǎng)絡(luò)的分類效果[4-5]。
U-net網(wǎng)絡(luò)是全卷積神經(jīng)網(wǎng)絡(luò)模型中常用的一種,該模型通過一個收縮網(wǎng)絡(luò)以及一個擴(kuò)張網(wǎng)絡(luò),構(gòu)成了一個U型結(jié)構(gòu),與經(jīng)典的FCN網(wǎng)絡(luò)相比,該網(wǎng)絡(luò)在上采樣過程中可以結(jié)合更多層的不同的特征,能夠最大程度地保留下采樣過程中的一些重要的特征信息[6]。研究表明,該類網(wǎng)絡(luò)可有效的進(jìn)行遙感圖像信息提取。陳睿敏等[7]使用UNet深度學(xué)習(xí)模型對紅外遙感影像進(jìn)行5類地物信息提取,其分類效果與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比提高了6%。Li等[8]提出了一種卷積塊代替卷積層的深度卷積神經(jīng)網(wǎng)絡(luò)DeepUNet,提高了海岸線的分割精度。
有研究表明,通過少量的調(diào)整相關(guān)遙感特征,可以優(yōu)化FCN深度學(xué)習(xí)模型的效果[2,9]。鄧國徽等[2]提出了融合藍(lán)板房光譜識別指數(shù)和裸土光譜識別指數(shù)的改進(jìn)全卷積網(wǎng)絡(luò)模型,結(jié)果表明:添加的指數(shù)可以較為顯著的提高了施工場地的識別率;Cao Q等[9]將NDVI與CNN的高級特征進(jìn)行了融合,該算法對土地類型分類效果良好。
本研究借鑒前人對FCN-8s模型的優(yōu)化思路,基于U-net網(wǎng)絡(luò)模型,在模型訓(xùn)練過程中通過在原始波段的基礎(chǔ)上加入NDVI特征,并增加CRF后處理過程,以期改善U-net深度學(xué)習(xí)模型用于森林類型分類的效果。
旺業(yè)甸林場位于赤峰市喀喇沁旗西南部,地理坐標(biāo)為 118°09′~118°30′ E,41°35′~41°50′ N,屬于生態(tài)主導(dǎo)型多功能林業(yè)區(qū)。山體相對高度一般為200~ 400 m, 坡 度 15°~ 35°。 林 場 林 地 面 積2.57萬hm2,其中有林面積是2.33萬 hm2。人工林以油松(Pinus tabulaeformis Carr.)、落葉松(Larix principis-rupprechtii May)為主,天然林的樹種以白樺(Betula platyphylla Suk),山楊(Populus davidiana Dode)等為主。
采用的遙感數(shù)據(jù)為1景GF-2 PMS多光譜遙感影像(空間分辨率為3.2 m),完全覆蓋實驗區(qū)。成像時間為2015年4月26日,這時地表土壤尚未解凍,植被尚未開始萌芽,油松、落葉松和白樺等森林類型在遙感影像上的區(qū)分度較高。
對GF-2多光譜影像進(jìn)行輻射定標(biāo)、大氣校正、正射校正、影像配準(zhǔn)、地形輻射校正等預(yù)處理。首先,對GF-2多光譜影像進(jìn)行輻射定標(biāo)和FLAASH大氣校正,得到地表反射率影像[10]。其次,采用GF-2多光譜影像自帶的RPB文件對地表反射率影像進(jìn)行基于RPC模型的正射校正,所采用的數(shù)字高程模型(DEM)為5 m空間分辨率的ZY-3 DEM;然后,以2 m空間分辨率的ZY-3數(shù)字正射影像產(chǎn)品(DOM)為參考,采用自動匹配算法對上一步產(chǎn)生的“正射校正”結(jié)果影像進(jìn)行影像到影像的配準(zhǔn)處理,并手工采集30個控制點對校正精度進(jìn)行檢驗,東西向誤差為4.05 m,南北向誤差為1.35 m;進(jìn)一步采用VECA地形輻射校正模型[11]和ZY-3 DEM數(shù)據(jù)進(jìn)行了地形輻射校正處理。
收集到研究區(qū)2007年的矢量小班數(shù)據(jù),其數(shù)據(jù)庫包括林種、優(yōu)勢樹種、小班面積、地類等屬性字段,其中優(yōu)勢樹種類型包括油松、落葉松、白樺等,基于該屬性字段制作了小班優(yōu)勢樹種類型分布圖(圖1),這里的小班優(yōu)勢樹種類型和文本的森林類型具有相同含義,可以作為獲取森林類型遙感分類模型訓(xùn)練和精度檢驗樣本的參考數(shù)據(jù)之一。
圖 1 旺業(yè)甸林場優(yōu)勢樹種類型分布圖Fig. 1 Distribution map of dominant tree species in Wangyedian Forest Farm
外業(yè)調(diào)查于2017年9月開展,通過實地調(diào)查,共采樣旺業(yè)甸林場內(nèi)311個樣點,包含的主要森林類型有落葉松、油松、白樺、楊樹、榆樹等,其中分布最為廣泛的為落葉松和油松。圖2給出了所調(diào)查樣點的空間分布,樣點基本覆蓋整個林場,其中油松樣點74個,落葉松69個,白樺46個,其他林地46個,耕地36個以及建設(shè)用地40個。外業(yè)調(diào)查過程中,對所調(diào)查樣點在2015年的實際地類進(jìn)行了分析判斷,確保不會因調(diào)查時間和遙感影像成像時間不一致導(dǎo)致地物類型判斷出現(xiàn)偏差。
圖 2 主要地類的外業(yè)調(diào)查樣點分布圖Fig. 2 Distribution map of field sample points of the major land types
深度學(xué)習(xí)網(wǎng)絡(luò)模型的訓(xùn)練需要輸入塊(Patch)狀的樣本,本研究參考小班優(yōu)勢樹種分布圖(圖1)、外業(yè)調(diào)查數(shù)據(jù),通過目視解譯制作樣本塊。共制作了樣本塊142塊,其中114塊作為訓(xùn)練樣本,28塊作為驗證樣本。從圖3可以看出,訓(xùn)練樣本塊在空間上的分布較均勻,而且作者還特地調(diào)整了各地類樣本像元的數(shù)量,盡量使各類別的樣本像元數(shù)相差不大,但由于研究區(qū)建設(shè)用地太少,其樣本數(shù)量和其他類別差別仍然較大。圖4為各地類樣本像元數(shù)對比圖。所選取的每個樣本塊的大小并不一致,為了訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型的需要,采用最臨近值法將不同大小的樣本塊統(tǒng)一重采樣為256像元×256像元大小。
圖 3 樣本塊的空間分布圖Fig. 3 Spatial distribution of the sample patchs
圖 4 各地類像元數(shù)量Fig. 4 Total pixel number of each land types
為了能夠采用統(tǒng)一的標(biāo)準(zhǔn)比較評價傳統(tǒng)機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)模型,SVM、RF模型的訓(xùn)練和精度檢驗也采用上述的同一套樣本塊。
依據(jù)研究區(qū)出現(xiàn)的地類及其空間分布特點,在外業(yè)調(diào)查數(shù)據(jù)和已有小班數(shù)據(jù)的支持下,通過對GF-2遙感影像進(jìn)行預(yù)分類,對能夠有效區(qū)分的潛在地類進(jìn)行了分析,最終確定了本研究的待分類類別包括:落葉松、油松、白樺、耕地、建設(shè)用地和其他。其中前3個地類屬于有林地的細(xì)分類別,是以林地上林分的優(yōu)勢樹種類型名稱作為類別名稱。其他地類主要包括在該研究區(qū)面積占比很小的樟子松、云杉、榆樹等。
本文研究從3個部分展開分類方法研究:首先,提取NDVI特征,其次,基于NDVI特征和原始影像4個波段,共計5個特征的數(shù)據(jù)構(gòu)建深度U-net模型并進(jìn)行分類;最后,對分類結(jié)果進(jìn)行CRF后處理。在本研究中,將上述流程簡稱為U-net-NDVI-CRF方法。2.2.1 U-net網(wǎng)絡(luò) U-net網(wǎng)絡(luò)由一個收縮網(wǎng)絡(luò)以及一個擴(kuò)張網(wǎng)絡(luò)構(gòu)成,一共包含23個卷積層。其網(wǎng)絡(luò)的結(jié)構(gòu)具體為:收縮網(wǎng)絡(luò)主要用于重采樣的過程,隨著網(wǎng)絡(luò)深度的增加,提取高維抽象特征,每一次重采樣都包含兩個3×3的卷積操作,使用修正線性單元(rectified linear unit,ReLU)作為激活函數(shù)。每一次重采樣的卷積操作將圖片的尺寸變?yōu)樵瓉韴D片尺寸大小的1/2,特征通道變?yōu)樵瓉淼膬杀叮粩U(kuò)張網(wǎng)絡(luò)主要對收縮網(wǎng)絡(luò)中的特征進(jìn)行過采樣的工作,每一次過采樣包含兩個3×3的卷積操作,同樣使用RuLU作為激活函數(shù)。在每一次上采樣后,圖片大小變?yōu)樵瓉淼?倍,特征數(shù)量變?yōu)樵瓉淼?/2[6]。在上采樣操作中,將每一次輸出的特征與對應(yīng)的收縮網(wǎng)絡(luò)特征合并在一起,補全中間丟失的特征信息。最后,加入1×1的卷積操作將之前所獲得的特征映射到所屬類別上[6]。
2.2.2 網(wǎng)絡(luò)訓(xùn)練 U-net模型基于Tensorflow框架訓(xùn)練,使用Adam方法作為優(yōu)化器來訓(xùn)練網(wǎng)絡(luò),學(xué)習(xí)率為0.001。網(wǎng)絡(luò)的權(quán)重共更新10 000次。網(wǎng)絡(luò)在一塊NVIDIA Quadro K5200顯卡上訓(xùn)練,GPU內(nèi)存為8G。
本研究使用SVM和RF分類器作對比實驗[12-13]。針對SVM模型,設(shè)置核函數(shù)為GRBF(Gaussian radial basis function),使用的目標(biāo)函數(shù)類型是C-支持向量分類(C-SVC),最優(yōu)懲罰因子C和核函數(shù)參數(shù)γ進(jìn)行自動尋優(yōu)。針對RF模型,實驗中設(shè)置的決策樹的數(shù)量為100,每個決策樹隨機(jī)選擇的5個特征構(gòu)建模型,并通過投票法得到分類類別。
以外業(yè)調(diào)查樣本地類為各地類真值,對分類的正確性進(jìn)行檢驗,采用的評價指標(biāo)包括分類混淆矩陣,得到制圖精度、用戶精度、總體分類精度及Kappa系數(shù)。
基于U-net-NDVI-CRF方法的分類結(jié)果混淆矩陣如表1所示,總體分類精度達(dá)84.89%,Kappa系數(shù)為0.82。除落葉松和其他地類外,各地類制圖精度均在83%以上。其中,其他地類精度較低,易錯分為白樺,主要原因在于GF-2多光譜數(shù)據(jù)成像時間為冬季,其他地類(主要包括榆樹、楊樹、柞樹等植被類型)均屬于落葉性植被,他們的光譜曲線和NDVI特征與白樺差異較小,容易導(dǎo)致誤分。落葉松存在部分錯分為油松的情況,主要原因在于此季節(jié)的落葉松已經(jīng)開始萌芽,且與油松同屬于針葉林、人工林,在光譜和紋理上具有一定的相似性,造成部分落葉松錯分為油松。
表 1 U-net-NDVI-CRF方法的分類結(jié)果混淆矩陣Table 1 Confusion matrix of U-net-NDVI-CRF classification result
加入NDVI特征前后U-net模型分類精度對比如表2所示。從表中可以看出,加入NDVI特征之后,分類精度得到有效的提高,總體精度提高了2.25%,Kappa系數(shù)提高了0.02,其他地類、耕地、建設(shè)用地的分類精度有顯著提高,其中,其他地類提高了15.22%,耕地提高了13.89%。從分類細(xì)節(jié)圖(圖5)中可以看出,加入NDVI特征可有效改善林地分布區(qū)域的分類效果。
加入CRF前后U-net分類結(jié)果的精度對比如表2所示。在加入CRF后,總體精度較之前提高了0.65%,Kappa系數(shù)提高了0.01,其中,落葉松和其他地類的精度有所提高。從定量上的分析可見,分類精度提升幅度并不大,但從目視角度分析,各類地物之間的邊緣得到細(xì)化。從分類細(xì)節(jié)圖(圖5)可以看出,在其他和白樺混交的區(qū)域,采用CRF后處理分類效果提升的貢獻(xiàn)明顯。
表 2 加入NDVI特征以及CRF前后U-net分類結(jié)果的精度對比Table 2 Accuracy comparison of U-net classification results before and after adding NDVI features and CRF
圖 5 部分油松、落葉松分類結(jié)果細(xì)節(jié)圖Fig. 5 The detailed classification results
為了驗證本研究所設(shè)計的U-net-NDVI-CRF分類方法的有效性,將其與加入NDVI特征的傳統(tǒng)機(jī)器學(xué)習(xí)SVM、RF的分類結(jié)果,加入NDVI特征和CRF的FCN-8s的分類結(jié)果進(jìn)行了比較分析。這4種分類方法的分類結(jié)果如圖6所示,分類精度對比如表3所示。深度學(xué)習(xí)U-net、FCN-8s模型的總體精度和Kappa系數(shù)均高于SVM、RF。U-net的總體精度和Kappa系數(shù)明顯高于其他模型,對油松、白樺、耕地、建設(shè)用地和其他的分類精度均較高,尤其是其他地類的分類表現(xiàn)更為突出。對于落葉松,U-net的分類精度較低,主要原因為落葉松與油松同屬于人工林,在空間特征上存在一定的相似性,使得油松和落葉松存在一定的混淆。對建設(shè)用地,U-net和FCN-8s比SVM或RF改進(jìn)很多,主要是因為此季節(jié)的建設(shè)用地和耕地在光譜上存在一定的相似性,且耕地中的大棚與建設(shè)用地十分相似,U-net和FCN-8s可以自動提取特征以區(qū)分兩個地類,而SVM和RF僅靠光譜特征不能完全將建設(shè)用地與耕地等地類分出。從分類細(xì)節(jié)圖(圖7)可以看出,U-net-NDVI-CRF對油松和落葉松的分類效果要好明顯于其他分類方法。
(1)本研究采用U-net網(wǎng)絡(luò)模型結(jié)合CRF對5個特征(原始四波段以及NDVI)的GF-2 PMS 3.2 m的遙感數(shù)據(jù)進(jìn)行森林類型分類,總體分類精度為84.89%,與傳統(tǒng)的機(jī)器學(xué)習(xí)分類方法RF、SVM在同等五波段時的分類結(jié)果相比,提高了8.04%至12.54%,提升效果顯著,該結(jié)論與已有的將深度學(xué)習(xí)網(wǎng)絡(luò)模型用于土地覆蓋/利用遙感分類的文獻(xiàn)所得到的結(jié)論一致[2,5,9]。
(2)雖然深度學(xué)習(xí)方法,可以自動提取遙感特征,但是現(xiàn)有文獻(xiàn)[2]、[9]表明,可以通過加入NDVI等少量特征可以提高分類精度。本研究為與機(jī)器學(xué)習(xí)分類方法在數(shù)據(jù)上形成對等性,不進(jìn)行過多的手動提取和選擇特征的步驟,選取NDVI與影像原始4個波段組成5個特征的數(shù)據(jù)進(jìn)行分類,機(jī)器學(xué)習(xí)SVM、RF分類精度低于U-net的分類精度。
圖 6 分類結(jié)果 (a) RF;(b) SVM;(c) FCN-8s;(d) U-netFig. 6 Classification result (a) RF; (b) SVM; (c) FCN-8s; (d) U-net
表 3 4種相關(guān)分類方法的分類精度對比Table 3 Comparisons of classification accuracy of four relevant methods
(3)由于采用的遙感影像成像時間和光譜限制,其他地類(主要包括榆樹、楊樹、柞樹等植被類型)均屬于落葉性植被,他們的光譜曲線和NDVI特征與白樺差異較小,造成目視解譯困難,對分類結(jié)果造成了一定的影響。因此,考慮使用生長季影像對其他地類進(jìn)行細(xì)化之后進(jìn)行深度學(xué)習(xí)精細(xì)分類。
(4)本研究實驗采用的數(shù)據(jù)是GF-2 PMS 3.2 m分辨率的遙感數(shù)據(jù),而全色數(shù)據(jù)的分辨率可達(dá)0.8 m,結(jié)合紋理信息豐富的全色數(shù)據(jù)進(jìn)行實驗,對比在更高分辨率下地物的邊緣信息是否更好的保留為下一步的研究方向。且本研究的GF-2 PMS遙感數(shù)據(jù)的時相為4月,使得其他地類的光譜差異不明顯,使用生長季的數(shù)據(jù)進(jìn)行森林類型的精細(xì)分類是下一步的研究方向。
圖 7 局部區(qū)域油松、落葉松4種分類方法的分類結(jié)果對比:(a) GF-2 PMS;(b) 優(yōu)勢樹種分布圖;(c) RF;(d) SVM;(e) FCN-8s;(f) U-net;(g) 圖例Fig. 7 Comparison of classification result of the four classification method for some region: (a) GF-2 PMS;(b) Distribution map of dominant tree species; (c) RF; (d) SVM; (e) FCN-8s; (f) U-net; (g)Legend
針對國家森林資源規(guī)劃設(shè)計調(diào)查業(yè)務(wù)對高分辨率多光譜遙感分類技術(shù)的應(yīng)用需求,發(fā)展了一種深度學(xué)習(xí)森林類型遙感分類方法。研究結(jié)果表明,通過加入NDVI特征可有效提高U-net網(wǎng)絡(luò)森林類型分類結(jié)果的精度,采用CRF后處理則可以有效改善分類效果,且與FCN-8s、SVM、RF相比,優(yōu)化后的U-net分類效果有較大的提升。
與傳統(tǒng)機(jī)器學(xué)習(xí)分類方法相比,本研究所發(fā)展的方法可以自動提取遙感特征,從而可有效避免傳統(tǒng)方法由于手工提取和選擇特征等而導(dǎo)致的分類結(jié)果容易受人為因素影響的問題,具有更高的可操作性。當(dāng)然,目前深度學(xué)習(xí)方法還存在對高性能GPU計算機(jī)依賴性強,模型訓(xùn)練耗時,技術(shù)門檻較高等問題。隨著我國高性能GPU計算機(jī)的快速普及和計算能力的快速提高,這些制約深度學(xué)習(xí)分類方法林業(yè)業(yè)務(wù)化應(yīng)用的障礙將很快得到克服,在本研究研究的基礎(chǔ)上,針對林業(yè)遙感業(yè)務(wù)特點,通過深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的創(chuàng)新設(shè)計,進(jìn)一步提高分類精度和效率,具有重要的研究和應(yīng)用價值。