邢 瑾

（蘭州大學 資源環(huán)境學院，甘肅 蘭州 730000）

機器學習作為遙感界研究的一個熱點[1]，對于解決遙感數(shù)據(jù)量龐大、傳統(tǒng)的目視解譯費時費力等問題具有重要意義。與一些傳統(tǒng)的統(tǒng)計分類器相比，機器學習分類器具有更多的優(yōu)勢[2]，尤其是對具有更多地表空間結(jié)構(gòu)等細節(jié)信息的高分辨率遙感影像進行面向?qū)ο蠓诸悤r優(yōu)勢更加明顯，現(xiàn)已經(jīng)成為土地覆被分類研究的主要方法[3,4]。多年來，眾多學者對現(xiàn)有的較為熱門的機器學習分類器進行了對比研究[5-9]。Duro等[5]完成參數(shù)調(diào)優(yōu)后對比分析了決策樹、隨機森林和支持向量機三種機器學習算法，表明隨機森林和支持向量機在農(nóng)業(yè)景觀分類方面較有優(yōu)勢；谷曉天等[7]針對復(fù)雜地形區(qū)土地利用/土地覆被分類的情況，采用人工神經(jīng)網(wǎng)絡(luò)、決策樹、支持向量機和隨機森林四種機器學習方法進行對比分析，研究結(jié)果表明：隨機森林和決策樹的分類精度明顯高于支持向量機和人工神經(jīng)網(wǎng)絡(luò)；林卉等[8]使用高分辨率遙感影像基于eCognition軟件對5種面向?qū)ο蠓诸惙椒ǎń?jīng)過多次試驗完成分類參數(shù)設(shè)置）進行了對比研究，試驗結(jié)果表明，支持向量機（Support Vector Machine，SVM）、決策樹（Decision Tree，DT）和隨機森林（Random Forest，RF）的分類速度快精度高。

然而，已有的機器學習分類器對比研究中，對比結(jié)果不盡一致，且沒有對各種分類器超參數(shù)的選取進行一個系統(tǒng)的說明與評價，因此不同方法在其最優(yōu)超參數(shù)設(shè)置條件下對高分辨率遙感影像土地覆被分類效果的影響并不明確。WEKA作為一個公開的數(shù)據(jù)挖掘工作平臺，集合了大量能承擔數(shù)據(jù)挖掘任務(wù)的機器學習算法庫，為各種機器學習技術(shù)提供了一個統(tǒng)一的環(huán)境[10]。其中，廣受關(guān)注的隨機森林（RF）、深度神經(jīng)網(wǎng)絡(luò) （Deep Neural Network，DNN）、支持向量機（SVM）和決策樹（DT）機器學習分類器在WEKA上均有對應(yīng)的算法庫。本文以寧夏回族自治區(qū)中衛(wèi)市WordView3高分辨率多光譜影像為研究數(shù)據(jù)，在WEKA軟件平臺的統(tǒng)一環(huán)境下，對不同機器學習分類器：隨機森林（RF）、深度神經(jīng)網(wǎng)絡(luò)（DNN）、支持向量機（SVM）和決策樹（DT）的超參數(shù)選取與尋優(yōu)進行了系統(tǒng)說明與評價，并對四種分類器在最優(yōu)模型下的分類結(jié)果進行對比分析，探討了不同的機器學習算法對高分辨率影像土地覆被分類效果的影響。

1 研究區(qū)與數(shù)據(jù)

1.1 研究區(qū)概況

中衛(wèi)市位于寧夏回族自治區(qū)中西部，寧夏、內(nèi)蒙古、甘肅三省區(qū)交匯處，是黃河中上游第一個自流灌溉市，其引黃灌溉區(qū)7.4萬hm2，是西北地區(qū)重要的商品糧、水產(chǎn)品和設(shè)施蔬菜生產(chǎn)基地。本文從WordView3影像上選取1個試驗研究區(qū)，其位于中衛(wèi)市以西18km的騰格里沙漠東南邊緣。研究區(qū)尺寸為1113×1092像素，區(qū)域范圍約為4.86km2（圖 1(a)）。該研究區(qū)土地覆被類型較為豐富，根據(jù)2007年國家標準《土地利用現(xiàn)狀分類》可分為7個一級類：耕地、園地、林地、住宅用地、交通運輸用地、水域及水利設(shè)施用地和其他用地，13個二級類：水田、水澆地、休耕地、果園（由于本研究區(qū)存在兩種類型的果園，故將其分為果園1和果園2）、其他林地、農(nóng)村宅基地、公路用地、農(nóng)村道路、溝渠、坑塘水面、水庫水面、空閑地和裸土地（表1）。

圖1 (a)研究區(qū)WordView3影像，(b)目視解譯結(jié)果

表1 研究區(qū)分類系統(tǒng)及訓練樣本數(shù)

1.2 數(shù)據(jù)介紹與預(yù)處理

該研究選取的WordView3多光譜影像數(shù)據(jù)獲取日期為2016年7月8日，是識別植被的理想季節(jié)。該影像的8個多光譜波段（海岸藍、藍、綠、黃、紅、紅邊、近紅外1、近紅外2），空間分辨率為2m。在進行試驗之前，使用FLAASH對影像進行輻射定標和大氣校正。由于該區(qū)位于黃河沖積平原，地勢平坦，因此未對該影像進行正射校正。

本文使用eCognition商業(yè)軟件中的分型網(wǎng)絡(luò)演化算法（Fractal Net Evolution Approach，F(xiàn)NEA）完成研究區(qū)影像的多尺度分割，基于Liu等[11]提出的不一致評價法分割參數(shù)優(yōu)選模型，確定影像的最優(yōu)分割參數(shù)組合，尺度因子：50、形狀因子：0.9、緊湊度因子：0.8，得到的2542個影像對象。

分類器的訓練和客觀的精度評價結(jié)果需要合適的訓練和驗證數(shù)據(jù)集。因此，本文在研究區(qū)中生成600個隨機點，將隨機點所在位置的對象作為訓練樣本，各類地物的訓練樣本個數(shù)見表1。并將影像目視解譯結(jié)果作為分類精度的驗證數(shù)據(jù)集 （圖1(b)）。采用Relief F[12]和PSO[13]混合特征選擇算法進行特征優(yōu)選，優(yōu)選出研究區(qū)地物的最優(yōu)特征組合，包括12種光譜特征、7種幾何特征、12種紋理特征和5種自定義光譜特征。

2 分類器算法

目前，在面向?qū)ο笥跋裢恋馗脖环诸愌芯恐凶畛Ｓ玫臋C器學習算法是前面提到的四種機器學習分類器。機器學習模型的超參數(shù)是模型外部的配置，是在開始學習之前設(shè)置的參數(shù)。通常情況下，需要對超參數(shù)進行優(yōu)化，給機器學習選擇一組最優(yōu)超參數(shù)，以提高學習的性能和效果。表2列出了四種分類器需要輸入的超參數(shù)。

表2 四種機器學習算法的超參數(shù)

2.1.1 深度神經(jīng)網(wǎng)絡(luò)（DNN）

神經(jīng)網(wǎng)絡(luò)是一種分類器算法，它模擬人類神經(jīng)突觸傳遞信號并將其轉(zhuǎn)化為信息[14]。DNN由輸入層、輸出層和兩個及兩個以上隱含層組成的神經(jīng)網(wǎng)絡(luò)[15]，其中，輸入層中的每個神經(jīng)元表示訓練數(shù)據(jù)中的一個特征；輸出層中的每個神經(jīng)元表示一種類別。結(jié)構(gòu)上層與層之間是全連接的，將上一層的輸出作為下一層的輸入進行學習，原始特征經(jīng)過多個層的逐層非線性變換，將初始樣本的特征空間轉(zhuǎn)化到另一個特征空間，來實現(xiàn)對現(xiàn)有特征更好地特征表達[16]。形式上，第 i+1層輸出的激活函數(shù) α（i+1）由輸入層導出：

i指特定的層，wi和 b(i)為i層的權(quán)重和偏置，σ代表激活函數(shù)，本文將采用線性整流函數(shù)Relu作為激活函數(shù)。

2.1.2 隨機森林（RF）

隨機森林（RF）是由Breiman[17]提出的一種集成分類和回歸樹（CART）的分類器。該算法的核心思想就是：假設(shè)N個具有M個特征的訓練樣本，通過自助法（Bootstrap）重采樣技術(shù)從N個原始訓練樣本集中有放回地重復(fù)隨機抽取一定數(shù)量的樣本生成新的訓練樣本集合，然后根據(jù)新生成的樣本集合建立P個決策樹，在數(shù)據(jù)分割每個內(nèi)部節(jié)點的過程中,只有M個特征中的K個被隨機選擇并被用于區(qū)分不同的類，最后根據(jù)所建立的這些決策樹的分類結(jié)果采用多數(shù)投票法將所有決策樹得到的分類結(jié)果進行綜合從而得到最終的分類結(jié)果[18]。

2.1.3 支持向量機（SVM）

支持向量機（SVM）算法是Vapnik等人在20世紀60年代提出并在90年代開始迅速發(fā)展并逐漸完善和成熟的一種機器學習算法[19]。其核心思想就是將樣本向量通過采用非線性核函數(shù)的方式映射到更高維的特征空間中，繼而在高維空間中尋找一個滿足分類要求的最優(yōu)分類超平面，能夠使劃分兩個類的超平面的間隔最大化。

2.1.4 決策樹（DT）

決策樹（DT）是一種分類算法，其思想是基于從上到下、遞歸的分治策略，選擇某個屬性放置在根節(jié)點，為每個可能的屬性值產(chǎn)生一個分支，將實例分成多個子集，每個子集對應(yīng)一個根節(jié)點的分支，然后在每個分支上遞歸地重復(fù)這個過程。當所有實例有相同的分類時，停止。本文將使用比較成熟的C4.5進行試驗。

3 實驗與分析

針對研究區(qū)數(shù)據(jù)集，采用十折交叉驗證方法作為四種機器學習分類器最優(yōu)超參數(shù)組合的選擇依據(jù)。選擇交叉驗證正確率最高的超參數(shù)組合作為該分類器的最優(yōu)超參數(shù)組合。

為了保證所有機器學習分類結(jié)果具有可比性，在相同的影像分割，訓練樣本集，特征提取下，本文所采用的四種機器學習分類器均基于WEKA平臺。由于DNN需要最多的用戶輸入超參數(shù)，若為DNN分類器測試所有的超參數(shù)組合是不現(xiàn)實的，所以本文采用三階段由粗到細的方式分別對四種算法篩選最優(yōu)超參數(shù)，表3中依次列出了四種機器學習分類器在三階段篩選中各自超參數(shù)的范圍。

3.1 DNN

對于DNN分類器，第一階段，關(guān)于正則化系數(shù)、迭代次數(shù)和學習率三種超參數(shù)，采用Ng提出的迭代測試和指數(shù)式修改超參數(shù)的方法[20]?？紤]到優(yōu)選超參數(shù)組合過程中時間和內(nèi)存空間的限制，DNN的結(jié)構(gòu)應(yīng)該相對簡單，因此，隱含層數(shù)選擇2、3、4層。Ng提出每一隱含層神經(jīng)元的數(shù)量應(yīng)該大于或等于輸入特征的數(shù)量，這樣才能構(gòu)造更好的DNN[20]，本文數(shù)據(jù)集優(yōu)選的特征數(shù)量為36，最終分類結(jié)果為14類，因此，我們采用 14、36、72（特征數(shù)量的2倍）作為隱含層的神經(jīng)元數(shù)，并采用網(wǎng)格搜索法遍歷不同隱含層的DNN結(jié)構(gòu)。第一階段共檢測1191個超參數(shù)排列。第二階段，以下情況中，交叉驗證的正確率高于其他超參數(shù)組合：隱含層數(shù)為4，各隱含層的神經(jīng)元數(shù)為[72-36-14-72]，正則化系數(shù)從0.0000001到0.00001，迭代次數(shù)從3到30，學習率從0.0003到0.001。第二階段中，確定隱含層數(shù)為4，隱含層的神經(jīng)元數(shù)為[72-36-14-72]，其他超參數(shù)的變化如下：正則化系數(shù)從0.0000001到0.0000003，增量為0.0000002，從 0.000001到 0.000009，增量為0.000001；迭代次數(shù)從4到29，增量為1；學習率從0.0003到0.001，增量為0.0001。第二階段共檢測2002個超參數(shù)排列。第三階段，在交叉驗證的正確率高于其他組合的情況下，隱含層數(shù)和隱含層神經(jīng)元數(shù)同第二階段一致，確定迭次數(shù)為18，學習率為0.01，正則化系數(shù)從 0.0000001到 0.0000009，在此階段中，正則化系數(shù)的變化增量為0.0000001。第三階段共檢測9個超參數(shù)排列，經(jīng)過三階段的搜索，找出適合本研究區(qū)數(shù)據(jù)集的DNN最優(yōu)超參數(shù)組合為：隱含層數(shù)4，各隱含層節(jié)點數(shù)[36-72-14-72]，正則化系數(shù)0.0000003，迭代次數(shù)18，學習率0.01。

3.2 RF

對于RF，測試它的兩個超參數(shù)，樹木的數(shù)量（P）和每次分裂的特征數(shù)量（K）。第一階段：P從1到481，481為訓練樣本的總數(shù)，以50為增量，K從1到36，36為優(yōu)選特征數(shù)，以1為增量。第二階段：P從350到450，以10為增量，K從1到36，以1為增量。第三階段：P從420到440，以1為增量，K為4。經(jīng)過812個超參數(shù)檢測，確定RF的最優(yōu)超參數(shù)組合為：樹木的數(shù)量424，每次分裂的特征數(shù)量4。

3.3 SVM

SVM采用和DNN相同的策略尋找最優(yōu)的超參數(shù)組合，測試參數(shù)見表3，經(jīng)過220次超參數(shù)組合確定最終的超參數(shù)組合為：懲罰系數(shù)94，伽馬系數(shù)0.03。

3.4 DT

對于DT，測試它的兩個超參數(shù)的組合，所需實例的最小數(shù)量（最小樣本數(shù)）和置信系數(shù)。最小樣本數(shù)按照RF的超參數(shù)P的找尋策略，置信系數(shù)按照DNN的策略尋找最優(yōu)的超參數(shù)組合。經(jīng)過262個超參數(shù)檢測，確定DT的最優(yōu)超參數(shù)組合為：最小樣本數(shù)16，置信系數(shù)0.01。

3.2 分類結(jié)果分析

表3 分類器的超參數(shù)搜索

圖3 分類結(jié)果圖（左上：DNN分類結(jié)果，右上：RF分類結(jié)果，左下：SVM分類結(jié)果，右下：DT分類結(jié)果）

依據(jù)所確定的最優(yōu)超參數(shù)組合得到四種機器學習分類器的最優(yōu)模型，從而對研究區(qū)進行土地覆被分類。四種分類器的分類結(jié)果如圖2所示。

對比四種分類結(jié)果，從整體效果上觀察，四種分類器得到的分類結(jié)果大致相似，但RF、DNN和SVM的分類結(jié)果要明顯好于DT的分類結(jié)果。從DT分類生成的分類圖中可以觀察到DT分類圖左上方水庫旁邊的部分其他林地被分成果園2，這可能是由于其他林地和果園2具有相似的光譜和紋理特征造成的。在RF、DNN和SVM三種分類圖中，水庫水面上方有三塊明顯被分類為坑塘水面，但DT將其正確分類，這可能是由于這三塊與坑塘水面的光譜特征較為相似，使得RF、DNN和SVM三種分類器未能找到合適的區(qū)分特征將其區(qū)分。

將四種分類結(jié)果與圖1（b）的目視解譯結(jié)果作比較，可以發(fā)現(xiàn)，四種分類器得到的分類結(jié)果與實際地物基本吻合，但用不同的機器學習分類器均存在一些錯分現(xiàn)象，且錯分對象不完全一致，這可能是由于不同機器學習算法對不同地物的識別特征不一致。水澆地和裸土地的錯分情況比較嚴重，四個分類圖中右側(cè)和中間下側(cè)的水澆地大部分被誤分成水田。右側(cè)的農(nóng)村宅基地被錯分成裸土地。還存在一些其他類別之間的錯分現(xiàn)象，例如，水田與果園2、農(nóng)村宅基地與農(nóng)村道路、森林與果園2等。大部分錯分現(xiàn)象主要是因為光譜和紋理相似性，比如說在標準假彩色的影像中，水澆地內(nèi)部的一些對象與水田和果園2都呈現(xiàn)鮮紅色；森林與果園2在紋理方面都較為粗糙，且光譜上也表現(xiàn)為紅色；農(nóng)村宅基地與農(nóng)村道路和裸土地都高亮顯示在影像上。

為了定量評價四種機器學習分類器的分類效果，采用總體精度、卡帕系數(shù)，混淆矩陣、用戶精度和生產(chǎn)者精度來客觀評價四種分類器的分類效果，評價結(jié)果如表4所示。總體精度方面除DT的分類精度較低外，其它三種機器學習分類器的分類精度都達到了77%以上。RF的分類精度最高，為80.8%，DNN次之，為77.5%，SVM為77.0%。除DT的卡帕系數(shù)在0.7以下，RF、DNN和SVM的卡帕系數(shù)分別為0.78、0.74和0.73，隨機森林的卡帕系數(shù)最高。

為了檢測每種土地覆被類型的分類精度，分析了各分類圖的混淆矩陣以及由此產(chǎn)生的用戶精度和生產(chǎn)者精度。可以發(fā)現(xiàn)，各分類器的大部分土地類型的分類精度高低走勢大致一致，例如，溝渠和水庫水面的類別精度均較高，生產(chǎn)者精度和用戶精度均在81%以上；，水澆地、農(nóng)村道路和裸土地的分類精度都較低，最低者接近40%?？傮w來看，生產(chǎn)者精度和用戶精度同時高于80%的類別，DNN和RF均有6種，SVM有4種，而DT只有2種，除個別地物DT的分類精度較高外，例如，DT分類結(jié)果中水庫水面的生產(chǎn)者精度高于其他三種分類結(jié)果，達到97.7%，其他類別的分類精度都較低，例如，其他林地的生產(chǎn)者精度低于另外三種分類結(jié)果，僅有40.8%，所以DT的總體精度和卡帕系數(shù)均低于其他三種分類器的分類精度。除去這些個別情況外，各類地物的精度均RF的分類精度最高，DNN次之，SVM略低于DNN，DT最低，所以在本研究區(qū)的機器學習分類器的對比試驗中，無論是定性分析還是定量分析，RF的分類結(jié)果均最佳。

5 結(jié)論

針對不同機器學習分類器在最優(yōu)超參數(shù)組合下對分類結(jié)果的影響并不明確的問題。本文基于Wordview3多光譜遙感影像數(shù)據(jù)，完成隨機森林（RF）、深度神經(jīng)網(wǎng)絡(luò)（DNN）、支持向量機（SVM）和決策樹（DT）四種機器學習分類器在土地覆被分類研究中的系統(tǒng)分步指導和對比分析。系統(tǒng)的討論了四種機器學習分類器在選取最優(yōu)超參數(shù)組合的詳細過程，從分類效果和分類精度方面對比分析了在最優(yōu)超參數(shù)組合下四種機器學習分類器的分類結(jié)果。對比結(jié)果表明：四種機器學習分類器均可以將研究區(qū)的各類地物區(qū)分開，并且得到不錯的分類效果；在相同的影像分割，訓練樣本集，特征提取下，使用不同的機器學習分類器均存在一些錯分現(xiàn)象，且錯分對象不完全一致；從分類圖效果和總體分類精度上，RF，DNN和SVM的分類效果和分類精度明顯優(yōu)于DT，其中RF的分類精度最高，總體精度達到80.8%，卡帕系數(shù)達到0.78，見表4。

表4 四種機器學習分類器精度評價表

SVM 0101 0102 0103 0201 0202 0301 0401 0501 0502 0601 0602 0603 0701 0702 總和 用戶精度0101 536 66 13 4 8 44 12 0 2 2 0 0 0 0 687 78.0%0102 6 110 16 0 1 2 4 0 2 0 0 1 0 1 143 76.9%0103 3 8 183 8 1 2 0 1 2 0 0 0 2 0 210 87.1%0201 12 3 14 109 2 8 0 0 1 1 0 0 0 0 150 72.7%0202 1 1 2 0 51 3 0 0 0 0 0 0 0 0 58 87.9%0301 59 15 15 8 21 232 20 0 9 0 0 0 4 1 384 60.4%0401 9 19 6 1 2 20 398 1 14 0 1 4 5 8 488 81.6%0501 0 1 0 0 0 0 1 29 0 1 0 0 0 1 33 87.9%0502 4 1 2 0 0 6 5 1 68 4 1 0 4 3 99 68.7%0601 0 1 1 0 0 0 3 0 1 39 0 1 0 1 47 83.0%0602 0 0 0 0 0 0 0 0 0 0 30 8 1 0 39 76.9%0603 0 0 0 0 0 0 2 0 0 0 4 115 0 1 122 94.3%0701 0 0 0 0 0 0 0 0 0 0 0 2 38 0 40 95.0%0702 0 2 1 0 0 2 15 0 3 0 0 1 1 17 42 40.5%總和 630 227 253 130 86 319 460 32 102 47 36 132 55 33 2542生產(chǎn)者精度85.1%48.5%72.3% 83.8% 59.3% 72.7% 86.5% 90.6% 66.7% 83.0% 83.3% 87.1% 69.1% 51.5% 77.0%、0.73 DT 0101 0102 0103 0201 0202 0301 0401 0501 0502 0601 0602 0603 0701 0702 總和 用戶精度0101 493 45 0 1 9 40 4 0 0 0 0 0 0 0 592 83.3%0102 14 96 17 0 2 23 2 0 1 0 0 0 0 0 155 61.9%0103 1 7 174 3 0 1 1 10 0 0 2 0 1 1 201 86.6%0201 39 9 21 118 2 36 13 0 2 1 3 0 3 0 247 47.8%0202 31 15 4 0 64 62 6 0 1 0 0 0 1 0 184 34.8%0301 33 11 19 6 7 130 8 0 0 0 0 0 0 1 215 60.5%0401 5 21 8 1 1 11 329 0 10 1 0 2 7 4 400 82.3%0501 0 0 0 0 0 0 0 21 0 0 0 0 0 0 21 100.0%0502 14 23 9 1 1 15 89 1 87 4 0 1 10 7 262 32.2%0601 0 0 1 0 0 0 0 0 1 41 0 0 0 0 43 95.3%0602 0 0 0 0 0 0 0 0 0 0 28 0 0 0 28 100.0%0603 0 0 0 0 0 0 8 0 0 0 3 129 0 1 141 91.5%0701 0 0 0 0 0 0 0 0 0 0 0 0 33 0 33 100.0%0702 0 0 0 0 0 1 0 0 0 0 0 0 0 19 20 95.0%總和 630 227 253 130 86 319 460 32 102 47 36 132 55 33 2542生產(chǎn)者精度78.3%42.3%68.8% 90.8% 74.4% 40.8% 71.5% 65.6% 85.3% 87.2% 77.8% 97.7% 60.0% 57.6% 69.3%、0.65