孫 濤，王 雷，付文博，傅 罡，張 穎

(1.中國水利水電科學研究院，北京 100038；2.水利部防洪抗旱減災工程技術研究中心，北京 100038；3.華中科技大學水電與數(shù)字化工程學院，武漢 430070；4. 清華大學工程物理系，北京 100084)

水利是國民經(jīng)濟和社會發(fā)展的重要設施和基礎產(chǎn)業(yè)[1]，隨著科學技術和信息技術的高速發(fā)展，水利信息化已成行業(yè)趨勢，而水利信息化建設的首要任務則是吸納國內外先進的科學技術成果和信息化建設體系。深度學習作為近幾年高新技術最突出的代表，自2006年，Geoffrey Hinton團隊在科學雜志上公開發(fā)表相關研究內容后，便在各行業(yè)引起廣泛關注[2]。深度學習在特征提取和模擬優(yōu)化上有著獨特的優(yōu)勢，在圖像識別與信息提取、語音識別和計算機視覺領域上有著成熟的運用，在水利行業(yè)上也具有廣泛的應用前景。

1 深度學習原理

1.1 深度學習發(fā)展歷程

深度學習的整個發(fā)展歷程可以分為三個階段，見圖1，第一階段(1943-1969年，雛形期)，該階段最重要的成果便是感知器模型的研發(fā)，盡管該模型簡單，但已體現(xiàn)了現(xiàn)代神經(jīng)網(wǎng)絡輸入線性加權、非線性激活兩個要素，后期被證實只能解決簡單的線性分類問題，應用有限，因此，神經(jīng)網(wǎng)絡研究陷入近20年的低谷期。第二階段(1986-1998年，發(fā)展期)，多層感知器[3]、反向傳播算法[4]的提出使得非線性分類和學習問題得到有效解決，開啟了神經(jīng)網(wǎng)絡研究的第二次熱潮，這一時期，卷積神經(jīng)網(wǎng)絡[5]、LSTM模型[6]、LeNet模型[7]均獲得了較完善的發(fā)展，后期由于BP算法“梯度消失”現(xiàn)象，即網(wǎng)絡最后代價函數(shù)產(chǎn)生的梯度無法有效的向網(wǎng)絡前端傳導，網(wǎng)絡不能得到有效的學習，導致神經(jīng)網(wǎng)絡發(fā)展再次陷入低谷。

第三階段(2006-至今，火熱期)，2006年，Hinton等人通過基于自編碼器(AutoEncoder)的無監(jiān)督預訓練與有監(jiān)督參數(shù)微調相結合的思路，給出了解決深層網(wǎng)絡梯度消失的方法，同時提出了深度學習的概念，至此，神經(jīng)網(wǎng)絡被再次推入大眾視野，深度學習開始飛速發(fā)展。2010年，ReLU(Rectified Linear Units)激活函數(shù)的提出使梯度消失問題得到有效抑制[8]。2012年，在ImageNet圖像分類競賽中，AlexNet網(wǎng)絡模型力壓SVM方法獲得冠軍。隨后的2013-2015年，在歷屆ImageNet競賽中，參賽者通過進一步優(yōu)化網(wǎng)絡結構和訓練方法，并結合GPU進行算法加速，一次次刷新紀錄。2015年，何凱明[9]等人提出深度殘差網(wǎng)絡(Deep Residual Net, ResNet)采用分層預訓練與批歸一化(Batch Normalization, BN)結合的方法，通過引入單位映射網(wǎng)絡分支，極大的增強了深度網(wǎng)絡的表達能力，使得訓練上百層的深層網(wǎng)絡成為可能，該模型在分類、識別等重要視覺任務中均取得巨大成功，而且其網(wǎng)絡結構也成為后續(xù)深度網(wǎng)絡的經(jīng)典結構得以廣泛應用。

圖1 深度學習發(fā)展歷程圖

1.2 深度學習主流方法原理

深度學習是人工神經(jīng)網(wǎng)絡技術框架的最新理論體系，相較傳統(tǒng)的人工神經(jīng)網(wǎng)絡方法，它具有以下特點：①深層模型結構：深度學習模型往往具有更多的隱含層，隨著層數(shù)的增加，參數(shù)也會隨之增加，其表現(xiàn)力更加強大。②多尺度特征表達：深度學習本質上是數(shù)據(jù)特征結構抽象逐層表達的過程，模型中每一層都將上一層的輸出作為輸入進行數(shù)據(jù)結構與特征更高層次的表示，從而構建復雜的數(shù)據(jù)結構，完成對原始數(shù)據(jù)的抽象表達。

在深度學習方法中，卷積神經(jīng)網(wǎng)絡、受限玻爾茲曼機[10]和自動編碼器[11]三種方法最為基本，由該方法及其衍生方法的應用也最為廣泛，見表1與圖2。卷積神經(jīng)網(wǎng)絡是圖像處理領域一種高效的算法，一般由輸入層、卷積層、池化層、全連接層和SoftMax層5種結構組成。卷積神經(jīng)網(wǎng)絡相比其他人工神經(jīng)網(wǎng)絡有著兩個突出的特點：局部感知與權值共享，能有效降低網(wǎng)絡結構中的參數(shù)數(shù)目[12]。受限玻爾茲曼機是由顯性變量和隱性變量構成，在受限玻爾茲曼機模型中，顯性變量和隱性變量之間才會存在映射關系，顯性變量內部間、隱性變量內部間均不存在連接。自動編碼器是由編碼器和解譯器兩部分組成，編碼器的功能是將上層數(shù)據(jù)信號編碼傳遞至下層，而解譯器的功能則是解譯編碼器編碼的數(shù)據(jù)信號。

表1 深度學習主流方法原理

圖2 深度學習主流方法結構示意圖

2 深度學習在水利行業(yè)上的應用

2.1 遙感圖像分類

遙感技術是獲取水文基礎數(shù)據(jù)的有力途徑之一，對于降雨徑流監(jiān)測、下墊面形態(tài)探究等具有重大意義與推動作用。而遙感圖像分類則是遙感技術中的關鍵問題，準確的分類有利于開展多領域研究。遙感圖像分類的方法種類繁多，可以分為監(jiān)督與非監(jiān)督，參數(shù)與非參數(shù)，基于像元、亞像元和對象等不同類別，但由于分類方法受影響因素較多，如遙感數(shù)據(jù)源質量、遙感數(shù)據(jù)預處理方法等，往往都存在較大的改進空間[19]。深度學習作為人工智能最突出的分支代表，其在特征提取上絕對的優(yōu)勢，使其成為遙感圖像分類方向最具潛力，最火熱的方法之一。

2.1.1 遙感影像水體識別與提取

地表水體的空間分布規(guī)律及相關的地理信息對于研究區(qū)域水文與氣象具有重大意義[20]。早期水體分布規(guī)律的探索主要依靠人工勘測和手工測繪，進入信息時代后，遙感技術開始廣泛應用于水體信息提取中，目前，在水體識別提取上應用的比較多的方法主要有單波段閾值法[21]、監(jiān)督分類法[22]、水體指數(shù)法[23]等，但是這些方法需要多次實驗設定閾值，且精度受影像質量及人為影響較大。深度學習在特征提取上具有極大的優(yōu)勢，為遙感圖像水體提取提供了新思路，現(xiàn)今已有專家學者將深度學習方法應用在遙感圖像水體識別上。

2015年，Liu Yang[24]等人建立了一個基于堆疊自動編碼器的水體提取模型。該模型采集當前有用的特征為每個像素構建獨特的特征矩陣，通過考慮相鄰像素的影響擴展特征矩陣來設計特征擴展算法(Feature Expansion Algorithm，F(xiàn)EA)，最后將擴展功能設置為輸入，利用堆疊自動編碼器訓練來提取水體。研究選取了新疆、江蘇、四川三地作為研究區(qū)域，并與SVM和NN算法進行了對比研究，結果表明基于堆疊自動編碼器的水體提取模型優(yōu)于支持向量機模型(SVM)和傳統(tǒng)神經(jīng)網(wǎng)絡模型(NN)。王知音[25]等人同樣選擇了堆疊自動編碼器來構建深度學習模型，并將模型應用在新疆塔里木河流域的遙感影像水體提取上，設置了SVM和BP神經(jīng)網(wǎng)絡與堆疊自動編碼器進行對比研究，最終結果顯示堆疊自動編碼器模型水體提取的精度最高。

Long Yu[26]等人提出了一種基于卷積神經(jīng)網(wǎng)絡和logistic回歸分類器的多光譜數(shù)據(jù)水體提取新方法，選取新疆、湖北、沈陽三地作為研究區(qū)，選擇ANN和SVM法作為對比，最終結果顯示深度學習方法準確率最高。杜敬[27]構建深度卷積神經(jīng)網(wǎng)絡模型進行無人機遙感影像水體識別，并采用支持向量機法、面向對象法進行對比，結果顯示深度學習方法準確識別率為95.36%，精度最高。楊柳[28]則利用了深度學習方法，主要是棧式自編碼器對遙感影像水體識別展開了相關研究，得到結論如下，相比支持向量機模型和人工神經(jīng)網(wǎng)絡模型，棧式自編碼器模型擁有更高的準確率，高達94.35%，而三種模型都在訓練量增大時，準確率都有明顯的上升。

2.1.2 遙感影像土地利用分類

土地利用分類研究對于獲取區(qū)域水文下墊面情況具有重大意義，目前在遙感影像土地利用分類研究上應用得較多的方法主要有：人工智能分類法(像神經(jīng)網(wǎng)絡分類法、決策樹分類法、支持向量機等)、面向對象分類法、遙感與GIS結合法等，深度學習方法作為近幾年火熱的新方法，具有巨大的應用潛力。

馮麗英[29]以高分二號遙感影像作為數(shù)據(jù)源，構建深度卷積神經(jīng)網(wǎng)絡模型，進行土地利用信息提取，并用支持向量機、決策樹、最近鄰分類器三種方法作為對比研究，結果顯示在，在不同的分割尺度和精度評價方法下，精度最高的方法均為深度卷積神經(jīng)網(wǎng)絡。張偉[30,31]則選取不同的深度卷積神經(jīng)網(wǎng)絡模型進行土地利用分類研究，結果顯示AlexNet 精度最高，VGG-16次之，GoogLeNet 精度最低。韓潔[32]等人則構建深度信念網(wǎng)模型對北京市進行城市擴展變化檢測，與ISODATA和最大似然分類器法相比，深度學習方法表現(xiàn)最高的精度，達93.4%。

目前，深度學習在遙感影像水體識別與土地分類上尚處于起步階段，可支撐的文獻較少，縱觀上述文獻，可以發(fā)現(xiàn)，深度學習方法在與支持向量機、決策樹、最近鄰分類器、人工神經(jīng)網(wǎng)絡模型等等方法進行比較研究時，均表現(xiàn)出了極高的優(yōu)越性，證實了深度學習在遙感圖像分類應用上的可行性?，F(xiàn)階段，在應用深度學習方法時，大多還是采取監(jiān)督訓練方法，需要大量的標簽數(shù)據(jù)支撐。而遙感圖像是多波段數(shù)據(jù)，相對于普通圖像，需要預處理和標準化過程來制作標簽數(shù)據(jù)，工作量巨大。其次，在遙感數(shù)據(jù)標準化處理方式也對最終的分類結果有一定的影響。因此，下一階段需要重點研究無監(jiān)督訓練方法，加速遙感圖像預處理工作。

2.2 水質分析預測

水質分析與預測是水資源管理與水污染防治工作展開的基礎，準確把握水質現(xiàn)狀，預測水質未來趨勢對于區(qū)域生產(chǎn)生活與生態(tài)具有重要意義。傳統(tǒng)的水質分析大多依賴于已采集的水質觀測指標(氮、磷等)，而水質指標的采集往往需要復雜的物化過程，存在著費用高、實時性差，覆蓋面窄的問題，難以對整個區(qū)域有很細致的把握。遙感技術的發(fā)達特別是高精度遙感圖像逐漸普及，為水質分析提供了新的應用，深度學習在圖像理解與分析上的優(yōu)越性，使得眾多學者探索深度學習在水質分析上的應用。而在水質預測方面，目前我國常用的水質預測模型為人工神經(jīng)網(wǎng)絡模型，該模型目前還存在著收斂速度慢、精度不高以及推廣性差等問題，迫切需要新理念與方法進行改進創(chuàng)新。

在水質分析方面，黃鴻[33]等人提出了基于隨機子空間深度回歸的分析方法，以深度信念網(wǎng)進行特征提取，BP神經(jīng)網(wǎng)絡進行訓練構建深度學習TOC濃度反演模型，并成功對水體TOC進行了檢測，結果顯示隨機子空間深度回歸方法在濃度反演上相對誤差都在1%以內，精度高于傳統(tǒng)方法。鄭友亮[34]建立了基于卷積神經(jīng)網(wǎng)絡的沿海水質評價模型，以廣東省沿海海域為研究區(qū)域，實現(xiàn)了沿海水質的分類，準確率高達93.75%。

在水質預測方面，姚俊楊[35]等人建立了基于深度置信網(wǎng)的水華預測模型，成功對太湖流域水華爆發(fā)進行了預測仿真，結果顯示向前預測1 d，相對誤差為7.72%，向前預測5 d，相對誤差為7.21%，向前預測10 d，相對誤差為9.3%。王功明[36]等人則以自適應學習率進行深度學習無監(jiān)督預訓練，利用PLSR方法改進深度置信網(wǎng)，構建了基于偏最小二乘回歸自適應深度信念網(wǎng)模型，并利用該模型實現(xiàn)了水處理過程中的出水總磷預測。Archana Solanki[37]等人則利用降噪自動編碼器和深度置信網(wǎng)構建了深度學習模型，并進行了水質參數(shù)預測。田亞蘭[38]等人構建了基于深度置信網(wǎng)的深度學習模型，成功對污水處理數(shù)據(jù)的預測結果進行了預測。

現(xiàn)階段，深度學習在水質分析預測方向上尚處于小范圍的應用，未成體系，大多依靠設定的研究情景才能得出較好的結果。盡管深度學習方法在水質分析上表現(xiàn)出一定的優(yōu)越性，但相比傳統(tǒng)的水質分析方法，該方法顯得效率低下，且耗費巨大。在水質預測方面，深度學習方法的預測精度和收斂速度還需進一步提高。

2.3 水文預報

數(shù)據(jù)驅動型模型是水文預報的主要手段之一。模型一般不直接考慮潛在的物理過程，只依靠歷史水文氣象資料，因此，輸入和參數(shù)較少，較為簡單。盡管模型簡單，但模型的精度卻和歷史數(shù)據(jù)的特征提取和學習直接相關，由于歷史數(shù)據(jù)復雜多樣，難以表示，因此，預測出的結果往往不夠理想。深度學習在特征提取表示上的優(yōu)勢，為水文預報提供了新方法。

Yun Bai[39]等人建立了多尺度深度特征學習方法，進行了三峽庫區(qū)入庫流量的預測。該研究采用集合經(jīng)驗模態(tài)分解和傅立葉級數(shù)提取流入序列的多尺度特征，然后用三個深度置信網(wǎng)絡進行特征表示，最后通過初始化權重，將每個DBN融合成神經(jīng)網(wǎng)絡，建立了深度學習模型。作者選取BP神經(jīng)網(wǎng)絡、支持向量機和基于小波的人工神經(jīng)網(wǎng)絡作為研究對比，結果表明多尺度深度特征學習方法在峰值流入量預測中都表現(xiàn)出了所有對等方法中最好的預測性能，結果為平均絕對百分比誤差(MAPE= 11.289 6%)，歸一化均方根誤差(NRMSE=0.229 2)，決定系數(shù)標準(R2= 0.890 5)，和峰值百分比閾值統(tǒng)計(PPTS(5)= 10.022 9%)?，F(xiàn)階段，深度學習在水文預報上的應用極少，Yun Bai等人的研究成果證實了深度學習方法在水文預報上的可行性。

3 小結與展望

3.1 小 結

盡管深度學習在圖像、語音識別上有一定的成果，但在水利行業(yè)上的應用尚處于起步探索階段，需要攻克的難題和問題還有很多，也有許多值得被挖掘應用的方向。具體分析如下。

(1)深度學習模型的精度和模型訓練直接相關，不論是監(jiān)督訓練還是無監(jiān)督訓練都需要大量的數(shù)據(jù)，而水文氣象資料比較寶貴，很多地區(qū)存在著資料不足的情況。其次，模型的訓練耗時較長，須投入大量的精力進行參數(shù)配置，因此，需要改進算法提高模型訓練的收斂速度。

(2)現(xiàn)階段的研究都是直接采用的深度學習模型，而深度學習屬于統(tǒng)計模型。在研究復雜水文機理問題時，可能會存在著物理機制支撐不足導致精度不高的現(xiàn)象，因此，將深度學習方法與水文模型有機整合是一個重要的研究方向。

3.2 展 望

深度學習在遙感影像水體識別提取上的成功應用，表明深度學習在遙感信息解譯與提取上具備可行性，未來在水利遙感監(jiān)測上有較大的應用前景，特別是水土保持動態(tài)監(jiān)測。深度學習模型在對三峽庫區(qū)入庫流量仿真模擬的可行性也為深度學習應用在水文預報上奠定基石。下一階段，深度學習在水利上的應用研究應重點關注。①遙感圖像分類方面：深度學習模型的訓練方式上，應逐步由監(jiān)督訓練過渡為監(jiān)督訓練為主，非監(jiān)督訓練為輔的方式，并采用GPU進一步加速。②水質分析預測方面：進一步優(yōu)化模型結構、簡化模型參數(shù)，提高深度學習模型水質預測精度。③水文預報方面：目前可支撐的成果較少，下一階段應將現(xiàn)有的深度學習模型應用范圍擴大，驗證并改進其模擬效果。

隨著水利信息化進程的加快和深度學習研究的深入，未來深度學習在水利行業(yè)將會有更加廣闊的運用前景，發(fā)揮更加重要的作用。

□