錢園園 劉進鋒

摘要：隨著科技的進步，遙感圖像場景的應用需求逐漸增大，廣泛應用于城市監(jiān)管、資源的勘探以及自然災害檢測等領(lǐng)域中。作為一種備受關(guān)注的基礎(chǔ)圖像處理手段，近年來眾多學者提出各種方法對遙感圖像的場景進行分類。根據(jù)遙感場景分類時有無標簽參與，本文從監(jiān)督分類、無監(jiān)督分類以及半監(jiān)督分類這三個方面對近年來的研究方法進行介紹。然后結(jié)合遙感圖像的特征，分析這三種方法的優(yōu)缺點，對比它們之間的差異及其在數(shù)據(jù)集上的性能表現(xiàn)。最后，對遙感圖像場景分類方法面臨的問題和挑戰(zhàn)進行總結(jié)和展望。

關(guān)鍵詞：遙感圖像場景分類;監(jiān)督分類;無監(jiān)督分類;半監(jiān)督分類

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）15-0187-00

Abstract： With the progress of science and technology， the application demand of remote sensing image scene increases gradually， which is widely used in urban supervision， resource exploration， natural disaster detection and other fields.As a basic image processing method， many scholars have proposed various methods to classify the scene of remote sensing image in recent years.This paper introduces the research methods in recent years from the three aspects of supervised classification， unsupervised classification and semi-supervised classification.Then， combined with the features of remote sensing images， the advantages and disadvantages of these three methods are analyzed， and the differences between them and their performance performance in the data set are compared.Finally， the problems and challenges of remote sensing image scene classification are summarized and prospected.

Key words： remote sensing image scene classification; Unsupervised classification; Supervise classification; Semi-supervised classification

遙感圖像場景分類，就是通過某種算法對輸入的遙感場景圖像進行分類，并且判斷某幅圖像屬于哪種類別。早期主要是依靠人工提取特征，這些方法一般情況下需要依靠有大量專業(yè)領(lǐng)域知識和實踐經(jīng)驗的專家利用顏色、形狀、紋理或者光譜信息來設計各種圖像特征，進而進行分類。但是，隨著技術(shù)尤其遙感技術(shù)的發(fā)展，遙感圖像不僅從數(shù)量上急劇增加，而且從質(zhì)量上來說遙感圖像的復雜度以及圖像的分辨率也都越來越高，這些因素限制了早期人工方法的繼續(xù)使用。因此，基于機器學習以及深度學習的自動學習方法應運而生，并在圖像處理領(lǐng)域大放異彩。

在過去的幾十年里，各方面學者對遙感圖像提出了許多自分類方法。其中按照訓練模型時樣本的標簽信息有沒有參與，可將分類分為監(jiān)督分類、半監(jiān)督分類和無監(jiān)督分類。本文將從這三個方面論述其研究進展。

1 遙感圖像場景監(jiān)督分類研究現(xiàn)狀

自2006年深度特征學習取得了突破性進展后[1]，機器學習與深度學習便從此登上歷史舞臺，自此，支持向量機、決策樹等機器學習方法，CNN、AlexNet、VGGNet等深度學習方法都被廣泛應用在遙感場景的監(jiān)督分類研究中。

支持向量機（ Support Vector Machine，SVM）是機器學習算法中一種最基本的監(jiān)督學習算法，在處理維度較高的圖像數(shù)據(jù)時，它通常引入核函數(shù)來尋找最優(yōu)分類超平面，進而解決復雜數(shù)據(jù)分類問題。QU等人在文獻[2]中通過支持向量機對機場的紋理進行學習，然后得到分類函數(shù)實現(xiàn)了機場跑道的識別。張浩等人在文獻[3]中通過SVM分類方法對建筑物進行分類，作者首先通過交叉驗證法對模型的參數(shù)進行分析，再用GridSearch算法設置可以獲得模型參數(shù)的最好方法。隨機森林模型[4]和CART決策樹[5]是對原始決策樹改進的模型，近年來也被應用于遙感圖像分類領(lǐng)域。

深度學習（deep learning）最常用的是深度神經(jīng)網(wǎng)絡。在深度學習算法中有很多隱藏層，通常使用大量的數(shù)據(jù)集對模型進行訓練，使模型學習數(shù)據(jù)的特征，從而提高圖像分類的精度。近年來深度學習算法的典型代表“卷積神經(jīng)網(wǎng)絡（CNN）”在圖像分類領(lǐng)域的成績舉世矚目。在文獻[6]中，作者使用三種不同的卷積神經(jīng)網(wǎng)絡模型對遙感圖像進行場景分類。在論文中作者首先利用預訓練好的CNN作為特征提取器。然后用遙感場景數(shù)據(jù)集對模型進行調(diào)優(yōu)。最后利用soft-max層特征進行分類。文獻[7]作者通過對卷積神經(jīng)網(wǎng)絡使用調(diào)優(yōu)的方法對遙感圖像進行場景分類。文獻[8]作者別具匠心，為了提高分類精度，基于不同的卷積神經(jīng)網(wǎng)絡模型使用了四種不同的策略對遙感場景進行分類。最終得出結(jié)論：通過微調(diào)的方式得到的效果最佳。Zhou等人[9]提出了ResNet-TP方法，該方法主要通過使輸入的圖像經(jīng)過特定的ResNet網(wǎng)絡層后再分為兩路再進行特征提取并分類。Kejie等人在文獻[10]中，應用一種新的體系架構(gòu)即兩個深度神經(jīng)網(wǎng)絡對遙感圖像進行分類，并得到了令人滿意的分類精度。Shawky等人在文獻[11]中提出基于CNN-MLP的方法對遙感圖像進行場景分類。在文中，作者先使用無全連接層的卷積神經(jīng)網(wǎng)絡對圖像進行特征提取，然后用依賴于Adagrad優(yōu)化器的增強型多層深度感知機進行圖像的分類，并且取得了較好的分類效果。

上述研究表明，與人工提取特征的方式方法相比，基于機器學習的圖像的分類任務取得的效果更好，尤其是基于深度學習的監(jiān)督分類方法性能更加優(yōu)越，但它的缺點是訓練要基于大量有標簽的樣本。

2 遙感圖像場景無監(jiān)督分類研究現(xiàn)狀

由于遙感圖像獲取容易，但是進行標注并非易事，因此近年來衍生出大量基于無監(jiān)督的分類方法，這類方法也在遙感圖像分類領(lǐng)域大放異彩。在遙感圖像分類領(lǐng)域中用到的典型的無監(jiān)督特征學習方法包括主成分分析法（PCA）[12]、K均值聚類（K-means）[13]、稀疏編碼[14]、自編碼器[15]、生成對抗網(wǎng)絡（GAN）等[16]。

主成分分析法的實質(zhì)是一種統(tǒng)計方法，是一種相對較為簡單的無監(jiān)督訓練模型?？梢酝ㄟ^訓練學習到用于圖像分類的主要顯著特征[12]。一般情況下，通過該方法可以只保留低階的主成分，即保留數(shù)據(jù)中特征較明顯的成分而忽略掉對分類作用不太大的數(shù)據(jù)，從而起到降低維數(shù)的作用。

K-means算法也是無監(jiān)督算法之一，它也被廣泛應用于遙感圖像場景分類中[13]。K-means算法的優(yōu)點是相對較簡單，易于理解。但是該算法在進行訓練前需要明確固定的K值，如果沒有明確的K值指導或者所設置的K值與真實K值有偏差可能得不到較好的分類結(jié)果。

最近，很多基于稀疏編碼的分類方法被應用于遙感圖像場景分類中[14]，該算法中通常應用稀疏表達的方式對圖像的特征進行提取，進而進行分類。稀疏表示的優(yōu)點是計算量小，因此計算速度較快，可以高性能地表示出結(jié)果。

自動編碼器有一個編碼器和一個解碼器組成，是一種非常典型的無監(jiān)督分類算法，已被廣泛應用于遙感圖像場景分類[15]。文獻[17]主要通過非監(jiān)督的方法對無標簽遙感圖像中具有視覺顯著性的圖像特征進行學習，進而進行分類。在文獻[18]中，作者提出了一種具有知識編碼粒度空間的深層自動編碼器神經(jīng)網(wǎng)絡體系結(jié)構(gòu)，用于遙感圖像分類。該方法利用了深層網(wǎng)絡，小波粗糙粒度空間和知識編碼，并且通過對比實驗證明模型的優(yōu)越性。

GAN作為近年來最具潛力的非監(jiān)督學習算法，其目的是學習一個生成的數(shù)據(jù)分布。文獻[16]首次將GAN應用到非監(jiān)督特征提取的遙感圖像分類中，在該方法中，作者將兩種損失函數(shù)相結(jié)合進行圖像的特征學習，利用此方法獲得了良好的分類效果，分類精度達到94%左右。在文獻[19]中，為了提高GAN 網(wǎng)絡模型的泛化能力，生成大尺寸圖像，將縮放的指數(shù)線性單位（SELU）應用到GAN中以生成高質(zhì)量的遙感圖像。

3 遙感圖像場景半監(jiān)督分類研究現(xiàn)狀

由于現(xiàn)實中無標簽的圖像數(shù)量要遠多于有標簽的圖像數(shù)量，所以為了提高大量的無標簽樣本的利用率，同時結(jié)合有標簽和無標簽樣本的半監(jiān)督學習算法就受到越來越多研究者的關(guān)注。在文獻[20]中，Bruzzone等研究者提出使用基于時間依賴關(guān)系的SVM來獲得未標注樣本的權(quán)重，并且獲得了較好的分類效果。在文獻[21]中作者使用多層感知機進行遙感圖像分類，在訓練時使用未標簽樣本對分類器進行修正。在文獻[22]中作者首先對無標簽樣本進行特征提取，通過圖模型的方式對有標簽樣本進行排序從而提高分類精度。文獻[23]中作者使用 SVM算法構(gòu)造了一個半監(jiān)督分類器進行遙感圖像的分類。Wei Han 等人在論文[24]中將具有深度學習功能的半監(jiān)督生成框架用在遙感圖像場景分類中。在該文中，作者提出半監(jiān)督的生成框架，結(jié)合深度學習的功能，用自標簽技術(shù)和判別式評估方法，完成的遙感圖像和場景分類，并取得了較好的效果。在文獻[25]中，作者提出了一種2型模糊c均值算法（SS-AIT2FCM）。作為一種新的半監(jiān)督分類模型，有效地提高了遙感圖像場景的分類精度。

4 三種學習算法的比較與展望

縱向來看，隨著遙感技術(shù)的發(fā)展，遙感圖像的復雜性增強，樣本的數(shù)量呈現(xiàn)海量的增長趨勢，機器學習方法相比于人工方法在遙感圖像分類任務中取得了相對較好的效果;相對于深層的卷積神經(jīng)網(wǎng)絡而言，層數(shù)較淺的機器學習分類方法不容易建立一個可以表示復雜圖像數(shù)據(jù)的函數(shù)，因此不適合于復雜的遙感圖像場景分類。

橫向來看，基于深度特征的監(jiān)督分類方法分類的效果都相對較好，但是對有標簽圖像的依賴性強是該方法的劣勢。無監(jiān)督特征學習方法在遙感圖像分類中有很好的效果，相較于監(jiān)督學習的方法不需要大量的標簽信息就可以提取特征。但是，正是因為該方法沒有充分的利用圖像的類別信息，使得該方法對圖像類間的區(qū)分能力相對較差，因此也導致分類的效果往往不能令人滿意。半監(jiān)督學習技術(shù)應用于遙感分類領(lǐng)域具有可行性，可以很好地解決遙感圖像分類的不確定性問題。由前面的論述可知目前對于遙感圖像場景的半監(jiān)督分類研究還比較少，并且大都應用淺層的機器學習方法。

總的來說，一方面現(xiàn)存的遙感場景圖像有標簽的數(shù)據(jù)集相對較小不利于監(jiān)督分類方法的進行;另一方面遙感圖像存在高類內(nèi)差與低類間差的特性導致其使用無監(jiān)督分類時不能很好地區(qū)分類間差異。因此將更加簡便有效的半監(jiān)督學習算法應用于遙感圖像場景分類大有可為。

參考文獻：

[1] Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.

[2] QU Y， LI C， ZHENG N. Airport Detection Base on Support Vector Machine from A Single Image[C]//Fifth International Conference on Information， Communications and Signal Processing.IEEE， 2006：546-549.

[3] 張浩，趙云勝，陳冠宇，等.基于支持向量機的遙感圖像建筑物識別與分類方法研究[J].地質(zhì)科技情報，2016，35（6）：194-199.

[4] Belgiu M，Dr?gu? L.Random forest in remote sensing：a review of applications and future directions[J].ISPRS Journal of Photogrammetry and Remote Sensing，2016，114：24-31.

[5] 馬鑫，汪西原，胡博.基于ENVI的CART自動決策樹多源遙感影像分類——以北京市為例[J].寧夏工程技術(shù)，2017，16（1）：63-66.

[6] Cheng G，Ma C C，Zhou P C，et al.Scene classification of high resolution remote sensing images using convolutional neural networks[C]//2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 10-15，2016，Beijing，China.IEEE，2016：767-770.

[7] Scott G J，England M R，Starms W A，et al.Training deep convolutional neural networks for land–cover classification of high-resolution imagery[J].IEEE Geoscience and Remote Sensing Letters，2017，14（4）：549-553.

[8] Nogueira K，Penatti O A B，dos Santos J A.Towards better exploiting convolutional neural networks for remote sensing scene classification[J].Pattern Recognition，2017，61：539-556.

[9] Zhou Z，Zheng Y B，Ye H，et al.Satellite image scene classification via ConvNet with context aggregation[EB/OL].2018：arXiv：1802.00631[eess.IV].https：//arxiv.org/abs/1802.00631

[10] Xu K J，Huang H，Deng P F，et al.Two-stream feature aggregation deep neural network for scene classification of remote sensing images[J].Information Sciences，2020，539：250-268.

[11] Shawky O A，Hagag A，El-Dahshan E S A，et al.Remote sensing image scene classification using CNN-MLP with data augmentation[J].Optik，2020，221：165356.

[12] Réjichi S，Chaabane F.Feature extraction using PCA for VHR satellite image time series spatio-temporal classification[C]//2015 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 26-31，2015，Milan，Italy.IEEE，2015：485-488.

[13] Zhu Q Q，Zhong Y F，Zhao B，et al.The bag-of-visual-words scene classifier combining local and global features for high spatial resolution imagery[C]//2015 12th International Conference on Fuzzy Systems and Knowledge Discovery （FSKD）.August 15-17，2015，Zhangjiajie，China.IEEE，2015：717-721.

[14] Wu S L，Chen H D，Bai Y，et al.A remote sensing image classification method based on sparse representation[J].Multimedia Tools and Applications，2016，75（19）：12137-12154.

[15] 曲建嶺，杜辰飛，邸亞洲，等.深度自動編碼器的研究與展望[J].計算機與現(xiàn)代化，2014（8）：128-134.

[16] Lin D Y，F(xiàn)u K，Wang Y，et al.MARTA GANs：unsupervised representation learning for remote sensing image classification[J].IEEE Geoscience and Remote Sensing Letters，2017，14（11）：2092-2096.

[17] Zhang F，Du B，Zhang L P.Saliency-guided unsupervised feature learning for scene classification[J].IEEE Transactions on Geoscience and Remote Sensing，2015，53（4）：2175-2184.

[18] Meher S K.Granular space，knowledge-encoded deep learning architecture and remote sensing image classification[J].Engineering Applications of Artificial Intelligence，2020，92：103647.

[19] Xu S H，Mu X D，Chai D，et al.Remote sensing image scene classification based on generative adversarial networks[J].Remote Sensing Letters，2018，9（7）：617-626.

[20] Bruzzone L，Chi M，Marconcini M.A novel transductive SVM for semisupervised classification of remote-sensing images[J].IEEE Transactions on Geoscience and Remote Sensing，2006，44（11）：3363-3373.

[21] PATRA S，GHOSH S，GHOSH A.Change detection of remote sensing images with semi-supervised multilayer perceptron[J].Fundamenta Informaticae， 2008， 84（3，4）：429-442.

[22] Camps-Valls G，Bandos Marsheva T V，Zhou D Y.Semi-supervised graph-based hyperspectral image classification[J].IEEE Transactions on Geoscience and Remote Sensing，2007，45（10）：3044-3054.

[23] Maulik U，Chakraborty D.A self-trained ensemble with semisupervised SVM：an application to pixel classification of remote sensing imagery[J].Pattern Recognition，2011，44（3）：615-623.

[24] Han W，F(xiàn)eng R Y，Wang L Z，et al.A semi-supervised generative framework with deep learning features for high-resolution remote sensing image scene classification[J].ISPRS Journal of Photogrammetry and Remote Sensing，2018，145：23-43.

[25] Xu J D，F(xiàn)eng G Z，Zhao T，et al.Remote sensing image classification based on semi-supervised adaptive interval type-2 fuzzy c-means algorithm[J].Computers & Geosciences，2019，131：132-143.

【通聯(lián)編輯：唐一東】