周 強(qiáng),徐宏偉,陳 逸,孫玉寶

(南京信息工程大學(xué) 自動(dòng)化學(xué)院 江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,南京 210044) E-mail:20162283663@nuist.edu.cn

1 引 言

隨著衛(wèi)星遙感圖像和航空遙感圖片分辨率的不斷提高,人們可以從遙感圖像中獲得更多有用的數(shù)據(jù)和信息,在自然災(zāi)害觀測(cè),土地測(cè)繪,壞境研究,城市規(guī)劃等領(lǐng)域得到廣泛的應(yīng)用.遙感圖像跟普通圖像相比又具有自身的特點(diǎn),一方面是遙感圖像中目標(biāo)呈現(xiàn)出多方向特性,而普通圖像中目標(biāo)一般是水平、垂直、對(duì)角等方向,另一方面對(duì)遙感圖像拍攝時(shí),由于拍攝距離地面的高度不統(tǒng)一,造成遙感圖像中物體的尺度大小、分辨率具有很大的差別,類內(nèi)目標(biāo)差異性大,這給遙感圖像的分類帶來(lái)了巨大的挑戰(zhàn).

圖像分類的算法經(jīng)歷了從經(jīng)典模型到深度學(xué)習(xí)的演變,經(jīng)典的圖像分類方法主要有詞袋模型(Bag of words,Bow)[1]、稀疏編碼的空間金字塔(SCSPM)[2]模型等,該類方法通常需要首先提取SIFT[3]、HOG[4]等特征,并進(jìn)一步編碼形成整個(gè)圖像的特征表示[5-7].詞袋模型通過(guò)最近鄰準(zhǔn)則選擇詞袋中選擇最相關(guān)原子,并以各相關(guān)原子在圖像中出現(xiàn)的頻次直方圖作為特征進(jìn)行分類,但基于最近鄰編碼的方法并不能很好表示特征之間的關(guān)聯(lián)性.為了獲得更有效的特征編碼,SCSPM依據(jù)稀疏表示模型,聯(lián)合學(xué)習(xí)字典與編碼系數(shù),每個(gè)樣本利用字典中少量的原子特征進(jìn)行稀疏表達(dá),并利用空間金字塔結(jié)構(gòu)融合空間特征進(jìn)行分類.總體而言,該類方法通常需首先提取SIFT[3]、HOG[4]等特征,并進(jìn)一步編碼形成整個(gè)圖像的特征表示[5-7],這些人工設(shè)計(jì)的特征,正如文獻(xiàn)[8]所述,僅僅能解決一些簡(jiǎn)單或者有一定限制條件的問(wèn)題,對(duì)于復(fù)雜場(chǎng)景圖像,如遙感圖像,由于其目標(biāo)特征的多方向性,尺度變化等特點(diǎn)[9],并不能形成準(zhǔn)確的分類.

深度學(xué)習(xí)是目前非常流行且高效的機(jī)器學(xué)習(xí)算法,其中深度卷積網(wǎng)絡(luò)模型在圖像分類、目標(biāo)檢測(cè)等問(wèn)題上得到了成功的應(yīng)用,它是由多個(gè)卷積層組成,能夠以端對(duì)端的方式自動(dòng)學(xué)習(xí)層次化的特征,是一種有效的圖像特征表示與分類方法.相關(guān)學(xué)者將深度卷積網(wǎng)絡(luò)應(yīng)用于遙感圖像分類問(wèn)題,主要有VGGNet[10],GoogLeNet[11],SPPNet[12],殘差網(wǎng)絡(luò)[13]等,與人工設(shè)計(jì)特征相比,自動(dòng)學(xué)習(xí)的特征能夠有效提升遙感圖像分類的精度,但單一類型的網(wǎng)絡(luò)對(duì)于類內(nèi)差異性大以及尺度變化大的場(chǎng)景仍然不能獲得好的分類結(jié)果,通過(guò)網(wǎng)絡(luò)集成的方法,融合多個(gè)網(wǎng)絡(luò)進(jìn)行分類,有利于提升分類準(zhǔn)確率[14].

不同于經(jīng)典的投票融合以及差異性集成策略[15-17],本文依據(jù)多選擇集成學(xué)習(xí)策略[18,19],建立隨機(jī)多選擇殘差網(wǎng)絡(luò)集成的遙感圖像分類算法,聯(lián)合多個(gè)殘差網(wǎng)絡(luò)共同完成分類任務(wù),算法設(shè)置有效的集成學(xué)習(xí)目標(biāo)函數(shù),最小化多個(gè)子網(wǎng)絡(luò)對(duì)各樣本的最優(yōu)分類誤差,促使各個(gè)網(wǎng)絡(luò)之間的差異性,能夠自適應(yīng)于特定類別的分類任務(wù),并通過(guò)隨機(jī)梯度下降法來(lái)對(duì)集成的多個(gè)子網(wǎng)絡(luò)進(jìn)行聯(lián)合優(yōu)化求解,可以有效提升學(xué)習(xí)效率.本文算法通過(guò)融合多個(gè)網(wǎng)絡(luò)的最優(yōu)預(yù)測(cè),其泛化性通常顯著優(yōu)于單個(gè)學(xué)習(xí)器.在UC Merced Land Use Dataset[20]與WHU-RS19 Data Set[21]上同多個(gè)現(xiàn)有算法進(jìn)行了對(duì)比分析,本文算法能夠有效提升分類準(zhǔn)確性,驗(yàn)證了本文算法的有效性.

2 本文方法

本節(jié)建立隨機(jī)多選擇殘差網(wǎng)絡(luò)融合的分類方法,針對(duì)遙感圖像多尺度,多方向,類內(nèi)目標(biāo)差異性大等特點(diǎn),通過(guò)多個(gè)殘差網(wǎng)絡(luò)聯(lián)合訓(xùn)練的方法使得各個(gè)子網(wǎng)絡(luò)能夠自適應(yīng)于特定類別的分類任務(wù),預(yù)測(cè)時(shí),遙感圖片的類別判別為置信度最高的那個(gè)殘差網(wǎng)絡(luò)模型預(yù)測(cè)的類別,圖1給出了出本文多殘差網(wǎng)絡(luò)融合算法的預(yù)測(cè)過(guò)程.

圖1 本文算法框架Fig.1 Flow chart of our algorithm

(1)

其中[M]表示為集合{1,2,…,M},判別為置信度最高的類別.為了有效學(xué)習(xí)這M個(gè)分類器,本文定義多網(wǎng)絡(luò)集成的目標(biāo)函數(shù)表示為:

(2)

其中l(wèi)(yi,fm(xi))表示為多模型中第i個(gè)模型預(yù)測(cè)值與真實(shí)值的損失,目標(biāo)函數(shù)針對(duì)每一個(gè)樣本,最小化置信度最高的分類器的預(yù)測(cè)誤差.

由于目標(biāo)函數(shù)(2)包含雙重最小化過(guò)程,不利于直接求解.遵循Guzman-Rivera 等人[18]的思路,引入輔助變量pi,m,表示第i個(gè)樣本的卷積網(wǎng)絡(luò)前向傳播中,如果集成模型中第m個(gè)模型是所有模型中預(yù)測(cè)誤差最小的,則設(shè)pi,m為1否則為0,并采用交叉熵作為分類損失函數(shù),則損失函數(shù)(1)可表示為:

(3)

針對(duì)目標(biāo)函數(shù)(3),進(jìn)一步采用隨機(jī)梯度算法進(jìn)行優(yōu)化求解[22],對(duì)于當(dāng)前樣本塊(mini-batch),聯(lián)合更新各分類器參數(shù),如下:

(4)

其中,b為當(dāng)前樣本塊包含的樣本個(gè)數(shù).實(shí)質(zhì)上,(4)式中只有pi,m=1時(shí),也即只對(duì)能夠?qū)Ξ?dāng)前樣本塊形成最優(yōu)分類的分類器參數(shù)進(jìn)行更新,具體更新過(guò)程如圖2所示.

圖2 多殘差網(wǎng)絡(luò)融合的隨機(jī)梯度更新過(guò)程Fig.2 Stochastic gradient iteration of the multi-choice ensemble of residual networks

同時(shí),本文選用殘差網(wǎng)絡(luò)作為分類器,同普通卷積網(wǎng)絡(luò)相比,殘差網(wǎng)絡(luò)具有跳層連接(skip connection),學(xué)習(xí)殘差表示,能夠有效緩解多層網(wǎng)絡(luò)中的梯度消失問(wèn)題.完整的算法流程請(qǐng)參見(jiàn)算法1.

上述算法中本文采用隨機(jī)梯度下降(SGD)的算法對(duì)殘差網(wǎng)絡(luò)模型進(jìn)行優(yōu)化.每一批次的數(shù)據(jù)在各殘差網(wǎng)絡(luò)模型進(jìn)行一次前向傳播,并計(jì)算每個(gè)殘差網(wǎng)絡(luò)模型的誤差.在反向傳播階段,僅僅對(duì)誤差最小的殘差網(wǎng)絡(luò)模型采用梯度下降法進(jìn)行優(yōu)化,與經(jīng)典多選擇學(xué)習(xí)不同,本文在每個(gè)批次的數(shù)據(jù)集進(jìn)行學(xué)習(xí),有效降低了訓(xùn)練過(guò)程的復(fù)雜度.

算法1.隨機(jī)多選擇多殘差網(wǎng)絡(luò)融合算法

輸入:訓(xùn)練數(shù)據(jù)集D,子網(wǎng)絡(luò)個(gè)數(shù)M

Step 1.從訓(xùn)練數(shù)據(jù)集D,隨機(jī)采樣樣本集子塊B

Step 4.使用反向傳播的方法只對(duì)殘差網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練Wm*=Wm*-λpim?lm*/?Wm*

Step 5.重復(fù)上面1-4步,直至目標(biāo)函數(shù)(2)值收斂.

輸出:M個(gè)殘差網(wǎng)絡(luò)

3 實(shí)驗(yàn)結(jié)果和分析

實(shí)驗(yàn)中本文算法(簡(jiǎn)記為SMC-Resnet)設(shè)置有4個(gè)殘差子網(wǎng)絡(luò),每個(gè)子網(wǎng)絡(luò)由16個(gè)殘差塊構(gòu)成,共計(jì)34個(gè)網(wǎng)絡(luò)層.首先對(duì)每個(gè)深度殘差子網(wǎng)絡(luò)分別進(jìn)行預(yù)訓(xùn)練,然后依據(jù)算法1對(duì)所有的深度殘差子網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練,每個(gè)批次圖片數(shù)據(jù)送至各子網(wǎng)絡(luò)模型,并做一次前向傳播計(jì)算,得到每個(gè)殘差網(wǎng)絡(luò)分類的準(zhǔn)確率,選取準(zhǔn)確率最高的子網(wǎng)絡(luò),只針對(duì)該子網(wǎng)進(jìn)行反向傳播,利用Adam隨機(jī)梯度下降算法對(duì)目標(biāo)函數(shù)做訓(xùn)練,重復(fù)第二步,直到殘差網(wǎng)絡(luò)完成對(duì)數(shù)據(jù)的訓(xùn)練.最后,利用多個(gè)訓(xùn)練好的殘差網(wǎng)絡(luò)對(duì)遙感圖像進(jìn)行分類,選取得分最高的一個(gè)殘差網(wǎng)絡(luò)預(yù)測(cè)的類別,判定為該圖像的類別,在隨機(jī)梯度下降算法中,設(shè)定一個(gè)批次數(shù)據(jù)大小為16,初始學(xué)習(xí)率設(shè)為0.002.

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文方法的有效性,本實(shí)驗(yàn)在兩個(gè)通用的遙感數(shù)據(jù)集上進(jìn)行測(cè)試分析.第一個(gè)數(shù)據(jù)集為UC Merced Land Use Dataset(UC),該數(shù)據(jù)集由Yi Yang等人于2010年發(fā)布,

圖3 UC數(shù)據(jù)集示例圖像Fig.3 Samples of UC dataset

整個(gè)數(shù)據(jù)包含21類場(chǎng)景圖像,每一類有100張,共2100張,每張圖片像素大小為256×256,圖3給出了該數(shù)據(jù)集的示例圖像,實(shí)驗(yàn)中選擇UC數(shù)據(jù)集中每類場(chǎng)景的90幅作為訓(xùn)練樣本,10幅為測(cè)試樣本.第二個(gè)數(shù)據(jù)集為WHU-RS19 Data Set(WDS),該數(shù)據(jù)集由武漢大學(xué)Yang等人提供,整個(gè)數(shù)據(jù)集包含19類場(chǎng)景,每一類約為50張,每個(gè)圖像尺寸為600×600,

圖4 WDS數(shù)據(jù)示例圖像Fig.4 Samples of WDS dataset

總共1005張.圖4給出了該數(shù)據(jù)集的示例圖像,表1給出了實(shí)驗(yàn)中WDS數(shù)據(jù)集中各類場(chǎng)景的訓(xùn)練樣本數(shù)與測(cè)試樣本數(shù).

表1 WDS數(shù)據(jù)集樣本分布情況
Table 1 Distribution of samples in WDS dataset

地物類別樣本總數(shù)訓(xùn)練樣本數(shù)測(cè)試樣本數(shù)River53458railwayStation51456Residential54459Beach52457Bridge52457Commercial52457Desert52457Farmland53458footballField54459Forest49454Industrial51456Meadow52457Mountain50455Park53458Parking564511Pond53458Port50455baseballdia-mond49454airplane50455

3.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文SMC-Resnet算法的性能,同三種算法在上述的兩個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比分析,包括經(jīng)典的空間金字塔稀疏編碼算法(簡(jiǎn)記為SCSPM)[2],單個(gè)殘差網(wǎng)絡(luò)分類算法(簡(jiǎn)記為Resnet[13]),以及4個(gè)殘差網(wǎng)絡(luò)的投票融合分類算法(簡(jiǎn)記為Voting).表2給出了不同算法在兩個(gè)數(shù)據(jù)集上的平均分類準(zhǔn)確率,表3與表4分別給出了不同算法在UC和WDS數(shù)據(jù)集上各類別的分類準(zhǔn)確率.可以看出,傳統(tǒng)分類算法的分類準(zhǔn)確率要明顯低于基于深度網(wǎng)絡(luò)的分類算法,特別是在復(fù)雜類別的分類任務(wù)上.本文SMC-Resnet算法在兩個(gè)數(shù)據(jù)集上分類的準(zhǔn)確率明顯優(yōu)于單殘差網(wǎng)絡(luò)的分類方法,同時(shí)也高于基于投票模型的多網(wǎng)絡(luò)分類方法,驗(yàn)證了本文多選擇融合策略的有效性.

表2 各個(gè)算法在不同數(shù)據(jù)集上的平均分類準(zhǔn)確率
Table 2 Average classification accuracy of each algorithm on
UC and WDS datsets

方法數(shù)據(jù)SCSPMResnetVotingSMC-ResnetUC81.54%87.69%93.56%94.64%WDS81.35%87.23%93.78%94.78%

表3 不同算法在UC數(shù)據(jù)集上各類別的分類準(zhǔn)確率
Table 3 Classification accuracy of various algorithms on
each category of UC datasets

地物類別SCSPMResnetVotingSMC-Resnettenniscourt81.2387.5593.5594.37storagetanks83.7887.9893.7794.19sparseresidential81.5687.1293.5694.19runway81.9886.2393.3694.26river81.4589.1193.4794.59parkinglot82.4787.5693.5895.17overpass80.9587.2493.2694.39mobilehomepark80.2187.2693.5993.16mediumresidential80.7987.9193.8694.28intersection79.2387.1293.1994.18harbor82.8987.6692.7394.17golfcourse84.5887.1193.4294.71freeway81.2287.3293.1994.58forest80.4687.4593.4694.18denseresidential80.3189.4593.8894.02chaparral80.9785.2393.3994.09beach81.9886.1193.3794.07baseballdiamond80.1287.4593.9996.11airplane81.8984.2293.3994.56buildings83.1686.7993.9795.79agricultural82.6486.3492.1494.76

各個(gè)子網(wǎng)絡(luò)通過(guò)算法1進(jìn)行集成學(xué)習(xí),期望的目標(biāo)是各個(gè)子網(wǎng)絡(luò)能夠形成差異性,對(duì)于不同類別的遙感圖像能夠形成最優(yōu)分類.為了驗(yàn)證這一特性,圖5、圖6分別標(biāo)識(shí)了在數(shù)據(jù)集UC與WDS上不同子網(wǎng)絡(luò)所能夠最優(yōu)分類的場(chǎng)景類別,以及最優(yōu)分類的準(zhǔn)確率,其中每種形狀代表一個(gè)殘差子網(wǎng)絡(luò).橫軸表示每類的準(zhǔn)確率(Accuracy),縱軸表示數(shù)據(jù)集中的各場(chǎng)景類別,可以看到,每一模型都能自適應(yīng)于特定類別的分類任務(wù),從而使得融合后的殘差網(wǎng)絡(luò)能有效處理場(chǎng)景復(fù)雜的遙感圖像分類任務(wù).

表4 不同算法在WDS數(shù)據(jù)集上各類別的分類準(zhǔn)確率
Table 4 Classification accuracy of various algorithms on each
category of UC datasets

地物類別SCSPMResnetVotingSMC-ResnetRiver81.2187.7993.7794.44railwayStation83.7887.5493.2194.12Residential81.9187.2493.5994.78Beach81.8386.6093.7894.32Bridge81.2389.4693.1594.03Commercial83.5487.2193.1995.77Desert80.6287.0993.0794.48Farmland80.6987.7393.4693.67footballField80.7887.2493.8394.08Forest80.1287.2893.3794.46Industrial82.0986.6193.6494.27Meadow84.1587.9793.1594.19Mountain81.1887.4593.9294.37Park80.0387.1293.2794.45Parking80.0889.0593.2894.51Pond80.4385.7993.4694.05Port81.7786.5693.6194.09baseballdiamond81.9887.4593.3795.76airplane81.9789.3292.5594.94

圖5 各個(gè)子網(wǎng)絡(luò)在UC數(shù)據(jù)集對(duì)不同類別形成最優(yōu)預(yù)測(cè)Fig.5 Each sub-network possess optimal predictions for specific categories in the UC dataset

圖6 各個(gè)子網(wǎng)絡(luò)在WDS數(shù)據(jù)集對(duì)特定類別形成最優(yōu)預(yù)測(cè)Fig.6 Each sub-network possess optimal predictions for specific categories in the WDS data set

為了驗(yàn)證本文算法在不同子網(wǎng)數(shù)目下分類的準(zhǔn)確率,圖7中給出了在WDS數(shù)據(jù)集上設(shè)置不同的子網(wǎng)數(shù)目時(shí)分類準(zhǔn)確率的變化曲線,從圖7中可以看出,當(dāng)網(wǎng)絡(luò)數(shù)目達(dá)到4時(shí),

圖7 不同子網(wǎng)數(shù)目時(shí)的分類準(zhǔn)確率曲線(WDS數(shù)據(jù)集)Fig.7 Plot of classification accuracy verse different number of subnets on the WDS data set

準(zhǔn)確率的增加變緩,當(dāng)網(wǎng)絡(luò)數(shù)目超過(guò)6時(shí),分類的準(zhǔn)確率不再明顯提升,考慮到分類的準(zhǔn)確率和訓(xùn)練的耗時(shí),本文設(shè)置4個(gè)子網(wǎng)絡(luò)進(jìn)行融合學(xué)習(xí)與分類.

4 結(jié)束語(yǔ)

本文提出了一種多殘差網(wǎng)絡(luò)融合的遙感圖像分類算法,用于解決遙感圖像這種類內(nèi)差異性大的圖像分類問(wèn)題.其利用多選擇融合策略,能夠自適應(yīng)于特定類別的分類任務(wù),使得模型的性能明顯強(qiáng)于單一網(wǎng)絡(luò).本的方法不僅適用于遙感圖像的分類任務(wù),同時(shí)可以進(jìn)一步推廣到圖像分割,和圖像檢測(cè)等任務(wù).