姚燕，胡立坤，郭軍

(廣西大學(xué) 電氣工程學(xué)院， 廣西 南寧 530004)

0 引言

傳統(tǒng)的地形識(shí)別算法過(guò)分依賴人工提取圖像特征，受主觀因素影響比較大，對(duì)于大規(guī)模數(shù)據(jù)集，提取特征過(guò)程比較復(fù)雜。與傳統(tǒng)方法相比，現(xiàn)今發(fā)展迅猛的深度學(xué)習(xí)網(wǎng)絡(luò)能夠自動(dòng)進(jìn)行圖像特征的提取，實(shí)現(xiàn)圖像的高效分類。近年來(lái)，深度學(xué)習(xí)模型AlexNet[1]、VGG[2]、GoogLeNet[3]、ResNet[4]等紛紛涌現(xiàn)，同時(shí)越來(lái)越多的研究人員開始專門針對(duì)深度神經(jīng)網(wǎng)絡(luò)做算法和模型的優(yōu)化，深度學(xué)習(xí)算法在圖像分類中取得不斷的突破。

在地形識(shí)別算法方面，LIU等[5]設(shè)計(jì)了一種復(fù)雜的地形樣本分割方案，在分割的基礎(chǔ)上，采用了圖分割和分水嶺分割相結(jié)合的方法對(duì)地形圖像區(qū)域進(jìn)行識(shí)別。在特征提取方面，將顏色直方圖特征與LBP(local binary pattern)特征進(jìn)行序列融合，融合后的特征對(duì)多光照、多抖動(dòng)的地形樣本具有較好的魯棒性和準(zhǔn)確性。YAN等[6]提出了一種用于大規(guī)模遙感影像地形分類框架，該框架采用性能良好的基于多尺度超像素細(xì)分的分割方法生成均勻且形狀不規(guī)則的區(qū)域，通過(guò)部署遷移學(xué)習(xí)技術(shù)，利用優(yōu)越的預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network)模型來(lái)獲得有代表性的深層特征。XUE等[7]針對(duì)地面地形識(shí)別任務(wù)，構(gòu)建了一種叫深度編碼池網(wǎng)絡(luò)(deep encoding pooling network)的紋理網(wǎng)絡(luò)，以全監(jiān)督的方式學(xué)習(xí)特征空間中的參數(shù)分布，給出了類之間的距離關(guān)系，并提供了隱式表示模糊類邊界的方法。王羽徵等[8]提出了一種基于改進(jìn)式VGG網(wǎng)絡(luò)的海洋單細(xì)胞藻類識(shí)別算法AlgaeNet，該算法通過(guò)對(duì)傳統(tǒng)VGG網(wǎng)絡(luò)減少卷積核數(shù)量，并添加批歸一化(batch normalization)層進(jìn)行神經(jīng)網(wǎng)絡(luò)加速，最終獲得99.32%的準(zhǔn)確率。余圣新等[9]設(shè)計(jì)一種高精度的手寫體數(shù)字分類網(wǎng)絡(luò)，該網(wǎng)絡(luò)引入連續(xù)非對(duì)稱卷積，深度可分離卷積和殘差網(wǎng)絡(luò)，最后根據(jù)softmax進(jìn)行分類，在MNIST數(shù)據(jù)集上獲得99.45%的識(shí)別率。上述方法得到的識(shí)別準(zhǔn)確率較高，但模型參數(shù)大，不適用于移動(dòng)端。除上述方法外，還有近些年興起的輕量級(jí)網(wǎng)絡(luò)ShuffleNet[10]和GhostNet[11]等，這些網(wǎng)絡(luò)訓(xùn)練過(guò)程中參數(shù)量和計(jì)算量都大大降低，但網(wǎng)絡(luò)的準(zhǔn)確率和收斂速度有待提升。

通過(guò)以上分析，在運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取的時(shí)候，存在以下問(wèn)題：①參數(shù)多，結(jié)構(gòu)復(fù)雜，網(wǎng)絡(luò)訓(xùn)練難度大，計(jì)算機(jī)硬件資源要求高且訓(xùn)練好的模型不利于移植到移動(dòng)端；②網(wǎng)絡(luò)訓(xùn)練需要大量已標(biāo)注數(shù)據(jù)集，實(shí)際中往往比較難找到合適的分類數(shù)據(jù)集，構(gòu)建大型數(shù)據(jù)集需要花費(fèi)大量人力物力。針對(duì)目前地形識(shí)別算法存在的不足，本文提出一種基于深度遷移網(wǎng)絡(luò)MobileNetV3[12]的地形識(shí)別算法，利用較少數(shù)據(jù)，就可訓(xùn)練得到較高識(shí)別率的模型，并且可以部署到移動(dòng)端進(jìn)行地形實(shí)時(shí)識(shí)別。

1 基于MobileNetV3網(wǎng)絡(luò)的遷移學(xué)習(xí)

1.1 遷移學(xué)習(xí)

傳統(tǒng)的機(jī)器學(xué)習(xí)必須要有足夠的可利用訓(xùn)練樣本才能學(xué)習(xí)得到一個(gè)好的分類模型，若樣本數(shù)量缺乏，效果則不甚理想，遷移學(xué)習(xí)的目的是遷移已有知識(shí)來(lái)解決目標(biāo)領(lǐng)域中僅有少量有標(biāo)簽樣本的學(xué)習(xí)問(wèn)題[13]。對(duì)比傳統(tǒng)的機(jī)器學(xué)習(xí)識(shí)別算法中人工設(shè)計(jì)特征，遷移學(xué)習(xí)在解決小樣本學(xué)習(xí)問(wèn)題上有較好的效果，按照應(yīng)用場(chǎng)景不同，遷移學(xué)習(xí)可分為如圖1所示的三種方法。

圖1 遷移學(xué)習(xí)三種方法

方法一保持預(yù)訓(xùn)練模型原有卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和初始權(quán)重不變，在自建新數(shù)據(jù)集上，根據(jù)預(yù)訓(xùn)練模型權(quán)重進(jìn)行初始化，重新訓(xùn)練模型，最后利用訓(xùn)練好的模型對(duì)輸入進(jìn)行預(yù)測(cè)，這是遷移學(xué)習(xí)中最理想的情況；方法二保持模型初始層的權(quán)重不變，凍結(jié)部分神經(jīng)網(wǎng)絡(luò)層，然后在新的數(shù)據(jù)集上對(duì)神經(jīng)網(wǎng)絡(luò)高層進(jìn)行訓(xùn)練，進(jìn)而得到新的分類模型，再利用該分類模型對(duì)輸入進(jìn)行預(yù)測(cè)；方法三凍結(jié)所有的神經(jīng)網(wǎng)絡(luò)層，將網(wǎng)絡(luò)模型結(jié)構(gòu)的輸出層去掉后，剩下的整個(gè)網(wǎng)絡(luò)可當(dāng)做一個(gè)固定的特征提取器裝置，在新的數(shù)據(jù)集中，應(yīng)用特征提取器裝置把提取到的特征輸入分類器進(jìn)行預(yù)測(cè)[14]。

隨著深度學(xué)習(xí)的發(fā)展，結(jié)合深度學(xué)習(xí)的遷移算法也得到迅速發(fā)展。劉穎等[15]探討了深度神經(jīng)網(wǎng)絡(luò)特征遷移問(wèn)題，發(fā)現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)中，底層卷積提取的是一些顏色，紋理和邊緣等低級(jí)特征，這些低級(jí)特征具有局部性和一般性，隨著卷積操作的不斷進(jìn)行，提取到的特征信息進(jìn)行交叉合并，高層語(yǔ)義特征逐漸顯現(xiàn)。對(duì)輸入圖像來(lái)說(shuō)，高層特征具有全局性和獨(dú)特性。本文實(shí)驗(yàn)首先根據(jù)源任務(wù)訓(xùn)練得到相應(yīng)的預(yù)訓(xùn)練模型，然后對(duì)預(yù)訓(xùn)練模型神經(jīng)網(wǎng)絡(luò)中大規(guī)模共享參數(shù)進(jìn)行遷移，同時(shí)，借助一些輔助功能，對(duì)自建數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)以擴(kuò)充數(shù)據(jù)集，最后根據(jù)自建數(shù)據(jù)集進(jìn)行新的訓(xùn)練，在訓(xùn)練過(guò)程中對(duì)相關(guān)參數(shù)進(jìn)行調(diào)整，微調(diào)模型，進(jìn)而訓(xùn)練出符合地形識(shí)別任務(wù)的網(wǎng)絡(luò)模型，實(shí)現(xiàn)對(duì)目標(biāo)任務(wù)的預(yù)測(cè)。結(jié)合深度學(xué)習(xí)的遷移算法，通過(guò)預(yù)訓(xùn)練基礎(chǔ)進(jìn)行了參數(shù)的遷移，將已經(jīng)學(xué)會(huì)的知識(shí)遷移到另一個(gè)新的領(lǐng)域中，而不必重新設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)就可獲得符合目標(biāo)任務(wù)的模型。

1.2 輕量級(jí)網(wǎng)絡(luò)

MobileNet[16]系列模型是Google針對(duì)嵌入式設(shè)備提出的一種輕量級(jí)深層神經(jīng)網(wǎng)絡(luò)模型，與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)相比，MobileNet具有參數(shù)少，延時(shí)低等特點(diǎn)。MobileNet系列有MobileNet、MobileNetV2[17]和MobileNetV3三種模型。

1.2.1 MobileNet

MobileNet是一種基于深度可分離卷積的模型，其核心思想是將傳統(tǒng)卷積分解為深度卷積和1×1的逐點(diǎn)卷積。對(duì)于MobileNet而言，深度卷積針對(duì)每單個(gè)輸入通道應(yīng)用單個(gè)卷積核進(jìn)行卷積，然后逐點(diǎn)卷積應(yīng)用1×1卷積操作結(jié)合所有深度卷積得到輸出。而標(biāo)準(zhǔn)卷積通過(guò)一步操作即對(duì)所有輸入進(jìn)行結(jié)合得到新的一系列輸出。深度可分離卷積[18]將其分成了兩步，針對(duì)每個(gè)單獨(dú)層進(jìn)行卷積然后下一步再進(jìn)行結(jié)合。深度可分離卷積的這種操作，使其性能與標(biāo)準(zhǔn)卷積相當(dāng)?shù)耐瑫r(shí)，使用更少的參數(shù)來(lái)進(jìn)行特征學(xué)習(xí)，能夠有效減少計(jì)算量和模型參數(shù)。標(biāo)準(zhǔn)卷積[16]結(jié)構(gòu)如圖2所示，深度可分離卷積[16]結(jié)構(gòu)如圖3和圖4所示。

圖2 標(biāo)準(zhǔn)卷積

圖3 深度卷積

圖4 逐點(diǎn)卷積

假設(shè)輸入特征圖大小為GF×GF×M，做卷積核大小為BK×BK的卷積，輸出特征圖大小為GF×GF×N，當(dāng)使用標(biāo)準(zhǔn)卷積時(shí)，其計(jì)算量如式(1)所示：

MAC1=BK×BK×M×N×GF×GF。

(1)

使用深度可分離卷積時(shí)，其計(jì)算量如式(2)所示：

MAC2=BK×BK×M×GF×GF×M×N×GF×GF。

(2)

深度可分離卷積計(jì)算量與標(biāo)準(zhǔn)卷積計(jì)算量的比值如式(3)所示：

(3)

由以上分析可知，當(dāng)MobileNet使用3×3的深度可分離卷積時(shí)，相較于標(biāo)準(zhǔn)卷積少了8到9倍的計(jì)算量。

1.2.2 其他輕量級(jí)網(wǎng)絡(luò)

MobileNetV2在MobileNet的基礎(chǔ)上改變通道數(shù)，提出倒殘差(inverted residuals)概念，在深度卷積之前加入一個(gè)逐點(diǎn)卷積用來(lái)升維，這樣深度卷積均在相對(duì)更高維工作，然后，在末尾引入線性激活函數(shù)。通過(guò)這些改進(jìn)，網(wǎng)絡(luò)的參數(shù)量和計(jì)算量大大減少，進(jìn)而從空間和時(shí)間上優(yōu)化了網(wǎng)絡(luò)。MobileNetV3在MobileNetV2的基礎(chǔ)上，增加了以下功能。

① 引入SE注意力模型

MobileNetV3在MobileNetV2的基礎(chǔ)上引入基于SE[19](squeeze and excitation)結(jié)構(gòu)的輕量級(jí)注意力模型，SE結(jié)構(gòu)模型是在特征提取通道維度上引入注意力機(jī)制，主要包含壓縮(squeeze)和激勵(lì)(excitation)兩種操作，專注于通道關(guān)系，使網(wǎng)絡(luò)從全局信息出發(fā)，選擇對(duì)網(wǎng)絡(luò)性能好的特征通道權(quán)重進(jìn)行提升，抑制對(duì)網(wǎng)絡(luò)性能不好的特征通道權(quán)重，讓網(wǎng)絡(luò)模型對(duì)特征進(jìn)行校準(zhǔn)，即對(duì)通道權(quán)重進(jìn)行重新分配。SE模塊以最小的額外計(jì)算成本顯著提升了現(xiàn)有最新深度架構(gòu)的性能。其中壓縮操作的公式表達(dá)如式(4)所示：

(4)

式中，z是壓縮操作輸出;Fsq是壓縮操作;f是二維特征圖集合;w和h分別表示特征圖空間信息的寬和高。

激勵(lì)操作的公式表達(dá)如式(5)所示

s=Fex(z,W)=σ(g(z,W))=φ(W2δ(W1z)),

(5)

在激勵(lì)操作之后，將產(chǎn)生的權(quán)重與原始特征進(jìn)行相乘，計(jì)算公式如式(6)所示:

x=Fscale(f,s)=s×f,

(6)

式中，x是SE模塊最后輸出X中的一個(gè)值，X=[x1,x2,…,xc];Fscale是scale操作;f為原始輸入特征;s是激勵(lì)操作輸出。

② 使用新的激活函數(shù)h-swish[x]

MobileNetV3在模型的后半部分，使用一種新的激活函數(shù)h-swish[x]，h-swish是基于swish[20]的改進(jìn)，其公式表達(dá)如式(7)所示:

(7)

為了滿足移動(dòng)端和嵌入式端深度學(xué)習(xí)應(yīng)用的需求，可采用輕量級(jí)MobileNet系列網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，而MobileNetV3代表了目前主流的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型，與其他網(wǎng)絡(luò)相比，由于其更小的計(jì)算量，在相同的預(yù)測(cè)速度下，MobileNetV3網(wǎng)絡(luò)精度更具競(jìng)爭(zhēng)力。

1.3 MobileNetV3網(wǎng)絡(luò)遷移

通過(guò)以上分析，可知MobileNetV3網(wǎng)絡(luò)模型具有參數(shù)少，延時(shí)低等特點(diǎn)，針對(duì)目前地形識(shí)別算法存在的不足，可在MobileNetV3網(wǎng)絡(luò)基礎(chǔ)上應(yīng)用遷移學(xué)習(xí)。地形識(shí)別設(shè)備一般部署在移動(dòng)端，對(duì)模型參數(shù)量和網(wǎng)絡(luò)實(shí)時(shí)性要求較高，因此參數(shù)多，結(jié)構(gòu)復(fù)雜的模型不適合部署到移動(dòng)端，提出算法選擇現(xiàn)階段主流的輕量級(jí)網(wǎng)絡(luò)MobileNetV3進(jìn)行遷移學(xué)習(xí)，可以實(shí)現(xiàn)識(shí)別準(zhǔn)確率和預(yù)測(cè)耗時(shí)之間較好的折中?；贗mageNet數(shù)據(jù)集的網(wǎng)絡(luò)輸出是1 000類，因此，選定輕量級(jí)網(wǎng)絡(luò)后，并不能直接對(duì)其進(jìn)行訓(xùn)練，需要把網(wǎng)絡(luò)轉(zhuǎn)換成實(shí)驗(yàn)所需的6類輸出，而且不同任務(wù)的圖像類型和屬性都會(huì)對(duì)網(wǎng)絡(luò)訓(xùn)練產(chǎn)生影響，因此需要對(duì)遷移網(wǎng)絡(luò)進(jìn)行修改以滿足實(shí)際要求。在遷移學(xué)習(xí)過(guò)程中，先將預(yù)訓(xùn)練模型神經(jīng)網(wǎng)絡(luò)的大規(guī)模共享參數(shù)進(jìn)行遷移，把源域模型初始權(quán)重遷移到新的訓(xùn)練網(wǎng)絡(luò)進(jìn)行初始化，進(jìn)而繼承大數(shù)據(jù)集上的先驗(yàn)知識(shí)；隨后，依據(jù)自建數(shù)據(jù)集進(jìn)行新的訓(xùn)練，通過(guò)后續(xù)學(xué)習(xí)，對(duì)模型中的參數(shù)進(jìn)行微調(diào)，進(jìn)而得到所需分類模型以實(shí)現(xiàn)對(duì)識(shí)別任務(wù)的預(yù)測(cè)。結(jié)合遷移學(xué)習(xí)的地形識(shí)別算法，不僅提高了網(wǎng)絡(luò)模型的訓(xùn)練效率和準(zhǔn)確率，同時(shí)基于大數(shù)據(jù)集預(yù)訓(xùn)練基礎(chǔ)，在訓(xùn)練最后所得模型具有更好的泛化能力和魯棒性，算法性能得到提升。地形識(shí)別算法流程如圖5所示。

圖5 地形識(shí)別算法流程

2 實(shí)驗(yàn)數(shù)據(jù)集

目前可用于地形分類的數(shù)據(jù)集較少，因此建立適用于地形分類的數(shù)據(jù)集GXU-Terrain6。GXU-Terrain6數(shù)據(jù)集包含了實(shí)驗(yàn)所識(shí)別的六類典型地形：柏油路面、草地、光滑瓷磚地面、粗糙瓷磚地面、護(hù)根覆蓋地面和水泥地面，圖片像素值為224×224，總量2 000張，其中每種類型圖片數(shù)量約300張，大部分圖片在不同光照條件和天氣狀況下拍攝采集而成，圖片拍攝設(shè)備為：Panasonic DMC-GF5。GXU-Terrain6典型地形如圖6所示。

(a) 柏油路面

在收集完所需的地形圖片之后，對(duì)圖片進(jìn)行增強(qiáng)處理，具體處理如圖7所示。

(a) 原圖

通過(guò)對(duì)圖片進(jìn)行隨機(jī)裁剪，水平鏡像翻轉(zhuǎn)，改變亮度和對(duì)比度等操作，將數(shù)據(jù)集擴(kuò)增至7 800張圖片。最后對(duì)7 800張圖片按照6∶2∶2的比例隨機(jī)分成訓(xùn)練集，驗(yàn)證集和測(cè)試集。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

在圖像識(shí)別任務(wù)算法中，衡量一種識(shí)別算法性能的重要指標(biāo)包括圖像識(shí)別準(zhǔn)確率，預(yù)測(cè)時(shí)間以及模型參數(shù)量。在評(píng)價(jià)指標(biāo)方面，Top1表示排名第一的類別與實(shí)際結(jié)果相符的準(zhǔn)確率，Top5表示排名前五的類別包含實(shí)際結(jié)果的準(zhǔn)確率。在對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)，使用隨機(jī)梯度下降法(stochastic gradient descent)優(yōu)化損失函數(shù)，初始學(xué)習(xí)率設(shè)置為0.1，學(xué)習(xí)率下降方式采用余弦下降(cosine decay)，動(dòng)量(momentum)為0.9，L2權(quán)重衰減(weight decay)為1e-4，批尺寸(batch size)設(shè)置為256，訓(xùn)練次數(shù)為60次(epoch)。實(shí)驗(yàn)所用的操作系統(tǒng)為64位windows10，CPU為Intel(R)Core(TM)i7-8700K CPU @ 3.70 GHz 3.70 GHz，RAM為32 G，編程軟件平臺(tái)為python3.7和PaddlePaddle1.7.2，GPU為Tesla v100。

3.2 遷移方法驗(yàn)證

為確定遷移學(xué)習(xí)方法的有效性，選取經(jīng)典的VGG16，InceptionV4，ResNet50和MobileNetV3網(wǎng)絡(luò)模型，模型采用Top1和Top5識(shí)別準(zhǔn)確率作為評(píng)價(jià)指標(biāo)。為了對(duì)遷移學(xué)習(xí)方法的效果進(jìn)行評(píng)價(jià)，實(shí)驗(yàn)采用原始模型和遷移學(xué)習(xí)后模型試驗(yàn)結(jié)果對(duì)比分析，其中遷移學(xué)習(xí)后模型，是在預(yù)訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，將所有權(quán)重初始化，然后在自建數(shù)據(jù)集進(jìn)行訓(xùn)練。遷移學(xué)習(xí)對(duì)比結(jié)果如圖8所示，遷移算法驗(yàn)證結(jié)果見表1。

(a) MobileNetV3

表1 遷移算法驗(yàn)證結(jié)果

由表1可看出，4種模型在遷移學(xué)習(xí)后的Top1和Top5都獲得了較大幅度的提升。說(shuō)明運(yùn)用遷移學(xué)習(xí)后，模型間的一些共享參數(shù)進(jìn)行了遷移，使網(wǎng)絡(luò)獲得了較高的識(shí)別準(zhǔn)確率。圖8是4種模型遷移學(xué)習(xí)前后的Top1準(zhǔn)確率對(duì)比曲線，從圖中可看到，在未運(yùn)用遷移學(xué)習(xí)前，曲線的起點(diǎn)在15%～35%，運(yùn)用遷移學(xué)習(xí)后，曲線從60%～80%起步，說(shuō)明運(yùn)用遷移學(xué)習(xí)后，模型中的初始性能得到提高，曲線有了更高的起點(diǎn)；在未運(yùn)用遷移學(xué)習(xí)前，曲線在訓(xùn)練次數(shù)接近40的時(shí)候，才達(dá)到峰值，運(yùn)用遷移學(xué)習(xí)后，曲線在訓(xùn)練次數(shù)為10左右時(shí)就可達(dá)到峰值，說(shuō)明運(yùn)用遷移學(xué)習(xí)后，模型性能得到迅速提高；在未運(yùn)用遷移學(xué)習(xí)前，曲線在訓(xùn)練次數(shù)接近50的時(shí)候，才逐漸趨于穩(wěn)定，運(yùn)用遷移學(xué)習(xí)后，曲線在訓(xùn)練次數(shù)為30左右時(shí)就趨于穩(wěn)定，說(shuō)明運(yùn)用遷移學(xué)習(xí)后，模型有了更好的融合性，曲線能夠在更短的時(shí)間內(nèi)趨于漸近線。

3.3 不同遷移模型對(duì)比

將不同深度遷移識(shí)別算法與本文提出算法做實(shí)驗(yàn)對(duì)比，證明提出算法的可取性。不同遷移模型精度對(duì)比如圖9所示，不同遷移模型對(duì)比參數(shù)見表2。

圖9 不同遷移模型精度對(duì)比

表2 不同遷移模型對(duì)比

由圖9和表2可看出，4種遷移模型在收斂速度上相差不大，本文提出算法的Top1準(zhǔn)確率為93.86%，訓(xùn)練時(shí)間為0.30 h，模型參數(shù)量為5.47 MB，與基于VGG16和ResNet50網(wǎng)絡(luò)遷移識(shí)別算法相比，提出算法效果明顯更好，其Top1準(zhǔn)確率分別高出3.46%、0.17%，訓(xùn)練時(shí)間分別減少0.56、0.09 h，模型參數(shù)量分別降低132.87、20.09 MB。基于InceptionV4網(wǎng)絡(luò)遷移識(shí)別算法訓(xùn)練時(shí)間最長(zhǎng)，其模型參數(shù)量比提出算法高37.21 MB，模型參數(shù)過(guò)大會(huì)導(dǎo)致移植到移動(dòng)端困難的問(wèn)題。因此，在準(zhǔn)確率相差不大的情況下，提出算法模型參數(shù)量有著數(shù)量級(jí)的減少，這對(duì)于移植到移動(dòng)端極有優(yōu)勢(shì)。

3.4 輕量級(jí)系列模型分析

為進(jìn)一步驗(yàn)證本文方法的優(yōu)越性，選取目前用于識(shí)別算法的輕量級(jí)網(wǎng)絡(luò)ShuffleNet、GhosttNet和MobileNet系列分別做對(duì)比實(shí)驗(yàn)。其中提出算法與ShuffleNet和GhosttNet對(duì)比實(shí)驗(yàn)結(jié)果如圖10所示，提出算法與MobileNet系列對(duì)比實(shí)驗(yàn)結(jié)果如圖11所示，不同輕量級(jí)遷移模型對(duì)比結(jié)果見表3。

圖10 不同類型輕量級(jí)遷移模型精度對(duì)比

圖11 MobileNet系列遷移模型精度對(duì)比

表3 不同輕量級(jí)遷移模型對(duì)比

由圖10和表3可看出，3種不同類型輕量級(jí)遷移模型在收斂速度上相差不大，本文提出算法準(zhǔn)確率最高，代表了目前主流的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型。在模型參數(shù)量和預(yù)測(cè)時(shí)間方面，三者不相上下。提出算法采用了1×1的卷積方式，該操作方式雖然會(huì)提升模型參數(shù)量，但對(duì)其計(jì)算量影響不大，所以如果僅從存儲(chǔ)角度評(píng)價(jià)，提出算法的優(yōu)勢(shì)不是最好，但由于其更小的計(jì)算量，使得提出算法擁有更快的推理速度。

由表3可看出，MobileNet系列模型的參數(shù)值均較小，本文提出算法的Top1準(zhǔn)確率為93.86%，預(yù)測(cè)時(shí)間為3.75 ms，與系列中基于MobileNetV1和MobileNetV2網(wǎng)絡(luò)遷移識(shí)別算法相比，其Top1準(zhǔn)確率分別高出4.24%、2.67%，預(yù)測(cè)時(shí)間分別減少0.57 ms、0.78 ms。由圖11可看出，相較于其余兩個(gè)模型算法，提出算法更容易收斂，達(dá)到穩(wěn)定后曲線也更平滑。

綜合以上分析得出，本文提出算法具有較高可取性和優(yōu)越性。

3.5 交叉驗(yàn)證

為進(jìn)一步驗(yàn)證提出算法性能，采用K折交叉驗(yàn)證(K-folder cross validation)對(duì)模型進(jìn)行驗(yàn)證，如圖12所示。其中K取10，將訓(xùn)練集和驗(yàn)證集總和隨機(jī)分割成K個(gè)大小相同的互斥子集，每次選擇K-1份作為訓(xùn)練集，剩下的1份做驗(yàn)證集進(jìn)行驗(yàn)證，最后對(duì)每個(gè)子集模型計(jì)算平均值[21]，實(shí)驗(yàn)結(jié)果見表4。

圖12 10折交叉驗(yàn)證

表4 10折交叉驗(yàn)證準(zhǔn)確率

由表4可看出，在10折交叉驗(yàn)證中，各個(gè)子集模型的驗(yàn)證準(zhǔn)確率相差不大，說(shuō)明提出模型具有一定的穩(wěn)定性和泛化能力。驗(yàn)證集為D4的準(zhǔn)確率偏低，是因?yàn)橛?xùn)練集隨機(jī)分配，有可能無(wú)法完全覆蓋驗(yàn)證集的地形種類，因此這些地形種類的準(zhǔn)確率下降明顯。在訓(xùn)練樣本不夠豐富的情況下，采用交叉驗(yàn)證，可以減少網(wǎng)絡(luò)的隨機(jī)性，防止模型出現(xiàn)過(guò)擬合現(xiàn)象。

3.6 預(yù)測(cè)分析

為驗(yàn)證不同模型遷移學(xué)習(xí)后的預(yù)測(cè)效果，在測(cè)試集上對(duì)最后所得模型進(jìn)行不同類別地形預(yù)測(cè)實(shí)驗(yàn)，以Top1識(shí)別準(zhǔn)確率作為評(píng)價(jià)指標(biāo)，不同模型預(yù)測(cè)對(duì)比結(jié)果見表5。

由表5可看出，4種模型在光滑瓷磚地面和粗糙瓷磚地面上的準(zhǔn)確率均偏低，是因?yàn)檫@兩類地形在顏色和紋理特征方面比較相似，神經(jīng)網(wǎng)絡(luò)提取的低層特征比較泛化，針對(duì)性不高。本文提出算法預(yù)測(cè)時(shí)間最短，為3.75 ms。綜合來(lái)看，提出算法在保證識(shí)別準(zhǔn)確率的同時(shí)兼顧了算法執(zhí)行時(shí)間，實(shí)現(xiàn)了識(shí)別準(zhǔn)確率和模型參數(shù)量之間較好的平衡。

表5 不同模型預(yù)測(cè)對(duì)比

4 結(jié)論

針對(duì)傳統(tǒng)地形識(shí)別算法模型參數(shù)大，所需訓(xùn)練數(shù)據(jù)多且訓(xùn)練時(shí)間長(zhǎng)的問(wèn)題，本文提出了一種基于深度遷移網(wǎng)絡(luò)的地形識(shí)別算法。該方法以ImageNet上預(yù)訓(xùn)練模型的權(quán)重參數(shù)為基礎(chǔ)，運(yùn)用遷移學(xué)習(xí)相關(guān)知識(shí)，將模型的一些共享參數(shù)進(jìn)行遷移，然后在自建數(shù)據(jù)集上進(jìn)行二次訓(xùn)練，把模型在大數(shù)據(jù)集上繼承的先驗(yàn)知識(shí)應(yīng)用到自建小數(shù)據(jù)集中。提出算法在GXU-Terrain6測(cè)試集上的平均預(yù)測(cè)準(zhǔn)確率為93.00%，預(yù)測(cè)時(shí)間為3.75 ms。提出算法在較少數(shù)據(jù)集的情況下進(jìn)行地形識(shí)別實(shí)驗(yàn)，結(jié)果證明是可行的，有效的，同時(shí)可向移動(dòng)端移植。