王改華，郭 釗，周志剛，萬(wàn)溪洲，鄭 旭

(湖北工業(yè)大學(xué)電氣與電子工程學(xué)院，武漢 430068)

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，災(zāi)難場(chǎng)景圖像越來(lái)越多出現(xiàn)在人們視野中，為了方便人類(lèi)查看自己所需的災(zāi)難場(chǎng)景圖片，因此，圖像分類(lèi)變得愈發(fā)重要。隨著卷積神經(jīng)網(wǎng)絡(luò)取得了一定的突破，圖像分類(lèi)技術(shù)的應(yīng)用越來(lái)越廣泛，如圖像搜索，目標(biāo)檢測(cè)[1-3]和目標(biāo)定位等[4-6]。

充分提取圖像特征對(duì)提高圖像分類(lèi)精度有巨大的作用。劉瓊等[7]提出了一種結(jié)合無(wú)監(jiān)督和有監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)權(quán)值預(yù)訓(xùn)練算法，融合零成分分析白化與深度信念網(wǎng)絡(luò)預(yù)學(xué)習(xí)得到的特征，對(duì)卷積神經(jīng)網(wǎng)絡(luò)權(quán)值進(jìn)行初始化，通過(guò)卷積、池化等操作，對(duì)訓(xùn)練樣本進(jìn)行特征提取并使用全連接網(wǎng)絡(luò)對(duì)特征進(jìn)行分類(lèi)。王改華等[8]提出一種采用無(wú)監(jiān)督學(xué)習(xí)算法與卷積構(gòu)造的圖像分類(lèi)模型，從輸入無(wú)標(biāo)簽圖像中隨機(jī)抽取大小相同的圖像塊構(gòu)成數(shù)據(jù)集，進(jìn)行預(yù)處理，將預(yù)處理后的圖像塊通過(guò)兩次K-means聚類(lèi)算法提取字典，并采用離散卷積操作提取最終圖像特征，采用Softmax分類(lèi)器對(duì)提取的圖像特征進(jìn)行分類(lèi)。狄嵐等[9]提出一種道路交通標(biāo)識(shí)識(shí)別算法，通過(guò)色彩增強(qiáng)、圖像分割、特征提取、數(shù)據(jù)增強(qiáng)和歸一化等批量預(yù)處理操作,形成一個(gè)完整的數(shù)據(jù)集，結(jié)合Squeeze-and-Excitation思想和殘差網(wǎng)絡(luò)結(jié)構(gòu),充分訓(xùn)練出MRESE(my residual-squeeze and excitation)卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像進(jìn)行分類(lèi)。史文旭[10]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的多尺度方法結(jié)合反卷積網(wǎng)絡(luò)的特征提取算法并對(duì)腺癌病理圖像進(jìn)行分類(lèi)，利用反卷積操作實(shí)現(xiàn)不同尺度特征的融合，然后利用Inception結(jié)構(gòu)不同尺度卷積核提取多尺度特征，最后通過(guò)Softmax方法對(duì)圖像進(jìn)行分類(lèi)。王雨瀅等[11]提出一種深度學(xué)習(xí)和支持向量機(jī)相結(jié)合的圖像分類(lèi)模型，提取訓(xùn)練集的圖像特征，通過(guò)使用訓(xùn)練集圖片的深度特征來(lái)訓(xùn)練SVM分類(lèi)器，并且在測(cè)試集圖片上實(shí)現(xiàn)分類(lèi)測(cè)試。

1998年，Lecun等[12]提出用一個(gè)可訓(xùn)練的分類(lèi)器對(duì)這些提取到的特征進(jìn)行分類(lèi)。標(biāo)準(zhǔn)的全連接多層網(wǎng)絡(luò)就相當(dāng)于分類(lèi)器，并且該方案盡可能多地依賴(lài)特征提取器本身的學(xué)習(xí)。2012年，Krizhevsky等[13]提出使用非飽和神經(jīng)元和能高效進(jìn)行卷積運(yùn)算的圖形處理器(graphics processing unit，GPU)實(shí)現(xiàn)，加快訓(xùn)練速度。2014年，Simonyan等[14]提出增加網(wǎng)絡(luò)的深度能夠在一定程度上影響網(wǎng)絡(luò)最終的性能。2014年Szegedy等[15]提出了一種新的結(jié)構(gòu)“inception module”，網(wǎng)絡(luò)深度(depth)的增加。擁有更深的網(wǎng)絡(luò)結(jié)構(gòu)和更少的參數(shù)和計(jì)算量。2015年，He等[16]提出在網(wǎng)絡(luò)中增加了直連通道，即Highway Network的思想。此前的網(wǎng)絡(luò)結(jié)構(gòu)是性能輸入做一個(gè)非線(xiàn)性變換，而Highway Network則允許保留之前網(wǎng)絡(luò)層的一定比例的輸出。Ma等[17]提出了一種基于主動(dòng)學(xué)習(xí)的采樣策略。這種采樣策略有兩個(gè)方面的新穎之處：一是采用信息熵來(lái)評(píng)價(jià)分割對(duì)象的分類(lèi)不確定性，將所有分割對(duì)象的熵為零或非零，并將后者按熵的遞減排列；二是在評(píng)價(jià)分類(lèi)不確定性對(duì)分類(lèi)性能影響的基礎(chǔ)上，開(kāi)發(fā)了一種主動(dòng)學(xué)習(xí)技術(shù)。通過(guò)隨機(jī)抽樣獲取一定比例的零熵對(duì)象作為主動(dòng)學(xué)習(xí)的種子訓(xùn)練樣本，將非零熵對(duì)象作為主動(dòng)學(xué)習(xí)的候選集，并采用熵查詢(xún)逐袋算法進(jìn)行主動(dòng)學(xué)習(xí)，以獲取最優(yōu)訓(xùn)練樣本。Zhang等[18]提出了一個(gè)新的框架，稱(chēng)為SRAD-CNN的SAR圖像分類(lèi)。應(yīng)用了一個(gè)根據(jù)斑點(diǎn)減少各向異性擴(kuò)散濾波器的先驗(yàn)知識(shí)構(gòu)建的濾波層。濾波層不僅可以減少斑點(diǎn)，還可以增強(qiáng)邊界。控制濾波程度的主要參數(shù)可以通過(guò)反向傳播算法進(jìn)行自適應(yīng)優(yōu)化。經(jīng)過(guò)濾波層自適應(yīng)濾波的圖像斑點(diǎn)再放入CNN層中分配標(biāo)簽。Lü等[19]提出了一種基于CNN的深度學(xué)習(xí)方法，結(jié)合通過(guò)能量驅(qū)動(dòng)采樣提取的超級(jí)像素進(jìn)行VHRI分類(lèi)。該方法主要包括3個(gè)步驟：首先，基于地理對(duì)象的圖像分析的概念，利用基于SEEDS的超級(jí)像素分割方法將圖像分割成同質(zhì)的超級(jí)像素，從而減少處理單元的數(shù)量；其次，從圖像中提取訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，并在超像素級(jí)別上對(duì)CNN進(jìn)行各種尺度的協(xié)整；最后將訓(xùn)練數(shù)據(jù)輸入到CNN的參數(shù)訓(xùn)練中，從VHRI中提取抽象的深度特征。利用這些提取的深度特征，對(duì)單尺度和多尺度的兩個(gè)VHRI數(shù)據(jù)集進(jìn)行分類(lèi)。Zhi等[20]提出了一種密集卷積神經(jīng)網(wǎng)絡(luò)(DCNN)，通過(guò)促進(jìn)特征重用，加強(qiáng)特征和梯度的流動(dòng)，提高分類(lèi)性能。在網(wǎng)絡(luò)中，特征主要通過(guò)設(shè)計(jì)的密集塊進(jìn)行學(xué)習(xí)，每層產(chǎn)生的特征圖可以通過(guò)連通模式直接連接到后續(xù)各層。Law等[21]提出一種卷積神經(jīng)網(wǎng)絡(luò)街面網(wǎng)(street-frontage-net，SFN)，它可以成功地將街面質(zhì)量評(píng)估為活躍的(包含門(mén)窗的街面)或空白的(包含墻壁、圍墻和車(chē)庫(kù)的街面)。

Attention機(jī)制最早是應(yīng)用于圖像領(lǐng)域的。2014年Mnih等[22]提出在循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)模型上使用了Attention機(jī)制來(lái)進(jìn)行圖像分類(lèi)。隨后Bahdanau等[23]提出使用類(lèi)似Attention的機(jī)制在機(jī)器翻譯任務(wù)上將翻譯和對(duì)齊同時(shí)進(jìn)行，他們的工作算是第一個(gè)將Attention機(jī)制應(yīng)用到自然語(yǔ)言處理(natural language processing，NLP)領(lǐng)域中。2017年Vaswani等[24]提出使用自注意力(self-attention)機(jī)制來(lái)學(xué)習(xí)文本表示。2018年Chen等[25]提出是用傳統(tǒng)的GAN網(wǎng)絡(luò)做Object Transfiguration 時(shí)一般有兩個(gè)步驟：檢測(cè)感興趣的目標(biāo)；將檢測(cè)的目標(biāo)轉(zhuǎn)換到另一個(gè)域。其中Attention network 用于提供稀疏的注意力圖像(attention maps)，物體變換(object transfiguration network)做域轉(zhuǎn)換，之后再將兩個(gè)網(wǎng)絡(luò)的輸出進(jìn)行合成得到最終的output。2019年，Nathani等[26]提出了一種用于關(guān)系預(yù)測(cè)的生成式基于注意力的圖嵌入方法。對(duì)于節(jié)點(diǎn)分類(lèi)，圖注意力網(wǎng)絡(luò)表現(xiàn)出能關(guān)注于圖中最相關(guān)的部分，給定一個(gè)知識(shí)圖譜和關(guān)系預(yù)測(cè)任務(wù)，該模型通過(guò)將注意力指引到給定節(jié)點(diǎn)的多跳鄰居的實(shí)體和關(guān)系特征，生成和擴(kuò)展注意力機(jī)制。2019年，Zhou等[27]提出將語(yǔ)義分割結(jié)果作為自我關(guān)注線(xiàn)索進(jìn)行探索，以顯著提高行人檢測(cè)性能。提出的行人自我關(guān)注機(jī)制可以有效識(shí)別行人區(qū)域和抑制背景。2019年，Chaudhari等[28]提出注意力模型旨在通過(guò)允許解碼器訪(fǎng)問(wèn)整個(gè)編碼的輸入序列{h1，h2，…，hT} 來(lái)減輕這些挑戰(zhàn)。其核心思想是在輸入序列上引入注意力權(quán)重α，以?xún)?yōu)先考慮存在相關(guān)信息的位置集，以生成下一個(gè)輸出。2020年，Zhao等[29]提出將傳統(tǒng)卷積解耦，并將特征聚集理解成局部區(qū)域內(nèi)的像素特征加權(quán)求和。利用注意力機(jī)制自動(dòng)生成這個(gè)權(quán)值，從而增加所考慮的局部區(qū)域大小，又不增加參數(shù)目標(biāo)，同時(shí)允許特征聚合適應(yīng)每個(gè)通道。2020年，Qiao等[30]提出了一種端到端的層次注意摳圖網(wǎng)絡(luò)(HAttMatting)，實(shí)現(xiàn)了這種層次結(jié)構(gòu)的聚合。2020年，Kitaev等[31]提出將傳統(tǒng)的多頭注意力機(jī)制改為基于局部敏感哈希的注意力機(jī)制，以及將RevNet的思想加入到Transformer里面來(lái)減少參數(shù)對(duì)內(nèi)存的占用，另外還有因子分解機(jī)支持的神經(jīng)網(wǎng)絡(luò)(factorisation-machine supported neural networks，F(xiàn)NN)機(jī)制用來(lái)減少在全連接層的內(nèi)存占用量。CNN可對(duì)特征數(shù)據(jù)進(jìn)行主動(dòng)學(xué)習(xí)，具有較好的泛化能力，在圖像分類(lèi)領(lǐng)域得到了廣泛的使用。

為了提高災(zāi)難場(chǎng)景圖片的識(shí)別和分類(lèi)效果，現(xiàn)提出一種基于多分辨率和殘差注意力機(jī)制的圖像分類(lèi)模型。首先對(duì)災(zāi)難場(chǎng)景數(shù)據(jù)集進(jìn)行劃分，隨機(jī)地將其分為訓(xùn)練集和測(cè)試集，利用訓(xùn)練集圖像改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)，對(duì)其參數(shù)進(jìn)行反復(fù)調(diào)試，最后通過(guò)測(cè)試集對(duì)其進(jìn)行分類(lèi)測(cè)試，同時(shí)利用其他分類(lèi)模型對(duì)相同的圖像數(shù)據(jù)集進(jìn)行分類(lèi)測(cè)試，通過(guò)分類(lèi)測(cè)試精度對(duì)比，說(shuō)明所提出的方法的可行性和有效性。

1 相關(guān)工作

1.1 注意力機(jī)制

注意力機(jī)制是從大量信息中有選擇地篩選出少量重要信息并聚焦到這些重要信息上，忽略大多不重要的信息?；谧⒁饬C(jī)制的卷積神經(jīng)網(wǎng)絡(luò)可以與前饋網(wǎng)絡(luò)體系結(jié)構(gòu)結(jié)合在一個(gè)端到端的網(wǎng)絡(luò)體系中。注意力網(wǎng)絡(luò)是通過(guò)疊加注意力模塊來(lái)建立的，這些模塊產(chǎn)生注意力感知特征，不同模塊的注意感知特性是自適應(yīng)的。注意力機(jī)制結(jié)構(gòu)圖如圖1所示。

圖1 注意力機(jī)制結(jié)構(gòu)示意圖

1.2 殘差注意力機(jī)制

殘差注意力網(wǎng)絡(luò)模型如圖2所示。結(jié)構(gòu)首先通過(guò)一系列卷積和池化，逐漸提取高層特征并增大模型的感受野，高層特征中所激活的像素能夠反映注意力所在的區(qū)域，再通過(guò)相同數(shù)量的上采樣將特征圖的尺寸放大到與原始輸入一樣大，這樣就將注意力機(jī)制的區(qū)域?qū)?yīng)到輸入的每一個(gè)像素上。

x為輸入；M(x)為注意力圖；T(x)為輸出特征圖

在左邊的掩膜分支，先下采樣，讓網(wǎng)絡(luò)把較為重要的信息提取出來(lái)，然后再用上采樣把輸出和輸入大小變?yōu)橐恢?，得到注意力圖M(x)。而在右邊的主干分支，最終輸出也是一個(gè)特征圖T(x)。

掩膜分支輸出的注意力圖中的每一個(gè)像素值相當(dāng)于原始特征圖上每一個(gè)像素值的權(quán)重，它會(huì)增強(qiáng)有意義的特征，抑制無(wú)意義的信息。因此，將掩膜分支與主干分支輸出的特征圖進(jìn)行點(diǎn)乘，就得到一個(gè)注意機(jī)制網(wǎng)絡(luò)模型輸出，其表達(dá)式為

Hi,c(x)=[1+Mi,c(x)]Ti,c(x)

(1)

式(1)中：Hi,c(x)為注意力機(jī)制網(wǎng)絡(luò)模型的輸出；Mi,c(x)為第i個(gè)像素點(diǎn)的位置，第c個(gè)通道的位置對(duì)應(yīng)掩膜分支特征圖的輸出；Ti,c(x)為第i個(gè)像素點(diǎn)的位置，第c個(gè)通道的位置對(duì)應(yīng)主干分支特征圖的輸出；其中Mi,c(x)的取值范圍在0～1，如果Mi,c(x)的值接近于0，那么Hi,c(x)的值會(huì)近似等于Ti,c(x)，這樣從理論上講，有Attention Module的效果肯定不會(huì)差過(guò)沒(méi)有Attention Module的效果。Mi,c(x)是關(guān)鍵，通過(guò)添加這個(gè)掩膜分支，模型可以自適應(yīng)地提高重要的特征同時(shí)忽視來(lái)自主干分支的噪聲。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的災(zāi)難場(chǎng)景圖像分類(lèi)

2.1 基于殘差注意力機(jī)制DenseNet網(wǎng)絡(luò)模型

選擇DenseNet網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)，在其基礎(chǔ)上提出了一種基于殘差注意力機(jī)制DenseNet網(wǎng)絡(luò)模型用于災(zāi)難場(chǎng)景圖像分類(lèi)。將殘差注意力機(jī)制注意力模塊(Attention Module)同時(shí)加到DenseNet網(wǎng)絡(luò)模型稠密塊1和過(guò)渡層1，稠密塊2和過(guò)渡層2，稠密塊3和過(guò)渡層3之間。改進(jìn)的DenseNet網(wǎng)絡(luò)模型包含了輸入層、卷積層、池化層、稠密塊、注意力模塊、過(guò)渡層和分類(lèi)層。DenseNet-attention網(wǎng)絡(luò)模型如圖3所示。

圖3 DenseNet-attention網(wǎng)絡(luò)模型

輸入層將測(cè)試圖片標(biāo)準(zhǔn)化為3×224×224，即指定圖片大小為224×2 243通道。依次經(jīng)過(guò)卷積、池化、稠密塊1、注意力模塊、過(guò)渡層1、稠密塊2、注意力模塊、過(guò)渡層2、稠密塊3、注意力模塊、過(guò)渡層3、稠密塊4和softmax輸出。經(jīng)過(guò)實(shí)驗(yàn)測(cè)試，將殘差注意力機(jī)制注意力模塊分別同時(shí)加到DenseNet網(wǎng)絡(luò)模型中稠密塊1和過(guò)渡層1，稠密塊2和過(guò)渡層2，稠密塊3和過(guò)渡層3之間的分類(lèi)效果最好。

2.2 基于多分辨率DenseNet網(wǎng)絡(luò)模型

選擇DenseNet網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)，在其基礎(chǔ)上提出了一種基于多分辨率DenseNet網(wǎng)絡(luò)模型用于災(zāi)難場(chǎng)景圖像分類(lèi)。在DenseNet網(wǎng)絡(luò)稠密塊中增加多分辨率模塊，改變瓶頸層的結(jié)構(gòu)。在瓶頸層中添加多分辨率因子，使瓶頸層的層數(shù)不再固定不變，可以通過(guò)多分辨因子來(lái)控制瓶頸層層數(shù)。這里的多分辨率因子設(shè)為5，增長(zhǎng)率設(shè)為24。即稠密塊中一共有5個(gè)瓶頸層，其中第一個(gè)瓶頸層的特征圖個(gè)數(shù)為24，后面的瓶頸層的特征圖以24個(gè)特征圖逐個(gè)增加，當(dāng)?shù)降?個(gè)瓶頸層時(shí)，自動(dòng)使特征圖個(gè)數(shù)變?yōu)?4。由于增長(zhǎng)率的存在，每個(gè)瓶頸層的輸出特征圖依次遞增。DenseNet-multiresolution網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 DenseNet-multiresolution網(wǎng)絡(luò)結(jié)構(gòu)

2.3 基于殘差注意力機(jī)制和多分辨率DenseNet網(wǎng)絡(luò)模型

選擇DenseNet網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)，在其基礎(chǔ)上提出了一種基于殘差注意力機(jī)制和多分辨率DenseNet網(wǎng)絡(luò)模型用于災(zāi)難場(chǎng)景圖像分類(lèi)。將殘差注意力機(jī)制注意力模塊同時(shí)加到DenseNet網(wǎng)絡(luò)模型稠密塊1和過(guò)渡層1，稠密塊2和過(guò)渡層2，稠密塊3和過(guò)渡層3之間。在DenseNet網(wǎng)絡(luò)稠密塊中增加多分辨率模塊，改變瓶頸層的結(jié)構(gòu)。多分辨率因子設(shè)為5，增長(zhǎng)率設(shè)為24。即稠密塊中一共有5個(gè)瓶頸層，其中第一個(gè)瓶頸層的特征圖個(gè)數(shù)為24，后面的瓶頸層的特征圖以24個(gè)特征圖逐個(gè)增加，當(dāng)?shù)降?個(gè)瓶頸層時(shí)，自動(dòng)使特征圖個(gè)數(shù)變?yōu)?4。DenseNet-attention-multiresolution網(wǎng)絡(luò)模型如表2所示。

表2 DenseNet-attention-multiresolution網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)硬軟件環(huán)境

本文實(shí)驗(yàn)是在硬件環(huán)境為Windows10、64位操作系統(tǒng)、英特爾Xeon(至強(qiáng))E5-2683 v3 @ 2.00 GHz處理器、運(yùn)行內(nèi)存32 G計(jì)算機(jī)上進(jìn)行的，DenseNet網(wǎng)絡(luò)在Tensorflow框架下完成模型的搭建。為了增加對(duì)比實(shí)驗(yàn)，加入了Xception和MobileNetV2網(wǎng)絡(luò)。Xception和MobileNetV2網(wǎng)絡(luò)在Keras框架下完成模型的搭建。數(shù)據(jù)集都采用Disaster_Data_Scenes數(shù)據(jù)集。其中殘差注意力機(jī)制用于DenseNet、Xception和MobileNetV2網(wǎng)絡(luò)模型，多分辨率只用于DenseNet網(wǎng)絡(luò)模型中。

3.2 數(shù)據(jù)集的介紹

Disaster_Data_Scenes數(shù)據(jù)集涉及3種不同災(zāi)害類(lèi)型的災(zāi)后場(chǎng)景。數(shù)據(jù)庫(kù)包含1 763張RGB彩色圖像，包括3種不同的災(zāi)難類(lèi)型: 756幅圖像是地震圖像(0_Ear地震);566圖像為海嘯圖像(1_Tsu海嘯)，其余441幅圖像為龍卷風(fēng)圖像(2_Tor龍卷風(fēng))。具體來(lái)說(shuō)，地震數(shù)據(jù)來(lái)自2010年的海地地震和2011年新西蘭新克賴(lài)斯特徹奇地震;海嘯數(shù)據(jù)來(lái)自2004年日本東北海嘯和2004年印度尼西亞海嘯;龍卷風(fēng)數(shù)據(jù)是來(lái)自2013年美國(guó)俄克拉何馬州的摩爾龍卷風(fēng)。3種不同災(zāi)難場(chǎng)景數(shù)據(jù)集部分圖片如圖4所示。

圖4 災(zāi)難場(chǎng)景數(shù)據(jù)集部分圖片

所有數(shù)據(jù)庫(kù)中有15%的圖片被隨機(jī)選取作為測(cè)試集。因此，在訓(xùn)練階段隨機(jī)選取了1 500張圖片;其余263張圖像作為測(cè)試數(shù)據(jù)。

3.3 實(shí)驗(yàn)結(jié)果及分析

由于這3類(lèi)輸入圖片尺寸大小不一，相差較大。首先對(duì)圖像數(shù)據(jù)集進(jìn)行預(yù)處理，在程序中用resize函數(shù)把圖片大小統(tǒng)一縮小為224×224大小尺寸。把所有的圖片分批次投入到模型中進(jìn)行訓(xùn)練，設(shè)定每次輸入模型訓(xùn)練圖片數(shù)量為32。迭代輪數(shù)設(shè)置800。采用Tensorflow和Keras中的可視化工具Tensorboard，將模型訓(xùn)練和測(cè)試保存的數(shù)據(jù)用Tensorboard可視化工具打開(kāi)。在Anaconda prompt窗口輸入tensorboard--logdir=“網(wǎng)絡(luò)測(cè)試保存的loss路徑”，“改進(jìn)網(wǎng)絡(luò)測(cè)試保存的loss路徑”?；剀?chē)后，可以得到一個(gè)網(wǎng)址，然后用Google瀏覽器打開(kāi)。DenseNet網(wǎng)絡(luò)和改進(jìn)的DenseNet網(wǎng)絡(luò)，Xception和Xception-attention、MobileNetV2和MobileNetV2-attention網(wǎng)絡(luò)在災(zāi)難場(chǎng)景數(shù)據(jù)集測(cè)試集中accuracy變化曲線(xiàn)圖如圖5和圖6所示。

圖5 DenseNet和改進(jìn)的DenseNet網(wǎng)絡(luò)模型精度變化曲線(xiàn)圖

圖6 Xception、改進(jìn)的Xception、MobileNetV2和改進(jìn)MobileNetV2網(wǎng)絡(luò)模型精度變化曲線(xiàn)圖

從圖5可以看出，迭代次數(shù)從0～400輪時(shí)，DenseNet和改進(jìn)的DenseNet測(cè)試精度上升較快，迭代次數(shù)從400～800輪時(shí)，測(cè)試精度上升較慢。最終DenseNet網(wǎng)絡(luò)測(cè)試精度為57.41%，DenseNet-attention網(wǎng)絡(luò)測(cè)試精度為66.54%，DenseNet-attention-multiresolution網(wǎng)絡(luò)測(cè)試精度為67.68%，DenseNet-multiresolution網(wǎng)絡(luò)測(cè)試精度為75.29%。DenseNet-attention網(wǎng)絡(luò)比DenseNet網(wǎng)絡(luò)測(cè)試精度提高了9.13%，DenseNet-attention-multiresolution網(wǎng)絡(luò)比DenseNet網(wǎng)絡(luò)測(cè)試精度提高了10.27%，DenseNet-multiresolution網(wǎng)絡(luò)比DenseNet網(wǎng)絡(luò)測(cè)試精度提高了17.88%。改進(jìn)的DenseNet網(wǎng)絡(luò)和原網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)說(shuō)明了殘差注意力機(jī)制和多分辨率對(duì)網(wǎng)絡(luò)分類(lèi)效果有一定的提升。從圖6可以看出，迭代次數(shù)從0～100輪時(shí)，Xception和Xception-attention測(cè)試精度上升較快，迭代次數(shù)從100～800輪時(shí)，測(cè)試精度上升緩慢。最終，Xception網(wǎng)絡(luò)測(cè)試精度為76.05%，Xception-attention網(wǎng)絡(luò)測(cè)試精度為80.61%。改進(jìn)的Xception網(wǎng)絡(luò)測(cè)試精度提升了4.56%。迭代次數(shù)從0～150輪時(shí)，MobileNetV2和MobileNetV2-attention測(cè)試精度增長(zhǎng)較快，迭代次數(shù)從150～800輪時(shí)，測(cè)試精度變化較慢。最終MobileNetV2網(wǎng)絡(luò)測(cè)試精度為71.86%，MobileNetV2-attention網(wǎng)絡(luò)測(cè)試精度為74.90%。改進(jìn)的MobileNetV2網(wǎng)絡(luò)測(cè)試精度較原網(wǎng)絡(luò)精度提高了3.04%。通過(guò)改進(jìn)的Xception和改進(jìn)的MobileNetV2網(wǎng)絡(luò)和原網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，殘差注意力機(jī)制對(duì)災(zāi)難場(chǎng)景圖像分類(lèi)效果有一定的提升。通過(guò)上述實(shí)驗(yàn)，說(shuō)明了殘差注意力機(jī)制和多分辨率對(duì)網(wǎng)絡(luò)模型分類(lèi)的效果有一定的提升。分類(lèi)準(zhǔn)確率對(duì)比如表3所示。

表3 分類(lèi)準(zhǔn)確度對(duì)比

4 結(jié)論

在理解DenseNet，Xception，MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，提出了一種改進(jìn)的DenseNet、Xception和MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明，所提出改進(jìn)的網(wǎng)絡(luò)模型比原來(lái)網(wǎng)絡(luò)模型在災(zāi)難場(chǎng)景數(shù)據(jù)集上分類(lèi)測(cè)試精度有一定的提升。改進(jìn)的Xception和MobileNetV2網(wǎng)絡(luò)在災(zāi)難場(chǎng)景數(shù)據(jù)庫(kù)上進(jìn)行的圖像分類(lèi)實(shí)驗(yàn)測(cè)試，精度分別提升了4.56%和3.04%。其中DenseNet-attention、DenseNet-multiresolution和DenseNet-attention-multiresolution比DenseNet網(wǎng)絡(luò)模型精度分別提升9.13%、17.88%和10.27%。通過(guò)模型測(cè)試比較，說(shuō)明了所提出的方法的效果較好。應(yīng)用于災(zāi)難場(chǎng)景圖像分類(lèi)有一定前景。