国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于輕量級MIE_Net的田間農(nóng)作物病害識別

2023-06-17 15:46溫釗發(fā)蒲智程曦趙昀杰張澤宇
江蘇農(nóng)業(yè)科學 2023年10期
關鍵詞:注意力機制

溫釗發(fā) 蒲智 程曦 趙昀杰 張澤宇

摘要:為實現(xiàn)農(nóng)作物病害的快速精準識別,降低病害對農(nóng)業(yè)安全生產(chǎn)的影響,本研究針對現(xiàn)有病害識別模型參數(shù)量大、魯棒性低、泛化性弱等問題提出了輕量級MIE_Net農(nóng)作物病害識別網(wǎng)絡。該網(wǎng)絡以MobileNetV2為基礎網(wǎng)絡結構,首先使用多尺度特征提取模塊替換原網(wǎng)絡的初始卷積層,提高網(wǎng)絡對不同面積病斑的特征提取能力,增加網(wǎng)絡中的特征復雜度;其次在主模塊中添加ECA注意力機制,提高網(wǎng)絡對葉片病害區(qū)域的關注程度,降低復雜背景對小病斑特征提取過程的影響;最后使用Swish激活函數(shù)增加網(wǎng)絡的表達能力,使網(wǎng)絡性能達到最優(yōu)。結果表明,多尺度特征提取模塊提高了模型對不同病斑大小的識別準確率,ECA注意力模塊提高了網(wǎng)絡對小病斑的識別準確率,最終網(wǎng)絡模型對復雜環(huán)境中2種作物11種病害類別的最低識別精確率達到91.2%,總體病害識別準確率達到95.79%,比原網(wǎng)絡提高1.84百分點,參數(shù)量為2.24M,權重文件大小為8.78MB。MIE_Net網(wǎng)絡在保證模型輕量化的同時提高了模型的準確性、泛化性以及魯棒性,整體性能優(yōu)于其他現(xiàn)有網(wǎng)絡模型,為以后的輕量級作物病害識別方法提供了參考。

關鍵詞:病害識別;輕量級網(wǎng)絡;注意力機制;多尺度特征

中圖分類號:TP391.41文獻標志碼:A

文章編號:1002-1302(2023)10-0176-09

目前,病害依然是作物安全生產(chǎn)過程中的嚴重威脅。聯(lián)合國糧食及農(nóng)業(yè)組織統(tǒng)計數(shù)據(jù)表明,每年全球因病蟲害而造成的糧食生產(chǎn)損失高達20%~40%[1]。2021年我國發(fā)生糧食重大病蟲害與其他一類農(nóng)作物病蟲害土地面積達到2.35億hm2[2-3],對農(nóng)業(yè)生產(chǎn)造成重大經(jīng)濟損失。因此,盡早對作物病害進行精確識別對我國農(nóng)業(yè)安全生產(chǎn)與健康發(fā)展具有重要意義。

農(nóng)作物發(fā)生病害時,在植物葉片表面會產(chǎn)生顏色、紋理、形狀等方面變化,傳統(tǒng)病害識別需要專業(yè)技術人員在田間對病害種類進行甄別,這種方法時效性低、主觀性高,極易錯過病害防治最佳時間?;趫D像處理技術的病害識別需要人工進行特征選取、圖像分割等大量前期圖像預處理工作,人為選定的特征信息也會割裂病害全局信息,造成部分關鍵特征的信息丟失。而深度學習不需要進行前期冗雜的圖像預處理工作,直接采用端到端的方式學習病害高級特征,避免了主觀因素的影響。

蒲秀夫等使用VGG16網(wǎng)絡實現(xiàn)了簡單背景下的多種作物病害圖像識別,平均準確率為96.8%[4];Tang等在ShuffleNet中引入注意力機制,在PlantVillage數(shù)據(jù)集上對多種作物病害識別準確率達到99.14%[5];Ni等結合密集連接思想對ResNet50網(wǎng)絡進行改進,在AIChallenger2018數(shù)據(jù)集上準確率比原網(wǎng)絡提高了0.8%[6-7];胡玲艷等引入注意力機制對SqueezeNet進行改進,在PlantVillage數(shù)據(jù)集上準確率達到97.29%[8];孫文斌等將注意力機制引入ResNet18網(wǎng)絡,在AIChallenger2018數(shù)據(jù)集上準確率達到86.93%,權重文件大小為48.6MB[9]。以上都是基于簡單環(huán)境背景開展的病害識別研究,模型應用于實地時易受外界因素影響,魯棒性低、泛化性差。李昊等在專用設備上通過YOLOV4與DenseNet網(wǎng)絡分別實現(xiàn)了柑橘園病害葉片的檢測與病害識別,在自采集復雜環(huán)境數(shù)據(jù)集上準確率達到95.46%[10];孫俊等在MobileNetV2中引入特征金字塔與注意力機制,在kaggle復雜背景數(shù)據(jù)集上達到92.20%的準確率[11];黃林生等在ResNet18中引入Inception模塊,在復雜背景數(shù)據(jù)集上平均準確率達到95.62%,權重文件大小為44.2MB[12]。以上研究針對解決復雜環(huán)境下的病害識別,但網(wǎng)絡準確率不夠理想、計算量過多、權重文件過大,難以搭載至移動端。

針對上述問題,本研究以復雜背景下的農(nóng)作物病害葉片圖像為研究對象,提出一種適用于復雜田間環(huán)境的輕量級網(wǎng)絡結構MIE_Net,實現(xiàn)了對作物病害的高效精準識別,并利用對比試驗與消融試驗驗證了網(wǎng)絡有效性,以期為深度學習網(wǎng)絡模型移植于移動端提供思路。

1材料與方法

1.1試驗數(shù)據(jù)

1.1.1數(shù)據(jù)采集

簡單背景葉片圖像數(shù)據(jù)無外界因素干擾,病害特征表現(xiàn)明顯,但由于背景單一,致使訓練出的模型魯棒性與泛化性差,無法在田間真實環(huán)境中應用。因此,本研究使用數(shù)據(jù)集由簡單背景葉片圖像與田間復雜背景葉片圖像兩大部分構成(圖1)。數(shù)據(jù)集包括2種作物(蘋果、玉米)的9種病害葉片圖像(蘋果斑點落葉病、蘋果褐斑病、蘋果灰斑病、蘋果花葉病、蘋果銹病、蘋果黑星病、玉米灰斑病、玉米大斑病、玉米銹?。┖?種健康葉片圖像(蘋果健康、玉米健康),共6787張。從PlantVillage數(shù)據(jù)集、NewPlantDiseasesDataset數(shù)據(jù)集、AppleScabLDs數(shù)據(jù)集以及實地拍攝圖像中通過數(shù)據(jù)清洗、人工篩選得到無重復數(shù)據(jù)的原始數(shù)據(jù)集。通過分析表1可以發(fā)現(xiàn),原始數(shù)據(jù)集中存在圖像數(shù)據(jù)總樣本少、不同作物數(shù)據(jù)樣本分布不均衡、同種作物不同病害樣本數(shù)量存在差距、同種病害不同背景的樣本數(shù)量差距大等問題。因此,本研究擬通過數(shù)據(jù)預處理、模型結構優(yōu)化等方式降低樣本數(shù)量少、分布不均衡對模型性能的影響。

1.1.2數(shù)據(jù)預處理

為保證訓練集與測試集的數(shù)據(jù)獨立性[13],確保模型評估效果的真實性與有效性,在數(shù)據(jù)預處理操作前,將原始數(shù)據(jù)集按8∶2的比例劃分為訓練集與測試集。由于訓練集圖像難以涵蓋田間實地的多種復雜情況,網(wǎng)絡在訓練過程中容易產(chǎn)生過擬合現(xiàn)象,訓練出的模型泛化性、魯棒性較差,因此需要對訓練集進行數(shù)據(jù)增強操作。通過分析作物病害表現(xiàn)特征,添加噪聲、顏色變換等數(shù)據(jù)增強方式會改變病害的本質特征,不利于網(wǎng)絡訓練過程中的病害特征提取,故僅采用水平翻轉、垂直翻轉、角度旋轉、亮度變換、對比度變換5種方式進行圖像增強操作,增強效果見圖2。為增強模型訓練過程中的數(shù)據(jù)隨機性,同時避免數(shù)據(jù)增強過度,本研究在訓練過程中隨機選取多種圖像增強方法對訓練集進行增強操作,操作參數(shù)見表2。

1.2模型選取與改進

隨著深度學習的發(fā)展,卷積神經(jīng)網(wǎng)絡在目標檢測、實例分割、圖像識別等領域取得了良好表現(xiàn)[14]。本研究采用相同的訓練策略對多種網(wǎng)絡在同一數(shù)據(jù)集上進行訓練,測試集表現(xiàn)如表3所示。通過比較各模型的準確率、F1分數(shù)與權重文件大小,選擇MobileNetV2[15]、ShufflenetV2作為備選網(wǎng)絡。通過表4可知,MobileNetV2網(wǎng)絡在測試集上對各類病害的識別精確率與F1分數(shù)比ShufflenetV2網(wǎng)絡更均衡且平均值更高,最終選取MobileNetV2作為本研究基礎網(wǎng)絡。

MobileNetV2是Sandler等在MobileNetV1[15-16]網(wǎng)絡基礎上改進提出的。MobileNetV1提出的深度可分離卷積由深度卷積與逐點卷積構成,該操作降低了卷積過程運算量,提高了模型運算速度[16],如圖3-a所示。MobileNetV2在深度可分離模塊的基礎上結合殘差模塊[17]與瓶頸模塊提出倒置殘差模塊,將輸入特征通過逐點卷積-深度卷積-逐點卷積操作,在保持較低計算復雜度的同時提高了模型獲取特征的豐富度,如圖3-b所示。但針對復雜背景下的作物病害識別任務,MobileNetV2依舊存在一些不足,網(wǎng)絡中所有卷積核尺寸都是采用3×3大小,提取特征過于單一,不能很好使用不同病斑大小的特征提??;面對過于復雜的背景或小病斑時,隨著網(wǎng)絡深度增加,病害部位低級特征易被忽略或丟失?;诖?,本研究將對MobileNetV2網(wǎng)絡進行改進,提高網(wǎng)絡性能表現(xiàn)。

1.2.1改進的多尺度特征提取模塊

在串聯(lián)網(wǎng)絡上提高模型特征獲取能力最直接的方法是增加網(wǎng)

絡深度或寬度,但會導致模型參數(shù)量多,復雜度高等問題。針對此,Szegedy等提出了多尺度特征提取模塊[18],如圖4-a所示,將串聯(lián)網(wǎng)絡的完全連接結構改為了并聯(lián)的稀疏連接結構,在模型計算復雜度不會失控膨脹的基礎上顯著增加了單元數(shù)量,提高了特征獲取的復雜度與豐富度。本研究中,作物病害具有病斑面積大小不均、背景復雜多變的特點,當處于病害初期或為小型病斑時,使用3×3小尺寸卷積核可以提取到足夠有效特征,但當病斑過大或成片表現(xiàn)時,3×3小尺寸卷積核會導致病斑特征信息的割裂丟失,使網(wǎng)絡難適應于不同時期、不同種類的病害識別?;诖?,本研究引入多尺度特征提取模塊,根據(jù)實際研究需求與葉片病害識別特點提出MInception模塊,將原始模塊中的步長修改為2,快速降低特征圖大小,減少傳入網(wǎng)絡主干的參數(shù)量;將第1分支的卷積核尺寸修改為2×2大小,解決因步長變化而導致小病斑圖像特征丟失的問題;在第2分支和第3分支分別借鑒倒置殘差模塊與瓶頸模塊的思想對網(wǎng)絡通道的壓縮膨脹進行改進,進一步提高網(wǎng)絡獲取特征的豐富性;對各分支通道數(shù)量進行壓縮,在保證提取豐富特征的同時避免模型參數(shù)量膨脹失控;將ReLU激活函數(shù)替換為Swish激活函數(shù),提高模型泛化性,模塊結構見圖4-b。使用該模塊取代基礎網(wǎng)絡中的第1層3×3卷積操作,增加了網(wǎng)絡中病害特征提取的多樣性,提高了網(wǎng)絡的泛化能力。

1.2.2改進的ECA倒置殘差模塊

注意力機制是在網(wǎng)絡中通過計算輸入特征的各通道目標權重,使用乘積操作將權重賦予各通道,使網(wǎng)絡更關注于目標區(qū)域的一種方法。針對本研究研究內(nèi)容,復雜背景圖像中外界干擾因素過多,小病斑在網(wǎng)絡傳播過程中會出現(xiàn)特征丟失情況,致使網(wǎng)絡關注于其他區(qū)域。而注意力機制可以將圖像中病害區(qū)域的權重增大,使網(wǎng)絡始終關注于病害發(fā)生區(qū)域,有利于提高網(wǎng)絡性能,提升識別準確率。傳統(tǒng)的SE注意力[19]是將特征圖的所有通道信息在壓縮階段進行處理,增加了網(wǎng)絡的運算量,破壞了通道間的相對獨立性,使病害的特征信息遭受破壞。ECA注意力[20]綜合考慮了各通道間的聯(lián)系性與獨立性,每次使用步長為1、大小為k的一維卷積對k個通道執(zhí)行操作,在不破壞特征信息的基礎上實現(xiàn)了無降維的權重計算操作,如圖5-a所示,一維卷積尺寸大小k如式(1)所示。本研究通過試驗比較CBAM、DECA、ECA3種注意力對于網(wǎng)絡性能的影響,將ECA注意力添加至倒殘差模塊的深度卷積操作后,將ECA倒置殘差模塊中的激活函數(shù)修改為Swish激活函數(shù),結構見圖5-b,增加了網(wǎng)絡對病害特征的關注度,提高了網(wǎng)絡準確率。

k=log2(C)γ+b[]γodd。(1)

式中:odd代表取最近整數(shù),k代表一維卷積大小,C代表當前卷積核數(shù)量,γ=2,b=1。

1.2.3MIE_Net輕量級農(nóng)作物病害識別網(wǎng)絡

本研究設計的MIE_Net網(wǎng)絡以MobileNetV2為基礎網(wǎng)絡,使用MInception模塊替換原始網(wǎng)絡的第1個3×3卷積層,將主干網(wǎng)絡中的導致殘差結構更換為改進的ECA倒置殘差模塊,最終得到的MIE_Net輕量級網(wǎng)絡整體結構見圖6。網(wǎng)絡得到任意像素的RGB圖像后首先將圖像縮放為224×224大小,然后對圖像進行歸一化處理,接著通過MInception與ECABlock等模塊結構對輸入圖像進行高級特征提取,最后利用Softmax得到圖像目標患各病害的概率,選取最大概率作為模型輸出,模型相關參數(shù)見表5。

1.2.4網(wǎng)絡評價標準

設立評價標準可以更客觀地對模型性能進行評估,本研究選用準確率、平均精確率、平均F1分數(shù)、參數(shù)量、權重大小共5個指標作為模型整體評價標準,選用精確率、F1分數(shù)作為每類作物病害分類的評價標準。

1.3試驗環(huán)境與參數(shù)設置

1.3.1試驗環(huán)境

所有網(wǎng)絡采用相同的試驗環(huán)境,均在本地進行訓練。在硬件方面CPU處理器使用IntelCoreTMi7-10875H@2.30GHz,GPU圖形處理器使用NVIDIAGeForceRTX2060,顯存為6G,運行內(nèi)存為16G。在軟件配置方面CUDA版本為11.0,Cudnn版本為8.0,以Pytorch1.10作為深度學習框架,使用Python3.8編程語言在Pycharm2020.3平臺完成網(wǎng)絡的結構搭建與訓練。

1.3.2參數(shù)設置

本試驗所有網(wǎng)絡使用相同訓練策略,選用Adam優(yōu)化器,訓練過程中更新所有參數(shù),學習率設置為0.001,經(jīng)過網(wǎng)絡模型性能對比選用交叉熵損失函數(shù),迭代次數(shù)設置為50,批處理圖像數(shù)受硬件條件所限設置為32張/批。

2結果與分析

2.1模型性能結果分析

為驗證MIE_NET網(wǎng)絡的有效性,本部分選取MobileNetV2、EfficientNet、ConvNext等3種網(wǎng)絡在同一數(shù)據(jù)集上使用相同的訓練策略與MIE_Net作對比試驗。由圖7可知,MIE_Net網(wǎng)絡的收斂速度高于其他3種網(wǎng)絡結構,更容易訓練。由表6可知,MIE_Net網(wǎng)絡在測試集準確率上比原始MobileNetV2網(wǎng)絡提高了1.84百分點,病害識別平均精確率比ConvNext網(wǎng)絡提高了5.50百分點,模型的準確性、泛化性與魯棒性更加優(yōu)異。與EfficientNet網(wǎng)絡性能表現(xiàn)相似,但參數(shù)量僅為EfficientNet的55.72%,權重文件僅為EfficientNet的56.28%,模型更容易搭載于移動端,進一步體現(xiàn)了MIE_Net模型的優(yōu)異性能。

2.2消融試驗結果分析

為了使MIE_Net網(wǎng)絡在保持良好性能的基礎上盡可能輕量化,本部分使用消融試驗來判斷各模塊對網(wǎng)絡性能的影響,進而優(yōu)化網(wǎng)絡結構。

由圖8可知,引入ECA注意力機制或多尺度特征提取模塊都提高了模型的收斂速度,提升了網(wǎng)絡性能;使用交叉熵損失函數(shù)的網(wǎng)絡收斂速度高于使用FocalLoss損失函數(shù)的同類型網(wǎng)絡。圖中FocalLoss損失值低是因為在反向傳播過程中人為地對損失值進行了0.25或0.5的懲罰系數(shù)造成的。最終,基于交叉熵損失函數(shù)并融合了改進的ECA倒置殘差模塊與MInception模塊的MIE_Net網(wǎng)絡收斂速度達到最快。

由表7可知,在MobileNetV2中加入ECA注意力機制,蘋果灰斑病精確率提高12.5百分點、玉米灰斑病精確率提高9.3百分點,網(wǎng)絡平均精確率提高1.63百分點,準確率提高1.42百分點;加入多尺度特征提取模塊,玉米銹病識別精確率提高2.5百分點,玉米大斑病識別精確率提高1.2百分點。試驗表明,引入注意力機制可以使網(wǎng)絡在面對背景復雜的小病斑病害圖像時減弱背景影響,加大病斑特征位置的權重,使網(wǎng)絡更關注于病害區(qū)域;引入多尺度特征提取模塊可以使網(wǎng)絡在面對大病斑或呈片狀分布的葉片病害時,在保證病害特征整體性的同時,實現(xiàn)網(wǎng)絡對病害特征的充分提取。

在MobileNetV2_ECA中使用交叉熵損失函數(shù),測試集準確率提高了2.39百分點,平均精確率提高了2.65百分點。在MobileNetV2_Inception中使用Swish激活函數(shù),提高了大多數(shù)病害的精確率,平均精確率提高了1.46百分點。試驗表明,交叉熵損失函數(shù)與Swish激活函數(shù)可以提升網(wǎng)絡整體性能。

最后,將ECA注意力機制、多尺度特征提取、Swish激活函數(shù)與交叉熵損失函數(shù)進行整合,得到MIE_Net農(nóng)作物病害識別網(wǎng)絡。該網(wǎng)絡與各類改進網(wǎng)絡相比,在其他病害識別精確率達到理想的情況下,數(shù)據(jù)集中幾類難識別作物病害的精確率也得到了比較好的提升,病害最低識別精確率達到91.2%,在測試集準確率上比MobileNetV2網(wǎng)絡提高了1.84百分點。綜上所述,文中所提各模塊對網(wǎng)絡性能都有著不同方面的提升,融合了各模塊優(yōu)點的MIE_Net網(wǎng)絡模型在不同改進網(wǎng)絡中準確性、泛化性與魯棒性最優(yōu)。

2.3混淆矩陣結果分析

本研究使用混淆矩陣作為病害識別模型的性能衡量指標之一,其中x軸代表圖像的真實標簽,y軸代表模型的預測標簽,主對角線為模型預測正確的樣本數(shù)量,本部分使用與訓練集完全獨立的測試集圖像數(shù)據(jù)對模型進行性能測試。從圖9可知,MIE_Net模型對蘋果斑點落葉病與蘋果灰斑病有識別錯誤的情況產(chǎn)生,這是由于蘋果斑點落葉病與蘋果灰斑病在形狀、顏色2種特征上有極高的相似度。但MIE_Net網(wǎng)絡的泛化性、魯棒性、準確性及模型收斂速度均高于其他網(wǎng)絡,對各種類病害都能實現(xiàn)很好的識別效果。

3結論

本研究立足于農(nóng)業(yè)生產(chǎn)實際,針對復雜背景干擾因素多、病斑大小不一及現(xiàn)有模型參數(shù)量過大等問題,提出了一種輕量級網(wǎng)絡模型MIE_Net,實現(xiàn)了對2種作物11種病害的高效精準識別。MIE_Net網(wǎng)絡以MobileNetV2為基礎網(wǎng)絡,通過引入注意力機制與多尺度特征提取模塊,減輕了復雜背景與病斑大小不一對模型性能的干擾。同時,在保證模型識別準確率、收斂速度、泛化性與魯棒性的前提下,平衡了模型復雜量與性能的關系,最終模型在測試集準確率達到95.79%,參數(shù)量為2.24M,權重文件為8.78MB。以上充分體現(xiàn)了MIE_Net網(wǎng)絡搭載在移動端解決復雜背景作物病害識別問題的優(yōu)越性,為其他輕量級復雜病害識別網(wǎng)絡研究提供了參考。

參考文獻:

[1]FoodandAgricultureOrganizationoftheUnitedNation.Planthealthandfoodsecurity[EB/OL].(2020-06-04)[2022-03-03].https://www.fao.org/3/i7829en/I7829EN.pdf.

[2]劉杰,姜玉英,黃沖,等.2021年全國糧食作物重大病蟲害發(fā)生趨勢預報[J].中國植保導刊,2021,41(1):37-39,42.

[3]2021年其他一類農(nóng)作物病蟲害全國發(fā)生趨勢預報[J].農(nóng)民文摘,2021(3):47.

[4]蒲秀夫,寧芊,雷印杰,等.基于二值化卷積神經(jīng)網(wǎng)絡的農(nóng)業(yè)病蟲害識別[J].中國農(nóng)機化學報,2020,41(2):177-182.

[5]TangZ,YangJL,LiZ,etal.Grapediseaseimageclassificationbasedonlightweightconvolutionneuralnetworksandchannelwiseattention[J].ComputersandElectronicsinAgriculture,2020,178:105735.

[6]NiP,ChenZ,CaoMY.Researchoncropdiseaserecognitionbasedonunitingmulti-layerfeatures[J].JournalofPhysics,2021,1961(1):012030.

[7]HuangG,LiuZ,vanderMaatenL,etal.Denselyconnectedconvolutionalnetworks[C]//2017IEEEConferenceonComputerVisionandPatternRecognition(CVPR).Honolulu:IEEE,2017.

[8]胡玲艷,周婷,許巍,等.面向番茄病害識別的改進型SqueezeNet輕量級模型[J].鄭州大學學報(理學版),2022,54(4):71-77.

[9]孫文斌,王榮,高榮華,等.基于可見光譜和改進注意力的農(nóng)作物病害識別[J].光譜學與光譜分析,2022,42(5):1572-1580.

[10]李昊,劉海隆,劉生龍.基于深度學習的柑橘病蟲害動態(tài)識別系統(tǒng)研發(fā)[J].中國農(nóng)機化學報,2021,42(9):195-201,208.

[11]孫俊,朱偉棟,羅元秋,等.基于改進MobileNet-V2的田間農(nóng)作物葉片病害識別[J].農(nóng)業(yè)工程學報,2021,37(22):161-169.

[12]黃林生,羅耀武,楊小冬,等.基于注意力機制和多尺度殘差網(wǎng)絡的農(nóng)作物病害識別[J].農(nóng)業(yè)機械學報,2021,52(10):264-271.

[13]林建吾,張欣,陳孝玉龍,等.基于輕量化卷積神經(jīng)網(wǎng)絡的番茄病害圖像識別[J].無線電工程,2022,52(8):1347-1353.

[14]牛學德,高丙朋,南新元,等.基于改進DenseNet卷積神經(jīng)網(wǎng)絡的番茄葉片病害檢測[J].江蘇農(nóng)業(yè)學報,2022,38(1):129-134.

[15]SandlerM,HowardA,ZhuML,etal.MobileNetV2:invertedresidualsandlinearbottlenecks[C]//2018IEEE/CVFConferenceonComputerVisionandPatternRecognition.SaltLakeCity:IEEE,2018:4510-4520.

[16]HowardAG,ZhuML,ChenB,etal.MobileNets:efficientconvolutionalneuralnetworksformobilevisionapplications[EB/OL].(2017-04-17)[2022-03-05].https://arxiv.org/abs/1704.04861

[17]HeKM,ZhangXY,RenSQ,etal.Deepresiduallearningforimagerecognition[EB/OL].(2015-12-10)[2022-03-05].https://arxiv.org/pdf/1512.03385.pdf.

[18]SzegedyC,LiuW,JiaYQ,etal.Goingdeeperwithconvolutions[C]//2015IEEEConferenceonComputerVisionandPatternRecognition(CVPR).Boston:IEEE,2015.

[19]HuJ,ShenL,AlbanieS,etal.Squeeze-and-excitationnetworks[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2020,42(8):2011-2023.

[20]WangQL,WuBG,ZhuPF,etal.ECA-net:efficientchannelattentionfordeepconvolutionalneuralnetworks[C]//2020IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR).Seattle:IEEE,2020.

猜你喜歡
注意力機制
基于注意力機制的行人軌跡預測生成模型
基于序列到序列模型的文本到信息框生成的研究
基于深度學習的手分割算法研究
從餐館評論中提取方面術語
基于LSTM?Attention神經(jīng)網(wǎng)絡的文本特征提取方法
InsunKBQA:一個基于知識庫的問答系統(tǒng)