王祎 李旭偉 劉怡光 陳立平

摘 要 ???：基于深度學(xué)習(xí)的圖像識別技術(shù)在具體應(yīng)用前必須先經(jīng)過大量帶標(biāo)簽樣本的訓(xùn)練，然而在實(shí)際場景中目標(biāo)域樣本可能非常稀缺，小樣本圖像識別技術(shù)應(yīng)運(yùn)而生.為了提升小樣本場景下的圖像識別準(zhǔn)確率，本文提出一個通用的兩階段訓(xùn)練模型以融合現(xiàn)行主流方法并增強(qiáng)其表現(xiàn).首先，針對訓(xùn)練時不同害蟲種類背景相似度過高的問題提出融合雙注意力機(jī)制的特征加強(qiáng)模塊；其次，針對小樣本情況下預(yù)測可能產(chǎn)生的過擬合問題提出基于高斯分布的特征生成模塊以提高泛化能力；最后，將三種典型小樣本識別方法統(tǒng)一成兩階段訓(xùn)練模型以融入提出的方法.將該思路及改進(jìn)首次應(yīng)用于傳統(tǒng)害蟲分類數(shù)據(jù)集IP102，識別準(zhǔn)確率可以在基準(zhǔn)方法上取得2.11%到6.87%的提升.為了進(jìn)一步驗(yàn)證本文方法的有效性，在小樣本領(lǐng)域公開數(shù)據(jù)集Mini-Imagenet也進(jìn)行了相應(yīng)的實(shí)驗(yàn)，提升效果同樣顯著.

關(guān)鍵詞 ： 圖像識別； 小樣本； 特征增強(qiáng)； 農(nóng)業(yè)害蟲

中圖分類號 ：S126 文獻(xiàn)標(biāo)識碼 ：A DOI ： ?10.19907/j.0490-6756.2023.042001

Few shot learning of agricultural pests classification ?fusion with enhanced feature model

WANG Yi ?1， LI ?Xu-Wei ?1， LIU Yi-Guang ?1， CHEN Li-Ping ?2

（1. College of Computer Science （College of Software）， Sichuan University， Chengdu 610065， China；

2. School of Information Engineering， Tarim University， Tarim 843300， China）

In order to achieve accurate image recognition in scenarios where the target domain samples are limited，such as agricultural pest Image recognition， few shot image classification methods have been developed as an extension of deep learning-based image classification .To further improve the accuracy in the few shot image classification， this paper proposes a general two-stage training model that integrates current mainstream methods and enhances their performance to improve the recognition accuracy in limited sample scenarios Firstly， a feature enhancement module incorporating dual attention mechanism is proposed to solve the problem that the background similarity of different pest species is too high during training. Secondly， a feature generation module based on Gaussian distribution is proposed to solve the problem of overfitting that may occur in prediction in the case of a single sample. to improve the generalization ability. Finally， three typical few-shot recognition methods are unified into a two-stage training model to incorporate the proposed method. This idea and improvement are applied to the traditional pest classification dataset IP102 for the first time， and the recognition accuracy can be improved by 2.11% to 6.87% over the benchmark method. In order to further verify the effectiveness of the method in this paper， corresponding experiments were also carried out on the public dataset Mini-Imagenet in the field of few shot learning， the improvement effect is also significant.

Imagine classification; Few shot learning; Feature enhancement; Agricultural pests

1 引 言

農(nóng)業(yè)問題關(guān)乎民生大計(jì)，種類繁多的害蟲卻給糧食生產(chǎn)和作物安全帶來了巨大的挑戰(zhàn) ?［1］，因此安全高效地識別農(nóng)業(yè)害蟲尤為重要.同時基于深度學(xué)習(xí)的圖像識別技術(shù)也取得了飛速的進(jìn)展，各種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò) ?［2-4］和Transformer機(jī)制 ?［5-6］在某些特定場景下的表現(xiàn)已經(jīng)超越人類，面對經(jīng)濟(jì)與效率的取舍，有學(xué)者在農(nóng)業(yè)害蟲識別領(lǐng)域使用機(jī)器視覺方法進(jìn)行了各種積極的嘗試.

2016年吳翔使用12層卷積神經(jīng)網(wǎng)絡(luò)對128*128輸入的彩色圖像進(jìn)行識別 ?［7］， 在10類害蟲識別上達(dá)到了76.7%的識別準(zhǔn)確率；2017年Cheng ?［8］ 等通過深度殘差模塊對復(fù)雜農(nóng)田背景下的害蟲進(jìn)行識別，準(zhǔn)確率達(dá)到99.67%；2018年周愛明 ?［9］提出了適合移動端部署的輕量化模型，在保證一定效率的條件下識別準(zhǔn)確率為93.5%；2019年Thenmozhi ??［10］等使用遷移學(xué)習(xí)的思路研究農(nóng)業(yè)害蟲識別，并對多種超參數(shù)進(jìn)行調(diào)節(jié)，最終在引用的三類害蟲識別上達(dá)到95%以上的準(zhǔn)確率；2020年Nanni ??［11］等在更具挑戰(zhàn)的ip102 ?［12］數(shù)據(jù)集上，將顯著性方法與卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行融合，達(dá)到了61.93%的識別準(zhǔn)確率； 2021年Hridoy ??［13］等使用不同的卷積神經(jīng)網(wǎng)絡(luò)，在早期秋葵害蟲圖像上進(jìn)行對比實(shí)驗(yàn)，其中MobileNetV2表現(xiàn)效果最佳，取得了98%的識別準(zhǔn)確率.

雖然已有研究取得了較好的成果，但是其識別準(zhǔn)確率嚴(yán)重依賴數(shù)據(jù)集，對于新出現(xiàn)的未經(jīng)訓(xùn)練的類別則束手無策.小樣本學(xué)習(xí)專門用于解決目標(biāo)域樣本不足這一問題，但是目前將其用于農(nóng)業(yè)害蟲識別這一領(lǐng)域的研究寥寥無幾.

因此本文以當(dāng)前最具挑戰(zhàn)的IP102農(nóng)田害蟲數(shù)據(jù)集作為基準(zhǔn)數(shù)據(jù)，首次采用小樣本領(lǐng)域的研究思路進(jìn)行研究；目的是通過已有類別的訓(xùn)練，使得模型在遇到新的類別時，只需要一張引導(dǎo)圖片便可以將學(xué)習(xí)到的特征進(jìn)行遷移，從而顯著提高模型對新出現(xiàn)類別的識別準(zhǔn)確率.

為了進(jìn)一步提高模型在小樣本情況下的識別準(zhǔn)確率，分析三種典型小樣本識別方法：匹配網(wǎng)絡(luò) ?［24］，原型網(wǎng)絡(luò) ?［14］和圖神經(jīng)網(wǎng)絡(luò) ?［15］共性部分，在訓(xùn)練階段，引入空間注意力機(jī)制和通道注意力機(jī)制以強(qiáng)化不同類別害蟲類別差異信息；在驗(yàn)證階段，使用基類信息加強(qiáng)新類支撐集樣本特征以避免過擬合，最終將兩種方法進(jìn)行結(jié)合，使得模型識別準(zhǔn)確率在基準(zhǔn)方法上得到了大幅提升.

應(yīng)用該方法可以在新的害蟲種類比如非洲蝗蟲剛?cè)肭謺r，只需專家進(jìn)行一次標(biāo)定，后續(xù)便可以對其地區(qū)容易混淆的害蟲種類進(jìn)行識別，從而進(jìn)行針對性防治預(yù)案.因此對于比較稀缺和較難獲得的樣本，這種訓(xùn)練模式無疑是更具有實(shí)際應(yīng)用價(jià)值.

2 任務(wù)定義

小樣本學(xué)習(xí) ?［16］的目標(biāo)是給定一組標(biāo)記好的圖集 S={（ x ?1， y ?1），（ x ?2， y ?2），…，（ x ?i， y ?i）} ，其中 ?x ?i∈ 瘙 綆

d×d 是圖像特征， ?y ?i∈C 是樣本標(biāo)簽，人為將 S 劃分為基類（base） ?S ?b 和新類（new） ?S ?n ，二者關(guān)系為 ??S ?b∩ S ?n=， S ?b∪ S ?n=S .對于基類數(shù)據(jù)和新類數(shù)據(jù)分別存在支撐集 ?S ?s （Support set）和查詢集 ??S ?q （Query set），目的是通過 ?S ?b 的引導(dǎo)使得網(wǎng)絡(luò)具有在 ?S ?n 中的泛化能力，即：在每一次任務(wù) T 中，通過支撐集 ?S ?s ?n 的引導(dǎo)能將 ?S ?q ?n 劃分到正確的類別中. n 含義為每一次任務(wù)的數(shù)據(jù)來源為新類（new）.

為了衡量模型的泛化能力，通常會定義一個K-way N-shot的問題，即：在新類下，每次任務(wù)會隨機(jī)抽取 K 個類別，每個類別只提供 N 個帶標(biāo)簽的樣本作為支持集，然后對新出現(xiàn)的未知標(biāo)簽樣本進(jìn)行分類計(jì)算準(zhǔn)確率.當(dāng) N =1時就是單樣本學(xué)習(xí)，即支持集每一個類別只提供一個帶標(biāo)簽的樣本用于學(xué)習(xí).該任務(wù)信息如圖1的5way-1shot 測試任務(wù)示意圖.

3 相關(guān)工作及改進(jìn)分析

3.1 相關(guān)工作

目前少樣本研究以Meta-learning ??［17］為主要思路，最具代表的有匹配網(wǎng)絡(luò)MatchingNet ?［24］，原型網(wǎng)絡(luò)ProtoNet ?［14］，圖神經(jīng)GnnNet ?［15］等基于度量學(xué)習(xí)的方法.

3.1.1 匹配網(wǎng)絡(luò) ?匹配網(wǎng)絡(luò)的思想就是在給定支持集樣本的情況下，假設(shè)有一個新的測試樣本 ?x ?^ ?，需要分別求出 ?x ?^ ?屬于 ?y ?i 的概率，并將最大類別標(biāo)簽概率作為最終預(yù)測結(jié)果.模型一般表示如式（1）.

P（y ?^ ∣x ?^ ，S）= ∑ ?k ?i=1a x ?^ ，x ?i y ?i ?（1）

其中， k 為類別數(shù)，對于支持集的每一個類別都需要求出概率 ；a 是網(wǎng)絡(luò)訓(xùn)練的目標(biāo)，其一般表達(dá)式為式（2）.

a x ?^ ，x ?i =e ??d（f（x ?^ ），g（x ?i）） / ?∑ ?k ?j=1e ??d（f（x ?^ ），g（x ?j）） ?（2）

其中， d 是查詢集與支持集的距離度量，原文采用余弦相似度作為度量； f 和 g 為網(wǎng)絡(luò)嵌入模型，目的是將查詢集和支持集映射到不同的特征空間.

3.1.2 原型網(wǎng)絡(luò) ?原型網(wǎng)絡(luò)則假定對于每一類樣本在特征空間都存在一個原型位置prototype，同類別樣本則分布于這個原型附近.因此在訓(xùn)練時先通過一個embedding函數(shù) ?f ?φ 將數(shù)據(jù)映射到特征空間，然后將向量化均值作為每一類的原型空間.形式化表示為式（3）.

c ?k= 1 ∣S ?k∣ ?∑ ??（x ?i，y ?i）∈S ?kf ?φ（x ?i） ?（3）

其中， ?c ?k 為每一類別的原型; ?f ?φ 是一個嵌入模型，目的是將圖像轉(zhuǎn)化到特征空間，增強(qiáng)計(jì)算效率.

在測試時將查詢 集數(shù)據(jù)與每個類別原型的距離經(jīng)softmax處理便可以得到所屬類別，即式（4）所述.

p ?φ（y=k∣x）= ?exp ?-d f ?φ（x）， c ?k ???∑ ??k′ exp ?-d f φ（x）， c ?k′ ????（4）

其中， d 是一個距離度量函數(shù)，用于衡量查詢集與類別原型之間的距離.

3.1.3 圖神經(jīng)網(wǎng)絡(luò) ?圖神經(jīng)網(wǎng)絡(luò)的方法則通過將標(biāo)簽信息從有標(biāo)簽的樣本傳播到無標(biāo)簽的樣本上進(jìn)行圖像分類.首先按照式（5）構(gòu)造圖神經(jīng)網(wǎng)絡(luò)初始節(jié)點(diǎn).

x ?（0） i= f φ x i ，h l i ???（5）

其中， ?f ?φ（ x ?i） 是樣本在特征空間中的向量表示; ?h（ l ?） 是標(biāo)簽的One-Hot向量，二者拼接作為圖的初始結(jié)點(diǎn).接下來，獲得圖的臨接矩陣如式（6）.

A ～ ??（k） ?i，j= ?MLP ?θ ～ ??abs ??x ?（k） i- x ?（k） j ???（6）

將結(jié)點(diǎn) i 和 j ?的絕對值之差疊加一個多層感知器作為圖的臨界矩陣，MLP即是一個多層感知機(jī)， ?θ ?是可以學(xué)習(xí)的參數(shù).最后，獲得整體圖模型并通過式（7）進(jìn)行消息傳播.

x ??（k+1） l=ρ ?∑ ?B x ??（k）θ ??（k） ?B，l ??（7）

其中， B 為鄰接矩陣的集合; ??θ ?（k） ?B，l 是可以訓(xùn)練的參數(shù)，它可以獲得當(dāng)前層結(jié)點(diǎn)和其鄰接矩陣的頂點(diǎn)并更新為下一層的頂點(diǎn); ρ（·） 是為了提高泛化能力引進(jìn)的激活函數(shù).通過以上方法經(jīng)過多次迭代可以將標(biāo)簽信息傳播至無標(biāo)簽樣本.

3.2 改進(jìn)分析

由于目前不同小樣本學(xué)習(xí)方法在具有不同特征的數(shù)據(jù)上表現(xiàn)各有優(yōu)勢，本文擬提出通用的特征增強(qiáng)模塊以提高各種方法對農(nóng)業(yè)害蟲識別的準(zhǔn)確率和適應(yīng)能力.分析3.1節(jié)三種典型網(wǎng)絡(luò)，其共性為：在特征空間上度量各類別之間的距離以完成分類，不同之處在于度量模式的不同.匹配網(wǎng)絡(luò) ?［24］計(jì)算待分類圖片與每一張支撐集圖片的余弦距離進(jìn)行度量；原型網(wǎng)絡(luò) ?［14］計(jì)算待分類圖片與類別原型之間的高斯距離進(jìn)行度量；而圖神經(jīng)網(wǎng)絡(luò) ?［15］直接將類別關(guān)系通過節(jié)點(diǎn)與邊進(jìn)行傳遞，在傳遞過程中度量待分類樣本與各類別之間的關(guān)系.

然而，這三種典型網(wǎng)絡(luò)都只關(guān)注度量方法合適與否而忽略了兩個關(guān)鍵信息：（1） 在將圖像信息映射到特征空間的過程中是否損失了每個害蟲類別的關(guān)鍵性特征信息，如果每類害蟲缺乏獨(dú)有的特征標(biāo)識，那么分類效果勢必受到影響；（2） 即使映射后的特征向量足以保留每張害蟲圖像的類別信息，在測試階段每一類害蟲僅有一張圖片進(jìn)行分類引導(dǎo)，如果這一張圖片特征不明確或者某些非關(guān)鍵性信息過于強(qiáng)烈則會對分類結(jié)果有錯誤的引導(dǎo).

4 提出的方法

不同于以往的小樣本圖像分類方法，本文采用兩階段訓(xùn)練的模式進(jìn)行訓(xùn)練.第一階段引入雙注意力機(jī)制對特征提取階段每類害蟲的關(guān)鍵性特征信息進(jìn)行數(shù)據(jù)增強(qiáng)；第二階段采用基于高斯分布的特征生成模塊，借助基類豐富的樣本信息生成相關(guān)樣本以糾正測試樣本稀缺帶來得偏分布，整體網(wǎng)絡(luò)架構(gòu)如圖2所示.

具體的，第一階段：首先基于傳統(tǒng)的小樣本學(xué)習(xí)方法訓(xùn)練出一個良好的可以準(zhǔn)確提取不同害蟲類別關(guān)鍵性信息的特征提取器，如resnet，并在這一階段引入空間注意力和通道注意力 ?［18］機(jī)制，使得特征提取網(wǎng)絡(luò)能夠識別到不同種類在各種背景下的細(xì)微差異，從而重點(diǎn)關(guān)注每一個害蟲類別獨(dú)有特征信息.第二階段：由于新類中的數(shù)據(jù)只有有限的帶標(biāo)記樣本，如果采用傳統(tǒng)方法直接分類很可能會產(chǎn)生過擬合的情況.因此假定特征是基于高斯分布的，則每個類的類別信息與其均值和方差直接相關(guān)，均值表示了每個類別的原型，方差表示類內(nèi)差異性，這樣便可以借助基類的分布更加準(zhǔn)確地估計(jì)新類的分布 ?［19］.因此第二階段會借助第一階段的特征提取網(wǎng)絡(luò)，計(jì)算出基類類別在特征空間上的均值和方差，并基于最近鄰算法的思想利用與新類最相似類別特征生成大量帶標(biāo)記的樣本，最后結(jié)合生成的樣本和新類支持集訓(xùn)練出一個更加優(yōu)秀的分類器以實(shí)現(xiàn)分類.

4.1 融合雙注意力機(jī)制的特征提取網(wǎng)絡(luò)

注意力機(jī)制使得網(wǎng)絡(luò)學(xué)會關(guān)注重點(diǎn)區(qū)域，比如螽斯和蝗蟲的重點(diǎn)差異為觸角與身體長度的比例，一般有空間注意力機(jī)制和通道注意力機(jī)制兩種模式，空間注意力機(jī)制關(guān)注圖像維度的差異信息，通道注意力機(jī)制關(guān)注通道維度的差異信息.

對于農(nóng)業(yè)害蟲而言，圖像維度體現(xiàn)了不同害蟲的大小，角度和位置等信息，通道維度體現(xiàn)了顏色，紋理等信息，二者對于不同的害蟲辨識都非常重要，因此本文結(jié)合空間注意力和通道注意力機(jī)制對每一階段生成的特征圖進(jìn)行加強(qiáng)處理.無論以ConvNet還是ResNet作為特征提取網(wǎng)絡(luò)，都在跳躍連接階段引入雙注意力機(jī)制以達(dá)到準(zhǔn)確率和效率的平衡，具體實(shí)現(xiàn)流程如圖3所示.

4.1.1 通道注意力機(jī)制 ?將圖像映射到特征空間過程中，圖像信息經(jīng)過多層卷積不斷進(jìn)行信息壓縮，每個卷積層的不同通道會關(guān)注不同的信息，通道注意力機(jī)制解決網(wǎng)絡(luò)應(yīng)該重點(diǎn)關(guān)注通道信息的問題，一個通道注意力機(jī)制由式（8）和式（9）組成.

ω 1=σ f ?（W 0，W 1） α F ?+f ?（W 0，W 1） δ F ????（8）

其中， F∈ 瘙 綆

C×H×W 為選取的中間層的特征圖， C，H，W 分別表示特征圖的深度，高度和寬度； α，δ 分別表示平均池化下采樣和最大池化下采樣，經(jīng)過其作用后特征圖尺寸為 C×1×1 ，整個過程見式（9）.

δ（F）= ?max ???H，W（F），

α（F）= 1 W×H ?∑ ?H ?i=1 ∑ ?W ?j=1F ??i，j ?（9）

其中， ?W ?0， W ?1 是共享卷積層，目的是改變特征圖的通道數(shù).一個完整的通道注意力機(jī)制如式（10）.

ω 1=σ（ W 1 ReLU （ W 0α（F））+

W 1 ReLU （ W 0δ（F））） ?（10）

其中，ReLU（）和 σ（） 分別表示Relu激活函數(shù)和sigmoid激活函數(shù).

4.1.2 空間注意力機(jī)制 ?空間注意力機(jī)制解決網(wǎng)絡(luò)應(yīng)該關(guān)注哪些重點(diǎn)區(qū)域的問題，與通道注意力機(jī)制類似，其實(shí)現(xiàn)方式是將平均池化下采樣和最大池化下采樣的結(jié)果進(jìn)行特征融合后疊加一個卷積層，以獲取空間權(quán)重特征，可形式化表示為式（11）.

ω 2=σ W ?7*7 α（F）;δ（F） ???（11）

4.1.3 骨干網(wǎng)絡(luò)信息融合 ?對于每一個stage的輸出都會經(jīng)過這樣一個雙注意力機(jī)制，通道注意力機(jī)制會把原圖轉(zhuǎn)化成一個 C×1×1 的一維向量，并與特征圖進(jìn)行相乘以學(xué)習(xí)通道的權(quán)重信息；空間注意力機(jī)制會將原圖轉(zhuǎn)化成一個 1×H×W 特征圖，以學(xué)習(xí)到特征圖的每一個空間信息的權(quán)重值.雙注意力機(jī)制可表示為式（12）所示.

F′=ω 1（F）?F，

F″=ω 2（F′）?F′ ?（12）

其中， ?ω ?1， ω ?2 分別代表第3.1節(jié)提到的通道注意力機(jī)制和空間注意力機(jī)制; ? 表示逐元素相乘.一個完整的并行雙注意力機(jī)制則會將通道注意力機(jī)制的輸出作為空間注意力機(jī)制輸入，最終疊加得到注意力增強(qiáng)結(jié)果.

4.2 基于高斯分布的特征生成器

在測試階段每一類害蟲只有一張引導(dǎo)圖片，已訓(xùn)練出的模型很容易因?yàn)闃颖静蛔阈纬傻钠植级鴮?dǎo)致過擬合，為防止過擬合，需要合理利用基類數(shù)據(jù)中的大量樣本.對于農(nóng)業(yè)害蟲而言，雖然新類是沒有見過的類別，但均屬于昆蟲種類，圖像特征與基類圖像具有極大的相似性，因此可以借助訓(xùn)練集中相似樣本的均值和方差來校準(zhǔn)偏分布以防止過擬合.

4.2.1 計(jì)算基類特征信息 ?利用第一階段生成的特征提取網(wǎng)絡(luò)將原圖映射到特征空間，可以有效地減少數(shù)據(jù)維度，從而進(jìn)行特征的快速提取.由于基類中數(shù)據(jù)樣本充足，可以方便地獲取每一個類別在特征空間內(nèi)的統(tǒng)計(jì)信息，其中第 i 類的均值 ?μ ?i 和方差 ??Σ ??i 分別為式（13）和式（14）所示.

μ ?i= ?∑ ??n ?i ?j=1x j n ?i ??（13）

Σ ?i= 1 n ?i-1 ?∑ ??n ?i ?j=1 x ??j-μ ?i ??x ?j-μ ?i ??T ?（14）

其中， i ?代表支持集內(nèi)樣本種類數(shù); j 代表對應(yīng)種類內(nèi)具體的樣本數(shù)量; ?n ?i 則表示基類 i 中樣本的總數(shù); ?x ?j 是基類 i 中第 j 個樣本的特征向量.

4.2.2 生成相關(guān)種類特征 ?特征遷移與校準(zhǔn)的前提是樣本相似度較高，因而在特征空間內(nèi)的均值和方差相差不大，而基類數(shù)據(jù)類別豐富，不可能全部用于樣本生成，因此需要找出與新類關(guān)系最為密切的種類信息.本文采用歐式距離進(jìn)行密切性度量找出關(guān)系最為密切的 t 個類別，通過這 t 個類別的均值和方差來生成最相關(guān)類別的特征信息.

（15）

其中， ?x ?是新類中帶標(biāo)簽樣本在特征空間中的向量表示; ??瘙 綃

b 是基類中所有樣本與新類帶標(biāo)簽樣本（新類支持集）的歐式距離的集合; b 含義為基類數(shù)據(jù)（base）.按照式（16）選取距離最近的前TOP（ t ）個元素作為補(bǔ)充類集合 ?瘙 綃

t ，這里 t 本質(zhì)上為超參數(shù)，可以根據(jù)不同的數(shù)據(jù)集靈活選取.

（16）

使用補(bǔ)充類集合內(nèi)的元素可以按照式（17）生成與新類關(guān)系最為密切的均值和方差：

（17）

4.2.3 根據(jù)生成特征采樣樣本訓(xùn)練線性分類器 ?對于每一次測試任務(wù)都應(yīng)該基于以上方法計(jì)算均值和方差生成樣本來校正支持集樣本分布，將生成的特征集合稱作

y={（ μ′ ?1， ?Σ ′ ?1），…，（ μ′ ?k， ?Σ ′ ?k）} ，其中 ?μ′ ?i， ?Σ ′ ?i 是根據(jù)支持集中第 i 類圖像的特征向量生成的校準(zhǔn)分布均值和方差.

若已知類別的均值和特征向量，則通過隨機(jī)采樣生成補(bǔ)充樣本，設(shè)生成的樣本集合為 ?G ?y ，其可通過式（18）生成.

G ?y={ x，y |x～N（μ，Σ）， （μ，Σ）∈F ?y} ?（18）

其中，第 i 類樣本對應(yīng)生成補(bǔ)充樣本為 （x，y） ，將生成的樣本與原樣本混合作為增強(qiáng)樣本，通過式（19）以最小化交叉熵?fù)p失為目標(biāo)訓(xùn)練一個線性分類器.

l=∑ ?（x，y）～S ～ ∪G ??y，y∈YT - log Pr（y|x;θ） ?（19）

其中， ?y ?T 是對于每一個訓(xùn)練任務(wù)而言的類別數(shù); θ 是一個可訓(xùn)練的參數(shù)，訓(xùn)練完畢之后用式（19）訓(xùn)練的線性分類器對新類的查詢集進(jìn)行預(yù)測計(jì)算準(zhǔn)確率.

5 實(shí)驗(yàn)與結(jié)果

5.1 數(shù)據(jù)集介紹

本實(shí)驗(yàn)基于發(fā)布在CVPR 2019上的大型農(nóng)業(yè)害蟲數(shù)據(jù)集IP102，其共包含102類超過75 000幅從野外真實(shí)環(huán)境中發(fā)現(xiàn)的農(nóng)業(yè)害蟲圖像，貼近害蟲自然狀態(tài)，并且數(shù)據(jù)集中包含了各種害蟲不同生長周期的圖像，其周期差異信息也給識別帶來巨大的挑戰(zhàn).

對于傳統(tǒng)圖像識別任務(wù)，采用典型的原數(shù)據(jù)集劃分模式，即訓(xùn)練集∶測試集∶驗(yàn)證集=6∶2∶2；而對于小樣本圖像識別任務(wù)，為了使驗(yàn)證集與訓(xùn)練集不產(chǎn)生類別交叉，編寫程序隨機(jī)選取60個類別作為訓(xùn)練集，剩余類別里驗(yàn)證集和測試集各占21個類別，每次任務(wù)都隨機(jī)挑選五個類別中的一張圖片進(jìn)行驗(yàn)證，經(jīng)過多次實(shí)驗(yàn)取平均值作為預(yù)測準(zhǔn)確率結(jié)果.

5.2 傳統(tǒng)方法表現(xiàn)

傳統(tǒng)的圖像識別方法主要包括手工提取特征和利用深度學(xué)習(xí)提取特征的方法，前者主要包括如SIFT ?［20］和HOG ?［21］等方法，這些方法在低級語義特征如邊緣，顏色和紋理上表現(xiàn)較好；而后者在高級語義信息上的表現(xiàn)則更為優(yōu)異.分別采用SIFT和HOG進(jìn)行特征提取，并用SVM和KNN作為分類器進(jìn)行結(jié)果評估，實(shí)驗(yàn)結(jié)果如表1所示.

由實(shí)驗(yàn)結(jié)果可見，深度學(xué)習(xí)提取特征總體上比傳統(tǒng)手工提取特征效果更為優(yōu)秀，最佳效果是以ResNet為backbone進(jìn)行特征提取和KNN進(jìn)行分類，但其平均準(zhǔn)確率也僅為43.7%，從側(cè)面反映ip102數(shù)據(jù)集具有一定的識別難度.

5.3 實(shí)驗(yàn)對比與提升結(jié)果

對于3.1節(jié)提到的主流且效果較好的三種方法分別以5-way1-shot單樣本農(nóng)業(yè)害蟲識別實(shí)驗(yàn)設(shè)定充分進(jìn)行對比實(shí)驗(yàn)，在使用高斯分布校準(zhǔn)新類樣本分布時最近鄰閾值 t 取5，分類器采用邏輯回歸，每次測試都在相同的測試集上循環(huán)實(shí)驗(yàn)10 000次，取平均準(zhǔn)確率作為最終結(jié)果，因?yàn)槲墨I(xiàn)［7，14-15］提出多以Conv4作為特征提取網(wǎng)絡(luò)，但最近研究發(fā)現(xiàn)Resnet10更能兼顧速度與精度，為了驗(yàn)證方法有效性，分別以兩種特征提取網(wǎng)絡(luò)結(jié)合提出的方法均做了對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示.

由實(shí)驗(yàn)結(jié)果可見，本文提出的方法效果顯著，對于三種不同的方法識別準(zhǔn)確率最高得到了687%增強(qiáng)，最差也有2.11%的提升.表現(xiàn)最好的是GNN網(wǎng)絡(luò)結(jié)合提出的特征增強(qiáng)模塊，在ip102數(shù)據(jù)集上得到了46.06%的分類準(zhǔn)確率.

最后，對比兩種不同任務(wù)的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)小樣本方法利用極小的數(shù)據(jù)集獲得了超過傳統(tǒng)方法的識別準(zhǔn)確率，但是，傳統(tǒng)方法是利用全部數(shù)據(jù)集在102個類別上進(jìn)行預(yù)測，而小樣本方法是只抽取一張圖片在5個類別上進(jìn)行預(yù)測，其識別準(zhǔn)確率在數(shù)值其實(shí)沒有直接可比性，但對于實(shí)際應(yīng)用而言，顯然小樣本方法更具有價(jià)值，因?yàn)閷τ谖粗悇e而言并不需要在所有農(nóng)業(yè)害蟲類別上進(jìn)行識別，反而只給出個別專家標(biāo)注樣本進(jìn)行針對性的識別更有意義.

5.4 在其他數(shù)據(jù)集上的表現(xiàn)

目前小樣本學(xué)習(xí)的主要公開數(shù)據(jù)集為mini-ImageNet數(shù)據(jù)集，該數(shù)據(jù)集是從大型圖像分類數(shù)據(jù)集ImageNet中抽取的60 000張圖像構(gòu)成的，總共分類100個類別，每個類別有600張尺寸為 84*84的自然圖像，數(shù)據(jù)集按照主流方法進(jìn)行劃分，訓(xùn)練集，驗(yàn)證集和測試集分別占64個，16個，20個類別.選取Transductive和Inductive方法下效果最好的PrototypicalNet和GnnNet進(jìn)行實(shí)驗(yàn)，提升結(jié)果如表3所示.

由實(shí)驗(yàn)結(jié)果可見，雖然對比其他方法PrototypicalNet和GnnNet表現(xiàn)已經(jīng)很優(yōu)秀，但是融合本文提出特征增強(qiáng)模塊依然得到了較大的提升，同樣說明本文方法在不同的數(shù)據(jù)集和不同的方法上均具有一定的普適性效果.可以作為小樣本學(xué)習(xí)的通用增強(qiáng)策略.

5.5 消融實(shí)驗(yàn)

為了驗(yàn)證提出的兩個模塊：雙注意力機(jī)制模塊和特征生成模塊的作用，采用兩個數(shù)據(jù)集上表現(xiàn)最好的GNN模型作為基礎(chǔ)架構(gòu)，分別在兩個數(shù)據(jù)集上以Resnet10為backbone做了消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示.

由實(shí)驗(yàn)結(jié)果可見，在兩個數(shù)據(jù)集上只有注意力機(jī)制提升效果并不明顯，分別只有1.04%和055%，加上特征生成模塊后提升效果較為明顯，但是同時加上注意力機(jī)制和特征生成模塊效果相當(dāng)顯著，分別達(dá)到了5.87%和3.95%的準(zhǔn)確率提升，這同時也佐證了提出方法的理論有效性，分析原因，可能是因?yàn)槔迷季W(wǎng)絡(luò)進(jìn)行預(yù)測時注意力機(jī)制雖然有效，但是因?yàn)榫W(wǎng)絡(luò)學(xué)習(xí)已經(jīng)比較徹底，在驗(yàn)證時作用有限，而我們的方法第二階段進(jìn)行驗(yàn)證時需要非常依賴第一階段backbone生成的特征向量進(jìn)行特征分布的度量，注意力機(jī)制使得網(wǎng)絡(luò)能夠更加關(guān)注每個類別之間不同的特征，配合第二階段的數(shù)據(jù)生成彌補(bǔ)測試集上樣本不足的情況，這樣兩種方法互相促進(jìn)，所以會達(dá)到不錯的效果.

6 結(jié) 論

本文在針對目前基于深度學(xué)習(xí)的圖像分類在標(biāo)記樣本不足的情況下表現(xiàn)較差的問題，首次將小樣本領(lǐng)域研究思路應(yīng)用于大型公開農(nóng)業(yè)害蟲數(shù)據(jù)集IP102上進(jìn)行實(shí)驗(yàn)并改進(jìn)，對比傳統(tǒng)圖像分類方法在出現(xiàn)新的類別時如果沒有大量的訓(xùn)練樣本便無法進(jìn)行識別的問題，提出的方法在面對同樣的問題時只需要一個“引導(dǎo)樣本”便能很好的進(jìn)行識別，該方法研究思路顯然更具實(shí)際應(yīng)用價(jià)值.

但在實(shí)際應(yīng)用過程中又發(fā)現(xiàn)目前主流小樣本研究方法均由于樣本數(shù)量不足存在識別精度過低的問題，本課題擬提出一個通用的模型以提高各種小樣本方法的識別準(zhǔn)確率，于是將傳統(tǒng)小樣本方法統(tǒng)一成一個兩階段的訓(xùn)練模式，在第一階段引入空間注意力機(jī)制和通道注意力機(jī)制以使網(wǎng)絡(luò)更好地提取特征；在第二階段為了防止網(wǎng)絡(luò)過擬合又基于高斯采樣的方法借助基類數(shù)據(jù)集糾正新類分布，綜合兩種方法識別精度能夠得到極大的提升，證明本實(shí)驗(yàn)研究思路和方法確實(shí)是具有價(jià)值且正確的.

最后為了提高應(yīng)用價(jià)值，在極具挑戰(zhàn)的IP102數(shù)據(jù)集上做了廣泛的基準(zhǔn)實(shí)驗(yàn)，驗(yàn)證效果的同時，拋磚引玉以求引起更多的實(shí)際應(yīng)用.且目前仍存在一定可以研究的空間，比如沒有解決數(shù)據(jù)長尾分布，沒有解決農(nóng)業(yè)害蟲在不同生長時期的特征變化等一系列問題，因此后續(xù)依然會繼續(xù)跟進(jìn)研究.

參考文獻(xiàn)：

［1］ ??Yang J， Guo X， Li Y， ?et al . A survey of few-shot learning in smart agriculture： developments， applications， and challenges ［J］. Plant Methods，2022， 18： 1.

［2］ ?He K， Zhang X， Ren S， ?et al . Deep residual learning for image recognition［C］//Proceedings of the IEEE conference on computer vision and pattern recognition. Piscataway： IEEE， 2016： 770.

［3］ ?Howard A， Sandler M， Chu G， ?et al . Searching for mobilenetv3［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE，2019： 1314.

［4］ ?Tan M， Le Q. Efficientnet： Rethinking model scaling for convolutional neural networks［C］//International conference on machine learning. Cambridge MA： JMLR， 2019： 6105.

［5］ ?Dosovitskiy A， Beyer L， Kolesnikov A， ?et al . An Image is Worth 16x16 Words： Transformers for Image Recognition at Scale ［EB/OL］. ［2023-01-31］. https：//www.webofscience.com/wos/alldb/full-record/INSPEC：20255744.

［6］ ?Liu Z， Lin Y， Cao Y， ?et al. ?Swin transformer： Hierarchical vision transformer using shifted windows ［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE， 2021： 10012.

［7］ ?吳翔.基于機(jī)器視覺的害蟲識別方法研究［D］.杭州： 浙江大學(xué)， 2016.

［8］ ?Cheng X， Zhang Y， Chen Y， ?et al . Pest identification via deep residual learning in complex background［J］. Comput Electron Agr， 2017， 141： 351.

［9］ ?周愛明.基于深度學(xué)習(xí)的農(nóng)業(yè)燈誘害蟲自動識別與計(jì)數(shù)技術(shù)的研究［D］.杭州： 浙江理工大學(xué)， 2018.

［10］ ?Thenmozhi K， Srinivasulu U. Crop pest classification based on deep convolutional neural network and transfer learning ［J］. Comput Electron Agr，2019，164：104906.

［11］ Nanni L，Maguolo G，Pancino F. Insect pest image detection and recognition based on bio-inspired methods ［J］. Ecol Inform， 2020， 57： 101089.

［12］ Wu X， Zhan C， Lai Y K， ?et al . Ip102： A large-scale benchmark dataset for insect pest recognition ［EB/OL］.［2022-09-28］.https：//ieeexplore.ieee.org/document/8954351/.

［13］ Hridoy R H， Afroz M， Ferdowsy F. An early recognition approach for okra plant diseases and pests classification based on deep convolutional neural networks ［C］//Proceedings of the 2021 Innovations in Intelligent Systems and Applications Conference （ASYU）. Elazig， Turkey： ASYU， 2021： 1.

［14］ Snell J， Swersky K， Zemel R. Prototypical networks for few-shot learning［J］. NIPS， 2017， 30： 1.

［15］ Garcia V， Bruna J. Few-shot learning with graph neural networks ［C］//Proceedings of the 6th International Conference on Learning Representations， ICLR 2018. Vancouver， BC， Canada： OpenReview.net， 2018： 33.

［16］ 趙凱琳， 靳小龍， 王元卓. 小樣本學(xué)習(xí)研究綜述［J］. 軟件學(xué)報(bào)， 2020， 32： 349.

［17］ Chen W Y， Liu Y C， Kira Z， ?et al . A closer look at few-shot classification［C］//International Conference on Learning Representations. New Orleans， LA， United states： OpenReview.net， 2019.

［18］ Hu J， Shen L， Sun G. Squeeze-and-excitation networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. NJ： IEEE， 2018： 7132.

［19］ Yang S， Liu L， Xu M. Free lunch for few-shot learning： distribution calibration［C］//International Conference on Learning Representations. Vancouver， BC， Canada： OpenReview.net， 2021.

［20］ Ng P C， Henikoff S. SIFT： Predicting amino acid changes that affect protein function ［J］. Nucleic Acids Res， 2003， 31： 3812.

［21］ Dalal N， Triggs B. Histograms of oriented gradients for human detection ［C］//Proceedings of the ?2005 IEEE computer society conference on computer vision and pattern recognition （CVPR'05）. San Diego， CA， USA： IEEE， 2005： 886.

［22］ Oh J， Yoo H， Kim C H， ?et al . BOIL： towards representation change for few-shot learning ［C］//Proceedings of the 9th International Conference on Learning Representations （ICLR）. Stroudsburg，PA： OpenReview.net， 2021： 10112.

［23］ Liu Y， Lee J， Park M， ?et al . Learning to propagate labels： Transductive propagation network for few-shot learning ［C］//Proceedings of the 7th International Conference on Learning Representations， ICLR 2019. Stroudsburg，PA： OpenReview.net ，2019： 4440.

［24］ Vinyals O， Blundell C， Lillicrap T， ?et al . Matching networks for one shot learning ［J］. NeurIPS， 2016， 29： 2.