陳雷，袁媛

中國科學(xué)院合肥智能機(jī)械研究所，安徽 合肥 230031

引言

農(nóng)業(yè)病蟲害是影響農(nóng)業(yè)產(chǎn)量和糧食安全的重要因素之一[1-2]。根據(jù)聯(lián)合國糧食及農(nóng)業(yè)組織的報告，每年超過三分之一的自然損失是由農(nóng)業(yè)病蟲害引起的[3]。農(nóng)業(yè)病蟲害種類繁多，傳統(tǒng)人工觀察和經(jīng)驗(yàn)判斷容易誤診；同時由于專業(yè)農(nóng)技人員不足，在生產(chǎn)實(shí)際中往往難以對病蟲害進(jìn)行及時的識別或預(yù)警。隨著機(jī)器學(xué)習(xí)方法與計算機(jī)視覺技術(shù)的發(fā)展，研究人員開始利用信息技術(shù)來識別農(nóng)業(yè)病蟲害圖像。作為智能農(nóng)業(yè)重要的組成部分，農(nóng)業(yè)病蟲害圖像識別技術(shù)綜合利用機(jī)器學(xué)習(xí)方法、計算機(jī)視覺技術(shù)、植物病理學(xué)知識等手段來分析處理病蟲害圖像數(shù)據(jù)，建立學(xué)習(xí)模型獲取圖像特征，快速、準(zhǔn)確地識別出病蟲害種類，據(jù)此為農(nóng)業(yè)病蟲害防治提供技術(shù)指導(dǎo)。

自20世紀(jì)80年代以來，機(jī)器學(xué)習(xí)方法不斷發(fā)展，從傳統(tǒng)的淺層機(jī)器學(xué)習(xí)，如分類器法、判別式法、聚類法等[4-8]，到2006年Hinton 等人提出的深度學(xué)習(xí)方法[9]，都已廣泛用于農(nóng)業(yè)病蟲害圖像識別方面的研究，并且取得了一定的成果[10-15]。然而農(nóng)業(yè)病蟲害發(fā)生環(huán)境非常復(fù)雜，當(dāng)這些方法應(yīng)用于實(shí)際的農(nóng)業(yè)病蟲害圖像識別時存在一定的局限性，容易受到數(shù)據(jù)規(guī)模、樣本質(zhì)量、硬件算力、模型能力等因素的影響，從而導(dǎo)致識別效果難以滿足需求。尤其是相對于蟲害來說，農(nóng)業(yè)病害發(fā)生的影響因素更為復(fù)雜，且在不同農(nóng)作物品種上的癥狀也存在差異等特點(diǎn)，導(dǎo)致這些局限性更為突出。

遷移學(xué)習(xí)方法的提出，特別是基于深度神經(jīng)網(wǎng)絡(luò)的深度遷移學(xué)習(xí)方法[16-17]為解決傳統(tǒng)淺層機(jī)器學(xué)習(xí)方法與深度學(xué)習(xí)方法在農(nóng)業(yè)病害圖像識別中的局限提供了啟發(fā)。本文重點(diǎn)圍繞農(nóng)業(yè)病害圖像識別問題，在分析傳統(tǒng)機(jī)器學(xué)習(xí)方法與深度學(xué)習(xí)方法優(yōu)缺點(diǎn)的基礎(chǔ)上，探討在不同數(shù)據(jù)規(guī)模條件下融合不同的機(jī)器學(xué)習(xí)框架，引入深度遷移學(xué)習(xí)方法來提高小樣本條件下的建模質(zhì)量，并通過具體實(shí)驗(yàn)對提出的方法進(jìn)行驗(yàn)證，為提高農(nóng)業(yè)病害圖像識別準(zhǔn)確率、構(gòu)建符合實(shí)際需求的農(nóng)業(yè)病害智能識別系統(tǒng)提供技術(shù)支撐。

1 相關(guān)工作

1.1 基于傳統(tǒng)機(jī)器學(xué)習(xí)的農(nóng)業(yè)病害圖像識別

從上個世紀(jì)80年代開始，國內(nèi)外研究人員廣泛利用多種傳統(tǒng)機(jī)器學(xué)習(xí)方法來進(jìn)行農(nóng)業(yè)病害圖像識別技術(shù)的研究，包括支持向量機(jī)分類器法[4-5]、判別分析法[6]、K 近鄰分類法[7-8]等，對于促進(jìn)信息技術(shù)在農(nóng)業(yè)病害圖像識別中的應(yīng)用研究起到了積極的作用。

雖然這些傳統(tǒng)機(jī)器學(xué)習(xí)方法在用于農(nóng)業(yè)病害圖像識別時已經(jīng)取得了一定的成果，但仍然存在以下一些問題：首先，這些方法的識別效果依賴于原始病害圖像樣本的質(zhì)量，當(dāng)訓(xùn)練數(shù)據(jù)的質(zhì)量比較差時，建模效果也容易受到影響，而高質(zhì)量的農(nóng)業(yè)病害圖像訓(xùn)練數(shù)據(jù)往往難以獲取，對病害圖像采集環(huán)境與采集方式提出了更高的要求；其次，使用這些方法的相關(guān)工作中所處理的農(nóng)業(yè)病害圖像數(shù)據(jù)集規(guī)模較小，大多不超過300 張圖像，當(dāng)訓(xùn)練樣本數(shù)量較大時，這些傳統(tǒng)機(jī)器學(xué)習(xí)方法難以高效構(gòu)建相應(yīng)的識別模型；第三，用于分類識別所提取的特征需要人工設(shè)計，特征設(shè)計的好壞取決于設(shè)計者的先驗(yàn)知識，很難利用大數(shù)據(jù)的優(yōu)勢，同時由于依賴手工調(diào)整參數(shù)，因此特征設(shè)計中所允許出現(xiàn)的參數(shù)數(shù)量十分有限；第四，這些傳統(tǒng)機(jī)器學(xué)習(xí)方法僅作為病害圖像識別關(guān)鍵技術(shù)，在構(gòu)建整個農(nóng)業(yè)病害圖像識別系統(tǒng)時大多需要復(fù)雜的前處理，例如對原始圖像進(jìn)行噪聲濾波、圖像分割、特征提取等，其中部分環(huán)節(jié)的精度對于結(jié)果非常關(guān)鍵，至今仍有待進(jìn)一步研究以提高處理精度，多環(huán)節(jié)的誤差累計也影響了最終的識別精度。

因此，傳統(tǒng)的淺層機(jī)器學(xué)習(xí)方法難以在農(nóng)業(yè)病害圖像識別中取得滿意的效果。在數(shù)據(jù)呈現(xiàn)爆炸式增長的背景下，面向現(xiàn)代智能農(nóng)業(yè)快速發(fā)展的需求，利用新型機(jī)器學(xué)習(xí)算法從大數(shù)據(jù)資源中獲取有用的信息來提高農(nóng)業(yè)病害圖像的識別效果顯得尤為重要。

1.2 基于深度學(xué)習(xí)的農(nóng)業(yè)病害圖像識別

盡管人工神經(jīng)網(wǎng)絡(luò)方法在二十世紀(jì)四五十年代就已經(jīng)出現(xiàn)，但直到2006年Hinton 等人提出深度學(xué)習(xí)[9]后，神經(jīng)網(wǎng)絡(luò)方法在諸多研究和應(yīng)用領(lǐng)域才取得了突破性的進(jìn)展。在信息爆炸的大數(shù)據(jù)時代，深度學(xué)習(xí)方法能夠有效解決大數(shù)據(jù)的學(xué)習(xí)與建模問題。尤其在利用深度學(xué)習(xí)方法處理圖像識別任務(wù)時，對原始圖像進(jìn)行濾波、分割和特征提取等復(fù)雜的預(yù)處理不再是必須的環(huán)節(jié)，這為進(jìn)一步提高基于計算機(jī)視覺技術(shù)的農(nóng)業(yè)病害圖像識別精度、快速構(gòu)建在線的智能化農(nóng)業(yè)病害診斷系統(tǒng)提供了新的思路和技術(shù)支撐。

近年來，國內(nèi)外學(xué)者已經(jīng)開展了大量基于深度學(xué)習(xí)的農(nóng)業(yè)病害圖像識別研究工作[10-15]。相比傳統(tǒng)的機(jī)器學(xué)習(xí)方法，使用深度學(xué)習(xí)框架能夠自動學(xué)習(xí)圖像數(shù)據(jù)所蘊(yùn)含的特征，當(dāng)數(shù)據(jù)集達(dá)到一定規(guī)模時，建模質(zhì)量較高，在農(nóng)業(yè)病害圖像識別任務(wù)中能夠達(dá)到較好的準(zhǔn)確率和魯棒性。然而利用深度學(xué)習(xí)進(jìn)行農(nóng)業(yè)病害圖像識別仍然存在一些局限：首先，深度學(xué)習(xí)方法要求訓(xùn)練數(shù)據(jù)集具有較大的規(guī)模，農(nóng)業(yè)病害圖像數(shù)據(jù)庫的規(guī)模和質(zhì)量在很大程度上決定了病害圖像識別系統(tǒng)的效果，但是由于農(nóng)作物品種繁多，病害種類非常復(fù)雜，即使同一病害在相同作物不同品種上的表現(xiàn)癥狀也不完全一致，導(dǎo)致在短時間內(nèi)難以獲取目標(biāo)數(shù)據(jù)大規(guī)模的樣本；其次，盡管深度學(xué)習(xí)可以從大數(shù)據(jù)中自動學(xué)習(xí)特征表示，且在理論上允許成千上萬的參數(shù)，但目前的深度學(xué)習(xí)技術(shù)過于依賴數(shù)據(jù)標(biāo)注，只有在大量標(biāo)注訓(xùn)練樣本的情況下才能夠構(gòu)建出較好的模型；第三，隨著模型復(fù)雜度的增加，參數(shù)個數(shù)也呈指數(shù)級增長，但同時模型的泛化能力有限；第四，如果面向一個全新的數(shù)據(jù)集和任務(wù)，利用深度學(xué)習(xí)方法從頭開始訓(xùn)練模型對于硬件的算力要求較高，在實(shí)際應(yīng)用中往往難以滿足。

因此，在針對農(nóng)業(yè)病害圖像識別任務(wù)上，受到現(xiàn)有的理論方法、計算設(shè)備的硬件條件、數(shù)據(jù)集規(guī)模與質(zhì)量等制約，難以直接利用深度學(xué)習(xí)構(gòu)建出理想的識別模型，需要進(jìn)一步探索在小樣本條件下如何學(xué)習(xí)得到高質(zhì)量的分類識別模型。

1.3 基于遷移學(xué)習(xí)的農(nóng)業(yè)病害圖像識別

傳統(tǒng)機(jī)器學(xué)習(xí)與深度學(xué)習(xí)都存在兩個重要的基本假設(shè)，即：用于學(xué)習(xí)的訓(xùn)練樣本與新的測試樣本滿足獨(dú)立同分布；必須有足夠可用的訓(xùn)練樣本才能學(xué)習(xí)得到一個好的分類模型。然而在實(shí)際中很多領(lǐng)域的數(shù)據(jù)難以滿足這兩個基本假設(shè)，因此出現(xiàn)了遷移學(xué)習(xí)。遷移學(xué)習(xí)的基本思想是學(xué)習(xí)目標(biāo)領(lǐng)域和已有知識之間的相關(guān)性，把知識從已有的模型和數(shù)據(jù)中遷移到要學(xué)習(xí)的目標(biāo)領(lǐng)域中，與傳統(tǒng)機(jī)器學(xué)習(xí)過程的區(qū)別如圖1所示。遷移學(xué)習(xí)的思想早在上個世紀(jì)70年代就已經(jīng)出現(xiàn)，但一直沒有得到廣泛的應(yīng)用，直到近年來隨著深度學(xué)習(xí)的發(fā)展而得到了廣泛關(guān)注[16-17]，尤其是與深度學(xué)習(xí)結(jié)合產(chǎn)生的深度遷移學(xué)習(xí)方法，能夠利用從大數(shù)據(jù)領(lǐng)域所學(xué)到的知識來輔助構(gòu)建數(shù)據(jù)規(guī)模相對較小的目標(biāo)領(lǐng)域的模型構(gòu)建，直接降低了目標(biāo)領(lǐng)域建模對于數(shù)據(jù)規(guī)模的要求，適用于許多樣本數(shù)據(jù)不足以直接利用深度學(xué)習(xí)方法建模的研究與應(yīng)用領(lǐng)域，這其中就包括農(nóng)業(yè)病害圖像識別研究領(lǐng)域。由于農(nóng)作物品種多樣，所發(fā)生的病害更加繁雜，難以采集大規(guī)模的目標(biāo)病害圖像數(shù)據(jù)來支撐深度學(xué)習(xí)建立分類模型。在受到深度遷移學(xué)習(xí)方法的啟發(fā)后，國內(nèi)外研究人員開展了相關(guān)的研究工作[18-21]，使用已有的某一些數(shù)據(jù)集規(guī)模較大的病害圖像數(shù)據(jù)來輔助建立樣本數(shù)據(jù)較小的目標(biāo)病害圖像的識別模型，并取得了一定的成果。

圖1 傳統(tǒng)機(jī)器學(xué)習(xí)與遷移學(xué)習(xí)的對比Fig.1 Comparison between traditional machine learning and transfer learning

利用深度遷移學(xué)習(xí)方法建模同樣受到一些因素的影響，包括輔助數(shù)據(jù)集的選擇、目標(biāo)數(shù)據(jù)集的質(zhì)量以及具體遷移學(xué)習(xí)方法等，使得最終的建模質(zhì)量參差不齊，因此基于深度遷移學(xué)習(xí)方法的農(nóng)業(yè)病害圖像識別技術(shù)還存在許多問題需要進(jìn)一步的研究與探討。Barbedo[22]討論了數(shù)據(jù)集規(guī)模和種類對基于深度學(xué)習(xí)和遷移學(xué)習(xí)的植物病害分類效果的影響。與該工作不同，本文重點(diǎn)探討不同遷移學(xué)習(xí)方法對于提高小樣本條件下農(nóng)業(yè)病害圖像識別模型構(gòu)建質(zhì)量的影響，并據(jù)此給出不同數(shù)據(jù)規(guī)模條件下遷移學(xué)習(xí)方法的選擇建議，以獲得更高的農(nóng)業(yè)病害圖像識別準(zhǔn)確率。

2 基于深度遷移學(xué)習(xí)的農(nóng)業(yè)病害圖像識別

2.1 遷移學(xué)習(xí)方法概述

依據(jù)不同的條件，遷移學(xué)習(xí)方法有不同的分類。以特征空間來說，可分為同構(gòu)和異構(gòu)兩種遷移學(xué)習(xí)；以遷移場景來說，可分為歸納式、直推式、無監(jiān)督三種遷移學(xué)習(xí)；以遷移層面來說，又可分為基于實(shí)例、基于特征、基于關(guān)系和基于模型共四種遷移學(xué)習(xí)，其中前三者屬于數(shù)據(jù)層面的遷移，最后一種屬于模型層面的遷移。具體到農(nóng)業(yè)病害圖像識別任務(wù)，按照農(nóng)業(yè)病害圖像數(shù)據(jù)的特點(diǎn)，本文從遷移層面入手，分別探討了基于實(shí)例和基于模型兩種遷移學(xué)習(xí)方法。

2.2 基于實(shí)例遷移的農(nóng)業(yè)病害圖像識別

基于實(shí)例的遷移學(xué)習(xí)是一種同構(gòu)遷移學(xué)習(xí)，此種情況下通常是對輔助領(lǐng)域的實(shí)例進(jìn)行重新加權(quán)以校正數(shù)據(jù)的邊緣分布差異，然后將這些加權(quán)的實(shí)例直接用于目標(biāo)領(lǐng)域的模型訓(xùn)練。當(dāng)兩個領(lǐng)域的條件分布相同時，該方法最有效。因此，我們嘗試引入基于實(shí)例的遷移學(xué)習(xí)方法，利用已有的規(guī)模較大的農(nóng)業(yè)病害圖像數(shù)據(jù)集來輔助訓(xùn)練目標(biāo)病害圖像的分類模型。我們針對TrAdaBoost 算法[23]提出了一種基于訓(xùn)練集優(yōu)化的改進(jìn)算法。TrAdaBoost 算法是一種基于實(shí)例的遷移學(xué)習(xí)算法，基本原理是對目標(biāo)訓(xùn)練樣本和輔助訓(xùn)練樣本的權(quán)重進(jìn)行不斷調(diào)整，得到最終的分類器。將該算法用于農(nóng)業(yè)病害圖像識別任務(wù)時，如果輔助數(shù)據(jù)樣本噪聲比較多或者迭代次數(shù)控制不好，訓(xùn)練分類器的難度將會增加。針對該問題，我們借鑒分類的思想對訓(xùn)練集進(jìn)行優(yōu)化，采用K 近鄰算法過濾與目標(biāo)訓(xùn)練數(shù)據(jù)相似度較小的輔助數(shù)據(jù)，具體算法步驟如下：

輸入：輔助數(shù)據(jù)集，目標(biāo)訓(xùn)練數(shù)據(jù)集，最近鄰樣本點(diǎn)數(shù)量k

輸出：新的輔助數(shù)據(jù)集

（1）計算目標(biāo)訓(xùn)練數(shù)據(jù)和輔助數(shù)據(jù)之間的歐式距離；

（2）以遞增的形式對步驟（1）中的距離進(jìn)行排序，確定距離最小的k個樣本點(diǎn)；

（3）計算k個樣本點(diǎn)的類別出現(xiàn)的頻率；

（4）將步驟（3）中出現(xiàn)頻率最高的類別作為輔助數(shù)據(jù)的預(yù)測類別；

（5）比較輔助數(shù)據(jù)的真實(shí)類別和步驟（4）中得到的預(yù)測類別，去除預(yù)測錯誤的數(shù)據(jù)；

（6）返回新的輔助數(shù)據(jù)集。

基于上述算法，在農(nóng)業(yè)病害圖像識別過程中，首先選取其他規(guī)模較大的病害圖像數(shù)據(jù)集作為輔助數(shù)據(jù)，通過訓(xùn)練集優(yōu)化KNN 算法對其進(jìn)行過濾。然后采用TrAdaBoost 算法調(diào)整訓(xùn)練數(shù)據(jù)的權(quán)重，再構(gòu)建最終的病害圖像分類識別模型。引入基于實(shí)例的遷移學(xué)習(xí)方法是為了解決某些農(nóng)業(yè)病害圖像數(shù)量較少、基于傳統(tǒng)機(jī)器學(xué)習(xí)方法難以取得理想識別效果的問題，這種基于實(shí)例的遷移方法需要借助相似度較大且數(shù)據(jù)量較多的其他病害圖像數(shù)據(jù)，然而實(shí)際中尋找這種相似度較大的輔助數(shù)據(jù)集也比較困難，因此我們還研究了基于模型的遷移學(xué)習(xí)方法。

2.3 基于模型遷移的農(nóng)業(yè)病害圖像識別

基于模型的遷移學(xué)習(xí)方法也是一種同構(gòu)遷移學(xué)習(xí)。該方法通過共享輔助領(lǐng)域和目標(biāo)領(lǐng)域機(jī)器學(xué)習(xí)模型的參數(shù)，或通過創(chuàng)建多個輔助領(lǐng)域的模型，并將其重新加權(quán)優(yōu)化組合來改進(jìn)目標(biāo)領(lǐng)域的模型構(gòu)建。在這種情況下，當(dāng)輔助數(shù)據(jù)規(guī)模較大或模型參數(shù)較好時，和目標(biāo)數(shù)據(jù)之間不需要非常高的相似性。因此ImageNet 數(shù)據(jù)集[24]通常被當(dāng)作輔助數(shù)據(jù)來訓(xùn)練所需的參數(shù)，然后在目標(biāo)數(shù)據(jù)建模中進(jìn)行調(diào)整。同時，考慮到目標(biāo)數(shù)據(jù)即農(nóng)業(yè)病害圖像數(shù)據(jù)的特殊性，與ImageNet 數(shù)據(jù)集差異仍然較大，因此在輔助數(shù)據(jù)選擇方面也采用另一個開源數(shù)據(jù)集PlantVillage[25]，該數(shù)據(jù)集中包含大量單一背景單張葉片的病害圖像，與本文的農(nóng)業(yè)病害圖像數(shù)據(jù)集具有較好的相似性，在基于遷移學(xué)習(xí)的識別方法中是較好的輔助數(shù)據(jù)[26]。

在基于模型的遷移學(xué)習(xí)方法中，模型的選擇也非常重要。我們選擇三種常用的深度學(xué)習(xí)框架AlexNet[27]，VGGNet[28]和ResNet50[29]作為模型遷移的基本架構(gòu)來訓(xùn)練恰當(dāng)?shù)膮?shù)，輔助目標(biāo)數(shù)據(jù)的建模。基于模型的遷移學(xué)習(xí)框架如圖2所示。

圖2 基于模型的遷移學(xué)習(xí)框架Fig.2 Framework of model-based transfer learning

此外，在基于模型的遷移學(xué)習(xí)方法中，為了防止模型的過擬合問題，我們引入批歸一化與干擾標(biāo)記兩種方法來對模型參數(shù)進(jìn)行優(yōu)化。批歸一化能夠減少模型訓(xùn)練至收斂過程所需的迭代次數(shù)，同時可以起到正則化的作用，降低模型訓(xùn)練的過擬合現(xiàn)象。干擾標(biāo)記是一種在損失層實(shí)現(xiàn)正則化的方法，在每個批次訓(xùn)練過程中隨機(jī)選取一部分?jǐn)?shù)據(jù)樣本，將這些樣本的標(biāo)記設(shè)置為錯誤標(biāo)記，該操作能進(jìn)一步防止模型訓(xùn)練過程發(fā)生過擬合現(xiàn)象。

3 實(shí)驗(yàn)與討論

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)所采用的目標(biāo)數(shù)據(jù)即農(nóng)業(yè)病害圖像數(shù)據(jù)均來自農(nóng)業(yè)病蟲害研究圖庫IDADP（http://www.icgroupcas.cn/website_bchtk/），由作者在安徽省、江西省的大田或溫室中采集整理。在采集作物病害圖像時，主要是在露天或大棚的自然光照條件下，拍攝角度使光路盡量垂直于作物器官所在平面，保證作物器官受光均勻，所拍攝的作物器官占據(jù)畫面的中央主要位置。圖像采集設(shè)備具體如下：Canon EOS 6D 型數(shù)碼單反相機(jī)，配備佳能EF 17-40mm f/4L USM鏡頭與佳能EF 100mm f/2.8L IS USM微距鏡頭，佳能Canon EOS M6，配備EF-M 28 f/3.5 IS STM 微距鏡頭。拍攝時采用相機(jī)的最優(yōu)畫質(zhì)與最大分辨率6000*4000與5472*3648，拍攝時采用光圈優(yōu)先模式使得圖像景深足夠大，以保障被拍攝的作物器官在畫面中具有符合要求的清晰度。

3.2 基于實(shí)例遷移的實(shí)驗(yàn)結(jié)果與分析

在基于實(shí)例遷移的實(shí)驗(yàn)中，病害圖像數(shù)據(jù)規(guī)模較小，僅有750 張圖像，共包括6種病害圖像：黃瓜靶斑?。–TS）、黃瓜霜霉?。–DM）、黃瓜細(xì)菌角斑?。–BAS）、稻瘟?。≧B）、水稻胡麻斑?。≧BS）和水稻紋枯病（RSB），進(jìn)行不同的輔助數(shù)據(jù)和目標(biāo)數(shù)據(jù)的搭配以構(gòu)建不同的實(shí)驗(yàn)組合，具體如表1所示。

表1 基于實(shí)例遷移的實(shí)驗(yàn)數(shù)據(jù)Table1 Dataset of instance-based transfer learning

為了探討恰當(dāng)?shù)妮o助數(shù)據(jù)與目標(biāo)數(shù)據(jù)規(guī)模之間的比例，實(shí)驗(yàn)中將目標(biāo)數(shù)據(jù)與輔助數(shù)據(jù)的比例記為r，取值范圍從4%到20%分別開展了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果采用分類準(zhǔn)確率作為評價標(biāo)準(zhǔn)，即正確分類的目標(biāo)病害圖像數(shù)量占目標(biāo)病害圖像總數(shù)量的比例，準(zhǔn)確率越高說明模型的分類識別性能越好。圖3給出了在N1 組數(shù)據(jù)集上不同比例r 情況下的實(shí)驗(yàn)結(jié)果（其余三個組別上的結(jié)果類似），其中橫坐標(biāo)為比例r，縱坐標(biāo)為分類準(zhǔn)確率，我們提出的改進(jìn)方法為TRBM，對比模型分別為支持向量機(jī)SVM與TrAdaBoost。從圖3中可以看出，隨著目標(biāo)數(shù)據(jù)集比例的增加，分類準(zhǔn)確率也隨之提高，可見數(shù)據(jù)集規(guī)模對于圖像識別準(zhǔn)確率的重要性；在比例r 取值為4%時，我們提出的改進(jìn)方法與SVM和TrAdaBoost相比在準(zhǔn)確率的提高上更加明顯，說明目標(biāo)數(shù)據(jù)集規(guī)模較小情況下，本文的方法具有明顯的優(yōu)勢。

圖3 不同比例的目標(biāo)數(shù)據(jù)與輔助數(shù)據(jù)的結(jié)果Fig.3 Results of different ratio of target data to auxiliary data

表2給出了比例r 取值為4%時四組實(shí)驗(yàn)的結(jié)果，可以看出使用實(shí)例遷移學(xué)習(xí)的準(zhǔn)確率明顯優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法SVM，同樣可以看出使用我們提出的對輔助數(shù)據(jù)集進(jìn)行過濾的優(yōu)化方法比TrAdaBoost 方法取得了更好的分類準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，引入基于實(shí)例的遷移學(xué)習(xí)方法后，能夠發(fā)現(xiàn)輔助數(shù)據(jù)中對目標(biāo)數(shù)據(jù)分類有幫助的信息，從而在目標(biāo)數(shù)據(jù)規(guī)模較小的情況下提高建模質(zhì)量，對于農(nóng)業(yè)病害圖像識別技術(shù)研究具有一定的參考價值。

表2 基于實(shí)例遷移的實(shí)驗(yàn)結(jié)果Table2 Results of instance-based transfer learning

3.3 基于模型遷移的實(shí)驗(yàn)結(jié)果與分析

在基于模型遷移的實(shí)驗(yàn)中，相比基于實(shí)例遷移的實(shí)驗(yàn)增加了病害種類，包括黃瓜白粉病、水稻白葉枯病、稻曲病，原始圖像數(shù)據(jù)規(guī)模達(dá)到2 429 張。由于基于模型的遷移采用了AlexNet，VGGNet和ResNet50 三種流行的深度學(xué)習(xí)框架，對于數(shù)據(jù)規(guī)模的要求較大，因此對原始圖像數(shù)據(jù)進(jìn)行了隨機(jī)縮放、隨機(jī)水平翻轉(zhuǎn)、隨機(jī)裁剪、歸一化、正則化等常用預(yù)處理，以增加數(shù)據(jù)規(guī)模，預(yù)處理后再篩除無效圖像數(shù)據(jù)，總量達(dá)到9 592 張。

表3給出了基于模型遷移的實(shí)驗(yàn)結(jié)果，其中AlexNet，VGGNet和ResNet50 作為對比模型，TRBD為我們的方法，在建模過程中為了防止模型訓(xùn)練的過擬合問題，引入批歸一化與干擾標(biāo)記來對模型參數(shù)進(jìn)行優(yōu)化。

表3 基于模型遷移的實(shí)驗(yàn)結(jié)果Table3 Results of model-based transfer learning

通過表3的實(shí)驗(yàn)結(jié)果可以看出，隨著建模數(shù)據(jù)量的增加，基于模型遷移的方法整體效果優(yōu)于基于實(shí)例遷移的方法；經(jīng)過預(yù)處理后增加了數(shù)據(jù)集的規(guī)模，同樣對提高準(zhǔn)確率具有比較明顯的作用；相比三種常用深度學(xué)習(xí)模型的遷移學(xué)習(xí)，我們引入批歸一化與干擾標(biāo)記兩種方法對參數(shù)進(jìn)行優(yōu)化，有效抑制了模型訓(xùn)練的過擬合現(xiàn)象，在基于模型的深度遷移學(xué)習(xí)實(shí)驗(yàn)中取得了最佳的實(shí)驗(yàn)結(jié)果。

4 結(jié)論與下一步工作展望

本文針對農(nóng)業(yè)病害圖像識別問題，首先分析比較了傳統(tǒng)機(jī)器學(xué)習(xí)方法與深度學(xué)習(xí)方法的優(yōu)缺點(diǎn)，然后介紹引入深度遷移學(xué)習(xí)方法來解決目標(biāo)數(shù)據(jù)規(guī)模較小條件下的機(jī)器學(xué)習(xí)建模問題，重點(diǎn)探討了在不同數(shù)據(jù)規(guī)模條件下如何采用不同的深度遷移學(xué)習(xí)方法來提高圖像分類識別模型的構(gòu)建質(zhì)量：

（1）在目標(biāo)數(shù)據(jù)集規(guī)模較小且與輔助數(shù)據(jù)比較相似時，采用基于實(shí)例的遷移學(xué)習(xí)方法的提升效果比較明顯；

（2）在目標(biāo)數(shù)據(jù)集具有一定規(guī)模但又不足以直接利用深度學(xué)習(xí)方法建模時，則采用基于模型的遷移學(xué)習(xí)方法比較有效；

（3）針對不同的深度遷移學(xué)習(xí)方法給出了相關(guān)的優(yōu)化方案；通過具體實(shí)驗(yàn)對提出的方法進(jìn)行了驗(yàn)證。

目前，農(nóng)業(yè)病害圖像數(shù)據(jù)資源仍然十分稀缺。在下一步的工作中，建設(shè)規(guī)?；?、標(biāo)準(zhǔn)化的圖像數(shù)據(jù)資源是農(nóng)業(yè)病害圖像識別技術(shù)研究領(lǐng)域應(yīng)當(dāng)先行的基礎(chǔ)工作。在具體技術(shù)方面，下一步的工作包括以下內(nèi)容：一是探索更加優(yōu)秀的深度遷移學(xué)習(xí)框架，進(jìn)一步降低對目標(biāo)數(shù)據(jù)規(guī)模及數(shù)據(jù)質(zhì)量的依賴性，同時提高圖像分類識別的準(zhǔn)確率；二是在訓(xùn)練數(shù)據(jù)中考慮增加無病害的正樣本圖像，以提高分類識別模型的魯棒性和普適性；三是與實(shí)際應(yīng)用需求相結(jié)合，以農(nóng)業(yè)病害圖像識別技術(shù)為核心，研發(fā)可用于實(shí)際農(nóng)業(yè)生產(chǎn)過程中病害防治的應(yīng)用軟件和系統(tǒng)平臺，尤其是輕量級、移動端的應(yīng)用[30]；四是考慮引入更多的先進(jìn)機(jī)器學(xué)習(xí)方法來解決農(nóng)業(yè)病害圖像識別問題，如利用生成對抗學(xué)習(xí)方法來增強(qiáng)數(shù)據(jù)，利用聯(lián)邦學(xué)習(xí)來保護(hù)數(shù)據(jù)的隱私等。

利益沖突聲明

所有作者聲明不存在利益沖突關(guān)系。