杜亞茹　黃媛　杜鵬飛　高欣娜　武猛　楊英茹

摘要：為快速、準確地監(jiān)測設施番茄灰霉病的發(fā)生情況，選取灰霉病發(fā)生的環(huán)境因子特征和圖像特征兩類數(shù)據(jù)，分別構建基于單因子的灰霉病的識別模型，并研究兩個模型間的關聯(lián)識別模型。首先，連續(xù)采集番茄灰霉病發(fā)生與不發(fā)生設施溫室的最高空氣溫度和平均空氣濕度，構建基于Logistic回歸分析的設施番茄灰霉病溫濕度預測模型；然后，開展番茄葉部灰霉病RGB圖像的采集和預處理，建立圖像數(shù)據(jù)集，構建基于ResNet50-CBAM卷積神經(jīng)網(wǎng)絡的番茄灰霉病RGB圖像識別模型；最后，運用多模態(tài)融合技術，以溫濕度預測模型為文本模態(tài)，圖像識別模型為圖像模態(tài)，構建番茄灰霉病智能協(xié)同診斷模型。試驗結果表明：在VGG16，MobileNet V2，ResNet50和ResNet50-CBAM四個網(wǎng)絡模型中，ResNet50-CBAM網(wǎng)絡結構準確率最高，達到95.48%，使用基于多模態(tài)融合技術的番茄灰霉病智能協(xié)同診斷技術的準確率達98.3%，比溫濕度預測模型提高14.7%，比RGB圖像識別模型提高2.82%。

關鍵詞：番茄灰霉病；多模態(tài)融合；回歸分析；深度神經(jīng)網(wǎng)絡

中圖分類號：S274.1文獻標識碼：A文章編號：20955553 （2023） 11011508

Study on intelligent collaborative diagnosis model of tomato Botrytis based on

multi-mode fusion technology

Du Yaru Huang YuanDu Pengfei Gao Xinna Wu Meng Yang Yingru

（1. Shijiazhuang Academy of Agricultural and Forestry Sciences， Shijiazhuang， 050011， China; 2. Shijiazhuang Key

Laboratory of Agricultural Information Perception and Intelligent Control， Shijiazhuang， 050011， China）

Abstract：In order to monitor the occurrence of tomato Botrytis quickly and accurately， we selected two kinds of data of environmental factor feature and image feature of the occurrence of gray mold to construct the recognition model of Botrytis based on single factor respectively， and studied the correlation recognition model between the two models. Firstly， we collected the maximum air temperature and average air humidity of the occurrence and non-occurrence of Botrytis， and established the prediction model of Botrytis based on Logistic regression analysis. Secondly， RGB images of Botrytis on tomato leaves were collected and prepossessed to establish an image data set. Then we established a ResNet50-CBAM CNN RGB image recognition model of Botrytis based on it. Finally， the temperature and humidity prediction model was used as the text mode， and the image recognition model was used as the image mode， we constructed the intelligent collaborative diagnosis model of Botrytis by the multi-mode fusion technology. Experimental results showed that among the four network models VGG16， MobileNet V2， ResNet50 and RESNET50-CBAM， the ResNet50-CBAM network structure had the highest accuracy， reaching 95.48%. The accuracy of intelligent collaborative diagnosis of Botrytis based on multi-mode fusion technology was 98.3%， which was 14.7% higher than that of temperature and humidity prediction model， and 2.82% higher than that of RGB image recognition model.

Keywords：tomato Botrytis; multi-mode fusion; logistic analysis; deep neural network

0引言

傳統(tǒng)的番茄病害診斷方法是由植保專家依據(jù)經(jīng)驗和病理對病狀和病癥進行綜合分析后得出的診斷結果［12］，這種診斷方法技術落后、效率低、主觀性強，極易延誤最佳的防治時間從而導致大面積減產(chǎn)，因此高效、實時、標準化和準確性較高的病害早期診斷是作物病害診斷的發(fā)展趨勢［3］。

利用物聯(lián)網(wǎng)技術對病害發(fā)生時的環(huán)境條件進行監(jiān)測，探索植物病害發(fā)生與環(huán)境因子特征之間的關系，建立作物病害預警體系，可有效解決制約精準農(nóng)業(yè)發(fā)展的重要問題［4］。目前，許多農(nóng)業(yè)專家在環(huán)境模擬方面開展了相關研究，楊英茹等［5］采集設施番茄病毒病發(fā)生前15天中每天的最高溫度和最低濕度，建立設施番茄病毒病預警模型，陳杰等［6］綜合分析8—10月的月平均溫度、累計降雨量和累計日照時長三個氣象因子，構建番茄黃化曲葉病毒病預警模型，王曉蓉等［7］對日光溫室的最高空氣濕度和最高空氣溫度進行了實時動態(tài)監(jiān)測和采集，并建立日光溫室黃瓜白粉病浴巾該模型。

利用機器視覺和卷積神經(jīng)網(wǎng)絡技術對植物病害發(fā)生時的病斑紋理、顏色等特征進行識別，是解決植物病害種類自動識別問題的有效方法［8］。在AlexNet、VGG16、MobileNet、Inception、ResNet等眾多神經(jīng)網(wǎng)絡的模型當中，ResNet網(wǎng)絡結構清晰、拓展性好，可直接用于其他網(wǎng)絡，且訓練速度快、準確率高、易優(yōu)化［9］。目前，許多研究者在殘差模塊、ReLU激活函數(shù)和添加注意力機制等方向對ResNet網(wǎng)絡進行改造，李書琴等［10］提出一種基于輕量級殘差網(wǎng)絡的植物葉片病害識別方法，網(wǎng)絡基于ResNet縮減卷積核數(shù)目和輕量級殘差模塊，在大幅減少網(wǎng)絡參數(shù)、降低計算復雜度的同時，在自建蘋果葉片病害數(shù)據(jù)集上獲得1.52%的低識別錯誤率；郝菁等［11］以蘋果赤霉病、蘋果雪松銹病和蘋果灰斑病3種蘋果病害葉片圖像為研究對象，基于ResNet50模型進行優(yōu)化，最終達到97.7%的準確率；孟亮等［12］提出一種輕量級卷積神經(jīng)網(wǎng)絡農(nóng)作物病害識別模型，以ResNet殘差單元作為基本元素設計一個輕量級CNN農(nóng)作物病害識別模型，對辣椒、番茄和馬鈴薯的病害圖像進行分類識別，最終模型在訓練集上的總識別準確率為99.33%；周宏威等［13］針對ResNet50網(wǎng)絡模型使遷移學習技術，對蘋果樹葉片病蟲害識別準確率分別達95.34%；李慶盛等［14］提出一種基于非對稱注意力機制殘差網(wǎng)絡（Asymmetric Convolution Attention ResNet，ACA-ResNet）的圖像檢測模型，該模型經(jīng)過ImageNet 數(shù)據(jù)集預訓練后對玉米病害凸顯隔斷平均識別準確率可達到97.25%；陸雅諾等［15］提出一種基于軟注意力機制的小樣本啤酒花病蟲害識別方法，對傳統(tǒng)深度殘差網(wǎng)絡ResNet模型進行改進，改進過后的模型A-ResNet50和A-ResNet101都能準確識別不同類型的病蟲害圖像，在測試集上的準確率為93.27%和93.11%。

由于在相同環(huán)境條件下，可能多種病齊發(fā)，且同一片葉子上不同的病斑之間可能有交錯、重疊，從而影響深度學習的識別效率，因此從植物病害的一個識別因子出發(fā)有一定的局限性。本文以番茄灰霉病為研究對象，分別從灰霉病發(fā)病的環(huán)境因子和發(fā)病后圖像特征因子兩個方面進行了探索，綜合物聯(lián)網(wǎng)技術和深度學習技術，構建基于多模態(tài)融合技術的番茄灰霉病智能協(xié)同識別模型，使得病害識別模型準確率更高。

1試驗材料

1.1空氣溫濕度數(shù)據(jù)采集

通過對比分析適宜灰霉病發(fā)病時間段內(nèi)大棚里歷年空氣溫濕度數(shù)據(jù)發(fā)現(xiàn)，每天的最高溫度能最大程度地反應當天的空氣溫度條件，如果當天的最高溫度處于20℃左右，則該天的溫度條件被認為是符合番茄灰霉病發(fā)病的條件；平均溫度能最大程度地反應當天的空氣濕度條件，只有平均濕度在90%以上，才可以保證當天空氣濕度90%保持的時間較長。因此選擇溫室大棚氣象數(shù)據(jù)中每一天的最高溫度和平均濕度作為設施番茄灰霉病預測指標，并通過溫室娃娃對溫室內(nèi)的空氣溫度和空氣濕度進行精準采集，樣例數(shù)據(jù)如表1所示。

試驗采集得到6組灰霉病流行的環(huán)境數(shù)據(jù)和14組灰霉病未流行的環(huán)境數(shù)據(jù)，每組數(shù)據(jù)均為包含調(diào)查日在內(nèi)前7天數(shù)據(jù)。

1.2RGB圖像數(shù)據(jù)獲取

1.2.1番茄灰霉病葉部RGB圖像采集

試驗于2020年11月9日至11月29日，在石家莊市農(nóng)林科學研究院趙縣實驗基地2號和3號溫室采集番茄灰霉病RGB圖像，采集設備為蘋果手機iPhone X，番茄品種為“金冠5號”，所采集數(shù)據(jù)均為生長狀態(tài)及自然光照下番茄葉部圖像，如圖1所示，數(shù)據(jù)采集時以能夠清晰拍攝番茄葉部病斑，且目標葉片在整個圖像上占比最大化為主要原則。

為了采集到多樣化的番茄灰霉病葉部圖像，采集時選取不同的時間段、以不同拍照距離、不同拍照角度進行拍照，共采集到1 666張復雜背景下原始病害葉部RGB圖像，圖片背景包含地面、地膜、水管和大量與病害相似的背景。

1.2.2圖像預處理

1）? 調(diào)整圖像大小。由于本試驗用到的神經(jīng)網(wǎng)絡全連接層神經(jīng)元個數(shù)有限，進入神經(jīng)網(wǎng)絡的圖片需要固定大小，所以在番茄葉片病害圖像輸入神經(jīng)網(wǎng)絡前是需要進行調(diào)整圖像尺寸。本次試驗將輸入卷積神經(jīng)網(wǎng)絡的圖像大小預先調(diào)整為256像素×256像素。

2）? 標準化處理。標準化操作（Standardization）就是將原始數(shù)據(jù)減去其均值后，再除以標準差，其計算如式（1）～式（3）所示。

1.2.3數(shù)據(jù)集構建

本文的數(shù)據(jù)集分為兩個子集后還需要按照每張圖片所屬番茄病害種類進行存儲位置的分類。存儲位置的分類即是將每張對應番茄葉片病害的圖片劃分到所屬它的文件夾下，這樣將圖片輸入神經(jīng)網(wǎng)絡時就可以非常順利的進行，訓練集和測試集數(shù)據(jù)量如表2所示。

2模型選取

2.1基于Logistic回歸分析的設施番茄灰霉病溫濕度預測模型

2.1.1變量定義

將溫室大棚氣象數(shù)據(jù)中每一天的最高溫度和平均濕度作自變量，將番茄灰霉病是否流行作為因變量，進行Logistic回歸分析。

2.1.2模型檢驗

將番茄灰霉病是否流行作為因變量Y，日光溫室環(huán)境中每日最高空氣溫度和平均空氣濕度分別作為自變量X1和X2，番茄灰霉病發(fā)生概率為P，α為常數(shù)，β和γ為回歸系數(shù)，如式（4）所示。

2.2基于ResNet50-CBAM卷積神經(jīng)網(wǎng)絡的番茄灰霉病RGB圖像識別

2.2.1模型選取

卷積神經(jīng)網(wǎng)絡CNN是一類包含卷積計算且具有深度結構的前饋神經(jīng)網(wǎng)絡，是深度學習的代表算法之一，CNN由卷積層和池化層及全連接層組成，還包括特殊的網(wǎng)絡層，如相關權重和激活函數(shù)。作為CNN的核心，卷積運算和池化操作是核心，如圖3所示，卷積神經(jīng)網(wǎng)絡能夠有效地將大數(shù)據(jù)量的圖像進行降維，使其變小，同時能夠保存圖像的重要特征。

常見的分類網(wǎng)絡都可以分為兩部分，一部分是特征提取，另一部分是分類部分。特征提取部分的功能是對輸入進來的圖片進行特征提取，優(yōu)秀的特征可以幫助更容易區(qū)分目標，所以特征提取部分一般由各類卷積組成，卷積擁有強大的特征提取能力；分類部分會利用特征提取部分獲取到的特征進行分類，分類部分一般由全連接組成，特征提取部分獲取到的特征一般是一維向量，可以直接進行全連接分類。通常情況下，特征提取部分就是我們平常了解到的各種神經(jīng)網(wǎng)絡，比如VGG、Mobilenet、ResNet等，而分類部分就是一次或兩次的全連接。本文使用PyTorch框架，基于ResNet50神經(jīng)網(wǎng)絡模型進行遷移學習。

ResNet網(wǎng)絡是ILSVRC2015的冠軍模型。該網(wǎng)絡提出殘差架構，通過非線性的卷積層增加直連邊的方法提高信息傳播效率，并使高層的梯度能直接回傳，解決深層網(wǎng)絡梯度消失的問題。ResNet網(wǎng)絡的拓展性好，可直接用于其他網(wǎng)絡，且網(wǎng)絡訓練速度快、易優(yōu)化。目前，許多研究者對ResNet網(wǎng)絡進行改進，出現(xiàn)很多優(yōu)秀的基于殘差結構的卷積神經(jīng)網(wǎng)絡。

ResNet是目前深度學習領域中常用的主流模型之一，已在包括圖像分類等多領域中取得不錯的效果，ResNet在一定程度上，解決了深層網(wǎng)絡在訓練過程中出現(xiàn)的梯度消失或爆炸問題，有效降低了深層網(wǎng)絡學習的難度。為了和淺層CNN比較，所以選擇了深層的ResNet50網(wǎng)絡，該網(wǎng)絡在具有較好識別精度的同時還具有優(yōu)秀的實時性，更適合于實況工作條件下植物病斑的識別任務。

50層的網(wǎng)絡劃分為六大部分，分為是輸入模塊，四個組塊（每個組塊都由三個殘差塊組成）和最后的輸出模塊。該網(wǎng)絡模型主要構成單元為殘差塊結構，各層均使用Relu激活函數(shù)并添加Batch Normalization單元，用以提高模型的擬合能力。殘差網(wǎng)絡主要是將靠前若干層某一層數(shù)據(jù)輸出直接跳過多層引入到后面數(shù)據(jù)層的輸入部分。深度殘差網(wǎng)絡的設計是為了克服由于網(wǎng)絡深度加深而產(chǎn)生的學習效率變低與準確率無法有效提升的問題。意味著后面的特征層的內(nèi)容會有一部分由其前面的某一層線性貢獻，其結果如圖4所示。

ResNet50有Conv Block和Identity Block兩個基本塊，其中Conv Block輸入和輸出的維度是不一樣的，所以不能連續(xù)串聯(lián)，其作用是改變網(wǎng)絡的維度，Identity Block輸入維度和輸出維度相同，可以串聯(lián)，其作用是加深網(wǎng)絡，二者都是殘差網(wǎng)絡結構。Conv Block包含主干部分和殘差邊部分，主干部分存在兩次卷積、標準化、激活函數(shù)和一次卷積、標準化，殘差邊部分存在一次卷積、標準化，由于殘差邊部分存在卷積，所以可以利用Conv Block改變輸出特征層的寬高和通道數(shù)。Identity Block可以分為兩個部分，主干部分存在兩次卷積、標準化、激活函數(shù)和一次卷積、標準化；殘差邊部分直接與輸出相接，由于殘差邊部分不存在卷積，所以Identity Block的輸入特征層和輸出特征層的shape是相同的，可用于加深網(wǎng)絡。表3為ResNet50的網(wǎng)絡結構。

2.2.2空間注意力機制

卷積的空間注意力模塊（Convolutional Block Attention Module，CBAM）是一種用于前饋卷積神經(jīng)網(wǎng)絡的簡單而有效的注意力模塊（圖5），包含兩個子模塊，分別為通道注意力模塊CAM和空間注意力模塊SAM，兩個注意力模塊采用串聯(lián)的方式。CBAM模塊會沿著這兩個獨立的維度依次推斷注意力圖，然后將注意力圖與輸入特征圖相乘以進行自適應特征優(yōu)化。

CAM通過網(wǎng)絡計算出圖像各個通道的權重，選出最有意義的通道從而達到提高特征表示能力的目的。該模塊將輸入的特征圖，分別經(jīng)過基于寬和高的全局最大池化和全局平均池化操作，再分別經(jīng)過多層感知器（MLP，Multilayer Perceptron），將MLP輸出的特征進行對應元素逐個相乘，最后通過Sigmoid激活函數(shù)進行激活生成最終的通道注意力特征圖。

空間注意力模塊的目的是找到關鍵信息在Map的哪個位置上最多，是對通道注意力的補充。該模塊將通道注意力模塊輸出的特征圖作為本模塊的輸入特征圖，首先基于特征圖通道進行全局最大池化和全局平均池化操作，再將所得結果進行拼接，之后經(jīng)過卷積操作，將通道數(shù)降維到1，再使用Sigmoid激活函數(shù)生成空間注意力特征圖，最后將該特征圖和該模塊的輸入特征圖進行對應元素相乘，得到最終特征，如式（6）所示。

2.3基于多模態(tài)融合技術的茄灰霉病RGB圖像智能協(xié)同識別模型

深度學習中的多模態(tài)融合技術（Multimodality Fusion Technology，MFT）可以從文本、圖像、語音、視頻等多種數(shù)據(jù)類型中獲取信息，實現(xiàn)信息轉化和融合，從而提升模型性能和決策準確率。由于不同模態(tài)的特征向量最初位于不同子空間中，因此可將不同子空間的特征向量投影到公共子空間，其中具有相似語義的多模態(tài)數(shù)據(jù)將由相似向量表示。該方法可縮小語義子空間的分布差距，消除異質性差異，同時保持模態(tài)特定語義的完整性。

多模態(tài)融合架構可分為三類：聯(lián)合架構、協(xié)同架構和編解碼架構。聯(lián)合架構是將單模態(tài)表示投影到一個共享語義子空間中，以便能融合多模態(tài)特征；協(xié)同架構包括跨模態(tài)相似模型和典型相關分析，其目的是尋求協(xié)調(diào)子空間中模態(tài)間的關聯(lián)關系；編解碼器架構用于將一個模態(tài)映射到另一個模態(tài)的中間表示。多模態(tài)聯(lián)合架構的關鍵是實現(xiàn)特征“聯(lián)合”，最簡單方法是直接連接，即“加”聯(lián)合方法。該方法在不同的隱藏層實現(xiàn)共享語義子空間，將轉換后的各個單模態(tài)特征向量語義組合在一起，從而實現(xiàn)多模態(tài)融合；多模態(tài)協(xié)同架構是各種分離的單模態(tài)在某些約束下實現(xiàn)相互協(xié)同的方法。由于不同模態(tài)包含的信息不一樣，協(xié)同方法有利于保持各單模態(tài)獨有的特征和排他性；多模態(tài)編解碼器架構通常用于將一種模態(tài)映射到另一種模態(tài)的多模態(tài)轉換任務中，主要由編碼器和解碼器兩部分組成。編碼器將源模態(tài)映射到向量中，解碼器基于該向量將生成一個新的目標模態(tài)樣本。

3結果討論

3.1基于Logistic回歸分析的番茄灰霉病空氣溫濕度預測模型

從表4可以看出，對于Y=0（番茄灰霉病沒有流行），有90.8%的準確性；對于Y=1（番茄灰霉病流行），有66.7%準確性，對于所有觀測，正確個案數(shù)合計為117，合計準確性為83.6%，模型效果較好。

模型通過檢驗后可得擬合模型中的各項系數(shù)值，如表5所示。

從表5可以看出，所關心的兩個變量“最高空氣溫度”與“平均空氣濕度”均進入了最終模型，B值對應的是最終模型參數(shù)估計值，常數(shù)項α為44.914，最高空氣溫度的回歸系數(shù)β為-0.529，平均空氣濕度的回歸系數(shù)γ為-0.359。因此預測模型

3.2基于ResNet50-CBAM的番茄RGB圖像識別模型

本研究選取VGG16、Mobilenet、ResNet50三種卷積神經(jīng)網(wǎng)絡框架進行學習，并且針對數(shù)據(jù)增強訓練時間長、效率低下的問題，在ResNet50的基礎上采用注意力機制（ResNet50+CBAM）的方法來提升番茄灰霉病RGB數(shù)據(jù)集的識別準確率。每個模型各進行了100個輪次的學習，分別得到各個模型的訓練損失曲線（Train_Loss）、測試損失曲線（Val_Loss）和測試準確率曲線（Accuracy）。其中，前30個輪次凍結，目的是加速訓練速度，后70個輪次解凍，使得訓練結果更準確。

由圖6可知，VGG16、Mobilenet、ResNet50和ResNet50+CBAM四個框架的Train_Loss曲線在前30個epoch中不斷擬合，表現(xiàn)為先驟降然后趨于平穩(wěn)，表明在該階段學習率太高陷入局部最小值。通過對學習率進行調(diào)整（降低10倍），Train_loss大幅下降，分別在第41個、39個、38個和36個epoch后loss值降低到0.1%以下，說明收斂性良好。Val_Loss曲線較Train_Loss曲線略有波動，但大體走勢相似。由圖7可知，Accuracy曲線表明ResNet50+CBAM學習的準確率較高。

4個不同的神經(jīng)網(wǎng)絡框架對于原始數(shù)據(jù)集和數(shù)據(jù)增強后的數(shù)據(jù)集識別準確率對比如表6所示。

由表6可知，數(shù)據(jù)增強后的識別準確率得到一定程度的提升，其中ResNet50+CBAM訓練效果最好，數(shù)據(jù)增強后的數(shù)據(jù)集準確率最高達到95.48%，且相較原始數(shù)據(jù)集提高了0.91%。

綜上，本研究選取基于注意力機制的ResNet50框架卷積神經(jīng)網(wǎng)絡進行學習，構建番茄灰霉病RGB圖像識別模型。

3.3番茄灰霉病智能協(xié)同診斷模型

采用專家打分法，確定兩個模態(tài)的權重值。

第一步，選擇評價定權值組的成員。

第二步，列表。本次打分要求專家在充分了解并測試以上兩個模型后，分別從其準確性、科學性、數(shù)據(jù)量的多少、操作性四個方面進行打分，每一項25分，滿分100分。其中，準確性指模型的準確率，專家參考測試準確率并親自對模型進行測試，結合二者準確率進行打分；科學性指模型從農(nóng)藝角度出發(fā)，對番茄灰霉病發(fā)病情況的合理性判斷；數(shù)據(jù)量的多少則是判斷模型的一項重要依據(jù)；操作性是指在實際模型使用過程中，操作的步驟及難度，諸如基于logistic回歸分析的空氣溫濕度預測模型，需要從一天的空氣溫度和空氣濕度中，計算出最高空氣溫度和平均空氣濕度，基于ResNet50+CBAM圖像識別模型需要拍攝一張番茄葉部病害照片進入模型。

第三步，發(fā)給每個參與評價者一份上述表格。

第四步，要求每個成員對每列的權值填上記號，得到每種因子的權值分數(shù)。

第五步，要求所有的成員對做了記號的列逐項比較，看看所評的分數(shù)是否能代表他們的意見，如果發(fā)現(xiàn)有不妥之處，應重新畫記號評分，直至滿意為止。

第六步，要求每個成員把每個評價因子的重要性的評分值相加，得出總數(shù)。

第七步，每個成員用第六步求得的總數(shù)去除分數(shù)，即得到每個評價因子的權重。

第八步，把每個成員的表格集中起來，求得各種評價因子的平均權重。

第九步，列出每種的平均數(shù)，并要求評價者把每組的平均數(shù)與自己在第七步得到的權值進行比較。

第十步，如有人還想改變評分，就必須回到第四步重復整個評分過程。如果沒有異議，則到此為止。

從表7可知，基于多模態(tài)融合技術的番茄灰霉病智能協(xié)同識別模型（式（7））中，空氣溫濕度預測模型權重系數(shù)c為0.37，RGB圖像識別模型的權重d為0.63，且通過試驗驗證，準確率達98.3%。其中，基于logistic回歸分析的空氣溫濕度模型的輸入?yún)?shù)為當日的最高溫度和平均濕度，滿足低溫高濕的條件即會預測為灰霉病，然而設施番茄的實際生產(chǎn)中，低溫高濕的空氣條件會誘發(fā)多種病，除了灰霉病之外，還有炭疽病和猝倒病等，因此科學性和準確率都較低；而基于ResNet50+CBAM的圖像識別模型也存在一定的誤差。空氣溫濕度模型提供了準確的發(fā)病條件，圖像識別模型準確識別了發(fā)病圖像特征，二者互相補充，準確率分別提升了12.7%和0.82%。

4結論

本文提出了一種基于多模態(tài)融合技術的番茄灰霉病智能協(xié)同診斷模型，該模型將灰霉病發(fā)生的環(huán)境因子和圖像特征兩類數(shù)據(jù)進行融合，實現(xiàn)番茄灰霉病快速準確的識別，試驗表明該模型識別準確率高達98.3%。

1）? 當日的平均溫度和最高濕度能很好的代表秋冬茬低溫高濕的環(huán)境條件，將二者輸入Logistic回歸分析模型，得到的空氣溫濕度預測模型準確率達83.6%。

2）? 通過對比神經(jīng)網(wǎng)絡模型的VGG16、MobileNet V2、ResNet50三種網(wǎng)絡，采用空間注意力機制對ResNet50網(wǎng)絡進行改進，得到的ResNet50+CBAM的圖像識別模型在訓練集上準確率最高，達95.48%。

3）? 通過專家打分法得到空氣溫濕度預測模型和圖像識別模型的權重值，將文本模態(tài)和圖像模態(tài)進行很好的融合，最終得到的基于多模態(tài)融合技術的番茄灰霉病智能協(xié)同診斷模型較空氣溫濕度模型提高14.7%，較圖像識別模型提高2.82%。說明環(huán)境因子特征和圖像特征均為判定番茄灰霉病發(fā)病的重要因素。

參考文獻

［1］林建吾， 張欣， 陳孝玉龍， 等. 基于輕量化卷積神經(jīng)網(wǎng)絡的番茄病害圖像識別［J］. 無線電工程， 2022（8）： 1-11.Lin Jianwu， Zhang Xin， Chen Xiaoyulong， et al. Tomato disease image recognition based on lightweight Convolutional Neural Network ［J］. Radio Engineering， 2022（8）： 1-11.

［2］謝傳奇， 何勇. 利用光譜反射特性對番茄葉片早疫病害程度的識別［J］. 中國科技論文， 2017， 12（6）： 671-675.Xie Chuanqi， He Yong. Identification of early blight disease degree of tomato leaf using spectral reflectance ［J］.China Sciencepaper， 2017， 12（6）： 671-675.

［3］孔汶汶， 虞佳佳， 劉飛， 等. 基于高光譜成像技術的番茄莖稈灰霉病早期診斷研究［J］. 光譜學與光譜分析， 2013， 33（3）： 733-736.Kong Wenen， Yu Jiajia， Liu Fei， et al. Early diagnosis of gray mold on tomato stalks based on Hyperspectral data ［J］. Spectroscopy and Spectral Analysis， 2013， 33（3）： 733-736.

［4］瞿華香， 趙萍， 陳桂鵬， 等. 基于無線傳感器網(wǎng)絡的精準農(nóng)業(yè)研究進展［J］. 中國農(nóng)學通報， 2014， 30（33）： 268-272.Zhai Huaxiang， Zhao Ping， Chen Guipeng， et al. Advances in precision agriculture-based wireless sensor networks ［J］. Chinese Agricultural Science Bulletin， 2014， 30（33）： 268-272.

［5］楊英茹， 黃媛， 高欣娜， 等. 基于Logistic回歸模型的設施番茄病毒病預警模型構建［J］. 河北農(nóng)業(yè)科學， 2019， 23（5）： 91-94.Yang Yingru， Huang Yuan， Gao Xinna， et al. Early warning model construction of greenhouse tomato virus disease based on Logitic regression model ［J］. Journal of Hebei Agricultural Sciences， 2019， 23（5）： 91-94.

［6］陳杰， 楊銀娟， 嚴寶華， 等. 番茄黃化曲葉病毒病預警模型的建立［J］. 中國植保導刊， 2017， 37（3）： 49-52.Chen Jie， Yang Yinjuan， Yan Baohua， et al. Establishment of early warning model for tomato yellow leaf curl virus disease ［J］. China Plant Protection， 2017， 37（3）： 49-52.

［7］王曉蓉， 呂雄杰， 賈寶紅. 基于物聯(lián)網(wǎng)技術的日光溫室黃瓜白粉病預警系統(tǒng)研究［J］. 農(nóng)學學報， 2016， 6（8）： 50-53.Wang Xiaorong， Lü Xiongjie， Jia Baohong. Construction of cucumber powdery mildew early warning system in solar greenhouse based on internet of things ［J］. Journal of Agriculture， 2016， 6（8）： 50-53.

［8］曹躍騰， 朱學巖， 趙燕東， 等. 基于改進ResNet的植物葉片病蟲害識別［J］. 中國農(nóng)機化學報， 2021， 42（12）： 175-181.Cao Yueteng， Zhu Xueyan， Zhao Yandong， et al. Recognition of plant leaf diseases， insect， and pests based on improved ResNet ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（12）： 175-181.

［9］He K， Zhang X， Ren S， et al. Deep residual learning for image recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

［9］Xu Y， Zhao B， Zhai Y， et al. Maize diseases identification method based on multi-scale convolutional global pooling neural network ［J］. IEEE Access， 2021， 9： 27959-27970.

［11］Pham T N， Van Tran L， Dao S V T. Early disease classification of mango leaves using feed-forward neural network and hybrid metaheuristic feature selection ［J］. IEEE Access， 2020， 8： 189960-189973.

［12］鮑文霞， 黃雪峰， 胡根生， 等. 基于改進卷積神經(jīng)網(wǎng)絡模型的玉米葉部病害識別［J］. 農(nóng)業(yè)工程學報， 2021， 37（6）： 160-167.Bao Wenxia， Huang Xuefeng， Hu Gensheng， et al. Identification of maize leaf diseases using improved convolutional neural network ［J］.Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（6）： 160-167.

［10］李書琴， 陳聰， 朱彤， 等. 基于輕量級殘差網(wǎng)絡的植物葉片病害識別［J］. 農(nóng)業(yè)機械學報， 2022， 53（3）： 243-250.Li Shuqin， Chen Cong， Zhu Tong， et al. Plant leaf disease identification based on lightweight residual network ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（3）： 243-250.

［11］郝菁， 賈宗維. 基于圖像識別的蘋果葉片病害識別模型對比研究［J］. 中國農(nóng)學通報， 2022， 38（12）： 153-158.Hao Jing， Jia Zongwei. Comparative study on apple leaf disease recognition models based on image recognition ［J］. Chinese Agricultural Science Bulletin， 2022， 38（12）： 153-158.

［12］孟亮， 郭小燕， 杜佳舉， 等. 一種輕量級CNN農(nóng)作物病害圖像識別模型［J］. 江蘇農(nóng)業(yè)學報， 2021， 37（5）： 1143-1150.Meng Liang， Guo Xiaoyan， Du Jiaju， et al. A lightweight CNN model for image recognition of crop disease ［J］. Jiangsu Journal of Agricultural Sciences， 2021， 37（5）： 1143-1150.

［13］周宏威， 沈恒宇， 袁新佩， 等. 基于遷移學習的蘋果樹葉片病蟲害識別方法研究［J］. 中國農(nóng)機化學報， 2021， 42（11）： 151-158.Zhou Hongwei， Chen Hengyu， Yuan Xinpei， et al. Research on identification method of apple leaf diseases based on transfer learning ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（11）： 151-158.

［14］李慶盛， 繆楠， 張鑫， 等. 基于注意力機制非對稱殘差網(wǎng)絡和遷移學習的玉米病害圖像識別［J］. 科學技術與工程， 2021， 21（15）： 6249-6256.Li Qingsheng， Miao Nan， Zhang Xin， et al. Image recognition of maize disease based on asymmetric convolutional attention residual network and transfer learning ［J］. Science Technology and Engineering， 2021， 21（15）： 6249-6256.

［15］陸雅諾， 陳炳才. 基于注意力機制的小樣本啤酒花病蟲害識別［J］. 中國農(nóng)機化學報， 2021， 42（3）： 189-196.Lu Yanuo， Chen Bingcai. Identification of hops pests and diseases in small samples based on attentional mechanisms ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（3）： 189-196.

［19］駱潤玫， 王衛(wèi)星. 基于卷積神經(jīng)網(wǎng)絡的植物病蟲害識別研究綜述［J］. 自動化與信息工程， 2021， 42（5）： 1-10.Luo Runmei， Wang Weixing. Review on plant disease and pest identification based on Convolutional Neural Network ［J］. Automation & Information Engineering， 2021， 42（5）： 1-10.

［20］儲岳中， 汪佳慶， 張學鋒， 等. 基于改進深度殘差網(wǎng)絡的圖像分類算法［J］. 電子科技大學學報， 2021， 50（2）： 243-248.Chu Yuezhong， Wang Jiaqing， Zhang Xuefeng， et al. Image classification algorithm based on improved deep residual network ［J］. Journal of University of Electronic Science and Technology of China， 2021， 50（2）： 243-248.