喬 虹，馮 全，張 芮，劉闐宇

?

基于時序圖像跟蹤的葡萄葉片病害動態(tài)監(jiān)測

喬 虹1，馮 全1※，張 芮2，劉闐宇1

（1. 甘肅農(nóng)業(yè)大學(xué)機電工程學(xué)院，蘭州 730070； 2. 甘肅農(nóng)業(yè)大學(xué)水利水電工程學(xué)院，蘭州 730070）

為提高自然成像條件下的釀酒葡萄圖像中病害識別的可靠性，對時序葉片圖像作連續(xù)病害檢測并監(jiān)測病斑變化情況。首先，在每一天利用Faster R-CNN算法對攝像機視場中葡萄葉片進行檢測，對檢測到的葉片采用改進卡爾曼濾波法進行跟蹤，以獲得葉片正面圖像。為了實現(xiàn)多葉片跟蹤和解決由遮擋而造成的跟蹤失敗問題，該文在卡爾曼濾波和匈牙利算法基礎(chǔ)上，結(jié)合運動測度和深度外觀信息對跟蹤目標進行匹配，運動匹配時采用馬氏距離，外觀匹配方面采用最小余弦距離。其次，將不同日期的葉片正面圖像做SIFT（scale-invariant feature transform）匹配，找到同一葉片按日期排列的一組序列圖像，并在序列圖像中通過深度學(xué)習(xí)技術(shù)進行病害識別。最后，通過監(jiān)測葉片序列圖像上病斑相對面積變化或病斑數(shù)量是否增加來確認病害的存在。該文對提出的跟蹤算法、葉片匹配算法和序列圖像上病害識別的精度進行了測試，試驗表明：跟蹤算法平均多目標跟蹤準確度為73.6%，多目標跟蹤精度為74.6%，基于判別模型顏色特征的傳統(tǒng)跟蹤算法兩指標分別為14.3%和61.3%；基于SIFT特征的葉片匹配在識別同一葉片時的精度達到了90.9%；病害監(jiān)測方面，虛警綜合排除率（馬修斯相關(guān)系數(shù)）達到了84.3%。該文的方法可以排除一些虛假病害，病害監(jiān)測的可靠性有所提高，可適用于自然條件下葡萄病害的連續(xù)在線監(jiān)測。

圖像處理；病害；監(jiān)測；Faster R-CNN；動態(tài)監(jiān)測；葉片匹配；跟蹤

0 引 言

近年來，中國葡萄酒釀酒產(chǎn)業(yè)穩(wěn)步發(fā)展，葡萄種植產(chǎn)業(yè)規(guī)模逐漸增大。在葡萄生長過程中，病害成為制約其高產(chǎn)、優(yōu)質(zhì)、高效益的重要因素之一。采用現(xiàn)代信息技術(shù)實現(xiàn)對作物病害的快速準確識別，對于病害的有效防治具有十分重要的意義。目前大多數(shù)基于計算機視覺的作物病害識別是在靜態(tài)圖像上進行[1-6]，其處理步驟基本如下：樣本采集→葉片分割→對葉片病害進行分割→病害特征提取→病害識別。但是在大田條件下所獲取的作物圖像中，目標葉片經(jīng)常存在一些泥土污漬、農(nóng)藥殘留、陽光灼傷或鳥屎等斑塊，其形狀、顏色與病斑頗為相似，在靜態(tài)圖像上進行一次性識別時，很容易被誤判為病斑，會造成病害監(jiān)測識別系統(tǒng)的虛警率過高。與病斑不同的是，這類斑塊并不會生長。在線監(jiān)測條件下，對同一葉片的序列圖像進行檢測和跟蹤，可以對比不同時段葉片上斑塊的變化，能排除虛警，提高病害識別的魯棒性。

為了對同一葉片不同時期的圖像進行比較，本文首先通過檢測和跟蹤找到姿態(tài)較正的葉片。目前，常用葉片檢測識別方法[7-12]是在特定背景和條件下，對葉片圖像進行采集，再將葉片目標特征從背景中分割出來，最后對所提取的葉片特征（形狀、紋理）利用匹配技術(shù)進行檢測與識別。馬媛等[11]利用方向梯度直方圖（histogram of oriented gradient，HOG）特征和支持向量機檢測葡萄葉片，對自然光照下的葡萄葉片圖像有一定魯棒性，但HOG特征并不具備旋轉(zhuǎn)不變性，因此不能正確檢測姿態(tài)不正或有重疊遮擋的葉片。楊森等[12]采用改進可變形模型（deformable part model，DPM）方法檢測葉片，該方法流程復(fù)雜，速度慢，訓(xùn)練困難；在檢測遮擋或由風(fēng)吹引起的葉片翻轉(zhuǎn)時效果不佳。近年來，諸多學(xué)者提出了多種跟蹤算法[13-17]，主要用于對行人和車輛監(jiān)控方面[18-22]。文獻[12]采用了基于判別模型和顏色特征的跟蹤方法，它對外觀相似、目標重疊遮擋、葉片短暫性離開視線等情況的處理效果不理想，且跟蹤速度較慢。對于生長在大田環(huán)境中的葡萄葉片，存在風(fēng)和光照變化等不可控因素影響，造成葉片難以被連續(xù)跟蹤，給在線監(jiān)測帶來了很大困難。

本文采用Faster R-CNN框架[23]作為葡萄葉片的檢測方法，結(jié)合運動信息和外觀信息度量的實時跟蹤框架，實現(xiàn)對葡萄葉片運動的準確跟蹤，從而能在監(jiān)測視頻中找到該葉片姿態(tài)最正的圖像，對每天采集姿態(tài)較正的葉片進行匹配，最后對匹配的葉片作病害檢測，通過比較葉片上病斑的相對面積的變化，最終可以排除虛警，以提高葡萄病害監(jiān)測的可靠性。

1 數(shù)據(jù)集采集

本文測試數(shù)據(jù)集由3部分組成：葉片視頻數(shù)據(jù)集（供葉片跟蹤用），靜態(tài)葉片數(shù)據(jù)集（供葉片匹配用），葉片序列圖像數(shù)據(jù)集（供排除虛假病害用）。

試驗所用到的視頻和圖像數(shù)據(jù)集的樣本采集于2016年5月至2017年9月期間，從甘肅多地葡萄種植區(qū)（甘肅農(nóng)業(yè)大學(xué)葡萄園，甘肅天水、永登等地葡萄園）拍攝得到，相機型號為Cannon 1200D，自然條件下拍攝,未使用人工照明。測試視頻分辨率為1 920×1 088像素，格式為MOV。葉片視頻數(shù)據(jù)集包含10段視頻，每段時長約為15 min，在自然風(fēng)條件下拍攝，風(fēng)力3～5級。靜態(tài)葉片數(shù)據(jù)集是對視頻中的葉片進行跟蹤，截取姿態(tài)端正的葉片圖像組成的數(shù)據(jù)庫。

葉片序列圖像數(shù)據(jù)集構(gòu)造過程如下：在各視頻監(jiān)測點，當計算機判斷葡萄葉片上有疑似病斑出現(xiàn)時，每天對拍攝視頻經(jīng)過檢測、跟蹤，截取姿態(tài)最佳葉片圖像，經(jīng)過多日拍攝后，將同一葉片不同日期的一組圖像視為一組序列圖像。葉片序列圖像數(shù)據(jù)集由65組序列圖像組成，序列圖像覆蓋的日期從7至20 d不等。經(jīng)過植保專家鑒定，其中的54組確系病害，11組為誤判。

2 葉片病害動態(tài)監(jiān)測方法

圖1為本文方法的處理流程圖。首先，在第1天監(jiān)控攝像頭視野內(nèi)拍攝的葡萄葉片視頻中截取姿態(tài)端正的（正面）葉片，對其逐個編號并存入鏡頭葉片數(shù)據(jù)庫。以后每天將數(shù)據(jù)庫中的葉片與當天的攝像頭視野內(nèi)的姿態(tài)端正的葉片進行匹配，匹配時的特征采用SIFT[24]特征。若葉片能夠匹配則編號不變，對于沒有匹配的葉片，則在數(shù)據(jù)庫中增加該葉片及編號。為防止數(shù)據(jù)庫容量過大，數(shù)據(jù)庫中連續(xù)3 d未被匹配的葉片，則將其從庫中刪除。對數(shù)據(jù)庫中同一編號的葉片進行病害檢測，如果檢測到其中某張圖像有病害，則在后續(xù)的圖像中連續(xù)測量病斑的面積，同時檢測該葉片病斑數(shù)量有無增加。若存在上述2種情況中的一種，則該葉片被認定有病害發(fā)生，否則，則認為是虛警。

圖1 葡萄葉片病害動態(tài)檢測總流程圖

為了獲得姿態(tài)端正的葉片，本文首先采用基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測算法對視頻中第一幀圖像中的葉片進行檢測，確定其在圖像中邊界框，對于視頻的后續(xù)幀，則采用跟蹤的方法確定其邊界框。在對葉片動態(tài)軌跡跟蹤方面，本文提出一種在線實時跟蹤框架，在圖像空間和逐幀數(shù)據(jù)關(guān)聯(lián)中使用匈牙利算法[25]和卡爾曼濾波[26]，結(jié)合運動和外觀信息準確的度量來解決由于葉片重疊遮擋而無法被跟蹤的情況，以實現(xiàn)對葡萄葉片運動軌跡的準確跟蹤。通過對跟蹤到的多幀圖像中同一葉片邊界框進行比較，就可以找到姿態(tài)最正葉片圖像。由于從監(jiān)控攝像機視場中檢測的葉片數(shù)量較多，對于姿態(tài)不正的葉片則不做處理，因為這類葉片上存在病斑時，視角變化會導(dǎo)致測量面積變化劇烈，無法準確測量。

為了確定姿態(tài)最正的葡萄葉片，首先在訓(xùn)練集的圖像中找出姿態(tài)大體端正的葉片，對該類葉片邊界框的尺寸進行人工標定，并對邊界框的長寬比進行均值聚類，以聚類中心作為葡萄葉片的最優(yōu)長寬。通過試驗發(fā)現(xiàn)聚類中心為1:0.86，故最終確定當檢測到的葉片邊界框長寬比等于或接近1:0.86均為正面葉片。

2.1 葉片檢測

為了在圖像中檢測到姿態(tài)不同的葉片，本文采用基于Faster R-CNN框架對葡萄葉片進行檢測。但由于是面向通用對象，其檢測邊界框的長寬比對于葡萄葉片來說不夠緊致，在判定一張葉片是否端正方面效果不好。文獻[27]針對葡萄葉片形狀特點，對錨點的長寬比進行了優(yōu)化，得到了更緊致的葉片檢測邊界框，本文亦采用這種方法。具體流程為：首先向卷積神經(jīng)網(wǎng)絡(luò)輸入任意尺寸的葡萄葉片圖像，通過VGG-16提取該圖像的原始特征，在最后一層卷積層上得到特征圖，該特征圖送入RPN網(wǎng)絡(luò)（region proposal network）得到葉片的候選區(qū)域(region proposal)，將生成的候選區(qū)域輸入ROI池化層，提取對應(yīng)候選區(qū)域的特征，最后通過2個全連接層，輸出該區(qū)域的葉片識別分類及葉片的邊框回歸（回歸后的bounding-box）。檢測算法流程圖如圖2所示。

圖2 葉片檢測流程圖

RPN網(wǎng)絡(luò)位于ROI層和卷積層之間，目的在于利用共享卷積特征的方式提取候選區(qū)域，并使得所有的檢測流程集中在一個網(wǎng)絡(luò)之中。在卷積特征圖上，采用一個3×3的卷積核（滑動窗口）與特征圖進行卷積，步長為1，則卷積后可以得到一個512維的特征向量（由于在3×3區(qū)域上，每1個特征圖上得到一個1維向量，512個特征即可得到512維特征向量）。最后再將這個向量輸入邊框回歸層以及分類層，邊框回歸層輸出各候選區(qū)的坐標，分類層輸出候選區(qū)是否為目標的概率。

2.2 葉片跟蹤

在自然環(huán)境下由于葉片的擺向、遮擋狀態(tài)和葉片姿態(tài)等會受到風(fēng)或生長等因素的影響而發(fā)生變化，在監(jiān)測視頻中，第一幀檢測到的葉片不一定是正面的，本文對這些葉片的運動進行跟蹤，在姿態(tài)最佳的時候截取其邊界框內(nèi)的圖像。此外，跟蹤若干分鐘后（本文設(shè)定為3 min）重新用檢測算法檢測視頻中的葉片，作為新跟蹤的初始位置，可有效解決風(fēng)、遮擋等對跟蹤的影響。本文算法是在卡爾曼濾波跟蹤框架的基礎(chǔ)上進行了擴展[28-29]，并整合外觀信息，從而實現(xiàn)對葡萄葉片的長期、準確跟蹤。圖3為本文葉片視頻跟蹤的流程圖。

圖3 葉片跟蹤流程圖

2.2.1 狀態(tài)估計

2.2.2 軌跡處理

對于每一個跟蹤目標，都有一個閾值記錄從上次匹配成功之后到目標再次出現(xiàn)的幀數(shù)。當卡爾曼濾波器預(yù)測時，該計數(shù)器遞增，當目標的檢測結(jié)果與跟蹤結(jié)果正確關(guān)聯(lián)后，計數(shù)器就重置為0。當超過預(yù)定義的最大閾值時，則認為跟蹤離開場景，并從軌跡集中刪除，軌跡終止。在獲取匹配的過程中，對于不能與現(xiàn)有軌道相關(guān)聯(lián)的每個目標都可能產(chǎn)生新軌跡，啟動新的跟蹤假設(shè)。在本文中，設(shè)最大閾值是3，如果連續(xù)3幀中心的跟蹤器對目標位置的預(yù)測結(jié)果與檢測結(jié)果正確關(guān)聯(lián)，則認為是產(chǎn)生新的軌跡；如果不能正確關(guān)聯(lián)，則該軌跡將被刪除。

2.2.3 跟蹤過程的匹配

解決預(yù)測卡爾曼狀態(tài)和當前軌跡之間的關(guān)聯(lián)所用的常規(guī)的方法就是構(gòu)建可以使用匈牙利算法來解決的匹配問題，在這個問題中，本文通過組合2個適當?shù)闹笜藖碚线\動和外觀信息。

運動信息匹配時，采用馬哈拉諾比斯距離，即卡爾曼預(yù)測結(jié)果和檢測結(jié)果之間的距離：

式中d表示第個檢測框的位置，y表示第個跟蹤器對目標的預(yù)測位置，q表示檢測位置與平均跟蹤位置之間的協(xié)方差矩陣。馬氏距離通過測量從平均軌跡的位置到檢測框之間的標準偏差來考慮估計狀態(tài)的不確定性。此外，考慮到運動的連續(xù)性，本文通過馬氏距離對檢測結(jié)果進行了篩選，定義卡方分布0.95分位點作為閾值(1)，如果馬氏距離小于閾值(1)，則認為運動信息匹配成功，使用如下函數(shù)表示

式中1[·]表示若滿足條件，則取1，若不滿足，則取0。

同樣引入一個變量b(2)，確定這2個度量是否存在關(guān)聯(lián)，用如下指標表示：

馬哈拉諾比斯距離提供了可能的目標位置的信息，是對短期預(yù)測效果較好，而余弦距離考慮的是軌跡長時間丟失的情況。為了構(gòu)建關(guān)聯(lián)問題，使用兩種度量方式的線性加權(quán)c作為最終的度量

同樣引入可容許關(guān)聯(lián)矩陣b

由式（5）看出，可以通過超參，控制這2個度量對組合關(guān)聯(lián)成本的影響。

2.2.4 引入級聯(lián)匹配

當目標被遮擋較長時間后，卡爾曼濾波器預(yù)測結(jié)果不準確性增加。當2個跟蹤器同時匹配一個檢測結(jié)果時，目標遮擋時間較長的軌跡往往得到的馬哈拉諾比斯距離更小，即傾向于將檢測結(jié)果分配給丟失時間較長的軌跡，而直觀上，該檢測結(jié)果應(yīng)該與目標遮擋時間較短的軌跡相匹配。因此引入級聯(lián)匹配，這樣每次分配的時候考慮的都是遮擋時間相同的軌跡。

將一組預(yù)測軌跡和檢測坐標以及最大時間max作為輸入，首先利用式（5）計算關(guān)聯(lián)成本矩陣c和式（6）計算可容許關(guān)聯(lián)矩陣b。然后迭代以增加時間的軌跡，選擇沒有與最后幀中的檢測結(jié)果相關(guān)聯(lián)的軌跡T的子集，對匹配結(jié)果進行篩選，刪除余弦距離較大的匹配，最后更新匹配和不匹配檢測結(jié)果。這種級聯(lián)匹配優(yōu)先考慮時間最近的軌跡。在最后的匹配階段對未確認的和=1的未匹配軌跡進行了基于交叉聯(lián)合距離（intersection over union association, IOU）[28]的匹配，解決由于表觀突變或者部分遮擋導(dǎo)致的較大變化。

2.2.5 外觀特征的獲取

在跟蹤環(huán)節(jié)的匹配中用到了葉片外觀特征，在進行外觀度匹配時，本文采用深度神經(jīng)網(wǎng)絡(luò)提取表觀特征。VGG-16、ResNet（殘差網(wǎng)絡(luò)）等通過增加網(wǎng)絡(luò)的深度，得到好的特征提取效果。WRN（寬殘差網(wǎng)絡(luò)）[30]則通過增加網(wǎng)絡(luò)的寬度提升模型的性能。文獻[30]的試驗表明，WRN可以用較少的網(wǎng)絡(luò)層數(shù)獲得比深層網(wǎng)絡(luò)更好的性能，在相同參數(shù)時，寬網(wǎng)絡(luò)比深網(wǎng)絡(luò)更容易訓(xùn)練。WRN-28-10結(jié)構(gòu)的計算速度要比ResNet-1001快1.6倍，非常適合于跟蹤這種對時間要求高的場合。本文采用WRN來提取邊界框中葡萄葉片的單位范數(shù)的特征向量γ，以在MARS[31]數(shù)據(jù)集上訓(xùn)練的網(wǎng)絡(luò)CNN作為基礎(chǔ)網(wǎng)絡(luò)，構(gòu)建寬殘差網(wǎng)絡(luò)，CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

該寬殘差網(wǎng)絡(luò)有2個卷積層，接著6個殘差塊，在密集層10中計算維度128的全局特征圖。最終批量的L2范數(shù)歸一化將特征投影到單位超球上從而使得與余弦距離度量d2)(,)相一致。

注：32×128×64表示卷積后得到的特征圖的尺寸。

2.3 數(shù)據(jù)庫葉片匹配

本文將跟蹤過程中獲得的姿態(tài)最佳的葉片與數(shù)據(jù)庫中葉片進行匹配，找到其在前一天的對應(yīng)葉片，從而確定其在數(shù)據(jù)庫中的編號。由同一編號葉片的多日圖像就可以構(gòu)成一組時序圖像。匹配時采用SIFT特征，基本匹配過程如下：

1）將當前截取的葉片圖像和數(shù)據(jù)庫中前一天已分配編號的葉片圖像轉(zhuǎn)換為灰度圖像；

2）分別計算這些圖像上的SIFT特征點；

3）對當天的每一幅葉片圖像，在前一天的葉片圖像集中尋找最佳匹配圖像，判斷匹配的準則是2張葉片SIFT特征匹配率在所有葉片對的匹配得分中是最高的。匹配時計算前一天葉片特征點（1）、當前葉片特征點（2）和匹配的特征點數(shù)（），匹配率為匹配點數(shù)()與總特征點數(shù)（=1+2）之比，即：

匹配率=′/（7）

若2幅圖像中葉片匹配，就給當前葉片圖像的分配匹配圖像的編號。如果沒有匹配上，則繼續(xù)取數(shù)據(jù)庫中前二天的葉片圖像進行匹配，以此類推。如果與第一天的葉片仍然沒有匹配，則分配新編號。

此外，還可以利用兩者間的旋轉(zhuǎn)和尺度參數(shù)可以將2幅圖做大致的對齊，方便對病斑區(qū)域面積進行對比。

2.4 葉片病害檢測

對數(shù)據(jù)庫中保存的同一編號葉片在若干天的變化進行對比分析，能夠掌握葡萄葉片的生長信息。隨著葉片的生長，葉片上病害也在生長，而非病害通常不變或者減小。由于數(shù)據(jù)庫中保存的圖像均為截取的單張葉片，而非原視場的圖像，在葉片區(qū)域進行病害檢測，可排除背景區(qū)域干擾，縮小待檢測病害區(qū)域，故能提高病害檢測的準確率。本文的病害檢測器也采用Faster R-CNN框架，將相同編號的葉片圖像分別輸入到病害檢測器，網(wǎng)絡(luò)檢測到病害候選區(qū)后，在VGG-16卷積網(wǎng)絡(luò)最后一層特征圖上生成512維特征向量，將其輸入到全連接層進行識別，采用Softmax分類器對病害區(qū)域分類[32]。由于在大田的高噪聲環(huán)境下葡萄病害檢測的精度有限，容易造成誤識別，本文對葉片序列圖像連續(xù)測量病斑相對面積，隨著葉片的生長，病斑相對面積逐漸增大，或者病斑的數(shù)量出現(xiàn)上升趨勢，則認為該葉片有病害發(fā)生。

對于病斑面積測量，首先采用基于檢測的分割算法對一組序列圖像上病斑進行自動分割[33]，連續(xù)測量每張圖像上病斑相對面積。關(guān)于相對面積測量，前人已經(jīng)提出了許多方法[34-35]，在本文中，規(guī)定病斑的相對面積等于病斑面積(S) 與基準病斑面積()之比，可按照分割病斑的像素(P)與基準病斑的像素()之比計算，即

S/S= P/（8）

式中代表日期（天），基準病斑是指葉片病害檢測時第一次檢測到的疑似病斑。

本文通過Daniel檢驗法[36]對一組序列圖像上病斑面積是否具有上升趨勢進行判斷（置信水平取0.05）。對于病斑面積有上升趨勢的一組序列圖像，則確認病害存在，反之則排除。對于序列圖像中檢測病斑數(shù)量的上升趨勢判斷也采用這種方法。

3 試驗與結(jié)果分析

3.1 試驗設(shè)計

本文試驗分為以下3部分：

1）視頻跟蹤：分別用對基于判別模型顏色特征的傳統(tǒng)DPM跟蹤算法[12]與本文跟蹤算法在葉片視頻數(shù)據(jù)集進行跟蹤，測試跟蹤精度。

2）數(shù)據(jù)庫葉片匹配：在靜態(tài)葉片數(shù)據(jù)集上對連續(xù)2d采集葉片進行匹配，將前一天入庫的每個編號的葉片與當天截取的姿態(tài)端正葉片分別進行匹配。匹配試驗中，當天和前一天的葉片數(shù)量均選取1 000張。

3）用序列圖像排除虛假病害：在葉片序列圖像數(shù)據(jù)集上對65組序列圖像進行病害檢測，對每組圖像，計算每張病害葉片病斑面積或病斑數(shù)量，若該組序列圖像中病斑面積或病斑數(shù)量不存在上升趨勢，則判斷該葉片沒有病害發(fā)生。由于本數(shù)據(jù)集的各葉片都被病害檢測器判為存在病害，本試驗的目的是檢驗用序列圖像信息能排除多少虛假病害。

3.2 試驗評價指標

3.2.1 視頻跟蹤試驗

為了驗證本文算法的性能，利用Bernardin等所提出的評價指標對本文的跟蹤算法進行評價[37]，主要評價指標如下。

1）多目標跟蹤準確度（multiple object tracking accuracy，MOTA）：結(jié)合了誤報，虛警率，標號轉(zhuǎn)換的整體追蹤準確性，定義為

MOTA=1?/（9）

式中表示誤跟蹤到的目標個數(shù)，表示跟蹤到目標個數(shù)。

2）多目標跟蹤精度（multiple object tracking precision, MOTP)：總體跟蹤精度，所有跟蹤目標的平均邊界框重疊率，定義為

MOTP=/（10）

式中表示跟蹤匹配錯誤的個數(shù)，表示跟蹤匹配個數(shù)。

3）大多數(shù)跟蹤（mostly tracked，MT）：成功跟蹤率高于80%的未丟失軌跡的比例。

MT=/（11）

式中表示所有的目標數(shù)，表示跟蹤率高于80%的軌跡個數(shù)。

4）大部分丟失（mostly lost，ML）：成功跟蹤率低于20%的嚴重丟失軌跡的比例。

ML=/（12）

式中表示跟蹤率低于20%的軌跡個數(shù)。

3.2.2葉片匹配試驗

用匹配正確率評價試驗結(jié)果，定義為算法給出的正確匹配數(shù)量與真實匹配數(shù)之比。

3.2.3 基于序列圖像的病害檢測

用病斑面積或數(shù)量不具上升趨勢來判斷葉片沒有病害，一方面可能減少虛警，但另一面也可能將發(fā)展很慢的病害判為非病害，從而帶來新的錯誤。為了綜合評價本文方法的虛警排除率，以馬修斯相關(guān)系數(shù)（matthews correlationcoefficients，MCC）作為評價指標。

式中TP為真陽性，表示植保專家和Daniel檢驗法均判為無病害葉片數(shù)量；TN為真陰性，表示專家和Daniel檢驗法均判為有病害的葉片數(shù)量；FP為假陽性，表示專家判為發(fā)生病害，但Daniel檢驗法判為無病害的數(shù)量；FN為假陰性，表示專家鑒定無病害，但Daniel檢驗法認為有發(fā)生病害的數(shù)量。

3.3 試驗結(jié)果與分析

3.3.1 視頻跟蹤試驗結(jié)果

圖5是葉片分別在2種算法對葉片視頻序列跟蹤結(jié)果的示例，可以看出，短時間跟蹤時，2種算法都可以有效跟蹤葉片（10到131幀）。隨時間流逝，由于風(fēng)導(dǎo)致葡萄葉片發(fā)生翻轉(zhuǎn)或遮擋時，基于判別模型顏色特征的跟蹤算法跟丟了目標，而本文算法基本沒有出現(xiàn)這類問題。

注：同一顏色框代表同一葉片。 Note: The same color box represents the same blade.

圖6給出了2種算法對同一幅圖像的檢測結(jié)果，可以看出，基于Faster R-CNN框架[27]的算法比基于改進DPM算法的檢測效果好，能檢測出部分被遮擋的葉片，而后者的目標檢測原理主要基于多個模板匹配，對被遮擋葉片進行模型匹配存在困難，所以DPM算法很難檢測出被遮擋葉片。表1給了2種跟蹤算法在測試視頻上的統(tǒng)計結(jié)果，文獻[12]跟蹤算法的平均MOTA 為14.3%，MOTP為61.3%，本文跟蹤算法的平均MOTA 為73.6%，MOTP為74.6%，明顯高于文獻[12]的結(jié)果，故本文跟蹤算法有更高的精準度和更大的重疊率。

圖6 葡萄葉片檢測例子

表1 不同跟蹤算法評價指標比較

3.3.2 數(shù)據(jù)庫葉片匹配

在靜態(tài)葉片數(shù)據(jù)集上試驗表明，本文基于SIFT特征匹配方法的匹配正確率為90.9%。作為對比，本文還測試了另一種常見的特征描述子加速穩(wěn)健特征(speeded up robust features，SURF)[38]的匹配，其匹配正確率為88.4%，略低于SIFT特征匹配。

圖7給出了一個葉片匹配例圖，將當前葉片和前一天葉片編號，前一天的2個葉片分別與當前數(shù)據(jù)庫的葉片進行匹配，計算前一天號葉片分別與當前1、2、3、4號葉片匹配的匹配率（表2），結(jié)果分別為0.043、0.021、0.023、0.025，由匹配率確定1號為與前一天號葉片最匹配的葉片，故將1號葉片編號記為，并存入數(shù)據(jù)庫。

圖7 數(shù)據(jù)庫葉片匹配示例

表2 圖7葉片a與1、2、3、4匹配結(jié)果

3.3.3 用序列圖像排除虛假病害

對一張葉片疑似病斑連續(xù)檢測一段時間后，若病斑相對面積或病斑數(shù)量整體呈現(xiàn)穩(wěn)定上升趨勢則可確定有病害發(fā)生；若未出現(xiàn)增大趨勢則認為出現(xiàn)了誤判。葉片序列圖像數(shù)據(jù)集包括了65張疑似病害葉片，經(jīng)專家鑒定，其中的54張確系病害，11張為誤判。經(jīng)Daniel檢驗法判斷65張葉片中無病害的葉片為12張，其中TP=10，F(xiàn)N=1，F(xiàn)P=2，TN=52，則馬修斯相關(guān)系數(shù)MCC為0.843，故本方法可以提高病害檢測的魯棒性。

圖8為葉片2種病斑相對面積示例，圖9為隨時間變化葉片病斑數(shù)量增加的示例圖。

圖8 葉片病斑相對面積隨時間變化示例

圖9 疑似白粉病病斑數(shù)量隨時間增加的示例

可直觀地看出疑似灰霉病病斑在不同天病斑面積是增長的，而疑似白粉病病斑面積則基本保持不變。連續(xù)測量了病斑相對面積，繪制出如圖8c和圖8d的病斑相對面積變化曲線，可以看出，疑似灰霉病葉片病斑相對面積隨時間增加有上升趨勢。從第1天到第3天保持在1附近，第4天開始增長，第4天到第8天由1.5增長到4，呈現(xiàn)劇增狀態(tài)。本文認為可能原因有：1）病害生長較快；2）此類病害具有傳染性，當某一處有病害發(fā)生時，它會向四周擴散蔓延。疑似白粉病葉片病斑相對面積整體處于平穩(wěn)狀態(tài)，第1天到第10天大都是在1～1.5之間，但在第3天時相對面積近似為3，這可能是由于當天是陰雨天，本文自動分割算法不夠魯棒，對疑似病害區(qū)分割時產(chǎn)生過分割而造成的。根據(jù)病斑相對面積增長趨勢分析，可以判斷疑似灰霉病葉片確定有病害發(fā)生，疑似白粉病葉片在病害檢測時出現(xiàn)了虛警。

在同一場景中，葉片病斑數(shù)量也同樣可以確認是否有病害發(fā)生，這種方法通過對檢測出的病斑的邊框數(shù)量是否增加來判斷是否存在真正的病害。

4 結(jié) 論

本文利用序列圖像對葡萄葉片病害進行動態(tài)監(jiān)測。通過對視頻圖像中的葉片檢測和跟蹤，找到姿態(tài)端正的葉片圖像存入數(shù)據(jù)庫并編號（方便前后對比）；采用SIFT特征對前后日期的葉片進行匹配，最終得到同一張葉片的生長序列圖，并對該葉片做病害檢測。試驗表明，本文檢測和跟蹤算法對環(huán)境和光照變化具有較強的魯棒性，本文跟蹤算法的平均跟蹤準確度為73.6%，平均跟蹤精度為74.6%，均高于基于判別模型顏色特征的傳統(tǒng)跟蹤算法，葉片匹配方法也具有較高精度，達到90.9%。對于有疑似病害的葉片，在序列圖像上監(jiān)測葉片的病斑面積和數(shù)量變化情況，如果沒有明顯的上升趨勢，則判斷該葉片無病害。試驗表明，在降低誤識別方面得到了較好的效果。本文的方法可以排除虛假病害警報，提高病害監(jiān)測的魯棒性，適合自然環(huán)境下對葡萄葉片進行可靠的在線監(jiān)測。目前本方法只能對姿態(tài)端正的正面葉片病斑面積進行估計，今后研究中要解決視角無關(guān)的病斑面積估計問題。

[1] 胡秋霞. 基于圖像分析的植物葉部病害與識別方法研究[D].楊凌：西北農(nóng)林科技大學(xué)，2013. Hu Qiuxia. Plant Leaf Disease Identification Method and Research Based on Image Analysis[D]. Yangling: Northwest A&F University, 2013. (in Chinese with English abstract)

[2] 王志彬，王開義，王書鋒，等. 基于動態(tài)集成的黃瓜葉部病害識別方法[J]. 農(nóng)業(yè)機械學(xué)報，2017，48(9)：46－52. Wang Zhibin, Wang Kaiyi, Wang Shufeng, et al. Recognition method of cucumber leaf diseases with dynamic ensemble learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(9): 46－52.(in Chinese with English abstract)

[3] 田有文，張長水，李成華. 基于支持向量機和色度矩的植物病害識別研究[J]. 農(nóng)業(yè)機械學(xué)報，2004，35(3)：95－98 Tian Youwen, Zhang Changshui, Li Chenghua. Study on plant recognition using support vector machine and chromaticity moments[J]. Transactions of the Chinese Society for Agricultural Machinery, 2004, 35(3): 95－98.(in Chinese with English abstract)

[4] 田有文，李天來，李成華，等. 基于支持向量機的葡萄病害圖像識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2007，23(6)：175－180. Tian Youwen, Li Tianlai, Li Chenghua, et al. Method for recognition of grape based on support vector machine[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2007, 23(6): 175－180.(in Chinese with English abstract)

[5] 王樹文，張長利. 基于圖像處理技術(shù)的黃瓜葉片病害識別診斷系統(tǒng)研究[J]. 東北農(nóng)業(yè)大學(xué)學(xué)報，2012，43(5)：69－73. Wang Shuwen, Zhang Changli. Study on identification of cucumber leaf disease based on image processing[J]. Journal of Northeast Agricultural University, 2012, 43(5): 69－73.(in Chinese with English abstract)

[6] 賈建楠，吉海彥. 基于病斑形狀和神經(jīng)網(wǎng)絡(luò)的黃瓜病害識別[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(增刊1)：115－121. Jia Jiannan, Ji Haiyan. Recognition for cucumber disease based on leaf spot shape and neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(Supp.1): 115－121.(in Chinese with English abstract)

[7] 賀鵬，黃林. 植物葉片特征提取及識別[J]. 農(nóng)機化研究，2008(6)：168－170. He Peng, Huang Lin. Plant leaf feature extraction and identification[J]. Agricultural Mechanization Research, 2008(6): 168－170. (in Chinese with English abstract)

[8] 張寧，劉文萍. 基于圖像分析的植物葉片識別技術(shù)綜述[J]. 計算機應(yīng)用研究，2011，28(11)：4001－4007. Zhang Ning, Liu Wenping. Plant leaf recognition technology based on image analysis[J]. Application Research of Computers, 2011, 28(11): 4001－4007. (in Chinese with English abstract)

[9] 吳露露，馬旭，齊龍，等. 基于葉片形態(tài)的田間植物檢測方法[J]. 農(nóng)業(yè)機械學(xué)報，2013，44(11)：241－246. Wu Lulu, Ma Xu, Qi Long, et al. Field plants detection based on leaf morphology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 241－246. (in Chinese with English abstract)

[10] 王麗君，淮永建，彭月橙. 基于葉片圖像多特征融合的觀葉植物種類識別[J]. 北京林業(yè)大學(xué)學(xué)報，2015，37(1)：55－61. Wang Lijun, Huai Yongjian, Peng Yuecheng. Method of identification of foliage from plants based on extraction of multiple features of leaf images[J]. Journal of Beijing Forestry University, 2015, 37(1): 55－61. (in Chinese with English abstract)

[11] 馬媛，馮全，楊梅，等. 基于HOG的釀酒葡萄葉片檢測[J]. 計算機工程與應(yīng)用，2016，52(15)：158－161. Ma Yuan, Feng Quan, Yang Mei, et al. Detection of wine grape leaves based on HOG[J]. Computer Engineering and Applications, 2016, 52(15): 158－161. (in Chinese with English abstract)

[12] 楊森，馮全，王書志，等. 基于改進可變性部件模型與判別模型的葡萄葉片檢測與跟蹤[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(6)：140－147. Yang Sen, Feng Quan, Wang Shuzhi, et al. Grape leaves detection and tracking based on improved deformable part model and discriminative model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 140－147. (in Chinese with English abstract)

[13] Tang S, Andriluka M, Schiele B. Detection and tracking of occluded people[J]. International Journal of Computer Vision, 2014, 110(1): 58－69.

[14] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning- detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409－1422.

[15] Ristani E, Solera F, Zou R, et al. Performance Measures and a Data Set for Multi-target, Multi-camera Tracking[M]// Computer Vision–ECCV 2016 Workshops. Springer International Publishing, 2016: 17－35.

[16] Wu Y, Lim J, Yang M H. Online object tracking: A benchmark[J]. IEEE Conference on Computer Vision & Pattern Recognition, 2013, 9(4): 2411－2418.

[17] Khan G H, Khan S, Asad M, et al. Real time benefits of fixed lag smoothing for multi-target tracking and interception system[C]//International Bhurban Conference on Applied Sciences and Technology, 2018: 304－309.

[18] 方義，嵇智源，勝浩. 基于道路環(huán)境上下文的行人跟蹤方法[J]. 計算機應(yīng)用，2015，35(8)：2311－2315. Fang Yi, Ji Zhiyuan, Sheng Hao. Pedestrian tracking method based on road environment context[J]. Journal of Computer Applications, 2015, 35(8): 2311－2315. (in Chinese with English abstract)

[19] 董文會，常發(fā)亮，李天平. 融合顏色直方圖及SIFT特征的自適應(yīng)分塊目標跟蹤方法[J]. 電子信息學(xué)報，2013，35(4)：770－776. Dong Wenhui, Chang Faliang, Li Tianping. Adaptive fragments-based target tracking method fusing color histogram SIFT features[J]. Journal of Electronics & Information Technology, 2013, 35(4): 770－776. (in Chinese with English abstract)

[20] 尹宏鵬，柴毅，匡金駿，等. 一種基于多特征自適應(yīng)融合的運動目標跟蹤算法[J]. 光電子·激光，2010，21(6)：917－923. Yin Hongpeng, Chai Yi, Kuang Jinjun, et al. A moving target tracking algorithm based on adaptive multiple cues fusion[J]. Journal of Optoelectronics·Laser, 2010, 21(6): 917－923. (in Chinese with English abstract)

[21] 姜文濤，劉萬軍，袁姮. 基于軟特征理論的目標跟蹤研究[J]. 計算機學(xué)報，2016，39(7)：1334－1355. Jiang Wentao, Liu Wanjun, Yuan Heng. Research of object tracking based on soft feature theory[J]. Chinese Journal of Computers, 2016, 39(7): 1334－1355. (in Chinese with English abstract)

[22] 付毅，吳澤民，田暢，等. 場景自適應(yīng)的跟蹤特征選擇機制研究[J]. 光學(xué)技術(shù)，2014，40(6)：551－559. Fu Yi, Wu Zemin, Tian Chang, et al. Research on scene adaptive tracking feature selection[J]. Optical Technique, 2014, 40(6): 551－559. (in Chinese with English abstract)

[23] Ren S, He K, Girshick R, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[C]//International Conference on Neural Information Processing Systems. MIT Press, 2015: 91－99.

[24] Lowe D G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision, 2004, 60(2): 91－110.

[25] Filtering K. Kalman filtering[J]. Control Systems Magazine IEEE, 2001, 6(1): 46－47.

[26] Kuhn H W. The hungarian method for assignment problem[J]. Naval Research Logistics(NRL), 2010, 52(1): 7－21.

[27] 劉闐宇，馮全，楊森. 基于卷積神經(jīng)網(wǎng)絡(luò)的葡萄葉片病害檢測方法[J]. 東北農(nóng)業(yè)大學(xué)學(xué)報，2018，49(3)：73－83. Liu Tianyu, Feng Quan, Yang Sen. Detecting grape disease based on convolution neural network [J]. Journal of Northeast Agricultural University, 2018, 49(3): 73－83. (in Chinese with English abstract)

[28] Bewley A, Ge Z, Ott L, et al. Simple online and realtime tracking[C]//IEEE International Conference on Image Processing. IEEE, 2016: 3464－3468.

[29] Wojke N, Bewley A, Paulus D. Simple online and realtime tracking with a deep association metric[C]//IEEE International Conference on Image Processing. IEEE, 2017: 645－649.

[30] Zagoruyko S, Komodakis N. Wide residual networks[C]// British Machine Vision Conference, 2016: 1－12.

[31] Zheng L, Bie Z, Sun Y, et al. MARS: A Video Benchmark for Large-scale Person Re-identification[M]//Computer Vision–ECCV 2016. Spring International Publishing, 2016: 868－884.

[32] 劉媛. 基于深度學(xué)習(xí)的葡萄葉片病害識別方法研究[D]. 蘭州：甘肅農(nóng)業(yè)大學(xué)，2018. Liu Yuan. Research on Methods on Grape Leaf Disease Recognition Based on Deep Learning[D].Lanzhou: Gansu Agricultural University, 2018. (in Chinese with English abstract)

[33] 侯兆靜，馮全，張濤. 基于混合高斯模型的葉片檢測分割算法[J]. 計算機應(yīng)用與軟件，2018，35(1)：253－260. Hou Zhaojing, Feng Quan, Zhang Tao. Leaf detection segmentation algorithm based on gaussian mixture model [J].Computer Application and Software, 2018, 35(1): 253－260.(in Chinese with English abstract)

[34] 陳濤濤，遲道才，梁茜，等.基于矩形框幾何校正的多葉面積測量方法[J].農(nóng)業(yè)工程學(xué)報，2012,28(8)：206－213. Chen Taotao, Chi Daocai, Liang Qian, et al. Multi-leaf area measurement method based on geometric correction with rectangular box[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2012, 28(8): 206－213. (in Chinese with English abstract)

[35] 聶鵬程，楊燕，劉飛，等. 植物葉面積無損測量方法及儀器開發(fā)[J]. 農(nóng)業(yè)工程學(xué)報，2010，26(9)：198－202. Nie Pengcheng, Yang Yan, Liu Fei, et al. Method of non-destructive measurement for plant leaf area and its instrument development[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(9): 198－202. (in Chinese with English abstract)

[36] 劉娟，陳濤濤，遲道才. 基于Daniel及Mann-kendall檢測的遼西北地區(qū)降雨量趨勢分析[J]. 沈陽農(nóng)業(yè)大學(xué)學(xué)報，2014，45(5)：599－603. Liu Juan, Chen Taotao, Chi Daocai. Rainfall trend analysis of the northwest liaoning Province based on Daniel and Mann-Kendall test[J]. Journal of Shenyang Agricultural University, 2014, 45(5): 599－603. (in Chinese with English abstract)

[37] Bernardin K, Stiefelhagen R. Evaluating multiple object tracking performance: The clear mot metric[J]. Eurasip Journal on Image and Video Processing,2008(1):1－10.

[38] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer vision and image understanding, 2008, 110(3): 346－359.

Dynamic monitoring of grape leaf disease based on sequential images tracking

Qiao Hong1, FengQuan1※, Zhang Rui2, Liu Tianyu1

(1.,,730070,; 2,,730070)

In recent years, disease becomes one of the important factors that restrict the production and quality of wine grape. At present, most of disease recognition of plant is actually carried out with static image. Some blobs, arising from soil spots, bird shits, pesticide stains, and so on, are often similar in color or shape with scab caused by diseases, and may be misclassified as disease. To accurately judge the illness of a leaf for online surveillance, it is important to consider the time factor. The strategy of continuously monitoring the variation of blobs on a leaf over time helps to improve accuracy of disease recognition under natural conditions. In this paper, we presented a dynamic disease monitoring method for wine grape, which inferred whether the disease had existed not only by the disease classifier but also by the status changing observed over time from sequential images. We firstly detected the grape leaves in the first frame of the video by Faster R-CNN (region-based convolution neural network) every day, and then tracked them in the following frames to find out the frontal snaps of leaves. These snaps were intercepted from the bounding boxes in the frame, which were stored in a database as leaf images. In terms of tracking, an algorithm was proposed, which combined cosine distance metric of movement with appearance information, to solve the problem that a leaf could not be tracked due to occlusion. We built a wide residual network which was used to extract the apparent characteristics when performing surface matching in this paper. Since the blades detected in the first frame of the monitoring video were not correct, we tracked these leaves over a period of time, and then intercepted the image with bounding box when the posture was the best. To recognize the same leaf from sequential images over days, SIFT (scale-invariant feature transform) based matching was performed. If the matching rate of the 2 blades exceeded a predetermined threshold and is the highest among all the blade pairs, the 2 images are considered as the same leaf. For the image sequence of a leaf, a process of disease detection is then carried out to detect whether diseases exist. The detector of disease also adopts Faster R-CNN framework. Interception of frontal leaf was good, which removed most background, and the accuracy of detection was improved remarkably. When the detector outputted a bounding box which indicated a disease scab, a process of automatic segmentation based on graph cut was implemented to segment the scab from the image. The goal of the process was estimate the area of scab on an image. We further compared the area of scabs and the number of scabs from the same leaf on the images if the detector asserted that there had existed disease. Once the area or the number was increased over time, we could confirm the assertion. If not, we believed that misrecognition occurred. We conducted experiments to evaluate the performance of our method. For leaf tracking, the experimental results showed that the average multiple-object tracking accuracy (MOTA) of the proposed tracking algorithm is 73.6% and the multiple-object tracking precision (MOTP) is 74.6%, surpassing the algorithm for comparison. For leaf matching, the accuracy of our SIFT-based method achieved 90.9%, which could meet the requirement in practice. In short, besides scabs detected from a static image, our method introduced time factor to judge the developing trend of the scabs from sequential images, which eliminated false alarm and improved the accuracy and robustness of grape disease diagnosis. With the proposed method, we can realize the online monitoring of grape leaf in natural environment. At present, the method can only estimate the scab area of the leaf with positive posture. In the future study, we should solve the problem of scab area estimation which is irrelevant to the angle of view.

image processing;disease; monitoring; Faster R-CNN; dynamic monitoring; leaf match; tracking

2018-04-02

2018-06-20

國家自然基金（61461005）；甘肅省科技重大專項計劃（1502NKDF023）

喬 虹，主要從事圖像處理，模式識別。Email：785388991@qq.com

馮 全，甘肅蘭州人，教授，博士，主要從事圖像處理、信息安全。Email：fquan@sina.com

10.11975/j.issn.1002-6819.2018.17.022

S43; TP391.41

A

1002-6819(2018)-17-0167-09

喬 虹，馮 全，張 芮，劉闐宇. 基于時序圖像跟蹤的葡萄葉片病害動態(tài)監(jiān)測[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(17)：167－175. doi：10.11975/j.issn.1002-6819.2018.17.022 http://www.tcsae.org

Qiao Hong, Feng Quan, Zhang Rui, Liu Tianyu. Dynamic monitoring of grape leaf disease based on sequential images tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(17): 167－175. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.17.022 http://www.tcsae.org