吳俊杭 曾窕俊 馬本學 汪傳建 羅秀芝 王文霞

摘要：圖像采集是實現(xiàn)紅棗品質(zhì)分級和檢測的關(guān)鍵前提。針對基于靜態(tài)圖像的采集方式不能全面反映外觀品質(zhì)、實時性差和基于傳輸式圖像采集方式的機械、電路設計復雜且適用性不足的缺點，提出一種基于歷史幀最小路徑搜索，實現(xiàn)對視頻中紅棗目標進行跟蹤、標定，建立紅棗動態(tài)樣本集的方法。首先利用RGB（red，green，blue）顏色空間轉(zhuǎn)換HSV（hue saturation value）空間圖像的明度（V）分量，基于V分量建立掩膜對RGB圖像執(zhí)行掩膜去背景。同時，針對視頻圖像中獲得的二值圖像，建立坐標系，獲得每幀圖像基于輪廓外接最小正矩形的特征向量，將當前幀和前一幀中的特征向量基于最小路徑搜索的方法，加入約束條件，實現(xiàn)對視頻中每個紅棗目標的跟蹤和標定，最后基于正矩形參數(shù)的感興趣區(qū)域（region of interest，簡稱ROI），實現(xiàn)動態(tài)樣本建立。利用此算法，對拍攝的視頻圖像的檢測表明建立的動態(tài)樣本集能更全面地反映紅棗外觀品質(zhì)。該算法簡單、有效，特別在實現(xiàn)基于深度神經(jīng)網(wǎng)絡的紅棗在線檢測中具有較大的應用潛力。

關(guān)鍵詞：機器視覺;紅棗檢測;路徑搜索;跟蹤標定;動態(tài)樣本

中圖分類號： TP391.41? 文獻標志碼： A? 文章編號：1002-1302（2019）10-0219-05

新疆紅棗具有極高的營養(yǎng)及藥用價值，又被稱為“黃金壽棗”，受到了越來越多的消費者青睞，社會需求量也在不斷加大，大大地激發(fā)了自治區(qū)規(guī)?；l(fā)展、產(chǎn)業(yè)化經(jīng)營棗樹的積極性[1]。但同時，霉爛、蟲害等缺陷嚴重影響了紅棗的品質(zhì)和價值，必須進行濾除。機器視覺具有效率高、精度高、檢測信息豐富、非接觸等優(yōu)點，在農(nóng)產(chǎn)品缺陷檢測和品質(zhì)分級領(lǐng)域獲得了廣泛應用[2]。

目前，國內(nèi)外基于機器視覺的水果分選已經(jīng)較為成熟，但對紅棗的研究還相對較少。Wang等采用了可見光和近紅外光譜對棗內(nèi)部進行了無損檢測，并實現(xiàn)棗的無損評價[3-5]。張萌等基于紅棗近紅外圖像，提出一種亮度快速較正算法，實現(xiàn)紅棗表面缺陷分割[6]。李功燕等針對紅棗表面飽滿度不同的情況，利用不同的梯度算子作為對比，采用歸一化梯度直方圖作為紅棗表面紋理特征實現(xiàn)對干癟紅棗的識別，更進一步實現(xiàn)對紅棗品質(zhì)的評價[7]。

其中，圖像采集作為機器視覺實現(xiàn)對紅棗品質(zhì)分級和缺陷檢測的前提，直接影響著分級和檢測的效果和速率。目前，進行圖像采集的方法主要分為2種，前者創(chuàng)建1個密閉試驗箱，通過調(diào)節(jié)密閉環(huán)境內(nèi)的光強，為圖像采集創(chuàng)造出理想環(huán)境[8-12];相較于前者，后者采用基于傳輸線的方式實現(xiàn)對目標的圖像采集。李江波等一方面采用雙排錐子式滾子組合來輸送和翻轉(zhuǎn)水果，另一方面通過傳感器實現(xiàn)對水果實現(xiàn)定位[13]。趙娟等在傳送帶上安裝滾子，將水果放置在滾子上，并在檢測區(qū)域面向傳送帶傾斜60°方向的位置兩側(cè)各安裝1面平面鏡，通過鏡面反射，實現(xiàn)更大面積的樣本信息采集[14]。當水果在傳送帶上隨滾子旋轉(zhuǎn)而向前傳送，同時通過安裝有對射式傳感器的位置時，觸發(fā)信號控制相機開始采集圖片。

上述關(guān)于圖像采集的方式存在以下局限性：（1）基于靜態(tài)圖像的試驗樣本建立不能全面地反映實驗對象外部品質(zhì)，且實時性較差，不能適應實際生產(chǎn)要求;（2）基于傳送式的圖像采集方式，需要較為復雜的機械和電路設計，同時針對不同的對象，需要及時對設備進行更換或調(diào)節(jié)，因此生產(chǎn)條件和生產(chǎn)成本相對較高。與此同時，隨著深度學習越來越受到重視[15]，其中深度卷積神經(jīng)網(wǎng)絡模型得到不斷優(yōu)化，使得計算機能夠從原始輸入圖像中挖掘越來越抽象的分布式特征，滿足更深層次的特征提取，實現(xiàn)對樣本的分類。深度卷積神經(jīng)網(wǎng)絡降低了對輸入圖像的像素大小、光照、噪聲的要求，具有良好的泛化性，因此，本研究以新疆紅棗為研究對象，研究實現(xiàn)視頻中紅棗目標的跟蹤標定，完成紅棗動態(tài)圖像采集，為進行基于深度卷積神經(jīng)網(wǎng)絡的在線紅棗自動分級和缺陷檢測提供理論依據(jù)和技術(shù)支持。

1 視頻圖像獲取

本研究采用的計算機視覺視頻圖像采集系統(tǒng)如圖1所示，該裝置包括了在線傳輸單元和視頻圖像采集單元。其中，圖像采集單元主要由CV-M7+CL型彩色CCD攝像機、亮度可控的排狀LED光源、光電傳感器、Matrox Solios圖像采集卡和計算機組成。在線傳輸單元由傳送皮帶和基于PLC控制系統(tǒng)的可調(diào)速傳送裝置組成。同時試驗時為了避免外界光源的干擾，整個試驗在封閉的黑色罩里進行。開啟光源并調(diào)節(jié)皮帶傳送速率，約3 min后，光源和傳送速率趨于穩(wěn)定，利用Matrox MIL9.0軟件實現(xiàn)對靜態(tài)圖像和動態(tài)視頻的采集，同時為滿足后續(xù)試驗要求，對采集到的圖像和視頻進行轉(zhuǎn)碼和處理。

2 圖像處理

2.1 圖像預處理

圖像預處理的目標是去除背景和噪聲，掩膜具有去除背景和噪聲的同時不丟失紅棗表面信息的優(yōu)點。本研究采用掩膜法去除背景。因此，如何構(gòu)建完整的圖像掩膜是利用掩膜法去背景的關(guān)鍵。圖2為本次基于掩膜圖像映射的紅棗前景圖像提取算法流程。

試驗使用白色磨砂傳送皮帶作為背景，磨砂皮帶具有不“反光”的特性，能有效消除反射光造成的影響。本次試驗對象為干制新疆紅棗，圖3-a為試驗中拍攝的1張靜態(tài)紅棗圖像。通過觀察其紅色（R）、綠色（G）、藍色（B）、灰度（Gray）等各分量圖像中紅棗和背景的對比，發(fā)現(xiàn)基于HSV顏色空間的明度（V）分量，和背景差別較大，因此試驗嘗試提取紅棗的明度分量構(gòu)建二值掩膜。RGB顏色模型與V分量的轉(zhuǎn)換關(guān)系為

根據(jù)式（1）所得，V分量圖像數(shù)據(jù)類型為double型，為后續(xù)試驗方便，將圖像轉(zhuǎn)換為uint8數(shù)據(jù)類型。本研究采取中值濾波法對所得的V分量圖像進行去噪處理，中值濾波法不僅克服了線性濾波器造成圖像細節(jié)模糊失真的不足，而且還有實現(xiàn)抑制噪聲的同時不使邊緣模糊的優(yōu)點。圖3-b是經(jīng)過中值濾波后得到的V分量圖像，可以看出，基于V分量圖像設置1個簡單的閾值可以構(gòu)建二值掩膜。根據(jù)圖3-e中的V分量直方圖，選取二值化閾值β為120，得到二值圖像，然后再進行形態(tài)開運算去除孤立噪點，圖3-c是獲得的二值掩膜圖像。

最后進行如下運算獲得去背景之后的紅棗圖像。

2.2 基于歷史幀最小距離搜索判別的目標跟蹤標定

實現(xiàn)基于視頻的紅棗動態(tài)樣本建立，關(guān)鍵一步就是能夠?qū)σ曨l中每個紅棗進行跟蹤，完成標定，建立基于單個紅棗的樣本集合。因此，本研究提出一種基于歷史幀最小距離判別的目標跟蹤標定算法，算法能夠?qū)σ曨l中的每個紅棗樣本進行標定。

算法包括2個部分：生成二值圖像中紅棗前景外接正矩形特征向量和基于歷史幀最小距離的搜索判別。

2.2.1 生成二值圖像外接矩形框特征向量 要實現(xiàn)對每個紅棗的跟蹤和標定，就需要對每一幀圖像建立1個特征向量

F，其中向量中包含每個紅棗的特征向量f。流程如圖4所示，生成基于紅棗二值輪廓外接矩形特征向量。

由圖4可知，當?shù)趇幀圖像輸入時，經(jīng)過圖像預處理步驟得到二值圖像Ibw，然后對二值圖像中每個紅棗前景進行基于輪廓的外接矩形提取。如圖5-b所示，對圖像中每個紅棗前景加上矩形框，由于每個紅棗的大小和位置都不一樣，即所得的矩形框參數(shù)也不一樣。為了提取每個矩形框的特征信息，因此建立了圖5-c所示的二維直角坐標系，規(guī)定圖像左上角頂點為坐標原點（0，0），水平方向為X軸方向，豎直方向為Y軸方向，2個水平或者豎直方向相鄰的像素點之間的距離為1。同時針對每個矩形框提取以下參數(shù)：矩形框左上角頂點（x，y）、水平方向長度w和豎直方向長度h，構(gòu)成1個關(guān)于矩形框的4維向量：

紅棗動態(tài)樣本集合本質(zhì)是對圖像中每個紅棗目標進行跟蹤標定并進行ROI，其中矩形框的位置和大小是進行ROI的參數(shù)。由圖5-b可知，存在4個矩形框（A′、B′、C′、D′），同時對比圖5-a中的原始輸入圖像，發(fā)現(xiàn)矩形框D′包含的紅棗沒有完全進入圖像中，因此須要加入約束條件θ對矩形框進行選擇，實現(xiàn)只有滿足要求的完整紅棗才能進行ROI。約束條件θ如下：

式中：image.cols和image.rows分別表示輸入圖像的列數(shù)和行數(shù)，由于坐標系規(guī)定第1行和第1列為0，因此須要進行減1。圖5-d為經(jīng)過約束條件θ作用后的二值圖像，其中上述存在的矩形框D′被有效濾除，從而得到新的關(guān)于這幀圖像的外接矩形框特征向量Fi。

2.2.2 基于歷史幀最小距離的搜索判別 圖6為基于歷史幀最小距離搜索判別實現(xiàn)目標跟蹤和標定的算法流程圖，其中圖6-a為算法實現(xiàn)的示意圖，圖6-b為算法計算的流程圖。圖6-b中算法的核心就是計算當前幀外接矩形特征向量fi中代表矩形框位置的左上角坐標點（x，y）和前一幀中每個矩形的左上角坐標之間的距離，建立基于當前幀中矩形框i與前一幀中所有矩形框的距離集合Di：

然后，選取其中最小距離Dmin=D（i，p），于是將式中表示最小距離的前一幀中矩形框p上的標簽賦給當前幀中的矩形框i，從而使得視頻中每個紅棗的標簽能夠隨著視頻流進行傳遞，實現(xiàn)對紅棗目標的跟蹤和標定。然而，對于視頻中初始出現(xiàn)的完整紅棗個體，在搜索前一幀目標矩形時，一定會存在1個距離最小目標矩形與之對應，顯然，初始出現(xiàn)的紅棗個體不能繼承這個目標矩形的標簽，否則將會引起混亂。因此，須要添加1個約束條件γ。

當D（i，p）為Di集合中最小的元素，且小于給定閾值T時，表明當前幀中特征向量fi代表的紅棗目標和前一幀特征向量fp為同一紅棗，則這個紅棗目標上的標簽可以進行傳遞。當D（i，p）不滿足條件γ時，則表明當前幀出現(xiàn)的紅棗目標為視頻中新出現(xiàn)目標，則需要對其賦予新的標簽。同時，將獲得的掩膜圖像，利用預處理中的掩膜法去除背景獲得紅棗目標前景，選取合適的時間間隔Th對前景圖像進行基于紅棗外接矩形的ROI，獲得視頻流中的紅棗目標個體，最后根據(jù)標簽一致性原則，建立每個紅棗個體的樣本集合，從而實現(xiàn)紅棗動態(tài)圖像采集，滿足更全面地分析紅棗外部品質(zhì)的要求。

3 試驗與分析

試驗研究對象為新疆紅棗，樣本于2017年12月選購并完成視頻、圖像拍攝。算法由Visual studio 2017和OpenCV 3.2編程實現(xiàn)，經(jīng)過系統(tǒng)調(diào)試，符合試驗設計要求。為了能夠更好地進行基于標簽一致性原則建立樣本集合，算法采用基于計數(shù)的標簽方式，同時結(jié)合圖像分辨率，設置約束條件y中的閾值T為20。經(jīng)過試驗，能夠?qū)崿F(xiàn)對視頻中紅棗目標的跟蹤和標定，圖7-a、圖7-b和圖7-c分別表示實現(xiàn)跟蹤標定后的原始、掩膜和前景圖像，其中圖像上每個完整的紅棗個體用最小正矩形框框出，顯示的數(shù)字“02”、“03”、“04”分別表示對應紅棗的標簽，即每個紅棗目標的動態(tài)樣本集名稱。同時設置時間間隔Th為12，即每隔12幀對圖像中的紅棗進行1次ROI，圖7-d為視頻中“03”號紅棗經(jīng)過歸一化后的動態(tài)圖像樣本，可以看出，較靜態(tài)紅棗圖像，構(gòu)成的動態(tài)樣本集能更多地反映紅棗外觀品質(zhì)，從而更好地滿足紅棗外觀品質(zhì)檢

測和分級。試驗中發(fā)現(xiàn)，由于有些紅棗目標位置比較接近，所以存在ROI出來的紅棗樣本存在其他紅棗部分的現(xiàn)象，因此試驗在進行基于矩形框參數(shù)的ROI時，采用尋找框內(nèi)最大連通域的方法，去除其他紅棗的干擾。試驗結(jié)果表明，該方法能有效濾除其他紅棗的干擾，滿足對單一目標提取的要求。同時經(jīng)過測試平均每幀圖像處理時間為15 ms，具有較好的實時性。

4 結(jié)論

本研究介紹了一種基于歷史幀最小路徑搜索判定的算法，作為一種圖像預處理方法，可以實現(xiàn)對視頻中的紅棗目標進行跟蹤、標定，滿足目標基于視頻的動態(tài)圖像樣本采集，較以往基于靜態(tài)圖片的樣本建立，能更好地反映待測物體的外觀品質(zhì)。同時，可以根據(jù)生產(chǎn)能力和對象隨時進行調(diào)整，可用于不同對象，靈活性、適用性更廣，且算法避免了復雜的機械設計，降低了對設備的要求，節(jié)約了生產(chǎn)成本，對后續(xù)檢測和分級有著重要的意義，有著很好的市場前景。下一步工作將繼續(xù)對算法進行優(yōu)化和完善，有些紅棗形狀為長條狀，下一步將研究實現(xiàn)紅棗的自適應旋轉(zhuǎn)矯正，使得每個紅棗的朝向一致，降低試驗樣本因為朝向不同帶來的復雜性。針對現(xiàn)在通用的固定閾值二值化方法，容易受外界環(huán)境的干擾，對后續(xù)進行的分類和品質(zhì)檢測等帶來影響，下一步將研究針對每個紅棗目標，能夠?qū)崿F(xiàn)自適應閾值調(diào)整，滿足對樣本更高精度的前景提取。同時，將經(jīng)過尺度歸一化之后的動態(tài)樣本集和深度神經(jīng)網(wǎng)絡結(jié)合，通過構(gòu)建訓練樣本和網(wǎng)絡模型對參數(shù)進行訓練，從而實現(xiàn)滿足基于視頻的在線樣本獲取和檢測。

參考文獻：

[1]李志剛，姚婷婷. 新疆紅棗產(chǎn)業(yè)供應鏈管理[J]. 江蘇農(nóng)業(yè)科學，2017，45（4）：288-292.

[2]應義斌，饒秀勤，趙 勻，等. 機器視覺技術(shù)在農(nóng)產(chǎn)品品質(zhì)自動識別中的應用（Ⅰ）[J]. 農(nóng)業(yè)工程學報，2000，16（1）：103-108.

[3]Wang J，Nakano K，Ohashi S. Nondestructive detection of internal insect infestation in jujubes using visible and near-infrared spectroscopy[J]. Postharvest Biology & Technology，2010，59（3）：272-279.

[4]Wang J，Nakano K，Ohashi S. Nondestructive evaluation of jujube quality by visible and near-infrared spectroscopy[J]. LWT - Food Science and Technology，2011，44（4）：1119-1125.

[5]孫世鵬，彭 俊，李 瑞，等. 基于近紅外高光譜圖像的冬棗損傷早期檢測[J]. 食品科學，2017，38（2）：301-305.

[6]張 萌，許 敏. 紅棗表面缺陷快速檢測方法研究[J]. 江蘇農(nóng)業(yè)科學，2015，43（7）：331-334.

[7]李功燕，任亦立，馬麗艷. 基于梯度分布不均勻性的干癟紅棗識別[J]. 農(nóng)業(yè)機械學報，2016，47（11）：213-218.

[8]李江波，饒秀勤，應義斌，等. 基于掩模及邊緣灰度補償算法的臍橙背景及表面缺陷分割[J]. 農(nóng)業(yè)工程學報，2009，25（12）：133-137.

[9]李江波，饒秀勤，應義斌. 水果表面亮度不均校正及單閾值缺陷提取研究[J]. 農(nóng)業(yè)機械學報，2011，42（8）：159-163.

[10]展 慧，李小昱，王 為，等. 基于機器視覺的板栗分級檢測方法[J]. 農(nóng)業(yè)工程學報，2010，26（4）：327-331.

[11]李小昱，陶海龍，高海龍，等. 馬鈴薯缺陷透射和反射機器視覺檢測方法分析[J]. 農(nóng)業(yè)機械學報，2014，45（5）：191-196.

[12]王樹文，張長利，房俊龍. 基于計算機視覺的番茄損傷自動檢測與分類研究[J]. 農(nóng)業(yè)工程學報，2005，21（8）：98-101.

[13]李江波，饒秀勤，應義斌. 基于照度-反射模型的臍橙表面缺陷檢測[J]. 農(nóng)業(yè)工程學報，2011，27（7）：338-342.

[14]趙 娟，彭彥昆，Dhakal S，等. 基于機器視覺的蘋果外觀缺陷在線檢測[J]. 農(nóng)業(yè)機械學報，2013，44（增刊1）：260-263.

[15]周飛燕，金林鵬，董 軍. 卷積神經(jīng)網(wǎng)絡研究綜述[J]. 計算機學報，2017，40（6）：1229-1251.