陳文兵， 車文剛

(昆明理工大學 信息工程與自動化學院， 云南 昆明 650500)

不同等級烤煙煙葉的質量和價格不同，在全國統(tǒng)一的烤煙煙葉分級標準《烤煙GB 2635—1992》中，按照成熟度、油分、結構、身份、色度、長度和殘傷度等七大要素來劃分煙葉級別。實收過程主要由專業(yè)技術人員通過望、聞、切等方法來評定煙葉的等級，但是受個人主觀意識的影響，每個人對不同等級的理解存在著偏差，為了促進收購過程的公平公正，提高煙葉的質量，研究一種基于機器視覺的煙葉自動分級方法具有較好的應用價值[1]。

近年來，國內對煙葉智能化分級的研究主要分為以下幾個方向：

(1)基于模糊數(shù)學的分級方法[2-4]。先提取煙葉的形狀特征和顏色特征，再利用分級規(guī)則構建模糊分類器，最后將屬于模糊集合的最大隸屬度作為其級別。高航[5]對煙葉圖像預處理后先提取外在特征，再建立與輸入特征相關的分級規(guī)則，然后用高斯隸屬度函數(shù)構造模糊分類器。韓力群等[6]模擬分級專家的思考過程，構建具有學習與記憶、判斷與模糊推理、分級決策等多種功能的分級模型。基于模糊數(shù)學的分級方法具有一定的泛化能力，但是需要人工提取特征和制定模糊分級規(guī)則。

(2)基于傳統(tǒng)視覺技術與機器學習算法相結合的分級方法[7-9]。先從煙葉圖像上提取煙葉特征，再標簽特征數(shù)據(jù)集來訓練聚類、決策樹等分類器對煙葉進行分類。李航[10]分別用聚類和遺傳算法對特征數(shù)據(jù)進行初步篩選和深度篩選，然后訓練極限學習機、支持向量機、K近鄰及加權K近鄰等分類器對煙葉分級。王天旺等[11]在HSV(Hue、Saturation、Value，色相、飽和度、明度)空間上提取各顏色分量的一、二、三階矩作為分類特征，然后訓練多分類SVM(Support Vector Machine，支持向量機)對煙葉進行分級?；趥鹘y(tǒng)視覺技術與機器學習相結合的分級方法簡單，但缺少煙葉的內在特征。

(3)基于多光譜圖像特征與機器學習結合的分級方法[12-14]。先用不同波段的光照射煙葉采集圖像，然后提取油分、厚度等內在特征對煙葉分級。李士靜等[15]分別用多元散射矯正、標準正態(tài)變量變換和卷積平滑3種方法對不同等級的高光譜數(shù)據(jù)進行預處理，再利用F-Score算法選取分數(shù)較高的波段來訓練分類器對煙葉進行分級，實驗結果顯示SVM的分級準確率最高。方世誠[16]分別用煙葉的近紅外光譜圖、RGB顏色分量和所含化學成分對其做歸類分析，結果證明雖然色度分級方法簡單有效，但光譜分級和生化分級的準確率更高?；诙喙庾V圖像分析與機器學習相結合的分級方法不但硬件成本要求較高，而且受煙葉褶皺的影響，提取的內在特征不穩(wěn)定。

(4)基于卷積神經網絡的分級方法[17-19]。標簽煙葉圖像后訓練卷積神經網絡分類模型對煙葉分類。韓東偉等[20]用3×3的最大池化層構成自動編碼器，用4個全連接層構成多層感知機，然后分別訓練最小二乘SVM、卷積自動編碼器、多層感知機等3個模型對比實驗，結果顯示卷積自動編碼器具有良好的等級識別性能。申振宇等[21]認為不同顏色、形狀和紋理等特征值對煙葉部位與等級的決定程度不同，通過訓練廣義回歸神經網絡得到各個特征的權重系數(shù)，實驗結果顯示矩形度對判斷煙葉部位的影響較大，但面積對判斷部位有負面影響，其次長度、面積等特征直接影響煙葉的級別，而紋理特征的分級權重系數(shù)較小。基于卷積神經網絡的分級方法會自動提取煙葉特征后分級，但是每年數(shù)十億片煙葉的形態(tài)各不相同，而且相鄰兩個級別間沒有明顯差異，因此難以標簽準確且具有泛化能力的數(shù)據(jù)集。

為了將煙葉分級方法一般化，本文提出一種基于內外特征結合的煙葉分級方法。通過傳統(tǒng)計算機視覺方法提取煙葉的面積比、褶皺、長度、身份、顏色和殘傷等外在特征，然后采用卷積神經量化了煙葉的成熟度、油分和結構等內在特征，最后結合煙葉的內外特征訓練聚類、決策樹等分類器對煙葉進行分級。

1 提取外在特征

1.1 面積比和褶皺度

葉柄面積和表面褶皺度是作為部位分組的重要評估特征，根據(jù)煙葉生長在植株上的位置從下到上其表面的褶皺程度也越來越大，而且葉尖與葉柄的面積比越來越小。本文首先識別到葉柄的位置，再計算葉尖與葉柄面積的比值作為面積比，即

Srate=S葉尖/S葉柄，

(1)

然后通過構建不同方向上的灰度共生矩陣，來提取煙葉的紋理特征表示褶皺度，灰度共生矩陣的計算公式為

Pθ,d(i,j)={(x,y)|f(x,y)=i；f(x+dx,y+dy)=j；

x=1,2,…,W；y=1,2,…,H}，

(2)

因為從灰度共生矩陣中無法直接獲取圖像的紋理信息，所以計算灰度共生矩陣的熵、能量、對比度來反應圖像上紋理變化的情況[22]。

圖像的熵(ENT)反映了它所包含信息的復雜程度，其計算公式為

(3)

其中G(i,j)為灰度共生矩陣中每個元素的坐標。

能量(ASM)為每個灰度共生矩陣中所有元素的平方和，其計算公式為

(4)

對比度(COM)反應了圖像紋理深淺和大小的程度，若紋理越深，則對比度越大，反之若紋理越均勻、細小，則對比度越小。對比度的數(shù)學表達示為

(5)

1.2 長度和身份特征

煙葉的長度作為七大分級要素之一，烤煙分級標準《烤煙GB 2635—1992》中明確規(guī)定了不同級別煙葉的長度范圍。如圖1(a)所示，烤干的煙葉回潮后容易彎曲，此時用煙葉最小外接矩形的長邊作為長度具有較大的誤差，因此本文采用最小二乘法來擬合煙葉曲線，然后求出煙葉曲線的長度作為葉長，以提高長度提取的準確率。

(a)原圖 (b)曲線圖 圖1 煙葉曲線圖

提取煙葉長度，首先獲取煙葉邊緣輪廓像素點的坐標(x,y)，所有輪廓點構成X=[x1,x2,…,xn]T、Y=[y1,y2,…,yn]T，然后用最小二乘法擬合出煙葉的曲線函數(shù)，則煙葉的曲線函數(shù)為

f(W,x)=w1x+w2x2+…+wmxm，

(6)

式中wi為待定系數(shù)，m必須小于n。再利用所有像素點的坐標求出一組未知數(shù)W=[w1,w2,…,wn]T，使得所有像素點到曲線的殘差平方和最小，則目標函數(shù)可以表示為

(7)

最后對wi求偏導數(shù)，令偏導數(shù)為0解方程組就可以得到系數(shù)wi矩陣W解的表達式為

W=(XTX)-1XTY。

(8)

在解出最小二乘系數(shù)wi后，得到如圖1(b)所示的煙葉擬合曲線。已知曲線方程求解曲線的長度，將曲線近似成n截短直線，再對所有直線積分可以得到一段曲線的長度：

(9)

式中a是圖像寬度。

在國家烤煙分級標準《烤煙GB 2635—1992》中將身份(IT)特征定義為煙葉的厚度，主要劃分為中等、稍厚、稍薄、厚和薄等幾個層次，可以使用單位面積煙葉的重量來反映它的身份特征，單位面積煙葉的厚度和重量成正比。因為煙葉存在卷曲、褶皺等形態(tài)，直接利用前景二值圖像來計算得到的煙葉面積存在較大的誤差，所以本文用重量(Weight)與長度(L)的比值來反應身份(IT)特征，計算公式為

IT=Weight/L。

(10)

1.3 顏色特征

HSV顏色空間分別用色相(H)、飽和度(S)、明度(V)等3種不同的分量來表示顏色。色相H的取值范圍為[0°,360°]，其中0°、60°、120°分別從紅色到黃色再到綠色，與煙葉的主色范圍相近，而120°～360°是雜色區(qū)域。質量越好的煙葉飽和度S越高，明度V表述顏色的明亮程度，與物體的本身屬性(透射比或反射率)有關，而不同質量煙葉所包含的物質成分不同，因此明度V可以反應煙葉的內在質量。

在CIELAB顏色空間中，通道L反應了煙葉色彩的亮度，通道A的顏色范圍是從深綠色到粉紅色，通道B的顏色范圍是從亮藍色到黃色。而煙葉的主要顏色從紅棕色到淺黃色，亮度逐漸變高，因此本文采用CIELAB顏色空間來反應煙葉的顏色特征。

在不同的顏色空間中，通過計算各通道的均值(mean)和方差(std)來反應煙葉的顏色特征和質量，其計算公式分別為

(11)

(12)

式中f(x,y)為煙葉區(qū)域像素值，S葉為利用前景煙葉計算得到的煙葉面積。利用公式(11)、(12)分別得到HSV和CIELAB空間中各通道的均值和方差。

1.4 殘傷度特征

殘傷不僅指烤煙上破損的地方，還有青筋、掛灰、病斑和黑斑等雜色區(qū)域。而由于葉面卷曲，直接將雜色區(qū)域分割后作為煙葉的殘傷存在較大的誤差。如圖2所示，本文提出一種基于煙葉主色為閾值的分割方法，煙葉大部分區(qū)域的顏色都是在某個范圍內，因此將灰色直方圖峰頂附近的灰度級作為煙葉的主色，而在主色范圍外的是雜色。

(a)煙葉灰色直方圖 (b)青雜煙葉 (c)青雜掩膜圖圖2 煙葉殘傷度提取圖

計算殘傷度前先利用式(13)將RGB彩色圖像變成單通道的灰度圖：

GRAY(x,y)=0.587×R(x,y)+0.299×G(x,y)+0.114×B(x,y)，

(13)

與原灰度變換公式不同，正常煙葉的R值較高，B值較低，雜色區(qū)域的R、B值與之相反，所以將R值賦予較高的權重，B值采用較低的權重，從而拉升圖像的對比度。

然后用灰度直方圖找到像素最多的一個灰度級作為煙葉的主色K，再利用式(14)來統(tǒng)計主色區(qū)域的像素點總數(shù)量N：

N={(x,y)|K-T1

(14)

式中T1和T2為兩個控制參數(shù)，接近于主色的區(qū)域被認為是正常的葉面。

最后用式(15)計算煙葉的殘傷度Zrate：

(15)

當主色K小于100時，當前煙葉的主色為雜色，其殘傷度等于1-Zrate，反之直接采用Zrate作為煙葉的殘傷度。

2 量化內在特征

2.1 注意力機制和殘差結構

注意力機制可以讓模型關注更有效的圖像信息來編碼分類。通道選擇注意力機制(Select Kernel，SK)[22]主要由分離、融合、選擇三部分構成。如圖3所示，本文在原注意力的基礎上主要做了以下兩點優(yōu)化：(1)在分離階段分別采用擴展率等于2、3的空洞卷積來取代5×5和7×7的卷積層，同時降低提取的通道數(shù)到原來的1/3，如此將分離階段的計算量降低到原來的1/3；(2)在特征圖融合階段用特征圖的橫向拼接操作代替原來的相加融合機制，向下保留原輸入信息不變，實現(xiàn)分組卷積的功能。

圖3 通道注意力機制

如圖4(a)所示，受SK注意力機制的啟發(fā)，本文構建了一種多尺度的空間注意力機制，然后將空間注意力機制和通道注意力機制組合構成空間-通道注意力機制。殘差結構可以降低梯度消失和梯度爆炸等風險。牛津大學在視覺幾何組(Visual Geometry Group，VGG)[24]網絡中提出尺寸較大的卷積核能夠提取更全面的特征信息，而且多層尺寸較小的卷積核堆疊可以增大感受野和減少模型參數(shù)量。如圖4(b)所示，本文結合空間-通道注意力機制對原殘差結構做了以下三點改進：(1)在兩個1×1的卷積層中間加入3個3×3的卷積層構成7×7感受野的殘差結構；(2)將步長為2下采樣操作單獨提到殘差結構外面；(3)將空間-通道注意力機制和殘差結構拼接起來，構成多流注意力殘差模塊作為基礎結構。

(a)空間-通道注意力機制 (b)變形殘差結構圖4 多流注意力殘差模塊

2.2 內在特征量化網絡

本文采用1∶1∶3∶1的比例使用基礎結構來搭建多流注意力殘差網絡(Multi-Stream Improved Residual Networks，MS-IResNet)，每層的輸出通道數(shù)分別為96、192、384、768、1000。如圖5所示，將輸入圖像首先經過步長為4的4×4卷積核對圖像下采樣，然后依次通過由4個基礎結構組成的不同層(Layer)，最后再經過全局平均池化和全連接層分別將成熟度、油分和葉面結構量化成4個等級。

本文分別用MS-IResNet進行了回歸量化和分類量化兩種實驗，不同方法對模型輸出結果的處理也不相同。當進行回歸量化時，網絡輸出值就是煙葉的某內在特征的層次。而進行分類量化時，在網絡末尾先經過softmax處理輸出煙葉屬于不同類別的權重系數(shù)，最后用得分權重乘以類別IdC作為該煙葉最終的屬性量化值。則分類量化公式為

(16)

圖5 多流注意力殘差網絡

2.3 分級模型

完整的分級流程如圖6所示，輸入煙葉圖像后通過傳統(tǒng)機器視覺方法提取長度、顏色、褶皺等外在特征，然后用訓練好的MS-IResNet量化成熟度、油分和結構等內在特征，最后結合煙葉的外在特征和內在特征一起訓練機器學習分類器對煙葉分類。

圖6 煙葉分級流程圖

3 實驗結果分析

3.1 數(shù)據(jù)集與評估指標

(1)內在特征量化數(shù)據(jù)集。在國家烤煙分級標準《烤煙GB 2635—1992》中，明確將煙葉的成熟度、結構和油分等內在特征作為評估其級別的重要依據(jù)。在其彩色圖像中包含了這些特征信息，卻難以直接從圖像中獲取到。如圖7所示，本文標注了疏松、稍疏松、稍密、緊密4種不同的葉面結構數(shù)據(jù)，此外還有欠熟、稍熟、適熟、完熟4種不同的成熟度數(shù)據(jù)，以及多、有、稍有、少4種不同的油分數(shù)據(jù)。根據(jù)實物和國家標準將每一種要素的煙葉分成4類，每一類共采集1000張煙葉圖像。然后構建多流注意力殘差網絡，分別訓練分類器和回歸器來量化內在特征。

(2)內在特征、外在特征、內外結合特征數(shù)據(jù)集。表1抽樣顯示了5個級別不同特征的大小，包含了煙葉的長度、身份、紋理等外在特征，以及成熟度、油分、結構等內在特征，其中成熟度、油分、結構都在0～3之間，mean和std分別為煙葉在HSV和CIELAB空間上各通道的均值和方差。一共11個等級，每個級別各有3000個樣本。

(a)疏松 (b)稍疏松 (c)稍密 (d)緊密圖7 煙葉結構

表1 實驗輸入的特征屬性

(3)評估指標。量化一張煙葉圖像的平均速度和準確率作為量化結果的評估指標，分級的準確率和純度是檢測煙葉分級質量的兩個重要指標。準確率就是測試集中被正確分類煙葉的比例，純度通常單指某一個級別的純度，假設挑出某等級L共有NL片煙葉，復查后還被分為L級的煙葉有nL片，與其上下相鄰的兩級分別有nL+1片和nL-1片，則其純度為

(17)

3.2 內在特征的量化對比實驗

為了驗證本文改進方法的有效性，采用煙葉的結構數(shù)據(jù)集，使用交叉熵損失函數(shù)，Adam優(yōu)化器，初始學習率為0.000 2進行實驗。以ResNet50[25]作為骨干網絡，首先對比實驗了通道注意力網絡(Channel Networks，ChannelNet)、空間注意力網絡(Space Networks，SpaceNet)和多流注意力殘差網絡(Multi-Stream Improved Residual Networks，MS-IResNet)，以驗證本文改進的有效性；其次用多流注意力殘差網絡與其他經典網絡對比實驗，以驗證本文方法的優(yōu)勢。

(1)圖8為ResNet50[25]、ChannelNet、SpaceNet、MS-IResNet在訓練過程中的準確率和損失變化曲線圖，可以看出MS-IResNet的準確率最高，損失下降最快，對比原ResNet50，在其中加入空間-通道注意力機制或使用變形殘差結構均可以提高量化的準確率。

(2)如表2所示，本文分別采用準確率和量化一片煙葉的平均時間作為模型的評估指標，將多流注意力殘差網絡與GoogleNet[26]、MobileNetV2[27]、EfficientNet[28]網絡對比實驗。結果顯示多流注意力殘差網絡的量化速度較快，準確率最高為83.6%。此外本文分別采用多流注意力殘差網絡對結構數(shù)據(jù)集進行了分類量化和回歸預測量化實驗，結果顯示回歸量化的均方誤差大于1，推測是煙葉圖像信息量過大導致難以收斂，造成量化準確率較低。

(a)準確率 (b)損失圖8 訓練過程曲線圖

3.3 不同特征數(shù)據(jù)集的分類對比實驗

表2 不同網絡對比實驗結果

表3 機器學習分類器對比實驗結果

為驗證本文建模方法的有效性，分別利用第1節(jié)提取的外在特征數(shù)據(jù)集和第2節(jié)量化的內在特征數(shù)據(jù)集，以及內外特征結合的特征數(shù)據(jù)集訓練不同的分類器對比實驗。為了驗證最佳的機器學習煙葉分類器，本文給出不同分類器在內外結合特征數(shù)據(jù)集上的得分盒圖。

(1)如表3所示，統(tǒng)計了NB(Naive Bayes，樸素貝葉斯)、KNN(K-Nearest Neighbor，K最鄰近)、決策樹、隨機森林、AdaBoost、SVM、DNN(Deep Neural Networks，深度神經網絡)分類器在不同特征數(shù)據(jù)集的分級準確率，其中DNN的最佳激活函數(shù)和隱藏層數(shù)等超參數(shù)都在準備工作中做了預實驗，選用最優(yōu)超參數(shù)。從表中可以看出內外特征結合的數(shù)據(jù)集在以上分類器上都取得了最高的準確率，而單獨使用其中一種特征數(shù)據(jù)集的準確率較低，且與其他分類器對比，隨機森林在3種特征數(shù)據(jù)上的分級準確率較高。實驗結果說明內在特征和外在特征都對煙葉的級別有影響，煙葉分級屬于細粒度分類問題，需要足夠準確的特征才能準確地進行分類。

圖9 不同分類器準確率盒圖

(2)圖9所示為不同分類器在內外特征結合數(shù)據(jù)上的得分盒圖。從盒圖中可以看出決策樹、隨機森林、AdaBoost的準確率較高，而NB、KNN、SVM的分級準確率較低。其結果符合人工分級的流程，參照標準對煙葉先分組、再分級，按不同特征的重要程度從上到下不斷決策、分類。所以不管是從分級準確率，還是實際應用過程來看，都建議采用決策樹或隨機森林構建分類器對煙葉進行分級。

4 結論

本文針對目前的烤煙煙葉分級方法存在復用性差、實用性低、難以標注數(shù)據(jù)等問題，提出了一種基于內外特征結合的煙葉自動分級方法，將分級流程數(shù)據(jù)化、一般化。由于煙葉的形態(tài)復雜多變，本文首先提取了顏色、面積比等穩(wěn)定的特征；其次提出用最小二乘法擬合煙葉長度，采用灰度直方圖提取煙葉的主色和雜色區(qū)域，再創(chuàng)新性地表示了煙葉的紋理與身份等外在特征；然后提出一種多流注意力殘差網絡量化了煙葉的成熟度、結構、油分等內在特征，與其他網絡對比實驗，其量化準確率最高為83.6%；最后用不同的特征數(shù)據(jù)訓練了決策樹、SVM、DNN等機器學習分類器，對比實驗顯示內外結合的特征數(shù)據(jù)在所有分類器上都取得了最高的準確率，與其他分類器相比，隨機森林在不同特征的數(shù)據(jù)集上都取得了較高的準確率。