莊子龍，劉 英，沈鷺翔，丁奉龍，王爭光

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，江蘇 南京 210037)

1 木材顏色圖像處理的國內(nèi)外相關(guān)研究

木材具有很多優(yōu)良的性質(zhì)，如調(diào)濕特性、隔聲吸音特性、對熱和電的絕緣性等，使得木材在家具行業(yè)中有著廣泛的運(yùn)用。木材表面的重要參數(shù)有木材的色彩和紋理，木材的顏色特征可以很好地描述木材的整體外觀特征，作為木材種類、等級分選的重要依據(jù)。目前對木材顏色進(jìn)行分類主要靠人工進(jìn)行，這種分選工作效率不高，需要工人豐富的經(jīng)驗(yàn)，作業(yè)效率也容易受到工人狀態(tài)的影響，而通過圖像識別進(jìn)行木材的顏色分選可以大大提高木材顏色分選的效率和準(zhǔn)確性，滿足木材加工企業(yè)生產(chǎn)的需要。

國內(nèi)外利用機(jī)器視覺對木材進(jìn)行評估的研究很多。Yusof等[1]提出了Gabor濾波器從單個(gè)圖像生成多個(gè)處理后的圖像，以便通過神經(jīng)網(wǎng)絡(luò)提取和訓(xùn)練更多特征。Pramunendar等[2]使用自調(diào)整MLP分類器(AutoMLP)和支持向量機(jī)(SVM)進(jìn)行椰子木質(zhì)量分類的實(shí)驗(yàn)工作。Francesco Bianconi等[3]通過實(shí)驗(yàn)研究和比較各種顏色描述符、顏色空間的性能發(fā)現(xiàn)簡單而緊湊的顏色描述符與更復(fù)雜的特征一樣準(zhǔn)確。Yadav等提出了一種基于紋理特征的硬木樹種分類方法。Yadav等[4]集成了局部二值模式(local binary pattern，LBP)、局部配置模式(local configuration pattern，LCP)、局部相位向量化(local phase quantization，LPQ)和高斯圖像金字塔(GIP)，從而提高了分類精度。Barmpoutis等[5]把每張圖片看作一組多維信號，按照垂直方向和平行方向?qū)⒚繌垐D片按照圖片大小、通道數(shù)、尺寸分割成小塊，然后對每個(gè)小塊創(chuàng)建木材圖像的直方圖表示，創(chuàng)建出一個(gè)新的描述符即V-H描述符，并用SVM分類器進(jìn)行分類。Hu等[6]研究了基于ResNet18的深度學(xué)習(xí)策略將木材圖像調(diào)整為256×256像素，研究局部分類。通過四個(gè)數(shù)據(jù)集進(jìn)行了獨(dú)立測試，其中80%的數(shù)據(jù)用于訓(xùn)練，20%的數(shù)據(jù)用于測試，該方法對每個(gè)數(shù)據(jù)集的分類準(zhǔn)確度分別為98.16%、93.32%、96.64%和99.50%。當(dāng)系統(tǒng)在Nvidia GTX860 GPU上運(yùn)行時(shí)，對木材圖像進(jìn)行分類的平均時(shí)間為0.003 s。刁智多[7]選取顏色特征和缺陷特征進(jìn)行融合得到最終的分選特征，然后采用人工魚群神經(jīng)網(wǎng)絡(luò)、FNN神經(jīng)網(wǎng)絡(luò)作為木材分選分類器，人工魚群神經(jīng)網(wǎng)絡(luò)分類器效果更好，準(zhǔn)確率達(dá)到95%，分類時(shí)間0.073 8 s，利用動(dòng)態(tài)閾值分割，特征篩選和形態(tài)學(xué)處理識別圖片中的木板區(qū)域。李暉[8]構(gòu)建多層神經(jīng)網(wǎng)絡(luò)分類器完成分類任務(wù)，采用30×10的小尺寸模板和170×30的大尺寸模板進(jìn)行紋理提取，實(shí)測準(zhǔn)確率為 94.17%。李超等[9]在Lab顏色空間內(nèi)提取木材顏色低階矩特征，應(yīng)用紋理填充方法完成缺陷圖像的分割，應(yīng)用Contourlet 變換提取紋理特征，通過設(shè)計(jì)SVM 分類器完成顏色、缺陷和紋理分類。

目前，國內(nèi)外使用機(jī)器視覺對木材表面進(jìn)行無損檢測的研究很多，對于木材表面顏色檢測評估的方法也很多，但對木材的研究大多都是對不完整的木板圖片進(jìn)行分析。而對整塊木板的評估應(yīng)該立足于整體特征的評估，對木材片面的取樣會導(dǎo)致對木材質(zhì)量評估的不準(zhǔn)確甚至錯(cuò)誤。本文通過滾動(dòng)引導(dǎo)濾波算法(rolling guidance filter，RGF)對木材表面圖像進(jìn)行濾波，然后提取木材的低階矩作為特征向量，使用多層分類感知機(jī)(Multilayer Perceptr，MLP)對木材的顏色進(jìn)行監(jiān)督學(xué)習(xí)分類。

2 木材表面顏色算法

2.1 木材顏色分類的主要流程

目前對于木材表面的分類評估主要流程可以歸納為：①木材表面圖像的預(yù)處理，包括對圖片的增強(qiáng)、裁剪等；②預(yù)處理后木材表面圖像對圖片的色彩空間變換，然后提取顏色特征，如圖片的一階矩、二階矩；③設(shè)計(jì)選擇合適的分類器對木材進(jìn)行分類，可以采用支持向量機(jī)(SVM)、多層感知機(jī)(MLP)、K鄰近法(K-means)等。

2.2 木材圖像的預(yù)處理

由于采集到的圖像總會有噪聲且由于木材表面本身存在氣孔等產(chǎn)生微小的紋路，而這些微小的紋路對木材的評估是無效的，所以可以被視為噪點(diǎn)。對木材表面圖像進(jìn)行預(yù)處理需要對圖像上因圖像采集產(chǎn)生及本身微小紋路產(chǎn)生的噪點(diǎn)進(jìn)行抑制。

聯(lián)合雙邊濾波算法是一種綜合考慮不同點(diǎn)間的空間距離和像素插值信息的非線性濾波技術(shù)，聯(lián)合雙邊濾波算法將空間域的高斯濾波函數(shù)和顏色域的濾波函數(shù)結(jié)合，在平滑噪聲的同時(shí)保持圖像細(xì)小的顏色邊界信息完整。雙邊濾波算法可表示為：

(1)

進(jìn)一步可以寫成：

(2)

其中：

(3)

滾動(dòng)引導(dǎo)濾波器是一種基于滾動(dòng)引導(dǎo)，通過迭代實(shí)現(xiàn)并且能夠快速收斂的算法[10-11]。滾動(dòng)引導(dǎo)濾波器首先通過高斯濾波對小結(jié)構(gòu)細(xì)節(jié)進(jìn)行過濾，將濾波后的圖像作為引導(dǎo)圖像，使用聯(lián)合雙邊濾波器(joint bilateral filter)進(jìn)行濾波，然后將濾波之后的圖片作為新的引導(dǎo)圖像，再使用聯(lián)合雙邊濾波器進(jìn)行濾波。

使用滾動(dòng)引導(dǎo)濾波器迭代兩次后對木材表面局部圖像進(jìn)行濾波的結(jié)果如圖1所示，經(jīng)過滾動(dòng)引導(dǎo)濾波兩次迭代后可以大大降低原圖像上的噪點(diǎn)。

圖1 滾動(dòng)引導(dǎo)濾波器預(yù)處理木材局部圖像

對木材圖片進(jìn)行形態(tài)學(xué)操作后進(jìn)行邊緣檢測，裁剪木材圖片，去除木材黑邊，減少無關(guān)要素對圖像的影響，之后對圖片進(jìn)行上述的高斯濾波與滾動(dòng)引導(dǎo)濾波，通過滾動(dòng)引導(dǎo)濾波得到預(yù)處理后的圖像如圖2所示。

2.3 木材圖像顏色特征提取

木材表面的信息很多，對木材顏色特征的提取可以通過提取圖像的低階矩來實(shí)現(xiàn)，這一特征是基于圖像整體的特征，可以較好地評價(jià)整塊木材的整體水平。

由相機(jī)得到的圖片一般是RGB空間的圖像，RGB顏色空間直觀易懂但是三個(gè)分量高度相關(guān)而且均勻性差。CIELab顏色模型是一種基于人眼生理特征的模型，L通道表示明度，a通道的顏色是從紅色到深綠，b通道顏色是從藍(lán)色到黃色[12]。

圖2 經(jīng)過預(yù)處理后的木材圖像

由RGB顏色空間不能直接轉(zhuǎn)化為CIELab，需要借助XYZ顏色空間，先把RGB顏色空間轉(zhuǎn)化為XYZ空間后再轉(zhuǎn)化為Lab顏色空間，RGB轉(zhuǎn)化為XYZ空間方法如下：

(4)

之后再由XYZ顏色空間轉(zhuǎn)化為Lab顏色空間：

(5)

(6)

(7)

其中：

(8)

顏色矩是一種簡單有效的顏色特征表示方法，有一階矩(均值，mean)、二階矩(方差，variance)和三階矩(斜度，skewness)等[13]，圖片的顏色信息主要分布在低階矩中，所以使用一階矩、二階矩、三階矩就足以表達(dá)圖像的顏色分布，提取的特征向量維數(shù)低。

三個(gè)顏色矩的數(shù)學(xué)定義如下：

(9)

(10)

(11)

其中：pi，j為圖像在(i，j)處的像素值，μi為圖像的一階矩，σi為二階矩，si為三階矩。

為了更貼近人類的視覺感官，提高木材檢測的速度，通過對圖片提取R、G、B、L、a、b六個(gè)通道的顏色一階矩和二階矩，組成一個(gè)12維的特征向量來描述一張木材圖片的顏色特征。

2.4 木材表面顏色分類原理

多層感知機(jī)MLP也叫人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)，包含一個(gè)輸入層一個(gè)輸出層以及若干隱藏層，多層感知機(jī)中隱藏層與輸入層是全連接的，含有單層隱藏層的簡單人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 簡單人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

假設(shè)輸入層的向量為x，選取h(x)為線性函數(shù)，則隱藏層為：

h=Wx+b

(12)

輸出層的向量y為：

y=f(h(x))=f(Wx+b)

(13)

其中：W是權(quán)重，也稱為連接系數(shù)；b是偏置，函數(shù)f多采用sigmoid函數(shù)或者tanh函數(shù)還有ReLU函數(shù)。如果隱藏層內(nèi)不止一層，則隱藏層的輸入為上一隱藏層的輸出。

3 基于人工神經(jīng)網(wǎng)絡(luò)的木材顏色分類

3.1 木材顏色分類

對木材顏色進(jìn)行分類需要綜合考慮木材的色彩和紋理的分布，需要提取圖像中表現(xiàn)顏色的特征值。本文采用的木材圖像源自加拿大DALSA線掃描相機(jī)掃描得到的圖像，該線狀相機(jī)分辨率為2 048×2，最高行頻為26 kHz，像素大小為7.04 μm×7.04 μm，像素位深為8 bits/12 bits。掃描得到的圖片尺寸為2 048×18 000，將收集到的杉木、松木木材樣本圖像按照顏色分為A、B、C三類。木材的色彩多由其木種決定：杉木為淺紅褐色，紅杉、紅松、核桃木為紅褐色，在RGB空間中紅褐色在(178，34，34)附近，黃褐色在(240，230，140)附近，在Lab空間中紅木木材顏色明度L*分布在27.52～48.22范圍內(nèi)，a*分布在2.35～16.42范圍內(nèi)，b*分布在1.62～24.19范圍內(nèi)[14]。

對木材圖像進(jìn)行通道分解后繪制出A、B兩類表面的RGB直方圖進(jìn)行對比，發(fā)現(xiàn)其在RGB三個(gè)通道上的像素分布差異很大，如圖4所示，所以使用RGB三通道的顏色對木材的分類有較好的效果。而所有木材RGB三通道的像素均值在歸一化后的RGB顏色空間內(nèi)近似在一條直線上，如圖5所示，樣本中木材的顏色分布近似滿足下式：

R+0.079G-0.735B-0.155=0

(14)

由此可見特定木材的顏色分布在一定范圍內(nèi)是穩(wěn)定的，因此對于木材顏色在RGB空間內(nèi)的研究是有意義的。在木材圖像顏色變化不是很大的樣本上，木材圖像像素的均值可以作為一個(gè)比較好的描述木材圖像整體顏色分布的特征。方差描述了圖像在顏色域上分布的均勻性，正常木材的顏色不會出現(xiàn)較大的變化，紋理是局部顏色值與整體顏色不同的區(qū)域，所以可在一定程度上表現(xiàn)紋理區(qū)域的大小以及紋理的深度，三階矩反映了圖像顏色分布的對稱性對于木材的顏色分類影響不大，而且計(jì)算三階矩會大大增加計(jì)算時(shí)間，所以只采用一階矩、二階矩來描述木材圖像的顏色特征。

圖4 A、B兩類木材RGB三通道顏色直方圖

圖5 木材圖像均值在RGB空間上的分布

3.2 隨機(jī)梯度下降

梯度下降算法是機(jī)器學(xué)習(xí)算法中求解最小值的一種重要算法，隨機(jī)梯度下降(stochastic gradient descent，SGD)是梯度下降算法的一個(gè)擴(kuò)展，其核心是梯度期望，從訓(xùn)練集中均勻抽取出一小批量樣本，當(dāng)訓(xùn)練集大小m增大時(shí)，小批量數(shù)目m′通常是固定的，損失函數(shù)L梯度的估計(jì)可以表示為：

金融產(chǎn)品在創(chuàng)新后，需要進(jìn)行推廣。首先，應(yīng)該由專業(yè)的推廣團(tuán)隊(duì)集中精力進(jìn)行推廣，促進(jìn)市場占有率。若沒有專業(yè)的推廣團(tuán)隊(duì)，可以與其他公司合作，讓更加專業(yè)的推廣人員進(jìn)行推廣[6]。

(15)

使用來自小批量的樣本，然后隨機(jī)梯度下降算法使用如下的梯度下降估計(jì)：

θ←θ-∈g

(16)

其中：∈是學(xué)習(xí)率。

在實(shí)踐中當(dāng)訓(xùn)練集大小增大時(shí)不會延長模型達(dá)到可能的最優(yōu)測試誤差時(shí)間，因此可以認(rèn)為使用隨機(jī)梯度下降算法訓(xùn)練模型的漸進(jìn)代價(jià)是關(guān)于數(shù)據(jù)集大小m函數(shù)的O(1)級別，所以在大的訓(xùn)練集中隨機(jī)梯度下降法比梯度下降法可以使損失函數(shù)更快達(dá)到最優(yōu)解。

3.3 交叉熵

機(jī)器學(xué)習(xí)算法中優(yōu)化的過程就是減小損失的過程，其中分類問題的損失可以使用交叉熵(Cross Entropy Loss)作為損失函數(shù)。相對熵(relative entropy)又稱為KL散度(Kullback-Leibler divergence)，其是兩個(gè)隨機(jī)分布之間距離的度量，記為DKL(p‖q)，定義為：

DKL(p‖q)=Ep[logp(x)-logq(x)]

=Hp(q)-H(p)

(17)

交叉熵也描述了兩個(gè)概率分布p(x)、q(x)之間的距離，交叉熵越小說明二者越相似，其定義為：

CEH(p，q)=Ep[-logq]

=H(p)+DKL(p‖q)

(18)

如果使用交叉熵作為模型的損失函數(shù)，則交叉熵越小，模型與實(shí)際數(shù)據(jù)的分布越接近。其中H(p)在p分布已知時(shí)為常量，所以最小化交叉熵就是最小化KL散度。

3.4 多層感知機(jī)(MLP)分類

較為復(fù)雜的多層感知機(jī)可以有若干層隱藏層，經(jīng)過實(shí)驗(yàn)選定了如下結(jié)構(gòu)的MLP模型，其中每層隱藏層采用線性函數(shù)，輸入為對圖片提取的12維顏色矩特征向量，輸出木材分類為A、B、C三類的概率向量。其中激活函數(shù)使用ReLU函數(shù)激活，損失函數(shù)使用交叉熵，以0.000 5為SGD算法迭代過程中的學(xué)習(xí)步長，對損失函數(shù)求解最小值。多層感知機(jī)模型如圖6所示。

將采集得到的320張木材圖片經(jīng)過人工按色彩深淺分類后分別設(shè)置標(biāo)簽為A、B、C，選取A類23張、B類22張、C類35張共80張作為測試集，剩余A類60張、B類84張、C類96張共240張作為訓(xùn)練集進(jìn)行訓(xùn)練，訓(xùn)練集迭代200次后測試集的準(zhǔn)確率最終可以達(dá)到96.25%。訓(xùn)練集的損失函數(shù)圖像如圖7所示，訓(xùn)練集的損失函數(shù)在迭代25次左右可以達(dá)到最小值。

圖6 多層感知機(jī)模型

圖7 訓(xùn)練集損失函數(shù)

4 結(jié)論

隨著我國木材市場需求的不斷擴(kuò)大，受人們主觀因素以及勞動(dòng)強(qiáng)度等因素的制約，人工對木材分類，準(zhǔn)確度和效率無法保證，難以滿足國內(nèi)的市場需求。針對該問題，本文采用python opencv軟件對木材表面進(jìn)行邊緣檢測、高斯濾波、滾動(dòng)引導(dǎo)濾波等操作，通過圖像增強(qiáng)實(shí)現(xiàn)了木材表面圖像的去背景化，通過提取木材圖像RGB、Lab空間的低階顏色矩作為顏色特征，采用MLP多層分類感知機(jī)對圖像進(jìn)行分類。本算法采用320張無缺陷的木材圖像作為訓(xùn)練測試樣本，其中240張為訓(xùn)練集，80張為測試集，最高可以達(dá)到96.25%的準(zhǔn)確率，效果較好。在實(shí)際運(yùn)用中對于較大圖片采取滾動(dòng)引導(dǎo)濾波會大大增加處理時(shí)間，對于有缺陷木材的分類也會產(chǎn)生問題，還需后續(xù)深入研究。