梁世佳， 徐哲壯， 林 燁， 邱 洋， 陳 丹， 陳 劍

(福州大學(xué) 電氣工程與自動(dòng)化學(xué)院 自動(dòng)化系，福建 福州 350108)

0 引 言

在木材家具加工領(lǐng)域中，需要將多塊木材部件進(jìn)行組合[1]，使之生產(chǎn)出色彩紋理協(xié)調(diào)的家具產(chǎn)品。但是在實(shí)際生產(chǎn)過(guò)程中，由于木材長(zhǎng)度長(zhǎng)，重量重，體積大，要在大量的木材中找到一組能夠合適拼接的木材，其中不僅需要進(jìn)行反復(fù)的比對(duì)，更需要占據(jù)大量的空間，進(jìn)而導(dǎo)致生產(chǎn)效率低，生產(chǎn)成本高。

自然環(huán)境下的木材，在生長(zhǎng)期間易受到微生物侵害的影響，使得同一品種的木材之間顏色紋理很難保持協(xié)調(diào)統(tǒng)一，即便同一塊木材也可能擁有著兩種或兩種以上的顏色[2]，將不同的色差和紋理的木材配件結(jié)合在一起會(huì)降低木材加工后的美觀價(jià)值，進(jìn)而降低企業(yè)的經(jīng)濟(jì)效益[3]。

機(jī)器視覺(jué)廣泛運(yùn)用在工業(yè)領(lǐng)域[4]，機(jī)器學(xué)習(xí)算法可有效提取特征，本文將二者結(jié)合提出基于機(jī)器視覺(jué)的木材選色系統(tǒng)，實(shí)現(xiàn)了木材選色自動(dòng)化。并從整體方案設(shè)計(jì)、算法流程、實(shí)驗(yàn)設(shè)計(jì)、結(jié)果與分析等方面詳細(xì)闡述了該系統(tǒng)。最后，將該系統(tǒng)應(yīng)用于木材生產(chǎn)加工流水線，證明算法有效性。

1 方案設(shè)計(jì)

基于機(jī)器視覺(jué)的木材選色系統(tǒng)的方案架構(gòu)包括兩個(gè)子過(guò)程:1)樣本采集與離線訓(xùn)練：在此過(guò)程中，通過(guò)采集數(shù)據(jù)、數(shù)據(jù)清洗、特征提取、聚類分析、算法評(píng)估等步驟訓(xùn)練出顏色判別模型，并驗(yàn)證模型的有效性、對(duì)比不同參數(shù)下模型的性能。2)在線實(shí)時(shí)預(yù)測(cè)木材顏色類別：通過(guò)采集設(shè)備實(shí)時(shí)采集圖像數(shù)據(jù)，經(jīng)過(guò)算法預(yù)測(cè)得到結(jié)果。

1.1 硬件系統(tǒng)設(shè)計(jì)

硬件系統(tǒng)如圖 1所示。系統(tǒng)主要由計(jì)算機(jī)(Win10操作系統(tǒng))、工業(yè)相機(jī)(DALSA線陣相機(jī)LA-GC-02K05B系列)、打印機(jī)(小字符噴碼機(jī))、流水線系統(tǒng)組成，通過(guò)此系統(tǒng)，采集所需要的木材圖像數(shù)據(jù)用于實(shí)驗(yàn)分析，最終通過(guò)此系統(tǒng)實(shí)時(shí)采集木材圖像數(shù)據(jù)，并使用算法對(duì)木材顏色類別進(jìn)行預(yù)測(cè)，預(yù)測(cè)完畢后通過(guò)打印設(shè)備打印其所屬的類別標(biāo)簽。采集到的圖像樣本如圖2所示。

圖1 硬件系統(tǒng)

圖2 設(shè)備采集的樣本圖片

1.2 軟件系統(tǒng)設(shè)計(jì)

實(shí)驗(yàn)環(huán)境：編程語(yǔ)言為Python 3.6,C#，計(jì)算機(jī)運(yùn)行內(nèi)存為8 G，計(jì)算機(jī)操作系統(tǒng)為Win10，計(jì)算機(jī)處理器為Intel，開(kāi)發(fā)工具為Anaconda3，Microsoft Visual Studio 2015。

基于機(jī)器視覺(jué)的木材選色系統(tǒng)使用Python和C#兩種編程語(yǔ)言實(shí)現(xiàn)，Python可高效對(duì)數(shù)據(jù)進(jìn)行處理、模型訓(xùn)練，C#主要完成對(duì)硬件系統(tǒng)的控制，兩種編程語(yǔ)言通過(guò)Websocket通信協(xié)議[5]進(jìn)行交互，其設(shè)計(jì)流程如圖3所示。

圖3 軟件架構(gòu)

在線實(shí)時(shí)預(yù)測(cè)過(guò)程，通過(guò)攝像機(jī)采集樣本圖片保存至本地，通過(guò)Websocket通信協(xié)議將獲取到的圖片路徑發(fā)送至Python環(huán)境下，在Python環(huán)境下使用圖像處理算法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理、特征提取、樣本預(yù)測(cè)等操作，將預(yù)測(cè)結(jié)果發(fā)送至C#開(kāi)發(fā)環(huán)境，控制打印設(shè)備對(duì)預(yù)測(cè)結(jié)果進(jìn)行打印。

2 算法流程

2.1 數(shù)據(jù)清洗

采集到的圖像數(shù)據(jù)中不僅包含木材區(qū)域，也包含背景區(qū)域，需要對(duì)采集的圖片進(jìn)行木材區(qū)域檢測(cè)，使用輪廓檢測(cè)[6]算法提取出木材所在區(qū)域。

原始生長(zhǎng)的樹(shù)木到成形的木材，需要經(jīng)過(guò)多重加工步驟，在加工過(guò)程中，容易對(duì)木材表面造成影響，如加工設(shè)備造成的壓痕(如圖 4 (a) 所示)，同時(shí)天然生長(zhǎng)的木材也會(huì)因?yàn)橄x(chóng)蛀等影響(如圖 4 (b)所示)，造成其表面顏色喪失原本的屬性，特別是針對(duì)整塊木材顏色都受到嚴(yán)重干擾的(如圖 5所示)，直接將其剔除出樣本。對(duì)于小范圍有加工壓痕或者蟲(chóng)蛀的樣本，處理方法是保留該樣本，但是對(duì)于影響的區(qū)域進(jìn)行濾除。

圖4 設(shè)備加工壓痕與木材的天然缺陷

圖5 木材表面受到嚴(yán)重干擾的樣本

2.2 特征提取

在計(jì)算機(jī)圖像處理中，最通用的面向硬件的色彩模型是RGB(R：紅、G：綠、B：藍(lán))模型，該模型適用于顯示系統(tǒng)，廣泛運(yùn)用于顏色檢測(cè)[7]?？紤]計(jì)算機(jī)對(duì)圖像的處理方式，選擇在RGB色彩模型對(duì)木材的顏色進(jìn)行特征提取，方法如下：

首先，從數(shù)據(jù)清洗后的樣本中進(jìn)行子集抽樣，并對(duì)抽樣的樣本在RGB色彩模型下分別對(duì)R，G，B三通道進(jìn)行直方圖統(tǒng)計(jì)，選取RGB各個(gè)通道中占比較大區(qū)間的上下限值，三個(gè)通道選取的區(qū)間上下限分別記為[RL,RH],[GL,GH]，[BL,BH]，其中RL,RH,GL,GH,BL,BH的取值范圍均為 [0, 255]，且RL

對(duì)每個(gè)樣本進(jìn)行特征提取時(shí)，將樣本的所有像素投射到RGB色彩空間中木材顏色空間中，若對(duì)應(yīng)像素值在木材顏色空間下，則此像素值計(jì)數(shù)加1，若對(duì)應(yīng)像素在木材顏色空間之外，則丟棄此像素，最終得到一個(gè)(RH-RL)×(GH-GL)×(BH-BL)大小的立方體矩陣，該立方體矩陣即為所要提取的特征矩陣。

考慮到所提取的特征矩陣維度大，且各個(gè)像素值的統(tǒng)計(jì)量差異可能較大，故需要對(duì)特征矩陣進(jìn)行維度壓縮和歸一化，維度壓縮時(shí)將特征矩陣相鄰的若干像素值當(dāng)作同一種顏色，同時(shí)將特征矩陣中的各個(gè)值除以特征矩陣各個(gè)值的累加以完成歸一化操作，最終得到特征頻率矩陣。

圖6展示的是一個(gè)樣本在RGB色彩空間下的特征，其中空間上每個(gè)坐標(biāo)點(diǎn)代表一種顏色，圖示每個(gè)小方格即為所要提取的特征(每個(gè)方格代表一個(gè)值，其值代表該坐標(biāo)顏色數(shù)量占整個(gè)木材顏色空間中所有顏色的比重，比重的大小在圖示中用顏色深淺來(lái)表示)，每個(gè)方格稱作一個(gè)bins，bins越多(圖 6中展示的是8 bin×8 bin×8 bin，也可以設(shè)置成16×16×16等)，顏色分得更精細(xì)，所得到的特征的個(gè)數(shù)也就越多，但同時(shí)計(jì)算量也會(huì)變大，最后將所有的bins展開(kāi)成一個(gè)特征向量，作為每個(gè)樣本最終提取的特征向量。

圖6 RGB色彩空間下木材的顏色空間

2.3 聚類分析

監(jiān)督學(xué)習(xí)要求訓(xùn)練的樣本有一一對(duì)應(yīng)的標(biāo)簽，在木材顏色分類場(chǎng)景下，要對(duì)木材樣本顏色進(jìn)行標(biāo)注并不現(xiàn)實(shí)。首先，標(biāo)注成本高，由于木材顏色豐富，如果沒(méi)有進(jìn)行對(duì)比無(wú)法確定具體的標(biāo)簽；其次，主觀影響大、標(biāo)注準(zhǔn)確率低，不同人對(duì)同樣的木材樣本可能有不同的標(biāo)注結(jié)果，人眼長(zhǎng)時(shí)間的標(biāo)注也可能導(dǎo)致標(biāo)注混亂造成樣本標(biāo)注的不穩(wěn)定性。由于監(jiān)督學(xué)習(xí)算法嚴(yán)重依賴樣本標(biāo)注，若標(biāo)注錯(cuò)誤或者不穩(wěn)定，將會(huì)大大影響算法的準(zhǔn)確率和算法的穩(wěn)定性。

鑒于以上實(shí)際存在的問(wèn)題，本文針對(duì)該場(chǎng)景提出以無(wú)監(jiān)督學(xué)習(xí)方法——聚類算法，對(duì)木材的顏色進(jìn)行分類，達(dá)到木材顏色分級(jí)的效果。

聚類是在事先并不知道任何樣本類別標(biāo)簽的情況下，通過(guò)數(shù)據(jù)之間的內(nèi)在關(guān)系把樣本劃分為若干類別，使得同類別樣本之間的相似度高，不同類別之間的樣本相似度低[8]。其中，K均值聚類(K-means clustering)[9,10]是最基礎(chǔ)和最常用的聚類算法。K均值聚類核心算法流程圖如圖7所示。

圖7 K-means算法流程

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 數(shù)據(jù)處理與特征提取

在RGB色彩空間下對(duì)木材樣本進(jìn)行特征提取，木材樣本在RGB色彩空間下的直方圖統(tǒng)計(jì)的結(jié)果如圖 8所示。根據(jù)統(tǒng)計(jì)的結(jié)果，選取R，G，B三通道范圍分別為[115,230]，[80,200]，[55,170]，對(duì)所有樣本計(jì)算在此子空間下每個(gè)顏色占該子空間所有顏色數(shù)量的比重，得到特征矩陣。

圖8 在RGB色彩空間下對(duì)樣本R,G,B通道進(jìn)行統(tǒng)計(jì)

對(duì)特征矩陣進(jìn)行維度壓縮和歸一化操作，將其壓縮成指定維度大小，最終展開(kāi)成一個(gè)向量，根據(jù)bins參數(shù)不同，展開(kāi)后向量的長(zhǎng)度也不同。

3.2 聚類算法實(shí)驗(yàn)與分析

對(duì)所有樣本進(jìn)行特征提取后，使用K-means算法對(duì)所有樣本進(jìn)行聚類，由于 K-means是結(jié)果受初始值影響的局部最優(yōu)的迭代算法，因此需要運(yùn)行多次以選擇一個(gè)較好的聚類效果，故在本實(shí)驗(yàn)中設(shè)置了隨機(jī)的初始化質(zhì)心128次運(yùn)行K-means算法，使運(yùn)行結(jié)果達(dá)到一個(gè)相對(duì)較優(yōu)的效果。

在本實(shí)驗(yàn)中，選擇15 000個(gè)樣本作為訓(xùn)練集；每個(gè)樣本的特征維度是16×16×16=4 096(即每一個(gè)樣本得到的特征是一個(gè)長(zhǎng)度為4 096的特征向量)；聚類數(shù)目設(shè)置成20類、40類、60類(即K值分別取20,40,60)分別進(jìn)行實(shí)驗(yàn)，訓(xùn)練出3個(gè)模型。

訓(xùn)練集樣本到質(zhì)心的平均距離如表1所示，當(dāng)聚類數(shù)量增大時(shí)，訓(xùn)練樣本到質(zhì)心的平均距離變小。

表1 訓(xùn)練集樣本到質(zhì)心的平均距離

對(duì)于監(jiān)督學(xué)習(xí)方法，有具體的指標(biāo)可以進(jìn)行衡量與評(píng)判，然而聚類算法卻沒(méi)有一個(gè)可靠的評(píng)價(jià)指標(biāo)可以用來(lái)評(píng)價(jià)不同聚類算法的結(jié)果。鑒于對(duì)聚類算法效果優(yōu)劣評(píng)判的困難，引入人工判別機(jī)制，具體過(guò)程如下(以一個(gè)模型進(jìn)行說(shuō)明)：1)準(zhǔn)備1 000張與訓(xùn)練集無(wú)交集的測(cè)試樣本，經(jīng)過(guò)模型預(yù)測(cè)出對(duì)應(yīng)的類別；2)計(jì)算每個(gè)簇(或類別)的質(zhì)心，選取出每個(gè)簇中距離距離質(zhì)心最近的那個(gè)樣本(得到的樣本稱作模板圖片)；3)將每一個(gè)測(cè)試圖片樣本(預(yù)測(cè)結(jié)果的值)與對(duì)應(yīng)的模板圖片拼接在一起(設(shè)計(jì)軟件自動(dòng)完成模板圖片與測(cè)試樣本圖片拼接)，由人工進(jìn)行觀察并標(biāo)記，剔除那些測(cè)試圖片樣本與模板圖片顏色相差較大的樣本；4)計(jì)算未被排除的圖片樣本占所有測(cè)試樣本的比例，即為人工判別準(zhǔn)確率，為減少人為因素的干擾，由多位人員同時(shí)進(jìn)行判別。

聚類數(shù)K為20，40，60時(shí)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同標(biāo)注人員對(duì)模型標(biāo)注的準(zhǔn)確率 %

從表2可以看出，聚類數(shù)(K值)越大，測(cè)試樣本與模板圖片顏色相似度的判別準(zhǔn)確率越高。原因在于木材在天然生長(zhǎng)時(shí)，由于氣候、環(huán)境等自然因素導(dǎo)致木材顏色存在較大差異，聚類數(shù)目越多，越能對(duì)顏色進(jìn)行細(xì)分，提升類之間的相似度。

同時(shí)，不同標(biāo)注人員在標(biāo)注兩張木材圖片是否存在顏色相近時(shí)，存在較大的差別，特別是針對(duì)沒(méi)有相關(guān)背景的人員，其評(píng)判的標(biāo)準(zhǔn)相對(duì)嚴(yán)格。

4 結(jié) 論

木材產(chǎn)品表面顏色是否協(xié)調(diào)是木材加工領(lǐng)域的重要環(huán)節(jié)，也是決定最終產(chǎn)品的經(jīng)濟(jì)效益。本文通過(guò)設(shè)計(jì)、提取木材的顏色特征，提出使用聚類算法對(duì)木材顏色進(jìn)行分類，實(shí)驗(yàn)結(jié)果表明：在木材顏色分級(jí)領(lǐng)域，使用無(wú)監(jiān)督學(xué)習(xí)的聚類算法進(jìn)行分類，可以減少標(biāo)注的成本和標(biāo)注低效的問(wèn)題，同時(shí)提升了木材生產(chǎn)加工中木材產(chǎn)品顏色匹配的問(wèn)題，對(duì)于木材加工生產(chǎn)、提升企業(yè)經(jīng)濟(jì)效益具有參考價(jià)值。