鄒智偉， 張戰(zhàn)成， 姚浩男， 徐少康

（蘇州科技大學(xué)電子與信息工程學(xué)院，江蘇 蘇州 215009）

“源于自然，超越自然”是建筑類人造石材裝飾的價(jià)值追求。 人造大理石的圖案通常采集于天然石材，先經(jīng)設(shè)計(jì)師修飾出圖，然后經(jīng)布料系統(tǒng)處理，分成多個(gè)顏色通道在模具中噴料制造。 傳統(tǒng)布料系統(tǒng)依賴人工對(duì)大理石圖片進(jìn)行紋理分割，成本高昂，同時(shí)分割結(jié)果也受個(gè)人主觀因素影響，造成了新花色設(shè)計(jì)周期長(zhǎng)、生產(chǎn)效果和原始設(shè)計(jì)效果偏差大等問題。 利用圖像處理技術(shù)對(duì)圖片進(jìn)行智能分割，代替?zhèn)鹘y(tǒng)的人工摳圖，實(shí)現(xiàn)大理石的智能布料，是智能制造的發(fā)展方向。 傳統(tǒng)的圖像分割算法只考慮了像素值信息而忽視圖像中形狀信息和紋理信息[1]，不符合紋理分割的要求。 由于天然大理石紋理具有隨機(jī)和不規(guī)則的特點(diǎn)，并且大理石紋理很難用高層語義特征描述，基于深度學(xué)習(xí)的FCN（Fully Convolutional Networks）、APC-Net（Adaptive Pyramid Context Network）等場(chǎng)景分割算法很難直接用于大理石的紋理分割。 目前紋理分割方法主要分為以下幾類：基于灰度共生矩陣（Grey-Level Co-occurrence Matrix，GLCM）的紋理分割算法[2]、基于Gabor 濾波器的紋理分割算法[3]和基于局部二值模式（Local Binary Pattern，LBP）的紋理分割算法[4]等。

大理石圖像紋理的底層視覺特征表示[5]和聚類分割是實(shí)現(xiàn)分離的關(guān)鍵步驟。 常用的特征描述算子有灰度共生矩陣、Gabor 濾波器、LBP 算子等。 灰度共生矩陣是像素距離和角度的矩陣函數(shù)，它通過計(jì)算圖像中一定距離和一定方向的兩點(diǎn)灰度之間的相關(guān)性，來反映圖像在方向、距離、變化幅度及快慢上的綜合信息，由此代表紋理信息。 Haralick 等人[6]提出了用灰度共生矩陣來描述紋理特征，用灰度和梯度的綜合信息提取紋理特征，將圖像的梯度信息加入到灰度共生矩陣中，使共生矩陣包含圖像的紋理信息及排列信息，但計(jì)算過程太過冗余，計(jì)算效率低下。 Pratap T 等人[7]使用不同方向的Gabor 濾波器提取紋理特征，圖像通過Gabor 濾波器處理之后，在圖像空間域上，將高斯核函數(shù)和正弦平面波相乘得到紋理特征信息。 在頻域上，紋理特征信息反映在不同方向和不同尺度上的多向性特征。 Gabor 能夠提供良好的方向選擇和尺度選擇特性，而且對(duì)于光照變化不敏感，對(duì)光照變化有良好的適應(yīng)性。 如上所述，需要構(gòu)造多尺度、多方向的Gabor 濾波器，這會(huì)使圖像尺寸、特征維度成倍增加，產(chǎn)生冗余數(shù)據(jù)，使特征匹配更加困難。Ojala T 等人[8]則使用LBP 算子提取紋理特征，該算子具有光照不敏感性、灰度不變性和旋轉(zhuǎn)不變性，且魯棒性強(qiáng)。不同于GLCM 和Gabor 濾波器計(jì)算冗余、特征維數(shù)高，LBP 算子計(jì)算時(shí)間快、消耗內(nèi)存小，LBP 算子的缺點(diǎn)是易受到噪聲影響，為了克服該缺點(diǎn)出現(xiàn)多種LBP 變體，如局部三值模式（Local Ternary Pattern，LTP）[9]、ELBP[10]和CLBP[11]。 但LBP 算子還是受算子尺度的影響，難以捕捉宏觀紋理信息和紋理變化。

常用的聚類算法主要有K 均值聚類（K-means）[12]、模糊C 均值（Fuzzy C-means，F(xiàn)CM）[13]和高斯混合模型（Gaussian Mixture Model，GMM）[14]等。 K-means 算法的優(yōu)勢(shì)在于它的速度非?？?，因?yàn)橹恍枰?jì)算點(diǎn)和簇中心之間的距離，它的缺點(diǎn)是必須人工選擇聚類數(shù)量且聚類效果很大程度取決于聚類中心的初始位置；對(duì)于滿足正態(tài)分布的數(shù)據(jù)，F(xiàn)CM 算法的聚類效果更好， 但對(duì)孤立點(diǎn)十分敏感且算法性能同樣依賴初始點(diǎn)；GMM 算法與常見的K-means 聚類方法類似，但K-means 屬于硬聚類，結(jié)果中只包含每個(gè)像素點(diǎn)屬于某個(gè)類的硬劃分。 在此基礎(chǔ)上高斯混合模型則可以給出每個(gè)像素點(diǎn)屬于多個(gè)類的概率， 其包含的信息量遠(yuǎn)高于K-means和FCM 算法，屬于軟聚類。 該模型優(yōu)點(diǎn)在于，當(dāng)某元素分配給兩個(gè)簇的概率相同或非常接近時(shí)，可以通過主觀選擇或者設(shè)置可變閾值來獲得更準(zhǔn)確的結(jié)果。

原始LBP 算子在固定尺度上提取局部信息，存在兩個(gè)問題：第一個(gè)問題是單一尺度不能有效的獲取大尺寸且連續(xù)的紋理，解決該問題的一種方式是增大算子尺度[15]；第二個(gè)問題是在構(gòu)造灰度特征向量時(shí)，僅將邊緣像素和中心像素進(jìn)行比較，而忽視邊緣和中心之間的內(nèi)部像素，丟失大量信息。 受到深度學(xué)習(xí)中空洞卷積[16]和特征金字塔[17]的啟發(fā)，將多分辨率特征聯(lián)結(jié)，增大感受野從而捕獲大尺度紋理特征。 筆者提出MLBP（Multiscale Local Binary Pattern）算子解決這兩個(gè)問題。 MLBP 是多個(gè)子尺度LBP 算子的疊加，不同于傳統(tǒng)方法使用邊緣的連續(xù)像素作為采樣點(diǎn)，而使用子尺度采樣點(diǎn)的組合，且選擇大尺度算子的同時(shí)保留內(nèi)部子尺度算子，減少特征丟失。在MLBP 中，不同尺度的紋理特征會(huì)被不同的子尺度算子捕捉，不同子尺度算子能提取紋理的不同變化。

1 算法模型

將MLBP 算子提取的大理石圖像紋理信息作為特征向量，通過高斯混合模型對(duì)特征向量分布進(jìn)行分析，使用EM 算法計(jì)算GMM 參數(shù)， 通過參數(shù)計(jì)算某個(gè)樣本屬于某個(gè)聚類的概率， 挑選最大概率作為該樣本的Label，則獲得分割結(jié)果。 算法整體流程如圖1 所示。

圖1 算法流程圖

MLBP 算子基于LBP 算子，如圖2 所示，5×5 MLBP 算子由3 個(gè)子尺度算子組成，分為外部子尺度算子和內(nèi)部子尺度算子，不同于LBP 算子使用16 個(gè)連續(xù)鄰域像素作為采樣點(diǎn)，而是將24 個(gè)邊緣采樣點(diǎn)分解成3個(gè)鄰域像素的組合，每個(gè)組合由8 個(gè)采樣點(diǎn)組成，對(duì)應(yīng)3 個(gè)子尺度算子。 計(jì)算過程如下：

圖2 MLBP 5×5 算子

首先，將圖像轉(zhuǎn)為灰度矩陣，每個(gè)像素點(diǎn)是值為[0，255]的一維向量，子尺度算子在灰度矩陣上對(duì)每個(gè)像素點(diǎn)進(jìn)行計(jì)算，移動(dòng)步長(zhǎng)為1。 計(jì)算公式為

其中k代表像素點(diǎn)，總像素點(diǎn)個(gè)數(shù)為K，I（*）是指該點(diǎn)的灰度值，p代表的是采樣點(diǎn)（不同子尺度算子的采樣點(diǎn)不同），gt（*）代表門函數(shù)。 將中心點(diǎn)和鄰域采樣點(diǎn)進(jìn)行比較，大于中心點(diǎn)的為1，小于中心點(diǎn)的為0，類似門控邏輯。 將8 位二進(jìn)制數(shù)組合并轉(zhuǎn)換為10 進(jìn)制數(shù)，即該像素點(diǎn)的新灰度值，計(jì)算過程類似卷積操作，最后將多個(gè)子尺度算子提取的紋理向量級(jí)聯(lián)得到最終紋理向量。

5×5 MLBP 是3 個(gè)子尺寸算子的組合，7×7 尺度下是6 個(gè)（如圖3 所示），這不僅考慮邊界像素，還考慮內(nèi)部塊的像素來構(gòu)造特征向量，采用8 個(gè)采樣點(diǎn)的組合保證灰度值區(qū)間為[0，255]，通過不同大小的子尺度算子能增加感受野，使獲取的特征更加完整連續(xù)，即單個(gè)子尺度算子提取不到的特征其他子尺度算子能夠提取，領(lǐng)域像素的不同組合可以有效捕捉紋理特征的變化，脫離了原始LBP 算子的局部性。

圖3 MLBP 7×7 算子

2 實(shí)驗(yàn)結(jié)果及分析

文中實(shí)驗(yàn)選取廠家提供的彩色大理石樣板圖作為數(shù)據(jù)集，將原圖RGB 顏色空間轉(zhuǎn)為YUV 顏色空間，選取Y 通道進(jìn)行紋理分割，包含兩種像素尺寸規(guī)格：3 545×17 618 和1 601×2 015，含有魚肚白和北冰洋等不同風(fēng)格的大理石圖像。 為了體現(xiàn)文中算法在紋理分割上的優(yōu)越性，將該算法分割結(jié)果與基于LBP 算子的圖像分割算法FCM-LBP、K-means-LBP 和主流語義分割算法FCN 對(duì)比，再詳細(xì)對(duì)比不同紋理描述算子的灰度圖結(jié)果來展現(xiàn)MLBP 算子相比普通LBP 算子的優(yōu)勢(shì)。

2.1 實(shí)驗(yàn)結(jié)果

如圖4 與圖5 所示，大理石圖像相比普通圖像具有豐富的紋理語義信息和復(fù)雜的位置信息。 如圖4（c）和圖5（c），F(xiàn)CN 語義分割算法很難將紋理特征從背景中分離，紋理特征發(fā)生錯(cuò)位，圖像整體信息比較混亂，該語義分割算法不適合大理石紋理分割。LBP 算子受限于固定尺寸，在捕獲小紋理特征的同時(shí)會(huì)損失大紋理特征，導(dǎo)致提取的紋理特征不完整，如圖4（d）-圖4（h）中FCM+LBP、K-means+LBP 和GMM+LBP 分割算法結(jié)果中線條出現(xiàn)斷續(xù)，紋理邊緣特征也有一定的損失；當(dāng)分割目標(biāo)差異較小時(shí)難以區(qū)分噪聲和斑點(diǎn)類型紋理的區(qū)別，損失了大量的紋理信息；分割復(fù)雜紋理的邊界時(shí)，在紋理和背景的界限上存在一定的過分割區(qū)域，分割時(shí)難以區(qū)分不同尺寸特征，噪聲點(diǎn)和異常點(diǎn)偏多，魯棒性較差。圖4（f）-圖4（g）受到聚類算法的影響，在數(shù)據(jù)較大時(shí)容易造成局部最優(yōu)解，對(duì)孤立點(diǎn)非常敏感，分割結(jié)果存在許多噪聲點(diǎn)，且分割效果非常依賴于聚類中心的初始化。 文中基于MLBP 提取紋理特征并利用GMM 進(jìn)行聚類，與FCM 和K-means 不同，GMM 受噪聲影響小，抭干擾能力強(qiáng)，如圖4（h）-圖4（i）。而MLBP 加入了子尺度算子，能夠提取不同尺度的紋理特征且捕獲到紋理的變化，從而獲得更加準(zhǔn)確的紋理特征，如圖5（i），清楚地將紋理線條和背景區(qū)分，紋理線條完整且連續(xù)，噪點(diǎn)少，近似標(biāo)簽圖。

圖4 不同分割算法的分割結(jié)果

圖5 不同分割算法的細(xì)節(jié)對(duì)比

如圖6 所示，對(duì)比不同子尺度算子提取的紋理特征，可以看出每個(gè)子尺度算子捕獲了不同尺度的紋理，大尺度算子獲得較大的紋理信息，小尺度則捕捉小紋理信息。 圖6（a）中，LBP 算子提取的特征局限于固定尺度，捕獲的紋理特征并不完整，且紋理變化單一，而MLBP 中多個(gè)子尺度算子的結(jié)合完全提取圖像的重要特征。 在同一時(shí)刻，某一個(gè)子尺度捕獲不到的紋理信息另一個(gè)子尺度可以捕獲到，這是多分辨率提取特征的一個(gè)重要特性。觀察圖6（b）中各個(gè)結(jié)果，可以看出背景和前景紋理的變化，不同子尺度算子捕捉到紋理不同方向的變化，而LBP 算子無法捕獲紋理的變化。

圖6 LBP、MLBP 7×7 算子紋理灰度圖對(duì)比

2.2 實(shí)驗(yàn)分析

為了更好地定量評(píng)價(jià)每個(gè)方法的分割效果，文中使用像素精度（Pixel Accuracy，PA）、均像素精度（Mean Pixel Accuracy，MPA）、平均交并比（Mean Intersection over Union，MIoU）作為分割結(jié)果的評(píng)估標(biāo)準(zhǔn)。 PA 是計(jì)算標(biāo)記正確的像素占總像素的比例；MPA 是一種逐像素標(biāo)記的精度標(biāo)準(zhǔn)， 它是PA 像素精度的簡(jiǎn)單提升，計(jì)算每個(gè)類中被正確分類像素?cái)?shù)的比例，之后求所有類的平均；MIoU 指在每個(gè)類別上計(jì)算IoU 值（真實(shí)值與預(yù)測(cè)值的交集/真實(shí)值與預(yù)測(cè)值的并集），最后進(jìn)行平均操作。

從表1 中可以看出，在大理石樣板數(shù)據(jù)集的實(shí)驗(yàn)中，F(xiàn)CN 語義分割算法精度較低，且空間位置上特征錯(cuò)位嚴(yán)重，不適合大理石紋理分割；將LBP 算子和FCM、K-means、GMM 結(jié)合的算法優(yōu)于FCN 算法，但在細(xì)小紋理上分割上不夠精確，難以將復(fù)雜的紋理從背景中分離出，導(dǎo)致紋理分割結(jié)果出現(xiàn)雜亂、斷續(xù)等問題；文中提出的MLBP 算子將多尺度紋理特征融合起來，能清晰、完整地將連續(xù)紋理特征提取，在不同紋理風(fēng)格的大理石數(shù)據(jù)集中平均分割精度均是最優(yōu)， 基于MLBP 的算法相比FCN 分割算法均像素精度 （MPA） 提高了7.6%、8.1%、14%，對(duì)比基于LBP 的算法提高了6.6%、6.4%、3.1%。 最終文中算法比FCM-MLBP 提高6.4%，比K-means-MLBP 提高5.9%，均值正交比（MIoU）提高了8.6%、8%。

3 結(jié)語

面向大理石圖像的紋理特征提取，設(shè)計(jì)了改進(jìn)的LBP 算子MLBP，該算子通過融合多個(gè)子尺度算子提取的紋理信息，提高了LBP 算子對(duì)紋理的描述性，同時(shí)保留LBP 算子不受圖片的光照、角度等因素影響的優(yōu)點(diǎn)。 基于GMM 對(duì)紋理圖片的MLBP 特征進(jìn)行無監(jiān)督聚類，實(shí)現(xiàn)了大理石紋理的自動(dòng)分割。 在真實(shí)的大理石圖片上進(jìn)行紋理分割實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，基于MLBP 方法結(jié)合GMM 相比FCN、FCM 和K-means 分割算法更加接近于標(biāo)簽分割結(jié)果，滿足了工業(yè)生產(chǎn)的需求。 文中算法僅在魚肚花紋和麻石花紋上進(jìn)行了實(shí)驗(yàn)，更多風(fēng)格的紋理圖像分割的效果有待進(jìn)一步驗(yàn)證。