李 松 蔡 航 于 蒙

(武漢理工大學(xué)物流工程學(xué)院 湖北 武漢 430000)

0 引 言

圖像紋理是指圖像中灰度與顏色的變化，是一種重要的視覺底層特征，描述了區(qū)域的稀疏和規(guī)則等一些特性；它需要在包含多個像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算，是一種統(tǒng)計(jì)特征。由于自然界中紋理結(jié)構(gòu)具有隨機(jī)性與復(fù)雜多樣性，目前不存在一種被國際學(xué)者公認(rèn)的、能完美而正確地詮釋紋理的方法。

早期常用來提取圖像紋理結(jié)構(gòu)特征的方法主要有馬爾科夫隨機(jī)場[1]、灰度共生矩陣[2]、小波變換[3]和分形理論[4]等。這些方法能很好地用于簡單的紋理分類，但是不能解決多變的光照和觀測條件下自然材料的表征與識別的問題。因此近些年提出了許多基于提取局部原語或基元并通過直方圖測量其分布的方法，LBP就是這類方法中表現(xiàn)最好的[5]。它最大的優(yōu)點(diǎn)是原理簡單，計(jì)算復(fù)雜度低，效率高，并兼具旋轉(zhuǎn)不變性以及對單調(diào)變化的光照的魯棒性，目前已經(jīng)在模式識別領(lǐng)域得到了廣泛應(yīng)用。它由T.Ojala和D.Harwood[6]提出，并引起各國學(xué)者的關(guān)注，提出了很多相應(yīng)的改進(jìn)算法，如：Guo等[7]提出完整局部二值模式(Complete Local Binary Patterns,CLBP)算法，通過提取像素灰度符號、幅值以及鄰域中心像素灰度特征間的相關(guān)性信息，增強(qiáng)了算法對于紋理信息的描述能力。Liu等[8]提取擴(kuò)展局部二值模式(Enhance Local Binary Patterns,ELBP)算法通過提取單個像素點(diǎn)的局部鄰域灰度特征和徑向的灰度差分特征間的共生信息，提高了算法對于光照和旋轉(zhuǎn)的魯棒性。黃辰等[9]提出高斯局部二值模式，在多尺度下提取具有主方向的二值模式，提高了算法的可區(qū)分性和有效性。樊養(yǎng)余等[10]提出用求取最大差分幅值的方法獲得鄰域主導(dǎo)方向的完備局部二值模式在不同尺度上提取二值模式，提高了算法的光照和旋轉(zhuǎn)不變性，但是沒有考慮最大差分幅值相同的情況。

LBP方法僅僅比較鄰域像素和中心像素的值，不能很好反映圖像的灰度變化，因此較容易收到噪聲影響。如果噪聲過大，其對紋理的表述能力會急劇下降。而目前，許多的LBP改進(jìn)方法都沒有考慮到噪聲對于紋理特征描述子的影響，因此為了提高LBP算法對于噪聲的魯棒性，本文在完整局部二值模式的基礎(chǔ)上提出了自適應(yīng)閾值的CLBP方法，同時為了兼顧算法的旋轉(zhuǎn)不變性，采取了在LBP編碼前選取主方向的方法。最后，在通過紋理圖像的識別實(shí)驗(yàn)驗(yàn)證了算法的有效性。

1 完整局部二值模式

1.1 局部二值模式

LBP是一種用來描述圖像局部紋理特征的算法，具有旋轉(zhuǎn)不變性和灰度不變性等顯著優(yōu)點(diǎn)。原始的LBP是在3×3的窗口中，以中心像素點(diǎn)的像素值為閾值，將鄰域8個像素點(diǎn)的值和閾值進(jìn)行比較，若鄰域點(diǎn)的像素值大于中心像素點(diǎn)，則記為1，否則記為0，然后按照規(guī)定的編碼方向，給不同的鄰域點(diǎn)賦予不同的權(quán)重，將二進(jìn)制序列轉(zhuǎn)換一個無符號十進(jìn)制數(shù)，并用該值作為像素點(diǎn)的LBP特征值，其過程如圖1所示。Ojala最初提出的LBP算子存在無法提取大尺寸結(jié)構(gòu)紋理的缺點(diǎn)，為了解決這一問題，Ojala做出改進(jìn)，將3×3鄰域擴(kuò)展到任意鄰域，并用圓形鄰域代替正方形鄰域，改進(jìn)后的LBP算子允許在半徑為R的圓形鄰域內(nèi)有任意多個像素點(diǎn)。綜上，對于一幅圖像S上的任意像素點(diǎn)S(i,j)，將以S(i,j)為中心，半徑為R的內(nèi)含有P個采樣點(diǎn)的區(qū)域稱為其局部鄰域(P,R)，則像素點(diǎn)S(i,j)的LBP值可以定義為：

(1)

式中:gc代表中心像素S(i,j)的灰度值，gp代表采樣點(diǎn)灰度值。這種方法獲取的LBP值具有線性灰度不變性，但是在圖像發(fā)生旋轉(zhuǎn)時，相應(yīng)的LBP值也會發(fā)生改變。為了解決旋轉(zhuǎn)不變性的問題，Ojala等[11]提出了基于旋轉(zhuǎn)不變性的LBP算法。對同一個中心點(diǎn)，以不同的鄰域像素點(diǎn)作為起點(diǎn)進(jìn)行二進(jìn)制編碼，從而得到一系列的二進(jìn)制編碼，選取其中最小的值作為該鄰域的LBP值。

圖1 局部二值模式提取過程

1.2 完整局部二值模式

完整局部二值模式提出了三種紋理描述子，分別是灰度值差值符號描述子CLBP_S和灰度值差值幅值描述子CLBP_M和全局灰度特征描述子CLBP_C。其計(jì)算方式如下：

(2)

式中：mp表示采樣點(diǎn)p的像素值與中心像素S(i,j)像素值的差分的幅值，m是mp的均值，cI表示全圖灰度均值。三個算子中，CLBP_S和CLBP_M描述的是局部特征，分別表示了鄰域像素與中心像素的灰度差異信息的符號與幅值，CLBP_C描述的是中心像素點(diǎn)與全圖灰度均值的差異，屬于一種全局特征。分別計(jì)算三個算子的特征向量然后聯(lián)合得到的就是CLBP特征描述符。此方法能很好地利用圖像中的局部特征同時也兼顧了全局特征，能很好地提高LBP算子的判別性能，但是沒有解決算法對噪聲和不均勻光照敏感的問題，同時也忽視了算法的旋轉(zhuǎn)不變性?；诖?，本文提出了一種帶方向的自適應(yīng)閾值完整局部二值模式(adaptation threshold complete local binary pattern with direction，DAT-CLBP)。

2 帶方向的自適應(yīng)閾值完整局部二值模式

2.1 中值局部二值模式

LBP編碼時，取鄰域灰度均值作為閾值，但單個像素點(diǎn)容易受到光照和噪聲的影響而發(fā)生變化，采用均值作為閾值，僅能抵抗像素值得單調(diào)變化，對于類似于椒鹽噪聲這種非線性像素變化沒有魯棒性。要解決這一問題，可以用局部鄰域像素灰度值的中值替代中心像素點(diǎn)作為二值化閾值，這種方法被稱為中值局部二值模式(Medium Binary Pattern)[12]，它的定義是：

(3)

式中:m是局部鄰域(P,R)灰度中值。

2.2 自適應(yīng)閾值計(jì)算

數(shù)字圖像的噪聲主要來源于圖像獲取的數(shù)字化過程，如高斯噪聲、瑞利噪聲、伽馬以及脈沖噪聲等，其中，脈沖噪聲是最常見的一種噪聲，因此本文主要考慮脈沖噪聲的影響[13]。在眾多的濾波方法中，常用于脈沖噪聲處理的就是中值濾波。在中值濾波中，去除噪聲和保護(hù)圖像細(xì)節(jié)是矛盾的：濾波窗口較小，則能很好地保護(hù)圖像中的某些細(xì)節(jié)，但對噪聲的過濾效果就不是很好；反之，窗口尺寸較大有較好的噪聲過濾效果，但是會對圖像造成一定的模糊。因此，出現(xiàn)了一種自適應(yīng)中值濾波，它會根據(jù)設(shè)定的條件動態(tài)地改變?yōu)V波窗口的大小，同時會根據(jù)特定條件判斷窗口內(nèi)獲取的中值是否是噪聲，如果不是則用中值替換當(dāng)前像素；不是，則不作改變。同理，在MBP中，采用一個小區(qū)域獲取閾值可能會丟失重要的信息，而一個大的區(qū)域獲取閾值則可能會由于涉及大量的像素而產(chǎn)生有偏的中值。而且一幅圖像中由于上下文的變化，不同的位置其合適的區(qū)域大小是不同的，恒定大小的分析窗口無法處理圖像中的所有變化，自適應(yīng)窗口能提供一個很好的選擇。而局部二值模式選取鄰域計(jì)算局部特征的思想類似于均值濾波和中值濾波，因此可以將自適應(yīng)的思想應(yīng)用到LBP中，根據(jù)每個中心像素位置上的某些判斷條件而改變其分析區(qū)域。采用自適應(yīng)方式，考慮中心像素周圍較大的分析窗口來計(jì)算局部中值，從而更靈活地選擇閾值使灰度圖像轉(zhuǎn)換為二值模式。具體可以分為兩步。第一步是判斷在某個鄰域內(nèi)獲得的局部中值是否為噪聲，在這種情況下，窗口大小會逐步增加，直到達(dá)到最大窗口大小為止，或者直到中值不是噪聲為止。第二步是判斷中心像素是否是一種噪聲信號，如果局部中值和中心像素都不是噪聲，那么保持中心像素不變。但是，這一方法在用于檢測無噪聲數(shù)據(jù)中的局部二值時并不適用，因?yàn)樵谶@些數(shù)據(jù)中，極值并不顯著，因?yàn)榇藭r極值并不顯著，為了解決這個問題，引入了某個值作為極值的補(bǔ)正。假設(shè)F(i,j)是像素點(diǎn)(i,j)的局部鄰域，點(diǎn)(i,j)的像素值是gc，設(shè)定一個自適應(yīng)參數(shù)μ，它是局部鄰域像素點(diǎn)和中心像素點(diǎn)灰度值的差分幅值均值：

(4)

則閾值判斷條件可以記為：

Zmin+μ

(5)

式中：Zmin是局部鄰域F(i,j)中的最小像素值，Zmax是局部鄰域F(i,j)的最大像素值，Zmed是局部鄰域F(i,j)的像素中值。綜合式(2)和式(3)得出對于任意一幅圖像S，具體的自適應(yīng)閾值τ的選取過程如圖2所示。

圖2 自適應(yīng)閾值選取流程

值得注意的是在選取自適應(yīng)閾值的過程中，雖然采用的是方框鄰域，但是在計(jì)算局部二值模式的時候是可以采用圓形鄰域的。為了驗(yàn)證選取自適應(yīng)閾值的必要性，分別在CuRet和Outex_TC10數(shù)據(jù)庫上進(jìn)行驗(yàn)證。在CuRet數(shù)據(jù)庫的61種紋理中，每種隨機(jī)選取10幅圖片，在Outex_TC10數(shù)據(jù)庫的24種紋理中，每種隨機(jī)選取20幅圖片，分別按上文給出的流程計(jì)算自適應(yīng)中值和中心像素值作為閾值的比例，結(jié)果如圖3所示。在CuRet數(shù)據(jù)庫的樣本上，自適應(yīng)中值作為閾值的比例是33.63%，中心像素值作為閾值的比例是66.37%；在Outex_TC10數(shù)據(jù)庫的樣本數(shù)，自適應(yīng)中值作為閾值的比例是27.12%，中心像素值作為閾值的比例是72.88%。從上述結(jié)果可以看出，自適應(yīng)中值作為閾值的比例并不低，說明了采用自適應(yīng)閾值方法的必要性。

圖3 自適應(yīng)閾值的比例

2.3 DAT-CLBP算法

DAT-CLBP是為了解決完整局部二值模式對噪聲魯棒性差和不具有旋轉(zhuǎn)不變性的問題而提出的改進(jìn)方法。針對噪聲，采用了自適應(yīng)閾值，而為了解決算法的旋轉(zhuǎn)不變性的問題，雖然Ojala已經(jīng)提出的旋轉(zhuǎn)不變LBP，但是這種方法計(jì)算量大，相對于描述子更多，維度更高的CLBP算法而言，會增加計(jì)算的復(fù)雜度，因此采用了一種更簡單解決旋轉(zhuǎn)不變性的方法，那就是選取主導(dǎo)方向。具體如下：分別計(jì)算各個采樣點(diǎn)和中心像素點(diǎn)S(i,j)的差分幅值，從差分幅值最小的像素點(diǎn)按差分幅值從小到大增加各像素點(diǎn)的LBP加權(quán)值。綜上DAT-CLBP的具體方案是：對于圖像S上的任意帶計(jì)算像素點(diǎn)S(i,j)，首先根據(jù)2.2節(jié)提出的自適應(yīng)方法計(jì)算。

二值化閾值τ(i,j)，然后計(jì)算局部鄰域(P,R)的主導(dǎo)方向，根據(jù)主導(dǎo)方向來計(jì)算像素點(diǎn)S(i,j)的完整局部二值模式，計(jì)算方法如下：

(6)

式中：mp=|gp-τ(i,j)|，m是mp的均值。圖4是在Outex_TC10數(shù)據(jù)庫上的紋理圖像的原圖、LBP提取的特征圖和DAT-CLBP提取的特征圖。

(d) DAT-CLBP_M紋理特征圖圖4 常用紋理庫上的紋理圖及提取的紋理特征圖

3 實(shí)驗(yàn)與分析

3.1 Outex和CuRet數(shù)據(jù)庫上的對比實(shí)驗(yàn)

為了驗(yàn)證本文提出的特征提取方法的有效性，在常用數(shù)據(jù)庫Outex_TC10、Outex_TC12和CuRet數(shù)據(jù)庫上用DAT-CLBP方法進(jìn)行紋理分類測試，驗(yàn)證采用的是P=2，R=8圓形局部鄰域和SVM分類器，同時最大窗口尺寸設(shè)置為9×9。

Outex_TC10包含有24種紋理圖像，每種紋理有0、5、10、15、30、45、60、75、90等9個旋轉(zhuǎn)角，每種角度20幅，拍攝條件為Inca光源。選取每類紋理的前20幅圖片作為訓(xùn)練樣本，剩下的樣本作為測試樣本。Outex_TC12同樣有24種紋理圖像，但是在3種光照條件下拍攝。選取Outex_TC12上拍攝光源為Inca，角度為0的圖像作為訓(xùn)練樣本，剩下兩種光源下所有角度的圖像為測試樣本。CuRet數(shù)據(jù)庫包含有61種紋理，每類紋理包含205個樣本；樣本是在不同的光照、角度下采集自現(xiàn)實(shí)事物的表面，包含了復(fù)雜的光照、旋轉(zhuǎn)和尺度變化，將其中92幅拍攝幅度小于60度的圖像[14]，隨機(jī)選取其中的46幅圖像作為訓(xùn)練樣本，另外46幅圖像作為測試樣本。分類結(jié)果如表1所示，其他方法的結(jié)果來自文獻(xiàn)[15]，其鄰域尺寸設(shè)置和分類器種類與本文相同。

表1 不同LBP方法的結(jié)果比較 %

從表1中可以看出，在三種紋理庫上CLBP算法和DAT-CLBP算法的識別效果遠(yuǎn)好于LBP和MBP，這是因?yàn)楹髢烧邲]有考慮到圖像的全局特征，而前兩者算法不僅考慮了局部紋理的互補(bǔ)信息，還添加全局特征作為補(bǔ)充，因此能更全面地描述圖像的紋理特征，所以識別率會提高。DAT-CLBP相比于CLBP，在三種紋理庫上，識別效果都有了一定的提高，原因是采用了自適應(yīng)閾值而不是單純的中心像素值，這在2.2中已經(jīng)通過實(shí)驗(yàn)證明是有必要的；同時在三種紋理庫上，DAT-CLBP相比CLBP在Outex_TC12上提升是最大的，這是因?yàn)镺utex_TC12中的圖像同時包含了旋轉(zhuǎn)和光照的變化，相比DAT-CLBP，CLBP沒有考慮到旋轉(zhuǎn)和光照不變性；而在CuRet紋理庫上，兩者的表現(xiàn)并無很大差別，根據(jù)推測，這是因?yàn)镃uRet上的樣本還具有尺度變化，而兩種算法都沒有將尺度變化考慮在內(nèi)。綜合來說，從表1可以看出，DAT-CLBP算法相對于其他三種算法有了一定的提升，且具有一定的光照和旋轉(zhuǎn)不變性。

如上文所說，椒鹽噪聲是數(shù)字圖像中出現(xiàn)最頻繁的噪聲，因此為了驗(yàn)證算法對于噪聲的魯棒性，給Outex_TC10的測試樣本添加不同程度椒鹽噪聲，訓(xùn)練樣本不添加噪聲，用DAT-CLBP方法進(jìn)行紋理特征提取，并用支持向量機(jī)進(jìn)行分類實(shí)驗(yàn)，將結(jié)果與其他的方法的測試結(jié)果進(jìn)行對比[14-15]。表2中ρ表示添加的椒鹽噪聲的分布密度。圖5為Outex_TC10上添加分布密度為0.3的椒鹽噪聲后的紋理圖像以及紋理特征圖。

表2 Outex_TC10上添加不同程度椒鹽噪聲后算法結(jié)果 %

(a) 加噪的圖像 (b) LBP紋理 (c) DAT-CLBPS(d) DAT_CLBPM圖5 添加椒鹽噪聲后的紋理圖和紋理特征

從表2的結(jié)果可以看出在添加椒鹽噪聲后，LBP算法和CLBP算法的識別率隨著椒鹽噪聲分布密度的增大而大幅度下降，到ρ=0.4時，LBP方法下降了68.93%，CLBP下降了37.59%，說明了它們很難處理椒鹽噪聲。MBP算法相比于LBP和CLBP算法，其下降幅度相對小得多，到ρ=0.4時，只下降了22.55%，說明中值作為編碼閾值確實(shí)能對椒鹽噪聲有一定的魯棒性。但是其識別率遠(yuǎn)低于本文的方法，這是由于中值會損失圖像的原始信息，所以識別率并不高。而本文的算法由于采取自適應(yīng)閾值，既能相對完整地保存圖像信息，又能加強(qiáng)對于椒鹽噪聲的魯棒性?？乖氲腃ELBPNT算法在椒鹽噪聲較小時，識別率下降較小，但是在ρ=0.3以后，識別率顯著下降，這是由于此方法主要是通過均值降采樣來增加其對噪聲的處理能力，對于椒鹽噪聲的處理能力相對較差。而DAT-CLBP算法到ρ=0.4時，識別率只下降了1.15%，說明其對于椒鹽噪聲有著較強(qiáng)的魯棒性。

3.2 多尺度DAT-CLBP驗(yàn)證試驗(yàn)

3.1節(jié)的實(shí)驗(yàn)中，DAT-CLBP算法在CuRet紋理庫上的識別效果相對于CLBP算法并沒有太大進(jìn)步，可能的原因是由于CuRet中紋理圖像的尺度變化干擾了結(jié)果。其原因是隨著圖像尺度的變換，同一物體的成像內(nèi)容也有所變化，尺度較大時，圖像突出的是物體的輪廓，而尺度較小時，圖像對于物體細(xì)節(jié)的描述能力增強(qiáng)[16]。某些特征在一種尺度下無法被檢測到，但是在另一種尺度下則能被檢測到。為了驗(yàn)證這個猜想，設(shè)計(jì)了一個實(shí)驗(yàn)：以CuRet紋理庫為實(shí)驗(yàn)對象，采取P=2，R=8圓形局部鄰域和SVM分類器進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)前，采用的特征提取方式是首先借鑒高斯金字塔[17]的思想，通過高斯卷積獲得同一幅圖像的一系列尺度變換，然后分別計(jì)算多個尺度下該圖像的DAM-CLBP值，然后聯(lián)合成一個特征向量。本實(shí)驗(yàn)分別建立了2層、3層和4層的尺度圖像并進(jìn)行實(shí)驗(yàn)，結(jié)果如表3所示。

表3 CuRet上在不同尺度下算法的實(shí)驗(yàn)結(jié)果 %

從結(jié)果可以看出，在采用了多尺度特征后，算法的識別結(jié)果確實(shí)有了一定的上升，說明之前的問題確實(shí)應(yīng)該是尺度變換造成的。但是當(dāng)尺度層數(shù)超過3以后，識別結(jié)果又出現(xiàn)了下降，這應(yīng)該是由于多次高斯卷積后圖像過于模糊，反而影響了后續(xù)的識別效果。

4 結(jié) 語

本文在完整局部二值模式的基礎(chǔ)上，提出一種帶方向的自適應(yīng)閾值完整局部二值模式。該方法首先通過一定的判別條件，在鄰域像素中值和中心像素值中選取一種作為LBP編碼時的閾值，然后計(jì)算鄰域像素和閾值的差分的幅值，并以幅值最小點(diǎn)為起點(diǎn)，從小到大進(jìn)行編碼，計(jì)算其完整局部二值模式。實(shí)驗(yàn)結(jié)果表明，在二值編碼時有必要采取自適應(yīng)閾值，采取自適應(yīng)閾值進(jìn)行編碼后，本文算法能提升紋理圖像分類的性能，并且對于椒鹽噪聲有很好的魯棒性。針對在CuRet紋理庫上出現(xiàn)的識別結(jié)果相對較差的問題，進(jìn)行了多尺度下的驗(yàn)證實(shí)驗(yàn)，證實(shí)了算法在尺度變換上有待改進(jìn)。