劉望華,劉光帥,陳曉文,李旭瑞
(西南交通大學(xué)機(jī)械工程學(xué)院,成都 610031)
紋理是自然物體表面的基本特征。對(duì)紋理的分析是指通過(guò)對(duì)處理后圖像的像素強(qiáng)度和空間分布進(jìn)行數(shù)學(xué)分析,從而量化紋理參數(shù)。紋理分類作為紋理分析中的一個(gè)熱點(diǎn)問(wèn)題而備受關(guān)注,并在計(jì)算機(jī)視覺(jué)和圖像分析領(lǐng)域得到廣泛應(yīng)用。
在過(guò)去的幾十年里,圖像紋理得到廣泛研究,相繼提出了一些有代表性的紋理分析方法,這些方法一般可分為統(tǒng)計(jì)方法、結(jié)構(gòu)方法、基于模型的方法和信號(hào)處理方法[1]四種。紋理不同于其他特征,因大多數(shù)紋理存在較大變化使得對(duì)紋理的表達(dá)困難,所以統(tǒng)計(jì)方法是一種較合適的紋理分析方法。局部二值模式(Local Binary Pattern,LBP)[2]作為一種經(jīng)典的統(tǒng)計(jì)方法紋理描述算子,因其計(jì)算簡(jiǎn)單、對(duì)單調(diào)光照變化不敏感和特征表達(dá)能力強(qiáng)的優(yōu)點(diǎn),在計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域得到廣泛應(yīng)用,如生物圖像識(shí)別[3-4]、圖像檢索[5-6]、遙感[7]、視覺(jué)監(jiān)測(cè)[8]等。受LBP 算子的啟發(fā),許多研究者相繼提出了大量的LBP變體算子來(lái)編碼圖像中的紋理信息。
為增強(qiáng)特征判別性,一些學(xué)者通過(guò)結(jié)合互補(bǔ)特征,相繼提出了大量的LBP變體算子:Guo等[9]將中心像素和鄰域像素的差異分解為符號(hào)和幅值兩互補(bǔ)部分,并結(jié)合圖像的全局灰度強(qiáng)度特征,提出了完整局部二值模式(Completed Local Binary Pattern,CLBP)算子;隨后,Liu 等[10]基于鄰域像素強(qiáng)度(Neighbors Intensity,NI)、全局像素強(qiáng)度描述子(Central Intensity,CI)以及鄰域徑向差異描述子(Radial-Difference,RD)提出了CINIRD 算子;因CLBP 和CINIRD 對(duì)噪聲敏感,Liu等[11]提 出 了BRINT(Binary Rotation Invariant and Noise Tolerant)算子,BRINT 算子采用“ri”的編碼方式降低“riu2”編碼帶來(lái)的信息損失,并在量化前將圓形鄰域上相鄰的P/8 個(gè)像素點(diǎn)的平均灰度值作為新的鄰域點(diǎn)像素灰度值,在鄰域像素點(diǎn)較多時(shí)仍能保證恒定的特征維度;而后,Liu 等[12]通過(guò)對(duì)采樣點(diǎn)進(jìn)行中值濾波,基于多尺度CINIRD 算子提出了MRELBP(Median Robust Extended Local Binary Pattern)算子,特征判別性較CINIRD算子更強(qiáng),且增強(qiáng)了對(duì)椒鹽噪聲的魯棒性;Ryu 等[13]參考CLBP 算法,通過(guò)排序局部鄰域中連續(xù)模式數(shù)量,將鄰域二值模式表示為歐氏空間內(nèi)的特征向量,提出了scLBP(Sorted Consecutive Local Binary Pattern)算子;Cimpoi等[14]在卷積層進(jìn)行多尺度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)特征提取,通過(guò)費(fèi)舍爾向量池化計(jì)算圖像特征,并通過(guò)改變卷積層的步長(zhǎng)和接受域,分別提出了FVVGG-VD(Fisher Vector-Visual Geometry Group-Very Deep)和FV-VGG-M(Fisher Vector-Visual Geometry Group-Medium)神經(jīng)網(wǎng)絡(luò)算子進(jìn)行紋理識(shí)別;Chan 等[15]結(jié)合PCA(Principal Component Analysis)級(jí)聯(lián)、二值哈希編碼和逐塊直方圖計(jì)算,提出了PCANet(PCA Network)算子,并為降低計(jì)算量,將PCANet 中PCA 替換為隨機(jī)濾波器,提出了RandNet(Random Network)算子。
為實(shí)現(xiàn)特征的旋轉(zhuǎn)不變性,許多LBP 變體算子采用Ojala提出的旋轉(zhuǎn)不變編碼方式編碼二值模式,如文獻(xiàn)[16-17],但此方法僅對(duì)旋轉(zhuǎn)角度為360/P 倍數(shù)的旋轉(zhuǎn)變化具有魯棒性,具有一定的局限性。為增強(qiáng)特征的旋轉(zhuǎn)不變性,Ahonen 等[18]利用傅里葉變換幅值譜具有旋轉(zhuǎn)不變性的特點(diǎn)提取旋轉(zhuǎn)不變圖像特征;Duan 等[19]首先提取訓(xùn)練樣本的有序局部像素差異向量,計(jì)算對(duì)應(yīng)的旋轉(zhuǎn)二值模式并學(xué)習(xí)旋轉(zhuǎn)函數(shù),將學(xué)習(xí)到的旋轉(zhuǎn)函數(shù)應(yīng)用到測(cè)試階段增強(qiáng)特征對(duì)旋轉(zhuǎn)變化的魯棒性。
為增強(qiáng)對(duì)模糊的魯棒性,因低頻相位分量具有模糊魯棒性,Ojansivu 等[20]通過(guò)量化局部鄰域傅里葉變換的相位譜,提出了對(duì)模糊魯棒的局部相位量化(Local Phase Quantization,LPQ)算子;而后,Ahonen 等[21]將LPQ 方法應(yīng)用于模糊人臉識(shí)別;Sun 等[22]提出了一種模糊核估計(jì)的抗模糊方法,對(duì)每個(gè)清晰的圖像樣本估計(jì)最佳模糊核,使訓(xùn)練樣本與相應(yīng)的模糊樣本之間的距離最小,然后,應(yīng)用模糊核來(lái)模糊清晰的圖庫(kù)樣本,將所有這些模糊的樣本組成自適應(yīng)模糊樣本集,在識(shí)別期間充當(dāng)參考,增強(qiáng)算子對(duì)圖像模糊的魯棒性。
雖然LBP 的研究取得了很大的成功,并相繼提出了大量的LBP 變體算子,但現(xiàn)有的LBP 變體算子大多仍存在如下問(wèn)題:
1)現(xiàn)有LBP變體算子中對(duì)結(jié)合旋轉(zhuǎn)變化和圖像模糊魯棒性的研究較少。
2)多數(shù)LBP 算子僅考慮了空間域特征或頻域特征,未充分考慮空間特征與頻域特征的結(jié)合。
3)許多LBP變體算子的特征維度和特征的計(jì)算復(fù)雜度較高,不能滿足實(shí)時(shí)性的要求。
針對(duì)上述問(wèn)題,本文提出了一種結(jié)合微分特征和小波分解的魯棒紋理表達(dá)方法。在微分特征通道上,通過(guò)各向同性微分算子提取圖像中旋轉(zhuǎn)不變的一階和二階微分特征,增強(qiáng)對(duì)模糊和旋轉(zhuǎn)變化的魯棒性;在小波分解通道上,采用多尺度的小波分解提取時(shí)頻信息,并放大高頻小波分解系數(shù)增強(qiáng)對(duì)模糊的魯棒性。
原始的LBP 算子最早由Ojala 等在1994 年的模式識(shí)別國(guó)際會(huì)議上提出,隨后發(fā)表于1996 年的Pattern Recognition 期刊,直到2002 年在IEEE 的模式分析和機(jī)器智能學(xué)報(bào)上發(fā)表后才受到人們的廣泛關(guān)注。原始LBP算子通過(guò)比較中心像素和鄰域像素灰度值大小進(jìn)行二值量化,加權(quán)組合量化后模式值作為L(zhǎng)BP特征值。LBP的特征提取過(guò)程如圖1所示,其數(shù)學(xué)表達(dá)式如下:
其中:gp為鄰域像素灰度值,gc為中心像素灰度值,P為鄰域像素點(diǎn)數(shù)目,R為鄰域半徑。
式(1)表明,LBP 模式種類共有2P種。LBP 算子首先計(jì)算紋理圖像每個(gè)局部鄰域所對(duì)應(yīng)的LBP 值,得到紋理圖像的LBP 模式圖,如圖1(c)所示;然后,通過(guò)LBP 模式圖的直方圖H來(lái)表示該紋理圖像的紋理特征。直方圖計(jì)算的數(shù)學(xué)表達(dá)式如式(2)所示:
其中:k為L(zhǎng)BP模式值,0≤k<2P。
為增加LBP 的旋轉(zhuǎn)不變性,減小特征維度,Ojala 分別提出了一致LBP(LBPu2)、旋轉(zhuǎn)不變LBP(LBPri)和旋轉(zhuǎn)不變一致LBP(LBPriu2)三種紋理描述子。在LBPu2中,提出采用一致性度量U來(lái)計(jì)算模式中0/1的跳變次數(shù),并將跳變次數(shù)小于或等于2 的模式定義為一致模式,共P(P-1)+3 種。在LBPri中,將旋轉(zhuǎn)后相同的模式歸為一類,并將最小模式值作為該類模式的旋轉(zhuǎn)不變LBP 值。LBPriu2結(jié)合了LBPu2和LBPri的思想,使最終的LBP 模式具有旋轉(zhuǎn)不變性且特征維度大幅降低,其模式種類共P+2 種。LBPri算子、LBPu2中的一致性度量U和LBPriu2算子的數(shù)學(xué)表達(dá)式如下:
圖1 原始LBP算子的特征提取流程Fig.1 Feature extraction process of original LBP operator
在計(jì)算機(jī)視覺(jué)任務(wù)中,相機(jī)對(duì)焦不準(zhǔn)和圖像去噪等問(wèn)題會(huì)給圖像造成一定的模糊,不利于圖像特征的提取。由于微分特征信息可銳化圖像,突出灰度的過(guò)渡部分,從而增強(qiáng)對(duì)圖像模糊的魯棒性,因此,本文利用圖像的一階和二階微分特征表達(dá)局部結(jié)構(gòu)信息。此外,對(duì)圖像進(jìn)行歸一化預(yù)處理,消除全局光照的影響。
一階微分梯度算子是一種常用的圖像銳化算子。因梯度向量的幅值具非線性和各向同性,故梯度幅值具有旋轉(zhuǎn)不變性。梯度幅值的數(shù)學(xué)表達(dá)式為:
其中:I為歸一化后圖像,gx和gy分別為x和y方向的梯度算子,?為卷積符號(hào)。
為盡可能多地提取圖像輪廓信息,首先,利用不同尺度σi(i=1,2,3)的高斯梯度幅值算子計(jì)算梯度幅值特征,記為Mi(i=1,2,3);然后,三值量化不同尺度下的高斯梯度幅值特征Mi得到量化后的特征Mcodei,如式(7)所示,其中為矩陣Mi中所有元素的均值;最后,加權(quán)組合量化后特征Mcodei得到圖像的一階微分特征Mcode,如式(8)所示。圖2 為三個(gè)不同尺度下的高斯梯度幅值算子,圖3 為一階微分特征的詳細(xì)計(jì)算流程。
圖2 三個(gè)不同尺度下的高斯梯度幅值算子Fig.2 Gaussian gradient amplitude operators at three different scales
圖3 一階微分特征計(jì)算流程Fig.3 First-order differential feature calculation process
高斯-拉普拉斯(Laplacian of Gaussian,LoG)作為一種常用的各向同性二階微分算子,對(duì)旋轉(zhuǎn)變化和圖像模糊具有魯棒性;此外,高斯函數(shù)可平滑圖像,產(chǎn)生振鈴現(xiàn)象的可能性小。又因高斯差分(Difference of Gaussian,DoG)算子和LoG算子具有類似的波形,僅幅度略有不同,而DoG算子的計(jì)算量明顯低于LoG算子,故本文采用各向同性的DoG算子提取圖像二階微分特征。DoG算子圖像如圖4所示,其數(shù)學(xué)表達(dá)式如式(9)所示:
其中,σ1>σ2。為使LoG 算子和DoG 算子有相同的零交叉,LoG 算子的方差σ和DoG 算子的方差σ1及σ2需滿足式(10)。本文中σ1和σ2分別取為1.6和1。
圖4 DoG算子圖像Fig.4 Images of DoG operator
為提取圖像中旋轉(zhuǎn)不變的高階微分信息,首先,利用各向同性的DoG 算子與原圖像卷積,得到DoG 特征,記為D;然后,對(duì)DoG 特征進(jìn)行三值量化,得到二階微分特征Dcode,其數(shù)學(xué)表達(dá)式如式(11)所示,其中,為矩陣D中所有元素的均值。圖5為二階微分特征計(jì)算流程。
圖5 二階微分特征計(jì)算流程Fig.5 Second-order differential feature calculation process
由式(7)和式(8)可知一階微分特征Mcode的取值范圍為[0,26],由式(11)可知二階微分特征Dcode的取值范圍為[0,2]。為增強(qiáng)一階微分特征和二階微分特征間的相關(guān)性,本文采用并聯(lián)的方式計(jì)算微分特征直方圖Hdiff,即Hdiff=HMcode/HDcode,故微分通道特征直方圖維度為27×3=81。
空間濾波方法僅可提取圖像在空間域上的局部紋理結(jié)構(gòu)信息。因小波變換在時(shí)域、頻域都能很好地表征信號(hào)的局部特征,且具有多分辨率分析特點(diǎn),與人類視覺(jué)機(jī)理相似,因此,本文從多尺度、多分辨率的角度出發(fā),利用多尺度小波分解獲得像素間更深層次的相關(guān)性信息、圖像的時(shí)頻信息以及多尺度信息。圖像的小波分解及各子帶圖像標(biāo)號(hào)如圖6所示。
圖6 三尺度小波分解及各子帶圖像標(biāo)號(hào)Fig.6 Three-scale wavelet decomposition and image labels of different sub-bands
其中:W為子帶圖像,m為對(duì)應(yīng)子帶圖像元素均值,σ為對(duì)應(yīng)子帶圖像元素標(biāo)準(zhǔn)差。
因小波分解各細(xì)節(jié)圖像的信息量相對(duì)較小,同時(shí),為增強(qiáng)細(xì)節(jié)分量信息之間的相關(guān)性,加權(quán)組合每個(gè)尺度下的3 個(gè)量化后細(xì)節(jié)特征,j={2,3,4},得到不同尺度下的組合細(xì)節(jié)特征,記為Wdetaili,其數(shù)學(xué)表達(dá)式如式(13)所示;然后,為增強(qiáng)特征的相關(guān)性,對(duì)每個(gè)尺度下的組合細(xì)節(jié)特征Wdetaili和近似圖像特征進(jìn)行并聯(lián)直方圖計(jì)算,每個(gè)尺度下特征維度為81 維;最后,為避免特征維數(shù)過(guò)高,串聯(lián)各尺度的特征直方圖作為最終的小波分解通道特征直方圖Hwavelet,當(dāng)小波分解尺度為N時(shí),小波分解通道特征維度為81N。
為合理確定小波基函數(shù)和分解層數(shù),在TC10 紋理庫(kù)[23]上,比較分析采用不同小波基函數(shù)和不同分解層數(shù)下時(shí)的分類準(zhǔn)確率,實(shí)驗(yàn)結(jié)果如表1所示。
表1 不同小波基函數(shù)和分解層數(shù)時(shí)小波分解通道特征在TC10紋理庫(kù)上的分類準(zhǔn)確率 單位:%Tab.1 Classification accuracy of wavelet decomposition channel features on TC10 texture database with different wavelet basis functions and decomposition levels unit:%
從表1 數(shù)據(jù)可以明顯看出:對(duì)于常用的五種小波基函數(shù),當(dāng)從一尺度分解到三尺度分解,本節(jié)的小波分解特征在TC10上的準(zhǔn)確率均大幅增加,而四尺度分解時(shí)的分類準(zhǔn)確率較三尺度分解差異不大;因此,本文中小波分解層數(shù)選擇為3。此外,考慮到Haar 小波作為最簡(jiǎn)單的小波基函數(shù),可以大幅降低算子的計(jì)算復(fù)雜度;因此,本文選擇3尺度的Haar小波分解計(jì)算小波分解通道特征。三尺度Haar 小波分解通道特征提取的詳細(xì)計(jì)算流程如圖7所示。
圖7 小波分解特征提取Fig.7 Wavelet decomposition feature extraction
在微分通道和小波分解通道上的特征維度分別為81 維和243 維,為避免維度過(guò)高,串聯(lián)微分通道和小波分解通道特征直方圖構(gòu)建本文魯棒紋理特征,即H=Hdiff_Hwavelet,最終特征直方圖維度為324 維。在微分特征通道上,通過(guò)各向同性的微分算子提取旋轉(zhuǎn)不變的微分特征,并對(duì)圖像模糊具有一定的魯棒性;在小波分解通道上,利用小波分解時(shí)頻特性以及多尺度特性,增強(qiáng)特征判別性,并適當(dāng)放大高頻小波分解系數(shù)增強(qiáng)對(duì)模糊的魯棒性。本文算子的總體計(jì)算流程如圖8所示。
圖8 本文算子總體流程Fig.8 Overall flowchart of the proposed operator
本節(jié)在5 個(gè)常見(jiàn)數(shù)據(jù)庫(kù)(Outex_TC10、Outex_TC11[23]、KTH-TIPS[24]、UMD[25]和UIUC[26])上,驗(yàn)證本文算子特征的判別性、對(duì)旋轉(zhuǎn)變化和圖像模糊的魯棒性以及本文算子的計(jì)算復(fù)雜度。
在特征判別性實(shí)驗(yàn)中,在3 個(gè)較新且較復(fù)雜的紋理庫(kù)(KTH-TIPS、UMD 和UIUC)上,將本文算子與目前較先進(jìn)的LBP 變體算子以及計(jì)算復(fù)雜度較低的神經(jīng)網(wǎng)絡(luò)算子比較。為驗(yàn)證本文算子對(duì)旋轉(zhuǎn)和圖像模糊的魯棒性,分別在僅具有旋轉(zhuǎn)變化的TC10紋理庫(kù)和添加了高斯模糊的TC11紋理庫(kù)上與各實(shí)驗(yàn)算子對(duì)比。同時(shí),為對(duì)比算子的計(jì)算復(fù)雜度,在TC10紋理庫(kù)上,將本文算子的特征維度和平均特征提取時(shí)間與其他實(shí)驗(yàn)算子進(jìn)行比較。文中所用實(shí)驗(yàn)對(duì)比算子簡(jiǎn)單介紹如表2 所示,實(shí)驗(yàn)數(shù)據(jù)庫(kù)介紹如表3 所示,各數(shù)據(jù)庫(kù)中典型圖像樣本如圖9所示。實(shí)驗(yàn)中,所有算子均采用支持向量機(jī)(Support Vector Machine,SVM)進(jìn)行分類,實(shí)驗(yàn)電腦CPU 為i5-4570,Matlab版本為R2014a。
表2 實(shí)驗(yàn)對(duì)比算子介紹Tab.2 Description of comparison operators used in experiments
表3 實(shí)驗(yàn)紋理庫(kù)介紹Tab.3 Description of texture databases used in experiments
圖9 實(shí)驗(yàn)數(shù)據(jù)庫(kù)中典型圖像樣本Fig.9 Typical image samples of the databases used in experiments
為評(píng)估本文算子在紋理分類應(yīng)用上的特征判別性,在KTHTIPS、UMD和UIUC這3個(gè)常用紋理庫(kù)上,將本文算子和目前一些常見(jiàn)的LBP變體算子以及一些計(jì)算量相對(duì)較小的神經(jīng)網(wǎng)絡(luò)算子進(jìn)行比較。實(shí)驗(yàn)紋理庫(kù)中典型圖像樣本如圖9(c)~(e)所示。各實(shí)驗(yàn)算子分類準(zhǔn)確率和特征維度如表4所示。
從字面上理解,遠(yuǎn)與遲相似卻又不同,遲是靠氣息來(lái)調(diào)節(jié),遠(yuǎn)則是憑借意識(shí)來(lái)實(shí)現(xiàn)。氣息有一定的節(jié)奏,可以把握,而意識(shí)卻沒(méi)有節(jié)奏,難以把握。我們可以在節(jié)奏中領(lǐng)會(huì)遠(yuǎn),氣息就為遠(yuǎn)所用,達(dá)到遠(yuǎn)之外的境界,由意識(shí)來(lái)掌握。而隨著意識(shí)的自由翱翔,氣息也相應(yīng)隨之變化,琴意也就隨之達(dá)到了一種玄妙莫測(cè)的境地。時(shí)而表現(xiàn)寂靜的意境,如同遨游峨眉的雪峰;時(shí)而表現(xiàn)流水的消逝,仿佛見(jiàn)到洞庭的煙波。忽快忽慢,具有遠(yuǎn)的微妙情致。當(dāng)音樂(lè)進(jìn)入到了遠(yuǎn)的地步,進(jìn)入玄妙的境界,不是知音就難以理解,但只有這種音樂(lè)才蘊(yùn)含著無(wú)窮無(wú)盡的情致。因而,遠(yuǎn)是“求之弦中如不足,得之弦外則有余也”。
對(duì)于LBP變體算子,在UMD紋理庫(kù)上,雖然基于結(jié)合多尺度特征的CINIRD算子取得最高分類準(zhǔn)確率,但較本文算子的準(zhǔn)確率僅高出0.07個(gè)百分點(diǎn),而特征維度卻較本文算子高出了1 876維。在圖像尺寸最大的UIUC紋理庫(kù)上,本文算子的分類準(zhǔn)確率在所有LBP變體算子中居于領(lǐng)先地位:準(zhǔn)確率較位于第2的SFC算子高0.2個(gè)百分點(diǎn),且特征維度較SFC低1404維;準(zhǔn)確率較位于第3的SSLBP算子高2.8個(gè)百分點(diǎn),且特征維度較SSLBP低2 076維。在KTH-TIPS紋理庫(kù)上,本文算子的分類準(zhǔn)確率在所有LBP變體算子中仍處于領(lǐng)先地位:準(zhǔn)確率較位于第2的MRELBP算子高出了1.12個(gè)百分點(diǎn),而特征維度約為MRELBP的2/5。此外,在3個(gè)紋理庫(kù)中,僅本文算子的分類準(zhǔn)確率均位于98%以上。上述數(shù)據(jù)表明,在存在復(fù)雜變化的圖像中,本文算子仍能穩(wěn)定地以較低的維度提取出圖像中具有判別性的特征。
表4 不同紋理庫(kù)上各算子分類準(zhǔn)確率和特征維度比較Tab.4 Classification accuracy and feature dimension comparison of different operators on different texture databases
對(duì)于神經(jīng)網(wǎng)絡(luò)算子,僅FV-VGG-VD 和FV-VGG-M 算子在圖像尺寸較大的UMD 和UIUC 紋理庫(kù)上取得了較高的分類準(zhǔn)確率,在KTH-TIPS 紋理庫(kù)上的分類準(zhǔn)確率急劇下降;而特征維度相對(duì)較小的PCANet 和RandNet 在三個(gè)紋理庫(kù)上的分類準(zhǔn)確率均未達(dá)到理想水平。說(shuō)明對(duì)于訓(xùn)練樣本較小的場(chǎng)合,本文算子較實(shí)驗(yàn)中的神經(jīng)網(wǎng)絡(luò)算子更具優(yōu)越性。
本文方法中不同通道特征的分類準(zhǔn)確率如表5 所示。從實(shí)驗(yàn)數(shù)據(jù)可以看出,除KTH-TIPS 數(shù)據(jù)庫(kù)上的結(jié)果外,微分通道特征判別略強(qiáng)于小波分解通道特征。而結(jié)合兩個(gè)通道上特征后,參考表4 的實(shí)驗(yàn)數(shù)據(jù),算子分類準(zhǔn)確率均位于領(lǐng)先水平,說(shuō)明本文中兩個(gè)通道特征具有互補(bǔ)性。
表5 不同通道上本文方法分類準(zhǔn)確率 單位:%Tab.5 Classification accuracy of the proposed method on different channels unit:%
5.2.1 旋轉(zhuǎn)魯棒性分析
本節(jié)在僅存在旋轉(zhuǎn)變化的Outex_TC10 紋理庫(kù)上驗(yàn)證本文算子對(duì)旋轉(zhuǎn)變化的魯棒性,Outex_TC10 紋理庫(kù)上典型圖像樣本如圖9(a)所示,各算子分類準(zhǔn)確率如表6所示。
表6 TC10紋理庫(kù)上各算子分類準(zhǔn)確率 單位:%Tab.6 Classification accuracy of different operators on TC10 database unit:%
在僅存在旋轉(zhuǎn)變化的Outex_TC10 紋理庫(kù)上,本文算子、SFC 算子和MRELBP 算子的分類準(zhǔn)確率位于前三,且分類準(zhǔn)確率十分接近,分別為99.87%、99.94%和99.85%,說(shuō)明本文算子對(duì)旋轉(zhuǎn)變化具有很好的魯棒性。對(duì)于實(shí)驗(yàn)中四個(gè)神經(jīng)網(wǎng)絡(luò)算子,網(wǎng)絡(luò)層數(shù)較多的FV-VGG 算子的分類準(zhǔn)確率僅為72.8%和80%,而另外兩個(gè)神經(jīng)網(wǎng)絡(luò)算子的準(zhǔn)確率不足50%,說(shuō)明對(duì)于訓(xùn)練樣本不足的場(chǎng)合,神經(jīng)網(wǎng)絡(luò)算子并不能很好地提取圖像中有代表性的旋轉(zhuǎn)不變信息。
5.2.2 模糊魯棒性分析
為驗(yàn)證本文算子對(duì)圖像高斯模糊的魯棒性,在添加不同標(biāo)準(zhǔn)差(σ)高斯模糊的Outex_TC11 紋理庫(kù)上,將本文算子的分類準(zhǔn)確率與和實(shí)驗(yàn)對(duì)比算子比較。TC11 紋理庫(kù)中典型圖像樣本如圖9(b)所示,實(shí)驗(yàn)結(jié)果如圖10所示。
從圖10 可以看出,在僅存在高斯模糊的TC11 紋理庫(kù)上,本文算子較其他實(shí)驗(yàn)算子對(duì)圖像的高斯模糊具有更強(qiáng)的魯棒性。當(dāng)標(biāo)準(zhǔn)差σ為0.5時(shí),因TC11紋理庫(kù)圖像變化較小,大多數(shù)算子均取得較高的準(zhǔn)確率。當(dāng)高斯PSF 函數(shù)標(biāo)準(zhǔn)差從0.5增加到1.25,大多實(shí)驗(yàn)算子的準(zhǔn)確率分類準(zhǔn)確率均急劇下降,如最近提出的MRELBP 算子和AECLBP 算子的準(zhǔn)確率下降約20 個(gè)百分點(diǎn),AHP 算子下降約40 個(gè)百分點(diǎn),僅本文算子和SFC算子的準(zhǔn)確率下降平緩,且本文算子的降幅最低,降幅僅為6 個(gè)百分點(diǎn)。說(shuō)明本文算子中通過(guò)提取模糊魯棒微分特征和放大高頻小波分解系數(shù)的方法,有效增強(qiáng)了對(duì)圖像高斯模糊的魯棒性。
圖10 TC11紋理庫(kù)上添加不同標(biāo)準(zhǔn)差高斯模糊時(shí)各算子分類準(zhǔn)確率Fig.10 Classification accuracy of different operators on TC11 texture database with different standard deviation Gaussian blurs
算子的特征提取時(shí)間和特征維度是衡量算子計(jì)算復(fù)雜度的兩個(gè)重要指標(biāo),TC10紋理庫(kù)上各算子的特征提取時(shí)間和特征維度如表7所示。
表7 TC10紋理庫(kù)上各算子平均特征提取時(shí)間和特征維度比較Tab.7 Comparison of feature extraction time and feature dimension of different operators on TC10 texture database
在所有的LBP變體算子中,在特征提取時(shí)間方面,平均特征提取時(shí)間最高的為PRICoLBP 算子,其次為MRELBP 算子和SSLBP 算子,其中,相較于PRICoLBP、MRELBP 和SSLBP 算子,本文算子的特征提取時(shí)間分別減小了91.88%、84.5%和82.84%;在特征維度方面,本文算子特征維度僅324 維,不足CINIRD 算子的1/6,不足SFC 算子的1/5,約為MRELBP 算子的2/5。對(duì)于神經(jīng)網(wǎng)絡(luò)算子,四個(gè)算子的特征提取時(shí)間和特征維度均大幅高于本文算子,相較于兩個(gè)FV-VGG 算子,本文算子的特征維度減小了99.5%,與特征提取時(shí)間相對(duì)較小的FV-VGG-M 算子相比,本文算子的特征提取時(shí)間減小了91.39%;與PCANet 和RandNet 算子相比,本文算子的特征維度減小了84.18%,特征提取時(shí)間分別減小了95.66%和95.74%。因此,本文算子相較于實(shí)驗(yàn)對(duì)比算子有著更低的計(jì)算復(fù)雜度,更能滿足實(shí)時(shí)性的要求。
為充分提取圖像時(shí)頻信息和像素間深層次的相關(guān)性信息,增強(qiáng)算子對(duì)模糊和旋轉(zhuǎn)變化的魯棒性,本文在微分特征和小波分解兩個(gè)通道上提取魯棒的圖像特征。為增強(qiáng)特征對(duì)旋轉(zhuǎn)變化的魯棒性,本文通過(guò)各向同性的一階和二階微分算子提取圖像微分特征;為增強(qiáng)特征對(duì)模糊的魯棒性,除采用多階微分特征外,通過(guò)適當(dāng)放大高頻小波分解系數(shù),提取圖像細(xì)節(jié)信息。實(shí)驗(yàn)表明,本文算子可用較低維度的特征向量表達(dá)圖像中有判別性的信息,且對(duì)圖像旋轉(zhuǎn)和圖像模糊具有較強(qiáng)的魯棒性。在未來(lái)的工作中,計(jì)劃將本文算子擴(kuò)展到包含其他種類模糊的應(yīng)用場(chǎng)合,進(jìn)一步擴(kuò)大算子的使用范圍。