蘭 蓉，馬 威

(1.西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121； 2.電子信息現(xiàn)場(chǎng)勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；3.陜西省無(wú)線通信與信息處理技術(shù)國(guó)際合作研究中心，陜西 西安 710121)

現(xiàn)場(chǎng)勘驗(yàn)(現(xiàn)勘)圖像檢索是進(jìn)行證據(jù)圖像比對(duì)以獲取證物信息的重要手段之一[1]。現(xiàn)勘圖像源于真實(shí)的案發(fā)現(xiàn)場(chǎng)，圖像的局部紋理信息豐富并且不同類型圖像的邊緣信息各自具有不同特點(diǎn)[2]，如指紋類圖像的局部紋理基本呈橢圓形分布，輪胎類圖像的局部紋理呈邊塊形和線條形分布，鞋印類圖像多數(shù)呈邊塊形、交織形、點(diǎn)狀、圓形、波折形和線條形分布，窗口類圖像多呈邊塊形、線條形分布等，這給現(xiàn)勘圖像識(shí)別與檢索帶來(lái)了挑戰(zhàn)。

在針對(duì)現(xiàn)勘圖像的紋理特征提取算法中，文獻(xiàn)[3]利用灰度共生矩陣提取現(xiàn)勘圖像的紋理特征，其使用的灰度共生矩陣是描述圖像亮度變化的二階統(tǒng)計(jì)量，不僅反映了亮度的分布特性，也反映了具有同樣亮度或接近亮度的像素之間的位置分布特性[4]，這種方法與人類視覺(jué)模型脫節(jié)，并缺少圖像紋理結(jié)構(gòu)細(xì)節(jié)的描述，其應(yīng)用于現(xiàn)勘圖像檢索時(shí)，檢索的準(zhǔn)確率有待提高。文獻(xiàn)[5]利用雙樹(shù)復(fù)小波變換方法結(jié)合灰度共生矩陣提取現(xiàn)勘圖像的紋理特征，雙樹(shù)復(fù)小波變換雖然能彌補(bǔ)統(tǒng)計(jì)法與人類視覺(jué)模型脫節(jié)的不足，能夠更具體地從多方向分析圖像的紋理特征，但是，其仍未有效地刻畫圖像的結(jié)構(gòu)細(xì)節(jié)。文獻(xiàn)[6]利用改進(jìn)雙樹(shù)復(fù)小波結(jié)合灰度-梯度共生矩陣提取圖像的紋理特征，該算法對(duì)圖像進(jìn)行非均勻分塊，使得當(dāng)圖像紋理分布不明顯、不均勻以及圖像包含大塊的平滑區(qū)域時(shí)，不能有效地反映圖像的紋理信息，進(jìn)而影響算法的檢索準(zhǔn)確率。文獻(xiàn)[7]使用旋轉(zhuǎn)不變局部二值模式(rotation invariant local binary patterns,RILBP)方法提取現(xiàn)勘圖像的紋理特征，該方法利用局部二值模式(local binary patterns,LBP)編碼后的特征圖會(huì)出現(xiàn)邊緣細(xì)節(jié)損失的情況，并且該算法也未有效地刻畫圖像的整體結(jié)構(gòu)，導(dǎo)致其應(yīng)用于現(xiàn)勘圖像檢索時(shí)檢索精度仍然有待提高。

針對(duì)上述算法對(duì)現(xiàn)勘圖像紋理結(jié)構(gòu)細(xì)節(jié)描述不足的問(wèn)題，擬提出一種通用搜索樹(shù)(generalized search trees,GIST)結(jié)合圖像結(jié)構(gòu)細(xì)節(jié)特征的現(xiàn)勘圖像紋理特征提取算法。首先，對(duì)圖像進(jìn)行均勻分塊，利用多級(jí)區(qū)域局部二值模式(multi-block local binary patterns,MB-LBP)[8]提取圖像的紋理結(jié)構(gòu)細(xì)節(jié)，考慮到局部二值模式對(duì)圖像進(jìn)行特征編碼時(shí)會(huì)出現(xiàn)圖像邊緣細(xì)節(jié)損失，采用梯度計(jì)算方法對(duì)圖像的邊緣細(xì)節(jié)進(jìn)行補(bǔ)充描述；其次，利用GIST描述子提取圖像的場(chǎng)景分布特征；最后，將圖像的紋理結(jié)構(gòu)細(xì)節(jié)特征與場(chǎng)景分布特征相結(jié)合，并根據(jù)圖像的紋理結(jié)構(gòu)復(fù)雜度對(duì)刻畫的圖像特征進(jìn)行優(yōu)選，以期算法應(yīng)用于現(xiàn)勘圖像檢索時(shí)能夠取得較好的檢索結(jié)果。

1 基于MB-LBP的圖像細(xì)節(jié)特征描述

基于MB-LBP的圖像細(xì)節(jié)特征描述，主要包括圖像分區(qū)、使用MB-LBP算子提取圖像特征信息以及對(duì)圖像的邊緣細(xì)節(jié)信息的處理。

1.1 MB-LBP

在提取圖像的MB-LBP特征時(shí)，為了包含圖像紋理結(jié)構(gòu)，提出一種基于9×9矩形區(qū)域劃分的MB-LBP特征提取方法，圖像結(jié)構(gòu)區(qū)域劃分示意圖如圖1所示。通過(guò)這樣的區(qū)域劃分，然后分別提取每個(gè)區(qū)域的MB-LBP特征，能夠有效地刻畫圖像紋理結(jié)構(gòu)特征。

圖1 圖像結(jié)構(gòu)區(qū)域劃分示意

圖2 示例圖像處理效果圖

1.2 圖像的邊緣細(xì)節(jié)特征

圖像的梯度[13]是對(duì)在一個(gè)特定方向上不同像素之間差異的描述，其平均梯度則能反映圖像的細(xì)節(jié)反差和紋理變化。假設(shè)用f(x,y)表示一幅圖像，則圖像在點(diǎn)(x,y)處的梯度(即一階微分)可以表示為

其中，Gx與Gy分別表示沿圖像x方向和y方向的梯度，則f(x,y)的幅度可以表示為

其方向角度可以表示為

θ(

現(xiàn)勘圖像的紋理邊緣復(fù)雜而特殊，該類圖像的邊緣區(qū)域往往具有較豐富的梯度信息。構(gòu)造圖像9個(gè)區(qū)域像素簡(jiǎn)化模型示意圖如圖3所示。分別使用黑色圓點(diǎn)和白色圓點(diǎn)表示圖像9個(gè)區(qū)域的像素，其中，白色圓點(diǎn)表示圖像中心區(qū)域的像素，黑色圓點(diǎn)表示圖像邊緣區(qū)域的像素，分別求出黑色圓點(diǎn)區(qū)域以x方向、y方向的平均梯度及其均值，然后按圖1中區(qū)域1-區(qū)域9順序級(jí)聯(lián)，以此作為圖像的邊緣細(xì)節(jié)信息。

圖3 圖像9區(qū)域像素簡(jiǎn)化模型

2 GIST特征的提取

采用全局GIST描述子[14-15]來(lái)量化圖像的場(chǎng)景分布特征，以此來(lái)刻畫圖像的場(chǎng)景分布內(nèi)容。GIST描述子常用一系列統(tǒng)計(jì)屬性來(lái)描述圖像，如粗糙度、自然度，開(kāi)放度、膨脹度和險(xiǎn)峻度等，多用于場(chǎng)景分類。

假設(shè)一幅灰度圖像f(x,y)的大小為h×w。使用卷積尺度為m，方向數(shù)為n的濾波器組，組成nc個(gè)通道的濾波器對(duì)圖像進(jìn)行卷積濾波，將濾波后的圖像劃分為4×4規(guī)格的小塊，對(duì)每個(gè)小塊的灰度取平均得到一個(gè)特征，將特征級(jí)聯(lián)可得圖像的GIST特征，即

(1)

3 利用特征優(yōu)選的圖像檢索

提取基于MB-LBP的圖像結(jié)構(gòu)細(xì)節(jié)特征，然后與GIST特征結(jié)合，并通過(guò)對(duì)圖像的檢索特征進(jìn)行優(yōu)選的方式進(jìn)一步提高現(xiàn)勘圖像檢索算法的檢索精度。

3.1 特征歸一化

將圖像的結(jié)構(gòu)細(xì)節(jié)特征和GIST特征簡(jiǎn)單地聯(lián)合在一起，會(huì)因?yàn)槭褂枚嗵卣魈崛∷惴◣?lái)多個(gè)特征之間量綱級(jí)別不同的問(wèn)題。為此，需要對(duì)提取的兩個(gè)部分的圖像特征進(jìn)行線性歸一化處理[16]，將原始數(shù)據(jù)轉(zhuǎn)換為界于某一特定范圍的數(shù)據(jù)，消除量綱和數(shù)量級(jí)的影響。設(shè)一幅圖像可提取出L個(gè)特征值，歸一化操作有以下3個(gè)步驟。

首先，將提取的圖像特征組成矩陣形式。假設(shè)提取的數(shù)據(jù)特征形成的矩陣為

其中：N表示數(shù)據(jù)庫(kù)中圖像的總數(shù)；L表示提取的每幅圖像特征的維數(shù)。

其次，選取特征矩陣每列的最大值，記為矩陣FG=(fG1,fG2,…,fGL)；選取特征矩陣每列最小值記為矩陣FM=(fM1,fM2,…,fML)。

最后，進(jìn)行特征歸一化，組成歸一化矩陣。歸一化矩陣的計(jì)算公式為

其中：fij為圖像特征矩陣F中的元素，i=1,2,…,N，j=1,2,…,L；fMj和fGj分別為矩陣FM和FG中的元素。

3.2 特征優(yōu)選

為進(jìn)一步提高檢索算法的檢索精度，提出一種可以根據(jù)圖像的紋理結(jié)構(gòu)復(fù)雜度對(duì)待表達(dá)圖像特征進(jìn)行優(yōu)選的紋理特征提取算法，基于特征優(yōu)選的圖像檢索算法原理示意圖如圖4所示。

圖4 基于特征優(yōu)選的圖像檢索原理

1)提取數(shù)據(jù)庫(kù)圖像紋理特征，并建立圖像紋理特征庫(kù)。

對(duì)圖像進(jìn)行檢索時(shí)，按照如下步驟提取數(shù)據(jù)庫(kù)圖像紋理特征，并建立圖像的紋理特征庫(kù)1和特征庫(kù)2。

步驟1將所有圖像轉(zhuǎn)換為灰度圖像，然后對(duì)圖像進(jìn)行均勻分塊，將圖像統(tǒng)一規(guī)范成大小為255×255的規(guī)格，使得行、列均能被3整除。

步驟2根據(jù)本文第一部分的原理，忽略邊緣區(qū)域的梯度特征，提取圖像的結(jié)構(gòu)細(xì)節(jié)信息，提取單幅圖像特征維數(shù)為531維，建立紋理特征庫(kù)1。

步驟3根據(jù)本文第一部分的原理，提取圖像的結(jié)構(gòu)細(xì)節(jié)特征，根據(jù)式(1)提取原灰度圖像的GIST特征，并進(jìn)行級(jí)聯(lián)操作。

步驟4對(duì)級(jí)聯(lián)特征進(jìn)行線性歸一化操作，完成聯(lián)合特征的提取。提取單幅圖像的特征維數(shù)為1 067維，建立圖像的紋理特征庫(kù)2。

2)優(yōu)選待查詢圖像特征。

按照如下步驟對(duì)待查詢圖像的特征進(jìn)行優(yōu)選，用于現(xiàn)勘圖像檢索。

步驟1計(jì)算圖像各個(gè)區(qū)域所有方向梯度值的均值，然后求出這9個(gè)均值的方差，記為圖像的結(jié)構(gòu)復(fù)雜度α。

步驟2根據(jù)圖像庫(kù)自身的特點(diǎn)設(shè)定復(fù)雜度閾值k。

步驟3若α≤k，則提取圖像的紋理結(jié)構(gòu)細(xì)節(jié)信息作為圖像的檢索特征，然后進(jìn)入步驟4檢索待查詢圖像；若α>k，則說(shuō)明圖像紋理結(jié)構(gòu)分布復(fù)雜，并含有豐富的場(chǎng)景特征，則提取圖像的聯(lián)合特征作為圖像的檢索特征，然后進(jìn)入步驟4檢索待查詢圖像。

步驟4使用街區(qū)距離度量待查詢圖像與數(shù)據(jù)庫(kù)圖像紋理特征的相似性[17]，返回與查詢圖像相關(guān)的圖像。

設(shè)Vdata、Vquery分別表示數(shù)據(jù)庫(kù)圖像和待查詢圖像，按照所提算法提取數(shù)據(jù)庫(kù)圖像和待查詢圖像的紋理特征向量可以分別表示為

Vdata=(d1,d2,…,di,…dL)，Vquery=(q1,q2,…,qi,…qL)

其中：di表示提取數(shù)據(jù)庫(kù)圖像特征的第i個(gè)分量；qi表示提取查詢圖像特征的第i個(gè)分量；L為特征向量的維數(shù)。

則街區(qū)距離D(Vdata,Vquery)的計(jì)算表達(dá)式為

距離D(Vdata,Vquery)的值越小，表明兩幅圖像越相似。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)所用計(jì)算機(jī)的處理器為Intel(R) Core(TM) i5-3230M，內(nèi)存4 GB，使用的操作系統(tǒng)是 Windows10 Professional 64位版本，程序仿真環(huán)境為Matlab 2018a-64位。實(shí)驗(yàn)所用的測(cè)試數(shù)據(jù)庫(kù)為現(xiàn)勘圖庫(kù)和Outex_TC_00010-r紋理數(shù)據(jù)庫(kù)。其中，現(xiàn)勘圖庫(kù)的所有圖像均來(lái)自真實(shí)案發(fā)現(xiàn)場(chǎng)。由于保密要求，實(shí)驗(yàn)所使用的圖像與原始圖像相比略有改動(dòng)[5]。實(shí)驗(yàn)使用的現(xiàn)堪圖像共包括輪胎、汽車、現(xiàn)場(chǎng)、鞋印、指紋、窗口、槍和刀具8類，每類共有50幅圖像，現(xiàn)勘圖庫(kù)中部分示例圖像如圖5所示。

圖5 現(xiàn)勘圖庫(kù)中部分示例圖像

紋理數(shù)據(jù)庫(kù)Outex_TC_00010-r是Outex數(shù)據(jù)庫(kù)中紋理分類算法常用的測(cè)試庫(kù)之一，可以用于評(píng)估算法對(duì)紋理圖像旋轉(zhuǎn)不變性的有效性。該圖庫(kù)有24類紋理圖像，每類共有180種，分別包括0°、5°、10°、15°、30°、45°、60°、75°和90°等9個(gè)不同旋轉(zhuǎn)角度的圖像[18]。將該圖庫(kù)用于算法的測(cè)試圖庫(kù)，以整個(gè)圖庫(kù)的平均檢索準(zhǔn)確率評(píng)估所提算法對(duì)紋理圖像旋轉(zhuǎn)不變性的有效性。

以準(zhǔn)確率和檢索率[19]作為評(píng)價(jià)算法性能的指標(biāo)。設(shè)經(jīng)過(guò)檢索返回的Nreturn幅圖像中有Na幅圖像是相關(guān)的，圖庫(kù)中與待檢索圖像相關(guān)的圖像共有Ndata幅，則準(zhǔn)確率P與檢索率R的計(jì)算表達(dá)式分別為

使用準(zhǔn)確率-檢索率(P-R)曲線及檢索準(zhǔn)確率曲線來(lái)檢驗(yàn)算法的性能。

圖6 現(xiàn)勘庫(kù)中不同k值對(duì)應(yīng)的檢索準(zhǔn)確率

圖7 Outex_TC_00010-r庫(kù)中不同k值對(duì)應(yīng)的檢索準(zhǔn)確率

從圖6可以看出，刑偵現(xiàn)勘圖像庫(kù)中不同k值對(duì)應(yīng)的檢索準(zhǔn)確率不同。當(dāng)k=0時(shí)，提取的僅為圖像的聯(lián)合特征，未進(jìn)行特征優(yōu)選，此時(shí)檢索準(zhǔn)確率為85.48%；當(dāng)k=4時(shí)，檢索準(zhǔn)確率達(dá)到了86.13%，提高了0.65%。

從圖7可以看出Outex_TC_00010-r數(shù)據(jù)庫(kù)中閾值k對(duì)檢索準(zhǔn)確率的影響。當(dāng)k=0時(shí)，提取的僅為聯(lián)合特征，此時(shí)檢索準(zhǔn)確率達(dá)到了95.67%，但是當(dāng)k=1時(shí)，檢索準(zhǔn)確率達(dá)到了97.03%，相比較提高了1.36%。

由此可見(jiàn)，算法復(fù)雜度閾值k對(duì)表達(dá)圖像的特征并進(jìn)行優(yōu)選有一定的影響。根據(jù)實(shí)驗(yàn)結(jié)果，在刑偵圖像庫(kù)中取k=4，在Outex_TC_00010-r數(shù)據(jù)庫(kù)中取k=1時(shí)，算法的準(zhǔn)確率最高，此時(shí)對(duì)于相關(guān)數(shù)據(jù)庫(kù)圖像紋理的分辨性能最佳。

為了驗(yàn)證算法的旋轉(zhuǎn)不變性，使用Outex_TC_00010-r數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)。由于Outex_TC_00010-r數(shù)據(jù)庫(kù)圖像的種類和數(shù)量較多，選擇返回前20和前30幅圖像的平均檢索準(zhǔn)確率作為有效數(shù)據(jù)進(jìn)行測(cè)量。GIST算法[15]、MB-LBP算法[8]和所提算法在Outex_TC_00010-r數(shù)據(jù)庫(kù)的平均檢索準(zhǔn)確率結(jié)果如表1所示?？梢钥闯?，本文算法返回前20和前30幅圖像的平均檢索準(zhǔn)確率，相比GIST算法分別提高了4.23%和8.85%，相比MB-LBP算法分別提高了1.36%和0.59%?？梢?jiàn)，所提算法的旋轉(zhuǎn)不變性較高。

表1 3種算法Outex_TC_00010-r圖庫(kù)的檢索準(zhǔn)確率

為檢驗(yàn)算法對(duì)圖像紋理特征的刻畫性能，特將基于MB-LBP特征、GIST特征、紋理結(jié)構(gòu)細(xì)節(jié)特征1(所提的紋理結(jié)構(gòu)細(xì)節(jié)特征提取方法，記為9MBLBP-8G)、紋理結(jié)構(gòu)細(xì)節(jié)特征2(所提的紋理結(jié)構(gòu)細(xì)節(jié)信息提取方法，但不級(jí)聯(lián)邊緣區(qū)域的梯度信息，記為9MBLBP)、GIST結(jié)合MB-LBP特征(記為GIST-MB LBP)和所提算法檢索現(xiàn)勘圖像庫(kù)，并對(duì)得到的圖像檢索結(jié)果進(jìn)行對(duì)比分析，6種不同算法的P-R曲線如圖8所示。

圖8 6種算法的P-R曲線

從圖8可以看出，相比于其他5種算法，所提算法的檢索性能較好，說(shuō)明所提算法對(duì)現(xiàn)勘圖像紋理特征的刻畫能力更強(qiáng)。另外，對(duì)比圖8中的MB-LBP和9MBLBP算法的P-R曲線可以看出，對(duì)圖像進(jìn)行分塊，然后提取每個(gè)塊的MB-LBP特征并級(jí)聯(lián)的做法行之有效，使得提取的特征具備圖像的結(jié)構(gòu)信息，增強(qiáng)了MB-LBP描述子對(duì)圖像紋理特征的描述性能，從而提高了檢索率和檢索的準(zhǔn)確率。對(duì)比圖8中的9MBLBP與9MBLBP-8G算法的P-R曲線可以看出，提取圖像邊緣區(qū)域梯度信息彌補(bǔ)MB-LBP描述子提取圖像紋理特征造成邊緣信息損失的做法是有效的，能夠提高圖像檢索的準(zhǔn)確率和檢索率。從圖8中的基于MB-LBP特征、GIST特征和GIST-MBLBP特征檢索算法的P-R曲線可以看出，單獨(dú)使用MB-LBP特征和GIST特征算法提取圖像紋理特征對(duì)現(xiàn)勘圖像的檢索能力要弱于聯(lián)合使用兩個(gè)特征的GIST-MBLBP算法。

所提算法與基于灰度共生矩陣結(jié)合顏色特征(gray-level co-occurrence matrix and HSV,GLCM-HSV)[3]、灰度共生矩陣與雙樹(shù)復(fù)小波變換結(jié)合形狀特征(dual-tree complex wavelet transform and gray-level co-occurrence matrix and Hu,DT-GLCM-Hu)[5]和改進(jìn)雙數(shù)復(fù)小波結(jié)合灰度-梯度共生矩陣特征(dual-tree complex wavelet transform and gray-gradient co-occurrence matrix,DTCW-GGCM)[6]對(duì)現(xiàn)勘圖庫(kù)的圖像進(jìn)行檢索，4種算法的P-R曲線如圖9所示。從圖9可以看出，所提算法的檢索率與準(zhǔn)確率高于GLCM-HSV、DT-GLCM-Hu和DTCW-GGCM算法。這是因?yàn)椋F(xiàn)勘圖像本身存在較為明顯的紋理特征，所提算法能夠分析并挖掘現(xiàn)勘圖像的紋理特征，能夠在一定程度上實(shí)現(xiàn)對(duì)現(xiàn)勘圖像內(nèi)容的有效描述，從而對(duì)現(xiàn)勘圖像檢索的性能較好。

圖9 4種算法的P-R曲線

進(jìn)一步比較所提算法和旋轉(zhuǎn)不變局部二值模式結(jié)合新空間關(guān)系下的顏色特征(rotation invariant local binary patterns combining with color under new space relationship,RILBP-CNSR)算法[7]對(duì)現(xiàn)勘圖庫(kù)的圖像進(jìn)行檢索時(shí)，提取單幅圖像特征的維度數(shù)以及返回前10幅圖像的F1測(cè)度值。其中，維度指提取單幅圖像的特征維度，F(xiàn)1測(cè)度值指返回前10幅圖像的檢索率與查準(zhǔn)率的綜合結(jié)果值，F(xiàn)1測(cè)度值越高，說(shuō)明方法的檢索性能越好[20]。RILBP-CNSR與所提算法的維度及F1測(cè)度值對(duì)比如表2所示。

表2 RILBP-CNSR與本文算法的維度及F1測(cè)度值

可以看出，相較于RILBP-CNSR算法，一方面，所提算法的F1測(cè)度值大于RILBP-CNSR算法，說(shuō)明所提算法能夠更加有效地描述圖像的紋理分布情況，檢索性能較優(yōu)。另一方面，RILBP-CNSR算法提取單幅圖像的底層特征維度為2 075維，而所提算法的特征維度為1 067維，所提算法僅涉及現(xiàn)勘圖像的紋理特征，提取方法簡(jiǎn)單，檢索效率較高。

5 結(jié)語(yǔ)

考慮到現(xiàn)勘圖像紋理結(jié)構(gòu)細(xì)節(jié)豐富，提出一種可以根據(jù)圖像結(jié)構(gòu)復(fù)雜度對(duì)表達(dá)圖像的特征進(jìn)行優(yōu)選的紋理特征提取算法。該算法首先通過(guò)對(duì)圖像進(jìn)行均勻分塊，利用多級(jí)區(qū)域局部二值模式和圖像梯度對(duì)圖像的紋理結(jié)構(gòu)細(xì)節(jié)特征進(jìn)行刻畫;然后，將圖像的結(jié)構(gòu)細(xì)節(jié)特征與圖像的場(chǎng)景分布特征相結(jié)合，使得提取的現(xiàn)堪圖像紋理特征具備圖像的結(jié)構(gòu)細(xì)節(jié)信息；最后，為了進(jìn)一步提高算法對(duì)圖像紋理特征的刻畫能力，利用圖像的結(jié)構(gòu)復(fù)雜度對(duì)表達(dá)圖像的特征進(jìn)行優(yōu)選，使得算法的紋理分辨性能進(jìn)一步提高。實(shí)驗(yàn)結(jié)果表明，所提算法的紋理圖像旋轉(zhuǎn)不變性較好，現(xiàn)堪圖像檢索效果較好。