李超華 田晶晶 姜樂怡

（西安郵電大學(xué)計(jì)算機(jī)學(xué)院 西安 710061）

1 引言

數(shù)字圖像技術(shù)由于在圖像獲取及處理上具有極大優(yōu)勢(shì)，目前在法庭科學(xué)領(lǐng)域得到了廣泛應(yīng)用［1～3］。刑事照相是刑事勘驗(yàn)中獲取物證（如痕檢和文檢）的重要方式，通過勘驗(yàn)獲取的圖像可以為偵查破案提供線索，為提起公訴和審判提供證據(jù)?，F(xiàn)階段我國(guó)治安形勢(shì)較為嚴(yán)峻，流竄作案、異地作案問題日益突出。現(xiàn)場(chǎng)分析與串并案?jìng)刹槭谴驌魟?dòng)態(tài)化、系列化犯罪的有效措施［4］。公安干警在案發(fā)現(xiàn)場(chǎng)勘察中會(huì)獲取大量刑偵圖像，刑偵圖像查詢比對(duì)在為公安機(jī)關(guān)提供破案線索和串并案分析過程中發(fā)揮著重要作用。目前我國(guó)公安行業(yè)刑偵圖像查詢比對(duì)主要依靠人工進(jìn)行。隨著案件的不斷積累，刑偵圖像數(shù)據(jù)量不斷增大，迫切需要一套高效刑偵圖像檢索系統(tǒng)［5］。

基于內(nèi)容的圖像檢索（Content-Based Image Retrieval，CBIR）克服了基于文本的圖像檢索中人工標(biāo)注低效性、主觀性和工作量大等弊端，得到了廣泛的研究與應(yīng)用［6］。CBIR主要采用“按例檢索”框架（Query By Example，QBE），即預(yù)先按照某種算法提取自然圖像的低層特征（如顏色、紋理和形狀）形成一個(gè)特征庫(kù)，然后計(jì)算查詢圖像的特征并與特征庫(kù)進(jìn)行匹配以尋找相似圖像［6］。刑偵圖像涉及實(shí)際案件，數(shù)據(jù)來源特殊，目前國(guó)內(nèi)外關(guān)于刑偵圖像檢索的研究還比較少。WEN等采用QBE框架，提取圖像顏色直方圖、灰度共生矩陣、粗糙度、Ga?bor特征等顏色和紋理特征，進(jìn)行圖像檢索的實(shí)驗(yàn)，證實(shí)了圖像檢索技術(shù)在刑偵圖像檢索中的可行性［7］；劉穎等探討了基于內(nèi)容的圖像檢索技術(shù)在公共安全領(lǐng)域內(nèi)的應(yīng)用［8］；劉穎等還使用顏色直方圖、小波紋理特征和二者融合特征，用歐氏距離和街區(qū)距離作為相似性度量，進(jìn)行了刑偵圖像檢索研究［9］；WEN［7］和劉穎［8～9］等的工作表明，QBE 檢索框架用于刑偵圖像檢索時(shí)效率不高；黃源針對(duì)刑偵圖像提出基于區(qū)域語(yǔ)義模板的圖像檢索方法［10］。該方法包括用戶提交查詢圖像及感興趣區(qū)域、構(gòu)建區(qū)域語(yǔ)義模板、預(yù)分類和最終的圖像排序等步驟。初步實(shí)驗(yàn)表明，該方法在提髙刑偵圖像的查準(zhǔn)率方面是有效的；案發(fā)現(xiàn)場(chǎng)采集的鞋印和輪胎花紋圖像在犯罪偵查中會(huì)提供有價(jià)值的線索，一些研究者也提出了鞋印和輪胎花紋圖像的檢索方法。WEI等針對(duì)刑事勘驗(yàn)中采集的鞋印圖像殘缺不全及含有噪聲的特點(diǎn)，采用尺度不變性特征用于鞋印圖像識(shí)別和檢索［11］；LIU等人基于Radon和Curvelet變換的兩種新的旋轉(zhuǎn)不變的紋理特征算法并用于車胎花紋圖像檢索［12］。

為了解決傳統(tǒng)QBE檢索框架用于刑偵圖像檢索時(shí)效率不高的問題［8～9］，本文提出一種用于刑偵圖像檢索的兩層體系方法。該方法包含兩個(gè)步驟，首先使用線性核支持向量機(jī)分類器和圖像的方位梯度直方圖特征判別查詢圖像的語(yǔ)義類別。該步驟的意義在于由于刑偵圖像數(shù)據(jù)庫(kù)的規(guī)模會(huì)越來越大，QBE框架在每次檢索時(shí)都會(huì)匹配數(shù)據(jù)庫(kù)中的每幅圖像，效率比較低。公安干警在現(xiàn)場(chǎng)刑事勘驗(yàn)結(jié)束后會(huì)把采集的每幅圖像歸為某個(gè)類別，針對(duì)某個(gè)類別的數(shù)據(jù)庫(kù)規(guī)模則相對(duì)比較小。如果在檢索時(shí)能夠先對(duì)查詢圖像進(jìn)行分類，根據(jù)分類結(jié)果在針對(duì)某個(gè)語(yǔ)義類的小規(guī)模數(shù)據(jù)集上進(jìn)行內(nèi)容相似性檢索就會(huì)提高檢索效率。提出方法的第二個(gè)步驟為根據(jù)查詢圖像的語(yǔ)義類別在僅包含該語(yǔ)義類圖像的數(shù)據(jù)集上使用按例檢索方法進(jìn)行檢索。在按例檢索時(shí)使用了排序合成模型以提高檢索效率。初步實(shí)驗(yàn)結(jié)果表明本文方法的檢索精度優(yōu)于傳統(tǒng)的按例檢索方法。

2 算法設(shè)計(jì)

2.1 算法框架

圖1 兩層體系刑偵圖像檢索框架

2.2 特征提取

刑偵圖像中包含大量的鞋印、指紋、輪胎花紋、案發(fā)現(xiàn)場(chǎng)草圖等圖像，這些圖像不含有顏色信息。因此本文實(shí)驗(yàn)中使用了圖像的紋理特征。使用的紋理特征包括了8種在圖像檢索中已被證實(shí)有效的特征算法。這些算法可以分為三類：

1）直方圖特征

包括 MPEG-7邊緣直方圖［16］、局部二值模式（Local Binary Pattern，LBP）［17］和方位梯度直方圖（Histograms of Oriented Gradients，HOG）［18］。

2）多尺度特征

包括Gabor濾波器特征［19］和小波特征。

3）非線性紋理特征

如果將圖像紋理視為非線性動(dòng)力系統(tǒng)產(chǎn)生的信號(hào)，就可以使用非線性分析方法來提取圖像的紋理特征。復(fù)雜性度量和分維數(shù)是用于非線性信號(hào)分析的方法，在圖像檢索中也得到了應(yīng)用。本文將金字塔分解和非線性分析方法結(jié)合起來提取圖像特征，采用二維C0復(fù)雜性計(jì)算圖像復(fù)雜度［20］，使用盒維數(shù)方法計(jì)算分維數(shù)［21］。計(jì)算特征值時(shí)先用金字塔分解方法對(duì)圖像進(jìn)行多尺度分析，依次對(duì)原始圖像進(jìn)行金字塔分解，對(duì)得到的各個(gè)尺度圖像采用如下方法計(jì)算特征：首先將圖像分為大小相等的4塊，然后取圖像中心和上述塊大小相等的圖像塊（取圖像中心的原因是在大多數(shù)圖像中目標(biāo)出現(xiàn)在中心區(qū)域）。分別計(jì)算整幅圖像以及上述得到的5個(gè)圖像塊的復(fù)雜度和分維數(shù)值，形成6維特征。所有的尺度處理完畢就得到最終的特征向量。

2.3 多語(yǔ)義分類器設(shè)計(jì)與排序合成

利用支持向量機(jī)（Support Vector Machine，SVM）對(duì)輸入刑偵圖像進(jìn)行語(yǔ)義分類，采用“一對(duì)一法（One-Against-One，OAO）”，即通過組合多個(gè)二分類器實(shí)現(xiàn)多分類器構(gòu)造。本文實(shí)驗(yàn)中使用了CombANZ、CombSUM和CombMNZ等幾種廣泛使用的方法用于圖像檢索結(jié)果的排序合成［13］。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

實(shí)驗(yàn)中計(jì)算機(jī)配置為CPU為Intel?Core?i3雙核（64位處理器），3.4GHz；內(nèi)存為8G；操作系統(tǒng)為Windows?8.1中文版（64位系統(tǒng)）；實(shí)驗(yàn)程序用Matlab?R2010b編寫。對(duì)所有特征進(jìn)行歸一化，采用的相似性度量函數(shù)為余弦距離法。實(shí)驗(yàn)數(shù)據(jù)庫(kù)中包含了采集自公安機(jī)構(gòu)的刑偵圖像，共4501幅，計(jì)10個(gè)語(yǔ)義類（指紋、實(shí)物證據(jù)、鞋印、外景、大門、案發(fā)現(xiàn)場(chǎng)草圖、輪胎花紋、車輛、窗戶、道路）。數(shù)據(jù)庫(kù)中部分圖像示例如圖2所示。

3.2 結(jié)果評(píng)價(jià)指標(biāo)

采用 AVG-p［22］指標(biāo)（該指標(biāo)越大表明檢索結(jié)果越好）、AVG-r指標(biāo)（該指標(biāo)越小表明檢索結(jié)果越好）［22］以及ANMRR指標(biāo)［23］（該指標(biāo)越小表明檢索結(jié)果越好）進(jìn)行評(píng)價(jià)。這些評(píng)價(jià)指標(biāo)不但考慮了檢出圖像的語(yǔ)義相關(guān)性，還考慮了相關(guān)圖像在檢出結(jié)果中的排序值，可視為查準(zhǔn)率和查全率的改進(jìn)。

圖2 刑偵圖像數(shù)據(jù)庫(kù)中部分圖像示例

3.3 實(shí)驗(yàn)結(jié)果I

本文的實(shí)驗(yàn)分為兩個(gè)部分。第一部分比較了2.2節(jié)中8種紋理特征在QBE框架下刑偵圖像檢索中的性能。QBE框架下從每個(gè)語(yǔ)義類中隨機(jī)選取15幅圖像，依次作為查詢圖像進(jìn)行檢索，共進(jìn)行10輪，取所有語(yǔ)義類檢索結(jié)果指標(biāo)的平均值作為最終評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)中小波特征的母函數(shù)為Haar和DB2；Gabor特征計(jì)算使用了4個(gè)尺度和6個(gè)方位；小波和Gabor特征均計(jì)算每個(gè)尺度下的均值和標(biāo)準(zhǔn)差作為特征；小波和非線性特征計(jì)算時(shí)均使用了3個(gè)尺度；其余參數(shù)均按照各個(gè)特征算法的默認(rèn)值設(shè)置。表1給出了MPEG-7邊緣直方圖（EHD）、局部二值模式（LBP）、方位梯度直方圖（HOG）、Gabor濾波器特征（Gabor）、Haar小波特征（Haar-WL）、DB2小波特征（DB2-WL）、多尺度復(fù)雜性（MS-C）和多尺度分維數(shù)（MS-FD）。表1中加粗及下劃線的指標(biāo)表示最優(yōu)。

表1 實(shí)驗(yàn)中使用的紋理特征檢索性能比較

由表1可以看出，HOG特征在AVG-p和ANMRR兩個(gè)指標(biāo)上取得最佳檢索效果，在ANMRR指標(biāo)上取得次佳檢索效果；MS-FD特征在AVG-r指標(biāo)上取得最佳檢索效果。令人鼓舞的是，MS-FD特征向量只有18維，但它在刑偵圖像數(shù)據(jù)庫(kù)上的檢索結(jié)果超過了Gabor和小波特征算法。MS-FD特征提取了圖像的局部灰度波動(dòng)信息。這表明在刑偵圖像檢索中該因素在特征算法設(shè)計(jì)上值得關(guān)注。

3.4 實(shí)驗(yàn)結(jié)果II

本文實(shí)驗(yàn)的第二部分比較了傳統(tǒng)QBE框架和本文提出方法之間的性能。根據(jù)3.3節(jié)的實(shí)驗(yàn)結(jié)果，選取了HOG特征作為特征算法。顯然本文提出方法中的關(guān)鍵在于刑偵圖像語(yǔ)義分類的正確性。實(shí)驗(yàn)中使用了多語(yǔ)義SVM分類器。該分類器通過預(yù)先訓(xùn)練的方式得到（離線），然后在線分類查詢圖像語(yǔ)義標(biāo)簽。訓(xùn)練分類器時(shí)隨機(jī)選擇每個(gè)語(yǔ)義類樣本數(shù)的40%作為訓(xùn)練樣本，按照OAO構(gòu)造SVM多語(yǔ)義分類器，將剩余60%樣本作為測(cè)試樣本，測(cè)試分類正確率，進(jìn)行20輪，取平均值作為最終結(jié)果。語(yǔ)義類數(shù)目為K=10，按照OAO方法需要構(gòu)造K×（K-1）/2=45個(gè)基本SVM分類器。對(duì)一個(gè)未知樣本進(jìn)行分類時(shí)，用每個(gè)基本SVM分類器進(jìn)行分類，最后得票最多的類別即為該未知樣本的類別。實(shí)驗(yàn)中使用了LibSVM工具包。實(shí)驗(yàn)結(jié)果表明基于線性核的SVM分類效果最佳。

公安干警輸入查詢刑偵圖像后，離線訓(xùn)練得到的SVM分類器首先對(duì)其進(jìn)行語(yǔ)義分類（如分類結(jié)果為“實(shí)物證據(jù)”），然后在僅包含“實(shí)物證據(jù)”圖像的子數(shù)據(jù)庫(kù)上進(jìn)行匹配。匹配時(shí)分別在HOG、EHD和MS-FD特征的特征庫(kù)上進(jìn)行（表1表明這三個(gè)特征的實(shí)驗(yàn)結(jié)果最佳）。上述每個(gè)特征的特征庫(kù)匹配后會(huì)返回一個(gè)匹配結(jié)果列表，在這三個(gè)列表上使用排序合成算法進(jìn)行信息融合以得到最終的匹配結(jié)果。實(shí)驗(yàn)中使用了CombANZ、CombSUM和CombMNZ算法進(jìn)行排序合成［13］。圖3給出實(shí)驗(yàn)結(jié)果。

由圖3（a）可以看出，提出的方法在AVG-r和ANMRR兩個(gè)指標(biāo)上比傳統(tǒng)的QBE框架效果更好。CombMNZ算法在三種排序合成算法中效果是最好的；但在AVG-p指標(biāo)上，本文方法不如QBE方法。原因是SVM分類器對(duì)查詢圖像分類錯(cuò)誤會(huì)導(dǎo)致較低的AVG-p數(shù)值，這是后續(xù)工作需要著重改進(jìn)的地方發(fā)；由圖3（b）可以看出，結(jié)合排序合成的QBE框架檢索性能略微優(yōu)于傳統(tǒng)的QBE框架，同樣CombMNZ算法效果最佳。由圖3可知，本文方法的檢索精度優(yōu)于傳統(tǒng)的QBE方法，CombMNZ算法的信息融合性能最佳。

4 結(jié)語(yǔ)

本文提出了兩層體系刑偵圖像檢索方法。該方法使用預(yù)先訓(xùn)練的多語(yǔ)義SVM分類器對(duì)查詢示例圖像進(jìn)行分類，然后在僅包含該語(yǔ)義類圖像的數(shù)據(jù)集上進(jìn)行檢索，這樣可以減少匹配圖像的數(shù)目。之后基于排序合成的QBE方法用于圖像檢索。實(shí)驗(yàn)結(jié)果表明提出方法的檢索精度優(yōu)于傳統(tǒng)的QBE方法。下一步工作中將測(cè)試更大的刑偵圖像數(shù)據(jù)庫(kù)、更多的分類器算法和排序合成算法。

圖3 本文方法和QBE方法的性能比較