王海波,艾斯卡爾·艾木都拉
(新疆大學(xué) 信息科學(xué)與工程學(xué)院,新疆 烏魯木齊 830046)
顏色特征是基于內(nèi)容的圖像檢索(CBIR,Content Based Image Retrieval)中一個非常重要的特征,其對圖像本身的尺寸、方向和視角的依賴性較小,具有很強的魯棒性。顏色直方圖[1]是一個使用非常廣泛的顏色特征圖像索引技術(shù),該技術(shù)提取特征方便,有平移和旋轉(zhuǎn)不變性,但這種技術(shù)僅統(tǒng)計全局顏色特性,失去了顏色空間分布信息,檢索效果不佳。直方圖相交法[2]、色彩聚合矢量法[3]、累加直方圖法[4]等方法的提出,一定程度上改善了顏色直方圖方法的不足,但仍失去部分顏色空間分布信息。文獻[5-6]采用顏色和邊緣綜合特征進行檢索,文獻[7]采用基于小波的 Contourlet變換(WBCT,Wavelet-based Contourlet Transform)與平滑共生矩陣相結(jié)合的方法進行圖像檢索,文獻[8]采用信息代理技術(shù)(Agent)進行圖像檢索,這些方法雖檢索精度有了提高,但其復(fù)雜的算法使得檢索消耗大量的時間,增加了用戶的等待時間。
提出了一種改進的基于顏色和邊緣特征的快速圖像檢索技術(shù)。算法可分為兩步:①是統(tǒng)計HSI顏色空間的H分量并計算色調(diào)直方圖,通過計算特征相似性度量獲得初級檢索圖像庫;②是通過改進的數(shù)學(xué)形態(tài)學(xué)算法對圖像庫進行二次檢索得到檢索結(jié)果。
常用的顏色空間有RGB顏色模型、CMY和CMYK顏色模型、HSI顏色模型等。由于HSI色彩空間是從人的視覺系統(tǒng)出發(fā),用色調(diào)、飽和度和亮度來描述色彩,更符合人的視覺特性,故這里采用HSI顏色模型。
統(tǒng)計圖像中H分量的數(shù)量,建立色調(diào)直方圖。用向量(1)和向量(2)分別表示待檢測圖像q和圖像庫中第i個圖像的色調(diào)直方圖特征。
其中N為特征向量的維數(shù),0<N≤360,N越大,特征信息越豐富,檢索效果越好,然而計算量也越大。在檢索效果允許的情況下,為減少計算量,經(jīng)實驗現(xiàn)選擇特征分辨率為R=5°。則N=360°/R,即特征向量的維數(shù)為72。
相似距離的選取其對檢索結(jié)果有非常重要的影響。距離越大,兩幅圖像的相似性越小。
由公式(3)可計算圖像庫中每個圖像與待檢測圖像之間的距離向量D如公式(4),
其中I為圖像庫中圖像的數(shù)量。
假設(shè)Pr為初級檢索圖像庫中圖像的數(shù)量P′與原圖像庫中圖像數(shù)量P的比例,則
其中 Pr的值通過實驗得出,具體方法在實驗結(jié)果及分析部分有闡述。
在公式(5)中Pr及P的值都是已知,則可得到P′得值。
對距離向量D進行從小到大排序,得到排序后的距離向量D′,如公式(6):
取出向量D′前P′個向量元素,查詢這P′個向量元素在原圖像庫中所對應(yīng)的圖像。所查詢的P′個圖像構(gòu)成的圖像集合,即是初級檢索圖像庫。
傳統(tǒng)的數(shù)學(xué)形態(tài)學(xué)邊緣檢測梯度算子有:
膨脹型:
腐蝕型:
膨脹腐蝕型:
其中⊕為膨脹運算,Θ為腐蝕運算,A為原圖像,B為結(jié)構(gòu)元素。
這些方法實現(xiàn)簡單,降低時間復(fù)雜度,然而其對噪聲較為敏感,導(dǎo)致檢索結(jié)果不佳。
使用一種改進的數(shù)學(xué)形態(tài)學(xué)邊緣檢測梯度算子[5],如公式(10)所示。
其中“?”表示開運算,“?”表示閉運算。
該算子邊緣定位準(zhǔn)確、連續(xù)性好且具有較強的抗噪能力。
結(jié)構(gòu)元素的選取是非常關(guān)鍵的,它的選取會直接影響邊緣檢測的結(jié)果[6]。
根據(jù)邊緣方向和結(jié)構(gòu)元方向的最佳匹配關(guān)系[9]-10]和實驗對7種3×3結(jié)構(gòu)元素進行檢索結(jié)果對比,根據(jù)對比結(jié)果結(jié)構(gòu)元素分別選取:
由公式(13)可得到數(shù)學(xué)形態(tài)學(xué)邊緣檢測的邊緣像素點集合。為獲得邊緣像素點集合的直方圖,使用公式(14)將邊緣像素點對應(yīng)的彩色值轉(zhuǎn)化為轉(zhuǎn)化為灰度值。
其中S(i,j)為轉(zhuǎn)化后的灰度值,r(i,j)、g(i,j)、b(i,j)分別為RGB顏色空間中位置為(i,j)的R、G、B分量值。
假設(shè)待檢測圖像在像素點(i,j)處的灰度值是Sr(i,j),初級檢索圖像庫的第 K幅圖像在像素點(i,j)處的灰度值為 Sk(i,j),則初級檢索圖像庫的第 K幅圖像與待檢索圖像的距離定義如公式(15):
其中 DS(i,j)(k)為相似距離值。
計算待檢索圖像與初級檢索圖像庫中每一幅圖像的相似距離值,可得到距離特征向量:
對Ds從小到大排序,得到排序后的向量Ds′:
假設(shè)用戶期望獲得M個檢索結(jié)果,則Ds′前M個向量元素對應(yīng)的原圖像庫圖像即為最終檢索結(jié)果。
綜上所述算法步驟如下:
步驟1 將圖像庫中所有圖像的 RGB顏色空間轉(zhuǎn)化為HSI顏色空間,并計算出色調(diào)直方圖,作為顏色特征向量保存到文件中;
步驟2 計算待檢測圖像顏色特征向量,作為目標(biāo)顏色特征向量。將步驟1中的顏色特征向量與目標(biāo)特征向量進行距離計算,得出顏色距離向量。對距離向量按從小到大的順序排序,按一定比例取舍排過序的顏色距離向量,即可得到初級檢索圖像庫;
步驟3 將初級檢索圖像庫中的圖像二值化,并使用公式(10)求出二值圖像的邊緣集合點。在原圖像中找出這些邊緣集合點,用公式(11)將這些集合點對應(yīng)的彩色值轉(zhuǎn)化為灰度值,統(tǒng)計并求出這些集合點的特定灰度直方圖,作為邊緣特征向量;
步驟4 計算待檢測圖像的邊緣特征向量,作為目標(biāo)邊緣特征向量,由公式(12)可求得邊緣距離向量。對邊緣距離向量按從小到大的順序重排序。在排過序的邊緣距離向量中取出排在前面的N個圖像,即可作為整個檢索算法的結(jié)構(gòu)(N由用戶指定)。
使用matlab7.1在WindowsXP平臺上進行仿真。主機配置為:AMD Sempron(tm) processor 1.81 GHz,512M內(nèi)存。實驗中使用的圖像庫為image.orig。該圖像庫中有1000幅大小為256×384的彩色圖像,內(nèi)容包括人物、海灘、建筑、恐龍、花卉、動植物、山峰等,共10個內(nèi)容,每個內(nèi)容100幅圖像。
假設(shè)初級圖像庫在總圖像庫中所占的比例用 Pr表示;檢索結(jié)果中檢索到的目標(biāo)圖像數(shù)與數(shù)據(jù)庫中全部目標(biāo)圖像數(shù)之比(即查全率)用Re表示。圖1給出了通過實驗得出的Pr與Re之間的關(guān)系。
圖1 Pr/Re
圖2是三種檢索方法在檢索恐龍圖像時的結(jié)果對比。在圖像庫中恐龍的圖像共 100幅。幾種檢索結(jié)果都是 11×11的矩陣塊顯示,共121幅圖像。
圖2 幾種方法檢索結(jié)果對比
表1是三種方法分別檢索恐龍、巴士、馬匹、花卉的查準(zhǔn)率。檢索結(jié)果為121幅圖像。檢索過程中,從每個檢索內(nèi)容的100幅圖像里隨機抽取10幅圖像,分別計算其查準(zhǔn)率,求平均值作為表中檢索的查準(zhǔn)率。
表1 幾種方法查準(zhǔn)率對比表
表 2是這里方法和文獻[6]方法檢索時所用時間比較。檢索過程中,從每個檢索內(nèi)容的 100幅圖像里隨機抽取 10幅圖像,分別計算其檢索時間,求平均值作為表中檢索的檢索時間。
表2 這里和文獻[6]檢索時間/s對比表
在圖1中,當(dāng)Pr=0.121時,這里算法檢索結(jié)果等同于僅使用色調(diào)直方圖檢索結(jié)果;當(dāng) Pr=1.0時,檢索結(jié)果等同于僅使用數(shù)學(xué)形態(tài)學(xué)方法。實驗表明當(dāng)Pr=0.37時,Re可以達到最大值。故建立的初級圖像庫為總圖像庫的37%,即370幅圖像。
圖2(b)中由于一些花卉的色調(diào)直方圖與帶檢索圖像相似,在檢索結(jié)果中具有較強干擾;圖2(c)是僅使用數(shù)學(xué)形態(tài)學(xué)進行邊緣檢測,并建立邊緣直方圖的檢索結(jié)果。由于馬匹的形狀和恐龍有些相似,檢索結(jié)果中混入了一些馬匹圖像。圖2(d)是這里的檢索方法,數(shù)學(xué)形態(tài)學(xué)邊緣檢測算法把初級檢索圖像庫中的恐龍圖像前移,使得檢索效果得到了明顯提高。
表1和表2表明這里算法在提高檢索精度的同時,也大大縮短了檢索時間。時間的縮短,是由于引入了初級檢索圖像庫,使得檢索時間復(fù)雜度大大降低。
綜合了顏色和邊緣特征進行圖像檢索,先使用色調(diào)直方圖建立初級檢索圖像庫,然后使用數(shù)學(xué)形態(tài)學(xué)對初級檢索圖像庫進行再次檢索。由于初級檢索圖像庫的引入,使得檢索時間大大縮減,并且初級檢索圖像庫在原圖像庫中的比例由實驗得出,檢索精度也得到提高。實驗結(jié)果證明了這里方法的有效性。
[1] SWAINM,BSLLARD D.Color indexing.Intemational Joumal of Computer Vision[J].1991,7(01):11-32.
[2] PASS G ,ZABIH R,MILLER J Comparing images using color coherence vectors[M].MA:ACM,1996.
[3] STRICKER M,ORENGO M.Similarity of color images[M].USA:[s.n.],1995:381-392
[4] 韓軒,陳海山.綜合顏色和局部空間特征的彩色圖像檢索方法[J].計算機技術(shù)與發(fā)展,2008,18(01):122-125.
[5] 成曉倩.一種基于數(shù)學(xué)形態(tài)學(xué)的邊緣檢測算子[J].河北理工大學(xué)學(xué)報:自然科學(xué)版,2009,31(02):54-58.
[6] 鄭秋梅,王紅霞,劉康煒.基于邊緣和顏色特征的圖像檢索技術(shù)[J].微計算機應(yīng)用,2008,29(11):19-24.
[7] 向麗.基于 WBCT與平滑共生矩陣的圖像檢索[J].通信技術(shù),2009,42(12):150-152.
[8] 張峰,尹東,吳文宇.基于Agent技術(shù)的遙感圖像檢索[J].通信技術(shù),2008,41(10):119-121.
[9] Schonfeld D.Optinal Semeturing Elements for the Morphological Pattern Rescoration of Binary Images[J].IEEE Trans on HMI,1994,16(06):589-601.
[10] 陳虎,王守尊,周朝暉.基于數(shù)學(xué)形態(tài)學(xué)的圖像邊緣檢測方法研究[J].工程圖學(xué)學(xué)報,2004,25(02):112-115.