魏聚波,穆維新,申金媛,劉潤杰
(鄭州大學 信息工程學院,河南 鄭州 450001)
隨著20世紀90年代多媒體技術以及信息技術的飛速發(fā)展,使得基于內容的圖像檢索技術 (Content-Based Image Retrieval,CBIR)應運而生。CBIR技術主要對圖像內容通過機器進行自動分析,直接根據圖像視覺特征信息建立索引,并通過圖像特征向量間的近似度量進行圖像相似性匹配,從而實現圖像的檢索。該技術涉及多個學科,融合多領域相關技術,以致力于對圖像的魯棒性理解。
目前基于內容的圖像檢索技術表現為提取圖像低層特征信息,如:顏色、紋理、形狀等;運用相關數學方法計算查詢圖像與圖像庫中圖像的相似匹配度,以便獲取與查詢圖像相似相關的圖像。由于圖像的單一特征不能準確描述圖像內容的所有相關信息,檢索精度相對較低,很多研究者提出了融合多特征的圖像檢索技術,并取得了一定的研究成果[1]。
Mandelbrot[2]首次提出分形(Fractal)的概念,并用分形維數來度量、分析和評價紋理和形狀。Pentland[3]在1984年研究提出分形維數來刻畫圖像表面所具有的粗糙度信息,與人類的感知粗糙度有很強的相關性,能區(qū)分光滑和粗糙紋理特征。分形維數作為圖像特征,被廣泛應用于圖像的相關分析、處理方面,越來越成為研究熱點。
顏色特征是人類視覺最重要的感知特征,具有最直觀,最明顯,而且對圖像分辨率、尺寸、旋轉等變化不敏感的特點[4],成為CBIR研究的主要特征。
本文基于分形維數表示自然表面的粗糙程度與人類的感知判斷具有極強的相似相關性,來描述圖像的紋理信息;結合接近人眼感知顏色信息的HSV顏色空間模型特征,作為圖像的相似匹配特征信息。分別計算圖像HSV空間模型中各個色彩通道下的分形維數,并將其非線性量化,提出了HSV顏色空間分形維數量化直方圖的概念,使圖像粗糙度與分形維數呈近似線性比例關系,以便于圖像粗糙度之間的相似匹配度計算。綜合顏色直方圖與分形維數量化直方圖,作為圖像間相似匹配特征,實現圖像檢索。
Mandelbrot用分形集合的自相似性質來定義分形維數,設在Rn空間里的一個有限集合A,若A可以完全被若干個互不覆蓋的子集a覆蓋時,集合A就是自相似的,是一個分形集合。其分形維數D可由下式計算:
其中,r是覆蓋子集的尺度因子r=a/A,Nr是尺度因子r時,覆蓋子集的個數。
圖像分形維數的計算方法主要有:ε-毯子法、分形布朗運動法、盒子法等。本文運用由N Sarkar和B.B.Chaudhuri[5]提出的差分計盒維數法(Differential Box Counting,DBC),該方法是一種簡單、有效的計算圖像分形維數的方法。計算過程描述如下:
將大小為 M×N 的圖像分割成為 s×s的網格(1<s<M/2,且s為整數),令r=s/M。 設圖像為三維空間中一曲面 z=f(x,y),(x,y),坐標軸表示圖像平面,z軸表示圖像的灰度值L。則(x,y)平面被 s×s 的網格覆蓋,有一系列 s×s×s′的小盒子,其中 s′=s×max(L)/M。 設位置在(i,j)的網格中,圖像的灰度最大值和最小值分別被包含在第k和第l個網格內,則第(i,j)的網格中的差分值 nr(i,j)為:
而整幅圖像在比例因子為r時的差分值為:
根據不同的比例因子r算出不同的Nr值,然后利用公式(1)應用最小二乘法即可求得圖像的分型維數FD。
雖然DBC計算分形維數雖然能夠遍歷圖像維數范圍(2~3),但仍然有對局部高維估計不足的缺點。為解決DBC對高維部分飽和估計的缺陷在相似匹配計算中的影響,經過實驗分析DBC計算分形維數與粗糙度的比例關系,將圖像分形維數用函數y=x4分段非線性量化,使得分形維數與粗糙度形成一個近似線性尺度。具體步驟如下:
1)因為圖像分形維數取值范圍在2~3之間,將分形維數取值范圍歸一化,取得decimalD=(FD-2)的值(取值范圍為:0~1)。
2)把0-1之間的數值平均分成10段,并將第i段平均分成i4個單位,共計個單位。
3)計算分形維數decimalD落在第幾單位,就是該圖像的分形維數量化直方圖的值。該值與圖像粗糙度近似線性比例關系。
量化前后分形維數與圖像粗糙度的比例關系如圖1所示。
顏色特征是人類視覺最重要的感知特征,具有最直觀,最明顯,而且對圖像分辨率、尺寸、旋轉等變化不敏感的特點。表現出相當強的魯棒性,是描述圖像內容信息最簡單有效的特征,被廣泛應用于圖像檢索中。常用的顏色空間模型有:RGB模型、HSV模型、CMYK模型、HIS模型、Lab模型。每一種顏色空間模型都有自己的優(yōu)缺點,研究者根據自己需要來選擇所用模型。
圖1 分形維數與粗糙度尺度量化前后關系圖Fig.1 Factal dimension and the relationship of roughness scale before and after quantization
HSV顏色空間(H色調、S飽和度、V亮度)直接反映了人類視覺觀察色彩的方式,具有:1)亮度分量與圖像的色彩信息無關;2)色調分量和飽和度分量與人類視覺感受色彩方式緊密相關等特點。有助于計算機模擬人眼視覺感知圖像色彩進行相關處理。為此本文選取HSV顏色空間進行圖像檢索。
根據人眼對顏色感知的特性,在不顯著降低圖像質量的情況下,為減小計算量以降低存儲空間和提高處理速度,對HSV顏色空間按照公式(3)量化:
由于分形維數和顏色特征均與圖像的尺度、旋轉、變換等不敏感的特性,首先把圖像預處理歸一化為[256×256]的標準圖像。分別計算圖像HSV空間各個顏色通道以及灰度圖像下的分形維數FDH、FDA、FDV,得出累積HSV顏色空間分形維數量化直方圖HistFD。綜合顏色直方圖HistC求得圖像特征向量:
其中wFD是分形維數量化直方圖權重。通過直方圖相交法求得查詢圖像與圖像庫中圖像的相似度。
本文所用圖像庫是標準測試圖像庫Corel中的1 000幅圖像作為數據庫,該圖像庫是有10個語義,每個語義包含100幅圖像的圖像庫,語義類別分別為:非洲、海灘、建筑、汽車、恐龍、大象、鮮花、駿馬、雪山、食物。根據分形維數與圖片大小的比例關系,實驗顯示分形維數量化直方圖權重wfd=12檢索精度最高。圖像庫中所有圖像檢索精度數據如圖2所示。
圖2 傳統顏色直方圖法與本文綜合方法檢索精度圖Fig.2 Precision of normal and proposed method
圖2結果顯示本文提出的檢索方法得出的檢索精度比傳統直方圖方法的檢索精度平均提高了19%,平均檢索精度達到80%以上。
圖3 鮮花語義檢索結果Fig.3 Retrieval result of flower semantics
從檢索結果可以看出,融合了HSV顏色空間各個通道下的分形維數特征信息的圖像檢索系統,提高了檢索精度,檢索結果更加符合人類視覺感知特性。以下是對圖像庫中部分語義圖像的檢索結果(每幅圖中的第一張圖為檢索目標圖像)。
圖4 駿馬語義檢索結果Fig.4 Retrieval result of horse semantics
為尋求圖像檢索結果接近人眼感知圖像查詢的目的,本文綜合運用了與人類感知圖像相似的兩種特征信息:HSV顏色空間模型顏色顏色特征,以及表述紋理信息的分形維數特征。實驗結果表明該方法符合人類視覺感知特性,檢索結果明顯優(yōu)于傳統的顏色直方圖方法。圖像的分形維數特征信息能夠較準確的表述圖像視覺信息,以后的深入研究將注重在圖像分割中分形維數的運用。
[1]孫勁光,尹達.基于顏色和紋理特征的圖像檢索技術研究[J].河北工業(yè)大學學報,2008,37(6):23-30.SUN Jin-guang,YIN Da.Research of image retrieval based on color and texture feature[J].Journal of Hebei University of Technology,2008,37(6):23-30.
[2]Mandelbrot B B.The fractal geometry of nature[M].上海:上海遠東出版社,1998.
[3]Pentland A P.Fractal based description of nature sciences[J].IEEE Trans on Pattern Analysis and Machine Intelligence 1984,6(6):661-674.
[4]Swain M J,Ballard D H.Color indexing[J].International Journal of Computer Vision,1991,7(1):11.
[5]Sarkar N,Chaudhuri B B.An efficient differential box-counting approach to compute fractal dimension of image[J].IEEE Trans on Systems,Man and Cybernetics,1994,24 (1):115-120.
[6]Ritendra D,Dhiraj J,Li J.Image retrieval:ideas,influences,and trends of the new age[J].ACM Computing Surveys,2008,40(2):5.