張燁 王樹奇 武風(fēng)波

摘 ?要： 傳統(tǒng)的基于內(nèi)容的圖像檢索系統(tǒng)在檢索時(shí)往往通過獲取整幅圖像的全局特征進(jìn)行計(jì)算，必然含有一些冗余信息，從而給檢索帶來過多的計(jì)算量和不準(zhǔn)確性。因此將檢索的區(qū)域范圍從全局縮小到局部，提出一種改進(jìn)的圖像感興趣區(qū)域提取算法。首先使用Harris算法提取出圖像的顯著點(diǎn)，通過對(duì)顯著點(diǎn)進(jìn)行條件篩選截取出一個(gè)圓形感興趣區(qū)域，然后對(duì)該區(qū)域提取多種特征并進(jìn)行歸一化處理，最后用距離函數(shù)實(shí)現(xiàn)圖像間的相似度比較。實(shí)驗(yàn)結(jié)果表明，所提算法能夠?qū)D像的感興趣區(qū)域進(jìn)行有效提取，提高了運(yùn)行效率，同時(shí)獲得了較好的檢索效果。

關(guān)鍵詞： 圖像檢索; 顯著點(diǎn)提取; 感興趣區(qū)域; 特征提取; 檢索效果; 對(duì)比驗(yàn)證

中圖分類號(hào)： TN911.73?34; TP391.41 ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）20?0072?04

Image retrieval algorithm based on circular region of interest

ZHANG Ye， WANG Shuqi， WU Fengbo

（College of Communication and Information Engineering， Xian University of Science and Technology， Xian 710054， China）

Abstract： The traditional content?based image retrieval system often calculates by acquiring the global features of the whole image， which inevitably contains some redundant information， thus bringing too much computation and inaccuracy to the retrieval. Therefore， the scope of retrieval region is reduced from global to local， and an improved image region of interest （ROI） extraction algorithm is proposed. The Harris algorithm is used to extract significant points of image， the circular region of interest is intercepted by conditional screening of significant points， and then， a variety of features of ROI are extracted and normalized， and the similarity between images is compared by means of distance function. The experimental results show that the proposed method can effectively extract the features from ROI， improve the operation efficiency， and achieve better retrieval effect.

Keywords： image retrieval; significant point extraction; region of interest; feature extraction; retrieval effect; comparison validation

隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展網(wǎng)絡(luò)上出現(xiàn)了數(shù)量龐大的圖像庫，如何對(duì)大規(guī)模圖像庫進(jìn)行有效利用已成為一項(xiàng)急需攻克的難題，因此能夠?qū)崿F(xiàn)快速查詢的圖像檢索[1?2]（Content?Based Image Retrieval，CBIR）技術(shù)應(yīng)運(yùn)而生。圖像感興趣區(qū)域[3]（Region of Interest，ROI）是指一幅圖像中最引人注視的部分，若只對(duì)ROI區(qū)域進(jìn)行特征提取，可以減弱背景信息的干擾，提高檢索結(jié)果的準(zhǔn)確性。目前眾多研究都認(rèn)為圖像攜帶的關(guān)鍵信息主要集中在顯著點(diǎn)附近，顯著點(diǎn)提取較為常用的方法有Harris方法[4]和基于曲率尺度空間方法[5]。以此為基礎(chǔ)，文獻(xiàn)[6?7]通過提取出的顯著點(diǎn)構(gòu)造一個(gè)外接多邊形作為圖像的感興趣區(qū)域;文獻(xiàn)[8]采用的方法是通過一個(gè)滑動(dòng)矩形窗口來搜索出一個(gè)含有顯著點(diǎn)最多的區(qū)域作為圖像的感興趣區(qū)域。對(duì)于背景簡(jiǎn)單的圖像而言，通過構(gòu)造外接多邊形得到的感興趣區(qū)域能夠很好地表達(dá)圖像信息，但對(duì)于背景較為復(fù)雜的圖像，就會(huì)包含過多的背景干擾信息;而利用矩形滑動(dòng)窗口需要對(duì)圖像整個(gè)區(qū)域進(jìn)行搜索，無疑會(huì)增加檢索時(shí)間。因此這兩種方法對(duì)圖像檢索的準(zhǔn)確率和效率并不理想。

Harris算法原理是檢測(cè)滑動(dòng)窗口在圖像上移動(dòng)時(shí)的灰度變化情況。位于平滑區(qū)域時(shí)，窗口的任意移動(dòng)都不會(huì)對(duì)灰度產(chǎn)生改變;在邊緣部分時(shí)，沿著邊緣方向移動(dòng)也不會(huì)發(fā)生灰度改變;但處于顯著點(diǎn)位置時(shí)，任何方向的移動(dòng)都會(huì)導(dǎo)致灰度出現(xiàn)明顯的改變。本文提出了一種基于顯著點(diǎn)位置的ROI區(qū)域提取方法，通過Harris算法提取出圖像的顯著點(diǎn)，然后根據(jù)顯著點(diǎn)的幾何位置得到一個(gè)圓形區(qū)域;考慮到圖像單一特征的局限性，文中將顏色、紋理以及形狀三種特征融合在一起對(duì)圖像進(jìn)行特征信息描述。實(shí)驗(yàn)結(jié)果表明，本文方法提高了圖像檢索的精度，且獲得了較好的圖像檢索效果。

1 ?感興趣區(qū)域（ROI）特征提取

1.1 ?圖像感興趣區(qū)域提取

1） 根據(jù)Harris算法求取出圖像顯著點(diǎn)，并求出顯著點(diǎn)的重心坐標(biāo)（x，y）;

2） 實(shí)驗(yàn)表明，選取距重心距離較近的85%的顯著點(diǎn)，可以保證興趣區(qū)域的劃分適應(yīng)性，去除噪聲點(diǎn)，所以計(jì)算出保留85%顯著點(diǎn)中距離重心最遠(yuǎn)距離dmax;

3） 若dmax小于原圖像中長(zhǎng)和寬中較小值的[12]，則令dmax為長(zhǎng)和寬中較小值的[12];

4） 以重心（x，y）為圓心，dmax為半徑，在原圖上截取出一個(gè)圓形區(qū)域;

5） 若圓形區(qū)域面積小于原圖像面積的[23]，則該圓形區(qū)域即為圖像的感興趣區(qū)域;反之感興趣區(qū)域就是原圖像。

圖像感興趣區(qū)域提取圖如圖1所示。通過對(duì)圖1a）進(jìn)行Harris顯著點(diǎn)提取得到圖1b），再根據(jù)上述條件得到圓形感興趣區(qū)域圖1c）。

?圖1 ?圖像感興趣區(qū)域提取圖

1.2 ?感興趣區(qū)域顏色特征提取

顏色是圖像呈現(xiàn)出的最簡(jiǎn)單直觀的信息。為了使圖像更適合人眼的視覺特性，文中將圖像從RGB轉(zhuǎn)為HSV[9?10]顏色空間，并量化為72種顏色，其中H，S，V分別代表圖像的色度、飽和度以及亮度，具體量化如下：

1.3 ?感興趣區(qū)域紋理特征提取

紋理是一種出現(xiàn)在視覺中的同質(zhì)現(xiàn)象，而灰度共生矩陣[11]就是利用灰度在空間里的相關(guān)特性來描述圖像紋理的一種方式，如下：

式中：[G（i，j）]代表灰度共生矩陣中[（i，j）]所對(duì)應(yīng)的值;ASM 表示能量;CON表示對(duì)比度;ENT表示熵;COR表示相關(guān)性。能量體現(xiàn)圖像紋理粗糙度以及灰度的分布;對(duì)比度反映圖像中某個(gè)像素值的亮度比較情況，表示圖像紋理深淺和清晰水平;熵表示圖像所包含的信息量，當(dāng)矩陣中的值都相等并且其中所有元素都具有最大隨機(jī)性時(shí)，或者是元素分布較為分散時(shí)，熵值較大;自相關(guān)則反映圖像紋理的一致性。

1.4 ?感興趣區(qū)域形狀特征提取

形狀是人們對(duì)目標(biāo)的一個(gè)初步了解，Hu在1962年首次提出了不變矩理論[12]用來作為圖像的形狀描述。文中采用二階矩和三階歸一化中心距所構(gòu)造的7個(gè)不變矩作為圖像的形狀特征，它們?cè)趫D像連續(xù)條件下能夠保持平移、縮放以及旋轉(zhuǎn)不變性。

1.5 ?感興趣區(qū)域特征向量歸一化

考慮到提取的三種特征，其取值范圍具有一定的差異性，為了使其對(duì)相似度影響具有等價(jià)性，文中采用高斯歸一化方法[13] 對(duì)感興趣區(qū)域提取的72維顏色特征、4維紋理特征向量以及7維形狀特征向量都?xì)w一化至[-1，1]區(qū)間，公式為：

1.6 ?特征向量加權(quán)融合

由于圖像對(duì)三種特征的敏感程度不同，因此本文在相似度計(jì)算時(shí)對(duì)其分別賦予了不同的權(quán)重，并且采用明可夫斯基距離函數(shù)來進(jìn)行特征相似度比較，具體如下：

式中：兩幅圖像用x和y表示;Fx和Fy表示歸一化后的顏色特征向量;Tx和Ty分別表示歸一化后的紋理特征向量;Gx和Gy表示歸一化后的形狀特征向量;w1，w2和w3分別代表顏色、紋理和形狀在融合特征時(shí)所占的權(quán)重經(jīng)過大量實(shí)驗(yàn)發(fā)現(xiàn)w1，w2和w3分別賦值0.3，0.3，0.4時(shí)檢索效果最好。

2 ?實(shí)驗(yàn)結(jié)果分析

測(cè)試圖像選自UKbench 圖像庫的1 000幅圖像（10類圖像每類100幅），選擇其中的5類圖像（含有花朵、汽車、恐龍、向日葵和馬），每類隨機(jī)抽取10幅，共50幅作為測(cè)試圖像進(jìn)行檢索實(shí)驗(yàn)。實(shí)驗(yàn)對(duì)向日葵、汽車、馬、花朵以及恐龍分別做了檢索實(shí)驗(yàn)，并將本文算法和文獻(xiàn)[14?15]分別做比較，以下是部分比較結(jié)果，每次檢索返回7幅相似圖像，從左到右相似度依次降低。

1） 向日葵檢索結(jié)果如圖2所示。

圖2 ?向日葵圖像檢索結(jié)果

2） 汽車檢索結(jié)果如圖3所示。

圖3 ?汽車圖像檢索結(jié)果

3） 馬匹檢索結(jié)果如圖4所示。

為進(jìn)一步驗(yàn)證本文算法的綜合性能，定量對(duì)比各類算法處理效果。對(duì)文獻(xiàn)[14?15]算法以及本文改進(jìn)算法在檢索時(shí)間（Time）、查準(zhǔn)率（Precision）和查全率（Recall）三個(gè)方面進(jìn)行了比較。

式中：A為返回結(jié)果中與查詢圖像相似的圖像個(gè)數(shù);B為返回的圖像總數(shù);C為圖像庫中與查詢圖像相似的圖像總數(shù)。

圖4 ?馬匹圖像查詢結(jié)果

對(duì)50幅查詢圖像分別做檢索，統(tǒng)計(jì)每一類圖像檢索結(jié)果，返回10幅、20幅、30幅、40幅時(shí)的平均查準(zhǔn)率P10，P20，P30，P40平均查全率R10，R20，R30，R40，以及返回50幅時(shí)的綜合效果。具體結(jié)果如表1～表3所示。

表1 ?文獻(xiàn)[14?15]算法和本文算法查準(zhǔn)率比較

為了進(jìn)一步驗(yàn)證本文算法的綜合性能，統(tǒng)計(jì)出了當(dāng)檢索查全率為10%，20%，…，100%時(shí)，文獻(xiàn)[14?15]和本文算法所對(duì)應(yīng)的查準(zhǔn)率，比較結(jié)果如圖5所示。

由圖5可知：文獻(xiàn)[15]對(duì)顏色聚合向量和不變矩特征的提取進(jìn)行了改進(jìn)，建立了特征索引庫，但在很大程度上增加了算法的復(fù)雜度，運(yùn)行起來檢索時(shí)間過長(zhǎng);文獻(xiàn)[14]提出了分層的方法對(duì)圖像進(jìn)行處理，但由于提取特征層數(shù)的限制，僅提取了具有圖像結(jié)構(gòu)特征的前四層，導(dǎo)致丟失了圖像的局部細(xì)節(jié)信息，使得檢索效果不佳，且具有局限性;而本文算法從檢索時(shí)間、查準(zhǔn)率以及查全率三個(gè)方面比較，相較于文獻(xiàn)[14?15]的算法，都優(yōu)于這兩種算法。本文算法提高檢索性能，具有更好的檢索效果。

表2 ?文獻(xiàn)[14?15]算法和本文算法查全率比較?

表3 ?返回50幅圖像檢索綜合性能比較

圖5 ?統(tǒng)計(jì)平均查全率與查準(zhǔn)率

3 ?結(jié) ?語

本文提出的基于Harris顯著點(diǎn)的圓形感興趣區(qū)域檢索算法，有效地減少了背景干擾信息。通過Harris算法得到一個(gè)圓形感興趣區(qū)域，然后對(duì)該區(qū)域提取顏色、紋理和形狀三種特征，并且對(duì)提取后的特征向量進(jìn)行歸一化處理，最后采用明可夫斯基距離函數(shù)來比較圖像間的相似性。經(jīng)大量實(shí)驗(yàn)結(jié)果表明，本文算法在保證檢索時(shí)間的同時(shí)，有效提高了檢索查準(zhǔn)率和查全率，具有較高的實(shí)用價(jià)值。

參考文獻(xiàn)

[1] 徐衍魯.基于顏色特征的圖像檢索技術(shù)綜述[J].電腦知識(shí)與技術(shù)，2017，13（13）：156?157.

XU Yanlu. Image retrieval based on color feature [J]. Computer knowledge and technology，2017， 13（13）： 156?157.

[2] 杜丙新.圖像檢索研究綜述及系統(tǒng)實(shí)現(xiàn)[J].電子科技，2016，7（15）：185?190.

DU Bingxin. Survey and system implementation of image retrieval [J]. Electronic science and technology， 2016， 7（15）： 185?190.

[3] 陳瑞文.基于內(nèi)容的圖像檢索?感興趣區(qū)域的提取[J].通化師 范學(xué)院學(xué)報(bào)（自然科學(xué)），2014，35（5）：53?54.

CHEN Ruiwen. Content?based image retrieval extraction of regions of interest [J]. Journal of Tonghua Normal university （Natural science）， 2014， 35（5）： 53?54.

[4] HARRIS C，STEPHENS M. A combined corner and edge detector [C]// Proceeding of 4th Alley Vision Conference. Manchester： IEEE， 1988， 147?151.

[5] 孔凡輝，柏曉輝，竺如生.一種基于多特征融合的圖像檢索方法[J].哈爾濱商業(yè)大學(xué)學(xué)報(bào)， 2010，26（3）：349?350.

KONG Fanhui， BAI Xiaohui， ZHU Rusheng. Study in method for image retrieval based on multi?feature fusion [J]. Journal of Harbin University of Commerce （Natural science edition）， 2010， 26（3）： 349?350.

[6] 陳繼華，李響，李棟.一種改進(jìn)的輪廓曲線角點(diǎn)檢測(cè)方法[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2016，7（7）：114?115.

CHEN Jihua， LI Xiang， LI Dong. An improved corner detection method for contour curve [J]. Modular machine tool & automatic manufacturing technique， 2016， 7（7）： 114?115.

[7] 孟繁杰，郭寶龍，李新偉，等.基于興趣點(diǎn)凸包的圖像檢索方法[J].光電子激光，2010，21（6）：936?939.

MENG Fanjie， GUO Baolong， LI Xinwei， et al. New image retrieval method based on convex hull of interest points [J]. Journal of optoelectronics laser， 2010， 21（6）： 936?939.

[8] 梁春迎，王國營，康進(jìn)峰.基于顯著區(qū)域的圖像檢索方法[J].計(jì)算機(jī)工程，2010，36（5）：210?211.

LIANG Chunying， WANG Guoying， KANG Jinfeng. Image retrieval method based on salientregions [J]. Computer engineering， 2010， 36（5）： 210?211.

[9] 常哲，侯榆青，李明俐，等.綜合顏色和紋理特征的圖像檢索[J].小型微型計(jì)算機(jī)系統(tǒng)，2011，32（1）：161?164.

CHANG Zhe， HOU Yuqing， LI Mingli， et al. Image retrieval based on combined color with texturefeature [J]. Journal of Chinese computer system， 2011， 32（1）： 161?164.

[10] 相子喜，呂學(xué)強(qiáng)，張凱.基于有向圖模型多模態(tài)新聞圖像檢索研究[J].科學(xué)技術(shù)與工 程，2016，16（3）：78?79.

XIANG Zixi， L? Xueqiang， ZHANG Kai. A research on news images retrieval based on directed graph multimodal characteristics [J]. Science technology and engineering， 2016，16（3）： 78?79.

[11] KEARNS M， VALIANT L G. Cryptographic limitations on learning Boolean formulae and finite automata [J]. Journal of the ACM， 1994， 41（1）： 67?69.

[12] BAUER E， KOHAVI R. An empirical comparison of voting classification algorithms： bagging， boosting， and variants [J]. Machine learning， 1999， 36（2）： 135?139.

[13] SCHAPIRE R E， FREUND Y， BARTLETT P， et al. Boosting the margin： a new explanation for the effectiveness of voting methods [J]. The annals of statistics， 1998， 26（5）： 1651?1686.

[14] 翟銘晗，高玲.基于加權(quán)顏色分層和紋理單元的圖像檢索算法[J].計(jì)算機(jī)應(yīng)用，2016，36（6）：1668?1672.

ZHAI Minghan， GAO ling. New image retrieval method based on weighted color stratification and texture unit [J]. Journal of computer applications， 2016， 36（6）： 1668?1672.

[15] 張永庫，李云峰，孫勁光.綜合顏色和形狀特征聚類的圖像檢索[J].計(jì)算機(jī)應(yīng)用，2014，34（12）：3549?3553.

ZHANG Yongku， LI Yunfeng， SUN Jingguang. Image retrieval based on clustering according to color and shape features [J]. Journal of computer applications， 2014， 34（12）： 3549?3553.