蘭麗　耿增民

摘要：該文介紹了服裝圖像檢索的背景，梳理了服裝圖像檢索的兩個發(fā)展階段：基于文本的服裝圖像檢索和基于內容的服裝圖像檢索，分析了服裝圖像檢索的研究熱點和關鍵技術，總結了目前服裝圖像檢索系統(tǒng)的發(fā)展狀況，最后指出了服裝圖像檢索技術的發(fā)展趨勢。

關鍵詞：服裝圖像；圖像檢索；圖像檢索系統(tǒng)

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2015）12-0184-04

The Clothing Image Retrieval Research Review

LAN Li ， GENG Zeng-min

（Beijing Institute of Fashion Technology， Beijing 100029， China）

Abstract： This article introduces the background of the clothing image retrieval ，gives a complete review of the two stages of the development of the clothing image retrieval：text-based clothing image retrieval and content-based clothing image retrieval，analyses the research hotspot and key technical issues about the clothing image retrieval，then summarizes the current development situation of the clothing image retrieval system，finally it presents some directions for future research about the clothing image retrieval technology.

Key words： clothing image； image retrieval； image retrieval system

隨著信息技術的發(fā)展和互聯(lián)網(wǎng)時代的到來，電子商務因其成本低廉和傳播廣泛占據(jù)了極大的市場，給人們的生活帶來了很多便利。作為電子商務一份子的服裝電子商務的迅猛發(fā)展標志著服裝商務新模式的出現(xiàn)。人們購買衣服不再僅僅考慮實體店，更多的是依靠網(wǎng)絡即通過上網(wǎng)對服裝圖像進行瀏覽、挑選、價格的對比、付款等購買自己喜歡的服裝。但是服裝購物網(wǎng)站服裝商品數(shù)量劇增，出現(xiàn)了許多款式多樣、質量參差不齊、價格匪夷所思的服裝，導致用戶挑選出滿意的服裝花費的時間和精力越來越多。所以，快速準確地檢索到所需服裝圖像的研究成為學術界和產(chǎn)業(yè)界的一個具有劃時代意義的課題，同時也是目前服裝圖像檢索領域面臨的棘手的難題[1]。經(jīng)過多年的研究，服裝圖像檢索已經(jīng)獲得了巨大的成就，下面是服裝圖像檢索研究綜合論述。

1 服裝圖像檢索的發(fā)展歷程

服裝圖像檢索的發(fā)展經(jīng)歷了兩個階段： 基于文本的和基于內容的服裝圖像檢索，這兩種服裝圖像檢索方法都有各自的優(yōu)缺點[2]。

1.1 基于文本的服裝圖像檢索

基于文本的圖像檢索技術是通過關鍵字或自由形式的文本來描述圖像，然后借用文本匹配檢索進行圖像的匹配，實質是以文字搜圖[3]。目前就像搜索引擎百度、服裝購物網(wǎng)站淘寶等各主流大型電子商務網(wǎng)站都采用TBIR技術檢索服裝圖像。

TBIR技術檢索的特點快速精準，但是目前服裝圖像數(shù)量迅速增多，其不足之處也逐漸顯現(xiàn)出來：首先，關鍵字標注服裝圖像不能全面地反映服裝本身的重要信息；其次，海量的圖像數(shù)量造成人工標注工作量大；最后，人工標注主觀性也具有差別[4]，這些都會直接影響到用戶檢索的準確性。再加上生活節(jié)奏越來越快，人們對購衣的滿意度要求越來越高，故基于內容的服裝圖像檢索技術的出現(xiàn)是必然的，不僅可以替代TBIR技術，還可以彌補其不足，成為目前研究的熱點。

1.2 基于內容的服裝圖像檢索

基于內容的服裝圖像檢索包含兩部分內容：視覺特征的檢索和語義的檢索。它檢索的一般程序是按照圖像特征的描述來搜索，然后通過比較特征間的相似性，按照相似性大小來排序給出最終的檢索結果[5]。但是服裝圖像中具有顏色、形狀、紋理等很多特征，怎樣提取這些特征可供人們精確得檢索成為近幾年研究人員一直探索的課題。

1.2.1 基于視覺特征的檢索

服裝圖像中的服裝是整個圖像的主角，其圖像的特點相對自然風景、生活類圖像背景簡單、目標突出 、顏色多樣、款式的細節(jié)具區(qū)分度。這些特點可以歸結為服裝的顏色、形狀、紋理三大主要特征，這三大主要特征是服裝圖像信息的載體，是提取服裝圖像特征的首要出發(fā)點。在利用視覺特征進行服裝圖像檢索時，首先分析與處理圖像提取其視覺特征，然后定義合理的測量方法來計算特征向量間的匹配程度，即可實現(xiàn)基于視覺特征的服裝圖像檢索[6]。下面是服裝圖像三大特征提取方法綜述性論述。

1）顏色特征

顏色是服裝本身重要的構成成分，它作為服裝特征之一，在服裝款式、流行程度中起到了舉足輕重的作用，所以顏色特征提取對服裝圖像檢索有重要的意義。早期的研究是通過對圖像中各像素點的顏色值進行統(tǒng)計來獲取顏色特征，近幾年的研究是如何實現(xiàn)基于顏色信息及其空間分布的圖像檢索方法。其代表性的工作：Strieker等人提出分塊顏色矩，其思想是將圖像劃分為不同的區(qū)域，再對各區(qū)域進行顏色特征的提取[7]；Pass等人提出了一種統(tǒng)計圖像中各顏色最大連續(xù)區(qū)域的像素值作為顏色特征的方法[8]。目前這方面的研究聚焦于局部顏色直方圖的圖像檢索，代表性工作包括：Li等人提出基于分塊顏色直方圖的檢索方案[9]；丁貴廣等人提出切分興趣點空間進而構建局部顏色直方圖來實現(xiàn)檢索[10]；蘇小紅等人提出基于興趣點凸包構建局部顏色直方圖并實現(xiàn)檢索[11]。除此之外，該方法最新研究成果還包括：Chen等人提出自適應顏色特征提取方法來描述圖像并實現(xiàn)檢索[12]；金偉提出了一種新的顏色特征提取法—像素不連通區(qū)域面積直方圖法[13]；邵天日提出了多顏色特征相結合的圖像檢索算法[14]。

2）形狀特征

款式是服裝重要的表現(xiàn)形式，設計師將自己獨特的設計理念和設計風格融入自己精心的設計中，制作出一款又一款別致的服裝為消費者提供更多購買的機會。服裝款式主要通過服裝的形狀特征來體現(xiàn)，形狀特征在CBIR 特征提取中應用十分廣泛，其一般分為基于輪廓的特征和基于區(qū)域的特征[15]，下面是這兩種形狀特征提取方法的綜合論述。

基于輪廓的特征是指從圖像形狀的邊界提取的特征，比如邊界點。描述輪廓的特征包括：面積、角度、周長、離心率等。圖像查詢所用到的輪廓的研究包括：Livarinen等人提出鏈碼直方圖[16]；Rangayyan等人提出P階邊界矩[17]；Berretti等人提出基于平滑曲線分解特征等[18]。

基于區(qū)域的特征是指從圖像形狀區(qū)域內部提取的特征，比如像素點。常用區(qū)域特征提取的方法是關于矩的方法，該方法的相關工作主要包括：Chin、Liao等人提出幾何不變矩來提取形狀特征[19]；Kim、Zhang、葉斌、Papakostas等人在Zemike的基礎上，提出了矩的改進性研究[20-21]；Wee等人提出Zernike在誤差范圍內的最小化快速計算等[22]。

近年來在形狀特征的檢索方面，值得探索的課題是如何有效地計算形狀間的相似性。最新代表成果包括：Peter等人提出K最近鄰圖，其思想是用K最近鄰圖構建形狀特征空間來計算相似性[23]；Bai等人提出形狀間的相似性與圖之間的相互關系。形狀間的相似性可構建圖，運用圖的轉換能更有效得去測量形狀間相似性[24]；Yang等人提出形狀間具有一定的關聯(lián)性，可以更好地計算相似性[25]。

3）紋理特征

服裝花型種類的豐富多彩能使服裝具有強大的外在美，提取得服裝花型特征應用于檢索中可以獲得相似度高的服裝圖像。而紋理是服裝面料最明顯的特征，也是最具區(qū)分特點的，通常表現(xiàn)為花型。紋理特征提取方法可分為四類：基于統(tǒng)計的方法、基于頻譜的方法、基于結構的方法和基于模型的方法[26]。但是目前在紋理特征研究方面運用廣泛且被廣大研究人員深入探索的方法是基于統(tǒng)計的和基于頻譜的方法。

在基于統(tǒng)計的特征提取方面，代表性的工作有：基于紋理單元及紋理譜的特征描述[27]；LBP（local binary pattren）紋理特征描述算子[28、29]；基于自相關函數(shù)的紋理特征描述[30]等。

在基于頻譜的特征提取方面，通常是在頻域上來分析圖像的頻譜特征從而進行紋理分析，常用的頻譜紋理分析方法包括：基于Fourier變換方法[31]，Kumar等人利用Gabor函數(shù)的實數(shù)及虛數(shù)部分來進行紋理監(jiān)測[32]；Bodnarova等人采用Fisher代價函數(shù)來確定Gabor濾波器的參數(shù)，從而進行紋理監(jiān)測[33]。

1.2.2 基于語義的檢索

基于語義的圖像檢索是基于內容圖像檢索發(fā)展而來的，是研究人員通過分析和提取圖像的語義內容來實現(xiàn)檢索?；谡Z義的圖像檢索是解決語義鴻溝的重要方法及思路，它不僅考慮低層視覺特征，而且深入到圖像的高層特征如空間關系、場景、行為和情感等[34]。這也是各個領域近幾年的研究課題，有著巨大的潛在應用價值。

提取圖像語義是語義圖像檢索極其重要的一步。圖像語義提取的方法主要分為三類：低層物理特征、機器學習和相關反饋方法[35]。近幾年更多研究聚焦于相關反饋技術，目前已經(jīng)取得了不小的成就。相關反饋技術，其原理可簡單概括為：用戶判斷系統(tǒng)的檢索結果，然后反饋給系統(tǒng)，最后系統(tǒng)根據(jù)反饋結果進行重新計算，之后再返回更加符合用戶所需結果的過程[36]。下面是該方面現(xiàn)有研究工作的綜述性論述。

用戶反饋可提高圖像檢索的準確率。代表性研究工作包括：基于最優(yōu)查詢規(guī)則選擇方法，其通過用戶反饋獲得一個基于語義的差異最小的排序結果[37]；基于特征權重調整方法，該方法是調整用戶反饋處理的結果所對應各特征值的權重從而給出有效的檢索結果[38]；Wu等人提出將合作學習用到反饋處理中，實現(xiàn)了語義相似性測量和視覺相似測量相組合的圖像檢索[39]。

用戶反饋的距離測量學習也是目前受重視的課題。其思想是用戶反饋信息的語義學習來修正用于測量圖像視覺特征向量間相似性的距離函數(shù)。代表性研究工作包括： Jin等人提出在多特征多標簽圖像上來進行距離測量學習[40]；Frome提出了建立在局部特征表示基礎上的局部距離函數(shù)的學習[41]；陳等人提出了基于局部詞頻相關性和SIFT特征距離矩陣的Bundled特征匹配方法[42]。

用戶反饋處理過程在更多時候可看作是模式識別中的有監(jiān)督學習或分類問題，代表性研究工作包括： Harchaoui等人提出圖的核函數(shù)，其思想是用圖像的局部特征向量的空間分布構建圖，之后定義核函數(shù)計算相似性[43]；Wang等人提出用局部線性約束編碼來量化特征向量集合，進一步提升空間金字塔匹配核函數(shù)的性能[44]。

2 基于內容的服裝圖像檢索中的難題

雖然基于內容的圖像檢索技術在服裝電子商務領域有了不小的成績，但是依然存在著無法回避的難題。首先是圖像特征提取。對于圖像底層視覺特征（顏色、形狀、紋理）來說，它們的提取已經(jīng)是一項巨大的挑戰(zhàn)，再加上目前大容量數(shù)據(jù)庫的出現(xiàn)，這個問題變得更加嚴峻。同時提取圖像特征，除了圖像處理技術之外，還需要其他多門學科的輔助才能使檢索更加精確。其次是圖像特征的融合。實驗研究表明，利用單一圖像特征檢索圖像效率很低，幾乎不能滿足用戶需求。所以如何將多個圖像特征結合進行圖像檢索是目前該研究領域的又一大難題。最后，圖像特征的維數(shù)。一般提取出來的圖像特征維數(shù)都很高，有的甚至上千維，怎樣降低圖像特征的維數(shù)也是目前亟待解決的難題。此外還存在圖像存儲、人工交互等其他難題也需要進行深入研究。

3 服裝圖像檢索系統(tǒng)發(fā)展現(xiàn)狀

隨著對圖像檢索理論和技術上的研究，CBIR已取得良好的檢索效果，許多大學、研究機構都對 CBIR 系統(tǒng)有深入的研究。早期國外經(jīng)典的圖像檢索系統(tǒng)有：IBM 開發(fā)的QBIC 系統(tǒng)，UIUC 開發(fā)的 MARS系統(tǒng)，Virage公司開發(fā)的Virage系統(tǒng)，麻省理工學院開發(fā)的Photobook系統(tǒng)，哥倫比亞大學開發(fā)的 VisualSEEK系統(tǒng)等[45]。這方面的研究，我國也取得了一些成果，代表性的工作如下： 清華大學開發(fā)得基于靜態(tài)圖像內容的原型系統(tǒng)；中科院計算機研究所開發(fā)了 MIRES；浙江大學完成了 Photo Navigator 和 Photo Engine 系統(tǒng)的開發(fā)等。這些系統(tǒng)的開發(fā)在理論上具有重要的意義，但還需要做進一步的研究來逐漸完善。

至今，基于內容的圖像檢索技術仍然未能成功應用于服裝領域的高級感官方面，如服裝流行情況的檢索、服裝面料效果的檢索等。但是在眾多研究人員的努力之下，有了目前最出色的視覺購衣網(wǎng)站主要是 like.com、picitup.com、etsy.com、pop.xiu.com[46]， 這四大網(wǎng)站的檢索方式有一定的差異，但是檢索的準確率高，能夠滿足用戶的需求，目前已經(jīng)取得了很好的發(fā)展。

4 結束語

服裝圖像檢索技術經(jīng)歷了兩個階段，基于文本的服裝圖像檢索的出現(xiàn)給人們的生活帶來了便利，但是隨著社會的不斷進步，這種檢索技術不能滿足廣大用戶的需要，隨之出現(xiàn)了基于內容的服裝圖像檢索技術。近幾年經(jīng)過研究人員的艱辛探索，基于內容的服裝圖像檢索技術在底層視覺特征的提取和語義圖像檢索方面取得了許多成果，但是在理論和技術上還不夠完善，建立高效、適用的圖像檢索系統(tǒng)還是舉步維艱，還需要許多科研人員去努力探索?？傊趦热莸姆b圖像檢索技術是一個熱門的研究課題，它涉及的領域比較廣，需要多種技術的支持，同時會不斷促進這些相關領域的發(fā)展進而取得豐碩的成果。

參考文獻：

[1] 顧昕. 基于文本語義和視覺內容的圖像檢索技術研究[D]. 廈門：廈門大學，2014.

[2] Chang S K， Yan C W， Dimitroff D C，et al.An intelligent image database system[J].Software Engineering，IEEE Transactions on，1998，14（5）：681-688.

[3] DATTA R，JOSHI D，LI J，et al.Image retrieval：Ideas，influences，and trends of the new age [J].ACM Computing Surveys（CSUR），2008，40（2）：5-6.

[4] 盧興敬. 基于內容的服裝圖像檢索研究及實現(xiàn)[D]. 哈爾濱：哈爾濱工業(yè)大學，2008.

[5] 侯剛. 基于內容的圖像檢索中特征表示與檢索策略研究[D].長春：吉林大學，2014.

[6] Rui Y， Huang T S， Ortega M， et al. Ralevance feedback：a power tool for interactive content-based image retrieval[J]. Circuits and Systems for Video Technology， IEEE Transaction on，1998，8（5）：644-655.

[7] Strieker M， Dimai A. Spectral covariance and fuzzy regions for image indexing [J]. Machine Vision and Applications， 1997， 10（2）：66-73.

[8] Pass G， Zabih R， Miller J. Comparing images using color coherence vectors[C]. Proceedings of the 4th ACM International Conference on Multimedia （MM）. ACM 1996： 65—73.

[9] Li X. Image retrieval based on perceptive weighted color blocks[J]. Pattern Recognition Letters， 2003，24（12）：1935-1941.

[10]丁貴廣，戴瓊海，徐立文.基于興趣點局部分布特征的圖像檢索方法[J].光電子.激光，2005，16（9）：1101-1106.

[11]蘇小紅，丁進，馬培軍.基于興趣點凸包和svm加權反饋實現(xiàn)圖像檢索[J].計算機學報，2009，32（11）：2221-2228.

[12] Chen W T， Liu W C， Chen M S. Adaptive color feature extraction based on image color distributions[J].IEEE Transactions on Image Processing （TIP）， 2010， 19（8）：2005-2016.

[13] 金偉.基于融合顏色特征與形狀特征的圖像檢索[D].西安電子科技大學， 2014.

[14]邵天日.基于多特征DS融合策略的圖像檢索技術研究[D].哈爾濱理工大學， 2014.

[15] Zhang D， Lu G. Review of shape representation and description techniques[J]. Pattern Recognition，2004， 37（1）：1-19.

[16] livarinen J， Peura M， Srel J， et al. Comparison of combined shape descriptors for irregular objects[C].Proceedings of the 8th British Machine Vision Conference （BMVC）. Essex， Great Britain： 1997：430-439.

[17] Rangayyan R， El-Faramawy N， Desautels J， et al. Measures of acutance and shape for classification of breast tumors[J]. IEEE Transactions on Medical Imaging （TMI）， 1997， 16（6）：799-810.

[18] Berretti S， Bimbo A， Pala P. Retrieval by shape similarity with perceptual distance and effective index-ing[J]. IEEE Transactions on Multimedia， 2000， 2（4）：225-239.

[19] Teh C， Chin R. On image analysis by the methods of moments [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence （TPAMI）， 1988， 10（4）：496-513.

[20] Zhang D， Lu G. Improving retrieval performance of zemike moment descriptor on affined shapes[C].Proceedings of International Conference on Multimedia and Expo. Lausanne， Switzerland： ， 2002：205-208.

[21] Papacostas G， Boutalis Y， Karras D， et al. A new class of zemike moments for computer vision appli-cations[J]. Information Science， 2007， 177（13）：731-742.

[22] Wee C， Paramesran R. On the computational aspects of zemike moments [J]. Image and Vision Computing， 2007， 25（6）：967-980.

[23] Peter K， Michael D， Horst B. Beyond pairwise shape similarity analysis [C]. Proceedings of Asian Conference on Computer Vision （ACCV）. Springer 2009： 655-666.

[24] Bai X， Yang X， Latecki L， et al. Learning context-sensitive shape similarity by graph transduction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence （TPAMI）， 2010， 32（5）：861-874.

[25] Yang X， Latecki L. Affinity learning on a tensor product graph with applications to shape and image retrieval[C]. Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE 2011： 2369-2376.

[26]齊恒.基于內容圖像檢索的關鍵技術研究[D]. 大連：大連理工大學，2014.

[27] He D， Wang L. Texture unit， texture spectrum， and texture analysis[J]. IEEE Transactions on Geo-science and Remote Sensing， 1990， 28（4）：509-512.

[28] Ojala T， Pietikainen M， Harwood D. A comparative study of texture measures with classification based on feature distribulions[J]. Pattern Recognition， 1996， 29（1）：51 -59.

[29] Ojala T， Pietikainen M， Harwood D. Multiresolution gray scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）， 2002， 24（7）：971-987.

[30] Brochard J， Khoudeir M， Augereau B. Invariant feature extraction for 3d texture analysis using the autocorrelation function[J]. Pattern Recognition， 2001， 22（6-7）：759-768.

[31] Huang Y， Chan K. Texture decomposition by harmonics extraction from higher order statistics[J]. IEEE Transactions on Image Processing （TIP）， 2004， 13（1）：1-14.

[32] Kumar A， Pang G. Defect detection in textured materials using glabor filters[J]. IEEE Transactions on Industry Applications， 2002， 38（2）：425.

[33] Bodnarova A， Bennamoun M， Latham S. Optimal glabor filters for textile flaw detection[J]. Pattern Recognition， 2002， 35（12）：2973-2991.

[34] 黃質純.基于語義圖像檢索及相關技術研究[D].廣州：華南理工大學， 2012.

[35] 李楊定.基于典型機器學習模型的圖像檢索算法[D].桂林：廣西師范大學 ，2013.

[36] 劉保東.基于多特征和相關反饋的圖像檢索技術研究[D].成都：電子科技大學，2013.

[37] Zhang S， Huang Q， Hua G， et al. Building contextual visual vocabulary for large-scale image applications[C]. In Proceedings of the 18th ACM International Conference on Multimedia （MM）. ACM 2010：501-510.

[38] Ji R， Yao H， Sun X， et al. Towards semantic embedding in visual vocabulary [C]. Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE 2010： 918-925.

[39] Wu J， Lu M， Wang C. Collaborative learning between visual content and hidden semantic for image retrieval[C]. Proceedings of IEEE International Conference on Data Mining （ICDM）. IEEE 2010：1133-1138.

[40] Jin R， Wang S， Zhou Z. Learning a distance metric from multi-instance multi-label data[C]. Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE 2009： 896-902.

[41] Frome A， Singer Y， Malik J. Image retrieval and classification using local distance functions[C]. Proceedings of the Advances in Neural Information Processing Systems （NIPS）. Cambridge， MA： MIT Press， 2007： 417-424.

[42]陳起進.基于圖像內容的服裝檢索與搭配技術研究[D].杭州：浙江大學，2013.

[43] Harchaoui Z， Bach F. Image classification with segmentation graph kernels[C]. Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE 2007： 1-8.

[44] Wang J， Yang J， Yu K. et al. Locality-constrained linear coding for image classification[C]. Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE 2010：3360-3367.

[45]姜蘭池.基于內容的圖像檢索技術研究[D]. 杭州：杭州電子科技大學，2009.

[46]張慧.基于內容的服裝圖像檢索系統(tǒng)[D].廣州：華南理工大學，2010.