李 東, 萬賢福,2, 汪 軍,2(. 東華大學 紡織學院, 上海 20620; 2. 東華大學 紡織面料技術教育部重點實驗室, 上海 20620)
采用傅里葉描述子和支持向量機的服裝款式識別方法
李 東1, 萬賢福1,2, 汪 軍1,2
(1. 東華大學 紡織學院, 上海 201620; 2. 東華大學 紡織面料技術教育部重點實驗室, 上海 201620)
為解決當前服裝款式識別領域中,服裝輪廓特征提取技術較復雜,其分類方法的效率低、適應性差等問題,提出一種新型的服裝款式的識別方法。首先創(chuàng)建了一個服裝圖像樣本庫,并從這些服裝圖像中提取服裝輪廓,然后使用傅里葉描述子描述服裝的輪廓特征,以多分類支持向量機進行分類。結果表明,該方法能夠準確提取服裝輪廓,傅里葉描述子的識別效果優(yōu)于Hu不變矩和融合特征(Hu不變矩和傅里葉描述子);對傅里葉描述子進行主成分分析不能提高識別準確率;支持向量機的分類效果優(yōu)于極端學習機;該方法能夠達到95%以上的識別率,尤其對輪廓特征明顯的款式有更好的識別率。
服裝款式識別; 傅里葉描述子; 支持向量機; Hu不變矩; 主成分分析; 極端學習機
隨著大數據時代的來臨,商家通過機器視覺技術識別消費者著裝款式,將有助于商家捕捉各客戶群體的消費趨勢,制定出有針對性的產品組合、營銷計劃和商業(yè)決策。此外,隨著人臉計算機識別技術的普及,提取人臉特征并結合服裝款式特征,將會提高身份認證的精確度。
服裝款式是由服裝的外部輪廓和內部細節(jié)變化構成的,反映了服裝結構的形狀特征,不包含顏色和紋理特征[1]。尋找一種有效的方法描述服裝的款式特征并且快速精確地分類是服裝款式識別領域的研究重點。盡管國內外學者做了一些服裝款式特征提取與分類的探索工作,但由于特征提取技術和模式識別技術的復雜性,服裝款式識別方法的適應性和實時性仍有待進一步提高。李克兢等[2]提取服裝設計平面圖輪廓點,將衣片輪廓半自動地拆分并進行數學描述。Hussain等[3]提出一種算法,自動提取雜志或書上的服裝款式平面圖,由二維服裝設計平面圖轉換為三維服裝衣片,這種算法依賴于服裝衣片精確分割和輪廓的尺寸測量。Wang等[4]提出一種基于模糊理論的服裝款式分類方法,分析服裝輪廓點的特點,根據模糊理論將款式輪廓點自動分類,該方法是針對局部輪廓片段的識別,并不是整體的輪廓。An等[5]提出一種服裝設計平面圖的分類方法,使用小波傅里葉描述子(wavelet fourier descriptor,WFD)描述輪廓特征,對WFD降維后訓練了極端學習機分類器(extreme learning machine,ELM),進行服裝設計平面圖的分類。由于WFD特征向量之間的相似度對比方法較復雜,且依賴于目標物體輪廓的復雜度,因此,WFD并不適合形狀的實時分類[6]。Hou等[7]在服裝圖像檢索的研究中提出使用融合特征(Hu不變矩和傅里葉描述子)來描述服裝的形狀特征,通過計算歐式距離來判斷形狀的相似性。
傅里葉描述子(Fourier descriptor,FD)[8]是基于傅里葉理論提出的一種計算簡單、抗噪性強的形狀特征描述方式。由于其每個描述符都有具體物理意義,不僅能夠兼顧全局及局部特征,且特征匹配簡單,相比而言更適合服裝款式的實時分類[6]。歐式距離雖然是一種簡單有效的相似性判斷方法,但是在處理復雜特征的多分類問題上與支持向量機(support vector machine,SVM)[9]等機器學習分類器相比效果較差,同時SVM由于其非線性映射的理論基礎避免了“維數災難”,因此具有較好的魯棒性。鑒于上述原因,本文提出一種新的基于傅里葉描述子和SVM的服裝款式識別方法,能夠快速有效地進行多類服裝款式的識別。
基于傅里葉描述子和SVM的服裝款式識別方法流程如圖1所示。通過對服裝圖像的預處理,獲取服裝的外部輪廓,使用傅里葉描述子提取服裝輪廓特征,以傅里葉描述子特征向量訓練SVM分類器,實現服裝款式的識別。
1.1 服裝圖像預處理
本文選用白色背景的服裝圖像進行預處理。服裝圖像的預處理包括服裝圖像分割和邊緣檢測,經過預處理后獲得服裝輪廓圖像,以供后續(xù)輪廓形狀特征的提取。預處理過程如圖2所示。1)將服裝圖像轉化為灰度圖像并進行灰度的線性變換,增強灰度圖像的對比度;2)使用最大類間方差(Otsu)法[10]進行二值化;3)進行形態(tài)學開運算處理和填充空洞,最大的8連通區(qū)域就是服裝圖像;4)使用Canny算子進行邊緣檢測獲取服裝的外部輪廓。
圖2 服裝圖像的預處理過程Fig.2 Pretreatment process of clothing image
1.2 服裝輪廓的傅里葉描述
采用預處理得到的服裝輪廓信息,由輪廓圖像上各像素點的坐標排成序列來表示。輪廓像素點采用坐標b(k)表示,b(k)=(xk,yk)。其中xk和yk分別為橫坐標值與縱坐標值,k=0,1,2,…,K-1;K為輪廓像素點總數。將坐標寫成復數形式,則有b(k)=xk+jyk,j為虛數單位。將復數坐標序列b(k)進行離散傅里葉變換可得到服裝輪廓的傅里葉描述序列:
式中u=0,1,2,…,K-1。
為得到對圖像平移、旋轉和縮放不敏感的傅里葉描述子,對a(u)進行標準化,得到標準化傅里葉描述子:
式中:u=2,3,…,K-1;v=1,2,…,K-2。將s(v)寫成向量形式,則為服裝輪廓的傅里葉描述子特征向量。傅里葉描述子特征向量的低頻分量(即排序靠前的分量)表示形狀總體特征,高頻分量(即排序靠后的分量)表示形狀細節(jié)特征。在進行分類時,需要選取適當的特征向量長度。圖2中的服裝輪廓提取傅里葉描述子特征向量后,分別選取前10、20、40個分量進行重構,得到的服裝輪廓如圖3所示。由圖可知:長度如果過短,則不足以表示輪廓圖像的形狀特征;而如果過長,則會造成信息冗余,識別計算量增加。
圖3 傅里葉描述子進行重構的輪廓Fig.3 Reconstructed contours described by Fourier descriptors. (a) Length of 10; (b) Length of 20; (c) Length of 40
1.3 基于SVM的服裝款式分類
在傅里葉描述子提取服裝輪廓特征后進行服裝款式分類,選用SVM作為服裝款式特征的分類器。SVM是一種有監(jiān)督的學習模型,可學習不同類別的已知樣本特點,進而對未知樣本進行預測。其基本思想是建立一個分類超平面,使得樣本空間中正例和反例之間的距離最大化。其本質上是一個二分類的算法,但也可擴展成多分類的分類器,本文采用LibSVM工具箱[11]進行服裝款式的SVM多分類。
服裝款式SVM分類系統(tǒng)流程如圖4所示。首先將訓練集描述服裝輪廓特征的傅里葉描述子特征矩陣以及服裝款式類別標簽作為輸入;SVM分類器的核函數為徑向基函數,使用網格搜索法[12]進行分類器中懲罰參數和核參數的尋優(yōu),其中懲罰參數的范圍是[-8,8],核參數的范圍是[-8,8],步長為1;然后使用網格搜索法得到的最優(yōu)參數、訓練集傅里葉描述子特征矩陣及類別標簽,訓練得到SVM分類器;最后將測試集傅里葉描述子特征矩陣輸入到SVM分類器中得到測試集服裝款式預測類別,與測試集實際款式比較即可得到分類的準確率。
圖4 SVM分類系統(tǒng)流程圖Fig.4 Flow chart of SVM classification system
采用MatLab R2014a編程實現,基于DELL Inspiron 14-5439筆記本電腦的Win7系統(tǒng)(Intel(R) Core(TM) i5- 4200CPU,2.3 GHz,4 GB RAM)。由于目前并沒有統(tǒng)一的服裝圖像樣本庫,本文創(chuàng)建了一個新的樣本庫,包含的650個服裝樣本圖像收集自天貓網(www.tmall.com),均為白色背景且平整擺放的單件服裝圖像,涵蓋了短袖T恤、長袖T恤、長袖襯衣、外套(夾克衫、皮衣和翻領短風衣等)、西裝上衣、短褲、長褲和短袖連衣裙等8種最常見的服裝款式。8種款式的典型樣本如圖5所示。針對樣本庫進行10次識別實驗,每次識別實驗都隨機抽取樣本庫中60%的樣本作為訓練集,剩余的40%作為測試集,組成一個樣本集[訓練集;測試集],樣本集中各款式數量如表1所示。
表1 服裝圖像樣本集Tab.1 Database of clothing images
為選取適當的傅里葉描述子特征向量長度,本文進行了預實驗,分別采用不同的傅里葉描述子特征向量長度(n=1,2,3,…,50),從s(v)序列中選取前n個分量作為特征向量。以此對樣本集進行SVM分類器訓練和分類測試,其準確率如圖6所示。由圖可知,長度為20時的識別準確率最高,因此,特征向量長度確定為20。
圖6 傅里葉描述子特征向量長度與識別準確率的關系Fig.6 Relationship between FD vector length and recognition accuracy
3.1 服裝款式識別結果比較
總體識別率在95%以上,各款式識別率如表2所示。長褲、短褲和短袖T恤等款式的識別率較高(96%以上),主要是因為其形狀特征與其他款式差別較明顯。西裝上衣、外套和長袖襯衣相比其他幾類識別率低,因為三者的差別主要在領子和門襟等形狀細節(jié)上,而沒有體現在外觀輪廓上。
表2 測試集款式識別結果Tab.2 Style recognition results for test set
3.2 不同特征提取技術識別效果比較
為驗證傅里葉描述子描述形狀特征的優(yōu)勢,本文對比分析了Hu不變矩和融合特征法描述服裝款式特征的識別效果。
Hu不變矩[13]是以圖像歸一化中心不變矩的形式來表示圖像形狀特征,對圖像具有旋轉、縮放和平移不變性的7個Hu不變矩特征向量為:φ=[φ1,φ2,φ3,φ4,φ5,φ6,φ7]。融合特征法是將Hu不變矩和傅里葉描述子2個特征向量采用串行特征融合的方式融合,得到融合特征向量f=[φ,s(v)]。由于不同特征表達的物理意義和取值范圍不同,所以采用融合特征分類時需要對特征向量進行內部的歸一化。特征向量的歸一化采用高斯歸一化,即對特征矩陣f計算其每個分量的均值μ和標準差σ,將其每個分量歸一化至[-1,1]區(qū)間。歸一化后的融合特征為:r=(f-μ)/σ。
對樣本集分別提取傅里葉描述子特征、Hu不變矩特征和融合特征,進行SVM分類訓練與測試,10次實驗的識別率結果如圖7所示。結果顯示,傅里葉描述子的識別效果明顯高于Hu不變矩。同時,融合特征法識別準確率與傅里葉描述子相比略低1%左右,說明Hu不變矩和傅里葉描述子的融合并不能提高識別效果;因此,采用單一的傅里葉描述子表征服裝的款式即可。
圖7 不同特征提取技術識別效果對比圖Fig.7 Comparison of recognition accuracy for different feature extraction techniques
3.3 主成分分析識別效果比較
主成分分析(principal component analysis,PCA)是將多個變量進行線性變換以選擇較少數量的重要變量表示整體的方法[14]。對多維數據分析時,數據經過主成分分析后能夠降低維度,減少計算量。
為驗證服裝款式分類前是否需要對傅里葉描述子進行主成分分析,本文對比分析了PCA降維前后對SVM分類效果的影響。主成分分析時分別選取累計貢獻率為95%和99%的特征向量作為主成分。10次實驗對比結果如圖8所示。結果表明,傅里葉描述子特征進行PCA后的SVM分類準確率顯著降低。這可能是由于傅里葉描述子特征向量各分量中的非線性相關的成分與分類特征關系緊密,降維造成了部分特征信息的丟失,因此,采用本文的方法對傅里葉描述子進行主成分分析并無必要。
圖8 PCA前后識別效果對比圖Fig.8 Comparison of recognition accuracy before and after PCA
3.4 支持向量機與極端學習機分類效果比較
Huang等[15]提出的極端學習機(extreme learning machine,ELM),通過對單隱層神經網絡的輸入權值和隱層節(jié)點偏移量隨機地賦值,經過一步計算即可求解出神經網絡的輸出權值。ELM能夠極大地提高網絡學習的速度和泛化能力,具有很高的運算速度優(yōu)勢,但卻不可避免地造成過擬合的隱患,使分類效果降低。
為驗證ELM對服裝款式傅里葉描述子特征的分類效果,本文使用了elm_kernel工具箱[16]進行ELM分類實驗。ELM分類器的核函數為徑向基函數,核參數為100,正則項系數為1。樣本集提取傅里葉描述子特征向量后分別進行ELM與SVM分類實驗,10次實驗計算耗時與準確率的對比結果如圖9所示??煽闯?,SVM算法在速度上達到了ELM的速度,而分類準確率相比ELM則大幅提高,達95%以上。
圖9 ELM與SVM對比Fig.9 Comparison of ELM and SVM. (a) Computation time; (b) Classification accuracy
本文提出了一種基于服裝輪廓識別服裝款式的新方法,即通過傅里葉描述子表征服裝輪廓特征,并且采用多分類SVM進行分類。通過對650件衣服的樣本庫進行實驗測試發(fā)現:傅里葉描述子比Hu不變矩和融合特征法更能表達服裝的款式特征;且無需對傅里葉描述子進行主成分分析降維;與ELM分類器相比,SVM更為出色,該方法可達到95%以上的款式識別率。
FZXB
[1] 燕平. 服裝款式設計[M]. 重慶:西南師范大學出版社, 2011:3-4. YAN Ping. Clothing Design[M]. Chongqing: Southwest China Normal University Press, 2011:3-4.
[2] 李克兢, 劉哲. 服裝圖片款式計算機分析技術研究[J]. 上海紡織科技, 2005, 33(1): 53-55. LI Kejing, LIU Zhe. Research on computer analyzing techniques for garment image style [J]. Shanghai Textile Science & Technology, 2005, 33(1): 53-55.
[3] HUSSAIN K F, ALI S A, MALEK S M. An efficient approach for automatic cloth panel extraction from pattern images [J]. International Journal of Computer Applications, 2014, 98(3): 15-22.
[4] WANG X C, LI K J. Pattern recognition based on fuzzy cluster for recognizing garment style in the photo[C]//9th IEEE International Conference on Computer-Aided Industrial Design and Conceptual Design. Kunming:[s.n], 2008: 250-254.
[5] AN L X, LI W. An integrated approach to fashion flat sketches classification [J]. International Journal of Clothing Science and Technology, 2014, 26(5): 346-366.
[6] ZHANG D, LU G. Review of shape representation and description techniques[J]. Pattern Recognition, 2004, 37(1):1-19.
[7] HOU A L, ZHAO L Q, SHI D C. Garment image retrieval based on multi-features [C]//International Conference on Computer, Mechatronics, Control and Electronic Engineering. Changchun:[s.n.], 2010: 194-197.
[8] GONZALEZ R C, WOODS R E, 阮秋琦, 等. 數字圖像處理[M]. 3版. 北京: 電子工業(yè)出版社, 2010: 542-543. GONZALEZ R C, WOODS R E, RUN Q Y, et al. Digital Image Processing [M]. 3th ed. Beijing: Publishing House of Electronics Industry, 2010: 542-543.
[9] VAPNIK V N. The Nature of Statistical Learning Theory [M]. New York: Spring, 1995: 13-15.
[10] OTSU N A. Threshold method from gray-level histograms [J]. IEEE Transactions on System Man and Cybernetics, 1979(9): 62-69
[11] CHANG C C, LIN C J. LIBSVM: A library for support vector machines [CP/OL]. 2010-03-11 [2015-11-09]. http://www.csie.ntu.edu.tw/~cjlin/libsvm.
[12] LIU X L, JIA D X, HUI L I, et al. Research on kernel parameter optimization of support vector machine in speaker recognition[J]. Science Technology & Engineering, 2010, 10(7): 1669-1673.
[13] HU M K. Visual pattern recognition by moment invariants [J]. IRE Transactions on Information Theory, 1962, 8: 179-187.
[14] ABDI H, WILLIAMS L J. Principal component analy-sis[J]. Wiley Interdisciplinary Reviews Computational Statistics, 2010, 2(4): 433-459.
[15] HUANG G B, ZHU G Y, SIEW C K. Extreme learning machine: theory and applications [J]. Neurocomputing, 2006, 70(1/3): 489-501.
[16] ZHOU H M, HUANG G B. Elm_kernel [CP/OL]. 2013-09-10 [2015-11-09]. http://www.ntu.edu.sg/home /egbhuang/elm_codes.html.
Clothing style recognition approach using Fourier descriptors and support vector machines
LI Dong1, WAN Xianfu1,2, WANG Jun1, 2
(1.CollegeofTextiles,DonghuaUniversity,Shanghai201620,China; 2.KeyLaboratoryofTextileScience&Technology,MinistryofEducation,DonghuaUniversity,Shanghai201620,China)
In the current clothing style recognition field, clothing contour feature extraction technique was complicated, classification efficiency was low and adaptability was poor. In order to solve these problems and recognize the clothing styles, a novel approach was proposed. In this approach, the contours were extracted from the clothing images, which were taken from the newly created sample database. Then the contour features were described by Fourier descriptors(FD). Finally, the clothing styles were classified by multiclass support vector machines(SVM). The experimental results show that this novel approach can accurately extract the contours of clothing. The recognition effect of the Fourier descriptors is better than the Hu moment invariant and feature fusion (Hu moment invariant and Fourier descriptor). Principal component analysis of FD can′t improve the recognition accuracy, and the classification effect of SVM is better than ELM. This approach can achieve a recognition rate above 95%. In particular, contour features obvious style has a better recognition rate.
clothing style recognition; Fourier descriptor; support vector machine; Hu moment invariant; principal component analysis; extreme learning machine
2016-05-18
2016-11-15
李東(1992—),男,碩士生。研究方向為服裝款式識別。萬賢福,通信作者,E-mail:wanxianfu@dhu.edu.cn。
10.13475/j.fzxb.20160504706
TS 941.26
A