張夢玉,張華熊
(浙江理工大學 信息學院,杭州 310018)
社會發(fā)展呈現出多元化趨勢,人們對自己的衣著打扮也越來越追求個性化。傳統(tǒng)的服飾圖案,如人物、動物、植物等題材形式已經不能滿足人們對個性化的要求。隨著計算機技術的發(fā)展,基于計算機技術生成的非線性圖形開始作為一種全新的服飾圖案出現在了人們的視野中。其中最具代表性的圖案是以準規(guī)則斑圖[1-2]為主要題材形式的準規(guī)則斑圖花型圖案。
隨著數量的增長,如何實現對準規(guī)則斑圖花型圖案進行檢索,是一個非常重要的問題。準規(guī)則斑圖花型圖案因其構成形狀多樣、顏色信息豐富,很難找到合適的文字對其進行描述。同樣,準規(guī)則斑圖花型圖案極低的重復性,導致使用相似的圖案對其進行“以圖搜圖”的檢索方式也相對困難。隨著觸摸設備和智能設備的普及,出現了一種全新的圖像檢索方式——基于手繪圖的圖案檢索[3-4]。這種檢索方式具有很強的實用性,人們在進行檢索時不必被選取合適關鍵字、尋找相似圖案等條件束縛,可以隨時隨地將自己看到的或是突然想到的圖案,通過手機或是觸摸輸入設備描繪下來,根據手繪的圖案進行檢索,尋找自己需要的圖案。這種檢索方式能夠很好的滿足人們的個性化需要,也能夠很好解決準規(guī)則斑圖花型圖案因其圖案信息豐富而難以檢索的困難。
因此,本文針對準規(guī)則斑圖花型圖案周期性構成的特點,提出了基于圖案基元分割的手繪準規(guī)則斑圖檢索算法,并解決了傳統(tǒng)檢索方式難以適應于準規(guī)則斑圖檢索的問題。算法首先采用基元分割的方式,簡化準規(guī)則斑圖花型圖案的特征信息;再通過閾值分割與邊緣檢測相結合的方式,縮小與手繪圖之間的差距;最后使用HOG特征提取算法進行特征提取,并通過相似性度量,計算待檢索圖案與圖案庫中圖案特征之間的距離,實現最終的檢索。
本文提出的算法流程如圖1所示。主要步驟包括:準規(guī)則斑圖花型圖案的預處理、特征提取、相似度計算等過程。
圖1 算法流程
本文的預處理過程主要采用了圖案基元分割與邊緣檢測相結合的方式。在這一過程中以準規(guī)則斑圖花型圖案為對象,采用圖案基元分割算法,簡化圖案特征,以局部代替整體;再使用閾值分割與Canny邊緣檢測算法進行邊緣提取。通過圖案預處理過程進一步縮小手繪圖案與準規(guī)則斑圖花型圖案之間的差距,提高特征提取的準確性。
在手繪過程中,人們往往更重視對花型圖案形狀的描述,因此,在特征提取的過程中,本文采取了更注重描述物體形狀的HOG特征提取算法進行提取,以便能夠更好的表現準規(guī)則斑圖花型圖案的形狀信息。
特征相似度計算主要使用相似性度量,來計算手繪圖案與準規(guī)則斑圖花型圖案庫中圖案特征之間的距離。通過距離的大小判斷圖案庫中與檢索手繪圖案的相似性,并實現最終的檢索。
由于準規(guī)則斑圖花型圖案構成的復雜性和多樣性,還有人們繪畫水平的限制,在手繪時往往很難將準規(guī)則斑圖花型圖案完整的描繪下來。另外,繪制完整的準規(guī)則斑圖花型圖案也是件耗時耗力的任務,若以這種形式進行圖案檢索是非常不方便的,違背了設計手繪圖案檢索算法的初衷。并且在實際應用中,人們繪制的手繪圖案(如圖2左下所示)往往只是將準規(guī)則斑圖花型圖案中的基本構成形狀繪制出來。針對以上問題,為了能夠更接近實際應用中人們的手繪習慣,同時減少后續(xù)處理中帶來的無效計算損耗,提高檢索準確性。因此,本文采用基元分割方法,通過準規(guī)則斑圖花型圖案的對稱軸[5]及對應坐標來確定重復區(qū)域,從而實現基元分割;并將準規(guī)則斑圖花型圖案庫中的圖案統(tǒng)一進行了基元分割處理,基元分割效果如圖2左上所示。
圖2 準規(guī)則斑圖花型圖案基元分割及對應的手繪圖案
本文采用迭代閾值分割與Canny邊緣提取結合的方法,來減小基元分割圖案中無關形狀對檢索的干擾,并拉近與手繪圖之間的距離。預處理后的準規(guī)則斑圖花型基元圖案的效果如圖3(b)所示。
由圖可見,在預處理后的準規(guī)則斑圖花型基元圖案與圖3(c)中的手繪圖非常接近,并且相較于圖3(a),預處理效果圖中少了許多無關線條,構成基元圖案的主要形狀更加突出。為后面特征提取以及檢索的實現做好準備。
(a)原圖 (b)預處理效果圖 (c)手繪圖
在經過準規(guī)則斑圖花型圖案基元分割以及預處理過程后,若要想實現最終的檢索,選取合適的特征提取算法也是至關重要的一步。由圖3(c)中的手繪圖案可以看出,形狀是準規(guī)則斑圖花型圖案的主要特征信息,也是手繪圖案中的關鍵。因此,特征提取算法選擇了更注重描述形狀信息的HOG特征提取算法。
為實現基于手繪圖的準規(guī)則斑圖花型圖案檢索,還需要比較檢索手繪圖案與圖案庫中圖案的HOG特征之間的相似性。若I表示準規(guī)則斑圖花型圖案庫中的圖案,Q表示檢索手繪圖案,本文使用下式對兩幅圖的相似性進行度量:
(1)
式中,d(i)表示圖案I與檢索手繪圖案Q之間的HOG特征相似度,n代表的是HOG特征提取的維度,圖案的大小不同則維度n不同。由公式(1)可知,d(i)越小,兩幅圖案之間的相似度越高。
本節(jié)實驗中所使用的準規(guī)則斑圖花型圖案庫中共有391張圖案,并將圖案庫中的圖案分為3類:類別1主要構成形狀為圓形;類別2主要構成形狀為方形;類別3主要構成形狀為多邊形。其中類別1有146張、類別2有37張、類別3有83張。剩余的127張統(tǒng)一歸類為其它。對準規(guī)則斑圖花型圖案進行分類,為下面判斷手繪圖的檢索準確性提供了依據。
為了更好的展示基于手繪圖的準規(guī)則斑圖花型圖案的檢索性能,采用平均檢索精度(Mean Average Precision, MAP)[6]來表示檢索準確度。經過實驗計算,采用本文方法進行基于手繪圖的準規(guī)則斑圖花型圖案檢索的平均檢索精度達到了83.11%,最終檢索結果如圖4(b)所示。其中,圖4(a)中為檢索手繪圖,圖4(b)為相似度最高的10張圖案,分別按照從左到右,從上到下的順序排列。這里定義檢索結果中與檢索手繪圖的主要構成形狀相同即為正確檢索結果。
(a)檢索手繪圖 (b)相似度排名前10的圖案
可以看到手繪的圖案往往只繪制出了主要的基元圖案的形狀,而在檢索結果中的準規(guī)則斑圖花型圖案中,大多主要構成形狀與手繪圖案相同或相似,顏色和排列方式都呈現出較大的區(qū)別,充分證明本文基于手繪的準規(guī)則斑圖花型圖案檢索的有效性。
為了能夠更直觀地展示不同特征提取算法對檢索結果的影響,在本節(jié)中設置了對比實驗。將本文使用的HOG特征提取算法與幾何不變矩、文獻[7]中使用的深度網絡特征提取算法進行對比,不同特征提取算法下的檢索結果見表1。
表1 不同特征提取算法的平均檢索精度
由表中數據可知,使用HOG特征提取算法進行特征提取時的檢索準確度最高。HOG特征提取在對局部區(qū)域進行特征描述時,具有較大的優(yōu)勢。幾何不變矩雖然也是注重描述圖案形狀特征的特征描述符,但其最終將圖案特征總結為7個不變矩的形式,在對復雜形狀進行描述時,可能會導致部分特征的丟失,導致檢索結果出現較大的誤差。文獻[7]的檢索結果要略高于使用幾何不變矩作為特征提取算法時的檢索結果,可見深度網絡相較于傳統(tǒng)算法確實具有更強的特征提取能力。但是,文獻[7]中使用的深度網絡進行特征提取的方法在檢索結果上仍然落后于本文使用的HOG特征提取算法。主要原因可能是基元圖案中特征信息被大量減少,過深的網絡導致學習過于充分,以至于造成了特征的混淆,不管是主要構成形狀還是無關形狀都被一并學習了下來;其次,圖案庫中的圖案數量過少也不能最大限度的發(fā)揮深度網絡的優(yōu)勢,導致檢索結果較差。
綜上所述,HOG特征提取算法是適合于基元圖案的特征提取,并且最終檢索的平均檢索精度達到了83.11%。
在實現手繪圖案的檢索過程中,圖案的預處理過程也是必不可少的一環(huán)。由于手繪圖案是黑白的二值圖案,準規(guī)則斑圖花型圖案則是彩色圖案,且準規(guī)則斑圖花型圖案中顏色豐富,一些相近的顏色常常容易構成形狀的邊界模糊。此時若直接使用準規(guī)則斑圖花型圖案進行形狀特征提取,可能會導致提取到的形狀特征產生較大的誤差,并且會進一步影響檢索結果的準確性。因此,為突出預處理過程的重要性,在本節(jié)進行了預處理過程對檢索結果影響的對比實驗,平均檢索精度見表2。
表2 有無預處理過程時的平均檢索精度
由表中數據可以看出,在使用幾何不變矩和HOG特征提取算法時,預處理過程的有無還是會對檢索結果產生一定的影響。在使用進行了預處理后的準規(guī)則斑圖花型圖案進行檢索的結果要高于未進行預處理時的檢索結果。手繪是通過輪廓來表示圖案信息的,因此采用邊緣檢測的預處理方法能夠更好地縮小手繪圖與原準規(guī)則斑圖花型圖案之間的差距,并且還能有效減少無關特征信息的干擾,提高檢索的準確度。
另外可以看到,使用文獻[7]的方法進行檢索實驗時,平均檢索精度似乎沒有受到預處理過程的影響,相反未進行預處理的檢索結果要高于進行預處理的檢索結果。這可能是因為經過預處理后的邊緣輪廓圖特征信息減少,不利于深度網絡進行充分的學習,進而導致檢索效果下降。因此,如何既保證深度網絡得到充分的學習,又不影響檢索效果,是后續(xù)研究中需要重點關注的問題。
本文針對準規(guī)則斑圖花型圖案周期性的構成特點,提出使用基于圖案對稱性的基元分割的方法,有效地將復雜多樣的準規(guī)則斑圖花型圖案,替換成僅包含主要構成形狀的基元圖案后,進行基于手繪輪廓圖的準規(guī)則斑圖花型圖案檢索。本文在繼承了傳統(tǒng)的手繪圖檢索的圖案預處理、特征提取、特征相似度計算等過程的基礎上,加入了針對準規(guī)則斑圖花型圖案周期性的基元分割。并通過實驗證明了該方法的可行性,同時檢索結果較為準確,平均檢索精度達到了83.11%。