張宇 張健 齊林
Research on the extraction method of woven and embroidered artifacts' patterns based ongenetic algorithm optimization of Canny operator
摘要:織繡文物中的紋樣彰顯中國傳統(tǒng)文化造型藝術(shù)的形式美感,是文創(chuàng)設(shè)計的重要素材源泉。針對傳統(tǒng)Canny算子進行紋樣邊緣檢測需人為確定閾值的問題,本文提出基于遺傳算法自適應(yīng)優(yōu)化Canny算子閾值的方法,將邊緣點、非邊緣點類間梯度幅值方差設(shè)置為適應(yīng)度函數(shù),通過格雷碼對閾值染色體編解碼、錦標(biāo)賽選擇算法優(yōu)選交叉變異后的閾值,求解最優(yōu)適應(yīng)度對應(yīng)的高低閾值,用于紋樣邊緣檢測;此外,運用形態(tài)學(xué)操作得到紋樣的完整、精確輪廓;最后,添加Alpha通道抽取紋樣前景。實驗表明,上述方法在織繡紋樣抽取精度和像素準(zhǔn)確度(PA)上,優(yōu)于傳統(tǒng)Canny算子、混合蛙跳自適應(yīng)Canny算子、Otsu法優(yōu)化Canny算子等已有方法,可有效檢測織繡文物圖像中紋樣真實邊緣并完成紋樣抽取。
關(guān)鍵詞:織繡文物;遺傳算法;Canny算子;邊緣檢測;紋樣抽取;最優(yōu)閾值
中圖分類號:TS101.1???? 文獻(xiàn)標(biāo)志碼:A 文章編號:1001-7003(2024)06-0001-12
DOI: 10.3969 / j.issn.1001-7003.2024.06.001
收稿日期:2023-12-10;修回日期:2024-05-06
基金項目:北京市屬高等學(xué)校優(yōu)秀青年人才培育計劃項目(BPHR202
203235) ;國家重點研發(fā)計劃青年科學(xué)家項目(2021 YFF0900200) ;北京信息科技大學(xué)促進高效內(nèi)涵發(fā)展項目(5026010961)
作者簡介:張宇(1999),女,碩士研究生,研究方向為計算機視覺與文化計算。通信作者:齊林,副教授,qilin@bistu.edu.cn。
織繡是用棉、麻、絲、毛等紡織材料織造、編結(jié)或繡制的工藝。中國是絲綢之路的起點,是養(yǎng)蠶、繅絲、織綢的發(fā)祥地,織繡業(yè)的精湛技藝在世界享有崇高聲譽[1]。織繡文物的紋樣呈現(xiàn)了歷史文化與藝術(shù)價值,彰顯了中國傳統(tǒng)文化中造型藝術(shù)的形式美感,為文創(chuàng)設(shè)計提供了豐富的素材資源[2]。然而,傳統(tǒng)的織繡設(shè)計主要依賴人工紋樣抽取,存在成本高、步驟繁、周期長、效率低等問題[3-4]。為此,本文提出一種基于遺傳算法自適應(yīng)確定Canny算子最優(yōu)閾值的算法,自動抽取織繡文物圖像中的紋樣,提高抽取效率和效果,讓織繡文物“活”起來,促進中國傳統(tǒng)文化的傳承與保護。
紋樣抽取是計算機視覺領(lǐng)域的圖像分割問題[5]?,F(xiàn)有研究中,主要有基于邊緣檢測、閾值、聚類、區(qū)域、神經(jīng)網(wǎng)絡(luò)和圖論等分割方法[6]。閾值分割按照某一準(zhǔn)則將像素分類,實現(xiàn)圖案分割[7],適用于目標(biāo)與背景灰度差異大的圖像,計算簡
單,但對噪聲敏感。聚類分割中,如K-means聚類算法先確定聚類數(shù)目,進而對像素點分類,獲得所需的最佳分割區(qū)域[8]。這類算法簡單、應(yīng)用廣泛,但存在初始聚類數(shù)目不穩(wěn)定、受噪聲干擾、運行時間長、易陷入局部最優(yōu)等問題[2]。基于圖像區(qū)域分割的算法,采用迭代方式,根據(jù)圖像特性將待分類點劃分到不同組別當(dāng)中進行圖案的提取,算法的時空開銷大?;趫D論的分割方法,將圖像映射為加權(quán)無向圖,將像素或區(qū)域視作節(jié)點,兩節(jié)點屬于同一區(qū)域的可能性表示為邊的權(quán)值,根據(jù)圖的某種劃分準(zhǔn)則建立相應(yīng)的能量函數(shù),最小函數(shù)值對應(yīng)圖像的一個最佳分組[9]?;谏疃葘W(xué)習(xí)的方法需要標(biāo)注數(shù)據(jù),對于織繡文物邊緣檢測這類特定問題,大規(guī)模標(biāo)注數(shù)據(jù)集很難獲得且邊際收益不大。
作為經(jīng)典的圖像分割方法,邊緣檢測分割算法根據(jù)檢測到的邊緣獲得實例輪廓,進而完成分割,剔除了不相關(guān)的信息,大幅減少了數(shù)據(jù)量,保留了圖像重要的結(jié)構(gòu)屬性,是圖像分割的最重要依據(jù)。目前圖像邊緣檢測算法大致分為基于梯度算子的檢測方法、人工特征方法和深度學(xué)習(xí)方法等[10]。在經(jīng)典的基于梯度算子的算法中,常用的一階檢測算子有Sobel算子、Robert算子、Prewitt算子等,二階檢測算子有Canny算子、Laplacian算子等。其中,Canny算子因抑噪比大、檢測精度高的優(yōu)點得到廣泛應(yīng)用[11],但仍存在人為確定閾值的不足。
為此,本文提出遺傳算法優(yōu)化Canny算子閾值的方法。Canny算子基于梯度幅值圖像確定像素點是否為邊緣點,而非灰度圖,但目前多數(shù)群智能算法尋找最優(yōu)閾值時僅將灰度值方差設(shè)為優(yōu)化函數(shù)。本文針對Canny算子原理,設(shè)計背景、邊緣兩類像素點的梯度幅值方差為優(yōu)化函數(shù),通過遺傳算法尋找優(yōu)化函數(shù)最大值的對應(yīng)閾值。該方法根據(jù)圖像特點自動選取獨立的高、低閾值,較傳統(tǒng)Canny算子適應(yīng)性更強。實驗結(jié)果表明,該算法能準(zhǔn)確提取紋樣真實邊緣,效果優(yōu)于傳統(tǒng)Canny算子、混合蛙跳自適應(yīng)Canny算子、Outs最大值優(yōu)化Canny算子等方法。
1 研究現(xiàn)狀
1.1 基于統(tǒng)計學(xué)的方法
在基于統(tǒng)計學(xué)尋找Canny算子閾值的研究中,Rong等[12]將圖像分為邊緣信息較少和較多的圖像,分別提出了基于圖像梯度幅均值和標(biāo)準(zhǔn)差的閾值選擇方法。王植等[13]將圖像分割為若干子圖,根據(jù)子圖的邊緣梯度信息和全局邊緣梯度特征,自適應(yīng)生成動態(tài)閾值。楊永杰等[14]對圖像灰度變換后,用Otsu算法得到閾值。胡克滿等[15]取圖像的平均方差和平均灰度作為高低閾值,完成了織物瑕疵點檢測。王藝瑋等[16]利用基于灰度圖的Otsu法確定最優(yōu)高閾值,將高閾值的0.5倍設(shè)置為最低閾值,完成侗錦圖案提取,由于閾值比例固定,會丟失邊緣信息或出現(xiàn)偽邊緣。李牧等[17]提出基于梯度幅度直方圖和類內(nèi)方差最小化的閾值確定方法。Gao等[18]和唐路路等[19]的研究均使用基于梯度的Otsu法確定閾值。這些方法在一定程度上解決了人為確定閾值的問題,為群智能算法的優(yōu)化函數(shù)設(shè)計提供了參考,但部分算法計算量大,處理大型圖像時運算緩慢。
1.2 基于深度學(xué)習(xí)的方法
隨著深度學(xué)習(xí)被應(yīng)用于圖像邊緣檢測,部分研究通過深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)最佳閾值,輸入Canny算子對圖像邊緣檢測。Schmid-Schickhardt[20]提出基于深度學(xué)習(xí)的自適應(yīng)Canny邊緣檢測(CED)方法,其中預(yù)測模型使用帶有代理網(wǎng)絡(luò)的三模型管道訓(xùn)練,驗證模型為給定圖像選擇最佳閾值。Choi等[21]采用演員—評論家強化學(xué)習(xí)算法確定閾值,演員網(wǎng)絡(luò)使用預(yù)訓(xùn)練權(quán)重提取圖像特征,通過全連接層產(chǎn)生閾值均值和標(biāo)準(zhǔn)差,但該方法不能完全應(yīng)對閾值反轉(zhuǎn),邊緣評估網(wǎng)絡(luò)仍需有監(jiān)督的方式訓(xùn)練??傮w而言,基于深度學(xué)習(xí)的方法需要大量標(biāo)注邊緣的圖像數(shù)據(jù)集,對于織繡文物紋樣邊緣圖像,可行性較低。
1.3 基于群智能的方法
群智能算法是模仿自然界生物種群社會行為規(guī)律的元啟發(fā)式算法,具有簡單、靈活、自適應(yīng)的特點,廣泛用于圖像處理領(lǐng)域,其中粒子群算法[22]、混合蛙跳算法[23]、螢火蟲算法[24]、煙花算法[25]、人工蜂群算法[26]等都已被用于求解Canny算子最優(yōu)閾值。這些研究在一定程度上解決了 Canny算子閾值確定的問題,但上述算法也存在陷入局部最優(yōu)的缺點。
遺傳算法是一種隨機優(yōu)化與搜索方法,具有簡單、通用、全局優(yōu)化和魯棒性的優(yōu)點,已在圖像預(yù)處理、邊緣檢測、圖像分割、目標(biāo)檢測、去噪和識別等圖像處理領(lǐng)域應(yīng)用[27-28]。用遺傳算法優(yōu)化Canny算子圖像邊緣檢測效果的關(guān)鍵在于設(shè)計合理的適應(yīng)度函數(shù)。其中,PavloviS等[29]將優(yōu)化函數(shù)設(shè)置為錯誤檢測像素(WD)與正確檢測像素(RD)的跟隨比,用遺傳算法對軌道檢測中的Canny算子閾值進行優(yōu)化。陳燕龍等[30]針對遺傳算法收斂速度慢的問題,對閾值進行二次尋優(yōu),提高算法的實時性,并采用Otsu值作為評價函數(shù)。Zhao等[31]利用Mallat小波變換對圖像的弱邊緣強化,進而結(jié)合文獻(xiàn)[30]提出的算法對路面邊緣檢測。胡佳林等[32]采用半像素插值法將3×3模板擴展成5×5模板,對每個子塊采用二次尋優(yōu)遺傳算法迭代最佳閾值,同樣采用Otsu值作為評價函數(shù)。Otsu算法設(shè)定閾值將像素點分為目標(biāo)區(qū)域和背景區(qū)域兩類,計算類間灰度值方差,選取方差最大對應(yīng)的閾值為圖像分割閾值[19]。但在Canny算子邊緣檢測算法中,基于梯度幅值圖像確定像素點是否為邊緣點,而非灰度圖。因此,本文針對Canny算子原理設(shè)計了種群進化的適應(yīng)度函數(shù),將該函數(shù)設(shè)置為背景、邊緣兩類像素點的梯度幅值方差,通過尋找優(yōu)化函數(shù)最大化確定最優(yōu)閾值,以獲得圖像的精確邊緣檢測圖。
2 研究方案
2.1 圖像獲取與特征分析
本文選取的研究對象來源于“北京服裝學(xué)院民族服飾博物館網(wǎng)站”中的織繡文物圖像。圖像為“.PNG”格式,水平或垂直分辨率大于1000像素,每幅圖像可達(dá)到百萬像素以上級別,織繡紋樣輪廓結(jié)構(gòu)清晰可見。經(jīng)分析,織繡文物圖像有以下特點:
2.1.1 圖案和紋樣豐富
織繡文物的圖案和紋樣豐富多樣,具有獨特的藝術(shù)風(fēng)格。既有花卉、鳥獸、山水、人物等自然和人文主題描繪,也有抽象、幾何風(fēng)格的紋樣,還有寓意深遠(yuǎn)的吉祥圖案。這些圖案和紋樣既是裝飾,也承載著文化、歷史和民俗的內(nèi)涵。
2.1.2 背景復(fù)雜多樣
織繡中紋樣間縱橫交錯,存在互相遮擋的情況,不利于紋樣抽取。因此,本文研究對象只選取以純色布料為紋樣背景的織繡文物,如圖1所示。
2.1.3 普遍存在噪聲
首先,織物有特定組織結(jié)構(gòu),圖像中以線條、網(wǎng)格、花紋等形式呈現(xiàn)的織物紋理明顯,展現(xiàn)出有規(guī)律的重復(fù)和交錯。其次,織繡文物歷經(jīng)歲月洗禮,有一定程度的污損和褪色,在織品的不同區(qū)域表現(xiàn)有不均勻的磨損、褪色和模糊。再次,文物掃描過程中存在布料放置不平整、光源不均勻的影響,產(chǎn)生局部色差。最后,部分織物長期折疊存放形成的褶皺,也會導(dǎo)致紋樣形變。
2.2 研究路線
根據(jù)織繡文物圖像特點,本文擬定以下研究路線:首先對有噪聲的原始圖像平滑處理,采用雙邊濾波算法[33]和均值漂移算法(Mean-Shift) [34]兩種算法;再對平滑后的圖形灰度化,選取遺傳算法求解Canny算子的最優(yōu)閾值,把最優(yōu)閾值輸入Canny算子對灰度圖邊緣檢測;為填充邊緣檢測圖像的邊緣凹陷,使紋樣輪廓更加清晰,對邊緣圖像形態(tài)學(xué)膨脹;在此基礎(chǔ)上,根據(jù)每個連通域的面積、長度和寬度自動過濾掉噪點和不完整紋樣,以便得到完整紋樣目標(biāo)的更精確輪廓;最后,為圖像添加α通道,抽取紋樣前景區(qū)域,研究框架如圖2所示。
3 織繡圖像邊緣檢測與紋樣獲取
3.1 圖像預(yù)處理
3.1.1 平滑紋理
織繡文物圖像噪聲會對紋樣的提取帶來干擾,為此采用保邊平滑處理。雙邊濾波算法和Mean-Shift算法能在去除彩色圖像紋理噪聲的同時較好保持圖案原有的邊緣[2]。考慮空間鄰近度與像素值相似度,雙邊濾波算法將顏色域的高斯濾波函數(shù)和空間域的濾波函數(shù)結(jié)合,在濾除噪聲的同時保持圖像細(xì)小的顏色邊界完整。Comaniciu等[35]提出的Mean-Shift算法因計算量小,易于實現(xiàn),且可保留被測圖像的顯著特征,已被廣泛應(yīng)用。本文在使用雙邊濾波算法對原始圖像平滑紋
理的基礎(chǔ)上,再使用Mean-Shift算法對圖像紋理抑制平滑濾波,使得圖像平滑紋理,但又保留紋樣邊緣信息。
3.1.2 灰度圖轉(zhuǎn)換
Canny算子進行邊緣檢測的輸入要求是灰度圖像,需要對平滑后的彩色圖形灰度化。根據(jù)人眼的色彩敏感度,對RGB三通道的像素值加權(quán)平均,得到該像素點灰度。通常RGB三通道對應(yīng)的加權(quán)系數(shù)為0.299、0.587、0.114。
3.2基于Canny算子的邊緣檢測
1986年John Canny提出的Canny邊緣檢測器方法[36],由于抑燥比大、檢測精度高被廣泛使用[25],在織物紋樣邊緣檢測領(lǐng)域也有較好的應(yīng)用效果[16]。Canny算子進行圖像邊緣檢測的步驟為[37]:1)高斯濾波器抑噪。使用高斯濾波器對原始圖像卷積平滑。2) 梯度幅值和方向圖計算。對平滑后的圖像計算梯度方向和梯度幅值,根據(jù)梯度方向以45°劃分為八個方向,找到鄰接像素。3)梯度幅值圖非極大值抑制。保留沿梯度方向的最大梯度值像素,將其他像素置0。4)閾值設(shè)定和邊緣連接。設(shè)定高低閾值,像素點梯度幅值大于高閾值的為邊緣點,小于低閾值的為非邊緣點,兩者之間的需要進一步判斷該點是否與邊緣點八連通,連通則為邊緣點。
經(jīng)典的Canny算子邊緣檢測算法的缺點在于閾值需要人為設(shè)定,通過實驗和經(jīng)驗值判斷設(shè)定閾值,改善邊緣檢測效果。在處理大量圖像時,適合每張圖片的參數(shù)都不同,因此該方式效率不高。
3.3基于改進Canny算子的閾值優(yōu)化
本文提出一種基于遺傳算法的自適應(yīng)確定閾值方法,根據(jù)每幅圖像的特征自動確定雙閾值。遺傳算法(Genetic Algorithm,GA)是利用達(dá)爾文種群進化準(zhǔn)則解決自然選擇優(yōu)化問題的方法,由Holland于20世紀(jì)70年代提出[38]。用遺傳算法優(yōu)化Canny算子圖像邊緣檢測效果的關(guān)鍵在于適應(yīng)度函數(shù)的設(shè)計。本文借鑒Otsu算法使類間灰度值方差最大化自動確定閾值的思想[39],將背景、邊緣兩類像素點的梯度幅值方差設(shè)置為適應(yīng)度函數(shù),提高求解效率。
3.3.1 適應(yīng)度函數(shù)設(shè)計
Otsu算法設(shè)定閾值將像素點分為目標(biāo)區(qū)域和背景區(qū)域兩類,計算類間灰度值方差,選取方差最大對應(yīng)的閾值為圖像分割閾值[19]。在Canny算子邊緣檢測算法中,一般不考慮灰度值,基于像素點本身的梯度幅值確定像素點是否為邊緣點。因此,本文根據(jù)像素點的梯度幅值將像素點分為D1、D2兩類,其中D1為原圖非邊緣點,包含梯度幅值為{t1, t2,…,tk, tk + 1,…,tm-1}的像素點;D2為原圖邊緣點,包含梯度幅值為{ tk + 1,tk+2,…,tm,tm + 1,…,tl}的像素點,k和m分別為Canny算子的低、高閾值。設(shè)像素點總數(shù)為N,梯度幅值為tj對應(yīng)的像素點數(shù)量為nj,概率為pj= nj/N, (j = 1,2,…,l)。整個圖像的梯度幅值期望為:
式中:兩類像素點梯度幅值類間方差 σ2( k,m)最大時對應(yīng)的(k,m)為Canny算子的當(dāng)前圖像邊緣檢測最優(yōu)閾值。
3.3.2遺傳算法優(yōu)化Canny算子
使用遺傳算法優(yōu)化Canny算子邊緣檢測的過程就是求解式(6)最優(yōu)解的過程,具體流程如圖3所示。主要步驟如下:
1)種群初始化。設(shè)置種群大小n,變異概率Pm,最大進化代數(shù)T,當(dāng)前代數(shù)G,隨機生成n個個體作為初始化種群P0。n如果過大容易找到最優(yōu)解,但計算量變大,如果過小計算量小,但難以找到全局最優(yōu)解,一般設(shè)置在20 ~ 100。Pm —般較小,0.05 ~0.1較為合適。代數(shù)T太小種群還不成熟算法不易收斂;反之收斂后繼續(xù)進化徒增時間開支和資源浪費。實驗發(fā)現(xiàn),算法迭代到10次以上最大適應(yīng)度已趨于穩(wěn)定,算法趨于收斂,故本文將最大迭代次數(shù)設(shè)置為20。
2)編碼與解碼。采用格雷碼,作為二進制編碼的一種變形,它在擁有二進制編碼的全部優(yōu)點的同時,還擁有更優(yōu)的局部搜索能力[40]。將低閾值TL和高閾值TH取值范圍設(shè)置為[0,255],對應(yīng)每條染色體長度為8。
3)適應(yīng)度評估。使用式(6)作為適應(yīng)度函數(shù)。
4)選擇。采用錦標(biāo)賽選擇算法,模仿淘汰賽制,每次在種群中隨機抽取Tourn個個體參與競爭,適應(yīng)值最優(yōu)的作為父體。重復(fù)該操作,直到被選集合達(dá)到需要選擇的個體數(shù)。隨機選擇算子的使用,增加了種群多樣性和隨機性,防止最優(yōu)個體支配種群[41],避免早熟和局部最優(yōu)[42]。
5)交叉。采用兩點交叉,即在相互配對的兩個個體編碼串中隨機設(shè)置兩個交叉點,交換交叉點之間的部分染色體。
6)變異。采取基于多項式變異算子的變異操作,對染色體中的每個基因位以概率Pm變異。在多項式變異中,當(dāng)前元素值以一定概率加上一個服從多項式概率分布的值得到鄰近值[43]。
7)算法終止。在連續(xù)Tc代適應(yīng)度沒有明顯改進,或達(dá)到最大進化代數(shù)T時,終止算法迭代,得到最優(yōu)閾值,輸入Canny算子進行邊緣檢測,得到織繡文物圖像的初始邊緣圖。
3.4 紋樣獲取
3.4.1 形態(tài)學(xué)膨脹
膨脹是形態(tài)學(xué)基礎(chǔ)變換之一,在噪聲消除、元素分割、連接等圖像處理任務(wù)中得到應(yīng)用[44]。膨脹為求局部最大值的操作,本文按AB = { z | (B) z ∩A≠?}規(guī)則做形態(tài)學(xué)膨脹。其中,A為圖像,B為3×3矩形實心核,其錨點在中心,A?B表示A被B膨脹。其作用是填充分割后疵點圖像的邊緣凹陷、內(nèi)部溝槽等。對邊緣圖像形態(tài)學(xué)膨脹,能解決斷裂區(qū)域的連接問題,并使紋樣輪廓更清晰,便于抓住紋樣本質(zhì)的形狀特征。
3.4.2 紋樣抽取
針對小瑕疵點和拍攝原因造成的不完整的紋樣,計算每個連通域的面積,統(tǒng)計長度和寬度,據(jù)此自動過濾掉部分噪點和不完整紋樣,使紋樣目標(biāo)輪廓更精確。最終,在R、G、B三通道基礎(chǔ)上為添加α通道(即Alpha通道,透明度),將背景區(qū)域透明化,抽取出紋樣前景區(qū)域。
4 實驗與分析
根據(jù)現(xiàn)有資料[11,45-47]將紋樣分為植物紋樣、動物紋樣、人物紋樣、器物紋樣、景物紋樣、幾何紋樣、文字紋樣、吉祥寓意紋樣、其他等。本文隨機選取100張織秀圖像,涵蓋上述各
類,抽取其中紋樣。實驗使用Apple M1 Ultra芯片,20核,64 GB內(nèi)存;軟件環(huán)境為macOS Monterey 12.6.4操作系統(tǒng),Python 3.10 和 OpenCV 4.7 編程環(huán)境。
4.1 平滑降噪
選取雙邊濾波算法和Mean-Shift算法對原始彩色織繡圖像紋理抑制平滑濾波,雙邊濾波中有三個重要的參數(shù),分別為濾波窗口大小d,顏色空間濾波器標(biāo)準(zhǔn)差吟和坐標(biāo)空間濾波器標(biāo)準(zhǔn)差 σs。本文將d設(shè)置為max(3,max(w,h) /200),其中w和h分別為圖像的寬和高,將 σc 和 σs均設(shè)置為50。Mean-Shift算法中的參數(shù)有空間窗口大小ds和顏色窗口大小dc,設(shè)置準(zhǔn)則與雙邊濾波算法相同,迭代終止準(zhǔn)則為最大迭代5次,誤差容差為1。平滑后的圖像如圖4所示,可以看出圖像經(jīng)雙邊濾波后部分織線紋理已消除,經(jīng)Mean-Shift算法處理后絕大部分紋理已經(jīng)去除,圖像平滑,但保留了紋樣邊緣信息。
4.2自適應(yīng)Canny算子紋樣邊緣檢測
分別采用Sobel算子、Roberts算子、Prewitt算子、傳統(tǒng)Canny算子(高低閾值比設(shè)置為2:1)和本文算法對同一織繡文物圖像進行邊緣檢測,并進行效果對比,如圖5所示。
由圖5對比結(jié)果表明,Sobel算子檢測出的邊緣有較多重影,Roberts算子檢測出的輪廓不清晰,Prewitt算子檢測出的邊緣部分輪廓連續(xù)性較差,傳統(tǒng)Canny算子提取出的輪廓有較多噪點,本文算法提取的輪廓清晰且連續(xù)。
4.3 紋樣抽取
為增強圖像中紋樣邊緣的清晰度和連續(xù)性,對輪廓做形態(tài)學(xué)膨脹,進而根據(jù)連通域的面積、長度和寬度自動過濾掉一些噪點和不完整紋樣。對原圖添加α通道,將紋樣輪廓外的區(qū)域全透明顯示,得到圖像中的所有完整紋樣,如圖6(d)所示。
4.4 算法有效性與魯棒性評價
為驗證本算法的有效性,分別抽取服飾、材料、陳設(shè)用織繡品和織繡書畫等不同種類的織繡文物中的紋樣,部分結(jié)果如表1所示。使用Photoshop軟件人工摳取的目標(biāo)紋樣作為正確分割的參照對象,采用像素準(zhǔn)確度(PA)來評估目標(biāo)圖案的分割精度[9]。fpA為分類正確的像素數(shù)量與所有實驗所得分類像素數(shù)量的比值:
式中:TP為分類正確的像素數(shù)量,F(xiàn)P為分類錯誤的像素數(shù)量。
結(jié)果表明,本文算法可有效檢測織繡文物中紋樣邊緣,提取的紋樣輪廓清晰、完整度高,能成功對不同種類織繡文物抽取紋樣,且有較高的魯棒性。
在現(xiàn)實保存中,織繡文物折疊存放,存在褶皺情況,導(dǎo)致紋樣形變。孫曉婉等[48]基于結(jié)構(gòu)線擬合算法對形變的絲綢文物進行修復(fù),效果良好。為進一步檢驗本算法的魯棒效果,抽取存在褶皺形變的織繡文物紋樣。對圖7(a)中石青緞五彩繡折枝散花女襖進行紋樣抽取,最終得到的紋樣如圖7(b)所示。由圖7(b)可見,所有完整紋樣均抽取成功,表明本文所述算法具有良好的適應(yīng)性和魯棒性。
4.5 評價結(jié)果分析
為客觀評價抽取效果,驗證算法有效性,本文采用周峰等[49]提出的紋樣抽取精度指標(biāo),即抽取出的邊緣完整輪廓清晰的紋樣個數(shù)與圖像中所有完整有效紋樣個數(shù)的比例。將本文方法的紋樣抽取精度指標(biāo)、PA值,與使用Sobel算子、傳統(tǒng)Canny算子(高低閾值比設(shè)置為2:1)、基于梯度幅值類間最大化求閾值[18-19]、Otsu求閾值[16]、混合蛙跳算法自適應(yīng)Canny算子[23]、基于Otsu的遺傳算法求閾值方法[32]得到的紋樣抽取精度、PA值和邊緣檢測算法運行時間進行定量比較。
經(jīng)統(tǒng)計,隨機選取的100張圖片中共含1 243個完整有效紋樣,7種算法抽取紋樣效果和算法運行時間如表2所示。在紋樣抽取效果上,使用本文算法紋樣有效抽取個數(shù)為1 211個,抽取精度為97.4%,PA值為0.961,高于其他五種方法,略低于基于梯度幅值類間最大化求取雙閾值算法,表明本文算法在紋樣抽取效果上稍遜于未使用遺傳算法的基于梯度幅值的Otsu算法,但遺傳算法的使用極大地提高了本算法的運行效率。在算法運行時間上,本算法稍慢于Otsu + Canny、SFLA +Otsu + Canny、GA + Otsu + Canny算法,因為基于梯度幅值的Otsu算法比Otsu算法增加了高斯濾波器抑噪、梯度幅值和方向圖計算、梯度幅值圖非極大值抑制步驟。紋樣抽取任務(wù)與道路邊緣檢測、行人檢測等任務(wù)不同,不要求實時性,所以紋樣抽取精度比算法運行時間更重要。綜上,本文算法優(yōu)于其他六種算法。
5 結(jié) 論
織繡文物蘊含深厚的文化底蘊和藝術(shù)價值,通過紋樣抽取,設(shè)計者可以將傳統(tǒng)文化元素融入現(xiàn)代設(shè)計,打造獨特的文創(chuàng)產(chǎn)品。本文提出了基于遺傳算法自適應(yīng)確定Canny算子閾值的織繡文物紋樣抽取方法,算法將邊緣點與非邊緣點梯度幅值類間方差設(shè)置為適應(yīng)度函數(shù),通過遺傳算法尋找適應(yīng)度函數(shù)全局最優(yōu)解,解決了傳統(tǒng)Canny算子對織繡文物圖像邊緣檢測需人為確定閾值、抽取效率不高的問題。實驗表明,算
法可以準(zhǔn)確檢測織繡文物圖像中紋樣真實邊緣,較其他五種傳統(tǒng)算子檢測出的邊緣更加清晰、連續(xù)性更強。在紋樣抽取精度和像素準(zhǔn)確度(PA)上,優(yōu)于傳統(tǒng)Canny算子、混合蛙跳自適應(yīng)Canny算子、Otsu最大值優(yōu)化Canny算子等已有方法。對存在褶皺而導(dǎo)致紋樣形變的織繡文物抽取紋樣,所有的紋樣均抽取成功,算法魯棒性強。
在文創(chuàng)設(shè)計過程中,文創(chuàng)素材數(shù)字化是首要步驟。此外,對紋樣蘊含的歷史文化、藝術(shù)內(nèi)涵、獨特故事和象征意義等知識的把握和運用,可以更加準(zhǔn)確地抓住其所代表的文化精髓和情感表達(dá)。為此,未來開展紋樣、知識等多模態(tài)信息的融合挖掘研究,具有更深入的意義和價值。
參考文獻(xiàn):
[1]李英華.論我國古代的觀賞性織繡[J].故宮博物院院刊,1993(2): 33-44.
LI Y H.On ornamental weaving and embroidery in ancient China [J].Palace Museum Journal, 1993(2): 33-44.
[2]趙崧靈,徐凱憶,張健,等.基于圖像的織物圖案和顏色主題提取研究進展[J].絲綢, 2022, 59(8): 90-99.
ZHAO S L, XU K Y, ZHANG J, et al.Research progress of image-based fabric pattern and color theme extraction [J].Journal of Silk,2022, 59(8): 90-99.
[3]李俞霏,梁惠娥.明代織物紋樣的智能提?。阂远放E蹫槔齕J].絲綢, 2018, 55(11): 53-58.
LI Y F, LIANG H E.Intelligent extraction of patterns from Ming Dynasty fabrics: The case study of the bullfight robe[J].Journal of Silk, 2018, 55(11): 53-58.
[4] CHEN D L, CHENG P P.A method to extract batik fabric pattern and elements[J].Journal of the Textile Institute, 2020, 112 (7):1093-1099.
[5]侯小剛,陳洪,趙海英.融合形態(tài)學(xué)連通域和CV模型的民族服飾圖案紋樣元素分割方法[J].浙江大學(xué)學(xué)報(理學(xué)版),2019,46(3): 288-294.
HOU X G, CHEN H, ZHAO H Y.The national costume pattern elements segmentation by incorporating morphology connected component and CV model [J].Journal of Zhejiang University (Science Edition), 2019, 46(3): 288-294.
[6]劉夢林,王曉云,許君.圖像提取技術(shù)在服裝輪廓與圖案提取中的研究進展[J].北京服裝學(xué)院學(xué)報(自然科學(xué)版),2020, 40(3): 96-105.
LIU M L, WANG X Y, XU J.Research progress of image extraction technology in clothing contour and pattern extraction [J].
Journal of Beijing Institute of Fashion Technology (Natural Science Edition), 2020, 40(3): 96-105.
[7] XU B Q, LIU X J, LU C F, et al.Transferring the color imagery from an image: A color network model for assisting color combination [J].Color Research & Application, 2019, 44 (2):205-220.
[8]劉靜,莊梅玲,商蕾,等.基于色彩聚類的皮影服飾紋樣分割[J].現(xiàn)代紡織技術(shù), 2021, 29(5): 71-77.
LIU J, ZHUANG M L, SHANG L, et al.Pattern segmentation of shadow puppetry costumes based on color clustering [J].Advanced Textile Technology, 2021, 29(5): 71-77.
[9]劉靜,莊梅玲,石歷麗,等.基于紋理平滑和GrabCut的皮影圖案輪廓的智能提取[J].絲綢, 2020, 57(11): 20-27.
LIU J, ZHUANG M L, SHI L L, et al.Intelligent contour extraction of shadow patterns based on texture smoothing and GrabCut [J].Journal of Silk, 2020, 57(11): 20-27.
[10]肖揚,周軍.圖像邊緣檢測綜述[J].計算機工程與應(yīng)用,2023,59(5): 40-54.
XIAO Y, ZHOU J.Overview of image edge detection [J].Computer Engineering and Applications, 2023, 59(5): 40-54.
[11]劉婷婷,潘偉杰,呂健,等.基于OpenCV的蠟染圖案快速定制系統(tǒng)[J].計算機系統(tǒng)應(yīng)用,2022,31(6):65-74.
LIU T T, PAN W J, LU J, et al.Rapid customization system of batik pattern based on OpenCV [J].Computer Systems & Applications, 2022, 31(6): 65-74.
[12] RONG W, LI Z, ZHANG W, et al.An improved Canny edge detection algorithm [C] / / 2014 IEEE International Conference on Mechatronics and Automation.New York: IEEE, 2014.
[13]王植,賀賽先.一種基于Canny理論的自適應(yīng)邊緣檢測方法[J].中國圖象圖形學(xué)報, 2004(8): 957-962.
WANG Z, HE S X.An adaptive edge-detection method based on Canny algorithm [J].Journal of Image and Graphics, 2004 (8):957-962.
[14]楊永杰,陳香,唐鈺婷,等.基于灰度變化后閾值分割的絲帶檢測[J].絲綢,2013,50(9):36-40.
YANG Y J, CHEN X, TANG Y T, et al.Ribbon detection based on threshold segmentation after grey level transformation [J].Journal of Silk, 2013, 50(9): 36-40.
[15]胡克滿,羅少龍,胡海燕.應(yīng)用Canny算子的織物疵點檢測改進算法[J].紡織學(xué)報,2019, 40(1):153-158.
HU K M, LUO S L, HU H Y.Improved algorithm for fabric defect detection based on Canny operator[J].Journal of Textile Research,2019, 40(1):153-158.
[16]王藝瑋,郭虹,易兵.湖南侗錦圖案的自動提取[J].絲綢,2023, 60(5):113-119.
WANG Y W, GUO H, YI B.Automatic extraction of Hunan Dong brocade patterns[J].Journal of Silk, 2023, 60(5):113-119.
[17]李牧,閆繼紅,李戈,等.自適應(yīng)Canny算子邊緣檢測技術(shù)[J].哈爾濱工程大學(xué)學(xué)報, 2007(9):1002-1007.
LI M, YAN J H, LI G, et al.Self-adaptive canny operator edge detection technique [J].Journal of Harbin Engineering University,2007(9): 1002-1007.
[18] GAO J, LIU N.An improved adaptive threshold Canny edge detection algorithm [C] / / 2012 International Conference on Computer Science and Electronics Engineering.New York: IEEE,2012.
[19]唐路路,張啟燦,胡松.一種自適應(yīng)閾值的Canny邊緣檢測算法[J].光電工程, 2011, 38(5): 127-132.
TANG L L, ZHANG Q C, HU S.An improved algorithm for canny edge detection with adaptive threshold [J].Opto-Electronic Engineering, 2011, 38(5): 127-132.
[20] SCHMID-SCHICKHARDT D.Adaptive Canny Edge Detection:Hysteresis Thresholds with Deep Learning [D].Nijmegen:Radboud University, 2021.
[21] CHOI K H, HA J E.An adaptive threshold for the Canny edge with actor-critic algorithm[J].IEEE Access, 2023, 11: 67058-67069.
[22]繆晶晶,崔長彩,周麗君,等.基于粒子群優(yōu)化算法的金剛石砂輪磨粒邊緣提取[J].圖學(xué)學(xué)報, 2015, 36(2): 238-243.
MIAO J J, CUI C C, ZHOU L J, et al.Grains detection of diamond grinding wheel based on particle swarm optimization [J].Journal of Graphics, 2015, 36(2): 238-243.
[23]樊石,任小洪.混合蛙跳優(yōu)化算法的裱糊線機器人邊緣提取[J].包裝與食品機械, 2020, 38(1): 50-54.
FAN S, REN X H.Edge extraction of pasting robot based on shuffled frog leaping optimization algorithm [J].Packaging and Food Machinery, 2020, 38(1): 50-54.
[24]閆麗梅,褚思琦,徐建軍,等.基于GSO-Canny算法的輸電線路覆冰厚度檢測度].國外電子測量技術(shù),2022,41(2):157-161.
YAN L M, ZHU S Q, XU J J, et al.Detection of ice thickness of transmission line based on GSO-Canny algorithm [J].Foreign Electronic Measurement Technology, 2022, 41 (2): 157-161.
[25]王坤,劉沛?zhèn)?,王?基于FFWA的自適應(yīng)Canny飛機蒙皮紅外圖像邊緣檢測[J].紅外技術(shù),2021, 43(5):443-454.
WANG K, LIU P L, WANG L.Infrared image adaptive Cannyedge-detection of aircraft skin based on fast fireworks algorithm[J].Infrared Technology, 2021, 43(5): 443-454.
[26]李磊,李英娜,趙振剛.基于改進Canny算子的輸電導(dǎo)線圖像邊緣檢測[J].電力科學(xué)與工程,2021, 37(12):19-27.
LI L, LI Y N, ZHAO Z G.Edge detection of transmission line image based on improved Canny operator [J].Electric Power Science and Engineering, 2021, 37 (12): 19-27.
[27] SOURABH K, SINGH C S, VIJAY K.A review on genetic algorithm: Past, present, and future [J].Multimedia Tools and Applications, 2021, 80(5): 8091-8126.
[28] LEE M K, LEUNG S W, PUN T L, et al.Edge detection by genetic algorithm [C] / / Proceedings 2000 International Conference
on Image Processing (Cat.No.00CH37101).New York: IEEE,2000.
[29]PAVLOVICM, NIKOLIC V, SIMONOVIC M, et al.Edge detection parameter optimization based on the genetic algorithm for rail track detection [J].Facta Universitatis, Series: Mechanical Engineering, 2019, 17(3): 333-344.
[30]陳燕龍,祝成虎.基于Canny算子的邊緣檢測改進算法[J].計算機應(yīng)用與軟件, 2008(8): 51-53.
CHEN Y L, ZHU C H.Improved edge detection algorithm based on Canny operator[J].Computer Applications and Software, 2008(8): 51-53.
[31] ZHAO H, QIN G, WANG X.Improvement of canny algorithm based on pavement edge detection [C] / / 2010 3 rd International Congress on Image and Signal Processing.New York: IEEE, 2010.
[32]胡佳林,劉波峰,何玉成.基于遺傳算法的Canny邊緣檢測算子在配藥機器人中的應(yīng)用[J].傳感器與微系統(tǒng),2013, 32(7):141 -143.
HU J L, LIU B F, HE Y C.Application of Canny edge detection operator based on genetic algorithm in dispensing robot [J].Transducer and Microsystem Technologies, 2013, 32 (7):141 -143.
[33]傅藝揚,劉妹琴,樊臻,等.基于紋理濾波和顏色聚類的提花織物紋樣自動提取方法[J].絲綢,2019, 56(12):9-15.
FU Y Y, LIU M Q, FAN Z, et al.Automatic pattern extraction of jacquard fabric based on texture filtering and color clustering [J].Journal of Silk, 2019, 56(12):9-15.
[34]景軍鋒,趙娟.基于Mean Shift濾波的織物疵點檢測方法[J].電子測量與儀器學(xué)報, 2016, 30(5):739-747.
JING J F, ZHAO J.Fabric defect detection based on Mean Shift filtering [J].Journal of Electronic Measurement and Instrumentation, 2016, 30(5):739-747.
[35] COMANICIU D, MEER P.Mean shift:A robust approach toward feature space analysis [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5):603-619.
[36] CANNY J.A computational approach to edge detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 8(6):184-203.
[37]郭運沖,李孟軍,劉名果,等.基于Canny子的建筑裂縫邊緣檢測改進算法[J].計算機仿真, 2022, 39(11):36算0-365.
GUO Y C, LI M J, LIU M G, et al.Improved algorithm for edge detection of building cracks based on Canny operator[J].Computer Simulation, 2022, 39(11):360-365.
[38] HOLLAND J B, HOLLAND J, HOLLAND J H, et al.Adaption in natural and artificial systems [J].Ann Arbor, 1975, 6 (2):126-137.
[39]盧思童,劉讓同,李淑靜,等.表征織物中液態(tài)水傳輸域圖像的分割遺傳算法[J].毛紡科技, 2022, 50(9): 75-81.
LU S T, LIU R T, LI S J, et al.Segmentation genetic algorithm for characterizing liquid water transport domain images in fabrics [J].Wool Textile Journal, 2022, 50(9): 75-81.
[40]葛繼科,邱玉輝,吳春明,等.遺傳算法研究綜述[J].計算機應(yīng)用研究, 2008(10): 2911-2916.
GE J K, QIU Y H, WU C M, et al.Summary of genetic algorithms research [J].Application Research of Computers, 2008(10): 2911-2916.
[41]唐彩紅.遺傳算法確定特征權(quán)重值的圖像分類[J].現(xiàn)代電子技術(shù), 2020, 43(3): 58-61.
TANG C H.Image classification to determine feature weight values by genetic algorithm[J].Modern Electronics Technique, 2020, 43(3): 58-61.
[42]黃松,邱建林.改進的遺傳K-means算法及其應(yīng)用[J].計算機工程與設(shè)計, 2020, 41(6): 1617-1623.
HUANG S, QIU J L.Improvement of K-means clustering algorithm based on genetic algorithm and its application [J].Computer Engineering and Design, 2020, 41(6): 1617-1623.
[43] DEB K, GOYAL M.A combined genetic adaptive search (GeneAS) for engineering design [J].Computer Science and Informatics, 1996, 26: 30-45.
[44] KAEHLER A, BRADSKI G.Learning OpenCV 3: Computer Vision in C + + with the OpenCV Library [M].Sevastopol:O Reilly Media Inc, 2016.
[45]谷莉.宋遼夏金裝飾紋樣研究[D].蘇州:蘇州大學(xué),2011.
GU L.On Decorative Patterns of Liao, Song, Xia and Jin Dynasty Abstract[D].Suzhou: Soochow University,2011.
[46]田自秉,吳淑生,田青.中國紋樣史[M].北京:高等教育出版社,2003.
TIAN Z B,WU S S,TIAN Q.History of Chinese Patterns [M].Beijing: Higher Education Press,2003.
[47]古月.中國傳統(tǒng)紋樣圖鑒[M].北京:東方出版社,2010.
GU Y.Illustrated Guide to Traditional Chinese Tattoos [M].Beijing: Oriental Publishing House,2010.
[48]孫曉婉,賈靜,徐平華,等.基于結(jié)構(gòu)線擬合的殘損絲織品文物虛擬修復(fù)[J].絲綢,2023,60(1): 1-8.
SUN X W,JIA J,XU P H,et al.Virtual restoration of defective silk cultural relics based on structure line fitting[J].Journal of Silk,2023,60(1): 1-8.
[49]周峰,班倩.基于B氏距離準(zhǔn)則的圖案幾何紋樣提取仿真[J].計算機仿真,2021,38(8): 492-496.
ZHOU F,BAN Q.Simulation of geometric pattern extraction based on B-distance criterion [J].Computer Simulation,2021,38 (8):492-496.
Research on the extraction method of woven and embroidered artifacts' patterns based on genetic algorithm optimization of Canny operator
ZHANG Yu1 ZHANG Jian1 2 QI Lin1 3
1a.School of Economics & Management 1b.Key Research Base of Beijing Municipal Cultural Heritage Bureau Beijing Information Science & Technology University Beijing 100192 China 2.Beijing World Urban Circular Economy System
Industry Collaborative Innovation Center Beijing 100192 China 3.Beijing Key Lab of Green Development Decision Based on Big Data Beijing 100192 China
Abstract Weaving and embroidering are the craft of weaving knitting or embroidering with cotton linen silk wool and other textile materials.China is the starting point of the Silk Road the birthplace of sericulture silk reeling and silk weaving and the exquisite skills of the weaving and embroidery industry enjoy a high reputation in the world.The patterns of woven and embroidered artifacts present historical cultural and artistic values highlight the formal beauty of plastic arts in traditional Chinese culture and provide rich material resources for cultural and creative design.However the traditional weaving and embroidering design mainly relies on manual pattern extraction which has problems such as high cost complicated steps long cycle and low efficiency.To this end this paper proposed an algorithm based on genetic algorithm to adaptively determine the optimal threshold value of Canny operator to automatically extract the patterns in the images of woven and embroidered artifacts, improve the extraction efficiency and effect, make the artifacts "live", and promote the inheritance and protection of traditional Chinese culture.
To realize the automatic extraction of patterns from images of woven and embroidered artifacts and solve the problem that traditional Canny operators need to manually determine the threshold for edge detection of images of woven and embroidered artifacts and that the extraction efficiency is not high the article took the images of woven and embroidered artifacts as the research object proposing a genetic algorithm to optimize the Canny operator for the extraction of patterns from woven and embroidered artifacts.Firstly the paper analyzed the characteristics of the images of the woven and embroidered artifacts and used bilateral filtering algorithm and mean drift algorithm to smooth the noisy original image for the gray scale of the smoothed graph it selected the genetic algorithm to solve the optimal threshold of Canny operator and input the optimal threshold into Canny operator for the edge detection of the gray scale graph.Then the paper expanded the morphology of the edge image and automatically filtered out noise and incomplete pattern samples based on the area length and width of each connectivity domain.Finally the algorithm was evaluated for the effect of extracting patterns and the algorithm,s running time.Experiments show that the algorithm can accurately detect the real edges of the pattern in the image of the woven and embroidered artifacts and the edges detected are clearer and more continuous than those detected by the other five traditional operators.In terms of pattern extraction precision and pixel accuracy PA it is better than the existing methods such as traditional Canny operators hybrid frog jump adaptive Canny operator Otsu maximum optimized Canny operator and so on.The algorithm is robust to the presence of folds that lead to pattern deformation in the woven and embroidered artifacts and all the patterns are successfully extracted.The algorithm can effectively detect the real edges of the patterns in the image of woven and embroidered artifacts and complete the pattern extraction.
Woven and embroidered artifacts contain deep cultural heritage and artistic value and through pattern extraction designers can integrate traditional cultural elements into modern design to create unique cultural and creative products.In this paper the algorithm solves the problem that the traditional Canny operators need to determine the threshold value for the edge detection of woven and embroidered artifacts and that the extraction efficiency is not high.In the process of cultural and creative design the digitization of cultural and creative materials is the first step.In addition the grasp and application of the knowledge of history and culture artistic connotations unique stories and symbolic meanings embedded in patterns can more accurately capture the essence of the culture and the emotional expression it represents.For this reason it is of deeper significance and value to carry out research on the integration and mining of multimodal information such as patterns and knowledge in the future.
Key words woven and embroidered artifacts genetic algorithm Canny operator edge detection pattern extraction optimal thresholding