羅維平，徐 洋，陳永恒，周 博，馬雙寶,2，吳雨川,2

(1.武漢紡織大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院，湖北 武漢 430200；2.湖北省數(shù)字化紡織裝備重點(diǎn)實(shí)驗(yàn)室 湖北 武漢 430200)

隨著深度卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，織物疵點(diǎn)檢測(cè)研究出現(xiàn)新的方向。稀疏連接結(jié)構(gòu)分類(lèi)模型(GoogLeNet)、大規(guī)模圖像識(shí)別深度卷積網(wǎng)絡(luò)(VGG)、深度殘差網(wǎng)絡(luò)(ResNet)等深度學(xué)習(xí)經(jīng)典圖像檢測(cè)模型的出現(xiàn)[9-12]，織物疵點(diǎn)檢測(cè)研究也取得新的突破。文獻(xiàn)[13]應(yīng)用ResNet模型中的101網(wǎng)絡(luò)提取織物疵點(diǎn)特征，再利用基于區(qū)域的快速卷積神經(jīng)網(wǎng)絡(luò)(Faster RCNN)[14]檢測(cè)網(wǎng)絡(luò)對(duì)疵點(diǎn)目標(biāo)進(jìn)行識(shí)別，取得了較高的檢測(cè)準(zhǔn)確率，但在識(shí)別速度方面實(shí)時(shí)性效果不理想；文獻(xiàn)[15]應(yīng)用支持向量機(jī)分類(lèi)算法完成了織物疵點(diǎn)檢測(cè)模型訓(xùn)練，解決對(duì)小樣本、高緯度數(shù)據(jù)的分類(lèi)問(wèn)題，但需要利用GPU計(jì)算灰度共生矩陣(GLCM)特征值，計(jì)算量大成本高，在提高計(jì)算速度的同時(shí)需要降低輸入圖像像素大小，一定程度上減弱了的原始圖像特征信息;文獻(xiàn)[16]提出基于費(fèi)舍爾(Fisher)準(zhǔn)則的深層卷積神經(jīng)網(wǎng)絡(luò)織物疵點(diǎn)檢測(cè)方法，在標(biāo)準(zhǔn)織物瑕疵圖像數(shù)據(jù)庫(kù)(TILDA)[17]織物和自建的彩色格子織物數(shù)據(jù)集上取得較好成績(jī)，但局限于特定織物疵點(diǎn)檢測(cè)，對(duì)紋理更為復(fù)雜和多種類(lèi)疵點(diǎn)檢測(cè)上泛化能力較差。

針對(duì)上述問(wèn)題，本文提出一種基于遷移學(xué)習(xí)和改進(jìn)的ResNet50網(wǎng)絡(luò)織物疵點(diǎn)檢測(cè)算法，通過(guò)改進(jìn)ResNet50網(wǎng)絡(luò)的殘差模塊，利用在大規(guī)模分層圖像數(shù)據(jù)庫(kù)(ImageNet)[18]上預(yù)訓(xùn)練的權(quán)重參數(shù)進(jìn)行遷移學(xué)習(xí)，訓(xùn)練得到一個(gè)疵點(diǎn)識(shí)別模型，通過(guò)實(shí)驗(yàn)表明該模型具有良好的泛化能力，能夠精準(zhǔn)快速識(shí)別正常織物和7類(lèi)疵點(diǎn)織物。

1 研究方法

1.1 研究思路

本文提出的織物疵點(diǎn)檢測(cè)算法主要工作流程為：首先對(duì)織物疵點(diǎn)數(shù)據(jù)集中的圖像進(jìn)行預(yù)處理，篩選和提取出有效的數(shù)據(jù)樣本；然后對(duì)疵點(diǎn)樣本不平衡問(wèn)題通過(guò)數(shù)據(jù)增強(qiáng)進(jìn)行彌補(bǔ)；再對(duì)ResNet50網(wǎng)絡(luò)進(jìn)行調(diào)整改進(jìn)，提取預(yù)訓(xùn)練ResNet50模型的權(quán)重參數(shù)作為初始值進(jìn)行遷移學(xué)習(xí)；最后為了驗(yàn)證模型性能，利用本文方法和VGG16、VGG19、標(biāo)準(zhǔn)ResNet50、ResNet152等主流模型在測(cè)試集上進(jìn)行實(shí)驗(yàn)對(duì)比測(cè)試。

1.2 ResNet模型架構(gòu)

隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，發(fā)現(xiàn)卷積層越深模型效果越好，所以在VGG模型取得成功后，學(xué)者們開(kāi)始嘗試更深的卷積網(wǎng)絡(luò)，但實(shí)驗(yàn)證明網(wǎng)絡(luò)深度增加會(huì)造成梯度爆炸、消失，導(dǎo)致系統(tǒng)不能收斂[19-21]。在VGG模型中通過(guò)對(duì)輸入數(shù)據(jù)和中間層的數(shù)據(jù)歸一化操作，保證網(wǎng)絡(luò)在反向傳播中采用隨機(jī)梯度下降法(Stochastic gradient descent, SGD)，從而讓網(wǎng)絡(luò)達(dá)到收斂，但當(dāng)模型網(wǎng)絡(luò)深度超過(guò)十幾層后，SGD已經(jīng)失去作用，所以在出現(xiàn)ResNet模型出現(xiàn)之前，訓(xùn)練非常深的神經(jīng)網(wǎng)絡(luò)是非常困難的。針對(duì)這個(gè)問(wèn)題，一種深度殘差網(wǎng)絡(luò)ResNet被提出，其允許網(wǎng)絡(luò)可以盡可能的加深，但其將輸入中的一部分?jǐn)?shù)據(jù)不經(jīng)過(guò)卷積網(wǎng)絡(luò)，直接送入到輸出，保留一部分原始信息，這種結(jié)構(gòu)有效防止了反向傳播時(shí)的梯度彌散問(wèn)題，從而使得網(wǎng)絡(luò)深度可以達(dá)到上百層甚至更深。ResNet網(wǎng)絡(luò)能添加更深卷積層提升效果，其中的殘差塊結(jié)構(gòu)起關(guān)鍵作用，其結(jié)構(gòu)如圖1所示[12]。

圖1 ResNet殘差塊結(jié)構(gòu)

ResNet網(wǎng)絡(luò)原理是假設(shè)一個(gè)比較淺的網(wǎng)絡(luò)已達(dá)到飽和的準(zhǔn)確率，這時(shí)在它后面再加上幾個(gè)恒等映射層(Identity mapping，即y=x，輸出等于輸入)，這樣增加了網(wǎng)絡(luò)的深度，但誤差不會(huì)增加，即更深的網(wǎng)絡(luò)不會(huì)帶來(lái)訓(xùn)練集誤差的上升，殘差結(jié)構(gòu)計(jì)算公式如式(1)(2)所示：

y1=h(xl)+F(xl,Wl)

(1)

xl+1=f(yl)

(2)

式中：xl和xl+1分別表示第l個(gè)殘差單元的輸入和輸出，其中每個(gè)殘差單元包含多層結(jié)構(gòu)，F(xiàn)是殘差函數(shù)，表示學(xué)習(xí)到的殘差，而H(x)=Xl表示恒等映射，f是Relu激活函數(shù)，由式(1)(2)可以求得從淺層l到深層L的學(xué)習(xí)特征，計(jì)算公式如式(3)所示：

(3)

利用鏈?zhǔn)揭?guī)則，可以求得反向過(guò)程的梯度，計(jì)算公式如式(4)所示：

我國(guó)包括武隆在內(nèi)的大部分亟需脫貧的地區(qū)，基層社會(huì)自治水平有待提高，民間自治意識(shí)、自治能力和自治文化都需要逐步培養(yǎng)，這將是一個(gè)相對(duì)長(zhǎng)期艱難的過(guò)程。通過(guò)學(xué)習(xí)楓橋經(jīng)驗(yàn)、“三事分流”和“三社聯(lián)動(dòng)”等有代表性的基層治理方式，在脫貧后扶中，武隆區(qū)也需要循序漸進(jìn)推進(jìn)村民自治，讓鄉(xiāng)村治理重心下移，切實(shí)把資源、服務(wù)、管理放下去，培育服務(wù)性、公益性、互助性農(nóng)村社會(huì)組織，發(fā)展農(nóng)村社會(huì)工作和志愿服務(wù)，減少對(duì)農(nóng)村的考核評(píng)比、創(chuàng)建達(dá)標(biāo)、檢查督查，發(fā)揮好、維護(hù)好村民委員會(huì)、農(nóng)村集體經(jīng)濟(jì)組織、農(nóng)村合作經(jīng)濟(jì)組織的積極性和主動(dòng)性，從而有利于提高全區(qū)人民自發(fā)進(jìn)行基層治理的參與程度，實(shí)現(xiàn)穩(wěn)定脫貧，避免再返貧。

(4)

1.3 改進(jìn)ResNet50網(wǎng)絡(luò)

實(shí)驗(yàn)中發(fā)現(xiàn)如果殘差映射F(x)結(jié)果的維度與跳躍連接X(jué)的維度不同，就無(wú)法對(duì)其進(jìn)行相加操作，所以必須對(duì)X進(jìn)行升維操作，使維度相同后才能相加計(jì)算，所以通常在跳躍連接X(jué)中加入stride=2的1×1特定卷積核，使X通過(guò)升維，讓其的輸出與卷積塊的輸出相同。實(shí)際中常用的殘差塊結(jié)構(gòu)如圖2所示。

當(dāng)反復(fù)堆疊殘差模塊時(shí)，可以構(gòu)成不同深度的網(wǎng)絡(luò)結(jié)構(gòu)[22]，本文嘗試了ResNet18、ResNet34、ResNet50、ResNet101、ResNet152等多種深度的網(wǎng)絡(luò)后，根據(jù)實(shí)驗(yàn)效果和計(jì)算量綜合考慮，選用了50層的ResNet50網(wǎng)絡(luò)，標(biāo)準(zhǔn)的不同層數(shù)的ResNet網(wǎng)絡(luò)結(jié)構(gòu)如表1所示[12]。

由表1可以看出，所有的ResNet網(wǎng)絡(luò)第1層都是經(jīng)過(guò)7×7卷積層，感受野較大，對(duì)于ImageNet數(shù)據(jù)庫(kù)中的圖像提取特征足夠，但在本文研究中，織物疵點(diǎn)種類(lèi)多且大多數(shù)疵點(diǎn)非常小，為了更加精確的對(duì)疵點(diǎn)進(jìn)行分類(lèi)這就需要提取更多有效細(xì)微特征，所以本文在設(shè)計(jì)網(wǎng)絡(luò)時(shí)對(duì)第1層7×7卷積層進(jìn)行了改進(jìn)，使之更加適應(yīng)疵點(diǎn)檢測(cè)特征提取任務(wù)。本文設(shè)計(jì)中用3個(gè)3×3的堆疊卷積層替換7×7卷積層，一方面3個(gè)卷積層使用了更多的非線性激活函數(shù)，使得判決函數(shù)更具有判決性；另一方面，還有效降低了計(jì)算參數(shù)量，假設(shè)卷積層的輸入和輸出的特征圖大小相同為Z，3個(gè)3×3的卷積層參數(shù)個(gè)數(shù)3×(3×3×Z)×Z)=27×Z2；一個(gè)7×7卷積層的參數(shù)個(gè)數(shù)為(7×7×Z)×Z=49×Z2，所以在不改變初始感受野的情況改進(jìn)網(wǎng)絡(luò)第1層，能為疵點(diǎn)檢測(cè)模型帶來(lái)更好的性能。

除此之外，在疵點(diǎn)檢測(cè)問(wèn)題中，疵點(diǎn)占整幅圖像面積較小，獲取的信息占比小，為了避免無(wú)用信息冗余，本文在殘差模塊stride=2的1×1的卷積核做下采樣前又加入一層2×2的平均池化層(avg-pool)整合空間信息，平均池化層沒(méi)有參數(shù)，不改變?nèi)謪?shù)量，同時(shí)可防止在該層出現(xiàn)過(guò)擬合，減少計(jì)算量的同時(shí)，提高檢測(cè)速度。

經(jīng)過(guò)改進(jìn)的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)后的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)

1.4 遷移學(xué)習(xí)

在機(jī)器學(xué)習(xí)中，要訓(xùn)練出一個(gè)魯棒性很好的模型，需要有足夠多的已標(biāo)注樣本和大量的具有相同分布又相互獨(dú)立的訓(xùn)練集和測(cè)試集，這在實(shí)際訓(xùn)練過(guò)程中很難滿足[23]。在本文研究中，織物疵點(diǎn)種類(lèi)雖多，但很多疵點(diǎn)并不常見(jiàn)，所以疵點(diǎn)圖像樣本及其缺乏，針對(duì)此問(wèn)題本文采用遷移學(xué)習(xí)來(lái)彌補(bǔ)。遷移學(xué)習(xí)是通過(guò)從已學(xué)習(xí)的相關(guān)任務(wù)中遷移其知識(shí)來(lái)對(duì)需要學(xué)習(xí)的新任務(wù)進(jìn)行提高，而不需要從零開(kāi)始學(xué)習(xí)。在深度學(xué)習(xí)領(lǐng)域，如果有一個(gè)原始圖像數(shù)據(jù)集足夠大，那么預(yù)訓(xùn)練網(wǎng)絡(luò)模型學(xué)到的特征的空間層次結(jié)構(gòu)可以有效的作為視覺(jué)世界的通用模型，因此這些特征可用于各種不同的計(jì)算機(jī)視覺(jué)問(wèn)題，即使這些新的分類(lèi)問(wèn)題設(shè)計(jì)的類(lèi)別和原始任務(wù)完全不同[24]。在卷積神經(jīng)網(wǎng)絡(luò)模型中，某個(gè)卷積層提取的特征的通用性取決于該層在模型中的深度，更靠近模型底部的層提取的信息是局部的、高度通用的特征圖，如視覺(jué)邊緣、顏色、紋理等，更靠近頂部的層提取的是更加抽象的概念，如具體的類(lèi)別輪廓、形狀[25]?；谏鲜隼碚?，本文中選擇在大型圖像數(shù)據(jù)集ImageNet上訓(xùn)練好的ResNet50模型參數(shù)，作為本文修改后的ResNet50網(wǎng)絡(luò)初始參數(shù)，再在本文織物數(shù)據(jù)集中繼續(xù)重新訓(xùn)練頂層卷積網(wǎng)絡(luò)，使其更加適應(yīng)疵點(diǎn)檢測(cè)問(wèn)題。

2 數(shù)據(jù)預(yù)處理

2.1 數(shù)據(jù)集

由于現(xiàn)有公開(kāi)的織物疵點(diǎn)數(shù)據(jù)庫(kù)有限，研究者多選擇采用自建數(shù)據(jù)庫(kù)，但種類(lèi)齊全的高清織物疵點(diǎn)采集難度高，有效數(shù)據(jù)有限，只能針對(duì)部分特定的疵點(diǎn)類(lèi)型和布匹材料自建小型數(shù)據(jù)集；除此之外，如現(xiàn)有的TILDA織物數(shù)據(jù)庫(kù)織物疵點(diǎn)集數(shù)據(jù)數(shù)量少，種類(lèi)少，總體數(shù)據(jù)不到千張圖像，像素低，疵點(diǎn)特征信息受限，即使使用數(shù)據(jù)增強(qiáng)可以一定程度降低模型過(guò)擬合，但原始圖像數(shù)量少始終限制模型訓(xùn)練精度?；诖?，江蘇陽(yáng)光集團(tuán)開(kāi)源了真實(shí)的企業(yè)生產(chǎn)現(xiàn)場(chǎng)采集的織物圖像數(shù)據(jù)集[26]，每張圖像分辨率為2 560像素×1 920像素，圖像特征細(xì)節(jié)清晰，并全部經(jīng)過(guò)經(jīng)驗(yàn)豐富的驗(yàn)布工人確認(rèn)，然后對(duì)每張圖像使用標(biāo)注工具LabelImg人工標(biāo)注，生成對(duì)應(yīng)的xml格式信息文件，包含瑕疵種類(lèi)、位置等信息，數(shù)據(jù)集共有4 036張超清織物數(shù)據(jù)圖像，其中包含1 360張無(wú)疵點(diǎn)圖像，2 676張有瑕疵圖像，瑕疵種類(lèi)包含常見(jiàn)的吊邊疵、擦洞、跳花、雙緯紗、打結(jié)、漏紗、破洞、多斑、缺經(jīng)、缺緯等42種，此數(shù)據(jù)集是目前公布的種類(lèi)最為齊全、數(shù)量最多、圖像分辨率最高的織物疵點(diǎn)數(shù)據(jù)集。本文選用此數(shù)據(jù)集中樣本較多的幾種疵點(diǎn)樣本，包括正常織物和擦洞、破洞、漏紗、缺緯、缺經(jīng)、跳花、多斑等7類(lèi)疵點(diǎn)織物，由于其他疵點(diǎn)類(lèi)型樣本較少，用于樣本訓(xùn)練會(huì)影響模型精度，所以將其余疵點(diǎn)樣本歸為一類(lèi)，總體作為模型訓(xùn)練的樣本共有9類(lèi)，選用的疵點(diǎn)類(lèi)型數(shù)據(jù)集中的部分圖像如圖4所示。

圖4 本文訓(xùn)練集中部分圖像

2.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)集中無(wú)疵點(diǎn)圖像與各類(lèi)疵點(diǎn)圖像數(shù)量相差較多存在數(shù)據(jù)不平衡問(wèn)題，直接訓(xùn)練會(huì)導(dǎo)致模型過(guò)擬合；除此之外，由于訓(xùn)練硬件限制(2塊RTX1080Ti 11G GPU)，原始圖像分辨率較大，訓(xùn)練時(shí)計(jì)算量大，所以必須對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理。疵點(diǎn)識(shí)別判斷需要獲得疵點(diǎn)特征細(xì)節(jié)，如果直接縮減會(huì)犧牲圖像細(xì)節(jié)特征，降低圖像所帶的信息量，所以本文采取以滑動(dòng)窗口為320像素×320像素大小，滑動(dòng)步長(zhǎng)為160大小裁剪，將2 560像素×1 920像素的原始圖像切割成8×6份，這樣每張?jiān)紙D像分割成了48張圖像細(xì)節(jié)不變的小尺寸圖像。但是這樣處理后瑕疵圖像會(huì)出現(xiàn)正好切在瑕疵邊緣或瑕疵面積占比較小的問(wèn)題，因此，本文進(jìn)一步對(duì)切割后的瑕疵圖像根據(jù)標(biāo)注的瑕疵位置信息計(jì)算瑕疵面積占比，篩選出切割后瑕疵面積占原始瑕疵面積一定閾值以上的圖像作為有效數(shù)據(jù)，選擇占比超過(guò)10%的疵點(diǎn)作為有效疵點(diǎn)圖像。最終，模型訓(xùn)練樣本集按照2∶1選擇無(wú)瑕疵圖像10 034張、有瑕疵圖像5 017張作為樣本集。為了測(cè)試模型訓(xùn)練精度，從訓(xùn)練樣本集中各選擇80%作為訓(xùn)練集，10%作為驗(yàn)證集，10%作為測(cè)試集。在訓(xùn)練中為了防止過(guò)擬合，本文還采用了Dropout和數(shù)據(jù)增強(qiáng)技術(shù)以提升模型的泛化能力。數(shù)據(jù)增強(qiáng)是從現(xiàn)有的訓(xùn)練樣本中利用多種能夠生成可信圖像的隨機(jī)變換來(lái)增加樣本以提升模型泛化能力，文中所有數(shù)據(jù)增強(qiáng)使用的變化參數(shù)為90°圖像隨機(jī)旋轉(zhuǎn)范圍，水平、垂直方向上平移比例為30%，隨機(jī)錯(cuò)切角度為90°、透視變換比例為20%，縮放變化范圍比例為10%，水平、垂直隨機(jī)翻轉(zhuǎn)，對(duì)常見(jiàn)疵點(diǎn)擦洞進(jìn)行數(shù)據(jù)增強(qiáng)后的部分圖像如圖5所示。

圖5 擦洞圖像應(yīng)用數(shù)據(jù)增強(qiáng)后的部分?jǐn)U增圖像

3 實(shí)驗(yàn)設(shè)計(jì)及分析

3.1 評(píng)估指標(biāo)

實(shí)驗(yàn)中使用準(zhǔn)確率(Accuracy, Acc)作為模型的評(píng)價(jià)指標(biāo)，準(zhǔn)確率是評(píng)價(jià)模型對(duì)全部樣本的判定能力。在分類(lèi)問(wèn)題中要將實(shí)例分為正類(lèi)(Positive)和負(fù)類(lèi)(Negative)，分類(lèi)模型在實(shí)際的分類(lèi)結(jié)果中可能會(huì)出現(xiàn)下面4中情況：若一個(gè)實(shí)例是正類(lèi)，分類(lèi)器將其判定為正類(lèi)，稱(chēng)為真正類(lèi)(True Positive，TP)；反之，如果分類(lèi)器將其判定為負(fù)類(lèi)，稱(chēng)為假負(fù)類(lèi)(False Negative，F(xiàn)N)；若一個(gè)實(shí)例是負(fù)類(lèi)，分類(lèi)器將其判定為正類(lèi)，稱(chēng)為假正類(lèi)(False Positive，F(xiàn)P)；反之，若分類(lèi)器將其判定為負(fù)類(lèi)，稱(chēng)為真負(fù)類(lèi)(True Negative，TN)[27-28]。這樣可以推導(dǎo)出準(zhǔn)確率Acc的計(jì)算式如式(5)所示：

(5)

除此之外，訓(xùn)練過(guò)程中的損失值也是重要指標(biāo)之一，其是用于評(píng)價(jià)學(xué)習(xí)權(quán)重張量的反饋信號(hào)，能夠衡量當(dāng)前任務(wù)是否解決，訓(xùn)練中需要最小化，是用來(lái)估量模型的預(yù)測(cè)值f(x)與真實(shí)值Y的不一致程度，其是一個(gè)非負(fù)實(shí)值函數(shù),通常使用L(Y,f(x))來(lái)表示，損失函數(shù)越小，模型的魯棒性越好。

3.2 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證本文提出的疵點(diǎn)檢測(cè)模型性能，本文設(shè)計(jì)多個(gè)實(shí)驗(yàn)。第1部分使用本文數(shù)據(jù)集分別訓(xùn)練當(dāng)前主流的VGG16模型、VGG19模型、標(biāo)準(zhǔn)ResNet50模型、ResNet152模型和本文方法改進(jìn)的ResNet50模型，然后在本文測(cè)試集上分別測(cè)試對(duì)比；第2部分參考文獻(xiàn)[15-16]中的方法,使用傳統(tǒng)的特征提取方法，復(fù)現(xiàn)了文獻(xiàn)[15]中提出的選取方向梯度直方圖(HOG)特征和文獻(xiàn)[16]中提出的選取局部二值模式(LBP)特征方法，利用本文測(cè)試集進(jìn)行測(cè)試對(duì)比本文方法；第3部分使用在實(shí)驗(yàn)室環(huán)境下采集的純色背景泳裝布料自建數(shù)據(jù)集作對(duì)比實(shí)現(xiàn)數(shù)據(jù)集，分別驗(yàn)證上述方法及模型的泛化性和準(zhǔn)確性，自建泳裝布料數(shù)據(jù)集部分圖像如圖6所示。

圖6 部分自建泳裝布料數(shù)據(jù)集

3.3 模型訓(xùn)練

為了得到足夠準(zhǔn)確和泛化能力更好的模型，需要在訓(xùn)練模型的過(guò)程中監(jiān)控訓(xùn)練損失和驗(yàn)證損失，以及最重要的訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率，如果發(fā)現(xiàn)模型的驗(yàn)證數(shù)據(jù)的性能開(kāi)始連續(xù)下降，則可以判斷為過(guò)擬合，本文在程序中實(shí)現(xiàn)過(guò)程為當(dāng)驗(yàn)證準(zhǔn)確率連續(xù)10輪訓(xùn)練都不再優(yōu)化時(shí)則提前終止訓(xùn)練。通過(guò)驗(yàn)證過(guò)程的反饋反復(fù)調(diào)節(jié)超參數(shù)、嘗試不同的Dropout比例等[27]，直到模型達(dá)到最佳驗(yàn)證性能。本文訓(xùn)練了實(shí)驗(yàn)設(shè)計(jì)中的所有模型，其中標(biāo)準(zhǔn)ResNet50網(wǎng)絡(luò)模型訓(xùn)練過(guò)程的損失曲線和準(zhǔn)確率曲線如圖7所示；改進(jìn)的ResNet50網(wǎng)絡(luò)訓(xùn)練過(guò)程損失曲線和準(zhǔn)確率曲線如圖8所示。

圖7 標(biāo)準(zhǔn)ResNet50網(wǎng)絡(luò)模型訓(xùn)練過(guò)程的損失曲線和準(zhǔn)確率曲線

圖8 改進(jìn)的ResNet50網(wǎng)絡(luò)訓(xùn)練過(guò)程損失曲線和準(zhǔn)確率曲線

3.4 實(shí)驗(yàn)分析

根據(jù)訓(xùn)練好的模型，使用訓(xùn)練樣本中的測(cè)試集，對(duì)各模型和復(fù)現(xiàn)的傳統(tǒng)檢測(cè)算法分別進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果如表2所示。

由表2可知，改進(jìn)ResNet50網(wǎng)絡(luò)的權(quán)重參數(shù)是實(shí)驗(yàn)?zāi)Ｐ椭凶钌俚?，測(cè)試速度最快，改進(jìn)的ResNet50網(wǎng)比標(biāo)準(zhǔn)ResNet50網(wǎng)絡(luò)的準(zhǔn)確率提升了4.2%，速度提升1倍,雖然相較于ResNet152網(wǎng)絡(luò)準(zhǔn)確率低了0.13%，但網(wǎng)絡(luò)權(quán)重減少50%，檢測(cè)速度提升約3.3倍，對(duì)比下本文改進(jìn)模型綜合性能最好。文獻(xiàn)[15]中基于HOG特征的疵點(diǎn)檢測(cè)方法在本文數(shù)據(jù)集上的測(cè)試準(zhǔn)確率只有70.51%，分析主要原因在于此算法會(huì)對(duì)原始圖像進(jìn)行切割分別提取圖像塊做檢測(cè)處理，但沒(méi)有對(duì)全局進(jìn)行檢測(cè)，導(dǎo)致檢測(cè)時(shí)部分切割邊緣被檢測(cè)為疵點(diǎn)；文獻(xiàn)[16]中從整體織物圖像中獲取代表織物局部紋理的LBP特征，進(jìn)而實(shí)現(xiàn)瑕疵的無(wú)監(jiān)督檢測(cè)的檢測(cè)方法在本文測(cè)試集中檢測(cè)準(zhǔn)確率只有69.95%，分析其主要原因在于此算法受限于提取LBP特征的子窗口大小，原文實(shí)驗(yàn)選取子窗口大小為織物紋理最小周期的2倍左右，而其測(cè)試織物疵點(diǎn)周期大小都在6～11個(gè)像素之間，實(shí)驗(yàn)樣本不具有實(shí)際生產(chǎn)現(xiàn)場(chǎng)疵點(diǎn)大小代表性，本文測(cè)試集樣本疵點(diǎn)大小不一，沒(méi)有任何人工大小篩選，具有工業(yè)現(xiàn)場(chǎng)數(shù)據(jù)代表性。2種傳統(tǒng)疵點(diǎn)檢測(cè)算法的檢測(cè)時(shí)間受限于檢測(cè)樣本疵點(diǎn)多少和疵點(diǎn)像素大小，無(wú)法進(jìn)行有效統(tǒng)計(jì)，而本文算法相比較2種傳統(tǒng)檢測(cè)算法準(zhǔn)確率分別提高25.81%和26.87%，同時(shí)檢測(cè)速度不受疵點(diǎn)大小影響，速度恒定且快速。本文疵點(diǎn)錯(cuò)誤率主要來(lái)源于2種情況，一是同一張圖中出現(xiàn)2種疵點(diǎn)及以上類(lèi)型，在分類(lèi)算法中無(wú)法有效解決多目標(biāo)同時(shí)存在問(wèn)題；二是疵點(diǎn)類(lèi)型相似的圖例識(shí)別錯(cuò)誤率較高，如小擦洞和小破洞這2種類(lèi)型，自身區(qū)別極其微小，模型識(shí)別準(zhǔn)確率也較低。

表2 主流算法模型與本文改進(jìn)模型在訓(xùn)練數(shù)據(jù)集上的測(cè)試結(jié)果對(duì)比

為了驗(yàn)證各模型和傳統(tǒng)檢測(cè)算法的泛化性能，在實(shí)驗(yàn)室環(huán)境下采集自建的純色背景泳裝布料數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，此數(shù)據(jù)集未參與模型訓(xùn)練，可有效對(duì)比各模型泛化能力，實(shí)驗(yàn)結(jié)果如表3所示。

表3 主流算法模型與本文改進(jìn)模型在自建數(shù)據(jù)集上的測(cè)試結(jié)果對(duì)比

由表3可知，在不同的織物疵點(diǎn)檢測(cè)數(shù)據(jù)集上，模型泛化能力最好的是網(wǎng)絡(luò)最深的ResNet152模型，其次是改進(jìn)的ResNet50模型，只相差0.63%，但比標(biāo)準(zhǔn)ResNet50模型提升2.66%，綜合考慮模型計(jì)算量、測(cè)試精度、測(cè)試速度，改進(jìn)的ResNet50模型是性能是最好的。

4 結(jié) 論

本文提出一種基于遷移學(xué)習(xí)和改進(jìn)ResNet50網(wǎng)絡(luò)的織物疵點(diǎn)檢測(cè)算法，通過(guò)改進(jìn)ResNet50網(wǎng)絡(luò)第1層和殘差模塊結(jié)構(gòu)，提升了疵點(diǎn)檢測(cè)精度和檢測(cè)速度，可以有效識(shí)別正常織物和8種類(lèi)型織物疵點(diǎn)。通過(guò)實(shí)驗(yàn)結(jié)果表明：

①在疵點(diǎn)識(shí)別精度上，改進(jìn)ResNet50模型對(duì)正?？椢锖筒炼础⑵贫?、漏紗、缺緯、缺經(jīng)、跳花、多斑及其余疵點(diǎn)等8類(lèi)常見(jiàn)疵點(diǎn)識(shí)別準(zhǔn)確率達(dá)到96.32%，識(shí)別精度對(duì)比未改進(jìn)的標(biāo)準(zhǔn)模型提升了4.2%，對(duì)比其他主流單模型識(shí)別精度可以提升7～9個(gè)百分點(diǎn)。

②在疵點(diǎn)識(shí)別速度上，改進(jìn)ResNet50模型對(duì)比未改進(jìn)的標(biāo)準(zhǔn)模型速度提升了1倍，計(jì)算量減少10%，對(duì)比其他主流單模型速度可以提升53%左右。

③在模型泛化能力上，在同一測(cè)試集中，改進(jìn)ResNet50模型對(duì)比未改進(jìn)的標(biāo)準(zhǔn)模型識(shí)別精度提升2.66%，對(duì)比傳統(tǒng)檢測(cè)模型可以提升23%左右，泛化性能力強(qiáng)，魯棒性好。

改進(jìn)ResNet50網(wǎng)絡(luò)的織物疵點(diǎn)檢測(cè)算法精度高、速度快、魯棒性好，泛化能力強(qiáng)，可以滿足工業(yè)生產(chǎn)現(xiàn)場(chǎng)對(duì)織物疵點(diǎn)檢測(cè)的各項(xiàng)指標(biāo)要求，較之人工檢出更好地滿足工業(yè)企業(yè)對(duì)織物疵點(diǎn)識(shí)別的需求，節(jié)省了疵點(diǎn)檢測(cè)人力消耗。