吳闖 于大泳
摘 ?要:為了實(shí)現(xiàn)手機(jī)玻璃蓋板表面點(diǎn)缺陷、線缺陷和塊狀缺陷的分類檢測,主要研究可以自動(dòng)提取特征的深度卷積神經(jīng)網(wǎng)絡(luò)模型。首先針對(duì)數(shù)據(jù)缺乏問題,提出子圖像劃分和隨機(jī)缺陷合成算法,構(gòu)建了MPGC-DET數(shù)據(jù)集。為了提高模型的泛化性,以現(xiàn)代成熟的深度卷積神經(jīng)網(wǎng)絡(luò)模型為基礎(chǔ),并結(jié)合遷移學(xué)習(xí)和SE模塊,搭建手機(jī)玻璃蓋板表面缺陷分類檢測模型。實(shí)驗(yàn)表明,最終分類準(zhǔn)確率達(dá)96.40%,并且使用了Grad-CAM技術(shù)進(jìn)行可視化分析,結(jié)果顯示模型是根據(jù)缺陷所在區(qū)域特征進(jìn)行預(yù)測的,說明沒有出現(xiàn)過擬合現(xiàn)象。
關(guān)鍵詞:玻璃蓋板;深度卷積神經(jīng)網(wǎng)絡(luò);遷移學(xué)習(xí);SE模塊;分類檢測
中圖分類號(hào):TP391 ? ? 文獻(xiàn)標(biāo)識(shí)碼:A
Abstract: In order to realize the classified detection of point defects, line defects and block defects on the glass cover surface of mobile phone, this paper proposes to study deep convolutional neural network (DCNN) model that can automatically extract features. First, to address the problem of data lack, this paper proposes to use sub-image division and random defect synthesis algorithms, and construct the MPGC-DET (Mobile Phone Glass Cover-Detection) data set. In order to improve the generalization of the model, this research takes modern and mature deep convolutional neural network model as the basis and combines transfer learning and SE modules, to build a classified detection model of mobile phone glass cover surface. Experiments show that final classification accuracy rate is 96.40%. Grad-CAM (Gradient-weighted Class Activation Mapping) technology is used for visual analysis. Results show that the proposed model performs prediction based on the characteristics of the area where the defect is located, which indicates that there is no sign of over-fitting.
Keywords: glass cover; deep convolutional neural network; transfer learning; SE module; classified detection
1 ? 引言(Introduction)
手機(jī)屏作為用戶與智能手機(jī)直接交互的部件,其外觀質(zhì)量直接影響用戶對(duì)產(chǎn)品的體驗(yàn)。智能手機(jī)屏主要由顯示模塊、觸控模塊、玻璃蓋板三部分組成,在生產(chǎn)過程中產(chǎn)生的表面缺陷主要集中于顯示模塊和玻璃蓋板。手機(jī)玻璃蓋板(Mobile Phone Glass Cover, MPGC)表面結(jié)構(gòu)如圖1所示,主要由印刷區(qū)、可視化區(qū)和其他功能孔洞區(qū)組成[1]。
由于人工目檢效率低,目前逐漸使用基于機(jī)器視覺的檢測方法[2-3]。大多數(shù)基于圖像處理的視覺檢測算法只能判斷MPGC表面是否有缺陷,無法判斷缺陷的具體類別。為了能夠判斷缺陷的具體類別,過去常見的做法是手工設(shè)計(jì)特征提取函數(shù),然后結(jié)合機(jī)器學(xué)習(xí)方法,比如支持向量機(jī)等[4]。但手工設(shè)計(jì)特征提取函數(shù)有一定的主觀性,分類準(zhǔn)確率和通用性不高,因此本文將研究可以自動(dòng)提取特征的深度學(xué)習(xí)算法,完成對(duì)MPGC表面缺陷的分類檢測。
2 ? 研究現(xiàn)狀(Research status)
近些年來,隨著深度學(xué)習(xí)理論的不斷發(fā)展,計(jì)算機(jī)視覺領(lǐng)域開始廣泛使用深度學(xué)習(xí)算法,并且都表現(xiàn)出了良好的性能,尤其是基于局部相關(guān)性和權(quán)值共享的思想,運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)實(shí)現(xiàn)自動(dòng)提取圖像高層特征,并依據(jù)這些特征對(duì)圖像進(jìn)行檢測和分類。如今,為了實(shí)現(xiàn)產(chǎn)品質(zhì)量檢測的智能化,許多工業(yè)領(lǐng)域中的自動(dòng)檢測系統(tǒng)都逐漸采用卷積神經(jīng)網(wǎng)絡(luò)替代傳統(tǒng)圖像處理算法[5-6]。目前針對(duì)不同的應(yīng)用場景,研究人員主要通過改變成熟的深度卷積網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)來提高模型檢測的準(zhǔn)確性。HE等利用ResNet網(wǎng)絡(luò)提取鋼板表面缺陷特征[7],通過多級(jí)特征融合的方法,將獲取到的特征送入RPN網(wǎng)絡(luò),實(shí)現(xiàn)鋼板表面缺陷的分類與定位。其中,劃痕缺陷檢測精度最高,而對(duì)于鋼板表面的氧化區(qū)域檢測效果較差,并且構(gòu)建數(shù)據(jù)集時(shí)需要大量的人力成本標(biāo)注數(shù)據(jù)。RACKI等設(shè)計(jì)了一個(gè)包含分段和分類的緊湊網(wǎng)絡(luò)結(jié)構(gòu)模型[8],分段由三個(gè)固定卷積大小的卷積塊組成,提取到的特征用于紋理表面缺陷分類和異常分割。為了克服最大池化分割較小缺陷的不足,作者加入了平均池化層。CHEON等針對(duì)晶圓表面缺陷設(shè)計(jì)了一種包含四個(gè)卷積層、兩個(gè)池化層、一個(gè)全連接層、一個(gè)輸出層的網(wǎng)絡(luò)結(jié)構(gòu)[9],還將訓(xùn)練好的CNN模型結(jié)合最近鄰算法來識(shí)別未知缺陷。針對(duì)多晶硅晶圓表面缺陷,HAN等使用RPN提取缺陷候選區(qū)域,送入U(xiǎn)-net網(wǎng)絡(luò)中進(jìn)行缺陷分割[10]。作者對(duì)比了不同大小圖像的分割結(jié)果,結(jié)果表明,256×256大小的分割效果較好。在壓敏電阻表面缺陷檢測中,YANG等提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network, DCNN)的端到端的檢測方法[11],即在ILSVRC-2012數(shù)據(jù)集上保持預(yù)訓(xùn)練網(wǎng)絡(luò)參數(shù)不變,修改VGG16模型的卷積層數(shù)量,并在最后添加全局平均池化層。實(shí)驗(yàn)表明,在保證檢測精度的情況下參數(shù)數(shù)量有所下降,檢測效率得到提升。DCNN在上述工業(yè)產(chǎn)品檢測中得到了很好的應(yīng)用。
但在MPGC表面缺陷檢測領(lǐng)域中,深度學(xué)習(xí)算法的應(yīng)用較少。一方面,由于訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)樣本,對(duì)于MPGC來說,收集包含不同種類缺陷的圖像是非常困難的,并且人工標(biāo)注數(shù)據(jù)代價(jià)昂貴;另一方面,手機(jī)更新?lián)Q代快,訓(xùn)練好的模型可能不適用于下一個(gè)型號(hào)的產(chǎn)品,需要重新收集數(shù)據(jù),重新訓(xùn)練模型,時(shí)間成本高。但深度學(xué)習(xí)強(qiáng)大的自主學(xué)習(xí)能力可以有效提高分類檢測準(zhǔn)確率。針對(duì)上述問題,本文提出一種隨機(jī)缺陷合成算法,生成偽樣本,構(gòu)造出MPGC表面缺陷分類檢測數(shù)據(jù)集,并且結(jié)合遷移學(xué)習(xí)的概念對(duì)模型進(jìn)行微調(diào),改進(jìn)DCNN模型,實(shí)現(xiàn)對(duì)MPGC表面缺陷的分類檢測。
3 ?缺陷分析及數(shù)據(jù)生成(Defect analysis and data generation)
3.1 ? 缺陷分析
制作MPGC的材料主要是玻璃和油墨,雖然外形簡單,但仍有10多道工序。首先使用CNC對(duì)玻璃原片進(jìn)行開料,然后進(jìn)行外形雕刻和打孔;為了使MPGC具備一定的硬度,還要進(jìn)行鋼化處理;接著進(jìn)行拋光處理,使其表面更光潔;最后使用油墨印刷玻璃表面;另外還有清洗、鍍膜等環(huán)節(jié)。其加工工藝復(fù)雜,稍有不慎就會(huì)導(dǎo)致玻璃蓋板表面產(chǎn)生劃痕、裂紋、臟污、黑點(diǎn)和白點(diǎn)等不同種類的缺陷。
在實(shí)際檢測中,對(duì)不同的缺陷進(jìn)行分類,可以找出產(chǎn)生缺陷最多的工藝,進(jìn)而改善工藝流程。玻璃蓋板表面缺陷種類非常多,并且有的缺陷種類產(chǎn)生頻率高,有的缺陷產(chǎn)生頻率低,但是按照具體的形狀,可以大致分為點(diǎn)缺陷、線缺陷和不規(guī)則的塊狀缺陷。由于現(xiàn)代工藝的進(jìn)步,在實(shí)際生產(chǎn)過程中缺陷占比相對(duì)少,大多數(shù)情況下,一張MPGC圖像上只會(huì)產(chǎn)生一種類型的缺陷。為此,本文將按照?qǐng)D像級(jí)別的標(biāo)簽對(duì)點(diǎn)缺陷、線缺陷和塊狀缺陷的MPGC圖像進(jìn)行分類檢測。
3.2 ? 數(shù)據(jù)生成
深度學(xué)習(xí)本質(zhì)上是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的算法,數(shù)據(jù)量越多意味著泛化性能越好。但對(duì)于MPGC來說,收集數(shù)量足夠且平衡的樣本是非常困難的,這在一定程度上限制了深度學(xué)習(xí)在工業(yè)檢測領(lǐng)域中的應(yīng)用。
為了解決樣本稀缺的問題,從而更好地研究深度學(xué)習(xí)算法在缺陷檢測上的應(yīng)用,本部分提出結(jié)合子圖像劃分和隨機(jī)缺陷合成算法來構(gòu)造MPGC表面缺陷檢測數(shù)據(jù)集。首先用工業(yè)相機(jī)采集某型號(hào)MPGC表面無缺陷圖像,如圖2(a)所示,采集到的圖像分辨率為1080×1808。為了后續(xù)方便處理,通過圖像縮放和仿射變換的方式提取圖像感興趣區(qū)域,如圖2(b)所示,最終圖像分辨率為226×477。
接著使用128×128的滑動(dòng)窗口按照步長為10的距離,分別在X軸和Y軸方向上進(jìn)行滑動(dòng),截取子圖像,如圖3所示。采用滑動(dòng)窗口分塊圖像不僅能增加樣本數(shù)量,而且可以保證送入神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的圖像尺寸大小相等,避免模型訓(xùn)練時(shí)因全連接層參數(shù)數(shù)量不一致而報(bào)錯(cuò)。
按照上述方法最終生成了1,403 張無缺陷的MPGC子圖像,然后利用本文提出的隨機(jī)缺陷合成算法在無缺陷的圖像上分別增加點(diǎn)缺陷、線缺陷和不規(guī)則的塊狀缺陷。隨機(jī)缺陷合成算法流程如表1所示,輸入為無缺陷的樣本數(shù)量,即前文利用滑動(dòng)窗口生成的子圖像數(shù),表示子圖像集合,然后利用隨機(jī)數(shù)生成器RNG,隨機(jī)選擇顏色信息、坐標(biāo)信息,以及缺陷數(shù)量和缺陷大小;接著將作為參數(shù)分別送入線缺陷生成函數(shù)、點(diǎn)缺陷生成函數(shù)和塊狀缺陷生成函數(shù)中,隨機(jī)生成的缺陷與無缺陷圖像疊加,與此同時(shí),利用loc函數(shù)生成缺陷類別和相關(guān)位置信息分別賦給、和;最后輸出線缺陷子圖像及其標(biāo)簽信息、點(diǎn)缺陷子圖像及其標(biāo)簽信息、塊狀缺陷子圖像及其標(biāo)簽信息。
按照以上方法生成了1,403 張無缺陷圖像、1,403 張線缺陷圖像、1,403 張點(diǎn)缺陷圖像和1,403 張塊狀缺陷圖像,構(gòu)建了總計(jì)包含5,612 張圖像的MPGC表面缺陷分類檢測數(shù)據(jù)集,本文將其命名為MPGC-DET,圖4展示了隨機(jī)缺陷的合成效果。
4 ?基于DCNN的缺陷分類模型(Defect classification model based on DCNN)
4.1 ? 缺陷分類模型搭建
基于局部相關(guān)性和權(quán)值共享的卷積神經(jīng)網(wǎng)絡(luò)具備強(qiáng)大的自動(dòng)特征提取能力,而圖像特征正是區(qū)分圖像類別的重要依據(jù)。假設(shè)輸入圖像為X,則CNN提取特征圖的核心表達(dá)式定義為:
其中,O為輸出特征圖,W為卷積層的權(quán)重參數(shù),b為偏置項(xiàng),*表示卷積運(yùn)算,表示激活函數(shù),用來增強(qiáng)非線性數(shù)據(jù)的表征能力。本文將選取ReLU為激活函數(shù),另外加入池化層和批歸一化層可以進(jìn)一步改善CNN模型的特征提取能力。DCNN模型就是網(wǎng)絡(luò)層數(shù)較深的CNN模型,現(xiàn)代成熟的DCNN模型結(jié)構(gòu)有AlexNet、VGGNet和ResNet等[12-14]。其中ResNet創(chuàng)造性地加入了殘差跳連結(jié)構(gòu),解決了深層模型的梯度彌散和梯度爆炸問題,使得準(zhǔn)確率進(jìn)一步提升。
為了保證模型的通用性和準(zhǔn)確性,本文以ResNet34為基礎(chǔ)搭建MPGC表面缺陷分類模型[14],并將其標(biāo)記為MDCM(MPGC Defect Classification Model)。模型整體結(jié)構(gòu)如表2所示。
相較于原論文的ResNet34模型,本文將第二層的最大池化層改成了全局平均池化層,從而可以保證在提取缺陷特征時(shí)不會(huì)剔除關(guān)鍵像素點(diǎn)。Conv1_x是一個(gè)包含多個(gè)卷積層和批歸一化層的塊結(jié)構(gòu),并且最后輸出特征與輸入特征相加,避免了梯度值為零的情況。Conv2_x、Conv3_x和Conv4_x與Conv1_x的結(jié)構(gòu)類似,在此不再贅述。但值得注意的是,本文在Conv4_x中嵌入了SE(Squeeze-and-Excitation)模塊[15],這樣做是為了學(xué)習(xí)通道的權(quán)重,從而增強(qiáng)缺陷的特征信息;然后經(jīng)過平均池化層和全連接層輸出長度為4的特征向量;最后加入了Softmax函數(shù),保證每個(gè)輸出值都在0到1之間,且輸出之和為1。Softmax函數(shù)定義為:
其中,表示第i 個(gè)類別的輸出值,d表示類別個(gè)數(shù)。
4.2 ? 遷移學(xué)習(xí)與微調(diào)
現(xiàn)代成熟的DCNN模型都是以ImageNet數(shù)據(jù)集為基礎(chǔ)展開模型訓(xùn)練的,ImageNet是由研究人員花費(fèi)了大量時(shí)間和資金收集的具有百萬數(shù)量級(jí)的數(shù)據(jù)集,而且大都是包含自然界中常見物體的圖像。MPGC屬于工業(yè)產(chǎn)品,優(yōu)良的加工工藝不可能產(chǎn)生太多包含缺陷的MPGC表面圖像,這就導(dǎo)致以ImageNet為基礎(chǔ)的DCNN模型沒有過多的數(shù)據(jù)去學(xué)習(xí)和更新參數(shù),從而不能充分提取用于分類的MPGC表面缺陷特征。為了能夠更好地發(fā)揮MDCM在MPGC表面缺陷分類檢測上的作用,本文使用遷移學(xué)習(xí)(Transfer Learning, TL)的方式解決因參數(shù)不足而導(dǎo)致模型泛化能力弱的問題。TL實(shí)際上是將模型從源數(shù)據(jù)集學(xué)習(xí)到的知識(shí)遷移到目標(biāo)數(shù)據(jù)集中去,雖然ImageNet中的圖像與MPGC表面圖像差別很大,但根據(jù)傳統(tǒng)圖像處理理論,任何圖像都包含邊緣、紋理、角點(diǎn)和形狀等可以直觀察覺到的特征信息,而DCNN模型的底層便是從這些直觀特征信息開始學(xué)起,直到高層學(xué)習(xí)更抽象的特征,才作為物體的分類依據(jù),所以TL可以幫助MPGC缺陷分類模型初始化一些底層特征參數(shù)。常見的TL方式有:(1)載入預(yù)訓(xùn)練權(quán)重,訓(xùn)練所有參數(shù);(2)載入預(yù)訓(xùn)練權(quán)重,只訓(xùn)練最后幾層參數(shù);(3)載入預(yù)訓(xùn)練權(quán)重后,修改或者添加最后的全連接層,然后只訓(xùn)練全連接層參數(shù),這種方式實(shí)際上被稱為微調(diào)(Fine Tuning, FT)。如圖5所示,是基于微調(diào)的遷移學(xué)習(xí)原理示意圖。
5 ? 實(shí)驗(yàn)分析(Experiment analysis)
5.1 ? 實(shí)驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo)
本文實(shí)驗(yàn)的硬件環(huán)境如下:CPU為8核的Intel酷睿i7,GPU為NVIDIA的RTX 2060,GPU內(nèi)存為6 GB。軟件環(huán)境如下:PyTorch作為深度學(xué)習(xí)框架,Python作為開發(fā)語言,Pycharm作為編程環(huán)境。
為了充分評(píng)價(jià)缺陷分類模型的性能,本文引入準(zhǔn)確率Accuracy、精確率Precision、召回率Recall和F-Score分?jǐn)?shù)作為評(píng)價(jià)指標(biāo)。數(shù)學(xué)表達(dá)式定義為:
其中,TP表示真實(shí)值為正樣本、預(yù)測值為正樣本的個(gè)數(shù);FP表示真實(shí)值為負(fù)樣本、預(yù)測值為正樣本的個(gè)數(shù);FN表示真實(shí)值為正樣本、預(yù)測值為負(fù)樣本的個(gè)數(shù);TN表示真實(shí)值為負(fù)樣本、預(yù)測值為負(fù)樣本的個(gè)數(shù)。
5.2 ? 訓(xùn)練策略與結(jié)果分析
本文按照7:3的比例將MPGC-DET劃分為訓(xùn)練集和測試集。訓(xùn)練模型時(shí)選擇的損失函數(shù)為交叉熵(Cross Entropy,CE)函數(shù),其數(shù)學(xué)表達(dá)式定義為:
其中,y為輸出概率值。優(yōu)化器選擇帶有一階動(dòng)量的隨機(jī)梯度下降法(Stochastic Gradient Descent with Momentum, SGDM)。動(dòng)量超參數(shù)設(shè)置為0.9,初始學(xué)習(xí)率設(shè)置為0.005,每5 個(gè)迭代輪數(shù)將初始學(xué)習(xí)率乘以0.33。同時(shí)為了防止過擬合,本文使用L2正則化,將權(quán)重衰減系數(shù)設(shè)置為0.0005。然后根據(jù)圖5的遷移學(xué)習(xí)原理,首先加載在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的模型權(quán)重,然后凍結(jié)MDCM的特征提取層,單獨(dú)訓(xùn)練MDCM的全連接層。
同時(shí),本文選取了未加入遷移學(xué)習(xí)的VGG16和ResNet34模型作為實(shí)驗(yàn)對(duì)比。經(jīng)過30 輪次的迭代,訓(xùn)練結(jié)果如圖6所示。
圖6(a)為訓(xùn)練集的損失函數(shù)變化曲線,圖6(b)為測試集的準(zhǔn)確率變化曲線。從圖中可以看出,本文結(jié)合基于微調(diào)的遷移學(xué)習(xí)原理搭建的MDCM模型損失函數(shù)能快速收斂,準(zhǔn)確率也在5 個(gè)迭代輪數(shù)后逐漸收斂,并維持在較高值。直接使用VGG16模型訓(xùn)練MPGC-DET數(shù)據(jù)集時(shí),損失函數(shù)不能收斂,準(zhǔn)確率也一直維持在30%左右;而直接使用ResNet34模型訓(xùn)練MPGC-DET,損失函數(shù)雖然快速減小,但測試集的準(zhǔn)確率只能維持在40%左右,且不穩(wěn)定,說明模型的泛化性能較弱。
根據(jù)式(3)—式(6)計(jì)算出的評(píng)價(jià)指標(biāo)結(jié)果如表3所示,其中本文提出的MDCM方法在MPGC-DET測試集上的準(zhǔn)確率為96.40%,均高于VGG16和ResNet34模型;精確率為96.42%,召回率為95.37%,F(xiàn)-Score得分為95.89%,均高于VGG16和ResNet34模型。另外ResNet34模型的各指標(biāo)都高于VGG16模型,說明帶有殘差結(jié)構(gòu)的模型更適合分類檢測MPGC表面缺陷,但準(zhǔn)確率依然不高。MDCM的訓(xùn)練結(jié)果表明,結(jié)合遷移學(xué)習(xí)和SE模塊可以進(jìn)一步提升MPGC表面缺陷分類檢測準(zhǔn)確率。
5.3 ? Grad-CAM可視化
為了更直觀地展示本文提出的模型在MPGC缺陷分類檢測上的有效性,本文利用梯度類加權(quán)激活映射(Gradient-weighted Class Activation Mapping, Grad-CAM)可視化技術(shù)分析特征圖與預(yù)測特征圖之間的關(guān)系[16],判斷模型最終提取到的預(yù)測特征圖是否更多地關(guān)注缺陷所在區(qū)域,從而防止過擬合的發(fā)生。
從圖7中可以看到,當(dāng)模型預(yù)測MPGC表面存在缺陷的類別時(shí),更多地關(guān)注了MPGC表面缺陷所在區(qū)域,說明提取到的分類特征是缺陷所在區(qū)域的特征,證明模型沒有產(chǎn)生過擬合的現(xiàn)象,有一定的泛化性。
6 ? 結(jié)論(Conclusion)
研究了基于深度卷積神經(jīng)網(wǎng)絡(luò)的手機(jī)玻璃蓋板表面缺陷分類檢測方法,最終實(shí)驗(yàn)顯示,本文搭建的分類檢測模型在MPGC-DET數(shù)據(jù)集上的分類準(zhǔn)確率達(dá)96.40%,精確率達(dá)96.42%,召回率達(dá)95.37%,F(xiàn)-Score得分達(dá)95.89%,均優(yōu)于直接使用成熟的深度卷積神經(jīng)網(wǎng)絡(luò)模型方法。但本文合成的偽缺陷不能保證與真實(shí)缺陷完全一致,所以未來可以繼續(xù)收集真實(shí)缺陷,進(jìn)一步提升實(shí)際應(yīng)用價(jià)值。
參考文獻(xiàn)(References)
[1] YUAN Z C, ZHANG Z T, SU H, et al. Vision-based defect detection for mobile phone cover glass using deep neural networks[J]. International Journal of Precision Engineering and Manufacturing, 2018, 19(6):801-810.
[2] 簡川霞.手機(jī)玻璃屏表面缺陷機(jī)器視覺檢測與分類方法研究[D].廣州:廣東工業(yè)大學(xué),2017.
[3] LI D, LIANG L Q, ZHANG W J. Defect inspection and extraction of the mobile phone cover glass based on the principal components analysis[J]. International Journal of Advanced Manufacturing Technology, 2014, 73(9/10/11/12):1605-1614.
[4] SINDAGI V A, SRIVASTAV A S. Domain adaptation for automatic OLED panel defect detection using adaptive support vector data description[J]. International Journal of Computer Vision, 2016, 122(2):1-19.
[5] CHA Y J, CHOI W. Deep learning-based crack damage detection using Convolutional Neural Networks[J]. Computer Aided Civil and Infrastructure Engineering, 2017, 32(5):361-378.
[6] PARK J K, KWON B K, PARK J H, et al. Machine learning-based imaging system for surface defect inspection[J]. International Journal of Precision Engineering and Manufacturing Green Technology, 2016, 3(3):303-310.
[7] HE Y, SONG K, MENG Q, et al. An end-to-end steel surface defect detection approach via fusing multiple hierarchical features[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(4):1493-1504.
[8] RACKI D, TOMAZEVIC D, SKOCAJ D. A compact convolutional neural network for textured surface anomaly detection[C]// BOWYER K. IEEE Winter Conference on Applications of Computer Vision. Piscataway: IEEE, 2018:1331-1339.
[9] CHEON S, LEE H, CHANG O K, et al. Convolutional neural network for wafer surface defect classification and the detection of unknown defect class[J]. IEEE Transactions on Semiconductor Manufacturing, 2019, 32(2):163-170.
[10] HAN H, GAO C, ZHAO Y, et al. Polycrystalline Silicon wafer defect segmentation based on deep convolutional neural networks[J]. Pattern Recognition Letters, 2020, 130:234-241.
[11] YANG T, PENG S, HUANG L. Surface defect detection of voltage-dependent resistors using convolutional neural networks[J]. International Journal of Material Forming, 2020, 79(9/10):6531-6546.
[12] KRIZHEVSKY A, SUTSKEVER I, HINTON G. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6):84-90.
[13] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Vision and Pattern Recognition, 2014, 6(3):1-14.
[14] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[J]. Computer Vision and Pattern Recognition(CVPR)2016, 2016(12):770-778.
[15] HU J, SHEN L, SUN G, et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 42(8):2011-2023.
[16] SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization[J]. International Journal of Computer Vision, 2020, 128(2):336-359.
作者簡介:
吳 ? 闖(1994-),男,碩士生.研究領(lǐng)域:圖像處理,機(jī)器視覺.
于大泳(1977-),男,博士,高級(jí)工程師.研究領(lǐng)域:并聯(lián)機(jī)構(gòu)精度分析標(biāo)定,電磁兼容.