蔡劍鋒，柏俊杰，向洪成，胡 林，周濤琪，高 帥

（重慶科技學(xué)院 電氣工程學(xué)院，重慶 401331）

0 引言

中國是世界上的工業(yè)大國，具有全世界最大板材消費(fèi)市場，在冶金板材生產(chǎn)過程中，由于多方面原因?qū)е掳宀谋砻娉尸F(xiàn)劃痕、夾雜、裂紋、邊浪等缺陷，降低后續(xù)生產(chǎn)中板材的質(zhì)量，從而影響企業(yè)的經(jīng)濟(jì)效益。

為此，國內(nèi)外眾多科研機(jī)構(gòu)和學(xué)者展開了對板材表面缺陷檢測的研究，魏智鋒等構(gòu)建SSDMobileNet算法模型針對人造板表面粗刨花、水印、砂痕、雜物、膠斑缺陷的分類檢測，mAP達(dá)到93.76%[1]。蔡漢明等以Inception-V3模型為主的遷移學(xué)習(xí)算法實(shí)現(xiàn)對金屬板材凹凸表面、邊緣面等特殊部位的缺陷識別準(zhǔn)確率達(dá)到90.6%[2]。Gao等人提出了一種利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的半監(jiān)督學(xué)習(xí)方法進(jìn)行鋼表面缺陷識別，達(dá)到90.7%的精度[3]。雖然不少相關(guān)學(xué)者對表面缺陷檢測做出了研究，但很少有人針對金屬板最容易出現(xiàn)的表面劃痕缺陷進(jìn)行研究。

在真實(shí)的金屬板材工業(yè)環(huán)境中，由于技術(shù)環(huán)境等限制，導(dǎo)致所能提供的金屬板表面缺陷樣本太少，使得深度學(xué)習(xí)方法難以直接應(yīng)用在表面缺陷檢測。針對工業(yè)表面缺陷檢測中的小樣本問題,目前有4種不同的解決方式：數(shù)據(jù)擴(kuò)增、合成與生成[4]；網(wǎng)絡(luò)預(yù)訓(xùn)練或遷移學(xué)習(xí)[5]；合理的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計[6]；采用無監(jiān)督與半監(jiān)督模型方法[7]。通過上述四種方式解決了小樣本的部分問題，但還存在一定的局限性。

在不同工業(yè)行業(yè)和領(lǐng)域中相關(guān)的表面缺陷數(shù)據(jù)是非常多的，一些缺陷種類也是共同的[8]。目前不同檢測領(lǐng)域之間的數(shù)據(jù)并沒有有效結(jié)合和利用，如果將這些數(shù)據(jù)有效地運(yùn)用起來，可以作為解決目前小樣本問題的新途徑。因此，基于異域數(shù)據(jù)的聯(lián)邦學(xué)習(xí)將會成為一個趨勢，它能夠打破不同應(yīng)用場景之間的壁壘，充分學(xué)習(xí)不同領(lǐng)域之間數(shù)據(jù)來提升網(wǎng)絡(luò)性能。

針對樣本太少的問題，提出基于異域數(shù)據(jù)聯(lián)邦學(xué)習(xí)的板材表面劃痕檢測模型，Labview與Python相結(jié)合，采用輕量級網(wǎng)絡(luò)MobileNet-YOLOv3，利用多種板材劃痕數(shù)據(jù)以不同的權(quán)重來聯(lián)合訓(xùn)練解決金屬板材樣本太少的問題，打破不同應(yīng)用場景之間的壁壘，并將其應(yīng)用于缺陷檢測系統(tǒng)，客戶端用戶可以針對不同場景實(shí)現(xiàn)單獨(dú)訓(xùn)練，以提高目標(biāo)檢測的準(zhǔn)確性。

1 系統(tǒng)模型

1.1 基于異域數(shù)據(jù)聯(lián)邦學(xué)習(xí)的劃痕檢測模型

本文提出基于異域數(shù)據(jù)聯(lián)邦學(xué)習(xí)的劃痕檢測模型，如圖1所示。在模型中，結(jié)合木板、金屬板、塑料板等不同板材的表面劃痕數(shù)據(jù)作為公共數(shù)據(jù)集，根據(jù)其劃痕的相似匹配度來設(shè)置權(quán)重W進(jìn)行聯(lián)合訓(xùn)練，構(gòu)建初始的表面劃痕通用神經(jīng)網(wǎng)絡(luò)模型布置于服務(wù)器中[9]?？蛻舳酥恍鑼⒈砻鎰澓弁ㄓ蒙窠?jīng)網(wǎng)絡(luò)模型下載到本地，利用客戶端的數(shù)據(jù)訓(xùn)練本地模型用于劃痕檢測。

圖1 基于異域數(shù)據(jù)聯(lián)邦學(xué)習(xí)的劃痕檢測模

1.2 神經(jīng)網(wǎng)絡(luò)模型

為保證在應(yīng)用中其在線檢測的速度，本文選用端到端的基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法YOLOv3。為考慮使其在計算能力受限的邊緣設(shè)備上也能快速運(yùn)行，利用MobileNet將標(biāo)準(zhǔn)卷積分解為深度卷積和逐點(diǎn)卷積以減少參數(shù)量的特點(diǎn)，替換YOLOv3目標(biāo)檢測算法的主干網(wǎng)絡(luò)框架，并保留多尺度預(yù)測，形成基于MobileNet的目標(biāo)檢測算法[10]。

MobileNet-YOLOv3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要分為3個部分：輸入層、主網(wǎng)絡(luò)框架、多尺度檢測模塊，如圖2所示。

圖2 MobileNet-YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)

主網(wǎng)絡(luò)框架使用MobileNet代替原本的backbone，采用Depth-wise（3*3深度）卷積搭配Point-wise（1*1逐點(diǎn)）卷積的方式來提取特征，從而降低了神經(jīng)網(wǎng)絡(luò)的浮點(diǎn)數(shù)運(yùn)算量，圖3為標(biāo)準(zhǔn)卷積與深度可分離卷積的結(jié)構(gòu)對比圖。

圖3 深度可分離卷積結(jié)構(gòu)圖

深度卷積的卷積核尺寸DK×DK×M，逐點(diǎn)卷積的卷積核尺寸為1×1×M，有N個，要做DW×DH次乘加運(yùn)算。圖4為深度可分離卷積和標(biāo)準(zhǔn)卷積的參數(shù)量和計算量的對比，參數(shù)數(shù)量和乘加操作的運(yùn)算量會下降到原本3×3卷積的九分之一到八分之一。

圖4 深度可分離卷積和標(biāo)準(zhǔn)卷積的參數(shù)量和計算量的對比

MobileNet-YOLOv3的損失函數(shù)如式（1）所示，由中心坐標(biāo)損失losscenter、邊界框大小損失lossscale、置信度損失lossconf以及分類損失lossclass這4個部分組成。其中和采用和方差的計算方式，如式（2）和式（3）所示；lossconf和lossclass采用交叉熵的計算方式，如式（4）和式（5）所示。

其中，Iij∈{0, 1}為判斷第個方格的第j個邊界框是否包含待檢測物體；（xfi, yfi）為真實(shí)物體的中心點(diǎn)坐標(biāo)；（wfi, hfi）為真實(shí)物體邊界框的寬和高；Cfi為真實(shí)物體的置信度；Pfi為真實(shí)物體的類別置信度；分別為它們的預(yù)估值。

2 基于Labview數(shù)據(jù)交互設(shè)計

在Tensorflow環(huán)境下，使用Labview作為系統(tǒng)界面，用作本地數(shù)據(jù)集訓(xùn)練，界面包括左上角的操作按鍵、數(shù)據(jù)集文件目錄、訓(xùn)練次數(shù)、訓(xùn)練批次、預(yù)訓(xùn)練模型、已訓(xùn)練模型、存儲目錄和圖像顯示。按鍵功能數(shù)據(jù)操作中的標(biāo)注圖片為調(diào)用LabelImg應(yīng)用程序，其余所有按鍵功能均以Python實(shí)現(xiàn)。使用Labview的Actor Framework編程框架搭建系統(tǒng)平臺，編寫有多個VI獨(dú)立運(yùn)行且相互間可通信的應(yīng)用程序執(zhí)行獨(dú)立的系統(tǒng)任務(wù)，整體框架和部分程序如圖5所示。

圖5 灰度變換和濾波處理后的結(jié)果

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集的制作

實(shí)驗(yàn)通過不同板材現(xiàn)場采樣的方式，但由于受現(xiàn)場工業(yè)條件影響，導(dǎo)致采集到的樣本部分存在光照不均的問題，所以需要對光照不均的圖片進(jìn)行處理。主要采用Gamma校正，以對圖像進(jìn)行非線性色調(diào)編輯的方法，檢出圖像信號中的深色部分和淺色部分，并使兩者比例增大，從而提高圖像對比度效果，如圖6所示。結(jié)合不同的板材劃痕檢測數(shù)據(jù)集，利用ORB算法進(jìn)行金屬板同種劃痕的數(shù)據(jù)篩選，ORB基于FAST和BRIEF特征提出的二值特征匹配實(shí)現(xiàn)，在時間上比SIFT快100倍，比SURF快10倍，并且匹配效果也很好。篩選后制作了4 632張的劃痕通用數(shù)據(jù)集，然后根據(jù)其匹配度，進(jìn)行不同權(quán)重的設(shè)置，用于訓(xùn)練通用神經(jīng)網(wǎng)絡(luò)，如圖7所示。

圖6 原圖和Gamma（1.5，3）的校正圖像

圖7 基于ORB算法的不同板材之間的劃痕匹配

3.2 實(shí)驗(yàn)結(jié)果

本地服務(wù)器下載預(yù)訓(xùn)練的MobileNet-YOLOv3和YOLOv3通用神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練本地只有116張的金屬板數(shù)據(jù)集，并對金屬板數(shù)據(jù)集單獨(dú)采用了鏡像、旋轉(zhuǎn)、尺度變換等數(shù)據(jù)增廣方法，將金屬板的數(shù)據(jù)量增廣到4 748張，用于對照實(shí)驗(yàn)。測試準(zhǔn)確率如表1所示。

表1 數(shù)據(jù)增廣與聯(lián)邦學(xué)習(xí)的準(zhǔn)確率對比

針對小樣本問題，采用異域數(shù)據(jù)聯(lián)邦學(xué)習(xí)的方法對比傳統(tǒng)的數(shù)據(jù)增廣方法準(zhǔn)確率提高了約5%。實(shí)驗(yàn)通過遷移學(xué)習(xí)的方式驗(yàn)證金屬板材的劃痕檢測準(zhǔn)確度。圖8為MobileNet-YOLOv3與YOLOv3遍歷100次完成模型訓(xùn)練時，聯(lián)邦學(xué)習(xí)和數(shù)據(jù)增廣方法的mAP和損失函數(shù)。

圖8 MobileNet-YOLOv3與MobileNet-SSD損失值與平均精度均值

通過遷移學(xué)習(xí)的方式分場景訓(xùn)練，由于本地數(shù)據(jù)集數(shù)據(jù)量較少，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間可以大大減少，實(shí)際檢測效果如圖9所示?？蛻舳嗽谕瓿缮窠?jīng)網(wǎng)絡(luò)模型的訓(xùn)練后可以直接使用電腦調(diào)用攝像頭進(jìn)行檢測，也可考慮將其部署在可兼容的邊緣設(shè)備上。

圖9 金屬板的檢測實(shí)際效果

4 結(jié)論

本文在金屬板材表面劃痕的檢測中，針對深度學(xué)習(xí)的表面劃痕檢測技術(shù)中所存在的小樣本問題，在4種不同的解決方式外，提出了新的小樣本問題的解決方法，構(gòu)建基于異域數(shù)據(jù)聯(lián)邦學(xué)習(xí)的表面劃痕檢測系統(tǒng)，利用跨領(lǐng)域的表面劃痕數(shù)據(jù)集，構(gòu)建通用的表面劃痕深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，在解決工業(yè)現(xiàn)場劃痕樣本集不足問題的同時，進(jìn)行異域數(shù)據(jù)聯(lián)合使用，實(shí)現(xiàn)跨領(lǐng)域的表面劃痕檢測。但針對復(fù)雜環(huán)境下的劃痕檢測還有待進(jìn)一步改進(jìn)，將訓(xùn)練好的檢測模型移植到嵌入式設(shè)備中進(jìn)行工業(yè)現(xiàn)場應(yīng)用是下一步研究方向。