(國家知識產(chǎn)權(quán)局 專利局專利審查協(xié)作江蘇中心,江蘇 蘇州 215163)

0 前言

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種方法，該方法大量借鑒了人腦、統(tǒng)計學(xué)和應(yīng)用數(shù)學(xué)的知識[1-2]。近年來，隨著以深度神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型取得突破性快速發(fā)展，得益于更強(qiáng)大的計算機(jī)、更大的數(shù)據(jù)集和能夠訓(xùn)練更深網(wǎng)絡(luò)的技術(shù)，深度學(xué)習(xí)在智能制造領(lǐng)域取得了大量應(yīng)用[3-4]。

在焊接領(lǐng)域，由于深度學(xué)習(xí)高效的特征識別特點，國內(nèi)外學(xué)者將AutoEncoder,Deep Belief Networks和Convolutional Neural Networks等深度學(xué)習(xí)模型應(yīng)用到了焊接過程控制、焊接缺陷檢測等方面，取得了初步的研究成果。對深度學(xué)習(xí)技術(shù)在焊接過程控制、焊縫缺陷檢測等方面的研究進(jìn)展進(jìn)行概述。

1 深度學(xué)習(xí)在焊接過程控制中的應(yīng)用

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，主要通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)在焊接研究中獲得了大量應(yīng)用，主要包括：高能束焊熔透預(yù)測、熔池圖像識別、3D增材制造質(zhì)量監(jiān)測等。

山東大學(xué)劉新峰[5]基于熔池特征形貌，建立了5層卷積及3層全連接的卷積神經(jīng)網(wǎng)絡(luò)模型，并對等離子焊穿孔及熔透狀態(tài)進(jìn)行了預(yù)測。結(jié)果表明，利用等離子弧焊接正面熔池和穿孔圖像目標(biāo)訓(xùn)練集以及反向傳播對其進(jìn)行繼續(xù)訓(xùn)練。訓(xùn)練后的模型可以自動獲取到良好的特征，從而進(jìn)行正確的分類識別。測試結(jié)果表明，穿孔/熔透狀態(tài)的識別準(zhǔn)確率達(dá)90%以上。

Günther等人[6-7]設(shè)計了卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)，該模型可從激光焊接過程中高速攝像系統(tǒng)采集的高維相機(jī)圖像中提取低維特征，如圖1所示。隨后結(jié)合機(jī)器學(xué)習(xí)及控制策略，該類低維特征被用于構(gòu)成焊接過程的閉環(huán)循環(huán)。

覃科等人[8]提出了一種利用卷積神經(jīng)網(wǎng)絡(luò)CNN-M對形態(tài)復(fù)雜的CO2焊接熔池形態(tài)進(jìn)行識別的方法。研究結(jié)果表明，CNN-M在網(wǎng)絡(luò)的訓(xùn)練過程和檢測過程中的識別率均要優(yōu)于BP神經(jīng)網(wǎng)絡(luò)(圖2)，在樣本集稀少的情況下仍能夠達(dá)到較高識別率和較快識別速度。

Kim等人[9]利用深度學(xué)習(xí)開發(fā)了GMA焊接接頭背部焊道監(jiān)測算法。研究結(jié)果表明，采用焊接電壓與電流信號獲得的接頭背部熔池形貌經(jīng)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練后可很好的預(yù)測背部焊道的產(chǎn)生情況，準(zhǔn)確度達(dá)到96.91%。

Tang等人[10]研究了深度學(xué)習(xí)在增材制造過程中缺陷監(jiān)測方面的應(yīng)用。建立的卷積神經(jīng)網(wǎng)絡(luò)模型包含7層特征映射層，且提取了3個特征參數(shù)。訓(xùn)練結(jié)果表明，識別準(zhǔn)確度達(dá)到95.29%。

Shevchik S.A. 等人[11]結(jié)合聲發(fā)射傳感器及機(jī)器學(xué)習(xí)，研究了聲發(fā)射信號在增材制造過程中質(zhì)量監(jiān)測方面的應(yīng)用。根據(jù)氣孔率的不同(1.42%±0.85%, 0.3%±0.18%和0.07%±0.02%)定義了3種質(zhì)量等級，基于譜卷積神經(jīng)網(wǎng)絡(luò)模型(SCNN)對增材制造過程中獲得的氣孔率進(jìn)行了訓(xùn)練。試驗結(jié)果表明，不同等級的氣孔識別率可達(dá)到83%～89%，說明該方法可適用于增材制造過程中的質(zhì)量監(jiān)測。

圖2 熔池形貌識別率

可以看出，近5年來深度學(xué)習(xí)技術(shù)在焊接以及基于焊接的增材制造方法的過程控制中均取得應(yīng)用，相對于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)大幅提升了特征提取的準(zhǔn)確度和過程控制的響應(yīng)速度。

2 深度學(xué)習(xí)在焊接缺陷檢測中的應(yīng)用

深度學(xué)習(xí)在圖像特征提取、目標(biāo)識別等領(lǐng)域均取得大量應(yīng)用，因此其在焊接特征缺陷提取與分類方面的應(yīng)用同樣具有優(yōu)勢。當(dāng)前深度學(xué)習(xí)已經(jīng)應(yīng)用于焊縫氣孔、未焊透和裂紋等特征缺陷提取與分析中。

電子科技大學(xué)的張明星[12]以工業(yè)生產(chǎn)所拍攝的鋼管焊縫為試驗對象，首先提出了基于尺度乘積的X射線焊縫區(qū)域的提取算法，該算法首先對圖像按行取樣來獲得行灰度曲線，然后利用最小二乘直線擬合的方法將不同尺度下擬合直線的斜率乘積代替梯度算子，并進(jìn)行非極大值抑制得到邊緣點。對圖像每一行進(jìn)行同樣的操作，得到整個焊縫的邊緣，從而提取出焊縫區(qū)域。當(dāng)焊縫區(qū)域被提取出來后，利用深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的分類和識別能力，提出了一對互補(bǔ)的稀疏自編碼深度神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷識別，即使用4個稀疏自編碼網(wǎng)絡(luò)對焊縫圖像中不同大小不同位置的圖像子塊進(jìn)行檢測，然后再使1個稀疏自編碼網(wǎng)絡(luò)對整個缺陷圖像進(jìn)行檢測。采用該方法提取的焊縫區(qū)域，如圖3所示。由表1可以看出，與缺陷檢測常用的SVM分類算法，ANN分類算法以及更復(fù)雜的ANFIS算法相比，所提出的算法的正確率要高得多，且計算速度更快。

圖3 算法缺陷提取圖像

表1 不同算法的檢測結(jié)果對比

南昌航空大學(xué)的鄭志遠(yuǎn)[13]以Q235碳素鋼板對接焊縫為試驗對象，將一種基于深度學(xué)習(xí)的目標(biāo)自動定位識別方法——Faster R-CNN框架應(yīng)用到超聲TOFD-D成像缺陷自動識別中，實現(xiàn)了缺陷的自動識別與分類。首先采用自主研發(fā)的超聲TOFD自動掃查系統(tǒng)獲取了231張含焊縫典型缺陷的超聲TOFD-D掃成像數(shù)據(jù)，并將其劃分為訓(xùn)練集、驗證集和測試集，然后對樣本集進(jìn)行了訓(xùn)練，訓(xùn)練時采用了對同一試塊進(jìn)行多檢測參數(shù)下的超聲TOFD-D掃描，采用相向的掃描方向進(jìn)行D掃描成像的數(shù)據(jù)擴(kuò)充方法擴(kuò)充訓(xùn)練集，以避免欠擬合、增強(qiáng)識別系統(tǒng)的抗噪聲能力和魯棒性。對目標(biāo)建議框進(jìn)行了設(shè)定，結(jié)果顯示，該算法對未熔合和氣孔的識別率達(dá)0.97，對裂紋和夾渣的識別率也可達(dá)0.9，未焊透的識別率最低只有0.8。

華中科技大學(xué)的鄧星[14]開發(fā)了一套金屬電弧熔積過程表面缺陷檢測分類系統(tǒng)，包括使用工業(yè)CMOS相機(jī)獲取熔積層表面圖像、采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷圖像特征的自動學(xué)習(xí)以及提取、將卷積神經(jīng)網(wǎng)絡(luò)提取到的特征向量作為支持向量機(jī)(SVM)的輸入對其進(jìn)行訓(xùn)練，進(jìn)而對缺陷進(jìn)行分類識別。在CNN的訓(xùn)練過程中使用了多種加速以及提高訓(xùn)練精度的策略。通過人為變形處理的方式來增加訓(xùn)練樣本的多樣性，提高CNN的泛化能力，同時為了加快收斂速度并減小收斂均方差，在訓(xùn)練過程中采用了隨機(jī)化序列，二階導(dǎo)數(shù)變學(xué)習(xí)率以及特征圖譜組合連接等方法，通過對CNN的一系列優(yōu)化，缺陷的識別率達(dá)到了95.29%。利用SVM對CNN提取的特征向量測試準(zhǔn)確率可以達(dá)到166/170，對于不同的表面狀態(tài)都有很高的查全率以及查準(zhǔn)率。

S.Ye等人[15]開發(fā)了一個基于神經(jīng)網(wǎng)絡(luò)的視覺檢測系統(tǒng)，用于識別電子元器件中電阻點焊缺陷。首先采用彩色CCD相機(jī)獲得了焊點圖像，然后將所有的圖像分為兩組，分別為訓(xùn)練樣本和測試樣本，每組有兩類圖像，分別為缺陷圖像和非缺陷圖像。為提高缺陷識別的準(zhǔn)確性，對圖像進(jìn)行位置修正和圖像增強(qiáng)預(yù)處理，經(jīng)過增強(qiáng)的圖像如圖4所示。采用訓(xùn)練的神經(jīng)網(wǎng)絡(luò)從焊接圖像中提取15個特征，估計焊接質(zhì)量。采用神經(jīng)網(wǎng)絡(luò)分類器檢測缺陷的精確度達(dá)到了95.82%，而采用常規(guī)的圖像處理方法檢測缺陷的精確度只有91.15%。

W.Hou等人[16]以GDXray公共數(shù)據(jù)庫提供的焊接圖像為對象，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的自動分類模型。這個模型使用幾個稀疏自動編碼器(SAE)以及額外的特征選擇來實現(xiàn)對內(nèi)在特征表示的無監(jiān)督學(xué)習(xí)，然后使用具有監(jiān)督學(xué)習(xí)的SoftMax來微調(diào)深度網(wǎng)絡(luò)，并且通過X射線圖像補(bǔ)丁訓(xùn)練和測試所提出的模型，最后基于滑動窗口方法利用訓(xùn)練好的模型檢查整個圖像并找到缺陷區(qū)域。該模型的最大分類準(zhǔn)確率為91.84%，并且能夠有效識別氣孔、孔隙、未焊透和裂紋等不同類型的缺陷。

圖4 圖像增強(qiáng)過程

Liu Bin等人[17]提出了一種基于VGG16的完全卷積結(jié)構(gòu)對焊接缺陷圖像進(jìn)行分類，通過相對較小的深度學(xué)習(xí)對數(shù)據(jù)實現(xiàn)了高精度分類的方法。焊縫缺陷X射線圖像來自GDXray的數(shù)據(jù)庫，將數(shù)據(jù)庫中的63個圖像進(jìn)行剪裁、旋轉(zhuǎn)和翻轉(zhuǎn)，得到15 000個焊接圖像補(bǔ)丁，再將其分為訓(xùn)練組、驗證組和測試組，對氣孔和裂紋兩類主要缺陷進(jìn)行分類。采用神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)集進(jìn)行了訓(xùn)練，圖5為訓(xùn)練組和驗證組的精度曲線，在45 000步(10個時期)之后，訓(xùn)練組的準(zhǔn)確度趨于100%以及驗證集準(zhǔn)確度。同時，通過基于VGG16的神經(jīng)網(wǎng)絡(luò)在兩個主要缺陷上獲得了97.6%的測試精度和0.012 s的測試時間，優(yōu)于其它缺陷檢測方法。

圖5 訓(xùn)練過程中訓(xùn)練集和驗證集的準(zhǔn)確性

Agus Khumaidi等人[18]使用卷積神經(jīng)網(wǎng)絡(luò)和高斯代數(shù)的方法對焊縫的氣孔和咬邊缺陷進(jìn)行了識別和分類。試驗數(shù)據(jù)為包含30個良好圖像、30個過渡圖像、30個孔隙圖像以及30個咬邊圖像在內(nèi)的120幅圖像，這些原始圖像不經(jīng)過射線照相過程，直接從網(wǎng)絡(luò)攝像頭捕獲，使用卷積過程和梯度下降神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類的特征提取，卷積由幾個不同的文件管理器組成，每個文件執(zhí)行自己的卷積，然后將它們堆疊在一起，創(chuàng)建一個三維特征圖，其深度由過濾器數(shù)量決定。圖6為該試驗迭代次數(shù)與準(zhǔn)確度間的關(guān)系。當(dāng)?shù)螖?shù)超過10時，訓(xùn)練性能穩(wěn)定且準(zhǔn)確。梯度下降算法能夠訓(xùn)練數(shù)據(jù)，訓(xùn)練數(shù)據(jù)的準(zhǔn)確度值接近100%，測試(驗證)準(zhǔn)確度在95%～100%之間。測試精度的平均值為0.958 3，這意味著梯度下降算法可以將95.83%的未知焊接圖像數(shù)據(jù)進(jìn)行準(zhǔn)確分類。

圖6 迭代次數(shù)與準(zhǔn)確度的關(guān)系

Nana Yang等人[19]提出了基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的X射線焊縫圖像分類。該方法中的CNN-Xray由7層組成，其中層1，3和5是卷積層，2和4是下采樣層，試驗數(shù)據(jù)集的圖像規(guī)模為60×60，為了不壓縮數(shù)據(jù)，輸入層設(shè)計為60×60。在1，3，5卷積層的激活函數(shù)之前添加批量歸一化，這加速了網(wǎng)絡(luò)的收斂并且增強(qiáng)了模型的容量。在批量歸一化操作之后，結(jié)果由函數(shù)LReLU+Softplus處理，從而將非線性因子添加到網(wǎng)絡(luò)中以增加網(wǎng)絡(luò)的表達(dá)能力。在第5層之后，添加卷積核的大小為1×1的卷積層，這一方面增加了網(wǎng)絡(luò)的深度，另一方面減少了特征圖的尺寸并避免了過多的參數(shù)。通過完全鏈接連接到最后一層，使用SoftMax函數(shù)和正則化項作為成本函數(shù)。通過這些改進(jìn)，缺陷分類的準(zhǔn)確性得到提高，表2為CNN-Xray與其他檢測方法準(zhǔn)確度的對比，可知基于CNN-Xray的方法比LeNet-5，ANN和SVM更準(zhǔn)確，準(zhǔn)確度為99.5%。

表2 不同算法的檢測結(jié)果對比

綜上可以看出，基于卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法的焊接缺陷提取準(zhǔn)確度顯著提高，可達(dá)到90%甚至95%以上，同時可識別裂紋的種類也得到擴(kuò)展。

3 結(jié)論

(1) 深度學(xué)習(xí)在特征識別方面的優(yōu)勢明顯，適合于焊接過程控制與焊接缺陷檢測中圖片識別相關(guān)的應(yīng)用，當(dāng)前已有的研究證明了深度學(xué)習(xí)方法的優(yōu)勢。

(2) 深度學(xué)習(xí)在高能束焊熔透預(yù)測、熔池圖像識別、3D增材制造質(zhì)量監(jiān)測等焊接過程控制中的研究表明該技術(shù)可顯著提高熔池特征的識別精度。

(3) 深度學(xué)習(xí)在焊接缺陷識別領(lǐng)域的研究結(jié)果表明，該技術(shù)可以拓展缺陷識別的種類，同時可以將缺陷識別率提高到90%甚至95%以上。