余澤禹, 袁洪強(qiáng), 衛(wèi)小龍, 杜國(guó)鋒*

(1.長(zhǎng)江大學(xué)電子信息學(xué)院， 荊州 434023; 2.長(zhǎng)江大學(xué)城市建設(shè)學(xué)院， 荊州 434023; 3.長(zhǎng)江大學(xué)石油工程學(xué)院， 武漢 430100)

隨著油氣資源需求量的日益增長(zhǎng)，管道運(yùn)輸扮演著越來(lái)越重要的角色。在管道服役的過程中，焊縫作為管道結(jié)構(gòu)中最薄弱環(huán)節(jié)，是油氣管道缺陷產(chǎn)生的高發(fā)部位。為保證管道的安全運(yùn)行，管道安全檢測(cè)已成為管道建設(shè)整體中的重要研究方向?，F(xiàn)階段工業(yè)中對(duì)于油氣管道焊縫內(nèi)部檢測(cè)使用最多的方法是超聲無(wú)損檢測(cè)和射線檢測(cè)法[1-2]。超聲無(wú)損檢測(cè)相對(duì)于射線檢測(cè)來(lái)說，對(duì)人體無(wú)害，設(shè)備更加輕便，也更利于野外環(huán)境下在役管道的檢測(cè)[3]。但是現(xiàn)階段超聲無(wú)損檢測(cè)完全依賴經(jīng)驗(yàn)豐富的從業(yè)人員主觀判斷缺陷。

目前，大多數(shù)研究都是基于圖像的管道缺陷智能識(shí)別或者是傳統(tǒng)機(jī)器學(xué)習(xí)缺陷分類，如李忠虎等[4]利用管道內(nèi)表面腐蝕圖像研究了一種基于BP神經(jīng)網(wǎng)絡(luò)的管道內(nèi)表面腐蝕圖像邊緣檢測(cè)。劉涵等[5]根據(jù)射線檢測(cè)圖像利用深度學(xué)習(xí)網(wǎng)絡(luò)自動(dòng)識(shí)別管道焊縫缺陷，所設(shè)計(jì)的系統(tǒng)可以自動(dòng)學(xué)習(xí)射線焊縫缺陷圖像中復(fù)雜的深度特征。Zhang等[6]基于局部圖像增強(qiáng)技術(shù)的管道焊接缺陷檢測(cè)，對(duì)不同類型缺陷的圖像進(jìn)行了測(cè)試，使得多個(gè)弱分類器組合成一個(gè)級(jí)聯(lián)強(qiáng)分類器,可以大幅度地提高檢測(cè)準(zhǔn)確率。桑宏強(qiáng)[7]等基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的管道視頻缺陷檢測(cè)技術(shù)的研究，采用多尺度卷積核和分割卷積核，充分提取管道圖像特征，實(shí)現(xiàn)準(zhǔn)確的圖像分類。Mohamed等[8]研究了一種基于決策樹的油氣管道缺陷檢測(cè)與分類方法，利用漏磁檢測(cè)數(shù)據(jù)的分類作為一種可行的油氣管道監(jiān)測(cè)工具。Shaik等[9]使用支撐向量機(jī)(support vector machines, SVM)進(jìn)行油氣管道故障分類。侯懷書等[10]在管道焊縫上制作人工缺陷,利用高頻數(shù)據(jù)采集卡采集缺陷信號(hào),最后通過短時(shí)傅里葉變換處理缺陷信號(hào)以識(shí)別出金屬管道焊縫中的4種缺陷類型，這種人工制作數(shù)據(jù)集的方法不僅成本高、時(shí)間消耗大而且能夠制作的樣本數(shù)也十分有限最終也使得識(shí)別模型泛化能力不足。王向宇等[11]通過觀察超聲導(dǎo)波在焊縫缺陷前后的傳播特征,以入射波與透射波峰值點(diǎn)之比作為損傷指標(biāo)識(shí)別出焊縫缺陷的位置與大小，但這種方法無(wú)法實(shí)現(xiàn)焊縫缺陷類型的識(shí)別。

這些問題的出現(xiàn)主要是由于超聲無(wú)損檢測(cè)方法訓(xùn)練數(shù)據(jù)集匱乏和數(shù)據(jù)的復(fù)雜性(步長(zhǎng)大、多模態(tài)、多峰分布等)導(dǎo)致。對(duì)于深度學(xué)習(xí)的訓(xùn)練依賴大量的訓(xùn)練數(shù)據(jù)，而油氣管道檢測(cè)數(shù)據(jù)庫(kù)國(guó)家是特定機(jī)密資產(chǎn)，不能像其他應(yīng)用一樣使用公開數(shù)據(jù)集進(jìn)行訓(xùn)練，而自建大量數(shù)據(jù)集也是非常昂貴和不可實(shí)現(xiàn)的。

綜上所述，現(xiàn)提出一種超聲無(wú)損檢測(cè)數(shù)據(jù)增強(qiáng)方法和缺陷智能識(shí)別方法，通過改進(jìn)生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network, GAN)數(shù)據(jù)增強(qiáng)生成虛擬FMC數(shù)據(jù)，擴(kuò)充訓(xùn)練數(shù)據(jù)集，利用LSTM-FCN網(wǎng)絡(luò)識(shí)別真實(shí)檢測(cè)數(shù)據(jù)中的缺陷類型。

1 管道焊縫超聲無(wú)損檢測(cè)數(shù)據(jù)

現(xiàn)階段針對(duì)管道焊縫缺陷超聲無(wú)損檢測(cè)設(shè)備多數(shù)使用全矩陣捕獲(full matrix capture, FMC)數(shù)據(jù)。使用超聲陣列探頭的FMC 特定數(shù)據(jù)采集過程，其中陣列中的每個(gè)陣元依次作為發(fā)射器，而所有陣元作為每個(gè)發(fā)射脈沖的接收器。相控陣換能器的N個(gè)陣元依次激發(fā)，當(dāng)其中一個(gè)陣元被激發(fā)時(shí)，所有陣元都接收超聲回波信號(hào)并儲(chǔ)存。將發(fā)射陣元的序號(hào)記為i，接收陣元的信序號(hào)為j，接收的超聲回波時(shí)域信號(hào)記為Sij，每個(gè)具體的Sij其實(shí)就是一個(gè) A 掃信號(hào)[11]。待N個(gè)陣元都激發(fā)完成后，便可得到一個(gè)包含了檢測(cè)物體全部信息的N×N矩陣集[11]，如表1所示。

表1 全矩陣捕獲的數(shù)據(jù)表

在FMC數(shù)據(jù)中，對(duì)每一個(gè)收發(fā)組合，計(jì)算該像素點(diǎn)到對(duì)應(yīng)收發(fā)陣元的聲傳播時(shí)間，最后全部疊加得到像素的成像幅值以實(shí)現(xiàn)缺陷檢測(cè)的目的。

2 數(shù)據(jù)增強(qiáng)

為了解決訓(xùn)練樣本嚴(yán)重不足的問題，采用一種改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network, GAN) 數(shù)據(jù)增強(qiáng)方法生成虛擬FMC數(shù)據(jù)，擴(kuò)充訓(xùn)練數(shù)據(jù)集。傳統(tǒng)的GAN包含生成器和判別器兩個(gè)部分，生成網(wǎng)絡(luò)使用一個(gè)從標(biāo)準(zhǔn)多元正態(tài)分布中采樣的向量，通過與判別器或鑒別神經(jīng)網(wǎng)絡(luò)一起訓(xùn)練，最終得到一個(gè)確定性轉(zhuǎn)換，將標(biāo)準(zhǔn)多元正態(tài)分布映射到數(shù)據(jù)的分布中[12]。但是FMC數(shù)據(jù)不是服從標(biāo)準(zhǔn)多元正態(tài)分布的，傳統(tǒng)的訓(xùn)練生成器方法并沒有考慮到分類列中的不平衡，所以傳統(tǒng)的GAN方法不能適用于FMC數(shù)據(jù)的訓(xùn)練。

為了克服這些問題，構(gòu)建一種適合FMC數(shù)據(jù)生成方法FMC-GAN。FMC-GAN包括以下幾個(gè)部分。

(1)

(2)全連接隱含層。由于FMC數(shù)據(jù)中每一列列沒有局部結(jié)構(gòu)，所以在生成器和判別器中使用全連接的網(wǎng)絡(luò)來(lái)捕獲列之間的所有可能的相關(guān)性。在生成器和判別器中都使用了兩個(gè)完全連接的隱含層[13]。

(3)生成器。使用批標(biāo)準(zhǔn)化(batch-normalization,BN)和激活函數(shù)Relu。接兩個(gè)全連接隱含之后，使用混合激活函數(shù)生成合成數(shù)據(jù)。其中標(biāo)量值αi,j由tanh生成，熱獨(dú)向量βi,j由gumbel softmax生成。

(4)判別器。對(duì)于每一個(gè)全連接隱含層使用leaky relu函數(shù)和dropout函數(shù)。

綜上，F(xiàn)MC-GAN生成器表示為

(2)

FMC-GAN判別器表示為

(3)

使用WGAN損失和梯度來(lái)訓(xùn)練模型，用Adam優(yōu)化器，學(xué)習(xí)率為2×10-4。

利用FMC-GAN模型，基于原始檢測(cè)數(shù)據(jù)集生成了30 000個(gè)對(duì)應(yīng)于氣孔、未焊透、裂紋、未熔合、夾渣等五種焊接常見缺陷的合成數(shù)據(jù)樣本。然后將生成的數(shù)據(jù)與原始數(shù)據(jù)一起用于進(jìn)一步處理。

3 缺陷識(shí)別

長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)[13]已經(jīng)很好地被應(yīng)用于時(shí)間序列數(shù)據(jù)分析。但是對(duì)于超聲無(wú)損檢測(cè)數(shù)據(jù)步長(zhǎng)往往大于2 000，這對(duì)于LSTM是很難訓(xùn)練的，會(huì)出現(xiàn)梯度消失或梯度爆炸的問題。

為了克服這個(gè)問題，使用一種改進(jìn)的LSTM-FCN模型[14-15]，LSTM-FCN引入門函數(shù)[16-18]，模型中每一個(gè)單元包含1個(gè)隱藏向量h和1個(gè)記憶向量m。在每個(gè)時(shí)間步長(zhǎng)，記憶向量調(diào)節(jié)狀態(tài)更新和輸出，計(jì)算公式為

(4)

式(4)中：gu、gf、go、gc分別為輸入門、遺忘門、輸出門和狀態(tài)門的激活向量；Wu、Wf、Wo、Wc分別為相應(yīng)的循環(huán)權(quán)重矩陣；Iu、If、Io、Ic為投影矩陣；σ為函數(shù)logistic sigmoid；mt為第t個(gè)時(shí)間步長(zhǎng)的狀態(tài)更新向量；ht為第t個(gè)時(shí)間步長(zhǎng)的隱藏狀態(tài)向量。

圖1給出了LSTM-FCN模型的結(jié)構(gòu)。從圖1可以看出，該模型由兩個(gè)分支組成，分別為時(shí)序卷積分支(fully convolutional neural networks，F(xiàn)CNs)和長(zhǎng)短時(shí)記憶(long short term memory,LSTM)分支。其中，F(xiàn)CN網(wǎng)絡(luò)模型部分包含三個(gè)卷積塊，每一塊都由一個(gè)一維卷積層、批歸一化和線性整流函數(shù)組成，濾波器的數(shù)量定義為128、256和128最后一層由全局平均池化取代全連接層以減少模型參數(shù)長(zhǎng)短時(shí)記憶分支使用了一層LSTM網(wǎng)絡(luò)，同時(shí)加入隨機(jī)丟棄機(jī)制Dropout緩解模型的過擬合情況。最后拼接兩個(gè)分支的輸出，并使用Softmax分類器對(duì)得到的特征進(jìn)行分類。

圖1 LSTM-FCN網(wǎng)絡(luò)模型Fig.1 The network model of LSTM-FCN

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)過程

首先，利用超聲檢測(cè)設(shè)備CTS-PA22T采集真實(shí)管道焊縫缺陷檢測(cè)數(shù)據(jù)。管道為45#鋼管對(duì)焊件，焊接方法為氬弧焊打底加手工焊蓋面，打磨表面，由丹東佰匯達(dá)檢測(cè)設(shè)備有限公司定制缺陷，其中包括氣孔、未焊透、裂紋、未熔合、夾渣5種焊接常見缺陷。

再利用數(shù)據(jù)增強(qiáng)方法FMC-GAN生成數(shù)據(jù)，構(gòu)建虛擬數(shù)據(jù)集，虛擬數(shù)據(jù)集用于管道焊縫缺陷識(shí)別模型訓(xùn)練，真實(shí)數(shù)據(jù)作為模型的驗(yàn)證集，最后LSTM-FCN對(duì)比現(xiàn)有分類方法。具體數(shù)據(jù)集如表2所示。

表2 數(shù)據(jù)集劃分

所有模型都使用Adam優(yōu)化器通過梯度下降進(jìn)行訓(xùn)練。初始學(xué)習(xí)率被設(shè)置為0.002，迭代250次，并進(jìn)行超參數(shù)優(yōu)化。

4.2 實(shí)驗(yàn)結(jié)果及分析

為了更好地比較LSTM-FCN在管道焊縫缺陷識(shí)別能力，選取常用于缺陷分類的MLP和RestNet50網(wǎng)絡(luò)模型與之比較。在模型訓(xùn)練過程中，記錄模型的損失和超參數(shù)變化曲線以觀察模型是否會(huì)出現(xiàn)梯度消失或爆炸，如圖2和圖3所示。

圖2 各輪模型訓(xùn)練過程中損失變化情況Fig.2 Loss variation in each epoch during model training

圖3 超參數(shù)對(duì)應(yīng)曲線Fig.3 Hyperparametric corresponding curve

如圖2所示，在利用FMC數(shù)據(jù)對(duì)3種模型進(jìn)行訓(xùn)練時(shí)，MLP模型訓(xùn)練中模型損失始終高于2.3，出現(xiàn)了梯度無(wú)法下降的情況；ResNet50模型在訓(xùn)練到48步時(shí)出現(xiàn)梯度消失，使得模型無(wú)法收斂；LSTM-FCN模型損失隨著訓(xùn)練步數(shù)的增加逐漸收斂，在迭代250次后將損失降低到0.18。證明LSTM-FCN模型很好地克服了FMC數(shù)據(jù)步長(zhǎng)大、多模態(tài)、多峰分布等特性導(dǎo)致的梯度問題。

在圖3中，對(duì)LSTM-FCN模型進(jìn)行超參數(shù)優(yōu)化，繪制學(xué)習(xí)率、L1正則化對(duì)應(yīng)損失曲線。實(shí)驗(yàn)證明初始學(xué)習(xí)率為0.002、L1正則化尺度為64得到最優(yōu)損失為0.02，以此得到最優(yōu)的模型性能。

所有模型在虛擬數(shù)據(jù)集下訓(xùn)練，用真實(shí)數(shù)據(jù)做驗(yàn)證，同時(shí)比較各缺陷識(shí)別率和漏檢率。漏檢率是一個(gè)工業(yè)上特別關(guān)注的指標(biāo)，因?yàn)樵趯?shí)際生產(chǎn)環(huán)境下是不允許有缺陷是未被檢測(cè)到的。

構(gòu)建的虛擬數(shù)據(jù)集很好地模擬了真實(shí)的超聲無(wú)損檢測(cè)數(shù)據(jù)，使得模型能夠在真實(shí)數(shù)據(jù)下仍具有良好的泛化能力，如表3所示。表明了LSTM-FCN對(duì)于管道焊縫缺陷識(shí)別率高于95%、召回率和F1達(dá)到96%，且漏檢率為0，對(duì)超聲無(wú)損檢測(cè)數(shù)據(jù)具有很好的適應(yīng)性，克服了其數(shù)據(jù)復(fù)雜性，可以達(dá)到工業(yè)檢測(cè)的要求。而MLP和RestNet50模型由于在訓(xùn)練中出現(xiàn)梯度問題最終導(dǎo)致模型在缺陷識(shí)別上精度只有34%和64%，很難達(dá)到使用條件。

表3 各模型在驗(yàn)證集上的評(píng)估結(jié)果

圖4 LSTM-FCN模型驗(yàn)證結(jié)果混淆矩陣Fig.4 Confusion matrix of model verification results

混淆矩陣如圖4所示，在圖4中，縱坐標(biāo)表示真實(shí)的缺陷類型，橫坐標(biāo)表示模型識(shí)別的缺陷類型，所有正確地識(shí)別結(jié)構(gòu)都記錄在矩陣的對(duì)角線單元中。對(duì)于各種類型的缺陷，LSTM-FCN模型沒有漏檢，并且平均正確識(shí)別率高于95%，誤判率低于5%。證實(shí)了FMC-GAN數(shù)據(jù)增強(qiáng)的有效性和LSTM-FCN模型的缺陷識(shí)別能力。

5 結(jié)論

針對(duì)管道焊縫超聲檢測(cè)，為了實(shí)現(xiàn)泛化能力強(qiáng)的深度學(xué)習(xí)模型，首先構(gòu)造了一種超聲無(wú)損檢測(cè)數(shù)據(jù)方法FMC-GAN，并構(gòu)建了虛擬超聲檢測(cè)數(shù)據(jù)集。通過該虛擬數(shù)據(jù)集訓(xùn)練出的模型在真實(shí)檢測(cè)數(shù)據(jù)的驗(yàn)證下仍然具有良好的泛化能力。LSTM-FCN網(wǎng)絡(luò)識(shí)別真實(shí)檢測(cè)數(shù)據(jù)中的缺陷類型漏檢率為0，綜合正確識(shí)別率高于95.6%，可以達(dá)到工業(yè)檢測(cè)的要求，為超聲無(wú)損檢測(cè)智能化發(fā)展提供重要研究基礎(chǔ)。