摘 要：文章對基于漏磁信號的長輸油氣管道缺陷重構(gòu)方法進行了研究。由于反向求解具有不適定性，而深度學(xué)習(xí)模型具有強大的非線性映射能力以及特征提取能力，因此搭建CNN-Transformer混合架構(gòu)模型作為量化模型來預(yù)測缺陷尺寸；并對仿真漏磁信號的修正方法進行研究，以減小仿真數(shù)據(jù)與實驗數(shù)據(jù)之間誤差。經(jīng)驗證，修正后仿真軸向分量數(shù)據(jù)與實驗數(shù)據(jù)峰值之間誤差平均下降了83.73%，而徑向分量峰值誤差平均下降了28.25%，解決了深度學(xué)習(xí)模型訓(xùn)練樣本不充足的問題；并且修正后的數(shù)據(jù)集作為訓(xùn)練集訓(xùn)練的混合架構(gòu)模型在預(yù)測缺陷尺寸時具有較好的預(yù)測精度，模型在預(yù)測缺陷長度、寬度與深度時平均相對誤差分別降低了21.35%、22.58%和21.55%，具有較高的準(zhǔn)確性與魯棒性。

關(guān)鍵詞：漏磁檢測；有限元仿真；卷積神經(jīng)網(wǎng)絡(luò)；Transformer模型；信號修正

中圖分類號：TP39；TP18；TG115.28+4 文獻標(biāo)識碼：A 文章編號：2096-4706（2024）20-0048-08

Three Dimensional Reconstruction Method of Pipeline Defects Based on CNN-Transformer

YU Zhiqi， LIU Haoyuan， HE Luyao， YANG Lijian， LIU Bin

（School of Information Science and Engineering， Shenyang University of Technology， Shenyang 110870， China）

Abstract： This paper studies the method of defect reconstruction in long distance oil and gas pipelines based on MFL signals. Because the inverse solution is ill posed， and the Deep Learning model has strong nonlinear mapping ability and feature extraction ability， the CNN-Transformer hybrid architecture model is developed as a quantitative model to predict the defect size. Additionally， it studies the correction methods for simulated MFL signals to reduce the discrepancy between simulation data and experimental data. It is verified that the error between this simulated axial component data and the peak value of the experimental data decreases by 83.73% on average， while the peak error of the radial component decreases by 28.25% on average， which solves the problem that the training samples of the Deep Learning model are not sufficient. Moreover， the hybrid architecture model trained by the corrected dataset as the training set has better prediction accuracy when predicting the defect size. The Mean Relative Error of the model in predicting the length， width and depth of the defect is reduced by 21.35%， 22.58% and 21.55% respectively， which has high accuracy and robustness.

Keywords： MFL detection; finite element analysis; Convolutional Neural Networks; Transformer model; signal correction

0 引 言

漏磁檢測是無損檢測領(lǐng)域中最常用的技術(shù)手段之一。由于其具有檢測速度快、原理簡單、操作方便等優(yōu)點，因此被廣泛應(yīng)用于長輸油氣管道與儲油罐的檢測中。長輸油氣管道作為鐵磁性材料，漏磁檢測通過對其施加外加磁場至磁飽和，若被檢測管道存在缺陷就會在空間中產(chǎn)生漏磁場，對漏磁信號數(shù)據(jù)進行采集與分析可以判斷缺陷有無和估計缺陷尺寸，進而幫助技術(shù)人員了解管道服役狀態(tài)，避免管道泄露或管道爆炸等大型事故的發(fā)生。目前對漏磁檢測的研究主要分為正問題與反問題兩個方面[1]，自20世紀(jì)初國際上對漏磁檢測展開初步研究至今，對于正問題的研究已逐步趨近于完善，而反問題由于其具有不適定性以及數(shù)據(jù)的不完全性，目前仍然是漏磁檢測領(lǐng)域中的重點與難點。

漏磁檢測中的反問題即通過采集漏磁信號對其進行處理與分析，通過反向求解得出被測管道缺陷的尺寸信息。反問題的求解根據(jù)求解過程中是否存在迭代可以大致分為開環(huán)逆向法和閉環(huán)偽逆法[2]。隨著人工智能的興起，機器學(xué)習(xí)與深度學(xué)習(xí)技術(shù)在求解漏磁檢測的反問題中得到了廣泛的應(yīng)用。通過訓(xùn)練模型來學(xué)習(xí)漏磁信號數(shù)據(jù)與缺陷尺寸之間的對應(yīng)關(guān)系，可以快速準(zhǔn)確的識別缺陷特征。盡管此類方法識別精度會受到訓(xùn)練數(shù)據(jù)的影響，但由于其能適應(yīng)復(fù)雜的非線性關(guān)系并且泛化能力強，目前仍是解決反問題最常用最有效的方法之一[3]。為了提高深度學(xué)習(xí)模型預(yù)測缺陷尺寸的精度，對模型的改進與優(yōu)化也成為研究中的熱點問題。紀(jì)鳳珠等提出用粒子群算法優(yōu)化最小向量機的方法，建立從漏磁信號到缺陷二維輪廓的映射關(guān)系，以實現(xiàn)缺陷的二維重構(gòu)[4]；韓文花等提出了以徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)為前向模型，多種啟發(fā)式優(yōu)化算法作為迭代算法的方法解決漏磁檢測反演問題[5-7]；東北大學(xué)Wu等提出一種基于強化學(xué)習(xí)的缺陷深度重建算法通過迭代解決漏磁檢測中的反問題[8]；清華大學(xué)繆立恒等提出一種基于缺陷區(qū)域漏磁信號平均值與深度間的近似線性關(guān)系估計初始深度，通過誤差分析與迭代實現(xiàn)深度估計的方法[9]；華北電力大學(xué)李巖松等提出用混合正則化的方法來求解對應(yīng)反演模型的最佳近似解[10]。盡管在漏磁信號反演問題上的研究已經(jīng)取得不錯的進展，但仍存在樣本小、模型性能不佳等問題，使得重構(gòu)精度仍存在較大提升的空間。

本文提出一種CNN-Transformer混合架構(gòu)模型，該模型可以兼顧卷積神經(jīng)網(wǎng)絡(luò)（CNN）的局部特征提取能力與Transformer的全局信息獲取能力。眾所周知，卷積神經(jīng)網(wǎng)絡(luò)作為最簡單有效的深度學(xué)習(xí)模型，在處理信號數(shù)據(jù)時具有超強的局部感知力，能有效地提取數(shù)據(jù)中的局部模式與特征；而Transformer模型的多頭注意力機制是在自注意力機制（Self-Attention）的基礎(chǔ)上發(fā)展而來的[11]，自注意力機制可以計算出一維數(shù)據(jù)序列中位置間的關(guān)系與權(quán)重，從而得到每個數(shù)據(jù)與整個序列的相關(guān)性，多頭注意力機制將注意力機制分為多個頭進行并行計算，大大提高了計算速度與模型的表達能力[12]。二者結(jié)合用于解決漏磁檢測中的反問題，能極大地提高效率并提升精度。針對漏磁信號反演問題中存在的樣本不充足的問題，本文還提出了一種修正方法，引入修正矩陣M，可以將有限元仿真得到的漏磁信號數(shù)據(jù)近似修正為實驗過程中采集到的漏磁信號數(shù)據(jù)，在一定程度上完成從小樣本向大樣本的擴充。

本文的其他部分構(gòu)成如下：第1節(jié)介紹漏磁檢測的原理與有限元模型的建立，并且提出了一種修正仿真數(shù)據(jù)集的方法，通過數(shù)據(jù)的對比以及誤差分析驗證所提出方法的可靠性；第2節(jié)提出了一種CNN-Tranformer的深度學(xué)習(xí)混合架構(gòu)模型，介紹了其組成以及該模型所具備的優(yōu)點；并通過圖表展示與數(shù)據(jù)分析驗證該混合架構(gòu)在性能與精度上的優(yōu)越性；第3節(jié)是本文的結(jié)論。

1 原理與模型

1.1 漏磁檢測原理及有限元計算

管道漏磁檢測利用永磁體將長輸油氣管道進行磁化至磁飽和，若被測管道不存在缺陷，則磁力線在鐵磁性材料內(nèi)部呈環(huán)形閉合狀態(tài)，在空間中檢測不到漏磁場；而一旦被測管道存在缺陷，由于管壁與空氣磁導(dǎo)率存在較大差異，磁力線在從管壁進入到空氣中時發(fā)生偏轉(zhuǎn)形成漏磁場。

空間漏磁場檢測到的磁信號作為矢量可以分解為包括軸向信號分量、徑向信號分量與周向信號分量的三軸信號，其中軸向信號分量與徑向信號分量與管道缺陷尺寸信息具有極高的關(guān)聯(lián)性，在用于反演缺陷尺寸時具有優(yōu)越的表現(xiàn)。

有限元分析是一種常用的工程分析方法，它將需要求解的大區(qū)域劃分成有限多個小單元，通過求解每個單元的解進而得到整個求解區(qū)域的近似解[13]。有限元分析法將復(fù)雜的求解問題簡單化，被廣泛應(yīng)用于工程問題中。對漏磁場進行有限元分析建立在麥克斯韋方程組之上，屬于靜磁場求解問題。

1.2 數(shù)據(jù)集建立與修正

在ANSYS Maxwe Ⅱ軟件中建立由簡化的1/3管道、鋼刷、永磁體與軛鐵組成的仿真模型，其中管道長800 mm，外直徑為610 mm，管壁厚度為12 mm。定義材料屬性，軟件內(nèi)置默認(rèn)Neumann邊界條件，通過參數(shù)化設(shè)置缺陷尺寸，由于實際工程問題中缺陷形狀較為復(fù)雜，但基于有限元思想的啟發(fā)，每一個復(fù)雜缺陷都可以看作是有限多個簡單缺陷組成，因此本文所涉及的仿真與實驗均為矩形缺陷。將沿管道軸線方向的缺陷尺寸定義為缺陷長度（Length）；水平面上垂直于缺陷長度的缺陷尺寸定義為缺陷寬度（Width）；將垂直于軸線并延伸至管道內(nèi)部方向的缺陷尺寸定義為缺陷深度（Depth）?？梢缘玫讲煌毕菹碌穆┐判盘?。在此仿真模型下采集1 333組漏磁信號作為訓(xùn)練樣本，組成數(shù)據(jù)集1。

由于有限元分析得到的解是近似解，在缺陷形狀和尺寸均相同的情況下，仿真得到的漏磁信號與實際工程檢測中得到的信號存在誤差，為了保證仿真數(shù)據(jù)的可應(yīng)用性，搭建實驗平臺，實驗設(shè)備采用管道漏磁內(nèi)檢測器與1016大口徑天然氣管道。管道與漏磁內(nèi)檢測器結(jié)構(gòu)如圖1所示。

實驗管道包含122個不同尺寸缺陷，漏磁內(nèi)檢測器從管道一端勻速行進到另一端以完成對122組漏磁信號的采集。將采集到的122組漏磁信號整理為數(shù)據(jù)集2。漏磁內(nèi)檢測器采集到的部分原始信號特征如圖2所示。

選取上述122組缺陷中的6組，在有限元仿真模型中設(shè)置同樣尺寸的缺陷進行仿真，將仿真漏磁信號與實驗漏磁信號進行對比；仿真漏磁信號如圖3所示，實驗漏磁信號如圖4所示。由圖3和圖4對比可以看出，仿真得到的漏磁信號曲線盡管在形態(tài)與趨勢上與實驗采集到的漏磁信號曲線保持一致，但數(shù)值上存在較大誤差，一方面是由于仿真軟件模擬的磁場是在理想化狀態(tài)下且有限元分析得到的解是近似解；另一方面是在實驗過程中管道漏磁內(nèi)檢測器在采集信號時存在一定的干擾而產(chǎn)生誤差。

如果直接使用仿真數(shù)據(jù)作為深度學(xué)習(xí)模型的訓(xùn)練樣本，則訓(xùn)練好的模型在面對實際工程問題時一定會產(chǎn)生較大的誤差，因此如果想要將本文所提出的模型應(yīng)用于解決實際工程問題，則需要對仿真數(shù)據(jù)進行修正，使其可以更好地貼近實驗數(shù)據(jù)，因此本文提出一種修正方法，引入修正矩陣M對仿真漏磁信號數(shù)據(jù)進行修正。將實驗所得的一組漏磁信號數(shù)據(jù)設(shè)為Pi = [xi，1，xi，2，xi，3，…，xi，100]，則對于相同缺陷尺寸下仿真得到的漏磁信號數(shù)據(jù)設(shè)為Qi = [yi，1，yi，2，yi，3，…，yi，100]，若存在n組數(shù)據(jù)，則：

（1）

（2）

其中，P表示n組仿真漏磁信號組成的矩陣，Q表示對應(yīng)的n組實驗漏磁信號組成的矩陣。

引入修正量：

（3）

（4）

使得：

（5）

則：

（6）

那么修正矩陣：

（7）

將修正矩陣M引入到仿真數(shù)據(jù)集中用于修正仿真得到的漏磁信號數(shù)據(jù)，修正前后仿真漏磁信號與實驗信號軸向分量峰值之間的誤差對比如表1所示；徑向分量峰值之間的對比誤差如表2所示。

由表2與表3可知，修正前仿真漏磁信號的軸向分量峰值與實驗漏磁信號的軸向信號峰值之間誤差均高達87.5%～90.5%；而通過引入修正因子K修正后的誤差則降至0.5%～11%；而修正前后的徑向分量峰值之間誤差則從44.0%～72.5%下降至1.0%～19.0%。將修正矩陣M引入數(shù)據(jù)集1，將修正后的數(shù)據(jù)整理為數(shù)據(jù)集3。

2 CNN-Transformer混合架構(gòu)模型

Transformer的整體架構(gòu)由編碼器（Encoder）和解碼器（Decoder）組成[14]。編碼器用于捕捉輸入序列中的特征，通常包含多頭注意力機制、前饋神經(jīng)網(wǎng)絡(luò)、殘差連接和層歸一化[15]。而解碼器與編碼器組成大致相同，主要用于生成輸出序列。

漏磁信號數(shù)據(jù)屬于一維時間序列，序列中數(shù)據(jù)的位置信息對于理解數(shù)據(jù)十分重要。在Transformer模型中，由于注意力機制本身無法獲取序列中數(shù)據(jù)的位置信息，因此需要引入位置編碼[16]。

漏磁信號的反演問題是利用漏磁信號數(shù)據(jù)對深度學(xué)習(xí)模型進行訓(xùn)練，使得模型可以實現(xiàn)對缺陷尺寸的預(yù)測，本質(zhì)上是一維時間序列的回歸問題。解決此類問題時既要考慮一維序列局部特征的表現(xiàn)，又要關(guān)注一維序列中每個數(shù)據(jù)與其所在位置之間的關(guān)聯(lián)性。CNN與Transformer的結(jié)合兼顧了卷積神經(jīng)網(wǎng)絡(luò)的局部特征提取能力與Transformer模型的多頭注意力機制針對全局的理解力[17]。目前對于二者融合按組合順序可以分為CNN-Transformer[18-19]和Transformer-CNN[20-22]兩大類，CNN與Transformer的融合又包含交叉融合[23]、嵌入塊替換[24]、前饋層替換[25]等。通過觀察漏磁信號分量圖以及分析漏磁信號數(shù)據(jù)可以看出在采樣過程中，有一部分采樣點數(shù)據(jù)并不能有效地表征漏磁信號與缺陷尺寸之間的關(guān)系，因此先采用CNN進行局部特征的提取，可以避免相關(guān)性較差的數(shù)據(jù)直接輸入到Transformer中，造成運算量巨大導(dǎo)致運算時間較長的情況。又由于傳統(tǒng)Transformer中Encoder-Decoder結(jié)構(gòu)用于自然語言處理時需要解碼器生成序列，但本文解決的漏磁信號反演問題只需要輸出單獨的預(yù)測值，因此可以將結(jié)構(gòu)進行簡化，用全連接層代替解碼器模塊，進一步的提高計算速度。該模型由兩個并行的卷積神經(jīng)網(wǎng)絡(luò)模塊，一個Transformer模塊，一個全連接層以及一個輸出層組成。其中，每個卷積神經(jīng)網(wǎng)絡(luò)模塊都包含一個輸入層和三個卷積核，兩個卷積神經(jīng)網(wǎng)絡(luò)模塊輸入分別為漏磁信號的軸向分量與徑向分量；輸出為被測管道缺陷的尺寸信息，即缺陷的長度、寬度與深度。

將數(shù)據(jù)集1中樣本進行隨機劃分，其中97%作為訓(xùn)練集，3%作為測試集，對CNN-Transformer模型以及傳統(tǒng)CNN模型和Transformer模型進行訓(xùn)練并預(yù)測。圖5為CNN-Transformer預(yù)測結(jié)果圖。

由圖5可以看出，當(dāng)用仿真數(shù)據(jù)作為訓(xùn)練集并用仿真數(shù)據(jù)作為測試集測試模型預(yù)測精度時，預(yù)測長度、寬度與深度精度均優(yōu)秀，預(yù)測精度約為90%～97%。其中預(yù)測缺陷長度時模型表現(xiàn)最好，預(yù)測缺陷深度次之，預(yù)測缺陷寬度精度最低。

圖6中分別畫出了CNN-Transformer模型預(yù)測長度、寬度與深度時每個預(yù)測點的相對誤差，圖中直線為基準(zhǔn)線，相對誤差等于0.03?？梢钥闯?，大部分誤差點位于基準(zhǔn)線下方，即大約有75%的預(yù)測點相對誤差小于3%。

表3為CNN-Transformer、CNN與Transformer預(yù)測缺陷尺寸誤差對比。

通過表4可以看出，無論是預(yù)測缺陷長度、寬度或者深度，CNN-Transformer混合架構(gòu)模型的預(yù)測精度都要高于CNN和Transformer。分別將數(shù)據(jù)集1、與數(shù)據(jù)集3作為訓(xùn)練集，在數(shù)據(jù)集2中隨機選取33%作為測試集對CNN-Transformer模型進行訓(xùn)練并預(yù)測；得到預(yù)測曲線對比圖如圖7所示。

通過圖7可以看出，經(jīng)過修正矩陣M修正后的仿真數(shù)據(jù)集用于訓(xùn)練深度學(xué)習(xí)模型并用實驗漏磁信號數(shù)據(jù)集測試時，預(yù)測精度要遠遠高于未修正的仿真數(shù)據(jù)集訓(xùn)練的模型。通過表3可以看出，在預(yù)測缺陷長度時，二者平均相對誤差分別為0.470 6和0.257 1，降低了21.35%；在預(yù)測缺陷寬度時，平均相對誤差分別為0.482 3和0.226 5，降低了22.58%；在預(yù)測缺陷深度時則由0.527 7下降至0.312 2，降低了21.55%。

圖8為CNN-Transformer模型預(yù)測時每一個預(yù)測點的相對誤差，方形點與圓形點分別代表修正前后的訓(xùn)練集訓(xùn)練模型的相對誤差，直線為相對誤差等于0.5，以此作為基準(zhǔn)線，可以看出，經(jīng)修正的訓(xùn)練集訓(xùn)練的模型的誤差點大多集中于基準(zhǔn)線之下，即相對誤差小于50%。

為了測試本文所提出模型的魯棒性，在信號中添加20 dB白噪聲作為測試。圖9為缺陷長度與缺陷寬度均為20 mm，缺陷深度分別為3、5、7 mm時的原始漏磁信號分量與添加20 dB白噪聲后的漏磁信號分量。

表4為訓(xùn)練集數(shù)據(jù)修正前后用CNN-Transformer預(yù)測缺陷尺寸的平均相對誤差以及加入噪聲后的預(yù)測誤差。

當(dāng)對測試信號添加20 dB的白噪聲時，預(yù)測精度普遍降低。同時可以看出，修正后的數(shù)據(jù)集訓(xùn)練的CNN-Transformer混合架構(gòu)模型在預(yù)測缺陷尺寸時，預(yù)測缺陷長度與缺陷寬度的準(zhǔn)確度要高于預(yù)測缺陷深度，平均相對誤差相差約6%～9%。

3 結(jié) 論

本文研究了通過深度學(xué)習(xí)模型來解決漏磁信號反演問題的方法，提出了一種不同于常見的用于解決該問題的深度學(xué)習(xí)模型，即優(yōu)化的CNN-Transformer混合架構(gòu)模型。該模型可以將雙軸漏磁信號數(shù)據(jù)作為輸入，輸出被測管道缺陷的三維尺寸信息。本文提出的模型是用仿真漏磁信號數(shù)據(jù)進行訓(xùn)練的，為了確保該模型在實際工程應(yīng)用中具有可行性，本文還提出了一種對仿真漏磁信號進行修正的方法，通過引入修正矩陣M，將仿真數(shù)據(jù)進行修正。經(jīng)驗證，修正后的仿真數(shù)據(jù)軸向分量峰值誤差平均下降83.73%，徑向分量峰值誤平均下降28.25%。經(jīng)修正后的訓(xùn)練集訓(xùn)練的CNN-Transformer混合架構(gòu)模型預(yù)測精度平均提高21.83%。在信號中添加20 dB白噪聲進行測試，證明了該模型的準(zhǔn)確性與魯棒性。

參考文獻：

[1] 李志豪，王宏安，劉慶，等.管道缺陷截面形狀與漏磁信號關(guān)系研究 [J].科技創(chuàng)新與應(yīng)用，2022，12（33）：56-59.

[2] 黃松嶺，彭麗莎，趙偉，等.缺陷漏磁成像技術(shù)綜述 [J].電工技術(shù)學(xué)報，2016，31（20）：55-63.

[3] 張少軒.基于機器學(xué)習(xí)的缺陷深度反演研究 [D].沈陽：東北大學(xué)，2017.

[4] 紀(jì)鳳珠，孫世宇，王長龍，等.基于PSO-LS-SVM的漏磁信號二維輪廓重構(gòu) [J].無損檢測，2011，33（6）：19-22+34.

[5] 韓文花，汪勝兵，王建，等.基于改進人工蜂群算法的漏磁缺陷輪廓重構(gòu) [J].火力與指揮控制，2016，41（6）：15-18.

[6] 韓文花，徐俊，沈曉暉，等.基于布谷鳥搜索算法的漏磁反演方法研究 [J].應(yīng)用基礎(chǔ)與工程科學(xué)學(xué)報，2015，23（6）：1275-1283.

[7] 韓文花，徐俊，沈曉暉，等.自學(xué)習(xí)粒子群與梯度下降混雜的漏磁反演方法 [J].火力與指揮控制，2015，40（1）：88-91.

[8] WU Z N，DENG Y M，LIU J H，et al. A Reinforcement Learning-Based Reconstruction Method for Complex Defect Profiles in MFL Inspection [J].IEEE Transactions on Instrumentation and Measurement，2021，70：1-10.

[9] 繆立恒，潘峰，彭麗莎，等.基于漏磁信號深度特性的缺陷深度輪廓迭代優(yōu)化方法 [J].中國電機工程學(xué)報，2022，42（8）：3077-3086.

[10] 李巖松，王麒翔，王敏壕，等.漏磁檢測的混合正則化反演方法研究 [J].電測與儀表，2020，57（21）：9-17.

[11] 毋冰.基于深度學(xué)習(xí)的粵語文本情感分類研究 [D].成都：成都理工大學(xué)，2020.

[12] 龔永罡，裴晨晨，廉小親，等.基于Transformer模型的中文文本自動校對研究 [J].電子技術(shù)應(yīng)用，2020，46（1）：30-33+38.

[13] 呂云飛.電容式微機械超聲換能器建模與仿真技術(shù)研究 [D].太原：中北大學(xué)，2018.

[14] 李清格，楊小岡，盧瑞濤，等.計算機視覺中的Transformer發(fā)展綜述 [J].小型微型計算機系統(tǒng)，2023，44（4）：850-861.

[15] 唐潘，汪學(xué)明.融合時間感知與興趣偏好的推薦模型研究 [J].計算機工程與應(yīng)用，2023，59（24）：268-276.

[16] 劉敬瑾.基于圖卷積網(wǎng)絡(luò)的跨被試腦電情緒識別研究 [D].汕頭：汕頭大學(xué)，2022.

[17] 張靜.融合用戶和產(chǎn)品信息的文本情感分類研究 [D].北京：北京工業(yè)大學(xué)，2020.

[18] CARION N，MASSA F，SYNNAEVE G，et al. End-to-End Object Detection with Transformers [C]//Computer Vision-ECCV 2020.Glasgow：Springer，2020：213-229.

[19] DAI Z H，LIU H X，LE Q V，et al. CoAtNet： Marrying Convolution and Attention for All Data Sizes [J/OL].arXiv：2106.04803 [cs.CV].[2024-03-01].https：//doi.org/10.48550/arXiv.2106.04803.

[20] BEAL J，KIM E，TZENG E，et al. Toward Transformer-Based Object Detection [J/OL].arXiv：2012.09958 [cs.CV].[2024-02-26].https：//arxiv.org/abs/2012.09958.

[21] REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[22] YAN H T，LI Z，LI W J，et al. ConTNet： Why not Use Convolution and Transformer at the Same Time？ [J/OL].arXiv：2104.13497 [cs.CV].[2024-02-25].https：//arxiv.org/abs/2104.13497.

[23] YOO J，KIM T，LEE S，et al. Enriched CNN-Transformer Feature Aggregation Networks for Super-Resolution [J/OL].arXiv：2203.07682 [cs.CV].[2024-02-26].https：//arxiv.org/abs/2203.07682.

[24] XIAO T，SINGH M，MINTUN E，et al. Early Convolutions Help Transformers See Better [J/OL].arXiv：2106.14881 [cs.CV].[2024-02-20].https：//arxiv.org/abs/2106.14881.

[25] LI Y W，ZHANG K，CAO J Z，et al. LocalViT： Bringing Locality to Vision Transformers [J/OL]. arXiv：2104.05707 [cs.CV].[2024-02-15].https：//arxiv.org/abs/2104.05707.

作者簡介：于祉祺（1996—），女，漢族，黑龍江富錦人，學(xué)術(shù)型碩士，研究方向：無損檢測；劉皓源（1997—），男，漢族，遼寧鞍山人，沈陽工業(yè)大學(xué)，學(xué)術(shù)型碩士，研究方向：無損檢測；何璐瑤（1994—），女，漢族，遼寧沈陽人，副教授，博士，研究方向：在線檢測；楊理踐（1957—），男，漢族，遼寧沈陽人，教授，博士，研究方向：在線檢測；劉斌（1981—），男，漢族，遼寧沈陽人，教授，博士，研究方向：在線檢測。