摘要： 為了實現(xiàn)焊縫缺陷的準確分類，提出一種多特征融合的焊縫圖像多標簽分類算法。首先，通過殘差神經(jīng)網(wǎng)絡（ResNet-50）提取圖像的特征信息，根據(jù)得到的特征圖構建圖結構，提出關聯(lián)度引導鄰域傳播（RDGNP）算法優(yōu)化圖結構；然后，使用圖卷積神經(jīng)網(wǎng)絡（GCN）提取圖結構的特征信息，并設計特征融合模塊實現(xiàn)圖像特征和圖結構特征的結合；最后，得到多標簽分類結果。實驗結果表明：文中算法能夠有效地實現(xiàn)焊縫缺陷的多標簽分類，在X射線焊縫缺陷數(shù)據(jù)集上的性能有明顯提升。

關鍵詞： 多標簽分類； 全局相關性； 圖像特征； 圖結構特征； 特征融合

中圖分類號： TP 391.41； TU 229文獻標志碼： A"" 文章編號： 1000 5013（2024）04 0514 10

Weld Image Multi-Label Classification Algorithm Based on Multi-Feature Fusion

NIU Dun1， LIN Ning2， LIN Zhenchao2，

HUANG Kai2， WANG Hejia1， ZHENG Lixin1

（1. College of Engineering， Huaqiao University， Quanzhou 362021， China；

2. Fujian Special Equipment Inspection and Research Institute， Quanzhou 362021， China）

Abstract： In order to achieve accurate classification of welding defects， a weld image multi-label classification algorithm based on multi-feature fusion is proposed. Firstly， feature information of images is extracted by a residual neural network （ResNet-50）， and the graph structure is constructed based on the obtained feature maps. An algorithm named relation degree guided neighborhood propagation （RDGNP） is proposed to optimize the graph structure. Then， the feature information of the graph structure is extracted using graph convolutional neural network （GCN）， and a feature fusion module is designed to achieve the combination of image features and graph structure features. Finally， multi-label classification results are obtained. Experimental results show that the proposed method can effectively realize the multi-label classification of welding defects， and its performance on the X-ray welding defects dataset is significantly improved.

Keywords：

multi-label classification； global relevance； image feature； graph structure feature； feature fusion

隨著現(xiàn)代工業(yè)的迅速發(fā)展，工業(yè)焊接在高壓、高負荷環(huán)境下的廣泛應用對焊件的質(zhì)量提出嚴格要求。在焊接過程中，焊件質(zhì)量容易受到環(huán)境和人為因素等多方面影響，產(chǎn)生裂紋、氣孔、夾渣、未熔合和未焊透等缺陷［1］。為了避免工程事故的發(fā)生，必須對焊件進行全面的缺陷檢測與分類。

傳統(tǒng)的人工觀察焊縫圖像方法一般由專業(yè)檢驗員執(zhí)行，然而這種方法存在多種主觀因素，效率較低，檢驗過程中容易出現(xiàn)漏檢和誤檢等問題［2］。近年來，隨著大數(shù)據(jù)的普及和計算能力的提升，深度學習算法迅速崛起，以深度學習為基礎的焊縫圖像處理方法被廣泛應用。Say等［3］利用數(shù)據(jù)增強技術對公共數(shù)據(jù)集GDXray進行數(shù)據(jù)擴增，通過卷積神經(jīng)網(wǎng)絡（CNN）模型識別出6種焊縫缺陷類別，取得了92.0%的準確率。Kumaresan等［4］通過VGG-16模型實現(xiàn)焊縫缺陷分類，平均準確率達到90.0%。Totino等［5］基于遷移學習方法，使用SqueezeNet模型實現(xiàn)4種焊縫缺陷的分類任務，準確率達到93.3%。經(jīng)典的卷積神經(jīng)網(wǎng)絡采用局部感受野和權值共享，以分層的方法提取局部特征［6］進行圖像特征表示，但是該方法僅針對圖像的局部信息進行分析，未能全面考慮到圖像的全局信息。由于焊縫區(qū)域可能存在環(huán)境復雜和缺陷形狀各異、分布隨機等情況，要求網(wǎng)絡從全局綜合分析并處理圖像的特征信息，而卷積神經(jīng)網(wǎng)絡從圖像中提取的局部特征會丟失其全局信息，使卷積神經(jīng)網(wǎng)絡難以提升應用于多標簽焊縫圖像的分類準確率。

Bruna等［7］提出圖神經(jīng)網(wǎng)絡（GNN），通過向神經(jīng)網(wǎng)絡中引入圖結構，能夠很好地獲取特征圖的全局結構信息，彌補神經(jīng)網(wǎng)絡對圖像全局相關性的不敏感。Kipf等［8］提出一種創(chuàng)新的圖卷積神經(jīng)網(wǎng)絡（GCN），將卷積神經(jīng)網(wǎng)絡擴展到圖結構上。Wang等［9］構建一種圖引導卷積神經(jīng)網(wǎng)絡（GCNN），利用訓練樣本之間的相似度構建圖結構，結果表明，GCNN可以有效地提高VGG-11的特征提取能力，解決基礎模型在分析類間相似性和類內(nèi)差異性時的不足，使其具有更優(yōu)的分類效果。Balcioglu等［10］使用GCN進行金屬螺母零件表面缺陷的分類任務，其準確率相較于2D-CNN提高了2.955 4%。

目前，圖神經(jīng)網(wǎng)絡大多數(shù)應用于表面缺陷的分類，表面缺陷往往具有較大的尺寸，且形狀較為簡單直觀，而內(nèi)部缺陷通常具有尺寸微小、結構復雜等特點，利用GCN實現(xiàn)焊縫內(nèi)部缺陷分類任務不足以充分理解圖像的細節(jié)特征信息，因此，對焊縫內(nèi)部缺陷的分類研究仍然較少。綜合考慮當前焊縫缺陷分類算法的不足和圖像分類算法的發(fā)展，結合分析焊縫圖像的局部關鍵信息和全局結構信息，進行焊縫缺陷的多標簽分類任務［11］，從而代替人工實現(xiàn)高效焊件分類工作，本文提出一種多特征融合的焊縫圖像多標簽分類算法。

1 多特征融合的焊縫圖像多標簽分類算法

多特征融合的焊縫圖像多標簽分類算法框架，如圖1所示。該框架主要包括圖像特征提取模塊、圖結構重構模塊、圖結構特征提取模塊和特征融合模塊4個部分。首先，在殘差神經(jīng)網(wǎng)絡（ResNet-50）中引入Res2Net模塊以提取焊縫圖像的多尺度特征信息；其次，根據(jù)焊縫圖像的特征圖構建初始的圖結構，并提出關聯(lián)度引導鄰域傳播（RDGNP）算法，進一步細致優(yōu)化圖結構；接著，通過GCN提取圖結構的特征信息；最后，將圖像特征與圖結構特征輸入特征融合模塊進行結合，經(jīng)過多標簽分類器得到焊縫圖像所含缺陷類別。

1.1 圖像特征提取模塊

焊縫缺陷往往存在尺寸微小的情況，導致卷積神經(jīng)網(wǎng)絡無法很好地提取缺陷區(qū)域的特征信息。為了豐富焊縫缺陷的語義信息，提高圖結構表達特征之間相似性信息的準確性，采用ResNet-50作為基礎模型用于焊縫圖像的特征提取。同時，在ResNet-50的每一個BottleNeck Block［12］中引入Res2Net模塊［13］，從粒度級別提取焊縫缺陷的多尺度特征，得到多層次的焊縫缺陷特征組合，增大每個網(wǎng)絡層的感受野，進一步增強網(wǎng)絡對焊縫缺陷的特征表達能力，以滿足網(wǎng)絡對焊縫圖像感興趣區(qū)域的關注需求。圖像特征提取模塊的結構，如圖2所示。

在BottleNeck Block結構中，使用Res2Net模塊替換中間的3×3卷積，具體地，經(jīng)過1×1卷積后，將輸入的特征圖劃分為T個子集，記為Xt，t=1，2，…，T，各子集尺寸大小相同，通道數(shù)為輸入特征圖通道數(shù)的1/t。在每一個子集中，除第一個通道外，每一個通道都包含前一個通道的特征信息；接下來，將T個子集輸出的特征圖進行拼接，然后進行1×1卷積，得到多層次的焊縫缺陷特征組合，這樣能夠產(chǎn)生具有多種尺度和不同感受野的特征，從而改善模型提取焊縫缺陷特征能力的不足。

為了進行ResNet-50的預訓練模型遷移，進一步優(yōu)化模型的學習能力，在原模型基礎上，去除用于控制圖像維度的平均池化層及用于分類的全連接層，可以得到焊縫圖像的特征提取器。將焊縫圖像作為圖像特征提取器的輸入，可得到焊縫圖像的特征圖為

F=fResNet（I；θResNet）∈RH×W×C。（1）

式（1）中：F為包含Res2Net的ResNet-50提取的特征圖；fResNet為焊縫圖像的特征提取器，即包含Res2Net的ResNet-50模型；I為輸入的焊縫圖像；θResNet為圖像特征提取器的參數(shù)；H，W，C分別為特征圖的高度、寬度和通道數(shù)。

由圖2可知：在圖像特征提取模塊的末端，引入一個全局平均池化（GAP）層，用于處理最后一個BottleNeck Block輸出的特征圖，最終提取到圖像特征FCNN∈RC。

1.2 圖結構重構模塊

1.2.1 圖結構初構模塊 雖然圖像特征提取模塊利用包含Res2Net的ResNet-50提取焊縫圖像的局部關鍵特征，但是未能學習到其中的全局結構特征，模型無法很好地學習和處理形狀各異、分布隨機的焊縫缺陷。圖結構能夠有效地描述數(shù)據(jù)間的復雜關系，對焊縫圖像的特征圖進行特征重構，通過構建圖結構連接鄰居特征以增強單個特征，從而更好地捕捉圖像中的上下文信息。焊縫圖像作為圖像特征提取模塊的輸入，經(jīng)過提取多尺度特征得到特征圖后，將焊縫圖像的每個特征fi∈RC視為一組無序的節(jié)點V={v1，v2，…，vi，…，vn}（i=1，2，…，n）進行圖結構的構建。為了更加快速地構建焊縫圖像的初始圖，距離度量方法采用歐式距離函數(shù)，引入K近鄰（KNN）算法構建KNN圖作為表示特征之間相似性關系的圖結構。

為了提高模型的推理速度，從特征圖中劃分出一個子集進行圖結構的構建。設子集特征個數(shù)為S，那么，子集的特征圖可以重寫為FS=［f1，f2，…，fs，…，fS］，其中，s=1，2，…，S，fs∈RC為所選子集的單個特征。在子集包含的特征樣本中，通過KNN算法為每一個節(jié)點vs找到與其最近鄰的k個節(jié)點，即vs的K近鄰節(jié)點Nk（vs），并在vs與其鄰居節(jié)點vm之間添加一條邊ems，則構建出子集的KNN圖gS=（vS，εS），其中，vS為子集中每個特征fs組成的節(jié)點集合，εS為子集中所有節(jié)點之間的邊集合。

搜索特征圖的所有剩余特征樣本來完善子集的KNN圖，從而構建初始圖，適應焊縫缺陷的復雜結構，并降低計算復雜度。對于子集中的每一個節(jié)點vs，引入爬山（HC）算法［14］搜索除子集外的所有剩余特征樣本，分別與vn進行比較，并將比較后的特征樣本存儲在2個優(yōu)先級隊列Q和R中。在每次迭代中，Q中存儲vs的前k個最近鄰居節(jié)點，搜索到的鄰居節(jié)點根據(jù)與vs的距離按升序排名，不斷更新距離更近的鄰居節(jié)點，并保持最近鄰居節(jié)點的個數(shù)為k。R中存儲vs的最近鄰居節(jié)點個數(shù)不固定，但是優(yōu)先級順序與Q相同。R除了用于存儲最近鄰居節(jié)點，也存儲最近鄰居節(jié)點的K距離鄰域。

由于HC算法只是考慮當前符合最近鄰居條件的節(jié)點，容易陷入局部最優(yōu)，為了保證算法更加全面地選擇特征樣本，使用反向K近鄰（RKNN）算法［15］，保證選擇的特征樣本與原特征樣本具有良好的相似性，避免選擇相異的特征樣本。通過搜索RKNN圖G找到與vs距離最近的r0，并根據(jù)RKNN圖分析r0的近鄰關系，從中選擇出與vs最相似的鄰居節(jié)點，并將其加入到Q和R中，進行最近鄰居節(jié)點更新。接著，將KNN圖gS加入到Q中進行最近鄰居節(jié)點更新。當Q不再更新或者R已經(jīng)為空時，迭代結束，得到vi的K近鄰節(jié)點Nk（vi）。由此構建焊縫圖像的初始圖g=（V，ε），其中，ε為初始圖中所有節(jié)點之間的邊集合。

1.2.2 圖結構優(yōu)化模塊 在采用HC算法進行搜索的過程中，僅僅考慮部分足夠接近節(jié)點vs的鄰居節(jié)點r0的鄰域用于更新vs的最近鄰居。然而，在R中存儲的所有最近鄰居節(jié)點的鄰域中，可能存在一些節(jié)點在搜索期間未與vs進行比較，導致遺漏訪問特征樣本的問題。為此，選擇利用R中每一個最近鄰居節(jié)點r的鄰域進一步更新vs的最近鄰居節(jié)點，以更加充分地完善圖結構。

提出RDGNP算法，通過描述節(jié)點之間的關聯(lián)度（RD）［16］，引導鄰域的傳播，其表達式為

Rel（O，P）=OP+POk。（2）

式（2）中：Rel（·）表示關聯(lián)度函數(shù)；OP表示節(jié)點O在節(jié)點P的按升序排名的鄰居節(jié)點集合中的排名位置；PO表示節(jié)點P在節(jié)點O的按升序排名的鄰居節(jié)點集合中的排名位置。Rel（·）的值越小，節(jié)點之間的關聯(lián)度越高，則說明二者具有相似性關系的可能性越大。且當Rel（O，P）≥1時，O與P的關聯(lián)度很低，則特征樣本之間不具有相似性。

在每次迭代中，將待傳播的最近鄰居節(jié)點r加入到工作隊列W中，若其鄰居節(jié)點滿足條件Rel（vs，p）lt;1。這說明p與vs具有一定相似性，故將其也加入到工作隊列W中，即實現(xiàn)鄰域的傳播。不斷重復上述步驟，直到工作隊列為空，即沒有新的鄰居節(jié)點可用于傳播。通過迭代地傳播鄰居信息，不斷提升KNN圖的質(zhì)量，從而提高特征之間相似性關系的描述準確性。利用關聯(lián)度反映節(jié)點之間的相似性信息，算法更加針對性地選擇具有相似性的特征樣本進行傳播。最終構建焊縫圖像的圖結構G=（V，E，A），其中，E為圖結構中所有節(jié)點之間的邊集合；A為圖結構的鄰接矩陣，A∈Rn×n，若vi∈Nk（vj）或vj∈Nk（vi），則Ai，j=1，否則Ai，j=0。

1.3 圖結構特征提取模塊

為了學習圖結構中各節(jié)點之間的鄰居信息，以挖掘不同復雜特征之間蘊含的上下文關系，解決焊縫圖像中缺陷形狀各異、分布隨機的問題，采用GCN作為圖結構的特征提取器，用于焊縫圖像的全局結構特征的提取。圖結構特征提取模塊結構，如圖3所示。GCN通過聚合鄰居節(jié)點的特征信息來實現(xiàn)上下文信息的傳遞，由于構建的圖結構中每一個節(jié)點均代表單個特征樣本，其鄰接矩陣不能充分準確地表達該圖結構，因此，采用鄰接矩陣和節(jié)點矩陣共同進行表達。然而，將鄰接矩陣和節(jié)點矩陣相乘后，矩陣會丟失節(jié)點自身的特征信息，故對模型中各節(jié)點進行自連接處理，包含自連接的鄰接矩陣表示為

A=A+In。（3）

式（3）中：A表示包含自連接的鄰接矩陣；In表示單位矩陣。

信息傳遞的過程需要保證特征的分布狀態(tài)不受影響，故進行歸一化操作。引入A的度矩陣D，D對角上的每一個元素的計算公式為

Di，i=∑nj=1Ai，j。（4）

則GCN的第l層的傳播方程為

h（l+1）=σ（D-12AD-12h（l）ω（l））。（5）

式（5）中：h（l）和h（l+1）分別為GCN第l層的輸入和輸出，且h（0）=V；ω（l）為GCN訓練的權重參數(shù)；σ（·）為GCN的非線性激活函數(shù)，為了減少模型的計算量，使用ReLU函數(shù)。同樣地，在圖結構特征提取模塊的末端，引入GAP層用于處理GCN輸出的特征圖，聚合所有節(jié)點特征，最終提取到圖結構特征FResNet∈RC。

1.4 特征融合模塊

特征融合模塊通過捷徑分支操作將圖像特征提取模塊輸出的特征圖和圖結構特征提取模塊輸出的特征圖進行Concat融合。

傳統(tǒng)GCN模型最終的激活函數(shù)采用Softmax函數(shù)，主要適用于單標簽分類問題。為了實現(xiàn)多標簽圖像分類任務，將最終的激活函數(shù)替換為Sigmoid函數(shù)。該函數(shù)的輸出向量的各分量之間沒有總和約束，直接表達了各類別本身的可能性。隨著激活函數(shù)的更改，損失函數(shù)相應替換為二元交叉熵損失函數(shù)，其數(shù)學表達式為

Loss=-1N∑N-1I=01c∑ca=1bI，aln（yI，a）+（1-bI，a）ln（1-yI，a）。（6）

式（6）中：Loss為二元交叉熵損失函數(shù)；N為焊縫圖像數(shù)；c為焊縫缺陷類別數(shù)；bI，a為焊縫圖像I第a個子標簽的真實值；yI，a為焊縫圖像I第a個子標簽的網(wǎng)絡輸出經(jīng)過Sigmoid函數(shù)的預測值。

2 實驗結果與分析

2.1 實驗環(huán)境

實驗采用的操作系統(tǒng)為Windows 11，處理器為12th Gen Intel（R） Core（TM） i7-12700H 2.30 GHz，顯卡為NVIDIA GeForce RTX 3060 Laptop GPU，并通過編程語言Python 3.8和深度學習框架Pytorch 2.0.0進行訓練。

將訓練圖像分辨率統(tǒng)一調(diào)整為1 280 px×700 px，以保持輸入模型的圖像尺寸一致，訓練過程中使用的優(yōu)化器為Adam，學習率設置為0.001，批次大小設置為16，并根據(jù)驗證結果保存最優(yōu)的模型參數(shù)。

2.2 評價指標

精確率（P）表示真實正樣本中被正確分類的樣本占所有樣本的比例，其計算公式為

P=TPTP+FP。（7）

式（7）中：TP表示真實正樣本中被正確分類的樣本；FP表示真實負樣本中被錯誤分類的樣本。

召回率（R）表示真實正樣本中被正確分類的比例，其計算公式為

R=TPTP+FN。（8）

式（8）中：FN表示真實正樣本中被錯誤分類的樣本。

F1表示P和R的調(diào)和平均數(shù)，用來衡量分類器的綜合性能。F1值越大，代表模型性能越好，其計算公式為

F1=2×P×RP+R。（9）

平均精準度（PA）表示模型在每個類別上的性能表現(xiàn)，其計算公式為

PA=∫10P（R）dR。（10）

均值平均精度（PmA）表示PA的平均值，用來衡量模型在所有類別上的性能表現(xiàn)。PmA值越大，代表模型性能越好，其計算公式為

PmA=（∑PA）/c。（11）

選取P，R，F(xiàn)1和PmA 4種評價方法對焊縫圖像多標簽分類模型的性能進行評估。

2.3 實驗數(shù)據(jù)集

數(shù)據(jù)集采用WELDX自建數(shù)據(jù)集和GDXray公開數(shù)據(jù)集［17］。使用VIDAR型工業(yè)膠片掃描儀對真實工業(yè)場景中采集的X射線焊縫缺陷底片樣本進行掃描并轉(zhuǎn)換為數(shù)字圖像，由此自制了X射線焊縫缺陷WELDX數(shù)據(jù)集。數(shù)據(jù)集按照行業(yè)標準NB/T 47013.1-2015［18］將焊縫缺陷分為5種類別，分別是裂紋、未熔合、未焊透、條形缺陷和圓形缺陷，共計1 251張圖像，其中，裂紋、未熔合和未焊透缺陷尺寸較大，條形缺陷和圓形缺陷尺寸微小，且各缺陷尺寸大小均不一。經(jīng)過人工裁剪、篩除不符合要求的圖像后，共獲得528張圖像，各圖像的分辨率大小不等。使用LabelImg軟件標注出X射線焊縫圖像中缺陷的類別和位置信息，并通過翻轉(zhuǎn)、平移及對比度變化等數(shù)據(jù)增強方法擴充原始樣本，最終獲得2 112張X射線焊縫圖像。

為了確保訓練結果的普遍性和可靠性，將WELDX數(shù)據(jù)集劃分為訓練集、驗證集和測試集，其中，訓練集包含1 372張X射線焊縫圖像，驗證集包含529張X射線焊縫圖像，測試集包含211張X射線焊縫圖像。將GDXray數(shù)據(jù)集作為外部驗證集來評估模型在其他焊縫缺陷檢測場景中的泛化能力。X射線焊縫缺陷數(shù)據(jù)集樣本示例，如圖4所示。

2.4 評估實驗

為了評估文中算法的有效性，對多種基于不同建模方式的傳統(tǒng)算法輸出結構進行修改并對比輸出結果，挑選的傳統(tǒng)算法包括ResNet-50，ResNet-101，SqueezeNet［19］，VGG-16［20］，SCConv-R50［21］，RefConv［22］和GCN。其中，ResNet-50和ResNet-101分別是ResNet算法50層和101層的網(wǎng)絡模型。比較8種不同算法在WELDX數(shù)據(jù)集上的表現(xiàn)，結果如表1所示。

在傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡模型中，ResNet算法在WELDX數(shù)據(jù)集上的性能表現(xiàn)更加優(yōu)異，通過引入殘差模塊，該算法能解決隨著神經(jīng)網(wǎng)絡深度增加而出現(xiàn)的梯度彌散問題。相比ResNet-101算法，ResNet-50算法的F1值提高了0.9%，PmA值提高了0.9%，說明ResNet-50算法的擬合度更好，網(wǎng)絡層數(shù)更深的模型可能會增加過擬合的風險，從而影響模型的性能。由表1可知：ResNet-50算法比SqueezeNet，VGG-16，SCConv-R50，RefConv算法的F1值分別提高了1.5%，1.1%，0.7%，0.4%，且PmA值分別提高了2.6%，2.2%，0.4%和0.3%。因此，文中算法選取ResNet-50作為基礎網(wǎng)絡，對輸入焊縫圖像進行特征提取。

從表1也可以看出，相比其他傳統(tǒng)算法，文中算法在WELDX數(shù)據(jù)集上取得了更優(yōu)的焊縫圖像多標簽分類結果；與ResNet-50基礎網(wǎng)絡相比，文中算法的F1和PmA分別提高了7.8%，5.8%，說明采用圖卷積神經(jīng)網(wǎng)絡學習特征節(jié)點之間的上下文相似性關系可以幫助網(wǎng)絡提升多標簽圖像分類的性能；與GCN相比，文中算法的F1和PmA分別提高了6.2%，3.6%，說明采用包含Res2Net的ResNet-50算法能夠充分發(fā)揮其強大的特征提取能力，深入挖掘X射線焊縫圖像中的細節(jié)信息。相比其他傳統(tǒng)算法，文中算法在WELDX數(shù)據(jù)集上的表現(xiàn)（P，R，F(xiàn)1和PmA 4個評價指標）均有較大提升，說明在焊縫圖像多標簽分類任務中，該算法表現(xiàn)出一定的效果。

選取RMIC［23］，ML-GCN［24］，F(xiàn)-GCN［25］，F(xiàn)AN［26］，CFMIC［27］和ViGh［28］6種不同的多標簽圖像分類算法與文中算法進行對比，進一步評估文中算法的有效性。不同分類算法在WELDX數(shù)據(jù)集上的表現(xiàn)對比，如表2所示。

RMIC算法以強化學習的原始多標簽問題為基礎，融合圖像特征與前序標簽信息，從而建立新的標簽預測狀態(tài)。與RMIC算法相比，文中算法的F1和PmA分別提高了3.8%和1.8%，說明采用圖卷積神經(jīng)網(wǎng)絡構建圖結構來學習上下文信息可以取得更好的效果。

ML-GCN算法利用標簽作為節(jié)點，標簽相關性作為邊來構建圖結構，邊的權重基于標簽共現(xiàn)概率，并通過GCN更新圖結構。因為加入標簽共現(xiàn)數(shù)據(jù)的信息，在性能上得到較大提升。然而，采用標簽共現(xiàn)關系會使標簽類別較少的樣本被正確分類的可能性下降，而標簽類別較多的樣本被正確分類的可能性上升。文中算法通過HC算法和RKNN算法在多尺度特征的基礎上構建圖結構能夠增強對圖像特征之間相似性關系的學習，F(xiàn)1和PmA分別提高了2.5%和1.3%。

F-GCN算法基于GCN采用多模態(tài)分解雙線性池化，將圖像信息和標簽嵌入信息進行融合。該算法通過端到端方式進行訓練，相較于ML-GCN算法，更強調(diào)標簽語義信息和圖像特征信息的有效結合，以促進對圖像特征的標簽語義引導學習。FAN在ML-GCN基礎上引入一種穩(wěn)健的協(xié)方差池化，以匯總卷積特征，從而形成全局圖像表示，捕獲圖像特征。文中算法引入RDGNP算法，針對不同類別提取的圖像特征可以更加有效地提取圖結構特征，從而進一步提升模型的性能。由此，相較于F-GCN算法，文中算法的F1和PmA分別提高了1.2%和1.1%。相較于FAN算法，文中算法的F1和PmA分別提高了2.3%和0.9%。CFMIC算法結合注意力機制和GCN，并引入跨模式融合模塊，以捕獲局部和全局標簽的依賴關系。盡管該算法取得良好的效果，但是其包含的跨模式融合模塊會增加模型的復雜度和規(guī)模。相比CFMIC算法，文中算法的復雜度更低，訓練過程中需要的代價更少，能夠更好地滿足實際工程應用中實時性的需求，其F1和PmA分別提高了0.7%和0.6%。

ViGh算法基于輸入圖像構建圖結構，采用注意力機制（HDmA）和GNN獲取圖像的上下文信息，從而構建全局關系。文中算法采用GCN和RDGNP算法建立圖像特征的上下文關系的同時，使用包含Res2Net的ResNet-50提取圖像的細節(jié)特征信息，兩者結合實現(xiàn)圖像的多標簽分類，豐富特征的表達能力，與ViGh算法相比，文中算法的F1和PmA分別提高了0.5%和0.4%。

實驗表明，文中算法通過結合焊縫圖像的多尺度特征和圖結構特征，綜合考慮特征細節(jié)信息和上下文信息，使模型更加適用于焊縫圖像的多標簽分類任務，盡管真實工業(yè)場景中的焊縫缺陷分類困難，模型性能依然表現(xiàn)良好。然而，這并不代表文中算法在其他焊縫缺陷檢測場景中的可靠性。為了評估文中算法的泛化性，采用文中算法對外部驗證集（GDXray）中的圖像進行預測，最終得到F1和PmA分別達到61.5%和67.1%。雖然GDXray數(shù)據(jù)集是在其他檢測場景中利用不同的掃描方式獲得的焊縫圖像，但是文中算法也能相對準確地將焊縫缺陷進行分類，證明其具有良好的泛化能力。

2.5 消融實驗

為了評估文中算法中不同模塊在焊縫圖像多標簽分類任務中的有效性，在WELDX數(shù)據(jù)集上對文中算法的不同模塊進行消融實驗，消融實驗結果如表3所示。

由表3可知：當僅使用ResNet-50進行特征提取時，由于網(wǎng)絡感受野有限，存在忽略圖像中微小缺陷的風險，并且只能獲取X射線焊縫圖像的局部信息，而未能捕獲全局信息；通過引入Res2Net到焊縫圖像的多標簽分類網(wǎng)絡模型中，特征提取階段替換了具有不同感受野大小的卷積核，這樣，每個卷積核在粒度級別上更好地捕捉焊縫缺陷的特征信息，有效緩解了焊縫缺陷尺寸微小的問題，因此，該模型在提取特征時增強了對小目標的敏感程度，從而進一步提高了模型的多標簽分類準確率；與僅采用ResNet-50的模型相比，采用ResNet-50+Res2Net的模型F1和PmA分別提高了大約1.4%和2.3%。

添加Res2Net模塊能夠提高網(wǎng)絡針對焊縫缺陷的關注程度，然而，對于焊縫圖像的特征提取依然缺乏全局相關性的描述，而焊縫缺陷存在形狀各異的特點，因此更重要的是，基于預訓練ResNet-50提取的特征圖構建圖結構后，引入GCN學習圖結構的上下文信息，從而提取焊縫圖像的全局結構特征。通過融合ResNet-50輸出的圖像特征和GCN輸出的圖結構特征，有效結合X射線焊縫圖像中的局部關鍵信息和全局結構信息，使特征表達更加充分準確。與僅采用ResNet-50提取圖像特征相比，采用多特征融合的模型F1和PmA分別提高了大約3.3%和2.8%。

在小樣本數(shù)據(jù)集中，一般采用KNN算法直接構建圖結構，能夠更好地理解和學習網(wǎng)絡，但X射線焊縫圖像中往往包含噪聲信息，且焊縫缺陷的分布隨機，可能影響模型的穩(wěn)定性。通過引入RDGNP算法，利用關聯(lián)度計算方法來強化對構建圖結構過程中特征間關系的感知能力，能夠更加準確地捕捉特征之間的相似性關系。相較于ResNet-50+GCN初始融合模型，ResNet-50+GCN+RDGNP模型的F1和PmA分別提高了大約0.7%和1.3%。

由此可以看出，加入Res2Net模塊、GCN模塊和RDGNP模塊均會提升焊縫圖像多標簽分類的4個評價指標，針對性地解決焊縫內(nèi)部缺陷存在的尺寸微小、結構復雜、分布隨機和形狀各異等問題，說明文中算法中的各模塊都能促進焊縫圖像多標簽分類的實現(xiàn)，并且各模塊共同作用的效果更為顯著，其中，ResNet-50+GCN融合模型的性能影響最大。

通過實驗明確模型的結構，在圖結構重構模塊中，針對特征節(jié)點的最近鄰居節(jié)點的數(shù)量（k）進行消融實驗，目的在于確定合適的最近鄰居節(jié)點數(shù)量，以在特征信息之間實現(xiàn)有效的交換。不同鄰居節(jié)點數(shù)量在WELDX數(shù)據(jù)集上對模型性能的影響，如表4所示。

由表4可知：當最近鄰居節(jié)點的數(shù)量k為7時，模型的性能達到了最佳狀態(tài)，表明在該配置下，特征節(jié)點之間的信息交流得以最優(yōu)化，實現(xiàn)了對圖結構的有效重構。當鄰居節(jié)點數(shù)量太少時，交換的信息受限，降低了模型的表達能力；而當鄰居節(jié)點數(shù)量過多時，一些無用特征的引入可能會干擾整體學習過程。因此，在圖結構重構模塊中將k設置為7，有助于平衡特征信息的交換與噪聲的干擾，為模型的整體性能提供有效的優(yōu)化策略，以確保GCN學習圖結構的特征信息前實現(xiàn)更優(yōu)的重構效果。

3 結論

針對現(xiàn)有傳統(tǒng)卷積神經(jīng)網(wǎng)絡只能提取焊縫圖像的局部特征，而無法捕獲焊縫圖像的全局特征進行有效分類的問題，提出一種多特征融合的焊縫圖像多標簽分類算法，通過包含Res2Net的ResNet-50提取焊縫圖像的多尺度特征，基于此構建圖結構，并引入RDGNP算法進一步優(yōu)化圖結構，再利用GCN學習圖結構蘊含的空間特征，以獲取焊縫圖像的上下文信息。最后，將卷積神經(jīng)網(wǎng)絡提取的圖像特征和圖卷積神經(jīng)網(wǎng)絡提取的圖結構特征結合，以預測最終的分類結果。在X射線焊縫缺陷WELDX數(shù)據(jù)集上的實驗結果表明，相較于其他算法，文中算法在4個評價指標上均優(yōu)于傳統(tǒng)算法，證明其在焊縫圖像多標簽分類任務中的有效性，為解決因內(nèi)部缺陷存在形狀各異、尺寸微小、分布隨機和結構復雜等特點導致缺陷難以實現(xiàn)準確分類的問題打下良好的算法基礎。

然而，算法仍然存在一些不足，如對于焊縫圖像的特征提取還有待進一步提高，數(shù)據(jù)集的建立需要進一步擴充等。因此，后續(xù)的研究工作將考慮引入注意力機制等增強網(wǎng)絡對感興趣區(qū)域的特征表達，收集更多X射線焊縫圖像用于網(wǎng)絡的訓練，以提高焊縫圖像多標簽分類效果。

參考文獻：

［1］ DING Kai，NIU Zhangqi，HUI Jizhuang，et al.A weld surface defect recognition method based on improved MobileNetV2 algorithm［J］.Mathematics，2022，10（19）：3678.DOI：10.3390/math10193678.

［2］ XU Hao，YAN Zhihong，JI Bowen，et al.Defect detection in welding radiographic images based on semantic segmentation methods［J］.Measurement，2022，188：110569.DOI：10.1016/j.measurement.2021.110569.

［3］ SAY D，ZIDI S，QAISAR S M，et al.Automated categorization of multiclass welding defects using the X-ray image augmentation and convolutional neural network［J］.Sensors，2023，23（14）：6422.DOI：10.3390/s23146422.

［4］ KUMARESAN S，AULTRIN K S J，KUMAR S S，et al.Deep learning-based weld defect classification using VGG16 transfer learning adaptive fine-tuning［J］.International Journal on Interactive Design and Manufacturing，2023，17（6）：2999-3010.DOI：10.1007/s12008-023-01327-3.

［5］ TOTINO B，SPAGNOLO F，PERRI S.RIAWELC： A novel dataset of radiographic images for automatic weld defects classification［J］.International Journal of Electrical and Computer Engineering Research，2023，3（1）：13-17.DOI：10.53375/ijecer.2023.320.

［6］ 張智慧，林耀進，張小清，等.基于類別一致性的層次特征選擇算法［J］.閩南師范大學學報（自然科學版），2022，35（4）：41-49.DOI：10.16007/j.cnki.issn2095-7122.2022.04.007.

［7］ BRUNA J，ZAREMBA W，SZLAM A，et al.Spectral networks and locally connected networks on graphs［C］∥International Conference on Learning Representations.Banff：［s.n.］，2014：1-14.DOI：10.48550/arXiv.1312.6203.

［8］ KIPF T N，WELLING M.Semi-supervised classification with graph convolutional networks［C］∥International Conference on Learning Representations.Toulon：［s.n.］，2017：1-14.DOI：10.48550/arXiv.1609.02907.

［9］ WANG Yucheng，GAO Liang，GAO Yiping，et al.A graph guided convolutional neural network for surface defect recognition［J］.IEEE Transactions on Automation Science and Engineering，2022，19（3）：1392-1404.DOI：10.1109/tase.2022.3140784.

［10］ BALCIOGLU Y S，SEZEN B，ERASI C C，et al.Machine design automation model for metal production defect recognition with deep graph convolutional neural network［J］.Electronics，2023，12（4）：825.DOI：10.3390/electronics12040825.

［11］ 周忠眉，孟威.多角度標簽結構和特征融合的多標簽特征選擇［J］.閩南師范大學學報（自然科學版），2021，34（1）：64-71.DOI：10.16007/j.cnki.issn2095-7122.2021.01.011.

［12］ HE Kaiming，ZHANG Xiangyu，REN Shaoqing，et al.Deep residual learning for image recognition［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE Press，2016：770-778.DOI：10.1109/cvpr.2016.90.

［13］ GAO Shanghua，CHENG Mingming，ZHAO Kai，et al.Res2Net： A new multi-scale backbone architecture［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（2）：652-662.DOI：10.1109/TPAMI.2019.2938758.

［14］ HAJEBI K，ABBASI-YADKORI Y，SHAHBAZI H，et al.Fast approximate nearest-neighbor search with k-nearest neighbor graph［C］∥Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence.Barcelona：AAAI Press，2011：1312-1317.DOI：10.5591/978-1-57735-516-8/IJCAI11-222.

［15］ CHEEMA M A，LIN Xuemin，ZHANG Wenjie，et al.Influence zone： Efficiently processing reverse k nearest neighbors queries［C］∥IEEE 27th International Conference on Data Engineering.Washington D C：IEEE Press，2011：577-588.DOI：10.1109/ICDE.2011.5767904.

［16］ LIU Yongli，ZHAO Congcong，CHAO Hao.Density peak clustering based on relative density under progressive allocation strategy［J］.Mathematical and Computational Applications，2022，27（5）：84.DOI：10.3390/mca27050084.

［17］ MERY D，RIFFO V，ZSCHERPEL U，et al.GDXray： The database of X-ray images for nondestructive testing［J］.Journal of Nondestructive Evaluation，2015，34（4）：42.DOI：10.1007/s10921-015-0315-7.

［18］ 全國鍋爐壓力容器標準化技術委員會.承壓設備無損檢測： NB/T 47013.1-2015［S］.北京：新華出版社，2015.

［19］ IANDOLA F N，HAN Song，MOSKEWICZ M W，et al.SqueezeNet： AlexNet-level accuracy with 50x fewer parameters and lt;0.5 MB model size［C］∥International Conference on Learning Representations.Toulon：［s.n.］，2017：1-13.DOI：10.48550/arXiv.1602.07360.

［20］ SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition［EB/OL］.（2015-04-10）［2024-02-10］.https：∥doi.org/10.48550/arXiv.1409.1556.

［21］ LI Jiafeng，WEN Ying，HE Lianghua.SCConv： Spatial and channel reconstruction convolution for feature redundancy［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Vancouver：IEEE Press，2023：6153-6162.DOI：10.1109/cvpr52729.2023.00596.

［22］ CAI Zhicheng，DING Xiaohan，SHEN Qiu，et al.Refconv： Re-parameterized refocusing convolution for powerful convnets［C］∥International Conference on Learning Representations.Vienna：［s.n.］，2024：1-17.DOI：10.48550/arXiv.2310.10563.

［23］ HUANG Xun，BELONGIE S.Arbitrary style transfer in real-time with adaptive instance normalization［C］∥Proceedings of the IEEE International Conference on Computer Vision.Venice：IEEE Press，2017：1501-1510.DOI：10.1109/iccv.2017.167.

［24］ CHEN Zhaoming，WEI Xiushen，WANG Peng，et al.Multi-label image recognition with graph convolutional networks［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach：IEEE Press，2019：5177-5186.DOI：10.1109/cvpr.2019.00532.

［25］ WANG Yangtao，XIE Yanzhao，LIU Yu，et al.Fast graph convolution network based multi-label image recognition via cross-modal fusion［C］∥Proceedings of the 29th ACM International Conference on Information amp; Knowledge Management.New York：ACM，2020：1575-1584.DOI：10.1145/3340531.3411880.

［26］ LI Yaning，YANG Liu.More correlations better performance： Fully associative networks for multi-label image classification［C］∥25th International Conference on Pattern Recognition.Milan：IEEE Press，2021：9437-9444.DOI：10.1109/icpr48806.2021.9412004.

［27］ WANG Yangtao，XIE Yanzhao，ZENG Jiangfeng，et al.Cross-modal fusion for multi-label image classification with attention mechanism［J］.Computers and Electrical Engineering，2022，101：108002.DOI：10.1016/j.compeleceng.2022.108002.

［28］ PANG Wenkai，TAN Zhi.A steel surface defect detection model based on graph neural networks［J］.Measurement Science and Technology，2024，35（4）：046201.DOI：10.1088/1361-6501/ad1c4b.

（責任編輯：" 黃曉楠" 英文審校： 陳婧）