馬琳杰

摘要：金屬激光熔化沉積質量與熔池狀態(tài)具有密切的關聯(lián)，根據(jù)熔池視覺特征對加工中的熔池狀態(tài)進行識別，進而實現(xiàn)沉積質量的在線預測對金屬激光熔化沉積技術具有重要意義。為構建上述映射關系，本文提出了一種基于金字塔池化卷積神經(jīng)網(wǎng)絡的金屬激光熔化沉積熔池狀態(tài)識別方法。針對所采集的熔池同軸圖像，建立用于訓練和測試的數(shù)據(jù)集;構建了金字塔池化卷積神經(jīng)網(wǎng)絡（Pyramid pooling convolutional neural networks，PPCNN），并進行網(wǎng)絡關鍵參數(shù)的研究。結果表明：第一層卷積核尺寸為5×5，卷積層和金字塔池化模塊含有64+8×3個卷積核使網(wǎng)絡在識別準確率上達到最佳。所提方法取得了最高96.80%的識別準確率。

Abstract： The quality of metal laser melting deposition is closely related to the state of the molten pool. Recognizing the state of the molten pool in processing according to the visual characteristics of the molten pool， and thus realizing the online prediction of the deposition quality is of great significance to the metal laser melting deposition technology. In order to construct the above mapping relationship， this paper proposes a method for identifying the molten pool state of metal laser melting deposition based on pyramid pooling convolutional neural network. Based on the collected coaxial images of the molten pool， a data set for training and testing was established; a pyramid pooling convolutional neural network（PPCNN） was constructed， and key network parameters were studied. The results show that the size of the first layer of convolution kernels is 5×5， and the convolutional layer and pyramid pooling module contain 64+8×3 convolution kernels to make the network achieve the best recognition accuracy. The proposed method achieved a maximum recognition accuracy of 96.80%.

關鍵詞：增材制造;定向能量沉積;激光熔化沉積;熔池;卷積神經(jīng)網(wǎng)絡;金字塔池化模塊

Key words： additive manufacturing;directed energy deposition;laser melting deposition;molten pool;convolutional neural network; pyramid pooling module

0 ?引言

定向能量沉積（Directed Energy Deposition，DED）是利用聚焦熱能將材料同步熔化沉積的增材制造工藝[1]。該技術可以在零件的成形過程中實現(xiàn)不同材料的融合，使得制備的零件具有任意方向上的材料和功能梯度。其中金屬激光熔化沉積是采用激光束作為聚焦熱能的定向能量沉積技術。目前，由于金屬激光熔化沉積存在復雜的多物理場耦合作用，使得加工零件的質量可靠性和效果重復性提升困難，這限制了其規(guī)?；こ袒瘧谩?/p>

在線診斷識別及反饋控制是提高激光熔化沉積技術質量可靠性與效果重復性的關鍵手段之一。熔池作為激光熔化沉積加工中的重要物理現(xiàn)象及多場耦合的重要載體，其包含著豐富的物理冶金狀態(tài)信息，可為工藝穩(wěn)定性與零件質量的在線診斷識別及反饋控制提供重要的理論與數(shù)據(jù)支持。因此，針對熔池形態(tài)監(jiān)測的研究引起了學者的廣泛關注。唐梓玨等[2]采用同軸監(jiān)測方法，對四種不同工藝條件下的熔池動態(tài)特征進行監(jiān)測，揭示熔池關鍵形狀精度的演化行為，并建立新的熔池形狀精度模型。HOFMAN等[3]同樣采用同軸監(jiān)測方法對熔池寬度進行監(jiān)測，結果表明熔池寬度影響沉積層的稀釋率和硬度的穩(wěn)定性。劉新鋒等[4]利用CCD相機拍攝完整的熔池圖像，通過提取熔池的長度、寬度、面積等特征作為神經(jīng)網(wǎng)絡的輸入，建立預測熔池背面熔寬變化的網(wǎng)絡模型。上述研究雖然已對熔池特征與最終加工質量間的關聯(lián)關系展開了研究，并實現(xiàn)了基于特定熔池特征的在線診斷識別，但對于可反映激光熔化沉積熔化—熔融—凝固全過程的熔池而言，依然有大量的過程特征信息沒能很好的進行利用，這阻礙了基于熔池的激光熔化沉積質量在線診斷識別與反饋控制技術的應用。

深度學習（Deep Learning，DL）算法能夠自動創(chuàng)建特征提取器與分類器，其識別分類能力隨著提供新的訓練數(shù)據(jù)而改進和發(fā)展。卷積神經(jīng)網(wǎng)絡（Convolutional neural networks，CNN）可以直接對圖像進行處理，使直接對熔池圖像進行特征提取成為可能。與傳統(tǒng)方法相比，CNN的顯著優(yōu)點是利用深層次的網(wǎng)絡結構從圖像中自動提取出更加抽象的特征，而不是依賴于專家知識手動提取。同時，CNN具有局部感知和權值共享的特點[5]，減少了網(wǎng)絡參數(shù)的數(shù)量，從而減少了訓練的時間。上述優(yōu)點使其應用范圍也更加廣泛[6-8]。但Zhang等[9]將原始圖像輸入到CNN取得的平均準確率只有92.8%，原因是原始圖像含有噪聲或CNN在傳遞過程中信息丟失，導致沒有取得更高的準確率。因為在金屬激光熔化沉積中，受多物理場耦合、監(jiān)測光路污染與加工環(huán)境變化等因素的影響，熔池特征往往復雜多變，這對CNN性能提出了更高的要求。

為了充分利用金屬激光熔化沉過程熔池圖像的在線信息并抑制熔池信息在深度神經(jīng)網(wǎng)絡傳遞過程中的損失，本文提出了一種基于金字塔池化模塊的卷積神經(jīng)網(wǎng)絡熔池狀態(tài)識別方法，并結合在懲罰函數(shù)中添加L2范數(shù)正則項來提高模型的泛化能力，實現(xiàn)了熔池狀態(tài)的精確識別。通過本研究為激光熔化沉積質量的反饋控制提供了重要的數(shù)據(jù)支持。

1 ?試驗材料、設備及方案設計

試驗采用了由六軸機器人（KR30HA，Germany）、半導體激光器（LDF 4000-100 VGP，Germany）、激光頭（YC52，Precitec KG，Gaggenau，Germany）和送粉器（RC-PF-01B-2，Raycham Ltd，Nanjing，China）組成的激光熔化沉積系統(tǒng)，實驗設備如圖1所示。熔池圖像采集系統(tǒng)由同軸工業(yè)相機、計算機組成。其中，同軸工業(yè)相機可采集632×508像素的圖像，采集幀率最高可達500fps，所采集的熔池圖像為單通道灰度圖像，采集后傳輸?shù)接嬎銠C中進行保存。試驗過程中的保護氣和載粉氣均為純度 99.999%的氬氣，送粉量為9.15g/min，載氣流量為600L/h，保護氣流量為900L/h。試驗所用材料為316L基體和316L粉末，粉末的粒徑為45～150μm。

本文所采用的316L基板尺寸為60mm×40mm×8mm。通過改變激光功率（500W、600W、700W、800W、900W、1000W、1100W、1200W）和掃描速度（1mm/s、3mm/s、5mm/s、7mm/s、9mm/s、11mm/s、13mm/s、15mm/s、17mm/s、19mm/s），在80組參數(shù)的組合下，利用單道掃描，獲取熔池的灰度圖像。由于在沉積起始處熔池不穩(wěn)定，此時拍攝的熔池圖像不具有代表性，因此需選擇1s后處于激光熔化沉積穩(wěn)定狀態(tài)時的熔池圖像作為最終的數(shù)據(jù)集。

2 ?數(shù)據(jù)集生成

參照前期研究成果[2]的單道單層沉積試驗，本文將沉積狀態(tài)分為4類，其對應圖像特征分別如下：①熔池的幾何輪廓為倒梯形，此時沉積層潤濕角過高（接近或大于90°），冶金結合不良，沉積狀態(tài)為過度熔融;②熔池的幾何輪廓為近圓形，此時沉積層潤濕角遠小于90°，冶金結合正常，沉積狀態(tài)為正常熔融;③熔池的幾何輪廓為不規(guī)則形狀，此時沉積層潤濕角正常，但冶金結合不良，沉積狀態(tài)為不完全熔融;④當無法形成穩(wěn)定的熔池和沉積層，沉積狀態(tài)為不連續(xù)熔融。之后以閾值分割和邊緣檢測算法獲得熔池初步輪廓，并根據(jù)熔池初步輪廓的外接矩形a*b，截?。╝+10）*（b+10）矩形范圍作為ROI（Region of Interest）區(qū)域。圖2顯示了4類單道的表面質量及對應的熔池ROI圖像。每個沉積狀態(tài)下數(shù)據(jù)的詳細介紹如表1所示。最后將熔池圖像統(tǒng)一壓縮為32×32像素作為模型的輸入。因為CNN是一種有監(jiān)督的訓練方式，需要對每張圖像建立標簽，該標簽代表熔池圖像對應的沉積狀態(tài)。

3 ?PPCNN模型

PPCNN（Pyramid pooling convolutional neural networks，PPCNN）即金字塔池化卷積神經(jīng)網(wǎng)絡。卷積神經(jīng)網(wǎng)絡的高層特征有助于類別識別，但連接全連接層的池化層會丟失大部分提取的高層特征，從而影響識別準確率。而金字塔池化模塊[10]融合了不同尺度的特征，提高了獲取全局信息的能力，有效的減少了高層特征的信息丟失問題。因此，本文將金字塔池化模塊與卷積神經(jīng)網(wǎng)絡相結合，構建了PPCNN模型，模型結構及參數(shù)如圖3所示。

本文的金字塔池化模塊融合了三種不同尺度的金字塔池化特征，分別為1×1，2×2，4×4，如圖3中的金字塔池化模塊。其中紅色表示全局池，對整個特征圖進行池化操作。以下金字塔等級將特征圖分割為不同的子區(qū)域，對特征圖進行不同位置的池化操作，不同金字塔等級池化操作會產(chǎn)生不同大小的特征圖。金字塔池化操作后采用1×1卷積確定每種尺度所生成的特征圖數(shù)量，之后采用雙線性差值擴展到與C5相同的尺寸，最終將金字塔池化模塊生成的三種不同尺度的特征圖與C5特征圖進行融合，從而聚合高層特征，減少信息的丟失，提升整體的識別準確率。

卷積神經(jīng)網(wǎng)絡的訓練過程分為前向傳播和反向傳播，在前向傳播過程中，輸入數(shù)據(jù)經(jīng)過多層卷積層和池化層進行特征提取，經(jīng)全連接層，輸入分類器進行數(shù)據(jù)的分類識別。在反向傳播過程中，依據(jù)損失函數(shù)，通過反向傳播從后往前更新網(wǎng)絡的權重和偏置參數(shù)，以達到最優(yōu)的網(wǎng)絡參數(shù)，最終實現(xiàn)最優(yōu)的網(wǎng)絡模型[11]。為了防止模型的過擬合，提高網(wǎng)絡模型的泛化能力，本文采用添加L2范數(shù)作為懲罰項的交叉熵損失函數(shù)，則改進后的懲罰函數(shù)為：

4 ?PPCCN熔池狀態(tài)識別

4.1 PPCNN關鍵參數(shù)影響分析

CNN的網(wǎng)絡參數(shù)對整體的識別結果有較大的影響。例如，卷積核尺寸、全連接層數(shù)量等。通過對上述兩個參數(shù)進行研究，確定最適合識別四種沉積狀態(tài)的網(wǎng)絡參數(shù)。第一層卷積核作用于輸入圖像，其卷積核的尺寸直接決定首次感受野的大小，對初次特征提取至關重要。因此，研究第一層卷積核尺寸從3×3-11×11的變化過程中，識別準確率的變化趨勢如圖4所示。從曲線中可以看出，當卷積核尺寸為5×5時，網(wǎng)絡對熔池狀態(tài)的識別率最高。這是由于3×3的尺寸較小，不能有效的提取熔池圖像的特征，而由于輸入圖像只有32×32，過大的卷積核尺寸不能合適的提取熔池圖像的特征，反而會增加網(wǎng)絡訓練的時間。

由于最后一層卷積層卷積核和金字塔池化模塊卷積核數(shù)量即融合后卷積核總數(shù)共同決定了全連接層輸入的大小，而全連接層中的特征直接決定識別準確率，因此研究融合后卷積核總數(shù)對識別效果的影響。由于金字塔池化模塊融合了三種不同金字塔尺度下的特征，再與前一層卷積層進行最終融合，故要確定四層卷積核數(shù)量，以使網(wǎng)絡達到最優(yōu)的識別率。本文采取了6組不同數(shù)量的卷積核進行訓練，分別為32+8×3，32+16×3，32+32×3，64+8×3，64+16×3，64+32×3，其中32+8×3表示金字塔池化模塊的前一層卷積層有32個卷積核，金字塔池化模塊每種尺度下有8個卷積核，故四層卷積核總數(shù)為56，其他參數(shù)的含義與之相同。訓練得到融合后卷積核總數(shù)與識別準確率的變化趨勢如圖5所示。從圖5中可以看出，當卷積核總數(shù)為88時，準確率最高為96.80%。當前一層卷積層卷積核數(shù)量為32時，整體準確率低于前一層卷積層卷積核數(shù)量為64的準確率。說明當最后一層卷積層中卷積核數(shù)量較少時，不能充分對熔池圖像特征進行提取，導致融合后效果不佳。當最后一層卷積層卷積核數(shù)量為64時，隨著卷積核數(shù)量的增加，識別準確率下降。說明全連接層參數(shù)過多，可能導致過擬合現(xiàn)象，從而影響對測試數(shù)據(jù)的識別。

因此，通過對第一層卷積核尺寸和融合后卷積核總數(shù)的研究，最終確定第一層卷積核尺寸為5×5，融合后卷積核總數(shù)為88（64+8×3）時，網(wǎng)絡的識別精度最高。

4.2 準確率對比分析

為了對比論證所提方法的優(yōu)勢，選擇不添加L2懲罰項的PPCNN、標準CNN進行對比。不添加L2懲罰項的PPCNN也采用圖3的網(wǎng)絡結構與參數(shù)，標準CNN的網(wǎng)絡結構和參數(shù)與圖3相比，將金字塔池化模塊替換為步幅為2，濾波器為2×2的最大池化層，且只有兩層全連接層，第一層全連接層具有1024個節(jié)點，第二層全連接層的節(jié)點數(shù)為200，其他網(wǎng)絡結構和參數(shù)與圖3保持一致。同時為了突出所提方法相對于SAE和傳統(tǒng)方法的優(yōu)勢，將熔池ROI像素灰度值范圍從0到255分為25個區(qū)間，將不同區(qū)間中的像素數(shù)提取為熔池特征分別輸入SAE、SVM和傳統(tǒng)淺層神經(jīng)網(wǎng)絡BPNN進行對比。具體實驗方法介紹如表2所示。

本文每種方法共進行4組相同條件的試驗，選擇梯度下降算法對網(wǎng)絡執(zhí)行350次優(yōu)化迭代后，每種方法的4組實驗的準確性如表3所示。

從表3可以得到，采用CNN的方法的準確識別率明顯高于SAE和傳統(tǒng)分類方法。采用所提方法（L2-PPCNN）四次識別準確率分別為：96.25%，95.90%，96.40%以及96.10%，平均準確率為96.16%，高于不添加L2懲罰項的PPCNN的95.41%。說明懲罰函數(shù)中添加L2范數(shù)正則項，提高了模型的泛化能力和識別準確率。而標準CNN由于沒有采用金字塔池化模塊，其平均準確率為93.41%，相比于所提方法，其識別準確率下降了2%。說明金字塔池化模塊融合的不同尺度的特征提高獲取全局信息的能力，從而有效減少高層特征的信息丟失，提升了識別準確率。熔池特征+SAE的平均準確率只有75.40%，這表明CNN提取熔池特征的能力比手動+SAE提取特征的效果更好。熔池特征+SVM和熔池特征+BPNN的平均準確率都低于55%，說明傳統(tǒng)神經(jīng)網(wǎng)絡在信息豐富的熔池圖像中已經(jīng)無法獲得較高的識別率。以上結果可以得出，所提方法識別準確率最高，表明從熔池圖像中提取的特征信息更全面。說明所提方法提高了獲取全局信息的能力，有效減少高層特征的信息丟失，同時還提升了模型的泛化能力。即本文提出的方法更適用于金屬激光熔化沉積中熔池狀態(tài)的識別。

5 ?結論

本文研究了一種金字塔池化卷積神經(jīng)網(wǎng)絡的金屬激光熔化沉積熔池狀態(tài)識別方法。構建了金字塔池化卷積神經(jīng)網(wǎng)絡，從而融合了不同尺度的特征，提高了獲取全局信息的能力，提升了識別準確率，從而有效的減少高層特征的信息丟失問題。同時在懲罰函數(shù)中添加L2懲罰項用于正則化處理，提高了模型的泛化能力。分析了網(wǎng)絡中兩個重要參數(shù)對于識別準確率的影響。研究表明：第一層卷積核尺寸為5×5，卷積層和金字塔池化模塊含有64+8×3個卷積核使網(wǎng)絡在識別準確率上達到最佳。相比于其他方法，在4組平行實驗中，所提方法最高識別準確性達到96.80%。同時該方法也為激光熔化沉積質量的反饋控制提供了重要支持。

參考文獻：

[1]全國增材制造標準化技術委員會.GB/T 35351-2017，增材制造術語[S].北京：中國標準出版社，2017.

[2]唐梓玨，劉偉嵬，顏昭睿，等.基于熔池動態(tài)特征的金屬激光熔化沉積形狀精度演化行為研究[J].機械工程學報，2019，55（15）：39-47.

[3]Hofman J T， Pathiraj B， DIJK V J， et al. A camera based feedback control strategy for the laser cladding process[J]. Journal of Materials Processing Technology. 2012， 212（11）： 2455-2462.

[4]劉新鋒，高進強，姜錫瑞，等.連續(xù)電流TIG焊熔池圖像的低成本自動化檢測[J].焊接學報，2001（06）：25-28.

[5]李彥冬，郝宗波，雷航.卷積神經(jīng)網(wǎng)絡研究綜述[J].計算機應用，2016，36（09）：2508-2515.

[6]Wang F T， Deng G， Ma L J， et al. Convolutional Neural Network Based on Spiral Arrangement of Features and Its Application in Bearing Fault Diagnosis[J]. IEEE Access. 2019， 7： 64092-64100.

[7]Jiao J， Zhao M， Lin J， et al. A multivariate encoder information based convolutional neural network for intelligent fault diagnosis of planetary gearboxes[J]. Knowledge-Based Systems. 2018， 160： 237-250.

[8]李海超，劉景風，謝吉兵，等.基于卷積神經(jīng)網(wǎng)絡的GTAW熔透預測[J].機械工程學報，2019，55（17）：22-28.

[9]Zhang Y， Hong G S， Ye D， et al. Extraction and evaluation of melt pool， plume and spatter information for powder-bed fusion AM process monitoring[J]. Materials & Design. 2018， 156： 458-469.

[10]Zhao H S， Shi J P， Qi X J， et al. Pyramid Scene Parsing Network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， July 21-26， 2017， Honolulu， HI， USA：IEEE， 17355193.

[11]李恒，張氫，秦仙蓉，等.基于短時傅里葉變換和卷積神經(jīng)網(wǎng)絡的軸承故障診斷方法[J].振動與沖擊，2018，37（19）：124-131.