劉建紅

(天津職業(yè)大學，天津300410)

鍛造裂紋的識別與檢測是大型鍛件熱鍛過程中質(zhì)量控制的一個重要環(huán)節(jié)。傳統(tǒng)條件下，大型鍛件鍛造裂紋的檢測主要依靠人工在線識別、記錄，由于鍛造現(xiàn)場的特殊性，只能通過遠距離觀察，記錄工序環(huán)節(jié)和出現(xiàn)的位置，估算裂紋的尺度，用于后續(xù)產(chǎn)品質(zhì)量跟蹤。目前雖然可以通過攝像頭、數(shù)碼相機等影像設(shè)備來比較容易的實現(xiàn)鍛造圖像采集，但是還無法依靠計算機來準確地判斷出特定時刻鍛件是否存在鍛造裂紋，以及自動確定裂紋的位置和尺度等信息，而實現(xiàn)這個流程的自動化關(guān)鍵在于圖像的智能識別與分析。

當前，深度學習領(lǐng)域特別是在計算機視覺方面發(fā)展迅速[1]，已經(jīng)能夠在復雜的環(huán)境工況下，進行準確、高效的特征識別，并在此基礎(chǔ)上實現(xiàn)智能決策。同時，現(xiàn)在已經(jīng)存在很多針對一般性數(shù)據(jù)集的預訓練模型，在此基礎(chǔ)上，針對具體的問題，采用遷移學習，可以以很少的數(shù)據(jù)量和計算量針對特征相對具體的數(shù)據(jù)集獲得非常高的特征識別效果。

本文以熱鍛過程中鍛造裂紋的檢測為研究對象，依托百度AI的Easydl Pro深度學習平臺，針對采用手機及卡片機拍攝的約100張包含鍛造裂紋的熱鍛現(xiàn)場照片小型數(shù)據(jù)集進行了矩形框檢測識別訓練，并采用平臺目前所提供的SSD-MobileNet、YOLOv3-DarkNet以及Faster_R-CNN-ResNet50-FPN(以下分別簡記為SSD、YOLO、FRCNN)三種深度網(wǎng)絡(luò)模型進行了識別效果對比和討論。

圖1 基于深度學習網(wǎng)絡(luò)的鍛造裂紋自動檢測流程Figure 1 Automatic detection process for forging crackbased on deep learning network

1 鍛造裂紋自動檢測模型訓練流程

基于深度學習的鍛造裂紋的檢測識別過程屬于圖像深度學習問題中物體檢測類問題，可以按照物體檢測的流程來進行實施。如圖1所示，首先，需要搜集整理一定量的能夠反映鍛造現(xiàn)場圖像采集環(huán)境的、存在鍛造裂紋的照片。在此基礎(chǔ)上，需要人為的對圖像中的鍛造裂紋區(qū)域進行標記，從而形成具有標記信息的鍛造裂紋圖片數(shù)據(jù)集。之后，還需要選取具有圖像檢測能力的深度學習模型。本文所采用的SSD、YOLO以及Faster-RCNN模型均為當前識別效果較好的深度網(wǎng)絡(luò)模型，其中前兩者相對較快，后者識別精度較高。在準備好數(shù)據(jù)集以及深度學習模型后，就可以依托深度學習框架對模型進行訓練，當前比較主流的深度學習框架包括Tenserflow、Caffe、PyTorch等，其中國內(nèi)以百度的PaddlePaddle比較典型，而本文采用的Easydl平臺是基于PaddelPaddel框架的定制化平臺，能夠比較方便的進行圖像標記、創(chuàng)建訓練任務(wù)以及模型部署，比較適合工程問題的快速實現(xiàn)。

此外，對于一般性的深度學習問題，如果模型的內(nèi)部參數(shù)是隨機的，那么這個訓練過程會非常耗時，而且效果也不太好，因此一般的訓練都是采用經(jīng)過預訓練的模型。對于圖像相關(guān)的問題，這種預訓練的模型通常是建立在對大量一般性圖片數(shù)據(jù)集的特征識別基礎(chǔ)上的，其所提供的預訓練模型內(nèi)部參數(shù)已經(jīng)針對圖像的特征識別問題進行過訓練與優(yōu)化，在此基礎(chǔ)上針對特定的圖像數(shù)據(jù)集進行定制化訓練能夠在較短的時間內(nèi)獲得較好的訓練效果。本文所采用的三類預訓練模型均為Easydl平臺內(nèi)置的預訓練模型。

圖2 訓練用的D1-D3數(shù)據(jù)集示例Figure 2 Examples of D1-D3 datasets for training

圖3 測試數(shù)據(jù)集D4典型照片F(xiàn)igure 3 Typical photographs of the test datasets D4

圖4 對裂紋進行矩形框標注后的典型照片F(xiàn)igure 4 Typical photographs of cracks markedwith rectangular frames

2 鍛造裂紋數(shù)據(jù)集

本文所采用的數(shù)據(jù)集包含三個版本D1、D2和D3，如圖2所示，其中下部大圖為數(shù)據(jù)集典型照片，白色矩形框為標記位置。

(1)D1為原始的數(shù)據(jù)集，包含108張照片。在對該數(shù)據(jù)集標注的過程中，以盡可能多的囊括全部鍛造裂紋的區(qū)域作為標注原則，因此一些疑似區(qū)域、一些非常小的裂紋區(qū)域均作了標注。

(2)D2數(shù)據(jù)集包含102張照片，在D1基礎(chǔ)上，剔除了6張非鍛造過程中以及比較模糊的鍛件照片，剔除了一些小尺度的、疑似的裂紋標記。由于當前數(shù)據(jù)集比較小，對于鍛前大量覆蓋氧化皮的情形，即便是在鍛造現(xiàn)場也很難區(qū)分裂紋與氧化碎裂縫隙，因此這里將這些照片也進行了剔除。同時小的裂紋，以及一些具有裂紋特征但是尺寸圓滑的鍛件表面凹陷，如果不進一步發(fā)展，對于鍛造質(zhì)量的影響非常有限，因此識別這些特征增加了計算難度，但是實際意義不大，在D2數(shù)據(jù)集中不再對這種區(qū)域進行標注。

(3)D3數(shù)據(jù)集包含100張照片，是在D2數(shù)據(jù)集基礎(chǔ)上進一步剔除了兩張模糊照片，并僅保留了對特征非常清晰的裂紋的標注。D2雖然剔除了一部分小裂紋及疑似裂紋，但是剔除的非常有限，相對而言，D3剔除的更為激進。這樣處理主要是檢驗數(shù)據(jù)的篩選甄別對模型效果的影響。

除了訓練數(shù)據(jù)集，這里準備了由30張照片組成的測試數(shù)據(jù)集D4。前述的訓練數(shù)據(jù)既有鍛造過程的，也有鍛件翻轉(zhuǎn)、轉(zhuǎn)運等階段的照片，以及一些拍攝角度比較偏和拍攝效果不太理想的照片，比如從鍛件側(cè)面拍攝的，以及拍攝存在模糊，從而最大程度地與鍛造環(huán)境中一般檢測者的視角保持一致，但是對于關(guān)鍵階段的鍛造裂紋檢測與記錄，圖像的采集一般是有所選擇性的，比如專門針對鐓粗階段采集圖像，或者針對成品階段采集圖像，在這種情形下所拍攝的照片會比較典型，而測試數(shù)據(jù)集D4就是針對這種情形進行遴選的，用來考察訓練出的模型針對典型環(huán)境下的裂紋識別的效果。

3 數(shù)據(jù)集訓練與結(jié)果對比

在準備好上述數(shù)據(jù)集的基礎(chǔ)上，基于Easydl Pro平臺，對數(shù)據(jù)集進行了矩形框標注，即對裂紋位置采用盡可能緊致的矩形框進行了標記并在平臺中保存標記信息，典型照片如圖4所示。由于本文只研究鍛造裂紋，因此只創(chuàng)建了“crack”這一種標記標簽。

數(shù)據(jù)標注完畢后，就可以創(chuàng)建深度學習任務(wù)。

表1 訓練任務(wù)基本參數(shù)及訓練效果對比Table 1 Comparison of basic parameters and training effects of the training tasks

表2 基于V5的第二次訓練效果Table 2 The second training effect based onV5 training task

采用FRCNN模型進行模型訓練的過程中，需要用到錨框，通過不同長寬比、不同大小的錨框來對需要檢測的裂紋進行篩選識別。默認設(shè)置下錨框的長寬比有0.5、1.0、2.0三種。錨框的選取對于識別的效果會產(chǎn)生影響。鍛造裂紋常規(guī)條件下一般表現(xiàn)為細長狀，即具有較大的長寬比，因此，這里在默認的基礎(chǔ)上，對部分訓練任務(wù)增加了多個錨框的長寬比，如表1所示V4、V5、V10幾個訓練版本。除此之外，包括SSD、YOLO模型在內(nèi)的其他訓練任務(wù)均采用平臺的默認參數(shù)設(shè)置。最終創(chuàng)建的10個訓練任務(wù)的訓練結(jié)果如表1所示，其中閾值為平臺根據(jù)計算給出的能夠獲得最好的評價效果的門檻值，mAP表示在當前閾值下正確識別并標記裂紋的準確率。精確率指的是預測為裂紋的位置有多少比率是正確的，而召回率指的是標記的裂紋有多少被正確識別。對于鍛造裂紋而言，在無法正確識別的前提下，從保守的角度來考慮，一些疑似位置被識別為裂紋是允許的，但是裂紋位置沒有被識別則存在潛在的危害性，因此在mAP相同水平下，訓練的模型應盡可能保持低精確率和高召回率。

(1)數(shù)據(jù)集的對比

從表1可見，通過適當剔除干擾數(shù)據(jù)的D2數(shù)據(jù)集可以獲得最優(yōu)的裂紋識別結(jié)果，對于已標記數(shù)據(jù)能夠達到77%以上的準確率。但是進一步剔除數(shù)據(jù)的D3數(shù)據(jù)集的實際訓練效果并不佳，反而劣于D2數(shù)據(jù)集的訓練效果，準確率整體在70%以下。

(2)深度學習模型的對比

從所采用的三類深度學習模型來看，SSD模型的訓練結(jié)果最差，YOLO模型的訓練結(jié)果雖然優(yōu)于SSD模型，但是較FRCNN模型存在明顯的差別。雖然理論上SSD、YOLO模型的計算效率較高，但是對于當前數(shù)據(jù)集而言與FRCNN的識別精度差別過于明顯。由于數(shù)據(jù)集有限，無法檢驗增大數(shù)據(jù)集量后是否能夠縮小模型間的識別精度差別。

(3)錨框的長寬比

根據(jù)表1的訓練結(jié)果，通過V1、V4的對比以及V5、V6的對比可以看出增加錨框的長寬比，使錨框尺度與鍛造裂紋的尺度匹配性更好，能夠適度改進模型的識別效果，準確率略有提升，可以獲得更高的召回率。

綜合評價上述結(jié)果，V5模型的表現(xiàn)最為優(yōu)異。因此，在上述訓練對比的基礎(chǔ)上，針對V5模型進行了進一步的測試數(shù)據(jù)集檢驗以及識別效果驗證。

4 識別效果驗證

在模型訓練基礎(chǔ)上，采用V5訓練任務(wù)相同的設(shè)定條件對D2數(shù)據(jù)集進行了第二次訓練，同時將D4設(shè)為測試數(shù)據(jù)集驗證訓練效果，訓練結(jié)果如表2所示。

由于深度學習的特性，即便在相同的數(shù)據(jù)集以及相同的預訓練模型條件下，所獲得的訓練結(jié)果也會存在一定的差異，可以看出第二次訓練的mAP等指標相比V5模型略有浮動，但是基本相同，準確率約78%，接近80%。相對而言，針對測試數(shù)據(jù)集，模型的檢驗效果很好，準確率接近90%，精確率和召回率均在90%左右。由此可見，當前訓練的模型雖然受數(shù)據(jù)集規(guī)模的影響，對于一般性場景的檢測準確率不到80%，但是如果以裂紋檢測為目的有意識的獲取圖像，確保圖像不至于太模糊，光線適中，則檢測效果非常良好。需要說明的是，表2的測試數(shù)據(jù)是建立在平臺根據(jù)訓練結(jié)果確定的不同閾值水平上的，圖5為Easydl平臺給出F1-score與閾值的關(guān)系，而F1-score為精確率與召回率的調(diào)和平均數(shù)，可見對于當前模型，閾值對mAP等指標的影響很小，對mAP等指標的對比是可靠的。

圖5 由Easydl平臺給出的針對D2數(shù)據(jù)集第二次訓練獲得的F1-score與閾值的關(guān)系Figure 5 Relation between F1-score and threshold of the 2nd training of D2 datasets offered by Easydl platform

圖6 采用訓練好的模型對鍛造裂紋的檢測效果Figure 6 Forging crack detection effects examinedby the trained model

圖6是采用訓練好的模型分別對鐓粗和拔長壓實階段的鍛造裂紋的識別與檢測結(jié)果?？梢钥闯觯斍坝柧毢玫哪Ｐ湍軌?qū)﹀懺炝鸭y進行準確標記、識別，并可以返回裂紋在圖像中的位置以及尺度信息，經(jīng)過尺寸標定后可以用于工藝研究與質(zhì)量跟蹤。

5 總結(jié)

本文基于Easydl Pro深度學習平臺，在較小的數(shù)據(jù)量(100張普通質(zhì)量照片)條件下，采用FRCNN深度學習模型，針對一般鍛件場景實現(xiàn)了78%的鍛造裂紋識別準確度，針對鍛造實施過程中典型檢測場景實現(xiàn)了90%的鍛造裂紋識別準確度。

本文受數(shù)據(jù)量限制，模型精度還存在進一步改善空間，在此基礎(chǔ)上，如果能進一步加大訓練數(shù)據(jù)量，應能獲得可以代替人工質(zhì)檢的鍛造裂紋識別及檢測能力。