□ 韓少恒

上海電氣集團股份有限公司 中央研究院 上海 200070

1 研究背景

隨著信息化和智能化技術(shù)的發(fā)展,焊縫缺陷檢測技術(shù)將會趨向自動化、精益化、快速化[1]。通過數(shù)字化手段,將大量物理膠片電子化存檔,為焊縫缺陷檢測系統(tǒng)的實現(xiàn)提供了數(shù)據(jù)基礎(chǔ)。由于視覺信息具有方便直觀、信息量大、易于處理的特點,因此在管道焊縫缺陷檢測等方面具有廣闊的應(yīng)用空間。

當前,計算資源算力提高,使復(fù)雜、大規(guī)模、多層級的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練成為可能[2]。通過輸入大量已標注好的缺陷圖像,針對已設(shè)計好的焊縫缺陷檢測深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,可以得到有很高檢測準確率的焊縫缺陷檢測模型。相對于人通過肉眼的識別,深度學(xué)習(xí)模型具有更快的識別速度,并且可以檢測出更微小的缺陷。

在焊縫缺陷檢測系統(tǒng)中,規(guī)范、統(tǒng)一、高質(zhì)量的數(shù)據(jù)有助于提高檢測模型的性能,便于后期模型訓(xùn)練的升級迭代和數(shù)據(jù)分析,提高數(shù)據(jù)利用率,對提高焊縫缺陷檢測系統(tǒng)的性能有著重要作用[3]。壓力容器生產(chǎn)企業(yè)普遍采用射線透照的方式來檢測焊縫區(qū)域的焊接質(zhì)量,由此積攢了大量物理膠片檔案,這為深度學(xué)習(xí)模型提供了豐富的訓(xùn)練樣本。這些歷史膠片樣本數(shù)據(jù)如果可以被充分用于模型訓(xùn)練,將提高模型的魯棒性和泛化能力。同類型缺陷膠片樣本的增加,也可以有效提高該類缺陷檢測的準確率。除此之外,膠片數(shù)字化后,不再受時空限制,可以通過網(wǎng)絡(luò)實現(xiàn)遠程評片[4]。系統(tǒng)通過集成多種圖像預(yù)處理,如去模糊、去相似、圖像旋轉(zhuǎn)、亮度調(diào)整、對比度調(diào)整、飽和度調(diào)整、一鍵正負片等操作,可以增強圖像的顯示效果,使評片員更容易發(fā)現(xiàn)缺陷,評片的準確率也更高,由此提高評片員的評片效率。

智能化焊縫缺陷檢測系統(tǒng)以膠片圖像和數(shù)據(jù)為基礎(chǔ),結(jié)合深度學(xué)習(xí)視覺檢測技術(shù)及膠片數(shù)據(jù)規(guī)范化管理技術(shù),同時采用焊材參數(shù)和焊機運行數(shù)據(jù),實現(xiàn)焊縫缺陷檢測、焊縫缺陷溯源、故障分析、知識積累等一體化檢測功能。通過對焊縫缺陷進行全生命周期管理,將焊縫缺陷自動化檢測與人工復(fù)核相結(jié)合,最終實現(xiàn)焊縫缺陷檢測的自動化、智能化、快速化,形成企業(yè)信息閉環(huán),有效降低企業(yè)生產(chǎn)運行成本,提高焊機設(shè)備的使用效率。

2 系統(tǒng)技術(shù)方案

2.1 技術(shù)路線

基于需求,采用層級組織方案進行智能化焊縫缺陷檢測系統(tǒng)總體架構(gòu)的搭建,其技術(shù)路線如圖1所示。整個系統(tǒng)設(shè)計為三個層級:應(yīng)用層、技術(shù)支撐層、基礎(chǔ)支撐層。應(yīng)用層直接面向用戶,采用算法調(diào)用接口,為用戶提供服務(wù)。技術(shù)支撐層為具體實現(xiàn)系統(tǒng)功能而提供支撐。基礎(chǔ)支撐層包括計算環(huán)境支撐和數(shù)據(jù)支撐,計算環(huán)境支撐提供系統(tǒng)所需的計算資源,數(shù)據(jù)支撐提供數(shù)據(jù)存儲,使用MySQL數(shù)據(jù)庫存儲原始圖像數(shù)據(jù)、標注數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等。

▲圖1 智能化焊縫缺陷檢測系統(tǒng)技術(shù)路線

2.2 膠片管理

膠片管理通過調(diào)用光學(xué)字符識別模型接口來識別膠片上的字符串信息,根據(jù)字符串信息,經(jīng)過字符串匹配,進行分類歸檔,實現(xiàn)包括圖像預(yù)處理、自動識別圖像標志、提取關(guān)鍵信息、根據(jù)字符串關(guān)聯(lián)匹配項目、膠片增刪改查管理等功能。

2.3 缺陷檢測

缺陷檢測時,通過輸入大量已標注圖像對缺陷檢測模型進行訓(xùn)練,產(chǎn)生缺陷識別準確率高的算法模型,并封裝成接口,供系統(tǒng)調(diào)用。缺陷檢測實現(xiàn)過程主要包含以下步驟:

(1) 圖像采集,使用相應(yīng)設(shè)備采集圖像;

(2) 圖像處理,對采集到的圖像進行圖像歸一化、尺寸調(diào)整等操作;

(3) 焊縫檢測,使用目標檢測算法從圖像中檢測出焊縫,并截取為小圖,作為下一步的輸入;

(4) 缺陷檢測,使用焊縫缺陷檢測算法,從焊縫小圖中檢測出不同種類的缺陷及其位置;

(5) 分類規(guī)則,根據(jù)第(3)、第(4)步的結(jié)果,利用規(guī)則判斷焊縫的缺陷級數(shù);

(6) 算法模型調(diào)用,通過接口方式調(diào)用缺陷檢測模型,返回缺陷及位置信息。

2.4 系統(tǒng)結(jié)構(gòu)

智能化焊縫缺陷檢測系統(tǒng)主要包括智能評片模塊、數(shù)據(jù)管理模塊、人工智能標注模塊,如圖2所示。

▲圖2 智能化焊縫缺陷檢測系統(tǒng)模塊

智能評片模塊通過實時調(diào)用焊縫缺陷檢測算法,對每一張新錄入的圖像進行缺陷檢測。對實時檢測中出現(xiàn)焊縫缺陷的圖像,根據(jù)缺陷程度進行報警提示,包括返工建議等。在這一模塊中,對于存在缺陷的圖像,由采集員將圖像加載進來,評片員可以使用拉框、標簽等工具對缺陷圖像的缺陷位置進行人工標注,以及對已有的標注進行編輯與修改。

數(shù)據(jù)管理模塊通過光學(xué)字符識別技術(shù),借助機器視覺分擔(dān)甚至代替人工對圖像中的焊縫編號等字符進行識別,提取出關(guān)鍵信息,關(guān)聯(lián)相關(guān)項目,對膠片進行電子化歸檔與管理,實現(xiàn)用戶對膠片的查詢、傳輸及遠程評片[5-7]。

對于已標注好的圖像,經(jīng)過項目經(jīng)理、專家等審核后進入缺陷片庫。該類型圖像用于相關(guān)圖像識別模型訓(xùn)練,并產(chǎn)生智能標注模型,用于后續(xù)人工智能輔助標注。

3 系統(tǒng)功能

3.1 智能評片

通過智能評片模塊對膠片進行數(shù)字化管理,結(jié)合人工智能視覺檢測技術(shù),實現(xiàn)對焊縫缺陷膠片實時監(jiān)測與異常報警。同時提供樣本管理、圖像樣本標注、人工復(fù)核、焊縫知識圖譜管理、缺陷自動分級、檢測報告匯總導(dǎo)出等,輔助檢測人員實現(xiàn)焊縫缺陷檢測,形成焊縫缺陷一站式質(zhì)檢系統(tǒng),并充分利用深度學(xué)習(xí)技術(shù)和積累的焊接機理知識,提高現(xiàn)有檢測效率和檢測準確率,為焊接設(shè)備運維及焊接品質(zhì)在線檢測的產(chǎn)品化研發(fā)奠定基礎(chǔ)。

3.2 數(shù)據(jù)管理

數(shù)據(jù)管理模塊通過掃描儀將膠片轉(zhuǎn)換為數(shù)字化圖像,并通過光學(xué)字符識別技術(shù),借助機器視覺分擔(dān)甚至代替人工對圖像中的焊縫編號等字符進行識別,提取出關(guān)鍵信息,關(guān)聯(lián)相關(guān)項目,對膠片進行電子化歸檔與管理,實現(xiàn)用戶對膠片的查詢、傳輸及在線評片。同時提供圖像預(yù)處理模塊對圖像進行去模糊、去相似、畫質(zhì)增強等處理。其中,在線評片提供了拉框、標注、圖像旋轉(zhuǎn)、亮度調(diào)整、對比度調(diào)整、飽和度調(diào)整、一鍵正負片等功能組件,方便評片員調(diào)整圖像,更好地閱片[8]。

對于已標注好的圖像,經(jīng)過項目經(jīng)理、專家等審核后錄入缺陷片庫。該類型缺陷圖像可作為焊縫缺陷檢測模型的訓(xùn)練樣本,模型經(jīng)過訓(xùn)練后產(chǎn)生的智能標注模型,可用于后續(xù)人工智能輔助標注。對于缺陷片庫中的缺陷圖像,評片員可以提出問題,由項目經(jīng)理、專家或其他人員進行答疑,形成問題記錄,便于相關(guān)人員學(xué)習(xí)借鑒。項目經(jīng)理可以通過項目概覽,查看項目整體情況,包括圖像數(shù)量、圖像長寬比、屬性標簽數(shù)量分布等,并生成統(tǒng)計報告,便于存檔打印。

3.3 人工智能標注

用戶在人工智能標注模塊中選擇要訓(xùn)練的底片樣本,進行參數(shù)配置后,保存至智能標注模型庫中。對后續(xù)新掃描的同類底片進行評片操作時,可以選擇使用已訓(xùn)練好的人工智能標注模型輔助評片,進行批量操作。隨著樣本數(shù)量的增加,可以持續(xù)對模型進行升級迭代,能夠提高后續(xù)升級迭代的效率,提高靈活性,并且降低迭代成本。

4 系統(tǒng)實現(xiàn)

智能化焊縫缺陷檢測系統(tǒng)采用瀏覽器/服務(wù)器架構(gòu)進行設(shè)計,軟件框架的技術(shù)方案選擇Spring Boot框架加Vue框架的前端組件構(gòu)成方式,對于界面布局、顏色、風(fēng)格,參照通用界面方案,數(shù)據(jù)存儲采用MySQL數(shù)據(jù)庫[9]。通過智能評片、數(shù)據(jù)管理、人工智能標注等模塊,實現(xiàn)自動化實時焊縫缺陷檢測。在系統(tǒng)中,部分缺陷檢測詳情頁面如圖3所示,批次信息詳情頁面如圖4所示。

▲圖3 缺陷檢測詳情頁面▲圖4 批次信息詳情頁面

5 結(jié)束語

針對焊縫缺陷檢測場景,構(gòu)建了一套智能化焊縫缺陷檢測系統(tǒng)[10]。在智能化焊縫缺陷檢測系統(tǒng)中,對膠片進行電子化歸檔與管理,實現(xiàn)用戶對膠片的查詢、傳輸及在線評片,避免傳統(tǒng)物理存儲的底片氧化、粘連等問題。實現(xiàn)底片數(shù)字化后,節(jié)省了檔案室等物理空間。結(jié)合成熟的深度學(xué)習(xí)技術(shù)和評片經(jīng)驗,將已入庫膠片樣本用于模型訓(xùn)練,從而實現(xiàn)人工智能評片,顯著提升評片效率,減輕工人負擔(dān),降低企業(yè)成本。充分利用深度學(xué)習(xí)技術(shù)和積累的焊接知識,提高現(xiàn)有檢測效率和檢測準確率,為焊接設(shè)備運維及焊接品質(zhì)在線檢測產(chǎn)品化研發(fā)奠定基礎(chǔ)。