劉亞姣 于海濤 劉寶順 張磊 紀(jì)廣勝 王江

摘要：為了提升H型鋼的表面質(zhì)量和安全系數(shù)，設(shè)計了一種基于YOLOv3算法的型鋼表面缺陷檢測系統(tǒng)。設(shè)計的檢測系統(tǒng)由硬件系統(tǒng)和軟件系統(tǒng)組成：硬件系統(tǒng)包括八角架式圖像采集裝置、電動控制系統(tǒng)和通信系統(tǒng);軟件系統(tǒng)采用YOLOv3目標(biāo)檢測算法。現(xiàn)場測試結(jié)果表明：1）檢測系統(tǒng)可實(shí)時采集圖像，并根據(jù)H型鋼的規(guī)格型號能夠自動調(diào)節(jié)圖像采集裝置結(jié)構(gòu)，準(zhǔn)確快速地跟蹤被檢測目標(biāo)，獲得H型鋼的高清全景圖像;2）檢測系統(tǒng)可對H型鋼表面缺陷進(jìn)行在線檢測、分類和定位，并兼顧檢測精度與檢測速度，檢測精度為81.25%，檢測速度為30.78幀/s;3）檢測系統(tǒng)能夠準(zhǔn)確識別H型鋼的結(jié)疤、凹坑、劃傷和擊傷等4類典型缺陷，滿足生產(chǎn)過程中表面缺陷檢測的實(shí)際需求。開發(fā)的型鋼表面缺陷檢測系統(tǒng)為H型鋼表面質(zhì)量智能化檢測工作提供了新的選擇。

關(guān)鍵詞：計算機(jī)圖像處理; H型鋼; 表面缺陷; 檢測系統(tǒng); YOLOv3算法

中圖分類號：TU392文獻(xiàn)標(biāo)識碼：ADOI： 10.7535/hbgykj.2021yx03010

Abstract： In order to improve the surface quality and safety factor of H-beam， an H-beam surface defect detection system based on YOLOv3 （you only look once） algorithm was designed. The designed detection system was composed of hardware system and software system. Octagonal frame image acquisition device， electric control system and communication system were included in the hardware system. The YOLOv3 target detection algorithm was used in the software system. The field test results show that： 1） the detection system can capture the surface image of H-beam in real time， and automatically adjust the structure of the image acquisition device according to the types of H-beam， accurately and quickly track the detected targets， and obtain high-definition panoramic images of H-beam; 2） the online detection， classification and location of H-beam surface defects can be carried out by the detection system， and both the detection accuracy and the detection speed are taken into account. The detection accuracy is 81.25%， and the detection speed is 30.78 frames/s; 3） the detection system can accurately identify four types of typical defects of H-beam， such as scar， pit， scratch and hit， which can meet the actual requirements of surface defect detection in the production process. The developed surface defect detection system provides a new choice for the intelligent detection of H-beam surface quality.

Keywords：computer image processing; H-beam; surface defect; detection system; YOLOv3 algorithm

H型鋼是各類基礎(chǔ)設(shè)施建設(shè)的重要鋼材，但在H型鋼生產(chǎn)過程中由于生產(chǎn)工藝和現(xiàn)場環(huán)境的復(fù)雜性，易導(dǎo)致鋼鐵表面出現(xiàn)如凹坑、結(jié)疤、劃傷、擊傷等多種類型缺陷，嚴(yán)重影響了H型鋼的品質(zhì)和安全系數(shù)[1-2]。因此，對H型鋼表面缺陷進(jìn)行檢測和提高型鋼表面質(zhì)量是鋼鐵企業(yè)的首要任務(wù)。

鋼材表面缺陷檢測經(jīng)歷了人工檢測、傳統(tǒng)光電檢測和機(jī)器視覺檢測3個主要發(fā)展階段[3-4]。目前，國外已經(jīng)開發(fā)出實(shí)用的機(jī)器視覺鋼材表面缺陷檢測系統(tǒng)，如在幾何形狀較為簡單的鋼板、鋼帶、鋼管等管線材領(lǐng)域。美國Cognex公司研發(fā)了具有自學(xué)習(xí)分類系統(tǒng)的iS-2000鋼板表面缺陷檢測系統(tǒng)，并在LTV公司中得到推廣[5];德國Parsytec公司開發(fā)的冷軋鋼帶表面檢測系統(tǒng)hTS-2被成功應(yīng)用在浦項制鐵生產(chǎn)線[6];美國OG公司研發(fā)的Hot Eye系統(tǒng)可對高溫狀態(tài)下的線材進(jìn)行實(shí)時表面缺陷識別，在浦項、現(xiàn)代等鋼鐵生產(chǎn)線均有應(yīng)用[7]。而中國相關(guān)研究起步較晚，東北大學(xué)研制的熱軋鋼帶的表面缺陷系統(tǒng)實(shí)現(xiàn)了常見缺陷類型的檢測[8];北京科技大學(xué)、天津大學(xué)等研制了冷軋鋼板表面缺陷的檢測系統(tǒng)[4，9]。而針對H型鋼等幾何形狀相對復(fù)雜的鋼材而言，鮮有研究。

隨著人工智能和深度學(xué)習(xí)的快速發(fā)展，利用機(jī)器視覺對表面缺陷進(jìn)行精準(zhǔn)定位與準(zhǔn)確識別，在解決表面缺陷檢測技術(shù)問題上逐漸成熟可行[10]。一般來說，基于深度學(xué)習(xí)的缺陷檢測網(wǎng)絡(luò)從結(jié)構(gòu)上可劃分為以Faster R-CNN[11]為代表的兩階段網(wǎng)絡(luò)和以YOLO[12]為代表的一階段網(wǎng)絡(luò)。YOLO作為一種基于CNN的目標(biāo)實(shí)時檢測算法，因其優(yōu)越的檢測速度在實(shí)時檢測系統(tǒng)中備受關(guān)注[13]。文獻(xiàn)[14]將最新YOLOv3（you only look once）應(yīng)用于路面破損的檢測和分類中，綜合檢測準(zhǔn)確率達(dá)到73.64%，處理速度達(dá)到0.034 7 s/張。文獻(xiàn)[15]基于YOLO檢測算法提出了一個端到端的實(shí)時車牌自動識別系統(tǒng)，在公共數(shù)據(jù)集上取得了良好的效果。上述研究在YOLO的應(yīng)用拓展方面做了許多工作，驗(yàn)證了該算法在實(shí)時檢測領(lǐng)域的有效性。

因此，本文結(jié)合H型鋼表面檢測需求，研制了基于YOLOv3的H型鋼表面缺陷檢測系統(tǒng)，利用八角架式圖像采集裝置，對生產(chǎn)過程中的不同型號H型鋼進(jìn)行全表面成像;并采用先進(jìn)的高實(shí)時性目標(biāo)檢測算法YOLOv3，對H型鋼表面缺陷進(jìn)行檢測識別。第3期劉亞姣，等： 基于YOLOv3的H型鋼表面缺陷檢測系統(tǒng)河北工業(yè)科技第38卷

1表面缺陷檢測硬件系統(tǒng)設(shè)計

根據(jù)H型鋼表面特點(diǎn)和表面圖像采集的難點(diǎn)，設(shè)計了一種八角架式H型鋼表面成像系統(tǒng)，如圖1所示，以獲取H型鋼的全方位高質(zhì)量表面圖像。該表面成像系統(tǒng)通過8組線陣相機(jī)和光源分別對H型鋼上下腹板面、上下翼緣板內(nèi)側(cè)面、左右翼緣板外側(cè)面進(jìn)行成像?；贖型鋼的眾多規(guī)格，本系統(tǒng)選擇Teledyne DALSA 公司 Linea 系列黑白線陣工業(yè)相機(jī)及Kowa 公司 LM12HC 和 LM35HC鏡頭進(jìn)行 H 型鋼表面缺陷檢測系統(tǒng)的搭建。同時，考慮H型鋼生產(chǎn)現(xiàn)場的照明條件，選擇東冠公司的 SLP 遠(yuǎn)射型線LED 光源作為照明光源。通過該表面成像系統(tǒng)從不同的位置拍攝H型鋼的表面，可以滿足H型鋼全表面成像的要求。

除表面成像系統(tǒng)外，H型鋼表面缺陷檢測硬件系統(tǒng)還包括電動控制系統(tǒng)和通信系統(tǒng)。電動控制模塊通過測距傳感器，判斷H型鋼型號，進(jìn)而控制電機(jī)，將圖像采集模塊運(yùn)送到指定位置;通信模塊通過PLC、光電開關(guān)和速度編碼器等設(shè)備，控制工業(yè)相機(jī)的采集狀態(tài)和采集頻率，并建立圖像采集模塊和電動控制模塊之間的信息通信。圖像采集模塊、電動控制模塊和通信模塊相互配合，最終實(shí)現(xiàn)不同型號H型鋼全方位表面圖像的智能采集。H型鋼表面成像系統(tǒng)流程如圖2所示。

根據(jù)H型鋼生產(chǎn)線的生產(chǎn)實(shí)際需求，對系統(tǒng)相關(guān)參數(shù)如相機(jī)行頻等進(jìn)行設(shè)置，使其可以解決不同型號型鋼在1.2～4 m/s高速生產(chǎn)過程中的全表面缺陷檢測需求，進(jìn)而輔助現(xiàn)場操作人員及時發(fā)現(xiàn)缺陷、調(diào)整工藝、切割廢料。

2表面缺陷檢測算法

2.1表面缺陷數(shù)據(jù)

基于H型鋼表面缺陷檢測系統(tǒng)，構(gòu)建了H型鋼表面缺陷數(shù)據(jù)庫，并完成了數(shù)據(jù)標(biāo)記。該H型鋼表面缺陷數(shù)據(jù)集包含結(jié)疤、凹坑、劃傷和擊傷4種缺陷類型，每類缺陷400張，共計1 600張缺陷圖像，如圖3所示。從圖3中可以看出，結(jié)疤缺陷多呈弧形狀;凹坑缺陷形態(tài)類似小圓點(diǎn);劃傷缺陷大多呈細(xì)長線形;擊傷缺陷形狀多樣，呈橫向分布。

在實(shí)際工業(yè)生產(chǎn)中，由于生產(chǎn)設(shè)備及生產(chǎn)工藝的提升，大量的缺陷樣本往往難以獲取，而深度學(xué)習(xí)模型的訓(xùn)練需要大量數(shù)據(jù)作支撐，為了提高缺陷檢測的性能，以防止少量樣本訓(xùn)練造成的過擬合現(xiàn)象，影響模型的泛化能力。本文采用亮度調(diào)整、對比度調(diào)整、噪聲擾動、翻轉(zhuǎn)變換、多角度旋轉(zhuǎn)變換等方法對數(shù)據(jù)庫缺陷數(shù)據(jù)進(jìn)行增廣，從而將原數(shù)據(jù)圖像數(shù)據(jù)擴(kuò)充至7倍。

2.2基于YOLOv3算法的表面缺陷檢測

YOLOv3采用基于殘差網(wǎng)絡(luò)的Darknet53網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，整個主干網(wǎng)絡(luò)共使用5個殘差模塊，在進(jìn)入各殘差模塊之前，首先要進(jìn)行1次卷積核大小為3×3，步長為2的卷積下采樣。每個殘差模塊分別由多個小的殘差單元順序連接。每個殘差單元包含2個卷積層和1個快捷鏈路層。通過使用殘差網(wǎng)絡(luò)，在層與層之間設(shè)置殘差邊，能有效地解決由于網(wǎng)絡(luò)加深帶來的梯度爆炸和梯度消失問題。在主干網(wǎng)絡(luò)提取特征后，獲得3個不同尺度的特征圖，并為每個尺度設(shè)定3種先驗(yàn)框，總共利用聚類算法得到9種不同大小的先驗(yàn)框。其中，在尺寸為13×13的特征圖上采用（116×90）、（156×198）、（373×326）先驗(yàn)框，感受野最大，適合檢測大尺度缺陷;尺寸為26×26的特征圖采用（30×61）、（62×45）、（59×119）先驗(yàn)框，具有中等尺度的感受野，適合檢測圖像中等大小的缺陷;尺寸為52×52的特征圖采用（10×13）、（16×30）、（33×23）先驗(yàn)框，感受野最小，適合檢測圖像中小尺寸的缺陷。在整個網(wǎng)絡(luò)的中間部分，YOLOv3通過上采樣和特征圖堆疊，構(gòu)造特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)融合大中小3個尺度的特征圖信息，進(jìn)行多尺度預(yù)測，加強(qiáng)目標(biāo)檢測能力。整個網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖4所示。

從圖4可以看到，原始H型鋼缺陷圖像經(jīng)過特征提取網(wǎng)絡(luò)，得到3種不同尺寸的特征圖。低尺寸的特征圖包含著更多大面積缺陷，比如劃傷、擊傷的隱含特征，高尺寸的特征圖包含更多小尺寸缺陷，如凹坑、結(jié)疤的隱含特征。

3實(shí)驗(yàn)與分析

3.1實(shí)驗(yàn)參數(shù)與評價

實(shí)驗(yàn)數(shù)據(jù)集包含11 200張圖像，每類缺陷各2 800張。圖像按4∶1隨機(jī)分為訓(xùn)練集和測試集。實(shí)驗(yàn)采用批次迭代訓(xùn)練法，批次大小設(shè)置為8，訓(xùn)練輪數(shù)設(shè)置為100次，權(quán)重衰減率為0.000 5，學(xué)習(xí)率設(shè)置為0.000 1，使用隨機(jī)梯度下降算法（SGD）優(yōu)化。實(shí)驗(yàn)在PC機(jī)上進(jìn)行，使用Intel Xeon Silver 4110 CPU，2080Ti GPU 和 64 GB 內(nèi)存。

實(shí)驗(yàn)選用平均準(zhǔn)確率均值（mean average precision，mAP）和每秒幀數(shù)（frames per second， FPS）作為模型評價指標(biāo)。

1）平均準(zhǔn)確率均值（mean average precision， mAP）：查準(zhǔn)率-召回率（precision-recall，P-R）曲線用于表征檢測算法在準(zhǔn)確率和召回率之間的平衡。針對每一類表面缺陷，該類別的平均準(zhǔn)確率AP定義為P-R曲線的面積;平均準(zhǔn)確率均值mAP是所有型鋼表面缺陷AP的均值。計算公式為

AP=∫10P（R）dR，mAP=∑Ni=1APi/N。（1）

2）每秒幀數(shù)（frames per second， FPS）：每秒幀數(shù)用于描述檢測算法每秒鐘能夠檢測的圖像數(shù)量，F(xiàn)PS值越大，算法檢測速度越快。

3.2不同檢測算法對比分析

為準(zhǔn)確評估YOLOv3檢測算法的性能，除所使用的YOLOv3算法外，另外使用2種經(jīng)典目標(biāo)檢測算法Faster R-CNN，SSD作為橫向?qū)Ρ人惴?，檢測結(jié)果如表1和圖5所示。

從表1的數(shù)據(jù)可以看到，F(xiàn)aster R-CNN與 SSD 和YOLOv3兩種橫向模型相比，在對型鋼表面缺陷數(shù)據(jù)集進(jìn)行訓(xùn)練時，F(xiàn)aster R-CNN取得了更高的檢測準(zhǔn)確率，其檢測精度達(dá)到了90.13%，但由于其算法

首先需要實(shí)現(xiàn)感興趣區(qū)域的生成，再進(jìn)行精細(xì)的缺陷檢測，導(dǎo)致檢測速度較慢，F(xiàn)PS僅為8.12，平均檢測1張圖像需要耗時123.15 ms，難以滿足在線檢測系統(tǒng)實(shí)時性要求。而SSD算法通過單階段網(wǎng)絡(luò)實(shí)現(xiàn)表面缺陷的檢測，平均每張圖像檢測時間為36.71 ms，F(xiàn)PS為27.24，相對于兩階段Faster R-CNN算法，檢測速度提升了約3倍，滿足了系統(tǒng)實(shí)時性的要求。然而，SDD算法雖然檢測速度很快，但其檢測精度有了明顯的下降，僅為70.57%mAP，檢測精度達(dá)不到要求。本文所采用的YOLOv3算法是至今為止較為優(yōu)秀的目標(biāo)檢測算法，在型鋼缺陷檢測的所有算法中表現(xiàn)出了最快的檢測速度，檢測FPS為30.78。相比SSD算法，YOLOv3算法在保持速度優(yōu)勢的前提下，檢測精度大幅提升，達(dá)到81.25%，雖與Faster R-CNN算法之間還略有差距，但檢測速度比Faster R-CNN算法快了近4倍，可以滿足實(shí)時檢測的需求。圖5為3種檢測算法在部分缺陷圖像中的檢測效果，該圖側(cè)面反映了表1的檢測結(jié)果。針對小尺度凹坑缺陷，F(xiàn)aster R-CNN算法準(zhǔn)確檢測出了全部小尺度缺陷目標(biāo)，YOLOv3算法檢測出較大尺度凹坑，忽略了較小尺度缺陷，而SSD算法未能檢測出2個小尺度的凹坑，效果最差。針對劃傷、擊傷和結(jié)疤3種其他類型缺陷，3種算法均能準(zhǔn)確檢測出目標(biāo)。

因此，YOLOv3是兼具檢測精度和檢測速度的表面缺陷檢測算法。

4結(jié)語

為提高H型鋼快速生產(chǎn)過程中表面缺陷檢測的自動化程度，研制了一種基于YOLOv3算法的H型鋼表面缺陷檢測系統(tǒng)。針對H型鋼生產(chǎn)過程中，H型鋼不同型號全表面動態(tài)采集的需求，系統(tǒng)采用了八角架式可調(diào)節(jié)相機(jī)陣列對不同型號H型鋼表面進(jìn)行全覆蓋成像。同時，根據(jù)型鋼表面缺陷特征，采用YOLOv3算法實(shí)現(xiàn)H型鋼表面缺陷的在線檢測，相比其他算法，YOLOv3算法具有81.25%的檢測精度和30.78幀/s的檢測速度，實(shí)驗(yàn)證明所采用的YOLOv3算法對缺陷的檢測精度高，且可達(dá)到實(shí)時的檢測效率。因此，本文所設(shè)計的系統(tǒng)完全能夠滿足H型鋼生產(chǎn)過程中表面缺陷檢測的效率與精度，有利于鋼材表面缺陷檢測向智能化發(fā)展。

由于實(shí)際型鋼生產(chǎn)過程中表面缺陷較難獲取，目前只對結(jié)疤、凹坑、劃傷和擊傷4類缺陷進(jìn)行了檢測，下一步將繼續(xù)擴(kuò)充表面缺陷數(shù)據(jù)集，實(shí)現(xiàn)對更多缺陷類型的檢測。

參考文獻(xiàn)/References：

[1]李碩， 徐樹成， 陳金龍. 國內(nèi)熱軋H型鋼發(fā)展現(xiàn)狀綜述[J]. 科技創(chuàng)新與應(yīng)用， 2012（30）： 86.

[2]李寧. 冷軋帶鋼表面自動監(jiān)測系統(tǒng)的研究[J]. 電子測試， 2017（13）： 7-8.

LI Ning. Research of automatic monitoring system of cold rolled strip steel surface[J]. Electronic Test， 2017（13）： 7-8.

[3]WANG Anna， HU Chao， XUE Changliang， et al. Recognition and classification of hot strip surface defect based on binary tree SVM[J]. Advanced Materials Research， 2012， 538/539/540/541： 427-430.

[4]韓芳芳. 表面缺陷視覺在線檢測關(guān)鍵技術(shù)研究[D]. 天津： 天津大學(xué)， 2011.

HAN Fangfang. Key Techniques for Surface Defects Online Detection Based on Machine Vision[D]. Tianjin： Tianjin University， 2011.

[5]XIAO Jun， WANG Minjuan， WANG Lamei， et al. Design and implementation of C-iLearning：A cloud-based intelligent learning system[J]. International Journal of Distance Education Technologies， 2013， 11（3）： 79-97.

[6]王阿力. 基于數(shù)字圖像處理的表面缺損檢測研究[D]. 哈爾濱： 哈爾濱工業(yè)大學(xué)， 2014.

WANG Ali. Research of Surface Error Detection Based on Digital Image Processing[D]. Harbin： Harbin Institute of Technology， 2014.

[7]郗雄濤， 趙亮， 趙江， 等. 熱眼在線表面檢測系統(tǒng)在高速線材生產(chǎn)中的應(yīng)用[J]. 河北冶金， 2019（7）： 56-60.

XI Xiongtao， ZHAO Liang， ZHAO Jiang， et al. Application of hot-eye on-line surface detection in high speed wire rod production[J]. Hebei Metallurgy， 2019（7）： 56-60.

[8]SONG Kechen， HU Shaopeng， YAN Yunhui. Automatic recognition of surface defects on hot-rolled steel strip using scattering convolution network[J]. Journal of Computational Information Systems， 2014， 10（7）： 3049-3055.

[9]田思洋. 板帶鋼表面缺陷目標(biāo)檢測與分類算法研究[D]. 北京： 北京科技大學(xué)， 2019.

TIAN Siyang. Research on Object Detection and Classification Algorithms for Surface Defects of Steel Plates and Strips[D]. Beijing： University of Science and Technology Beijing， 2019.

[10]SUN Xiaohong， GU Jinan， TANG Shixi， et al. Research progress of visual inspection technology of steel Products—A review[J]. Applied Sciences， 2018.DOI：10.3390/app8112195.

[11]REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

[12]REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas： IEEE， 2016.http：//sci-hub.mksa.top/10.1109/CVPR.2016.91

[13]REDMON J， FARHADI A. YOLOv3： An incremental improvement[EB/OL]. https：//arxiv.org/abs/1804.02767，2019-04-08.

[14]DU Yuchuan， PAN Ning， XU Zihao， et al. Pavement distress detection and classification based on YOLO network[J/OL]. International Journal of Pavement Engineering，2020.http：//sci-hub.mksa.top/10.1080/10298436.2020.171407.

[15]江金洪， 鮑勝利， 史文旭，等. 基于YOLOv3算法改進(jìn)的交通標(biāo)志識別算法[J]. 計算機(jī)應(yīng)用， 2020， 40（8）： 2472-2478.

JIANG Jinhong， BAO Shengli， SHI Wenxu， et al. Improved traffic sign recognition algorithm based on YOLOv3 algorithm[J]. Journal of Computer Applications， 2020， 40（8）： 2472-2478.