羅暉，徐廣隆

基于圖像增強與深度學習的鋼軌表面缺陷檢測

羅暉，徐廣隆

(華東交通大學 信息工程學院，江西 南昌 330013)

相比傳統的物理檢測算法，基于機器視覺的檢測算法具有檢測速度快、操作便捷等諸多優(yōu)點，但因受光照不均、相機失焦抖動、雨雪天氣等外界因素的影響，導致檢測精度降低。針對這一問題，提出一種基于圖像增強與深度學習的鋼軌表面缺陷視覺檢測算法。首先，對圖像進行Gabor濾波去噪，以減少噪聲對缺陷檢測的影響；然后，利用HSV空間變換方法增強缺陷圖像的關鍵特征信息；最后，通過改進Faster R-CNN卷積神經網絡，實現了多尺度鋼軌表面缺陷的檢測與識別。通過對所提出的檢測算法進行對比實驗，實驗結果表明：裂紋、剝落、磨損三類缺陷的識別精度分別為91.87%，92.75%和91.52%，檢測速度為每張圖像0.265 s，優(yōu)于已有的鋼軌表面缺陷檢測算法，能夠很好地應用于實際項目中。

鋼軌表面缺陷檢測；機器視覺；目標檢測；圖像增強；卷積神經網絡

隨著鐵路運輸事業(yè)的不斷發(fā)展，鐵路運量不斷增加，這對鐵路安全運行提出了更高的要求。相關安全統計數據顯示，引起列車事故的鋼軌缺陷主要為軌頭表面缺陷，約占所有事故原因的42.5%。因此，為保障列車的行車安全，對鋼軌表面缺陷進行準確、動態(tài)的檢測已成為鐵路發(fā)展迫切需要解決的問題，并具有重要的實際應用價值及研究意義。目前，鐵路相關部門主要采用物理性的檢測方法對鋼軌缺陷進行檢測，檢測方法包括：超聲波檢測、超聲導波檢測、渦流檢測、漏磁檢測等[1]。超聲波檢測和超聲導波檢測，需要使用耦合劑，且都存在檢測盲區(qū)的問題；渦流檢測，在檢測平行于磁通線的裂紋時，會發(fā)生提離效應，造成漏檢；漏磁檢測，是基于電磁原理的一種非接觸式檢測方法，可用于檢測鋼軌表面近表面缺陷，但是檢測速度比較慢。采用機器視覺的方法對鋼軌表面缺陷進行檢測，是一種非接觸式的檢測方式，而且能夠在高達320 km/h行車速度條件下，保持較高的檢測精度。Deutschl等[2]給出了基于機器視覺的鋼軌表面缺陷實時檢測方案；LI等[3?4]對軌頭表面缺陷進行深入研究，進一步完善了基于機器視覺的鋼軌表面缺陷實時檢測方案；Kumar等[5?7]對鋼軌缺陷圖像特征進行分析，通過圖像濾波的方式去除干擾因素，提高了表面缺陷的檢測效果；孫次鎖等[8]采用卷積神經網絡對圖像特征進行深度提取，進一步提高了表面缺陷的檢測效果。雖然機器視覺的方法，極大地提高了檢測精度和檢測效率，但是還存在如下 問題：

1) 季節(jié)因素和光照條件變化，增加了缺陷檢測的難度。

2) 鋼軌表面狀況不同，容易產生局部高光，增加了特征提取的難度。

3) 鋼軌表面缺陷的特征中，可用于檢測識別的信息較少，傳統的基于邊緣和紋理的檢測方法效率不高。

針對以上問題，本文從基于Gabor濾波的去噪算法、基于HSV空間變化的圖像特征增強算法、基于Faster R-CNN的缺陷多尺度檢測網絡設計3個方面進行設計與改進，提高了鋼軌表面缺陷中，裂紋、剝落、磨損3種缺陷的檢測精度，并保證了檢測的速度。

1 基于Gabor濾波的圖像去噪算法

采集獲得的鋼軌表面圖像，包括軌板、扣件、周圍環(huán)境雜物等，需要通過已有的圖像分割算法進行鋼軌軌面圖像進行分割提取[9]。至此，便可以獲取到初步的鋼軌軌面圖像。如圖1(左)所示，為采集到的裂紋、剝落、磨損3種缺陷的樣本圖像。

圖1 鋼軌表面缺陷圖像樣本(去噪前后)

從圖1可以非常直觀的看到，圖像中存在諸多噪聲信號，這給缺陷的檢測增加了難度。

為了進一步提高鋼軌表面缺陷的識別準確度，需要對圖像進行去噪處理。Gabor小波與人類視覺系統中簡單細胞的視覺刺激響應非常相似。它在提取目標的局部空間和頻率域信息方面具有良好的特性。Gabor濾波器對于圖像的邊緣敏感，能夠提供良好的方向選擇和尺度選擇特性，而且對于光照變化不敏感,能夠提供對光照變化良好的適應性，非常適合于對鋼軌缺陷圖像進行去噪[10]。式(1)為Gabor濾波器的數學表達式：

經過去噪處理之后圖像，邊緣更加顯著。其中，表面剝落圖像中的黑斑經由濾波之后，會有一定程度的縮小，可以通過式(1)中的S,d系數，即高斯窗口的調節(jié)變量進行調節(jié)，并保證缺陷的檢測精度。

2 基于HSV空間變化的圖像特征增強算法

HSV是一種直觀的顏色模型，十分接近人類的視覺預期，其中H(Hue)代表色調、S(Saturation)代表飽和度，V(Value)代表明度，具體模型如圖2所示。其中飽和度S，表示顏色接近光譜色的程度。一種顏色，可以看成是某種光譜色與白色混合的結果。其中光譜色所占的比例愈大，顏色接近光譜色的程度就愈高，顏色的飽和度也就愈高。飽和度高，顏色則深而艷。光譜色的白光成分為0，飽和度達到最高。通常取值范圍為0%～100%，值越大，顏色越飽和。

文獻[11]中將HSV空間變換用于鋼軌圖像的快速提取，受到該文獻的啟發(fā)，并結合濾波后鋼軌圖像的視覺特征進行分析，可以發(fā)現圖像的色彩并不豐富，濾去色調和明度信息、保留飽和度信息后，最終得到的圖像能夠更加方便的提取到鋼軌缺陷的特征，有利于檢測速度的提高，轉換公式如式(3)、式(4)所示。保留下S維度的信息之后，最終得到的鋼軌表面圖像如圖3所示。

式中：max和min分別為原圖像(,)處RGB色彩的最大值、最小值。

圖2 HSV顏色模型

圖3 鋼軌表面缺陷圖像樣本(HSV變換后)

3 基于Faster R-CNN的缺陷多尺度檢測網絡設計

Faster R-CNN[12]卷積神經網絡，不僅能實現對圖像中的物體進行分類，而且能識別出物體的位置。孫次鎖等[13]將Faster R-CNN應用于鋼軌表面缺陷的檢測，取得了出色的效果。本文基于以上研究，對Faster RCNN的損失函數和網絡結構進行了調整，用來提取經過處理后的圖像中的缺陷特征，實現了高精度的檢測效果。

3.1 基于圖像邊緣銳化特征的回歸損失函數改進

Faster R-CNN中使用的smooth1()作為回歸損失函數reg。本文針對圖像邊緣銳化特征，在損失函數中增加了調節(jié)系數，如式(5)

其中，其他參數均與原文獻保持一致，為新增的用來調節(jié)圖像邊緣銳化的超參數。

3.2 基于空洞卷積的缺陷特征提取卷積網絡設計

鋼軌表面缺陷復雜多樣，單一的卷積模式無法根據缺陷的類別做精細的感受野劃分，這是Faster R-CNN無法很好的適用于鋼軌表面缺陷檢測的一個方面，針對這一問題，本文引入空洞卷積，為裂紋、剝落、磨損3類缺陷設定并行卷積通道，分別設定不同的膨脹系數，來實現更加細粒度的特征提取。其感受野變化效果如圖4所示。

圖4 基于空洞卷積的缺陷特征提取卷積網絡

此外，本文將原有的卷積神經網絡進行了多分支重構，實現了多尺度的缺陷檢測，提高了檢測精度，總體結構如圖5所示。

4 實驗與分析

為了驗證本文檢測算法的有效性，本文首先確立了用于訓練與檢測的數據集和性能評價指標；然后將目前主流的多種基于深度學習的目標檢測算法與本文提出的算法進行檢測精度和檢測精度的對比分析。實驗環(huán)境為：64位Windows8系統，內存32G，CPU型號為i7-7800X，配備有RTX2080- 8G顯卡。采用Early Stopping和Dropout方法防止過 擬和。

圖5 調整后的多尺度Faster R-CNN網絡結構

4.1 數據集與評價指標

為了驗證本文檢測算法的有效性，實驗過程中采用具有代表性的鋼軌數據集RSDDs[14]進行訓練、驗證和測試。由于數據集中包含Type-I和Type-II 2種尺度數據圖像，并且數據的標注為缺陷分割標注，本文將其進行裁剪，并調整為200*300尺度的圖像，共5 000張，然后通過平移、縮放以及生成對抗網絡(GAN，Generative Adversarial Networks)[15]等方式進行數據集擴充，合計10 000張，并按照PASCAL VOC[16]數據集的格式進行了標注。隨機選取80%作為訓練集，剩余20%作為測試集進行網絡訓練，一共進行70 000次迭代訓練，每次使用一張圖片進行迭代，初始學習率設置為0.001，當迭代至20 000次時，將學習率衰減為0.000 1，然后繼續(xù)迭代訓練到70 000次為止。

檢測指標包括準確率(Ac，表示算法能正確識別樣本的比例)、靈敏度(true positive rate，TPR，表示表示算法正確識別目標樣本的識別精度)、誤識別率(false positive rate，FPR，表示算法錯誤識別目標樣本與非目標樣本的比例)，見式(6)。

式中：為正類判定為正類；為負類判定為正類；為正類判定為負類；為負類判定為負類。

4.2 算法性能分析

REN等[12]提出了 Faster R-CNN，在保證檢測精度的前提下，極大地提高了檢測的速度；DAI 等[17]基于Faster R-CNN框架提出的R-FCN，減少檢測模型的計算量；LIN等[18]基于Faster R-CNN框架提出的FPN，提高了小尺度目標檢測精度。Redmon等[19]采用不同尺度特征融合的方法，一定程度上提高了小目標的檢測精度，但識別精確度缺仍然較低。

本文在多個目標檢測算法(Faster R-CNN，R-FCN，FPN，YOLOv3)和基礎網絡(VGG16，ResNet101)之上，進行了神經網絡訓練測試實驗，經過網絡的訓練調優(yōu)，網絡完成收斂后(如圖6右圖所示)，然后根據評價指標，對數據結果進行了統計，詳細結果見表1。

表1中的數據表明，本文提出的檢測算法，對于裂紋、剝落、磨損3種缺陷均達到了相對最高的Ac值。盡管在TPR，FPR指標方面，本文提出的檢測的算法并未達到多種檢測算法中的最佳，但是已與最佳檢測算法的檢測精度十分接近。

最終，將檢測結果映射回原圖像，效果如圖6左圖所示。

表1 表面缺陷檢測效果

圖6 鋼軌表面缺陷檢測效果(左)和損失函數值數變化趨勢(右)

表2 鋼軌表面缺陷檢測速度比較

4.3 算法檢測速度比較

表2列出了表1中各個檢測算法的檢測速度。對于一張尺度為200*300像素的鋼軌圖像，本文提出的檢測速度為0.265 s。表2中，YOLO系列算法的檢測速度較快，然而對比表1中的數據可知，其檢測精度太低。本文提出的檢測算法在保證高檢測精度的同時保證了檢測速度。

5 結論

1) 經由Gabor濾波去噪之后，缺陷特性更加顯著，從一定程度上克服了圖像采集過程中，外界因素的干擾。

2) 鋼軌表面圖像的色彩信息比較單一，通過HSV色彩空間的像素轉化，可以提取出圖像的飽和度信息，進而有效的表征出鋼軌的缺陷位置，有利提升檢測時的缺陷召回率。

3) 基于Faster R-CNN卷積神經網絡模型，調整網絡層數、卷積尺度、損失函數等，設計針對鋼軌表面缺陷特征進行提取的專有檢測結構，實現了對鋼軌表面缺陷的高效準確檢測，其中裂紋、剝落和磨損3種缺陷的識別精度分別達到91.87%，92.75%和91.52%。

[1] 田貴云, 高斌, 高運來, 等. 鐵路鋼軌缺陷傷損巡檢與監(jiān)測技術綜述[J]. 儀器儀表學報, 2016, 37(8): 1763? 1780. TIAN Guiyun, GAO Bin, GAO Yunlai, et al. Review of railway rail defect non-destructive testing and monitoring [J]. Chinese Journal of Scientific Instrument, 2016, 37(8): 1763?1780.

[2] Deutschl E, Gasser C, Niel A, et al. Defect detection on rail surfaces by a vision based system[C]// IEEE Intelligent Vehicles Symposium, 2004. June 14-17, 2004, Parma, Italy. IEEE, 2004: 507?511.

[3] LI Qingyong, REN Shengwei. A visual detection system for rail surface defects[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2012, 42(6): 1531?1542.

[4] LI Qingyong, REN Shengwei. A real-time visual inspection system for discrete surface defects of rail heads[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2189?2199.

[5] Kumar A, PANG G K H. Defect detection in textured materials using Gabor filters[J]. IEEE Transactions on Industry Applications, 2002, 38(2): 425?440.

[6] Mandriota C, Nitti M, Ancona N, et al. Filter-based feature selection for rail defect detection[J]. Machine Vision and Applications, 2004, 15(4): 179?185.

[7] 王耀東, 朱力強, 史紅梅, 等. 基于局部圖像紋理計算的隧道裂縫視覺檢測技術[J]. 鐵道學報, 2018, 40(2): 82?90. WANG Yaodong, ZHU Liqiang, SHI Hongmei, et al. Vision detection of tunnel cracks based on local image texture calculation[J]. Journal of the China Railway Society, 2018, 40(2): 82?90.

[8] 孫次鎖, 劉軍, 秦勇, 等. 基于深度學習的鋼軌傷損智能識別方法[J]. 中國鐵道科學, 2018, 39(5): 51?57. SUN Cisuo, LIU Jun, QIN Yong, et al. Intelligent detection method for rail flaw based on deep learning[J]. China Railway Science, 2018, 39(5): 51?57.

[9] Vasuki Y, Holden E J, Kovesi P, et al. Semi-automatic mapping of geological structures using UAV-based photogrammetric data: an image analysis approach[J]. Computers & Geosciences, 2014, 69: 22?32.

[10] SHI Yan, YANG Xiaoyuan, GUO Yuhua. Translation invariant directional framelet transform combined with Gabor filters for image denoising[J]. IEEE Transactions on Image Processing, 2014, 23(1): 44?55.

[11] 顧桂梅, 李曉梅, 常海濤, 等. 基于HSV空間的鋼軌表面區(qū)域快速提取算法[J]. 云南大學學報(自然科學版), 2019, 41(4): 707?717. GU Guimei, LI Xiaomei, CHANG Haitao, et al. Fast extraction agorithm for rail surface region based on HSV space[J]. Journal of Yunnan University (Natural Sciences Edition), 2019, 41(4): 707?717.

[12] REN Shaoqing, HE Kaiming, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137? 1149.

[13] 孫次鎖, 張玉華. 基于智能識別與周期檢測的鋼軌傷損自動預警方法研究[J]. 鐵道學報, 2018, 40(11): 140? 146. SUN Cisuo, ZHANG Yuhua. Research on automatic early warning method for rail flaw based on intelligent identification and periodic detection[J]. Journal of the China Railway Society, 2018, 40(11): 140?146.

[14] GAN Jinrui, LI Qingyong, WANG Jianzhu, et al. A hierarchical extractor-based visual rail surface inspection system[J]. IEEE Sensors Journal, 2017, 17(23): 7935? 7944.

[15] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]// NIPS’14: Proceedings of the 27th International Conference on Neural Information Processing Systems – 2014, 2: 2672?2680.

[16] Everingham M, Eslami S M A, Gool L, et al. The pascal visual object classes challenge: A retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98?136.

[17] DAI Jifeng, LI Yi, HE Kaiming, et al. R-FCN: object detection via region-based fully convolutional networks [C]// NIPS’16: Proceedings of the 30th International Conference on Neural Information Processing Systems. 2016: 379?387.

[18] LIN T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017: 936? 944.

[19] Redmon J, Farhadi A. YOLOv3: An incremental improvement[C]// 2018 IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2018: 2767?2773.

Rail surface defect detection based on image enhancement and deep learning

LUO Hui, XU Guanglong

(School of Information Engineering, East China Jiaotong University, Nanchang 330013, China)

Compared with traditional physical detection methods, computer-vision-based detection methods has many advantages such as its fast detection speed and convenient characteristics. However, due to the influence of external factors such as uneven illumination, out-of-focus of camera jitter, rain and snow weather, the detection accuracy was reduced. To solve this problem, this paper presents a visual detection algorithm for rail surface defects based on image enhancement and deep learning. Firstly, Gabor filtering was carried out to reduce the impact of noise on the defect detection effect. Then, the key feature information in the image was enhanced by HSV space transformation. Finally, Faster R-CNN convolutional neural network was improved to realize the detection and recognition of multiscale rail surface defects. The proposed algorithm was compared in detail. The experimental results indicate that the proposed algorithm can achieve high accuracy of crack, spalling and abrasion with 91.87%, 92.75% and 91.52%, high detect speed with 0.265s per image, substantially outperforming the state-of-the-art rail surface defect detection algorithms. The proposed method can be used for actual fault detection of freight train images.

rail surface defect detection; computer vision; object detection; image enhancement; convolutional neural network

U216.3

A

1672 ? 7029(2021)03 ? 0623 ? 07

10.19713/j.cnki.43?1423/u.T20200388

2020?05?10

國家自然科學基金資助項目(61261040)

羅暉(1969?)，男，江西南昌人，教授，從事物聯網、圖像信號處理相關研究；E?mail：qq370201570@gmail.com

(編輯 涂鵬)