趙 冰，代明睿，李 平，馬小寧，吳艷華

(1.中國鐵道科學(xué)研究院 研究生部，北京 100081；2.中國鐵道科學(xué)研究院 鐵路大數(shù)據(jù)研究與應(yīng)用創(chuàng)新中心，北京 100081)

缺陷自動檢測技術(shù)由于廣泛應(yīng)用于各業(yè)務(wù)領(lǐng)域，成為計算機(jī)視覺的重要研究方向，基于視覺圖像的缺陷檢測技術(shù)，在檢測速度、準(zhǔn)確性、適用場景等方面相比于傳統(tǒng)方法優(yōu)勢明顯。同時由于實際檢測可能出現(xiàn)圖像拉伸明顯、光照條件不佳、缺陷類型多且差異不明顯等情況，也使得缺陷檢測問題成為計算機(jī)視覺領(lǐng)域的一大難點問題。考慮到鐵路行業(yè)檢測圖像數(shù)據(jù)量大，時效性高，工作環(huán)境具有特殊性，完全依賴人工進(jìn)行圖像分析的方法比較耗時且充滿主觀性，工作人員難以長時間保持注意力進(jìn)行準(zhǔn)確的缺陷識別，利用圖像分析技術(shù)對高速列車關(guān)鍵部件進(jìn)行周期性的缺陷檢測，成為保障車輛安全穩(wěn)定運行的基礎(chǔ)[1]。復(fù)興號動車組是我國完全擁有自主知識產(chǎn)權(quán)的標(biāo)準(zhǔn)型動車組，由于其采用全新的標(biāo)準(zhǔn)化設(shè)計，關(guān)鍵部件結(jié)構(gòu)較既有車型差異明顯，現(xiàn)有的動車組運行故障圖像檢測設(shè)備TEDS(Train of EMU Failures Dection System)，無法正常應(yīng)用于缺陷檢測任務(wù)，針對復(fù)興號動車組的結(jié)構(gòu)特點，開展高速列車關(guān)鍵部件缺陷自動檢測技術(shù)研究具有重要意義。

目前缺陷檢測技術(shù)按照特征提取方式，可以分為傳統(tǒng)的基于手動的提取特征方法與基于深度的學(xué)習(xí)方法。手動提取特征進(jìn)行缺陷檢測的方法在一段時間內(nèi)應(yīng)用廣泛[2]，由于缺陷表面的材質(zhì)差異，缺陷檢測方法各有適用范圍。對于混凝土、路面等裂紋缺陷明顯、場景簡單的表面結(jié)構(gòu)，邊緣檢測及形態(tài)學(xué)運算的方法更加適用于提取局部特征[3]。對于缺陷不明顯的復(fù)雜場景，圖像濾波[4]、局部二值模式 LBP(Local Binary Pattern)[5]、Gabor濾波[6]等圖像分析技術(shù)是更適合的方法。對于金屬表面，基于視覺的缺陷檢測方法已經(jīng)被用于輪軌表面缺陷檢測任務(wù)中[7]，傳統(tǒng)的梯度方向直方圖HOG(Histogram of Oriented Gradient)、尺度不變特征變換SIFT(Scale-invariant Feature Transform)、空間金字塔結(jié)合支持向量機(jī)分類器SVM(Support Vector Machine)在鐵路缺陷檢測領(lǐng)域均有著廣泛應(yīng)用[8]，但手動提取的特征基于經(jīng)驗假設(shè)，忽視了數(shù)據(jù)本身具有的特點，在大數(shù)據(jù)時代，該類方法已經(jīng)不適合對海量檢測數(shù)據(jù)進(jìn)行分析。隨著深度學(xué)習(xí)技術(shù)的出現(xiàn)，依靠深度卷積神經(jīng)網(wǎng)絡(luò)DCNN(Deep Convolutional Neural Network)[9]進(jìn)行特征的自動提取為缺陷檢測任務(wù)提供了新的思路。隨著CNN在圖像分類、目標(biāo)檢測等領(lǐng)域取得了令人矚目的成就，CNN開始應(yīng)用于鐵路行業(yè)的缺陷檢測任務(wù)中。在文獻(xiàn)[10-11]相關(guān)研究中，深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被用于車輪狀態(tài)的快速自動檢測；結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與樸素貝葉斯數(shù)據(jù)融合技術(shù)實現(xiàn)對缺陷視頻的實時缺陷檢測；結(jié)合圖像語義分割技術(shù)，模型可對多種材料表面實現(xiàn)自動缺陷檢測。目前利用深度方法解決缺陷檢測任務(wù)的主流思路是將其看作分類問題或目標(biāo)檢測問題，分類方法需要對圖像進(jìn)行分割預(yù)處理，適用于部件在圖像中的位置具有規(guī)律性，否則將加大預(yù)處理工作量；目標(biāo)檢測方法適用于缺陷差異明顯的情況，當(dāng)差異較小時，直接利用目標(biāo)檢測方法效果不佳。同時深度學(xué)習(xí)技術(shù)的特點決定其需要大量帶有標(biāo)注的數(shù)據(jù)，使得應(yīng)用深度學(xué)習(xí)方法的成本較高。

本文提出將改進(jìn)的Faster R-CNN串聯(lián)單獨訓(xùn)練的Resnet-101網(wǎng)絡(luò)，構(gòu)建雙通道缺陷檢測框架MCDDF(Multi-channel Defect Detection Framework)，應(yīng)用于鐵路關(guān)鍵部件缺陷檢測任務(wù)中，MCDDF的部件檢測通道實現(xiàn)鐵路關(guān)鍵部件定位，定位區(qū)域圖像進(jìn)行超分辨率提升后送入缺陷分類通道實現(xiàn)缺陷分類。本文對比分析了特征提取網(wǎng)絡(luò)、區(qū)域推薦網(wǎng)絡(luò)RPN(Regional Proposal Networks)、超分辨率算法等改進(jìn)策略對MCDDF性能的提升，同時對比了MCDDF與Faster R-CNN在鐵路關(guān)鍵部件缺陷檢測任務(wù)中的性能差異，結(jié)果顯示MCDDF有效解決了將目標(biāo)檢測方法應(yīng)用于缺陷檢測任務(wù)時，由于多次下采樣導(dǎo)致缺陷特征難以準(zhǔn)確分類的現(xiàn)狀，在缺陷特征不明顯及小尺寸缺陷部件環(huán)境下具有極佳的檢測性能。

1 數(shù)據(jù)采集方案

利用TEDS系統(tǒng)在軌底安裝的面陣(圖1(a))和軌側(cè)安裝的線陣(圖1(b))組合攝像頭，對CRH380BL型復(fù)興號動車組自動采集走行部、制動配件、底架懸吊件、鉤緩連接、車體兩側(cè)裙板、轉(zhuǎn)向架、踏面、輪緣、輪輞等部位圖像。系統(tǒng)選用高速COMS線陣相機(jī)加裝紅外濾光片配合近紅外波段大功率一字線型激光光源，解決戶外陽光干擾及LED設(shè)備補(bǔ)光不足的問題；采用4K線陣相機(jī)拍攝圖像，可完整截取整節(jié)車廂圖像；高速線陣相機(jī)行頻可達(dá)200 kHz，能夠適應(yīng)最高350 km/h的車速。

(a)車底采集設(shè)備 (b)車側(cè)采集設(shè)備

針對采集數(shù)據(jù)，建立高鐵關(guān)鍵部件缺陷標(biāo)注數(shù)據(jù)集與高鐵螺栓部件分類數(shù)據(jù)集。其中，高鐵關(guān)鍵部件缺陷標(biāo)注數(shù)據(jù)集用于開展本文提出的缺陷檢測模型訓(xùn)練使用，涵蓋制動盤、制動閘鉗、牽引機(jī)、側(cè)懸掛、下懸掛、板螺栓6類部件，圖像分辨率2 048×2 000 px，共3 000張圖片，出于數(shù)據(jù)差異性考慮，每類部件目標(biāo)僅標(biāo)注是否包含缺陷，部件總標(biāo)注數(shù)達(dá)到15 000個目標(biāo)，正負(fù)樣本約3∶1，典型缺陷部件如圖2所示。高鐵螺栓分類數(shù)據(jù)集用于驗證針對不同尺寸部件，MCDDF模型缺陷分類的超分辨率提升效果對分類模型的性能影響，按照螺栓尺寸(大目標(biāo)：分辨率大于100 px；中目標(biāo)：分辨率在50～100 px之間；小目標(biāo)：分辨率小于50 px)及特征分為B1、B2、M1、M2、L1、L2六類，共7 000張圖片，典型螺栓部件如圖3(a)所示，圖3(b)展示螺栓部件來源。訓(xùn)練集與驗證集劃分比例均為7∶3。

(a)裙板脫落 (b)異物 (c)連接線斷裂

(d)漏油 (e)螺栓丟失 (f)軸簧斷裂

(a)典型螺栓部件

(b)螺栓部件來源

2 MCDDF

為解決將Faster R-CNN方法直接應(yīng)用于缺陷檢測任務(wù)面臨的性能下降問題，MCDDF采用兩通道方式分別實現(xiàn)部件檢測及缺陷分類任務(wù)，部件檢測通道以任意分辨率圖像作為輸入，采用ResNet-101作為特征提取網(wǎng)絡(luò)的Faster R-CNN主干模型，輸出為部件定位與分類結(jié)果。缺陷分類通道以部件檢測通道的輸出信息進(jìn)行部件圖像裁剪，經(jīng)超分辨率算法RAISR[12](Rapid and Accurate Super Image Resolution)聚合多種濾波器特征，實現(xiàn)圖像超分辨率重建，豐富細(xì)節(jié)特征，經(jīng)單獨訓(xùn)練的Inception_ResNet_V2[13]網(wǎng)絡(luò)進(jìn)行缺陷分類。結(jié)合兩通道輸出在原始圖片上給出缺陷部件的定位及缺陷類別，模型框架如圖4所示。

圖4 MCDDF網(wǎng)絡(luò)結(jié)構(gòu)

2.1 部件檢測通道

部件檢測通道借鑒Faster R-CNN[14]模型，由RPN與Fast-RCNN組成。本文在原始Faster R-CNN模型基礎(chǔ)上引入了ResNet-101網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，借由殘差網(wǎng)絡(luò)結(jié)構(gòu)提升特征提取性能；同時提出了一套適用于高鐵關(guān)鍵部件檢測的RPN錨點(anchor)推薦及訓(xùn)練機(jī)制。

2.1.1 特征提取

經(jīng)典的Fast R-CNN算法選用VGG網(wǎng)絡(luò)實現(xiàn)特征提取，相比于VGG-16等傳統(tǒng)的層間直接堆疊的平原網(wǎng)絡(luò)，層次更深的殘差網(wǎng)絡(luò)理論上在每一階段能夠提取到更魯棒的特征，解決梯度消失和梯度爆炸的問題，本文選擇ResNet-101網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，使用每一階段最后的殘差塊的激活輸出作為特征，將conv2，conv3，conv4，conv5層的輸出定義為{C2，C3，C4，C5}，步長為{4，8，16，32}，殘差網(wǎng)絡(luò)的引入能夠為目標(biāo)檢測任務(wù)提取更適宜的特征，深層單元與淺層單元的遞歸關(guān)系為

(1)

根據(jù)式(1)及鏈?zhǔn)椒▌t，可得殘差網(wǎng)絡(luò)的反向傳播公式為

(2)

2.1.2 RPN錨點(anchor)機(jī)制

RPN判斷區(qū)域是否包含目標(biāo)及邊界框的回歸依賴一系列的錨點，錨點通過預(yù)先定義的多種尺寸及長寬比涵蓋不同的形狀與尺寸。對高鐵部件圖像分析可得，部件尺寸在50～1 500 px之間，長寬比最大可達(dá)1∶4(4∶1)，本文設(shè)定錨點尺寸為{452，642，1282，2562，5122}，長寬比為{1∶1，1∶2，2∶1，1∶3，3∶1，1∶4，4∶1}，共35種錨點。錨點訓(xùn)練階段，使用錨點與邊界框的交并比IOU(Intersection-over-Union)作為是否包含目標(biāo)的評判指標(biāo)，出于文獻(xiàn)[15]中錨點數(shù)量與模型準(zhǔn)確性相關(guān)性較小及鐵路領(lǐng)域關(guān)注漏檢性的考慮，設(shè)定IOU大于0.6的錨點為正樣本，IOU小于0.2的錨點為負(fù)樣本。

2.2 缺陷分類通道

缺陷分類通道以部件檢測輸出為輸入，該通道由RAISR超分辨率重建網(wǎng)絡(luò)及CNN分類網(wǎng)絡(luò)構(gòu)成，從檢測原理角度進(jìn)行分析，F(xiàn)aster R-CNN對小目標(biāo)檢測能力較差，同時，當(dāng)目標(biāo)類間差異較小時，其分類能力下降明顯。針對此問題，該通道引入RAISR對檢出部件進(jìn)行兩倍分辨率提升后，送入單獨訓(xùn)練好的Inception_Resnet_V2缺陷分類網(wǎng)絡(luò)，將缺陷檢測任務(wù)分解為部件檢測通道與缺陷分類通道的多通道思想，可以有效解決直接利用，F(xiàn)aster R-CNN等目標(biāo)檢測方法同時實現(xiàn)部件位置檢測與缺陷分類檢測所造成的性能損失。

2.2.1 RAISR

由于利用CNN進(jìn)行缺陷分類需對圖像進(jìn)行預(yù)處理，以符合CNN輸入分辨率，部件檢測通道輸出的部件圖像尺寸較小，直接基于二線性插值方法進(jìn)行圖像尺寸處理會對缺陷特征引入過多噪聲，本文引入RAISR算法，實現(xiàn)對缺陷目標(biāo)圖像的超分辨率圖像轉(zhuǎn)換。

給定的低分辨率圖像生成對應(yīng)的高分辨率圖像的原理是將給定的一系列高低分辨率圖像對作為訓(xùn)練數(shù)據(jù)，利用學(xué)習(xí)到的濾波器對訓(xùn)練數(shù)據(jù)外的圖像進(jìn)行濾波操作，得到高分辨率圖像。低分辨率與高分辨率圖像的關(guān)系為

z=DSHx

(3)

式中：z∈RM×N為輸入的低分辨率圖像；x∈RMS×NS為對應(yīng)的高分辨率圖像；H∈RMNS2×MNS2為線性模糊核；DS為衰減矩陣。超分辨率重建即為在已知低分辨率圖像z信息的情況下恢復(fù)未知高分辨率圖像x的過程。

RAISR方法首先將低分辨率圖像進(jìn)行雙線性插值操作，繼而將預(yù)訓(xùn)練好的濾波器應(yīng)用在圖像塊中，進(jìn)一步利用哈希方法對圖像塊進(jìn)行聚類訓(xùn)練，提升圖像恢復(fù)效果。濾波器的訓(xùn)練過程即為最小化給定高分辨率圖像與濾波器輸出，最小損失函數(shù)為

(4)

式中：Ai∈RMN×d2為訓(xùn)練輸出的高分辨率圖像塊組成的矩陣；h∈Rd2為濾波器；bi∈RM×N為對應(yīng)的理想高分辨率圖像位置部分的像素點。

RAISR后接的缺陷分類網(wǎng)絡(luò)默認(rèn)輸入圖像尺寸為224×224 px，大于此尺寸的部件無需進(jìn)行超分辨提升即可送入分類網(wǎng)絡(luò)，小于此尺寸的部件應(yīng)進(jìn)行超分辨提升以接近此分辨率，考慮到螺栓為高鐵部件中典型的小尺寸部件，在對高鐵螺栓分類數(shù)據(jù)集進(jìn)行2倍超分辨提升后，螺栓分類效果如圖5所示。分析發(fā)現(xiàn)，對大目標(biāo)(分辨率大于100 px)及中目標(biāo)(分辨率50～100 px)而言，分類準(zhǔn)確率提升有限(4%左右)，而對于小目標(biāo)(分辨率小于50 px)，分類準(zhǔn)確率提升顯著(18%左右)，分辨率兩倍提升后，Inception_ResNet_V2分類網(wǎng)絡(luò)小目標(biāo)分類準(zhǔn)確率可達(dá)96.5%，故無需進(jìn)行更高倍數(shù)的分辨率提升。

圖5 RAISR對部件分類效果的影響

基于遷移學(xué)習(xí)方法對高鐵關(guān)鍵部件進(jìn)行超分辨率提升訓(xùn)練，2倍超分辨率提升效果如圖6所示。

(a)原圖 (b)RAISR

2.2.2 缺陷分類網(wǎng)絡(luò)

在MCDDF訓(xùn)練階段，根據(jù)高鐵關(guān)鍵部件缺陷標(biāo)注數(shù)據(jù)集標(biāo)注信息，將裁剪對應(yīng)的部件及其缺陷類別應(yīng)用于Inception_Resnet_V2缺陷分類網(wǎng)絡(luò)的調(diào)參訓(xùn)練，相關(guān)網(wǎng)絡(luò)已在ImageNet進(jìn)行預(yù)訓(xùn)練，提高了網(wǎng)絡(luò)收斂能力，在MCDDF測試階段，將經(jīng)超分辨提升的裁剪圖像塊傳入圖像缺陷分類網(wǎng)絡(luò)實現(xiàn)檢出部件的缺陷分類任務(wù)。

3 實驗與結(jié)果分析

3.1 實驗環(huán)境

本實驗在Linux Ubuntu16.04系統(tǒng)環(huán)境下基于TensorFlow深度學(xué)習(xí)框架Object Detection API搭建，GPU使用NVIDIA GeForce GTX 1080TI，內(nèi)存12 G，訓(xùn)練樣本為高鐵關(guān)鍵部件缺陷標(biāo)注數(shù)據(jù)訓(xùn)練集，共2 100張圖片，圖片分辨率統(tǒng)一為2 048×2 000 px，按7∶3比例劃分訓(xùn)練集和驗證集。

初始參數(shù)設(shè)置如下：初始學(xué)習(xí)率為0.000 2(迭代步數(shù)處于10 000～20 000步時，學(xué)習(xí)率為0.000 02，迭代步數(shù)大于20 000步后，學(xué)習(xí)率設(shè)置為0.000 002)，動量為0.9，權(quán)重衰減為0.000 1，最大迭代步數(shù)為20 000步。訓(xùn)練過程將輸入圖片固定為1 024×600 px，每張圖片生成300個推薦區(qū)域，MCDDF在高鐵關(guān)鍵部件缺陷標(biāo)注數(shù)據(jù)集的訓(xùn)練時間為6 h。

3.2 模型分析

針對MCDDF部件檢測通道模型設(shè)計了一系列改進(jìn)方案，簡化起見，本部分僅利用MCDDF部件檢測通道在高鐵關(guān)鍵部件缺陷標(biāo)注數(shù)據(jù)集中的正樣本數(shù)據(jù)集進(jìn)行測試，測試樣本采用高鐵關(guān)鍵部件缺陷標(biāo)注數(shù)據(jù)集中的1 000張圖片，屏蔽負(fù)樣本標(biāo)注，僅測試正樣本檢出能力。

特征提取網(wǎng)絡(luò)：本測試驗證不同的特征提取網(wǎng)絡(luò)對部件檢測通道檢測性能的影響，表1展示不同的特征提取網(wǎng)絡(luò)在關(guān)鍵部件檢測任務(wù)性能的影響，隨著深層網(wǎng)絡(luò)(Inception-v2)的引入，網(wǎng)絡(luò)特征提取的性能相比平原網(wǎng)絡(luò)(VGG16)提升明顯，平均精度mAP提升13.6%，在此任務(wù)中，ResNet-101取得了最優(yōu)的檢測效果，而更復(fù)雜的Inception-ResNet-v2檢測性能略有降低，說明在小數(shù)據(jù)集條件下，過于復(fù)雜的網(wǎng)絡(luò)可能導(dǎo)致訓(xùn)練不充分的情況。

表1 不同特征提取網(wǎng)絡(luò)下的目標(biāo)檢測性能對比

RPN網(wǎng)絡(luò)：本測試驗證前文提出的RPN錨點機(jī)制改進(jìn)方案對部件檢測通道檢測性能的影響，Basenet為上節(jié)以ResNet-101為特征提取網(wǎng)絡(luò)的檢測模型，按2.1節(jié)修改，Net1改進(jìn)Anchor尺寸為{452，642，1282，2562，5122}，Net2改進(jìn)Anchor長寬比為{1∶1，1∶2，2∶1，1∶3，3∶1，1∶4，4∶1}。表2為RPN網(wǎng)絡(luò)模型改進(jìn)對部件檢測通道性能的影響，“+”代表在基礎(chǔ)網(wǎng)絡(luò)上添加Net1及Net2，結(jié)果顯示，通過設(shè)定更符合目標(biāo)數(shù)據(jù)集的Anchor尺寸、長寬比，可以有效提升檢測性能，該策略在鐵路等特定專業(yè)場景具有重要意義。

表2 RPN網(wǎng)絡(luò)改進(jìn)對模型檢測能力的影響

3.3 鐵路關(guān)鍵部件缺陷檢測實驗

本測試采取經(jīng)典的以VGG-16為特征提取網(wǎng)絡(luò)的FasterR-CNN目標(biāo)檢測模型作為對照，驗證本文提出的MCDDF相比傳統(tǒng)方法在缺陷檢測及小目標(biāo)檢測方面的有效性。測試樣本為高鐵關(guān)鍵部件缺陷標(biāo)注數(shù)據(jù)測試集，包含900張圖片，測試過程中最小批量為32張，單張圖像測試時間為0.5 s。圖7為MCDDF訓(xùn)練過程中的分類損失變化情況。

(a)定位損失

(b)分類損失

表3對比了FasterR-CNN方法與采取改進(jìn)策略的MCDDF缺陷檢測性能，“+”指模型選用表第一列所述的改進(jìn)策略。結(jié)果顯示，對照模型在該檢測任務(wù)下的mAP值為0.651，各改進(jìn)方案對檢測性能的貢獻(xiàn)如下：特征提取網(wǎng)絡(luò)模型貢獻(xiàn)為9.98%，RPN改進(jìn)模型貢獻(xiàn)為2.93%，多通道檢測模型貢獻(xiàn)為3.53%，采用超分辨率策略的MCDDF方法的mAP值為0.792，性能提升21.66%。實驗證明本文提出的MCDDF方法在缺陷檢測任務(wù)中表現(xiàn)優(yōu)異。圖8為高鐵關(guān)鍵部件缺陷標(biāo)注數(shù)據(jù)集典型測試圖例，其檢測結(jié)果能夠代表本文提出的MCDDF方法在小目標(biāo)缺陷檢測及缺陷部件與正常部件相似性較高情況下的檢測效果，其中紫色框代表檢出的正樣本，其他顏色框代表檢出的缺陷樣本，檢測結(jié)果顯示Faster R-CNN對照方法應(yīng)用于缺陷檢測任務(wù)時，雖然正樣本檢出效果尚可，但對含缺陷部件存在大量漏檢的情況。MCDDF未出現(xiàn)漏檢情況，對含缺陷部件特別是小尺寸部件具有更優(yōu)的檢測效果。

表3 MCDDF模型性能改進(jìn)對比

(a)對照模型

(b)MCDDF

4 結(jié)束語

為解決缺陷檢測業(yè)務(wù)遇到的實際難題，本文從Faster R-CNN模型改進(jìn)與缺陷部件超分辨率提升兩個思路進(jìn)行了相關(guān)研究，結(jié)合兩者優(yōu)點，基于將缺陷檢測流程分割成部件檢測與缺陷分類兩通道的思路提出MCDDF方法，經(jīng)對比實驗，本文提出的方法表現(xiàn)優(yōu)于目前主流的基于Faster R-CNN進(jìn)行缺陷檢測的方法。下一階段計劃將多尺度分析方法引入MCDDF檢測流程中，進(jìn)一步提升小目標(biāo)檢測水平。