李萍，吳斌方，劉默耘,3，張楊,2，林凱，孫國(guó)棟

(1.湖北工業(yè)大學(xué) 機(jī)械工程學(xué)院，湖北 武漢430068；2.南京大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系，江蘇 南京210023；3.華中科技大學(xué) 機(jī)械科學(xué)與工程學(xué)院，湖北 武漢430074)

近年來(lái)，我國(guó)鐵路領(lǐng)域飛速發(fā)展，鐵路運(yùn)輸作為物流與交通行業(yè)重要組成部分，在國(guó)民經(jīng)濟(jì)中處于中流砥柱的地位，隨之而來(lái)的鐵路交通安全問(wèn)題也備受矚目。長(zhǎng)期以來(lái)，列車的車輛故障往往都是由列檢人員來(lái)完成，存在著檢測(cè)準(zhǔn)確率低，效率低等諸多弊端[1-2]。隨著計(jì)算機(jī)技術(shù)和人工智能理論的飛速發(fā)展，基于機(jī)器學(xué)習(xí)的自動(dòng)故障檢測(cè)系統(tǒng)已逐漸取代傳統(tǒng)的人工方法[3]。由于列車中常見的故障主要是由微小零部件的破損和位置變化引起的，因而正常和故障圖像之間的差異并不明顯，這明顯增加了故障視覺檢測(cè)的難度。其次，由于故障的多樣性和復(fù)雜性，常規(guī)方法很難實(shí)現(xiàn)對(duì)列車圖像快速而準(zhǔn)確的故障檢測(cè)。對(duì)此，學(xué)者們對(duì)相關(guān)內(nèi)容進(jìn)行了深入研究。例如：孫國(guó)棟等[4]提出一種基于多特征融合和BP-AdaBoost 的自動(dòng)故障識(shí)別算法，用于安全鏈鎖緊螺栓和集塵器的故障檢測(cè)。LIU 等[5]提出一種分層故障檢測(cè)算法框架，可以快速、準(zhǔn)確地實(shí)現(xiàn)軸承端蓋檢測(cè)，故障區(qū)域定位和擋鍵檢測(cè)。趙大興等[6]提出一種基于有向線段重構(gòu)輪廓與成對(duì)幾何直方圖的圖像匹配算法。但這些算法多是針對(duì)某一類甚至單個(gè)零件，通用性不強(qiáng)，難以滿足實(shí)際檢測(cè)的需求。目前，基于深度學(xué)習(xí)方法，尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN)在機(jī)器視覺領(lǐng)域中取得了較為顯著的成功，在目標(biāo)檢測(cè)的任務(wù)中，基于區(qū)域的CNN[7]，如Faster R-CNN(FRCNN)[8]和基于區(qū)域的全卷積網(wǎng)絡(luò)(R-FCN)[9]是目前準(zhǔn)確率越來(lái)越高的主要范例。而具體到列車圖像故障檢測(cè)任務(wù)，SUN 等[10]提出基于CNN 的列車典型故障識(shí)別系統(tǒng)，有效解決了低質(zhì)量圖像的故障識(shí)別問(wèn)題。但該系統(tǒng)是由2 個(gè)復(fù)雜CNN組成，該方法的可移植性和通用性不足，難以滿足實(shí)際檢測(cè)的要求。為解決上述列車圖像故障檢測(cè)中遇到的實(shí)際問(wèn)題，提出一個(gè)包含故障區(qū)域提議網(wǎng)絡(luò)[8]和故障檢測(cè)的算法，用以實(shí)現(xiàn)高效、快速的列車圖像故障檢測(cè)。該框架首先提出故障區(qū)域復(fù)合提議網(wǎng)絡(luò)，以生成高質(zhì)量的故障候選區(qū)域。隨后，利用線性非極大值抑制[11]來(lái)刪除冗余的故障候選區(qū)域。最后，引入多尺度的故障檢測(cè)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)快速而準(zhǔn)確的故障檢測(cè)。實(shí)驗(yàn)結(jié)果表明，該方法檢測(cè)正確率高，檢測(cè)速度快，能有效地應(yīng)用于列車圖像故障檢測(cè)中。

圖1 列車圖像視覺檢測(cè)樣本Fig.1 Visual inspection samples of freight train images

1 列車圖像故障檢測(cè)

如圖1所示，列車轉(zhuǎn)向與空氣制動(dòng)系統(tǒng)包含許多重要部件，如：折角塞門、截?cái)嗳T、安全鏈螺栓、擋鍵和集塵器，其性能和穩(wěn)定性直接關(guān)系到列車運(yùn)行安全[12]。與利用傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)進(jìn)行目標(biāo)檢測(cè)相比，深度學(xué)習(xí)的引入可以處理更加復(fù)雜的問(wèn)題，因?yàn)槠涮卣鞯奶崛『捅硎臼菑拇罅康臄?shù)據(jù)中學(xué)習(xí)的。卷積神經(jīng)網(wǎng)絡(luò)(CNN)使用多層結(jié)構(gòu)，利用卷積核提取輸入圖像的特征，并對(duì)所得到的特征進(jìn)行一系列的處理，最終自動(dòng)發(fā)現(xiàn)檢測(cè)所需的通用特征。列車圖像故障檢測(cè)統(tǒng)一框架如圖2所示，本文主要提出2 種新型的神經(jīng)網(wǎng)絡(luò)模塊：1)故障區(qū)域復(fù)合提議網(wǎng)絡(luò)，該模塊將錨點(diǎn)(anchor)在多尺度卷積層上進(jìn)行特征提取，避免了丟失淺層卷積層潛在的有用信息；2)故障多尺度檢測(cè)網(wǎng)絡(luò)，該模塊將多尺度特征進(jìn)行拼接，使得收集利用的特征信息更加全面。

1.1 故障區(qū)域復(fù)合提議網(wǎng)絡(luò)

一般來(lái)說(shuō)，較淺的卷積層和較深的卷積層可以通過(guò)上采樣高階特征映射來(lái)互補(bǔ)。以這種方式，小的anchor 仍然能夠捕捉到淺層中的重要細(xì)節(jié)。而在以前的工作中，所有anchor 都選自同一卷積層中，因此忽略了小的錨點(diǎn)。為此，針對(duì)性地提出一個(gè)新的故障區(qū)域復(fù)合提議網(wǎng)絡(luò)(multi-region proposal generation，MRPN)，在多尺度的卷積層上進(jìn)行滑動(dòng)提取一系列的anchor 當(dāng)作候選的故障區(qū)域。

受卷積神經(jīng)網(wǎng)絡(luò)中的子采樣和池化操作的影響，這些特征映射都是不同分辨率的。為了在VGG16 模型[13]中以相同的分辨率組合多層次的特征映射，針對(duì)不同的卷積層設(shè)計(jì)不同的采樣策略：本文在淺層(Conv3_3)上添加了2 個(gè)2×2 大小的最大值池化(MP)，對(duì)于中間層(Conv4_3)，添加一個(gè)2×2 最大值池化進(jìn)行二次采樣；然后，采用1×1卷積層分別提取3 個(gè)卷積層(Conv3_3，Conv4_3 和Conv5_3)的局部特征；最后，將上述3 個(gè)特征映射聯(lián)合在一起。如圖2所示，圖中上半部簡(jiǎn)要描述了MRPN 的結(jié)構(gòu)，其具有以下優(yōu)點(diǎn)：1)在故障檢測(cè)任務(wù)中，深、中、淺的卷積層特征是互補(bǔ)的；2)所有局部特征都可以在MRPN 和多尺度檢測(cè)網(wǎng)絡(luò)之前預(yù)先計(jì)算好，無(wú)需引入多余的計(jì)算。

圖2 列車圖像故障檢測(cè)框架Fig.2 Fault detection framework of freight train images

接著，使用3×3 卷積層將上述聯(lián)合特征映射編碼成512 維的特征向量。3×3 的卷積層運(yùn)算不僅能夠提取出更多的語(yǔ)義特征，而且將聯(lián)合特征映射壓縮成統(tǒng)一大小。最后，對(duì)512 維聯(lián)合特征向量進(jìn)行運(yùn)算，并有2 個(gè)輸出層：一個(gè)預(yù)測(cè)故障區(qū)域得分的分類層和一個(gè)細(xì)化每一種先驗(yàn)包圍盒位置的回歸層。此外，本文中的先驗(yàn)包圍盒于類似Faster RCNN[8]中定義的anchor，它包含3 個(gè)尺度(128，256，512)和3 個(gè)縱橫比(0.5，1，2)，每個(gè)滑動(dòng)位置上對(duì)應(yīng)k＝9 個(gè)anchor。

1.2 故障多尺度檢測(cè)網(wǎng)絡(luò)

目前，性能較優(yōu)的目標(biāo)檢測(cè)模型，如Faster RCNN[8]和R-FCN[9]，都只是簡(jiǎn)單地將RoI 池化應(yīng)用在最后的卷積層上。然而，為了更好地利用多層次卷積特征并豐富每個(gè)anchor 的信息，本文對(duì)VGG16 上的Conv3_3，Conv4_3 和Conv5_3 卷積層進(jìn)行合并，得到2 個(gè)512 維的H×W池化特征(H和W在本文中設(shè)置為7)。

接著，把每個(gè)池化特征聯(lián)合在一起，并用512維的1×1 卷積層編碼聯(lián)合特征，將多層次池化特征合并，且與VGG16 的第1 個(gè)完全連接層相匹配。上述1×1 卷積層能夠聯(lián)合多層次池化特征，在學(xué)習(xí)訓(xùn)練過(guò)程中進(jìn)行權(quán)重融合，并減小維度用以匹配VGG16 的第1 個(gè)完全連接層。然后，將多層次加權(quán)融合特征傳遞到后續(xù)故障區(qū)域分類和回歸模型中。如圖2的下半部分簡(jiǎn)要描述了故障多尺度檢測(cè)網(wǎng)絡(luò)。

上述MRPN 和故障檢測(cè)網(wǎng)絡(luò)都有2 個(gè)輸出層：1 個(gè)分類層和1 個(gè)回歸層。它們之間的差異如下：1)對(duì)于MRPN，每個(gè)先驗(yàn)包圍盒獨(dú)立地參數(shù)化，所以需要同時(shí)預(yù)測(cè)所有k＝9 個(gè)先驗(yàn)包圍盒。分類層輸出2k置信度，評(píng)估每個(gè)提議區(qū)域是故障或非故障的概率，而回歸層輸出4k值，為包圍盒的回歸偏移。2)故障檢測(cè)網(wǎng)絡(luò)，對(duì)應(yīng)于背景、故障的2 個(gè)輸出置信度和每個(gè)故障區(qū)域的回歸偏移。在此過(guò)程中，執(zhí)行最小化多任務(wù)損失函數(shù)與文獻(xiàn)[11]一致。

為了將MRPN 和多尺度檢測(cè)網(wǎng)絡(luò)相結(jié)合，通過(guò)反向傳播和隨機(jī)梯度下降(SGD)以端到端的方式進(jìn)行訓(xùn)練。預(yù)訓(xùn)練模型是一個(gè)在ImageNet[14]預(yù)先訓(xùn)練的VGG16 模型。訓(xùn)練時(shí)所有卷積層的權(quán)重被初始化為零均值和0.01 的高斯分布標(biāo)準(zhǔn)偏差，基本學(xué)習(xí)率為0.001，訓(xùn)練使用的動(dòng)量為0.9，0.000 5 的權(quán)值衰減，檢測(cè)階段的置信度為0.9。

2 實(shí)驗(yàn)與分析

為了驗(yàn)證該故障檢測(cè)算法的有效性，首先，簡(jiǎn)要介紹用于實(shí)驗(yàn)的數(shù)據(jù)庫(kù)和性能評(píng)價(jià)指標(biāo)；然后，將目前主流的目標(biāo)檢測(cè)算法特別是深度學(xué)習(xí)算法與本文提出的算法進(jìn)行檢測(cè)精度和檢測(cè)速度的對(duì)比分析。實(shí)驗(yàn)環(huán)境如下：Ubuntu 16.04 操作系統(tǒng)，CPU 為Intel Core i7-7700@3.60 GHz，內(nèi)存16 G，以及單張K40 的GPU。所有實(shí)驗(yàn)均在Caffe[15]進(jìn)行。

2.1 數(shù)據(jù)庫(kù)與評(píng)價(jià)指標(biāo)

為驗(yàn)證算法的有效性，實(shí)驗(yàn)所用的數(shù)據(jù)庫(kù)包含4 種故障檢測(cè)數(shù)據(jù)集：截?cái)嗳T，集塵器，安全鏈螺栓和擋鍵。數(shù)據(jù)庫(kù)中圖像樣本數(shù)量見表1所示。所有圖像的大小為700×512 像素，每個(gè)訓(xùn)練集圖像都根據(jù)PASCAL VOC 數(shù)據(jù)集[16]的格式進(jìn)行標(biāo)記。如圖1(a)所示，截?cái)嗳T和集塵器是列車空氣制動(dòng)系統(tǒng)的重要部件，其技術(shù)狀態(tài)的良好和性能的穩(wěn)定，是保證列車安全運(yùn)行的主要環(huán)節(jié)。如圖1(b)所示，制動(dòng)梁安全鏈?zhǔn)橇熊囍苿?dòng)系統(tǒng)中的關(guān)鍵零部件。從機(jī)械故障角度分析，制動(dòng)梁安全鏈脫落屬于非剛性機(jī)械結(jié)構(gòu)形成的故障，脫落后的狀態(tài)很難用簡(jiǎn)單而又精確的特征模型去描述，成為故障檢測(cè)的首要難點(diǎn)。列車一般具有大約400 個(gè)轉(zhuǎn)向架擋鍵，是列車中應(yīng)用最廣泛的部件之一。如圖1(c)所示，擋鍵只占圖像很小一部分，其主要功能是保持車輪組不與轉(zhuǎn)向架相碰。實(shí)際上，利用機(jī)器視覺來(lái)檢測(cè)小部件的狀態(tài)(故障或非故障)是一項(xiàng)非常困難的工作。

表1 實(shí)驗(yàn)所用的數(shù)據(jù)庫(kù)Table1 Databases using in the experiments

為了進(jìn)一步驗(yàn)證故障檢測(cè)算法的有效性，建立4 個(gè)評(píng)價(jià)指標(biāo)[2,12]：故障正確檢測(cè)率(Correct detection rate，CDR)，故障漏檢率(Missing detection rate，MDR)，故障誤檢率(False detection rate，F(xiàn)DR)和檢測(cè)速度。例如，測(cè)試集包含m個(gè)正樣本和n個(gè)負(fù)樣本，通過(guò)故障檢測(cè)算法得到：在n個(gè)負(fù)樣本中，x個(gè)圖像被檢錯(cuò)(檢測(cè)結(jié)果為無(wú)故障)；在m個(gè)正樣本中，y個(gè)圖像被檢錯(cuò)(檢測(cè)結(jié)果有故障)。因此，上述指標(biāo)可以定義為：MDR=x/(m+n)，F(xiàn)DR=y/(m+n)，CDR=1-MDR-FDR。通常，在列車圖像故障檢測(cè)中，指標(biāo)MDR 比FDR 更重要，這是由于非故障區(qū)域被錯(cuò)檢為故障對(duì)列檢的影響并不嚴(yán)重。

2.2 算法性能分析

為了驗(yàn)證和分析算法的檢測(cè)性能，將本文提出的算法與目前主流故障檢測(cè)算法特別是深度學(xué)習(xí)算法進(jìn)行對(duì)比，如：基于局部二進(jìn)制(LBP)特征的故障級(jí)聯(lián)檢測(cè)器[12]，基于HOG 特征的Adaboost 與線性SVM 故障檢測(cè)器[17]，基于快速自適應(yīng)馬爾科夫隨機(jī)場(chǎng)與精確高度函數(shù)(FAMRF+EHF)的層次特征匹配算法[10]，基于VGG16 模型的SSD(Single shot multi-box detector)算法[18]，基于ResNet50 網(wǎng)絡(luò)模型的R-FCN 算法[9]，基于不同網(wǎng)絡(luò)模型(ZF，VGGM和VGG16)的Faster R-CNN[8]，基于R-FCN 與soft NMS 以及Faster R-CNN 與soft NMS 聯(lián)合算法[11]。以上算法均使用表1中所述的列車圖像進(jìn)行訓(xùn)練和測(cè)試，深度學(xué)習(xí)算法SSD，RFCN，F(xiàn)aster R-CNN，R-FCN+soft NMS，和Faster R-CNN+soft NMS 均借助單張K40 GPU 完成訓(xùn)練和測(cè)試。上述所有方法均調(diào)至最優(yōu)，故障檢測(cè)結(jié)果見表2。

表2 列車圖像故障檢測(cè)結(jié)果對(duì)比Table 2 Comparison results of fault detection for freight train image

對(duì)于集塵器，本算法具有98.54%的CDR，0%的MDR 和1.41%的FDR。對(duì)于安全鏈螺栓，該方法具有100%的CDR，0%的MDR 和FDR。對(duì)于擋鍵，本算法具有99.90%的CDR，0.10%的MDR 和0%的FDR。在上述3 個(gè)數(shù)據(jù)庫(kù)中，本文所提出的方法均優(yōu)于其他相關(guān)方法。對(duì)于截?cái)嗳T，本算法的檢測(cè)性能稍遜于其他方法，但所提出的方法具有較低的FDR。利用本算法進(jìn)行故障檢測(cè)的檢測(cè)結(jié)果如圖3所示。

對(duì)于擋鍵，基于區(qū)域CNN(R-CNN)的方法尤其是Faster RCNN，其FDR 較高的主要原因是：擋鍵的面積太小，無(wú)法與列車上的其他部件進(jìn)行比較。對(duì)于傳統(tǒng)的Faster RCNN，是在最終特征映射層上執(zhí)行采樣，以生成故障區(qū)域提議。然而，這樣的采樣方式可能忽略一些重要的特征[19]。本文提出的方法使用MRPN 和多尺度RoI 池化，能讓網(wǎng)絡(luò)學(xué)習(xí)到更有效和更全面的特征，用以區(qū)分復(fù)雜的背景和故障。

2.3 算法檢測(cè)速度比較

表3列出了上述方法的檢測(cè)速度。對(duì)于一張大小為700×512 像素的列車圖像，本文提出的方法檢測(cè)速度為0.246 s。表3中基于局部二進(jìn)制(LBP)特征的級(jí)聯(lián)檢測(cè)器和HOG+AdaBoost＋SVM 方法的故障檢測(cè)速度較快，但這2 種方法的檢測(cè)精度最低。而FAMFR+EHF 方法的精度較高，但是由于馬爾可夫隨機(jī)場(chǎng)的計(jì)算復(fù)雜度較高，其檢測(cè)速度太低。此外，SSD 和R-FCN 算法的性能與本文所提出的方法相媲美。但SSD 和R-FCN 算法對(duì)噪聲敏感，其誤檢率較高。

本文提出的故障檢測(cè)算法具有精度高、速度快等特點(diǎn)，其主要原因是：首先，MRPN 能夠?qū)崿F(xiàn)更為準(zhǔn)確的故障區(qū)域提議；其次，使用線性NMS 算法能夠篩選出最合適的anchors，并去除冗余；最后，將多尺度RoI 池化應(yīng)用到故障檢測(cè)網(wǎng)絡(luò)中，有助于網(wǎng)絡(luò)學(xué)習(xí)到更為有效的故障特征。

圖3 列車圖像故障檢測(cè)結(jié)果示意圖Fig.3 Fault detection results of freight train images

表3 列車圖像故障檢測(cè)速度比較Table 3 Testing speed of fault detection for freight train images

4 結(jié)論

1)列車圖像故障檢測(cè)算法中，MRPN 能夠?qū)崿F(xiàn)更為準(zhǔn)確的故障區(qū)域提議，同時(shí)，使用線性NMS算法能夠篩選出最合適的錨點(diǎn)；將多尺度RoI 池化應(yīng)用到故障檢測(cè)網(wǎng)絡(luò)中，能使網(wǎng)絡(luò)學(xué)習(xí)到更為有效的故障特征，提升算法的檢測(cè)精度。

2)對(duì)于集塵器，98.54%的CDR，0%的MDR和1.41%的FDR。對(duì)于安全鏈螺栓，該方法具有100%的CDR，0%的MDR 和FDR。對(duì)于擋鍵，本算法具有99.90%的CDR，0.10%的MDR 和0%的FDR。檢測(cè)精度均優(yōu)于其他相關(guān)方法。對(duì)于截?cái)嗳T，本算法具有較低的FDR。

3)本文提出的方法對(duì)于一張大小為700×512像素的列車圖像，檢測(cè)速度為0.246 s，檢測(cè)速度快。