蘇 燁，李 筠，楊海馬，劉 瑾，江聲華

(1.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093；2.上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海201620;3.上海瑞紐機(jī)械股份有限公司，上海 201314 )

近年來(lái)，不斷提升的鐵路速度、貨物運(yùn)輸?shù)闹剌d以及行車密度對(duì)鋼軌的質(zhì)量提出了更高的要求。在列車安全運(yùn)行中，鋼軌表面是最薄弱的環(huán)節(jié)[1]。鋼軌表面缺陷主要有裂縫、疤痕、劃傷、磨損等，嚴(yán)重時(shí)會(huì)帶來(lái)列車脫軌的隱患。為此,國(guó)內(nèi)外專家學(xué)者采取不同的方法來(lái)檢測(cè)鋼軌的表面缺陷情況。

文獻(xiàn)[2]通過(guò)超聲波的反射波波形分析判斷鋼軌表面缺陷所在的位置以及損耗程度，但是該方法對(duì)環(huán)境有著較高的要求，且鋼軌和探頭需一直保持良好接觸。文獻(xiàn)[3]借助于電渦流發(fā)出的感應(yīng)電流檢測(cè)鋼軌表面缺陷的位置，但是自身或者周圍的電磁場(chǎng)會(huì)造成極大的干擾，易給最終結(jié)果帶來(lái)極大的誤差。文獻(xiàn)[4～5]通過(guò)機(jī)器視覺來(lái)獲取鋼軌表面信息，利用圖像處理分析鐵軌表面缺陷的特征。但是該技術(shù)在檢測(cè)過(guò)程中容易受到天氣惡劣和復(fù)雜環(huán)境的影響，使得整體的檢測(cè)效率無(wú)法保持穩(wěn)定。文獻(xiàn)[6]提出BP神經(jīng)網(wǎng)絡(luò)分析鋼軌的缺陷信號(hào)，但是用于獲取缺表面陷信號(hào)的超聲波對(duì)于周圍環(huán)境的要求較高，因此最終檢測(cè)的結(jié)果也會(huì)受到不同程度的影響。文獻(xiàn)[7]采用了卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)模型進(jìn)行鋼軌表面缺陷識(shí)別的研究，檢測(cè)精度有了進(jìn)一步的提高，但是整體速度較慢、耗時(shí)較長(zhǎng)，限制了適用范圍。

基于以上研究所存在的問題及實(shí)際的應(yīng)用需要，本文提出了基于Faster R-CNN神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別鋼軌表面缺陷的方法。

1 基于Radon變換的鋼軌表面提取

1.1 圖像預(yù)處理

當(dāng)鋼軌圖像進(jìn)行數(shù)據(jù)傳輸或受到外部噪聲、光線等影響時(shí)，導(dǎo)致圖像細(xì)節(jié)部分的清晰度不高，甚至整體都較為模糊，因此圖像預(yù)處理的目的是去除圖像中的噪聲，使細(xì)節(jié)部分更加明顯。圖1(a)中鋼軌圖像經(jīng)過(guò)自適應(yīng)中值濾波[8]處理后，如圖1(b)所示，圖中鋼軌缺陷處的對(duì)比度得到了增強(qiáng)。

1.2 Radon變換

Radon變換的定義為：對(duì)于一個(gè)n維函數(shù)f(x1,x2,x3,x4,x5,…,xn)在n-1維超平面上的積分[9]，因此二維函數(shù)f(x,y)的Radon變換就是計(jì)算它在某一指定方向的投影變換[10]。

由圖2可知，ρ0為原點(diǎn)至直線的距離，θ0為直線的法線與x的夾角。故直線的方程式為

ρ0=x·cosθ0+y·sinθ0

(1)

因此二維圖像f(x,y)沿直線的Radon變換式為

(2)

式中，δ為

(3)

對(duì)Rθ0(ρ0)進(jìn)行關(guān)于ρ0的一維傅里葉變換

(4)

將圖像f(x,y)先進(jìn)行Radon變換，再進(jìn)行一維的傅里葉變換，其結(jié)果等于二維傅里葉變換，稱為投影定理。文中通過(guò)此方法證明了Radon變換就是對(duì)圖像進(jìn)行投影。根據(jù)投影曲線分析圖像，Radon變換不僅可以處理傅里葉變換處理的圖像，而且投影出來(lái)的曲線的物理特征更加明確，有利于后續(xù)的對(duì)比分析。

1.3 鋼軌表面提取

進(jìn)行鋼軌表面缺陷研究時(shí)，獲取的鋼軌表面圖像經(jīng)過(guò)圖像預(yù)處理后，信息量仍然龐大。在利用Faster R-CNN神經(jīng)網(wǎng)絡(luò)識(shí)別缺陷時(shí)，枕木、石子裂紋皆會(huì)降低鋼軌表面缺陷被識(shí)別的準(zhǔn)確率。因此，需提取鋼軌表面來(lái)減少誤差。

通過(guò)大量的鋼軌圖像發(fā)現(xiàn)，因經(jīng)常被列車駛過(guò)，所以鋼軌表面區(qū)域相較于非鋼軌表面區(qū)域而言，明亮度相對(duì)較高，且兩者的明亮度相差較大。因此，需要運(yùn)用Radon變換對(duì)獲取的鋼軌圖像進(jìn)行投影，完成鋼軌表面的提取。該方法的基本思想是：用Radon變換對(duì)預(yù)處理后的圖像進(jìn)行投影積分，通過(guò)積分曲線提取鋼軌表面區(qū)域。

該過(guò)程一共分為3個(gè)步驟：

步驟1生成投影曲線。濾波后的圖像用Radon變換在θ0=0°處進(jìn)行投影，相當(dāng)于計(jì)算圖像每一列的灰度值，記其和為sum(x)，如圖3(b)所示。sum(x)的表達(dá)式為

(5)

其中，f(x,y)表示圖像f在(x,y)處的灰度值；H為圖像f的高；

步驟2求取定積分運(yùn)算的始末位置。將反轉(zhuǎn)后的圖形進(jìn)行預(yù)處理，鋼軌表面的灰度值明顯低于非鋼軌表面區(qū)域，且灰度值達(dá)到整幅圖像的最低值。如圖3(c)所示，需要計(jì)算投影曲線的平均值實(shí)現(xiàn)其定積分的始末位置。投影曲線的平均值計(jì)算式為

(6)

其中，w為圖像f的寬；psum為投影曲線平均值。

步驟3提取鋼軌表面區(qū)域。由步驟2所知鋼軌圖像預(yù)處理后的表面灰度值是整幅圖像的最高值，因此反轉(zhuǎn)后的鋼軌區(qū)域的灰度值是圖像中的最低值，且鋼軌的橫向?qū)挾仁枪潭ǖ?，設(shè)其寬度值為L(zhǎng)。因此在投影曲線中，灰度值為最小區(qū)間且長(zhǎng)度為L(zhǎng)的范圍即鋼軌表面區(qū)域。從積分開始位置x1處開始積分，以L為積分區(qū)間進(jìn)行積分，到x2位置結(jié)束，期間得到的最小定積分區(qū)間即為鋼軌表面區(qū)域，如圖3(d)所示。其計(jì)算式表示為

(7)

以x1位置為積分起點(diǎn)，x2位置結(jié)束，L為積分區(qū)間。該方法減少了積分的時(shí)間，提高了獲取鋼軌表面的效率，避免了外界雜質(zhì)誤入所導(dǎo)致的卷積神經(jīng)網(wǎng)絡(luò)對(duì)鋼軌表面缺陷識(shí)別準(zhǔn)確性的降低。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、次采樣層、全連接層、輸出層組成?；贑NN的對(duì)象檢測(cè)技術(shù)從Region-CNN(R-CNN)發(fā)展到Fast R-CNN再到Faster R-CNN。雖然Region-CNN取得了不錯(cuò)的檢測(cè)成果，但是由于候選區(qū)域的選取影響檢測(cè)速度，使其速度耗時(shí)過(guò)長(zhǎng)，限制了適用范圍[11]。Fast R-CNN是先進(jìn)行卷積再進(jìn)行裁剪[12]，這樣會(huì)造成不同候選區(qū)域框重復(fù)計(jì)算重疊部分圖像的卷積。而且Fast R-CNN中的候選區(qū)域是通過(guò)選擇性搜索得到，其計(jì)算速度和效果很普通，不能達(dá)到實(shí)時(shí)監(jiān)測(cè)的速度，故而研究人員又提出了Faster R-CNN算法。該方法使用RPN網(wǎng)絡(luò)能夠很快的生成候選區(qū)域，并且在訓(xùn)練中實(shí)現(xiàn)了區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)和Fast R-CNN網(wǎng)絡(luò)共享參數(shù)。在本文中，鋼軌表面缺陷檢測(cè)也是采用Faster R-CNN算法[13]。

2.1 基于Faster R-CNN的鋼軌缺陷檢測(cè)

Faster R-CNN是由兩大模塊組成，即RPN候選區(qū)域框提取模塊和Fast R-CNN檢測(cè)模塊[14]。鋼軌表面缺陷檢測(cè)的算法實(shí)現(xiàn)步驟為：

步驟1輸入的圖像經(jīng)過(guò)VGG16網(wǎng)絡(luò)轉(zhuǎn)換為特征圖；

步驟2特征圖通過(guò)RPN網(wǎng)絡(luò)得到區(qū)域建議和區(qū)域得分；

步驟3將步驟1中的的特征圖和步驟2的區(qū)域得分同時(shí)輸入感興趣區(qū)域池化層(Region of Intrest,ROI pooling)并提取對(duì)應(yīng)區(qū)域建議的特征；

步驟4輸出該區(qū)域的分類得分以及回歸后的候選框，如圖4所示。

(1)卷積層。進(jìn)行卷積操作即把輸入的數(shù)據(jù)放入多個(gè)濾波器，實(shí)現(xiàn)物體特征提取的圖層稱為卷積層。在VGG16網(wǎng)絡(luò)中，有13個(gè)卷積層，卷積計(jì)算后得到13個(gè)不同的特征圖。因RPN網(wǎng)絡(luò)與Fast R-CNN網(wǎng)絡(luò)共享卷積層，13個(gè)特征圖用于候選區(qū)域的提取，F(xiàn)aster R-CNN整體訓(xùn)練的時(shí)間與精度有了進(jìn)一步的提升。本文用于卷積計(jì)算的激活函數(shù)為修正線形單元(Rectified Linear Unit,ReLU)激活函數(shù)

(8)

其中，α為前一層的輸出；w為連接權(quán)值；

(2)感興趣區(qū)域池化層(ROI pooling)。用R-CNN的選擇性算法從原始圖中提取出可能性區(qū)域。根據(jù)映射關(guān)系轉(zhuǎn)化為物體特征信息,把獲取的信息進(jìn)行概要統(tǒng)計(jì)，減少輸入量的規(guī)模。其本質(zhì)是利用其中的局部變量特征不變的通性進(jìn)行降維操作。實(shí)現(xiàn)降維的方法有很多，本文采用最大池化

(9)

其中，Pmax為最大池；M為特征圖；k為卷積核的數(shù)量。

(3)RPN。經(jīng)過(guò)卷積層后的卷積特征圖作為區(qū)域建議網(wǎng)絡(luò)的輸入，多個(gè)矩形候選區(qū)域作為輸出[15]。為了獲取候選區(qū)域，需進(jìn)行滑窗處理，卷積特征圖一共有多個(gè)窗口。每個(gè)窗口建議k個(gè)目標(biāo)候選區(qū)域，窗口與目標(biāo)候選區(qū)域的聯(lián)系用anchor表示，每個(gè)anchor的長(zhǎng)度和比例都不同。將每個(gè)窗口輸入全連接層1，即輸入256維的低維向量中。該特征向量輸入全連接層2，該層一共分為兩個(gè)子網(wǎng)絡(luò)層：邊框分類層(cls layer)和邊框回歸層(reg layer)。邊框分類層用于輸出每個(gè)目標(biāo)候選框是否為鋼軌表面缺陷的概率，每個(gè)窗口一共有2k個(gè)輸出。候選框用(x,y,w,h)表示位置，坐標(biāo)用(x,y)表示，(w,h)分別表示寬度和高度。邊框回歸層輸出anchor的平移縮放的量，對(duì)于每個(gè)窗口而言，一共有4k協(xié)調(diào)輸出，如圖5所示。

Faster R-CNN訓(xùn)練需要圖像的候選框信息作為監(jiān)督目標(biāo)窗口(Ground Truth)，所以需要將所有可能的目標(biāo)使用框標(biāo)注，之后使用labelImg對(duì)數(shù)據(jù)集的每一張圖片進(jìn)行標(biāo)記并生成xml文件進(jìn)行保存。如圖6所示。

3 實(shí)驗(yàn)結(jié)果和分析

本文以60 kg·m-1鋼軌作為標(biāo)準(zhǔn)軌。將Radon變換后的圖像整理分為4種類別：疤痕、裂縫、劃傷和磨損。每種類別有400張圖片，共計(jì)400×4=1 600張照片，其中80%作為訓(xùn)練集，20%作為測(cè)試集，如表1所示。

表1 Faster R-CNN表面缺陷識(shí)別Table 1. Surface defect recognition of Faster R-CNN

結(jié)合表1和圖7可知，鋼軌表面的各個(gè)缺陷的識(shí)別率均在90%以上。利用Radon變換獲取鋼軌表面特征區(qū)域，減少了非鋼軌表面區(qū)域的碎石或雜物帶來(lái)的誤差影響，同時(shí)用卷積神經(jīng)網(wǎng)絡(luò)整體提升了鋼軌表面缺陷識(shí)別的準(zhǔn)確性。但是，上文所提4種類別缺陷的識(shí)別率無(wú)法得到進(jìn)一步提高，其原因可能是當(dāng)鋼軌表面的缺陷不容易被察覺時(shí)，其識(shí)別效果不佳。但當(dāng)缺陷比較明顯時(shí)，容易識(shí)別且不易被誤判。

將1 600張鋼軌缺陷圖像輸入Fast R-CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)分析，結(jié)果如表2所示。再隨機(jī)抽取800張照片作為測(cè)試對(duì)象，分別輸入文獻(xiàn)[16]中的方法和BP神經(jīng)網(wǎng)絡(luò)進(jìn)行試驗(yàn)，結(jié)果如表3所示。

表2 Fast R-CNN表面缺陷識(shí)別Table 2. Fast R-CNN surface defect recognition

表3 不同鋼軌表面缺陷算法精度統(tǒng)計(jì)Table 3. Accuracy statistics of different rail surface defect algorithms

結(jié)合表1～表3可以得出，F(xiàn)ast R-CNN模型的準(zhǔn)確率與Faster R-CNN相差較小，但是平均檢測(cè)時(shí)間相對(duì)較長(zhǎng)。而在不考慮用時(shí)的情形下,文獻(xiàn)[16]的方法和BP神經(jīng)網(wǎng)絡(luò)對(duì)鋼軌表面4種缺陷的識(shí)別準(zhǔn)確率與采用本文方法獲得的準(zhǔn)確率相差較大。

4 結(jié)束語(yǔ)

本文先用Radon變換得到鋼軌原圖像的灰度投影曲線及其投影曲線的平均值，將其反轉(zhuǎn)后，鋼軌表面區(qū)域的灰度值小于圖像的平均值，且鋼軌的寬度L為定值，因此提取投影曲線中灰度值的長(zhǎng)度為L(zhǎng)的最小區(qū)域完成鋼軌表面的提取。使用該方法可實(shí)現(xiàn)對(duì)鋼軌表面的快速提取。隨后，運(yùn)用Faster R-CNN卷積神經(jīng)網(wǎng)絡(luò)識(shí)別鋼軌表面缺陷，利用80%的數(shù)據(jù)進(jìn)行訓(xùn)練，另20%的數(shù)據(jù)作為測(cè)試集得出鋼軌表面的疤痕、裂縫、劃傷和磨損的識(shí)別準(zhǔn)確率均達(dá)到90%以上。但是，該方法目前仍存在許多不足。首先，精度有待進(jìn)一步提高，當(dāng)缺陷不明顯時(shí),識(shí)別的效果不佳，容易被誤判；其次，算法改進(jìn)的同時(shí)需提升神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度，以滿足鋼軌在高速檢測(cè)中對(duì)實(shí)時(shí)處理的更高要求。