羅隆福，葉威，王健

基于深度學(xué)習(xí)的高鐵接觸網(wǎng)頂緊螺栓的缺陷檢測

羅隆福，葉威，王健

(湖南大學(xué) 電氣與信息工程學(xué)院，湖南 長沙 410012)

針對高鐵接觸網(wǎng)頂緊螺栓目標(biāo)小、缺陷檢測困難的問題，提出一種基于深度學(xué)習(xí)的頂緊螺栓缺陷檢測方法。根據(jù)4C檢測車拍攝的高鐵接觸網(wǎng)圖片(大小為6 600*4 400 pixels)，首先對特征信息更多的斜撐套筒進行定位，采用TDM模塊與SSD相結(jié)合的算法提升算法對小目標(biāo)的檢測精度，并通過改變默認(rèn)框的尺寸以得到更好的檢測精度和速度；然后利用DeepLab v3 plus算法對頂緊螺栓部分進行語義分割；最后提出一種閾值法對頂緊螺栓的缺陷情況進行判別。為滿足實際工程的速度需求，對訓(xùn)練好的模型進行優(yōu)化。實驗結(jié)果表明：相較于經(jīng)典的SSD，本文改進的SSD方法對斜撐套筒的定位精度和速度都有提升；對于6 600*4 400 pixels的原始樣本，本文提出的頂緊螺栓缺陷檢測方法精度上達到95.9%，速度達到17.9 fps。

頂緊螺栓；缺陷檢測；SSD；TDM；語義分割

高鐵接觸網(wǎng)中的斜撐套筒是高鐵接觸網(wǎng)支撐裝置的重要組成部件，對列車的運行以及弓網(wǎng)的正常供電起到了重要作用[1]。在雨雪等環(huán)境腐蝕作用以及列車長期運行時對接觸網(wǎng)所產(chǎn)生的受力震動下，斜撐套筒的緊固件(頂緊螺栓)會出現(xiàn)松動或者脫落的情況，若不能及時的查找缺陷，將會影響高鐵接觸網(wǎng)的穩(wěn)定運行。目前我國對于高鐵接觸網(wǎng)零部件的檢測采取的主要方式是人工看圖，這種方法檢測效率較低且人為影響因素大。現(xiàn)階段，對于高鐵接觸網(wǎng)零部件的檢測的研究主要采用圖像處理技術(shù)來完成。傳統(tǒng)的方法有：呂耀輝[2]提出快速模板匹配算法進行輸電線部件缺陷的檢測，陳雋文等[3]采用局部特征描述的方法對斜撐套筒進行定位，并通過圖片灰度規(guī)律對頂緊螺栓進行故障檢測。利用深度學(xué)習(xí)的方法有：李萍等[4]基于深度學(xué)習(xí)的圖像技術(shù)完成了對鐵路列車零部件的故障檢測，徐鑰斌[5]采用Faster RCNN進行高鐵接觸網(wǎng)吊弦的缺陷檢測。由4C檢測車拍攝的原圖大小為6 600*4 400，而頂緊螺栓在原圖中的大小約為120*120，面積僅約為原圖的1/2 000。對類似頂緊螺栓這樣感受野較小的零部件檢測時，上述的傳統(tǒng)方法對小部件位置特征多樣化的魯棒性差，算法耗時長，適用性低。而利用深度學(xué)習(xí)直接進行檢測，仍存在以下問題：1) 目標(biāo)檢測對小目標(biāo)的精度較低，從而導(dǎo)致誤報漏報情況嚴(yán)重；2) 缺陷樣本較少，生成的模型容易過擬合而導(dǎo)致無效。3) 對于頂緊螺栓松脫幾個螺紋的情況特征提取較難，目標(biāo)檢測很難精確地分類。針對上述問題，本文做了以下研究工作：1) 提出了一種TDM[6](Top-Down Modulation)特征融合的SSD[7]改進算法對具有頂緊螺栓的斜撐套筒進行定位，定位更大的斜撐套筒解決直接檢測小目標(biāo)精度低的問題，同時通過TDM將不同特征層進行特征融合，進一步提高斜撐套筒的檢測精度；2) 提出采用DeepLab v3 plus[8]算法對斜撐套筒上的頂緊螺栓進行語義分割，逐像素地得到頂緊螺栓的語義信息，使模型更關(guān)注于區(qū)分螺母和螺柱的語義信息而不是頂緊螺栓松脫的特征，避免由缺陷樣本少而引起的過擬合；3) 根據(jù)實際缺陷情況提出一種閾值法完成頂緊螺栓的缺陷檢測。圖1為算法流程圖。

1 斜撐套筒的定位

為了解決直接檢測小目標(biāo)效果差的問題，本文先對具有頂緊螺栓的斜撐套筒進行定位，因此斜撐套筒的定位精度和速度直接影響整個算法的效率。目前常用的目標(biāo)檢測方法，第一類是基于Region Proposal的2階算法，如R-CNN, Faster R-CNN等，通過算法確定候選框，然后對候選框進行分類和回歸，這種算法精確度較高，但檢測速度相對較慢[9]。第二類是基于回歸的一階算法，如SSD, YOLO等，直接通過算法在原始圖片上進行多個位置的回歸，檢測速度得到了極大的提升，但精度相對較低[10]。因此選擇在速度和精度較為均衡的SSD算法，并引入TDM將SSD特征層之間進行特征融合，減少默認(rèn)矩形框的數(shù)量，進一步提升斜撐套筒的定位精度和速度。

1.1 經(jīng)典的SSD模型

1.1.1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

圖2為文獻[7]中的模型結(jié)構(gòu)圖，使用VGG-16[11]網(wǎng)絡(luò)前5層(直到conv5-3層)，將VGG-16中的第6層和第7層換為2個卷積層，之后增加3個卷積層和一個平均池化層，以SSD_300_vgg為例，通過卷積層conv4_3，conv7，conv8_2，conv9_2，conv10_2，conv11_2層作為特征層進行預(yù)測，產(chǎn)生一系列的定位框，最后通過非極大值抑制算法(NMS[12])去除多余的框。

1.1.2 default box

SSD采用一組不同scale和aspect ratio 的默認(rèn)矩形框(default box)進行預(yù)測。默認(rèn)框的尺寸采用公式(1)計算所得，最大尺寸max=0.9，最小尺寸min=0.2，代表特征層的數(shù)量(SSD_300中=6，SSD_512中=7)。

1.1.3 損失函數(shù)

如式(2)所示，SSD的損失函數(shù)由以下2部分組成，第1部分為默認(rèn)框與目標(biāo)類別置信度的損失，記為conf，第2部分為位置回歸損失，記為loc。

其中：為正樣本數(shù)量；表示置信度損失和位置回歸損失所占的權(quán)重，一般取1，位置回歸損失loc(,,)是由實際各個預(yù)測框相對于真實框的偏移值采用1 計算出來的，conf(,)是置信度損失。

1.2 改進的SSD

經(jīng)典的SSD模型只是單獨用不同的特征層對目標(biāo)進行預(yù)測，忽略了不同層之間的聯(lián)系，僅用淺層的特征層檢測小目標(biāo)，使得對小目標(biāo)的檢測效果差。雖然斜撐套筒相對頂緊螺栓在圖中的目標(biāo)大，但相對于原始圖片仍然很小。FPN[13]中提到，在神經(jīng)網(wǎng)絡(luò)中，淺層的特征圖感受野小，語義信息少，局部外觀信息多，深層的特征層包含更多的語義信息，感受野大，但外觀信息少，通過將淺層與深層進行特征融合可以提高小目標(biāo)的檢測精度。文獻[14]利用FPN+SSD方法對特征層進行特征融合，提高了小目標(biāo)的精度。文獻[15]提出一種基于反卷積的SSD特征融合方法，提升對小目標(biāo)的檢測精度?；谝陨戏治?，本文針對SSD有以下幾點改進。

圖2 經(jīng)典SSD模型結(jié)構(gòu)圖

1.2.1 TDM模塊的引入

1.2.2 優(yōu)化default box的寬高比

經(jīng)典的SSD采用的default box的寬高比∈{1,2,3,1/2,1/3}，而斜撐套筒的寬高比在原圖中的比例小于1，并且將原圖(6 600*4 400)轉(zhuǎn)成SSD_ 300_vgg(300*300)的輸入時，斜撐套筒的寬高比會變得更小，因此，將新網(wǎng)絡(luò)的default box的寬高比設(shè)置成∈{1,1/2,1/3}，default box的個數(shù)變成4，減少default box的個數(shù)是為了提升檢測速度。

圖3 TDM的基本架構(gòu)

1.2.3 改進后的SSD網(wǎng)絡(luò)結(jié)構(gòu)

TDM模塊設(shè)計是找到一種注意力機制從較低層卷積層中選擇相關(guān)特征，本文在SSD的特征層間加入TDM模塊進行特征融合，選取更低層conv3_3,取代原來的conv7作為特征層，將conv3_3, conv4_3, conv8和conv9作為模塊的輸入，按照圖4的方式進行特征融合，conv10, conv11本身具有較高的語義信息，且特征圖的尺度小，此處不進行特征融合，最終將TDM模塊的輸出out，以及SSD的conv10, conv11作為最終的特征層進行檢測，并用NMS去除冗余的預(yù)測框。

圖4 改進后SSD模型結(jié)構(gòu)圖

圖5 Conv 8和conv 9的特征融合示例

表1 改進后SSD模型的T，L模塊

2 頂緊螺栓的語義分割

頂緊螺栓缺陷主要體現(xiàn)在頂緊螺栓的松脫和脫落2種情況，圖6展現(xiàn)了各種缺陷及正常狀態(tài)的示意圖。其中圖6(a)，6(b)為頂緊螺栓松動缺陷圖，圖6(c)為頂緊螺栓脫落缺陷圖，圖6(d)為正常圖片。若采用目標(biāo)檢測的方法，由于目標(biāo)小，正負(fù)樣本特征差異小，目標(biāo)檢測需要設(shè)計很好的特征提取層來提取特征，且訓(xùn)練的模型由于缺陷樣本少的原因容易過擬合。本文提出了一種基于DeepLab v3 plus的像素級別的語義分割方法，通過增加語義信息來提高部件的識別精度，將目標(biāo)檢測的分類問題轉(zhuǎn)換成對每個像素的語義判別上，并通過實驗測試證明了算法的可行性。

(a) 下端套筒松脫；(b) 上端套筒松脫；(c) 頂緊螺栓脫落；(d) 正常套筒

DeepLab[16]系列的語義分割是由FCN[17]發(fā)展而來，網(wǎng)絡(luò)結(jié)構(gòu)去除了全連接層(FC)，從而能對任意給定輸入尺寸的圖像進行語義分割，其中引入了Atrous 卷積(空洞卷積)[16, 18]，ASPP網(wǎng)絡(luò)[8]以及編碼解碼網(wǎng)絡(luò)結(jié)構(gòu)[11]。

2.1 Atrous卷積

在一張圖片中，緊密相鄰的兩像素之間的特征幾乎相同，若全部進行卷積計算會產(chǎn)生冗余，若跳個像素取一個計算，則可以減少卷積核的大小，從而達到節(jié)省內(nèi)存的效果。

以二維信號為例，對于輸出特征圖上的每個位置和卷積核，在輸入特征圖上應(yīng)用Atrous卷積，則其卷積計算滿足公式(3)。

其中：為空洞采樣步長，對于=1表示為標(biāo)準(zhǔn)卷積操作。

2.2 ASPP網(wǎng)絡(luò)

ASPP(Atrous Spatial Pyramid Pooling)是Atrous卷積和SPP網(wǎng)絡(luò)組合而來，可以具備二者的優(yōu)點。Atrous卷積可以減少計算量來提高預(yù)測的效率，SPP網(wǎng)絡(luò)可以對多種不同尺度及分辨率的特征層進行處理，從而挖掘各個不同尺度的上下文信息，提高精度。

2.3 DeepLab v3 plus的結(jié)構(gòu)

圖7為文獻[8]中DeepLab v3 plus的模型結(jié)構(gòu)，總體結(jié)構(gòu)采用編碼?解碼結(jié)構(gòu)，編碼部分利用ASPP網(wǎng)絡(luò)提取多尺度的上下文信息，編碼結(jié)構(gòu)逐漸減少特征映射，同時捕獲更高層的語義信息，解碼部分采用2個4倍的上采樣逐步恢復(fù)空間信息。

圖7 DeepLab v3 plus 的模型結(jié)構(gòu)

3 缺陷判別

3.1 缺陷判別原理

頂緊螺栓缺陷分為脫落和松動2種情況：

1) 當(dāng)頂緊螺栓脫落時，通過語義分割得到的結(jié)果為一張黑圖，即判斷為脫落。

2) 當(dāng)出現(xiàn)松動情況時，采用閾值法判別，其原理如下：如圖8所示，分別對不同色塊進行編號，對于圖8(b)，當(dāng)語義分割圖中在同一連通域中有2個螺紋(LW，編號3，4)部分，即認(rèn)定為松脫。對于圖8(a)，8(c)，首先，計算編號為3的螺紋部分的幾何中心(1,1)和編號1,2的中點(2,2)，然后得到的歐式距離如公式(4)：

最后將L與設(shè)定的閾值進行比較，當(dāng)L大于閾值時，判斷頂緊螺栓松動，反之，判斷為正常。

3.2 閾值的選取

在頂緊螺栓訓(xùn)練集中隨機抽取正常數(shù)據(jù)500個，并取出其訓(xùn)練集所有的松脫數(shù)據(jù)100個通過訓(xùn)練好的模型進行語義分割，根據(jù)3.1中的方法計算出每張圖的L，統(tǒng)計發(fā)現(xiàn)，正常數(shù)據(jù)的L的最大值為4.5，松脫數(shù)據(jù)的L的最小值為6.7，考慮一定的裕度，選取閾值6.2效果最佳。

(a) 正常情況；(b) 松脫情況；(c) 松脫情況

4 定位和缺陷檢測實驗結(jié)果與分析

4.1 實驗平臺

本實驗采用的電腦顯卡為GTX1080Ti(顯存大小11 G)，CPU為Intel Core i7-7700 CPU@3.60 GHz，操作系統(tǒng)windows10，深度學(xué)習(xí)框架為tensorflow，編程環(huán)境為python3.6，以及numpy，opencv相關(guān)庫等。

4.2 數(shù)據(jù)集的制作

本文所涉及的數(shù)據(jù)集分為2個部分：

1) 斜撐套筒定位數(shù)據(jù)集。采用京滬高鐵線路不同區(qū)間具有頂緊螺栓的5 260張由4C檢測車拍攝的大小為6 600*4 400的圖片。將數(shù)據(jù)集中含有頂緊螺栓的斜撐套筒通過labelImg 進行標(biāo)注，斜撐套筒的類別分為上端卡子(SDQZ)，下端卡子(XDQZ)，下端套筒(XDTT)3類，訓(xùn)練集4 471張，測試集 789張。

2) 頂緊螺栓語義分割數(shù)據(jù)集。Step 1：通過定位算法在6 600*4 400原始樣本中剪切出3 250張不同線路的3種類別的斜撐套筒，大小為512*320 pixels。圖片寬度為512像素，保證斜撐套筒左右傾斜時能包含頂緊螺栓部分，高度采用320像素，降低斜撐套筒周圍其他緊固件的語義干擾。其中訓(xùn)練集2 250張(正常2 000張，缺陷250張)，測試集1 000張(正常800張，缺陷200張)。Step 2：如圖7，頂緊螺栓語義分割圖所示，通過labelme對頂緊螺栓部分進行多邊形標(biāo)注，將頂緊螺栓分成螺紋(LW)和螺栓(LS)2個部分。

4.3 模型的訓(xùn)練

本文模型的訓(xùn)練分為2個部分：

1) 斜撐套筒定位模型的訓(xùn)練：數(shù)據(jù)集原始圖片的大小為6 600*4 400，若直接作為模型訓(xùn)練的輸入數(shù)據(jù)，訓(xùn)練一張圖所占用內(nèi)存大，從而導(dǎo)致訓(xùn)練的batch size很小，模型難以收斂，因此，模型訓(xùn)練所采用的輸入數(shù)據(jù)是通過對原始數(shù)據(jù)預(yù)處理降采樣，得到大小為300*300的輸入樣本。采用改進的SSD模型，優(yōu)化算法采用Adam自適應(yīng)算法，初始學(xué)習(xí)率為0.001，終止學(xué)習(xí)率設(shè)為1×10?6，學(xué)習(xí)率衰減因子為0.94，設(shè)定每20個epoch學(xué)習(xí)率衰減，訓(xùn)練步數(shù)50 000步，batch size設(shè)為12。先對經(jīng)典SSD進行訓(xùn)練，然后將訓(xùn)練模型的conv10,conv11的參數(shù)進行凍結(jié)，訓(xùn)練TDM模塊。

2) 頂緊螺栓語義分割模型的訓(xùn)練：特征提取網(wǎng)絡(luò)采用殘差網(wǎng)絡(luò)101，優(yōu)化算法為Adam自適應(yīng)算法，初始學(xué)習(xí)率設(shè)為7×10?3，終止學(xué)習(xí)率設(shè)為1×10?6，output_stride=16，表示經(jīng)過ASPP網(wǎng)絡(luò)后，網(wǎng)絡(luò)尺寸縮小16倍，訓(xùn)練步數(shù)設(shè)為50 000步，為防止過擬合，權(quán)值衰減weight_decay=2×10?4。

4.4 斜撐套筒定位實驗結(jié)果與分析

為了驗證改進算法的檢測效果，在測試集上測試，以mAP(mean Average Precision)，檢測時間(單位：幀/秒，fps)作為斜撐套筒的性能指標(biāo)，表2記錄了不同算法之間性能指標(biāo)的對比數(shù)據(jù)。

表2 不同算法的性能指標(biāo)

通過對比可以發(fā)現(xiàn)，本文提出的方法在精度和速度上相較經(jīng)典SSD分別提升了9.35%和2.2 fps。進行特征層之間的特征融合，提升了精度，但增加了算法的運算量，但由于用于檢測的特征層降低到3層(out，conv10，conv11)，并且減少了default box的個數(shù)，最終算法的速度也得到了提升。圖11展現(xiàn)了斜撐套筒定位可視化圖，左列為經(jīng)典SSD_300的預(yù)測結(jié)果，右列為改進后的，可以看出，改進后的模型相對于經(jīng)典SSD_300在對遮擋部分的小物體識別效果好。

4.5 頂緊螺栓的語義分割及缺陷檢測結(jié)果分析

圖9展示了DeepLab v3 plus訓(xùn)練時的mIOU變化曲線，通過tensorboard查看，當(dāng)訓(xùn)練次數(shù)達到58 260步時，mIOU達到89.23%，此時曲線趨于平緩。對語義分割測試集進行測試，得到平均檢測速度為34.7 幀/s。圖10展示了頂緊螺栓的語義分割圖。

將訓(xùn)練好的語義分割模型和缺陷判別方法結(jié)合對測試集進行預(yù)測，結(jié)果見表3?？梢钥闯霰疚奶岢龅恼Z義分割與缺陷判別方法對頂緊螺栓缺陷判別正確率高，出現(xiàn)誤檢的原因有以下2點造成：1) 存在部分遮擋的情況，頂緊螺栓不完整；2) 對于頂緊螺栓松動僅1到2個螺紋的情況，即圖8(b)編號為4的部分很小，對頂緊螺栓的語義分割不完全，樣本檢測為正常。

圖9 DeepLab v3 plus 訓(xùn)練mIOU變化曲線

4.6 算法的性能優(yōu)化及結(jié)果

Tensorflow Lite 是谷歌公司開發(fā)的一個輕量級推理庫，可以對Tensorflow模型大小和性能進行優(yōu)化，而對準(zhǔn)確性的影響很小。具體轉(zhuǎn)換步驟為：1)將訓(xùn)練好的.ckpt模型文件轉(zhuǎn)換成.pb文件；2) 再將.pb文件轉(zhuǎn)換成.tflite文件(可設(shè)置是否量化)。模型量化是將原模型中的浮點數(shù)據(jù)轉(zhuǎn)換成整型數(shù)據(jù)進行計算的模型壓縮技術(shù)。

為了進一步提升算法缺陷檢測速度，本文通過Tensorflow Lite對訓(xùn)練好的改進SSD模型文件進行優(yōu)化，并對語義分割模型進行量化處理，同時在預(yù)測的時候采用batch批量預(yù)測，增大顯存的利用率。

(a) 缺陷數(shù)據(jù)及其語義分割圖；(b) 正常數(shù)據(jù)及其語義分割圖

表3 語義分割缺陷判別情況

為了驗證本文提出算法是否滿足實際工程的需求，對原始數(shù)據(jù)6 600*4 400通過定位，語義分割以及缺陷判別的方法進行缺陷檢測，表4記錄了模型優(yōu)化前后各個階段的檢測速度和精度。

通過表4發(fā)現(xiàn)，非量化的.tflite模型文件相對于量化有更好的檢測速度和精度，相對于優(yōu)化前有近4倍的檢測速度，模型大小不變，精度上略微有所下降，因此對于改進的SSD模型直接進行非量化轉(zhuǎn)換成.tflite文件。語義分割模型直接進行量化處理，檢測速度提升近3倍。

表4 各個階段模型優(yōu)化前后性能對比

表5記錄了優(yōu)化前后算法總性能，算法總平均耗時(T)除了以上3個階段，還包括將斜撐套筒從大圖切成小圖的時間，如式(5)所示，算法的總精度按式(6)計算。

其中：表示1張大圖中包含斜撐套筒的數(shù)量。

其中：表示圖片數(shù)，，分別表示定位和缺陷檢測的狀態(tài)(1：正確，0：錯誤)。

表5 優(yōu)化前后算法總性能對比

圖11　斜撐套筒定位識別可視化圖(左列為SSD_300，右列為改進后的SSD)

5 結(jié)論

1) 通過增加TDM模塊來對SSD不同特征層進行特征融合，增強不同層之間的聯(lián)系，提升算法對小目標(biāo)的精度，修改default box的尺寸以更好的適應(yīng)原始數(shù)據(jù)的尺寸，并提升檢測速度。

2) 針對頂緊螺栓這種極小目標(biāo)，提出一種階段性的檢測方法，避免了目前深度學(xué)習(xí)直接對小目標(biāo)檢測精度差的問題。采用DeepLab V3 plus 語義分割的方法，逐像素的區(qū)分不同類別的物體，然后通過一種簡單的閾值法區(qū)分缺陷情況，實驗表明這種方法對缺陷判別的正確率高。

3) 通過對訓(xùn)練模型的優(yōu)化處理，實驗表明，本文的方法在測試集上的總精度達到95.9%，速度達到17.9幀/s。相較于文獻[3]在斜撐套筒的定位和缺陷檢測效果上得到了提升，相較于現(xiàn)階段人工篩選方法在保證準(zhǔn)確率的同時提高了效率，并且對高鐵接觸網(wǎng)其他零部件的缺陷檢測具有參考作用。

[1] 李德勝. 接觸網(wǎng)系統(tǒng)對高速鐵路行車安全的影響[J]. 中國鐵路, 2011(2): 34?37. LI Desheng. Influence of catenary system to running safety of high speed railway[J]. Chinese Railways, 2011(2): 34?37.

[2] 呂耀輝. 基于快速模板匹配的輸電線部件缺陷檢測方法研究[D]. 廣州: 廣東工業(yè)大學(xué), 2018. Lü Yaohui. Research on defect detection of power line components based on fast template matching[D]. Guangzhou: Guangdong University of Technology, 2018.

[3] 陳雋文, 劉志剛, 韓燁, 等. 基于局部特征描述的高速鐵路接觸網(wǎng)斜撐套筒定位與故障檢測[J]. 鐵道學(xué)報, 2017, 39(11): 30?37. CHEN Junwen, LIU Zhigang, HAN Ye, et al. Location and fault detection of diagonal tube of overhead contact system of high-speed railway based on local feature description[J]. Journal of the China Railway Society, 2017, 39(11): 30?37.

[4] 李萍, 吳斌方, 劉默耘, 等. 基于深度學(xué)習(xí)的鐵路列車關(guān)鍵零部件圖像故障檢測[J]. 鐵道科學(xué)與工程學(xué)報, 2019, 16(12): 3119?3125. LI Ping, WU Binfang, LIU Moyun, et al. Vision-based fault detection for key components of railway train based on deep learning[J]. Journal of Railway Science and Engineering, 2019, 16(12): 3119?3125.

[5] 徐鑰斌. 圖像處理在接觸網(wǎng)吊弦缺陷檢測中的應(yīng)用[D].成都: 西南交通大學(xué), 2018. XU Yaobin. Application of image processing in detecting defects of catenary hanger[D]. Chengdu: Southwest Jiaotong University, 2018.

[6] Shrivastava A, Sukthankar R, Malik J, et al. Beyond skip connections: Top-down modulation for object detection [EB/OL].2016?12?06.https://arxiv.org/abs/1612.06851.

[7] LIU Wei, Anguelov D, Erhan D, et al. SSD: single shot MultiBox detector[M]// Computer Vision?ECCV 2016. Cham: Springer International Publishing, 2016: 21?37.

[8] CHEN L C, ZHU Y, Papandreou G, et al. Encoder- decoder with atrous separable convolution for semantic image segmentation[C]// Proceedings of the European Conference on Computer Vision. Springer Verlag, 2018: 801?818.

[9] 詹煒, Inomjon Ramatov, 崔萬新, 等. 基于候選區(qū)域的深度學(xué)習(xí)目標(biāo)檢測算法綜述[J]. 長江大學(xué)學(xué)報(自然科學(xué)版), 2019, 16(5): 108?115. ZHAN Wei, Inomjon Ramatov, CUI Wanxin, et al. A survey of deep learning target detection algorithms based on candidate regions[J]. Journal of Yangtze University (Natural Science Edition), 2019, 16(5): 108?115.

[10] 周曉彥, 王珂, 李凌燕. 基于深度學(xué)習(xí)的目標(biāo)檢測算法綜述[J]. 電子測量技術(shù), 2017, 40(11): 89?93. ZHOU Xiaoyan, WANG Ke, LI Lingyan. Review of object detection based on deep learning[J]. Electronic Measurement Technology, 2017, 40(11): 89?93.

[11] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science, 2014, 20(2): 523?531.

[12] Rosenfeld A, Thurston M. Edge and curve detection for visual scene analysis[J]. IEEE Transactions on Computers, 1971, C-20(5): 562?569.

[13] LIN T Y, Dollar P, Girshick R, et al. Feature pyramid networks for object detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). July 21?26, 2017, Honolulu, HI, USA. IEEE, 2017: 936? 944.

[14] 張建明, 劉煊赫, 吳宏林, 等. 面向小目標(biāo)檢測結(jié)合特征金字塔網(wǎng)絡(luò)的SSD改進模型[J]. 鄭州大學(xué)學(xué)報(理學(xué)版), 2019, 51(3): 61?66, 72. ZHANG Jianming, LIU Xuanhe, WU Honglin, et al. Improved SSD model with feature pyramid network for small object detection[J]. Journal of Zhengzhou University (Natural Science Edition), 2019, 51(3): 61? 66, 72.

[15] FU C Y, LIU W, Ranga A, et al. DSSD: Deconvolutional single shot detector [EB/OL]. 2017?01?06.https://arxiv. org/pdf/1701.06659.pdf.

[16] CHEN L C, Papandreou G, Kokkinos I, et al. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834?848.

[17] Shelhamer E, LONG J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640?651.

[18] CHEN L C, Papandreou G, Schroff F, et al. Rethinking atrous convolution for semantic image segmentation [EB/OL]. 2017?06?05. https://arxiv.org/abs/1706.05587.

Defect detection of the puller bolt in high-speed railway catenary based on deep learning

LUO Longfu, YE Wei, WANG Jian

(School of Electrical and Information Engineering, Hunan University, Changsha 410012, China)

To deal with the defect detection of the puller bolt in the high-speed railway catenary, a new method based on Deep Learning was proposed to detect the detects of puller bolts. The high-speed railway catenary images (size is 6 600 * 4 400 pixels) were taken by the 4C inspection vehicle. Firstly, the slanting sleeve with more characteristic information was located, and the detection precision of the small target was improved by using the TDM module and the SSD Algorithm, got a better detection accuracy and speed by changing the size of the default box. Then, using the DeepLab v 3plus algorithm to complete the semantic segmentation of the Bolt Part. Finally, a threshold value method was proposed to judge the defects of the Bolt. The trained model was optimized to meet the actual engineering requirements. Compared with the classical SSD, the improved SSD can improve the precision and speed of the positioning of the diagonal sleeve. For the original sample of 6 600 * 4 400 Pixels, in this paper, a method for detecting the defects of Jacking Bolts was presented, which has the precision of 95.9% and the speed of 17.9 fps.

puller bolt; defect detection; SSD; TDM; semantic segmentation

U225.42；TP391.4

A

1672 ? 7029(2021)03 ? 0605 ? 10

10.19713/j.cnki.43?1423/u.T20200441

2020?05?20

國家自然科學(xué)基金資助項目(51707060)

羅隆福(1962?)，男，湖南常德人，教授，博士，從事鐵路接觸網(wǎng)方面的研究；E?mail：llf@hnu.edu.cn

(編輯 涂鵬)