周鵬 張龍信

摘? 要：針對(duì)列車故障檢測(cè)效率低的問(wèn)題，提出一種基于MobielNet的移動(dòng)端列車圖像故障檢測(cè)算法。首先，在MobileNet中引入注意力卷積塊和Ghost模塊，用以提升網(wǎng)絡(luò)的學(xué)習(xí)能力。其次，使用殘差聚合網(wǎng)絡(luò)獲取多層次的特征圖。最后，將該模型移植到移動(dòng)端設(shè)備上完成列車故障檢測(cè)任務(wù)。實(shí)驗(yàn)結(jié)果表明，該算法的平均精度均值達(dá)到了85.35%，與YOLOv3-Tiny、YOLOv4-Tiny、YOLOX、YOLOv5相比，mAP分別提高了8.83%、5.49%、7.89%、5.31%，并且FED擁有更低檢測(cè)延遲。

關(guān)鍵詞：列車故障檢測(cè)；目標(biāo)識(shí)別；MobileNet；移動(dòng)設(shè)備；注意力機(jī)制

中圖分類號(hào)：TP391.4? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）06-0046-05

Mobile Terminal Train Image Fault Detection Algorithm Based on MobielNet

ZHOU Peng， ZHANG Longxin

（Hunan University of Technology， Zhuzhou? 412007， China）

Abstract： To solve the problem of low efficiency of train fault detection， mobile terminal train image fault detection algorithm based on MobielNet is proposed. First， attention convolution block and Ghost module are introduced into MobileNet to improve the learning ability of the network. Secondly， residual aggregation network is used to obtain multi-level feature map. Finally， the model is transplanted to the mobile terminal equipment to complete the train fault detection task. The experimental results show that the average accuracy of the algorithm reaches 85.35%. Compared with YOLOv3-Tiny， YOLOv4-Tiny， YOLOX and YOLOv5， mAP improves 8.83%， 5.49%， 7.89% and 5.31% respectively， and FED has lower detection delay.

Keywords： train fault detection; target recognition; MobileNet; mobile device; attention mechanism

0? 引? 言

中國(guó)鐵路高速發(fā)展，鐵路安全問(wèn)題一直是人們關(guān)注的焦點(diǎn)，當(dāng)前對(duì)于列車零部件故障的檢測(cè)主要依賴人工識(shí)別，檢測(cè)效率低，易受檢測(cè)人員自身狀態(tài)和自然環(huán)境的影響。近年來(lái)基于機(jī)器視覺(jué)的列車故障檢測(cè)方法在我國(guó)鐵路系統(tǒng)中得到了廣泛的應(yīng)用，但由于列車故障種類多，識(shí)別難度高，傳統(tǒng)的基于機(jī)器視覺(jué)的圖像處理技術(shù)難以完成列車故障檢測(cè)任務(wù)。隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，使得基于深度學(xué)習(xí)的列車故障檢測(cè)方法越來(lái)越受到人們的重視。相比于傳統(tǒng)列車故障檢測(cè)方法，基于深度學(xué)習(xí)的列車故障檢測(cè)方法能自動(dòng)的設(shè)計(jì)和提取特征，提高檢測(cè)效率。針對(duì)這些因素，本文提出一種基于MobielNet[1]的移動(dòng)端列車圖像故障檢測(cè)算法FED，旨在提高列車故障檢測(cè)精度，完成實(shí)時(shí)檢測(cè)任務(wù)。

本文工作的主要貢獻(xiàn)總結(jié)如下：

（1）設(shè)計(jì)了殘差聚合網(wǎng)絡(luò)（Residual Pixel Aggregation Network， Residual-PAN），用于產(chǎn)生多層次的特征圖，并進(jìn)行特征融合，顯著提高了網(wǎng)絡(luò)特征提取能力。Residual-PAN使用1×1的卷積操作統(tǒng)一特征圖的通道數(shù)，減少網(wǎng)絡(luò)參數(shù)，并使用卷積核為5×5（或者7×7）的深度可分離卷積擴(kuò)大感受野。

（2）提出了Enhanced MobileNet（EMNet）。在MobileNet的基礎(chǔ)上，增加了卷積注意力機(jī)制（Convolution Block Attention Module， CBAM）和Ghost模塊，可以在少量參數(shù)的情況下，獲取更多的特征信息，提高網(wǎng)絡(luò)的學(xué)習(xí)能力。

（3）將Fastand Effective Detection（FED）模型應(yīng)用于移動(dòng)端的列車零部件故障檢測(cè)，并進(jìn)行了一系列實(shí)驗(yàn)以評(píng)估其有效性。實(shí)驗(yàn)結(jié)果表明，F(xiàn)ED具有更高的檢測(cè)精度、較低的檢測(cè)延遲和較少的參數(shù)量，能在硬件性能較差的移動(dòng)設(shè)備完成實(shí)時(shí)檢測(cè)任務(wù)。

本文其余工作安排如下：在第1節(jié)回顧了目標(biāo)檢測(cè)算法的相關(guān)工作，第2節(jié)中介紹了提出的FED模型。第3節(jié)描述了實(shí)驗(yàn)和結(jié)果分析，第4節(jié)對(duì)所做的工作進(jìn)行了總結(jié)。

1? 相關(guān)工作

1.1? 移動(dòng)端目標(biāo)識(shí)別

移動(dòng)端目標(biāo)識(shí)別是指使用輕量級(jí)的移動(dòng)設(shè)備實(shí)現(xiàn)目標(biāo)識(shí)別任務(wù)，其流程如圖1所示。首先，使用列車圖像訓(xùn)練檢測(cè)模型。然后，將檢測(cè)模型部署到移動(dòng)設(shè)備，并使用自帶的攝像頭收集實(shí)時(shí)圖像和視頻進(jìn)行列車故障檢測(cè)。最后，展示檢測(cè)結(jié)果。

1.2? 目標(biāo)檢測(cè)方法

Mao等人提出了Min-YOLOv3[2]模型，在YOLO9000的基礎(chǔ)上，YOLOv3重新設(shè)計(jì)了Darknet-53殘差網(wǎng)絡(luò)，通過(guò)引入ResNet網(wǎng)絡(luò)中的殘差結(jié)構(gòu)，解決網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)太多而出現(xiàn)的梯度消失問(wèn)題，降低訓(xùn)練深層網(wǎng)絡(luò)的難度。并使用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network， FPN）進(jìn)行多尺度融合預(yù)測(cè)。FPN網(wǎng)絡(luò)用于融合不同尺度的特征信息，高層特征具有較多的語(yǔ)義信息，而低層特征有較豐富位置信息，將不同層的特征進(jìn)行融合，可以最大化利用特征信息。Bochkovshiy等人設(shè)計(jì)了YOLOv4[3]模型，在YOLOv3基礎(chǔ)上，YOLOv4將Darknet-53替換為CSPDarknet-53，并加入了路徑聚集網(wǎng)絡(luò)、Mish激活函數(shù)和Mosica數(shù)據(jù)增強(qiáng)等方法，使得YOLOv4模型的檢測(cè)精度和檢測(cè)速度達(dá)到了一個(gè)全新的高度。Zhu等人提出了YOLOv5[4]，在YOLOv4基礎(chǔ)上，YOLOv5使用Mosaic和圖片自適應(yīng)放縮法對(duì)數(shù)據(jù)集進(jìn)行優(yōu)化，并使用自適應(yīng)錨框計(jì)算法設(shè)置初始錨框的大小，提升檢測(cè)速度。YOLOv5在主干網(wǎng)中加入Focus結(jié)構(gòu)，并加入特征金字塔和PAN提高檢測(cè)進(jìn)度。Panboonyuen等人提出了YOLOX[5]，YOLOX添加Mosaic和MixUp兩種更加強(qiáng)大的數(shù)據(jù)增強(qiáng)方法，并提出了SimOTA標(biāo)簽分配算法，極大地提高了模型的檢測(cè)精度。YOLOX與YOLOv5相比，在參數(shù)量的基本相同情況下，YOLOX能在COCO-2017上mAP達(dá)到50.00%（比YOLOv5高出1.8%的mAP），且YOLOX的檢測(cè)速度達(dá)到68.9 FPS。

1.3? 注意力機(jī)制

注意力機(jī)制是機(jī)器學(xué)習(xí)中一種數(shù)據(jù)處理方法，廣泛用于在自然語(yǔ)言處理、圖像識(shí)別及語(yǔ)音識(shí)別等各種不同類型的機(jī)器學(xué)習(xí)任務(wù)中。Li等人提出了通道注意力機(jī)制Squeeze-and-ExcitationNetwork（SENet）[6]。SENet分為3個(gè)步驟。第一步輸入一個(gè)H×W×C（H表示特征圖的高，W表示特征圖的寬，C表示特征圖的通道數(shù)）的特征圖F進(jìn)行全局平均池化，得到1×1×C的特征向量；第二步輸入1×1×C的特征向量，在通道維度進(jìn)行經(jīng)過(guò)壓縮和擴(kuò)張，得到1×1×C的權(quán)重系數(shù)，并使用sigmoid激活函數(shù)將權(quán)重系數(shù)的值都限制在0到1的范圍；第三步輸入特征圖F與權(quán)重系數(shù)，兩者相乘得到加權(quán)后的特征圖。Woo等提出了混合域注意力機(jī)制CBAM（Convolutional Attention Module），在SENet的基礎(chǔ)上增加了空間注意力機(jī)制，加強(qiáng)了特征圖局部間的聯(lián)系。CBAM是一個(gè)輕量級(jí)的通用模塊，可以無(wú)縫地集成到任何CNN架構(gòu)中，并且可以與CNN一起進(jìn)行端到端的訓(xùn)練。

2? 推薦框架

2.1? 整體框架

本節(jié)展示了所提出的FED模型，其結(jié)果如圖2所示（其中Conv表示卷積操作，Upsample表示上采樣，DSConv表示深度可分離卷積）。FED模型由EMNet、Residual-PAN和YOLOHead組成。EM是輕量化的網(wǎng)絡(luò)，能高效的提取圖片特征。Residual-PAN用于獲取多層次特征映射，并對(duì)相鄰的特征圖進(jìn)行融合。YOLOHead對(duì)目標(biāo)進(jìn)行回歸和分類。

2.2? Enhanced MobileNet

本文提出了EMNet，如圖3所示，其中pw conv表示點(diǎn)卷積，dw conv表示深度卷積。EMNet主要由EM塊組成，EM塊集成Ghost模塊和CBAM模塊，EMNet塊結(jié)構(gòu)如圖3所示。Ghost模塊由點(diǎn)卷積和深度卷積組成，Ghost可以用少量的參數(shù)生成大量的特征信息，提高網(wǎng)絡(luò)的學(xué)習(xí)能力。CBAM是輕量級(jí)注意力機(jī)制，能輕易地嵌入到神經(jīng)網(wǎng)絡(luò)。CBAM通過(guò)在特征圖的通道維度和空間維度進(jìn)行加權(quán)，以獲取圖片中更重要特征信息。CBAM使用的激活函數(shù)是Relu和H-Sigmoid。

2.3? Residual-PAN

本文使用Residual-PAN獲取多層次的特征圖，并對(duì)相鄰特征圖進(jìn)行融合。傳統(tǒng)的PAN中，輸出特征圖的通道數(shù)與骨干網(wǎng)產(chǎn)生特征圖通道數(shù)保持一致，需要昂貴的計(jì)算成本，不適用于移動(dòng)設(shè)備。Residual-PAN通過(guò)1×1的卷積操作使所有特征圖的通道數(shù)都等于特征圖中最小的通道數(shù)，并使用殘差結(jié)構(gòu)融合相鄰的特征圖，使得計(jì)算成本大幅降低。此外，Residual-PAN額外增加了一個(gè)特征圖，以檢測(cè)更多的對(duì)象。Residual-PAN通過(guò)調(diào)整DSConv卷積核（5×5/7×7）的尺寸以獲取更大的感受野。Residual-PAN使得模型的參數(shù)更少，檢測(cè)精度更高。

2.4? ?標(biāo)簽分配策略與損失函數(shù)

正樣本與負(fù)樣本的標(biāo)簽分配策略對(duì)識(shí)別模型的效果影響巨大。FED采用SimOTA策略進(jìn)行標(biāo)簽分配。SimOTA策略會(huì)隨著訓(xùn)練過(guò)程的不斷變化而變化，自動(dòng)分析正樣本的數(shù)量，且速度更快。對(duì)于分類，ZP使用Varifocal損失函數(shù)。對(duì)于回歸，ZP使用GIoU和Distribution Focal損失函數(shù)。計(jì)算公式為：

loss=lossvfl+αlossgiou+βlossdfl

其中，lossvfl表示Varifocal損失函數(shù)，lossgiou表示GIoU損失函數(shù)，lossdfl表示Distribution Focal損失函數(shù)，α、β表示常量參數(shù)。

3? 實(shí)驗(yàn)與結(jié)果

本節(jié)首先描述了實(shí)驗(yàn)中的數(shù)據(jù)集，然后給出了網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置和性能評(píng)價(jià)指標(biāo)。最后展示了實(shí)驗(yàn)結(jié)果。

3.1? 數(shù)據(jù)集描述

為驗(yàn)證算法的有效性，本文采用大量列車零部件圖像來(lái)構(gòu)建實(shí)驗(yàn)的Train TD（Train Test Dataset），所有圖像的大小為930×680像素。訓(xùn)練集擁有13 581張圖片，測(cè)試集有8 366張列車零部件圖像。列車典型零部件主要有3種，分別為截?cái)嗳T(mén)把手（Truncated Plug Door Handle， TPDH）、上拉桿（Upper Lever， UL）和緊鎖板（Locking Plate， LP），如圖4所示，左側(cè)為故障的零部件，右側(cè)為正常列車零部件。列車故障檢測(cè)需要對(duì)以上3種零部件進(jìn)行精確的定位，然后再根據(jù)這些零部件的狀態(tài)進(jìn)行判別，分析是否出現(xiàn)故障，得到最終的檢測(cè)結(jié)果。

3.2? 模型參數(shù)設(shè)置

本文的訓(xùn)練實(shí)驗(yàn)環(huán)境為Ubuntu 20.04系統(tǒng)，顯卡為4塊NVIDIA GeForce GTX 1080Ti，顯存為22 GB。網(wǎng)絡(luò)結(jié)構(gòu)使用Pytorch框架實(shí)現(xiàn)。學(xué)習(xí)率初始化為0.001，會(huì)隨著余弦退火函數(shù)發(fā)生變化，訓(xùn)練周期為300。測(cè)試環(huán)境為高通驍龍865。

3.3? 評(píng)價(jià)指標(biāo)

主要評(píng)價(jià)指標(biāo)如下：

（1）Precision表示模型預(yù)測(cè)出的所有目標(biāo)中正確的比例，體現(xiàn)模型對(duì)負(fù)樣本的區(qū)分能力。其計(jì)算公式為：

其中TP（True Positives）表示被正確識(shí)別的正樣本的數(shù)量，F(xiàn)P（False Positives）表示被錯(cuò)誤識(shí)別為正樣本的負(fù)樣本數(shù)量。Precision越高，模型對(duì)負(fù)樣本的區(qū)分能力越強(qiáng)。

（2）Recall表示被模型正確識(shí)別的目標(biāo)占總目標(biāo)數(shù)量的比例，體現(xiàn)模型對(duì)正樣本的識(shí)別能力。其計(jì)算公式為：

其中FN（False Negatives）表示被錯(cuò)誤識(shí)別為負(fù)樣本的正樣本數(shù)量。Recall越高，模型對(duì)正樣本的識(shí)別能力越強(qiáng)。

（3）mean Average Precision（mAP）平均精度均值，即AP的平均值。它是目標(biāo)檢測(cè)算法的主要評(píng)估指標(biāo)。AP是Precision-Recall曲線下面積，其計(jì)算公式為：

其中P（r）表示Precision-Recall曲線，mAP的計(jì)算公式為：

其中N表示檢測(cè)故障類別總數(shù)，APs對(duì)應(yīng)目標(biāo)的AP值。mAP值越高，表明該目標(biāo)檢測(cè)模型在給定數(shù)據(jù)集上的檢測(cè)效果越好。

（4）FLOPs（Floating Point Operations）浮點(diǎn)運(yùn)算數(shù)，表示模型計(jì)算量，用于衡量模型的復(fù)雜度。FLOPs值越低，模型的計(jì)算量越小，檢測(cè)速度越快。

3.4? 實(shí)驗(yàn)結(jié)構(gòu)與分析

在COCO-2017數(shù)據(jù)集上對(duì)FED模型進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。當(dāng)FED只使用EM和PAN，mAP為44.63%，參數(shù)量為2.98 M。當(dāng)FED用Residual-PAN替換PAN時(shí)，mAP增加到48.42%，我們推測(cè)是因?yàn)镽esidual-PAN能獲取多層次的特征圖，并利用殘差塊融合相鄰特征，防止梯度消失，提升檢測(cè)精度。當(dāng)FED增加CBAM后mAP增加了4.71%，CBAM是一種輕量級(jí)注意力機(jī)制，能提升關(guān)鍵特征的權(quán)重，是模型更加關(guān)注圖像中的重要信息。當(dāng)FED增加Ghostblock后mAP提升至47.81%，Ghostblock只需要少量的參數(shù)就能得到大量的特征信息，提高網(wǎng)絡(luò)的學(xué)習(xí)能力。

從表2可以看出，F(xiàn)ED的檢測(cè)精度和檢測(cè)速度遠(yuǎn)超其他檢測(cè)模型。我們認(rèn)為主要有以下幾個(gè)原因：（1）FED的主干網(wǎng)EM參數(shù)更小，在引入CBAM和Ghost模塊后，網(wǎng)絡(luò)會(huì)聚焦的關(guān)鍵信息，學(xué)習(xí)能力更強(qiáng)。（2）Residual-PAN能取得多層次的特征檢測(cè)更多目標(biāo)，并使用殘差塊進(jìn)行特征融合，能有效地防止反向傳播過(guò)程中梯度消失的問(wèn)題。Residual-PAN還會(huì)使用大尺寸的卷積核進(jìn)行深度可分離卷積，擴(kuò)大感受野。（3）FED使用SimOTA動(dòng)態(tài)分配標(biāo)簽，正負(fù)樣本分配更準(zhǔn)確，速度更快。

在Traindataset測(cè)試FED和其他先進(jìn)目標(biāo)檢測(cè)模型，實(shí)驗(yàn)結(jié)果如表3所示。FED的mAP為85.35%，比YOLOv3-Tiny、YOLOv4-Tiny、YOLOX、YOLOv5分別提升了8.83%、5.49%、7.89%、5.31%。FED擁有更快、更高效的特征提取網(wǎng)絡(luò)，Residual-PAN能豐富特征信息，使得FED取得更優(yōu)的檢測(cè)效果。實(shí)際的檢測(cè)效果如圖5所示，F(xiàn)ED可以快速地找出圖片中故障的零部件，并對(duì)故障的零部件位置和故障類別進(jìn)行標(biāo)注，給出該故障的置信度，方便工作人員進(jìn)行檢測(cè)和修復(fù)工作。

4? 結(jié)? 論

相比于傳統(tǒng)的列車故障檢測(cè)算法，基于深度學(xué)習(xí)的列車故障檢測(cè)方法檢測(cè)精度更高，檢測(cè)速度更快，但需要強(qiáng)大的算力支持，需要部署在高性能的服務(wù)器上，對(duì)檢測(cè)環(huán)境要求苛刻。本文實(shí)現(xiàn)了一種基于MobielNet的移動(dòng)端列車故障檢測(cè)算法FED，在Train TD上，mAP達(dá)到了85.35%，檢測(cè)延遲為17.87 ms，滿足實(shí)時(shí)性和精確性的要求。

參考文獻(xiàn)：

[1] EL-SAADAWY H，TANTAWI M，Shedeed H A，et al. A Two-Stage Method for Bone X-Rays Abnormality Detection Using MobileNet Network [C]//AICV： The International Conference on Artificial Intelligence and Computer Vision.Cairo：Springer，2020，1153：372-380.

[2] MAO Q C，SUN H M，LIU Y B，et al. Mini-YOLOv3： Real-Time Object Detector for Embedded Applicatio [J].IEEE Access，2019，7：133529-133538.

[3] BOCHKOVSKIY A，WANG C Y，LIAO H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection [J/OL]. arXiv：2004.10934 [cs.CV].[2022-09-28].https：//arxiv.org/abs/2004.10934.

[4] ZHU X K，LYU S C，WANG X，et al. TPH-YOLOv5： Improved YOLOv5 Based on Transformer Prediction Head for Object Detection on Drone-captured Scenarios [C]//2021 IEEE/CVF International Conference on Computer Vision Workshops（ICCVW）.Montreal：IEEE，2021：2778-2788.

[5] PANBOONYUEN T，THONGBAI S，WONGWEERANIMIT W，et al. Object Detection of Road Assets Using Transformer-Based YOLOX with Feature Pyramid Decoder on Thai Highway Panorama [J/OL].Information，2022，13（1）[2022-09-28].https：//doi.org/10.3390/info13010005.

[6] LI Y，LIU Y，CUI W G，et al. Epileptic Seizure Detection in EEG Signals Using a Unified Temporal-Spectral Squeeze-and-Excitation Network [J].IEEE Transactions on Neural Systems and Rehabilitation Engineering，2020，28（4）：782-794.

作者簡(jiǎn)介：周鵬（1997—），男，漢族，湖南常德人，碩士在讀，研究方向：基于深度學(xué)習(xí)的列車識(shí)別方法；張龍信（1983—），男，漢族，湖南株洲人，副教授，博士，研究方向：高性能計(jì)算、機(jī)器學(xué)習(xí)。

收稿日期：2022-10-17