李 健，王政彤

0 引言

接觸網(wǎng)系統(tǒng)部件種類(lèi)數(shù)量多且復(fù)雜，若發(fā)生故障會(huì)對(duì)鐵路安全運(yùn)行造成巨大威脅。在“接觸網(wǎng)懸掛狀態(tài)檢測(cè)監(jiān)測(cè)裝置（4C）”系統(tǒng)中，安裝在車(chē)頂?shù)母咔鍞z像機(jī)對(duì)接觸網(wǎng)設(shè)備進(jìn)行圖像采集，并根據(jù)相機(jī)安裝角度的不同將拍攝到的平腕臂、斜腕臂、承力索座、定位線夾、定位器、吊柱座、附加懸掛設(shè)備等特定部件圖像及全景圖像存儲(chǔ)到硬盤(pán)中，數(shù)據(jù)分析人員可通過(guò)查看圖像分析缺陷[1]。接觸網(wǎng)故障檢測(cè)工作耗時(shí)費(fèi)力，若單純依靠人工查看分析，檢測(cè)周期長(zhǎng)、工作量大，且存在漏檢風(fēng)險(xiǎn)[2]。近幾年，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，智能識(shí)別已逐漸應(yīng)用于接觸網(wǎng)缺陷檢測(cè)，研究4C智能識(shí)別對(duì)接觸網(wǎng)缺陷分析具有重要意義。

1 檢測(cè)算法流程

目前，許多圖像處理方法已應(yīng)用于接觸網(wǎng)懸掛 狀態(tài)的自動(dòng)檢測(cè)。文獻(xiàn)[3]闡述利用LBP（Local Binary Pattern，局部二值模式）與HOG（Histogram of Oriented Gradient，方向梯度直方圖）作為融合特征，通過(guò)訓(xùn)練SVM（Support Vector Machine，支持向量機(jī)）分類(lèi)器對(duì)接觸網(wǎng)旋轉(zhuǎn)雙耳開(kāi)口銷(xiāo)缺失進(jìn)行檢測(cè)；文獻(xiàn)[4]主要探討利用HOG特征和SVM分類(lèi)器對(duì)線夾部件缺陷進(jìn)行檢測(cè)。傳統(tǒng)圖像處理方式對(duì)接觸網(wǎng)缺陷具備一定的檢測(cè)能力，但準(zhǔn)確率仍有待提高。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，一些基于深度學(xué)習(xí)的檢測(cè)方法已開(kāi)始應(yīng)用于接觸網(wǎng)缺陷識(shí)別檢測(cè)中。文獻(xiàn)[5]闡述利用目標(biāo)檢測(cè)算法SSD（Single Shot MultiBox Detector）和特征提取網(wǎng)絡(luò)Mobile Net，首先對(duì)接觸網(wǎng)關(guān)鍵區(qū)域進(jìn)行初定位，然后采用Mask R-CNN（Region-CNN）目標(biāo)分割方法對(duì)螺母部件進(jìn)行精確定位，最后利用精確定位圖中的螺母與開(kāi)口銷(xiāo)面積比例判斷螺母開(kāi)口銷(xiāo)是否缺失，該方法可對(duì)關(guān)鍵部位螺母開(kāi)口銷(xiāo)缺失進(jìn)行檢測(cè)，但通用性有待提高。

YOLO（You Only Look Once）檢測(cè)算法由Joseph Redmon等人于2015年提出[6]，是一種one stage（一級(jí)）的目標(biāo)檢測(cè)算法，其僅僅使用一個(gè)CNN網(wǎng)絡(luò)直接預(yù)測(cè)不同目標(biāo)的類(lèi)別與位置。YOLOv3[7]是該系列目標(biāo)檢測(cè)算法中的第3版，相比之前的YOLOv1和YOLOv2[8]，其檢測(cè)精度有顯著提升，尤其是針對(duì)小目標(biāo)。YOLO網(wǎng)絡(luò)是基于回歸的目標(biāo)檢測(cè)網(wǎng)絡(luò)，YOLO的CNN網(wǎng)格將輸入圖像分割成S×S網(wǎng)格，每個(gè)單元格負(fù)責(zé)檢測(cè)中心點(diǎn)落在該網(wǎng)格內(nèi)的目標(biāo)。YOLO使用全連接層得到預(yù)測(cè)值，每個(gè)單元格會(huì)預(yù)測(cè)B個(gè)邊界框（bounding box）及邊界框的置信度，邊界框的準(zhǔn)確度用預(yù)測(cè)框與實(shí)際框的IOU（Intersection Over Union，交并比）來(lái)表征，IOU越大，預(yù)測(cè)框的準(zhǔn)確度越高。

考慮到算法的實(shí)時(shí)性，本文使用tiny-yolov3網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)具有網(wǎng)絡(luò)簡(jiǎn)單、計(jì)算量較小的特點(diǎn)。tiny-yolov3未使用殘差層（Residual layer），只使用2個(gè)不同尺度的YOLO輸出層，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 tiny-yolov3網(wǎng)絡(luò)結(jié)構(gòu)

其中，c代表通道（channel），stride表示步長(zhǎng)。主干網(wǎng)絡(luò)采用一個(gè)7層卷積網(wǎng)絡(luò)+最大池化網(wǎng)絡(luò)提取特征，還具有2個(gè)融合（route）層，第1個(gè)route層獲取YOLO層的輸出，然后對(duì)這些輸出的特征抽取中間層進(jìn)行多尺度預(yù)測(cè)處理，第2個(gè)route層再進(jìn)行多尺度融合處理，最終預(yù)測(cè)得到檢測(cè)結(jié)果。YOLO-tiny引入了Faster R-CNN中的anchor boxes（先驗(yàn)框）的思想，利用先驗(yàn)框來(lái)確定bounding box（邊界框）的預(yù)測(cè)方法見(jiàn)圖2。

圖2 YOLO算法預(yù)測(cè)原理

YOLO引入了基于置信度的預(yù)測(cè)方法，其計(jì)算式為

其中：bx、by、bw、bh分別代表bounding box中框的中心坐標(biāo)及相對(duì)寬高；cx、cy表示該網(wǎng)格左上角距離整體圖像左上角的相對(duì)位置；pw與ph表示先驗(yàn)框的寬高；tx、ty、tw、th是需要通過(guò)學(xué)習(xí)得到的參數(shù)，用于預(yù)測(cè)邊框的中心坐標(biāo)和寬高；σ函數(shù)為sigmoid函數(shù)，其計(jì)算式為

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）避免了對(duì)圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，目前已在圖像分類(lèi)、目標(biāo)識(shí)別、圖像分割等領(lǐng)域廣泛應(yīng)用[9]。在應(yīng)用YOLO算法經(jīng)過(guò)兩級(jí)定位得到腕臂底座開(kāi)口銷(xiāo)小圖后，可以再應(yīng)用CNN對(duì)小圖進(jìn)行分類(lèi)識(shí)別，判斷定位到的開(kāi)口銷(xiāo)小圖是否存在缺失，最終輸出識(shí)別結(jié)果。完整的腕臂底座開(kāi)口銷(xiāo)缺失檢測(cè)流程如圖3所示。

圖3 腕臂底座開(kāi)口銷(xiāo)缺失檢測(cè)算法流程

收集嘉峪關(guān)供電段4C檢測(cè)車(chē)采集的蘭新線上行、蘭新高鐵下行4C數(shù)據(jù)，腕臂底座開(kāi)口銷(xiāo)區(qū)域一級(jí)定位標(biāo)記區(qū)域如圖4所示。

圖4 平腕臂和斜腕臂底座開(kāi)口銷(xiāo)區(qū)域 一級(jí)定位標(biāo)注示意圖

采用LabelImg工具標(biāo)注圖像，得到已標(biāo)記的圖像2 000張作為一級(jí)定位訓(xùn)練樣本，如圖5所示。

圖5 腕臂底座一級(jí)定位訓(xùn)練樣本

YOLO是基于Darknet框架的實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)，Darknet是一個(gè)輕型的完全基于C語(yǔ)言與CUDA平臺(tái)的開(kāi)源深度學(xué)習(xí)框架。使用Darknet開(kāi)源框架進(jìn)行模型的訓(xùn)練，訓(xùn)練模型使用的硬件和操作系統(tǒng)平臺(tái)信息如表1所示。Tiny_YOLOv3網(wǎng)絡(luò)的訓(xùn)練配置信息如表2所示。

表1 訓(xùn)練模型硬件和操作系統(tǒng)平臺(tái)信息

表2 Tiny_YOLOv3網(wǎng)絡(luò)的訓(xùn)練配置信息

當(dāng)平均交并比Avg_IOU在0.85以上且平均召回率（Avg_Recall）在0.98以上時(shí)，說(shuō)明訓(xùn)練得到的模型較好。Avg_Recall定義如下：

其中，TruePositive代表正類(lèi)被判定為正類(lèi)的數(shù)量，F(xiàn)alseNegative代表正類(lèi)被判定為負(fù)類(lèi)的數(shù)量。

Avg_IOU定義如下：

其中：AreaofOverlap代表真實(shí)框（truth ground box）與預(yù)測(cè)框（bounding box）的區(qū)域交集，AreaofUnion代表truth ground box與bounding box的區(qū)域并集。

訓(xùn)練后得到的.weight文件作為YOLO定位模型，然后加載此模型得到一級(jí)定位區(qū)域及二級(jí)標(biāo)注圖（圖6）。

圖6 平腕臂和斜腕臂底座一級(jí)定位和二級(jí)標(biāo)注區(qū)域

訓(xùn)練二級(jí)定位YOLO模型，用二級(jí)定位模型定位得到了橫向和垂直方向開(kāi)口銷(xiāo)如圖7所示。

圖7 定位得到腕臂底座橫向和垂直方向開(kāi)口銷(xiāo)

由于平腕臂底座和斜腕臂底座橫向開(kāi)口銷(xiāo)以及垂直開(kāi)口銷(xiāo)小圖相似，只需要將平腕臂底座和斜腕臂底座開(kāi)口銷(xiāo)小圖收集在一起作為訓(xùn)練樣本即可。收集腕臂底座橫向開(kāi)口銷(xiāo)缺失正負(fù)樣本，其中正樣本3 600張，負(fù)樣本6 000張，如圖8所示。

圖8 腕臂底座橫向開(kāi)口銷(xiāo)缺失樣本

按照2類(lèi)訓(xùn)練CNN識(shí)別模型，采用的網(wǎng)絡(luò)為VGGNet網(wǎng)絡(luò)結(jié)構(gòu)[10]，如圖9所示。

圖9 VGGNet網(wǎng)絡(luò)結(jié)構(gòu)

VGGNet使用多個(gè)較小卷積核（3×3）的卷積層代替一個(gè)卷積核較大的卷積層，網(wǎng)絡(luò)擬合能力增強(qiáng)，且結(jié)構(gòu)簡(jiǎn)潔、層次更深、特征圖更寬。

收集腕臂底座垂直開(kāi)口銷(xiāo)缺失正負(fù)樣本，其中，負(fù)樣本6 000張，正樣本由于實(shí)際缺陷較少，經(jīng)過(guò)樣本增強(qiáng)拓展樣本至3 000張組成正負(fù)樣本集，如圖10所示。

圖10 腕臂底座垂直開(kāi)口銷(xiāo)缺失樣本

按照2類(lèi)訓(xùn)練腕臂底座垂直開(kāi)口銷(xiāo)缺失CNN識(shí)別模型。這樣，在輸入一張?jiān)即髨D時(shí)，在加載一二級(jí)YOLO定位模型和CNN分類(lèi)模型后，可以完成對(duì)腕臂底座開(kāi)口銷(xiāo)缺失的缺陷檢測(cè)。

2 實(shí)驗(yàn)測(cè)試分析

實(shí)驗(yàn)過(guò)程中先使用6C數(shù)據(jù)判別分析軟件加載嘉峪關(guān)供電段分析人員已分析完畢的各線路4C數(shù)據(jù)，然后打開(kāi)腕臂底座開(kāi)口銷(xiāo)缺失檢測(cè)算法，測(cè)試算法對(duì)線路實(shí)際腕臂底座（包含平腕臂底座和斜腕臂底座）橫向銷(xiāo)釘缺失開(kāi)口銷(xiāo)、垂直銷(xiāo)釘缺失開(kāi)口銷(xiāo)兩種缺陷進(jìn)行識(shí)別，最后統(tǒng)計(jì)算法識(shí)別準(zhǔn)確率和漏檢率，并對(duì)算法誤識(shí)別數(shù)量進(jìn)行統(tǒng)計(jì)。其中，腕臂底座開(kāi)口銷(xiāo)缺失的總?cè)毕輸?shù)量已知，準(zhǔn)確率定義如下：

智能識(shí)別中漏檢率定義式如下：

其中：Num1表示算法找到缺陷數(shù)量，Num_all表示總?cè)毕輸?shù)量，Num2表示漏檢數(shù)量。

腕臂底座橫向銷(xiāo)釘缺失開(kāi)口銷(xiāo)識(shí)別結(jié)果統(tǒng)計(jì)如表3所示，腕臂底座垂直銷(xiāo)釘缺失開(kāi)口銷(xiāo)識(shí)別結(jié)果統(tǒng)計(jì)如表4所示。

表3 腕臂底座橫向銷(xiāo)釘缺失開(kāi)口銷(xiāo)識(shí)別結(jié)果

表4 腕臂底座垂直銷(xiāo)釘缺失開(kāi)口銷(xiāo)識(shí)別結(jié)果

此外，算法測(cè)試結(jié)果中3條線路腕臂底座橫向銷(xiāo)釘缺失開(kāi)口銷(xiāo)一共識(shí)別出缺陷圖片74張，其中25張為誤識(shí)別。腕臂底座垂直銷(xiāo)釘缺失開(kāi)口銷(xiāo)一共識(shí)別出缺陷圖片23張，其中11張為誤識(shí)別。其中，軟件得到的斜腕臂底座開(kāi)口銷(xiāo)缺失誤識(shí)別多為開(kāi)口銷(xiāo)顏色與其背景色相差較小且背景模糊導(dǎo)致。但總體來(lái)看誤識(shí)別數(shù)量較少，在6C判別軟件中查看分析時(shí)可以快速完成，提高了工作效率。

3 結(jié)語(yǔ)

從測(cè)試結(jié)果可以看出，本文提出的基于深度神經(jīng)網(wǎng)絡(luò)的腕臂底座開(kāi)口銷(xiāo)缺失檢測(cè)算法檢測(cè)準(zhǔn)確率高、漏檢率低，且誤識(shí)別數(shù)量較少，說(shuō)明該算法對(duì)腕臂底座開(kāi)口銷(xiāo)缺失具有較好的檢測(cè)性能。后續(xù)可采用超分辨率算法對(duì)較模糊的小圖進(jìn)行處理，使小圖變清晰后再進(jìn)行CNN識(shí)別，且結(jié)合腕臂底座開(kāi)口銷(xiāo)其他圖像特征濾除誤識(shí)別小圖，進(jìn)一步優(yōu)化腕臂底座開(kāi)口銷(xiāo)識(shí)別算法。