唐 鵬，金煒東，張興斌，張志軍，邢鎧鵬，霍志浩

（西南交通大學(xué) 電氣工程學(xué)院，四川 成都 611756）

0 引言

電氣化鐵路的接觸網(wǎng)具有機電合一、露天架設(shè)、動態(tài)工作且無備用系統(tǒng)的特點，其面臨風(fēng)險較高，是牽引供電系統(tǒng)中的薄弱環(huán)節(jié)之一[1]。接觸網(wǎng)一旦發(fā)生故障，將直接影響牽引供電系統(tǒng)運行，危及行車安全甚至中斷行車，因此對接觸網(wǎng)缺陷部位進行檢測與排查至關(guān)重要。

接觸網(wǎng)運維檢修已成為高鐵后期運營維護的重要工作內(nèi)容之一。對此，國內(nèi)外的研究機構(gòu)和科研院所開展了一系列基于視覺技術(shù)的接觸網(wǎng)故障辨識方面的研究。日本于2007年利用序列圖像處理技術(shù)研制了面向弓網(wǎng)的高頻檢測系統(tǒng)[2]。文獻[3]用Hough直線檢測算法對弓網(wǎng)實施檢測。針對絕緣子異物的辨識，文獻[4]用模板匹配法定位接觸網(wǎng)絕緣子，并用小波奇異性特性實現(xiàn)絕緣子異物的識別；文獻[5]通過多類型絕緣子的仿射不變矩定位絕緣子，再用形態(tài)學(xué)濾波和灰階統(tǒng)計完成多類型和多種懸掛方式的絕緣子異物檢測。針對支柱檢測問題，文獻[6]使用Lucas-Kanade光流構(gòu)建的運動視差分割算法，并結(jié)合邊緣檢測和概率Hough變換實現(xiàn)了支柱的定位及腕臂結(jié)構(gòu)的檢測；文獻[7]針對戶外環(huán)境中復(fù)雜光照條件和低質(zhì)量圖像，提出了一種T型結(jié)構(gòu)的目標檢測法，并以此實現(xiàn)了定位線夾的檢測與定位。盡管目前針對接觸網(wǎng)故障辨識方面的研究已取得一系列進展[8]，但由于我國鐵路運行環(huán)境多樣、接觸網(wǎng)巡檢任務(wù)場景透視成像形式特殊，既有研究成果尚不足以支撐復(fù)雜環(huán)境下的接觸網(wǎng)視頻巡檢的實際應(yīng)用需求。

車載接觸網(wǎng)運行狀態(tài)檢測系統(tǒng)（3C）被適時提出，旨在通過分析列車行進中采集的圖像實現(xiàn)對接觸網(wǎng)設(shè)備的智能識別定位及異常狀態(tài)（包括接觸網(wǎng)吊弦松弛及脫落、接觸線硬彎、弓網(wǎng)燃弧、硬橫梁及支架鳥巢等）檢測，其批量化檢測速度快，無須介入既有系統(tǒng)，可部分代替低效、主觀性強、依賴經(jīng)驗且誤差較大的人工巡檢模式。

本文立足于C3系統(tǒng)實際應(yīng)用需求，以接觸網(wǎng)吊弦狀態(tài)為主要關(guān)注對象，首先從數(shù)據(jù)樣本、關(guān)注對象及評價指標等方面分析了C3系統(tǒng)中問題的特殊性；其次結(jié)合項目中的實際案例提出了接觸網(wǎng)目標狀態(tài)視覺辨識研究思想和關(guān)鍵技術(shù)的解決方案；最后結(jié)合項目經(jīng)驗對未來技術(shù)的發(fā)展進行了展望。

1 C3系統(tǒng)視覺辨識問題的特殊性分析

為進一步提高接觸網(wǎng)視頻巡檢任務(wù)在實際應(yīng)用中的魯棒性，在項目的實施過程中，對C3系統(tǒng)視覺辨識問題的特殊性進行了分析。

1.1 樣本空間分布的特殊性

首先，數(shù)據(jù)樣本表達具有有偏性。接觸網(wǎng)部件不同工作狀態(tài)所表達的特征具有有偏性。如因拍攝位置或吊弦位置的原因使得部分正常吊弦在圖像中存在較大斜率，見圖1(a)，此特征與斷裂吊弦(圖1(b))特征相似；松脫吊弦(圖1(c))與電線(圖1(d))的形態(tài)相似，使用此類數(shù)據(jù)訓(xùn)練可能導(dǎo)致不同狀態(tài)的特征在模型中的表達相似。

圖1 不同狀態(tài)吊弦對比圖Fig. 1 Comparison of hanging strings in different states

其次，數(shù)據(jù)樣本分布存在顯著的非均衡性，且無法避免。由于接觸網(wǎng)部件故障為偶發(fā)事件，因此故障樣本稀少。如吊弦、鳥巢等數(shù)據(jù)，樣本基數(shù)較大，即正常吊弦數(shù)據(jù)量大、無鳥巢的支架與硬橫梁樣本充足，但故障吊弦與鳥巢的樣本量極少，造成了數(shù)據(jù)的不平衡，而使用不均衡數(shù)據(jù)將造成模型訓(xùn)練偏差。

1.2 監(jiān)測對象的多樣性和外觀特殊性

鐵路接觸網(wǎng)巡檢關(guān)注對象包括接觸線、吊弦、承力索、電連接線及支架等眾多設(shè)施，其外觀形狀、區(qū)域分布、尺度范圍和狀態(tài)演化具有顯著特殊性，導(dǎo)致目前廣泛研究的一般性視頻目標檢測算法在接觸網(wǎng)視頻巡檢中并不適用。具體而言，監(jiān)測對象的外觀特殊性包括：

（1）監(jiān)測對象在圖像區(qū)域中占比極小，而背景占比很高。若將背景視為干擾信號，那么從鐵路接觸網(wǎng)巡檢視頻中搜尋檢測對象是極低信噪比的目標發(fā)現(xiàn)任務(wù)。若定義目標輪廓面積s與其輪廓凸包面積h的比率為指標t，則一般性目標檢測的t值范圍不小于50%，而接觸網(wǎng)目標的t值約為10%。例如，吊弦細長，尺寸一般不超500個像素，coco數(shù)據(jù)集中對于微小目標的定義為32×32（1 024個像素），硬彎與鳥巢的尺寸更小，在檢測過程中更不易被發(fā)現(xiàn)。

（2）接觸網(wǎng)關(guān)注目標尺度微小且狀態(tài)漸變，屬于高分辨率下的小目標檢測問題。在接觸網(wǎng)異常狀態(tài)檢測中，如硬彎、吊弦故障等異常狀態(tài)難以被辨別，尤其是接觸線出現(xiàn)的硬彎故障，其故障本身目標微小，且由正常狀態(tài)逐漸過渡至異常狀態(tài)，導(dǎo)致接觸線異常狀態(tài)與正常狀態(tài)無明顯可辨別特征，這對檢測算法提出更高要求。

1.3 設(shè)備異常狀態(tài)的偶發(fā)性

接觸網(wǎng)監(jiān)測對象的缺陷和故障狀態(tài)存在偶發(fā)性。一方面，由于機車運行、環(huán)境及材料等因素造成接觸網(wǎng)狀態(tài)異常，此類故障不常發(fā)，卻需要被及時發(fā)現(xiàn)并維護；另一方面，因為此類視頻數(shù)據(jù)中故障樣本相比正常樣本不僅數(shù)量更為稀少，而且數(shù)據(jù)對故障情況的代表性極為有限，難以使模型獲取“觸類旁通”的泛化性檢測能力。因此，缺陷和故障的偶發(fā)性也導(dǎo)致監(jiān)測任務(wù)本質(zhì)是異常檢測，其數(shù)據(jù)存在顯著不平衡性。此外，數(shù)據(jù)非均衡性也導(dǎo)致接觸網(wǎng)視覺辨識問題與一般性的模式分類問題有所不同，諸如用精準度、查全率等指標無法完整概括其性能情況，其指標評價也需特殊考慮。

1.4 工程難題背后的科學(xué)性問題

接觸網(wǎng)視頻巡檢中的技術(shù)難題源于其背后的科學(xué)性問題有待突破，主要包括：

（1）小樣本情況下的弱監(jiān)督學(xué)習(xí)。小樣本學(xué)習(xí)旨在實現(xiàn)極少量的樣本情況下建立對新類別的機器認知任務(wù)，突破當(dāng)前機器學(xué)習(xí)算法對樣本需求量級的局限性。其本質(zhì)是元學(xué)習(xí)（meta learning）在監(jiān)督學(xué)習(xí)領(lǐng)域的應(yīng)用，即重復(fù)利用既有數(shù)據(jù)學(xué)習(xí)事物特征的共性，在此基礎(chǔ)上對于新的類別只需要少量的樣本就能快速學(xué)習(xí)[9]。少樣本模型大致可分為基于模型（model based）的方法、基于測度（metrics based）的方法和基于優(yōu)化（optimization based）的方法[10]。

（2）結(jié)合專家經(jīng)驗的自監(jiān)督學(xué)習(xí)。自監(jiān)督學(xué)習(xí)通常利用輔助任務(wù)（稱為“pretext”）從大量的未標注數(shù)據(jù)中抽取數(shù)據(jù)本身的可監(jiān)督信息，并將其用于網(wǎng)絡(luò)模型訓(xùn)練，以學(xué)習(xí)到海量數(shù)據(jù)分布的高效表達[11]。因此，自監(jiān)督學(xué)習(xí)的標簽信息不由人工標注，而針對數(shù)據(jù)特點設(shè)計pretext算法從數(shù)據(jù)中自動構(gòu)建監(jiān)督信息，從而進行監(jiān)督方式的模型訓(xùn)練。自監(jiān)督學(xué)習(xí)主要分為3類，即基于上下文（context based）、基于時序（temporal based）和基于差異性（contrastive Based）的方法[12]。

2 研究思想與案例分析

本文針對上述C3系統(tǒng)視覺辨識問題特殊性的分析，結(jié)合3個實際工程案例背景，闡述了相應(yīng)的研究思想并提出了關(guān)鍵技術(shù)的解決方案。

2.1 結(jié)合專家經(jīng)驗的吊弦缺陷在線仿真訓(xùn)練

為解決吊弦故障樣本相對于正常樣本極其稀少的問題，本文提出了一種吊弦獨立形變控制的數(shù)據(jù)仿真方法（圖2）。普通的圖像增強會使圖像所有的部位都發(fā)生形變，造成圖像失真，并且不能控制圖像的變化趨勢。本文所提出的故障吊弦仿真方法能夠仿真出各種類型的故障吊弦，包括普通松脫吊弦、C型松脫吊弦、下部斷脫吊弦及受流環(huán)斷脫吊弦等類型。其首先利用直線檢測法提取正常吊弦圖像中的直線，通過先驗知識提取吊弦直線并將吊弦提取出來；接著，利用圖像修復(fù)技術(shù)將吊弦區(qū)域進行修復(fù)，得到不含吊弦的背景圖，再根據(jù)故障吊弦形態(tài)特征單獨對提取出來的吊弦進行改進彈性形變處理，得到相應(yīng)類型的故障吊弦區(qū)域；最后再將故障吊弦區(qū)域與背景圖融合，得到故障吊弦仿真樣本。

圖2 故障吊弦仿真算法在線仿真訓(xùn)練流程示意Fig. 2 Schematic diagram of online simulation training flow of fault hanger simulated algorithm

在此基礎(chǔ)上，本文提出一種在線樣本仿真的混合訓(xùn)練方法。首先，隨機進行故障吊弦仿真，增加吊弦數(shù)據(jù)集中的正樣本，讓目標提取網(wǎng)絡(luò)能夠?qū)W習(xí)到更多類型的吊弦樣本；接著，利用訓(xùn)練好的目標提取網(wǎng)絡(luò)對吊弦圖像進行目標提取，得到吊弦目標；然后，通過故障吊弦仿真算法獲取故障吊弦（圖3），包括普通松脫吊弦、C型松脫吊弦、下部斷脫吊弦和受流環(huán)斷脫吊弦；最后，篩選出符合實情的故障吊弦，并將吊弦狀態(tài)分類為正常、松脫、斷裂和其他4類。增加“其他”類的目的是為了進一步剔除錯誤檢測為吊弦的非吊弦目標。

圖3 故障吊弦仿真樣本Fig. 3 Simulation samples of failure hanger

故障吊弦樣本的仿真流程具體如下：

（1）手工給定逐行形變的控制函數(shù)f(y)，0≤y＜h。其中y表示像素縱坐標，h是圖像高度，f(y)反映了第y行像素的橫向偏移強度。

（2）根據(jù)f(y)生成與吊弦原圖大小一致的位移矩陣 ΔD(x,y)=f(y)，其中 0 ≤y＜h，0 ≤x＜w。

（3）利用 對圖像進行形變處理：

式中：I(x,y)——原圖像在(x,y)處的像素值；I′(x,y)——新圖像在(x,y)處的像素值；[]——向下取整數(shù)；x′=x-ΔD(x,y)。

不同形變函數(shù)f(y)的效果如圖4所示。

圖4 故障吊弦仿真樣本形變過程Fig. 4 Deformation process of simulated fault hanger sample

2.2 多尺度注意力強化的吊弦缺陷識別

吊弦狀態(tài)辨識有兩大困難：首先吊弦圖像的背景占比大且復(fù)雜多變[13]；其次吊弦故障狀態(tài)與正常狀態(tài)形態(tài)差異很小，甚至為漸變而來，使得狀態(tài)識別難度較高。為解決此問題，本文提出一種多尺度注意力強化的缺陷識別方法，使算法著眼于局部微變特征。該方法具體如下：

（1）針對吊弦數(shù)據(jù)特點，采用寬殘差結(jié)構(gòu)的網(wǎng)絡(luò)拓撲[14]，見圖5(a)，以降低模型復(fù)雜度；VR(VGG-WRN)模塊中的in_ch為輸入通道數(shù)，其通道數(shù)量較其他網(wǎng)絡(luò)多，因此可以更加全面地理解吊弦特征，實現(xiàn)多通道尺度信息的自適應(yīng)融合，減少特征損失。

圖5 吊弦樣本狀態(tài)辨識Fig. 5 State identification of hanging string samples

（2）利用SE（squeeze & excitation）注意力機制[15]，見圖5(b)，使用全局信息來選擇性地突出有價值的通道特征，弱化無用通道特征。

（3）將寬殘差結(jié)構(gòu)與SE多尺度注意力機制融合，形成適合處理吊弦數(shù)據(jù)的特征提取模塊，同時實現(xiàn)突出吊弦信息及故障特征的弱化背景信息，進一步提升吊弦狀態(tài)識別精度，其處理流程如圖5(c)所示。

加入注意力機制前后檢測效果對比如圖6所示。圖中，吊弦被受電弓與支架遮擋，背景較復(fù)雜，吊弦狀態(tài)為松脫，識別難度較大。加入注意力模塊后，故障可被準確識別。

圖6 加入注意力模型前后的檢測效果對比圖（紅框代表檢測為故障）Fig. 6 Comparison of detection effects before and after adding attention model (red box represents failure detection)

本次實驗通過案例1中的故障仿真方法獲取數(shù)據(jù)集。通過篩選，最后得到了7 539例分布均勻的數(shù)據(jù)集，其中正常吊弦2 064例，松脫吊弦1 837例，斷裂吊弦1 953例，其他(非吊弦)1 685例。采用其中6 000例作為訓(xùn)練集，其余1 539例作為測試集。最終，采用所提注意力模型網(wǎng)絡(luò)方法在測試集上取得了97%的準確率，而經(jīng)典分類網(wǎng)絡(luò)VGG16網(wǎng)絡(luò)和ResNet-50網(wǎng)絡(luò)在測試集上的準確率僅為94.4%和91.6%，可見該網(wǎng)絡(luò)在吊弦缺陷識別任務(wù)中精度遠高于經(jīng)典分類網(wǎng)絡(luò)的。

2.3 曝光異常數(shù)據(jù)的高速甄別技術(shù)

在吊弦狀態(tài)辨識過程中，難免逆光過曝或欠曝處理等成像異常情況，因此有必要甄別出過曝和欠曝的數(shù)據(jù)。異常曝光時，圖像細節(jié)會因曝光過度或不足導(dǎo)致缺失，從而導(dǎo)致被誤檢。由于異常曝光的圖像本質(zhì)是進入了AD轉(zhuǎn)換的飽和區(qū)，已丟失了信息，故沒有進一步分析的價值。本文提出曝光異常數(shù)據(jù)的高速甄別技術(shù)實現(xiàn)如下：首先，通過計算圖像的曝光度，判斷出此時圖像是否處于黑暗狀態(tài)；其次，通過計算圖像行最小灰度最大值以及行最小灰度均值，判斷出圖像的吊弦區(qū)域是否出現(xiàn)曝光過度；最后，將上述3個特征值輸入到隨機森林模型，圖像狀態(tài)被分為黑暗、正常、微曝光以及強曝光4類，通過模型對曝光異常數(shù)據(jù)進行甄別。異常曝光吊弦篩選具體流程如圖7所示。

圖7 異常曝光吊弦篩選流程Fig. 7 Screening process of abnormal exposure hanger

在本次試驗收集了2 988張圖像數(shù)據(jù)作為隨機森林模型的訓(xùn)練樣本；為了檢測該模型的泛用性與優(yōu)越性，另外收集400張異常曝光數(shù)據(jù)作為該模型的測試集。通過對隨機森林參數(shù)的調(diào)整，最終在2 988張訓(xùn)練樣本中對該模型進行交叉驗證，得到的隨機森林模型對于異常曝光吊弦檢測的準確率為96.28%。用400張測試樣本對該模型進行測試，得到的測試準確率為96.5%。

在對含有7 500幀的視頻進行整體測試后發(fā)現(xiàn)，未加入曝光異常狀態(tài)甄別技術(shù)時，存在462張圖像因曝光異常而被誤檢的情況。而在加入該技術(shù)后，僅有10張圖像因曝光異常而被誤檢。因此通過該方法可以達到快速甄別數(shù)據(jù)的效果，從而降低故障分類的誤檢率，其具體檢測效果如圖8所示。

圖8 吊弦故障分類檢測Fig. 8 Classification and detection of hanger faults

3 結(jié)語

C3系統(tǒng)中的接觸網(wǎng)目標狀態(tài)視覺辨識不僅是一種極具現(xiàn)實意義的應(yīng)用技術(shù)，也是一項極具學(xué)術(shù)挑戰(zhàn)性的研究任務(wù)。其技術(shù)難度既源于樣本標記和模型訓(xùn)練等繁重瑣碎的技術(shù)層面工作，也源于鐵路場景目標的視覺感知機理分析、辨識算法設(shè)計等前沿科學(xué)研究問題。由于接觸網(wǎng)視頻巡檢任務(wù)問題的復(fù)雜度已超越了數(shù)據(jù)驅(qū)動監(jiān)督模型的適用范疇，需引入專家經(jīng)驗、典型樣例和電氣語義等知識驅(qū)動的模型方式。文中以吊弦為對象開展了吊弦松脫與斷裂仿真、狀態(tài)辨別和圖像質(zhì)量甄別的探索性研究，并通過實驗驗證了本文技術(shù)思路的正確性和有效性。本文成果揭示了知識模型與數(shù)據(jù)模型相結(jié)合是解決接觸網(wǎng)巡檢任務(wù)的重要方向，其結(jié)合機制和評價方式還有待進一步深入探究。