戴 鵬，王勝春，杜馨瑜，韓 強(qiáng)，王 昊，任盛偉

(中國(guó)鐵道科學(xué)研究院 基礎(chǔ)設(shè)施檢測(cè)研究所, 北京 100081)

采用非接觸式動(dòng)態(tài)檢測(cè)方法對(duì)軌道部件狀態(tài)缺陷進(jìn)行巡檢的技術(shù)迅速發(fā)展，其中基于激光測(cè)距掃描的檢測(cè)方法[1]、基于可見光成像的檢測(cè)方法[2]成為主流。可見光成像的檢測(cè)方法因其所獲數(shù)據(jù)良好的可視性、可追溯性，且數(shù)據(jù)分析的自動(dòng)化、智能化而被廣泛應(yīng)用于檢測(cè)鋼軌狀態(tài)[3-4]、接觸網(wǎng)部件狀態(tài)[5]等。無砟軌道扣件是聯(lián)結(jié)高鐵無縫鋼軌和混凝土道床的基礎(chǔ)部件，其缺陷可能引發(fā)鋼軌移位并造成列車脫軌。我國(guó)高鐵線路長(zhǎng)，扣件總量基數(shù)大，急需自動(dòng)化、智能化的檢測(cè)技術(shù)來準(zhǔn)確、高效地發(fā)現(xiàn)扣件缺陷。

扣件缺陷的機(jī)器識(shí)別方法通常以軌道為輸入圖像，通過圖像分割運(yùn)算提取出扣件子圖，并識(shí)別扣件子圖狀態(tài)來檢測(cè)缺陷。早期方法通過檢測(cè)扣件螺栓、彈條等部件在圖像中形成的邊緣、角點(diǎn)特征變化進(jìn)行識(shí)別[6-8]，這類方法屬于初級(jí)機(jī)器視覺層次，檢測(cè)精度和抗噪能力較差；后經(jīng)發(fā)展，通過借鑒“人臉識(shí)別”、“行人檢測(cè)”等機(jī)器視覺問題解決方案，采用基于“人工設(shè)計(jì)特征”搭配統(tǒng)計(jì)模式識(shí)別分類器進(jìn)行識(shí)別。如：Haar特征搭配LDA (Latent Dirichlet Allocation)分類器[9]，Adaboost分類器[10]，HOG特征搭配K-近鄰分類器[11-12]、支持向量機(jī)(Support Vector Machine,SVM)[13-14]分類器等。這類方法基于“專家設(shè)計(jì)”算子描述扣件模式，并通過統(tǒng)計(jì)學(xué)習(xí)建立分類器，一定程度上提升了識(shí)別精度和魯棒性，但在處理非同源數(shù)據(jù)時(shí)泛化性弱，存在虛警率高、對(duì)缺陷扣件存在較高比率漏檢的問題，給工程實(shí)踐造成困擾。

隨著以深度學(xué)習(xí)(Deep Learning, DL)為代表的人工智能技術(shù)發(fā)展，設(shè)計(jì)深度網(wǎng)絡(luò)從數(shù)據(jù)集中自動(dòng)學(xué)習(xí)特征的模式識(shí)別系統(tǒng)，表現(xiàn)出遠(yuǎn)超傳統(tǒng)“人工設(shè)計(jì)特征”的優(yōu)勢(shì)。已有相關(guān)研究將該技術(shù)用于處理鐵路圖像，如使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)識(shí)別有砟軌道場(chǎng)景區(qū)域[15-16]、軌道塞釘?shù)攘悴考顟B(tài)[17]等，獲得了更好的識(shí)別精度。

本文針對(duì)無砟軌道圖像中扣件子圖空間紋理相似度較高及我國(guó)高速客專無砟軌道扣件樣本相對(duì)稀缺的特點(diǎn)，研究軌道圖像中扣件子圖精確快速定位算法和基于半監(jiān)督深度學(xué)習(xí)的扣件缺陷機(jī)器識(shí)別方法，并通過在運(yùn)營(yíng)客專線試運(yùn)用，對(duì)該方法在缺陷檢出率及計(jì)算效率等方面進(jìn)行驗(yàn)證。

1 基于置信圖的扣件子圖快速定位算法

研究中的圖像數(shù)據(jù)采集于軌道狀態(tài)巡檢系統(tǒng)[2]。該系統(tǒng)采用高速線陣工業(yè)相機(jī)對(duì)軌道進(jìn)行等間距運(yùn)動(dòng)掃描，掃描間距為1.6 mm/掃描線，單相機(jī)的橫向覆蓋視野約為1 m，鋼軌和扣件位于圖像中間區(qū)域，如圖1(a)所示。我國(guó)高鐵的無砟軌道采用了CTRS-Ⅰ，CTRS-Ⅱ型等不同類型軌道板，其扣件結(jié)構(gòu)存在一定差異，這里選取高鐵干線線路廣泛采用的WJ-7和WJ-8型2種扣件作為研究對(duì)象。

圖1 軌道圖像中選取扣件子圖鄰域的示意圖

扣件子圖定位是指從軌道圖像中提取出扣件子圖，并把該子圖作為后續(xù)缺陷識(shí)別算法的輸入。已有的扣件定位研究多基于邊緣幾何特征[9]、互信息相關(guān)性[18]、紋理模板匹配[19]等方法。其中基于邊緣幾何特征、互信息相關(guān)性的方法易受環(huán)境噪聲干擾，給工程實(shí)踐造成困難；基于紋理模板匹配的方法則依賴于遍歷尋優(yōu)，計(jì)算開銷大，實(shí)時(shí)性差。針對(duì)上述問題，提出了一種基于置信圖模型的扣件子圖快速定位算法。算法主要包括扣件子圖鄰域紋理圖的構(gòu)建和扣件子圖定位2個(gè)步驟。首先，基于先驗(yàn)信息在軌道圖像中指定某個(gè)扣件子圖鄰域作為引導(dǎo)圖，應(yīng)用概率圖模型對(duì)引導(dǎo)圖進(jìn)行處理，構(gòu)建該區(qū)域的紋理圖和扣件子圖在該區(qū)域中的置信圖。然后，根據(jù)軌道圖像空間相鄰扣件的大致間隔提取下一個(gè)扣件子圖鄰域并構(gòu)造其紋理圖和置信圖，再通過計(jì)算置信圖與引導(dǎo)圖之間相關(guān)函數(shù)的最大極值點(diǎn)實(shí)現(xiàn)對(duì)新區(qū)域中扣件子圖的定位。

1) 扣件子圖鄰域紋理圖的構(gòu)建

給定軌道圖像中扣件子圖o的中心位置x*及其鄰域Ωc，如圖1(b)所示。區(qū)域Ωc(x*)的紋理特征集X*為

X*={t(z)=(I(z),z)|z∈Ωc(x*)}

(1)

式中：z為鄰域Ωc中的像素位置；t(z)為像素位置z鄰域的紋理；I(z)為像素位置z的灰度值。

將空間點(diǎn)x定位為扣件子圖中心位置x*的似然函數(shù)c(x)，為

(2)

式中：b為系數(shù)變量；α，β為系數(shù)；P(x,t(z)|o)為扣件子圖中心x和紋理特征t(z)的聯(lián)合概率密度，即為條件概率P(x|t(z),o)與先驗(yàn)概率P(t(z)|o)的乘積。

條件概率P(x|t(z),o)為以當(dāng)前定位位置x為中心的鄰域Ωc的紋理圖之間的分布關(guān)系，可以函數(shù)hsc(x)表示，有

P(x|t(z),o)=hsc(x-z)

(3)

先驗(yàn)概率P(t(z)|o)描述了局部紋理特征，為

P(c(z)|o)=I(z)ωσ(z-x*)

(4)

式中：ωσ(z)為窗函數(shù)。

將式(3)和式(4)代入式(2)進(jìn)行恒等變換，并運(yùn)用卷積運(yùn)算展開后進(jìn)行傅里葉(FFT)變換后在頻域變形，然后再進(jìn)行FFT逆變換，得到紋理圖函數(shù)hsc(x)的解析表達(dá)式，其本質(zhì)上可視為給定扣件鄰域的1個(gè)寬邊界的特征模板，即為給定扣件中心及其鄰域區(qū)域所構(gòu)建的紋理圖，則

(5)

式中：F(·)為傅里葉變換；F-1(·)為傅里葉逆變換。

2)扣件子圖定位

(6)

對(duì)每個(gè)待處理的扣件鄰域均可計(jì)算得到其與引導(dǎo)圖之間的置信圖函數(shù)cn(x)，搜索該函數(shù)最大極值點(diǎn)argmax(cn(x))，即為該鄰域內(nèi)扣件子圖的中心位置。

分別選取WJ-7和WJ-8型2種扣件作為算例對(duì)算法進(jìn)行演示，并顯示扣件鄰域紋理圖及其與引導(dǎo)圖之間置信圖的計(jì)算結(jié)果，如圖2和圖3所示。圖2(c)和圖3(c)中的紅點(diǎn)位置表示置信圖的最大極值點(diǎn)，即對(duì)應(yīng)該區(qū)域扣件子圖區(qū)域的中心點(diǎn)。

圖2 WJ-7型扣件算例

圖3 WJ-8型扣件算例

該算法較已有算法具有3個(gè)顯著優(yōu)點(diǎn)：①通過計(jì)算似然函數(shù)構(gòu)建紋理圖，使得該算法對(duì)光照變化不敏感，抗噪能力強(qiáng)，具有更好的魯棒性；②運(yùn)算速度快，從區(qū)域中定位目標(biāo)僅需做1次窗函數(shù)卷積和FFT正逆變換運(yùn)算，避免了傳統(tǒng)方法的遍歷運(yùn)算，單張軌道圖像的處理時(shí)間在3 ms左右，每小時(shí)可處理約400 km軌道圖像；③算法可根據(jù)不同類型扣件靈活設(shè)置引導(dǎo)圖作為參考標(biāo)的來更新紋理圖和置信圖，對(duì)不同類型扣件進(jìn)行定位處理的適應(yīng)性較好。

2 基于半監(jiān)督深度學(xué)習(xí)的扣件缺陷圖像識(shí)別方法

運(yùn)用上述定位算法批量處理圖像可得到若干扣件子圖。對(duì)扣件子圖進(jìn)行分類整理后構(gòu)成用于開展缺陷識(shí)別研究的數(shù)據(jù)集。結(jié)合實(shí)際情況分析可知，高速鐵路無砟軌道扣件損壞數(shù)量占扣件總量比例極低，因此圖像數(shù)據(jù)集的一個(gè)主要特征為正?？奂颖緲O為豐富，而缺陷樣本稀缺。深度學(xué)習(xí)技術(shù)盡管在處理大數(shù)據(jù)集的機(jī)器視覺識(shí)別問題上優(yōu)勢(shì)明顯，但通用的深度學(xué)習(xí)建模方法對(duì)數(shù)據(jù)集總量、數(shù)據(jù)集中不同類別樣本數(shù)量之間的均衡性存在要求。因此如何進(jìn)行深度學(xué)習(xí)建模實(shí)現(xiàn)扣件缺陷圖像識(shí)別方法是另一難點(diǎn)。

綜合考慮數(shù)據(jù)集特點(diǎn)，運(yùn)用半監(jiān)督學(xué)習(xí)方法進(jìn)行深度學(xué)習(xí)建模，即先在大數(shù)據(jù)集上進(jìn)行無監(jiān)督學(xué)習(xí)獲得表示特征，然后在相對(duì)小的有標(biāo)注的數(shù)據(jù)集進(jìn)行監(jiān)督學(xué)習(xí)獲得分類能力。模型設(shè)計(jì)原理如下。

步驟1：鑒于扣件結(jié)構(gòu)在圖像中的模式表現(xiàn)出較強(qiáng)的相似性，采用稀疏自編碼(Sparse AutoEncode, SAE)網(wǎng)絡(luò)構(gòu)建學(xué)習(xí)模型來提取扣件特征。SAE網(wǎng)絡(luò)為雙向傳導(dǎo)網(wǎng)絡(luò)，其原理為通過建立神經(jīng)網(wǎng)絡(luò)反向傳導(dǎo)機(jī)制，求解1個(gè)定義為hw,b(x)≈x的函數(shù)，使得特征函數(shù)hw,b(x)=f(wx+b)的表達(dá)盡可能逼近原圖像x，其中向量w為網(wǎng)絡(luò)節(jié)點(diǎn)的權(quán)重系數(shù)，可視為圖像稀疏特征的數(shù)值化表示，b為偏置項(xiàng)，它們均通過在無標(biāo)注數(shù)據(jù)集機(jī)器學(xué)習(xí)確定。

步驟2：為了使深度學(xué)習(xí)網(wǎng)絡(luò)具備缺陷識(shí)別功能，將步驟1中訓(xùn)練好的網(wǎng)絡(luò)連接1個(gè)Softmax層組成分類網(wǎng)絡(luò)，由Softmax層連接輸出層給出扣件子圖的類別標(biāo)簽。這步操作將有限的缺陷扣件樣本和二次挑選的數(shù)量相近的部分正常扣件樣本進(jìn)行類別標(biāo)注后建立1個(gè)新的數(shù)據(jù)集，并在新數(shù)據(jù)集基礎(chǔ)上對(duì)分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練。通過在有標(biāo)簽的數(shù)據(jù)集上進(jìn)行監(jiān)督學(xué)習(xí)獲得Softmax層的權(quán)重參數(shù)，并同時(shí)對(duì)步驟1中生成的權(quán)重系數(shù)向量w進(jìn)行微調(diào)，最終經(jīng)迭代訓(xùn)練收斂后，獲得扣件缺陷識(shí)別的分類網(wǎng)絡(luò)。

依據(jù)上述原理，建立如下算例。

(1)數(shù)據(jù)集構(gòu)建：通過對(duì)從軌道圖像中分割出的大量扣件子圖進(jìn)行甄選，獲得大量正?？奂D像樣本和2 000余個(gè)真實(shí)扣件缺陷。對(duì)數(shù)據(jù)進(jìn)行整理后建立包含M=312 000個(gè)扣件子圖樣本的數(shù)據(jù)集作為訓(xùn)練集，其中正常扣件樣本個(gè)數(shù)Mp=271 000個(gè)。對(duì)2 000余個(gè)負(fù)樣本扣件子圖進(jìn)行鏡像、伽馬(gamma)變換等數(shù)據(jù)增強(qiáng)處理后擴(kuò)展到Mn=41 000個(gè)。缺陷樣本集中扣件缺失、折斷、彈條移位缺陷各約占1/3。由于缺陷樣本稀缺，盡管已采用數(shù)據(jù)增強(qiáng)方法對(duì)缺陷扣件子圖進(jìn)行10倍擴(kuò)展，但正負(fù)樣本比例仍極不均衡。

(2) 深度網(wǎng)絡(luò)構(gòu)建：設(shè)計(jì)1個(gè)包含5層結(jié)構(gòu)的網(wǎng)絡(luò)，如圖4所示。網(wǎng)絡(luò)包含1個(gè)輸入層、2個(gè)隱藏層，1個(gè)softmax分類層和1個(gè)輸出層。其中輸入層連接扣件圖像數(shù)據(jù)，將單個(gè)扣件子圖的像素矩陣展開為元個(gè)數(shù)K=128×80個(gè)元素的向量，并將數(shù)據(jù)集中M個(gè)樣本聚合成維度為M×K的輸入矩陣。其中輸入層、隱藏層L1、隱藏層L2之間采用全連接結(jié)構(gòu)相連，節(jié)點(diǎn)數(shù)分別設(shè)定為256和196個(gè)。

圖4 扣件缺陷識(shí)別的半監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

圖5 典型缺陷扣件圖像

(4) 機(jī)器學(xué)習(xí)特征的可視化和模型驗(yàn)證。在第1步無監(jiān)督學(xué)習(xí)中從1個(gè)無標(biāo)注數(shù)據(jù)集上獲得表征扣件模式的機(jī)器學(xué)習(xí)特征，其中wL1和wL2系數(shù)為扣件形態(tài)模式的稀疏特征表示。通過可視化程序以二維圖像顯示wL1和wL2如圖6所示?？梢钥闯鰺o監(jiān)督學(xué)習(xí)的深度網(wǎng)絡(luò)權(quán)系數(shù)隱含了扣件彈條輪廓形狀的特征信息。該缺陷識(shí)別方法在本算例建立的分類驗(yàn)證集上獲得的最佳識(shí)別精度為99.6%。

3 應(yīng)用驗(yàn)證

基于半監(jiān)督深度學(xué)習(xí)的無砟軌道扣件缺陷圖像識(shí)別方法，對(duì)在我國(guó)某客專專線CTRS-Ⅰ和CTRS-Ⅱ型無砟軌道上采集的若干段軌道巡檢圖像進(jìn)行應(yīng)用測(cè)試。運(yùn)用安裝于高鐵綜合巡檢車的軌道巡檢系統(tǒng)，以月為間隔周期，對(duì)某段長(zhǎng)220 km的無砟軌道線路進(jìn)行3遍圖像采集。然后運(yùn)用識(shí)別方法對(duì)這3段數(shù)據(jù)進(jìn)行處理，并和線路管理部門線路管理部門經(jīng)人工看圖復(fù)檢校驗(yàn)后的結(jié)果進(jìn)行對(duì)比，以驗(yàn)證算法的性能。

為了評(píng)價(jià)方法的正確性和有效性，定義準(zhǔn)確率rP和檢出率rR評(píng)價(jià)其性能，分別為

圖6 深度網(wǎng)絡(luò)學(xué)習(xí)獲得的隱藏層特征

(7)

(8)

式中：cTP為正確識(shí)別數(shù)量(即識(shí)別為缺陷的扣件為真實(shí)缺陷)；cFP為誤報(bào)數(shù)量(即將非缺陷扣件識(shí)別為缺陷)；cFN為漏識(shí)數(shù)量(即真實(shí)缺陷扣件未能識(shí)別)。

從保障鐵路安全運(yùn)行的角度來考慮，檢出率rR為優(yōu)先指標(biāo)，即應(yīng)盡可能充分保障缺陷扣件被有效檢出；為盡可能提高檢出率，允許機(jī)器識(shí)別方法存在一定誤報(bào)，即準(zhǔn)確率rP為次要參考指標(biāo)。將機(jī)器識(shí)別結(jié)果和人工精細(xì)復(fù)查結(jié)果進(jìn)行對(duì)比，相關(guān)統(tǒng)計(jì)指標(biāo)見表1。

表1 缺陷識(shí)別方法應(yīng)用驗(yàn)證統(tǒng)計(jì)指標(biāo)

從表3可以看出：識(shí)別方法對(duì)扣件缺陷的有效率檢出率均>95%，平均檢出率為97.1%，識(shí)別結(jié)果的準(zhǔn)確率在50%左右水平。從泛化性評(píng)價(jià)該方法對(duì)數(shù)據(jù)集以外新樣本的適應(yīng)能力，相比于在建模過程中算例數(shù)據(jù)驗(yàn)證集上所獲得的99.6%的最佳識(shí)別精度，該識(shí)別方法在處理全新輸入的軌道圖像數(shù)據(jù)時(shí)的缺陷檢出率下降不到4%，體現(xiàn)了該方法在處理軌道和扣件圖像數(shù)據(jù)時(shí)良好的泛化性, 與現(xiàn)有識(shí)別方法約80%的缺陷檢出率相比性能提升明顯。從識(shí)別速度上來看，單個(gè)扣件子圖快速定位算法加缺陷識(shí)別兩部分運(yùn)算耗時(shí)約在5 ms，通過建立并行機(jī)制處理兩股鋼軌圖像，每小時(shí)可處理約200 km左右的軌道圖像數(shù)據(jù)，可滿足現(xiàn)有軌道巡檢系統(tǒng)最高160 km·h-1檢測(cè)作業(yè)時(shí)的實(shí)時(shí)處理要求。

方法產(chǎn)生的誤報(bào)主要由于部分正?？奂溆形蹪n、異物等造成的模式不確定性引起，但誤報(bào)數(shù)量相比于檢測(cè)數(shù)據(jù)所包含扣件總量比例極低，滿足目前巡檢圖像數(shù)據(jù)分析采用的“機(jī)器識(shí)別后人工輔助確認(rèn)”的工作要求。對(duì)于產(chǎn)生漏檢的情況，主要還是由于扣件缺陷模式的復(fù)雜性和多變性引起，當(dāng)某種模式與監(jiān)督學(xué)習(xí)訓(xùn)練集中已有樣本可覆蓋模式有較大差異時(shí)，則有一定概率會(huì)發(fā)生漏檢。提出的識(shí)別方法具有機(jī)器學(xué)習(xí)所具有的增量自學(xué)習(xí)能力。通過積累收集漏檢樣本并補(bǔ)充到訓(xùn)練集進(jìn)行更新學(xué)習(xí)后，即可獲得正確識(shí)別漏檢缺陷的能力。

4 結(jié) 語

本文提出了一種無砟軌道扣件快速定位算法和識(shí)別扣件缺陷的半監(jiān)督機(jī)器學(xué)習(xí)方法?？奂ㄎ凰惴ㄍㄟ^構(gòu)建扣件鄰域紋理圖和引導(dǎo)圖與被定位圖之間的置信圖的極大值點(diǎn)，避免了傳統(tǒng)定位算法計(jì)算效率低、抗噪聲能力弱、魯棒性不強(qiáng)等問題，大幅提升了扣件子圖定位算法的計(jì)算效率和精度?；诎氡O(jiān)督深度學(xué)習(xí)方法建立扣件缺陷識(shí)別模型，克服了無砟軌道扣件缺陷樣本相對(duì)稀缺條件下采用深度學(xué)習(xí)技術(shù)進(jìn)行異常識(shí)別建模的困難，實(shí)現(xiàn)了對(duì)扣件缺失、彈條折斷、彈條移位3類缺陷的高精度識(shí)別。選取我國(guó)高速運(yùn)營(yíng)客專無砟軌道進(jìn)行試驗(yàn)和方法驗(yàn)證，結(jié)果表明，該方法可適用于CTRS-Ⅰ和CTRS-Ⅱ型等不同類型無砟軌道所裝配的WJ-7型、WJ-8型等類型扣件，對(duì)扣件缺陷的有效檢出率>95%。

本文對(duì)高速客?；A(chǔ)設(shè)施圖像識(shí)別技術(shù)研究中所面臨的缺陷樣本相對(duì)稀缺這一共性問題進(jìn)行了有益探索，可為解決接觸網(wǎng)零部件結(jié)構(gòu)缺陷檢測(cè)、道床內(nèi)掉落異物識(shí)別等問題提供借鑒。