李忠海，白秋陽(yáng)，王富明，劉海榮

沈陽(yáng)航空航天大學(xué) 自動(dòng)化學(xué)院，沈陽(yáng)110135

列車運(yùn)行和自然環(huán)境的長(zhǎng)期影響，會(huì)使鋼軌表面形成孔洞、擦傷和疤痕等各種缺陷[1]，這些缺陷對(duì)鐵路安全運(yùn)行造成嚴(yán)重威脅，因此，鋼軌表面缺陷檢測(cè)成為保障鐵路安全運(yùn)營(yíng)的一個(gè)重要手段。目前，軌道表面缺陷檢測(cè)主要依靠人工實(shí)現(xiàn)，人工檢測(cè)需要耗費(fèi)大量的人力資源，檢測(cè)效率較低，不具備實(shí)時(shí)性，而且檢測(cè)準(zhǔn)確性受主觀因素影響較大，很大程度上依賴于技術(shù)人員的經(jīng)驗(yàn)水平，這些因素導(dǎo)致人工檢測(cè)已經(jīng)無(wú)法滿足現(xiàn)代鐵路，尤其是中國(guó)高鐵（CRH）日常檢查的需求[2]。因此，迫切需要建立一個(gè)高效快速的自動(dòng)檢測(cè)系統(tǒng)，對(duì)運(yùn)行線路中的鋼軌表面進(jìn)行實(shí)時(shí)檢測(cè)。

隨著計(jì)算機(jī)科學(xué)和數(shù)字圖像處理技術(shù)的快速發(fā)展，利用圖像檢測(cè)鋼軌表面缺陷，逐漸成為主要的研究方向，經(jīng)過各大高校和鐵路研究院所的不懈努力，已取得大量成果，主要包括：茅正沖等人提出了改進(jìn)類間方差法對(duì)鋼軌表面缺陷進(jìn)行直接提取，但檢測(cè)精度較差，無(wú)法滿足工業(yè)需求[3]；唐湘娜等人利用灰度投影法實(shí)現(xiàn)軌道表面區(qū)域的快速分割，但該算法的適應(yīng)性較差[4]，袁小翠等人利用改進(jìn)Ostu算法對(duì)缺陷進(jìn)行分割，但該算法的閾值選取需要根據(jù)具體場(chǎng)景進(jìn)行調(diào)整，不具備通用性[5]；賀振東等人利用均值背景差分算法提取表面缺陷，但受環(huán)境和噪聲等因素影響較大，算法魯棒性較差[6]；李清勇等人建立了缺陷圖像的稀疏模型，一定程度上解決了光照不均勻和遮擋等環(huán)境問題，但算法復(fù)雜度較大，不具備實(shí)時(shí)性[7]。

通過對(duì)國(guó)內(nèi)外的研究現(xiàn)狀進(jìn)行分析，目前的研究成果主要存在以下問題：

（1）魯棒性較差，對(duì)于光照不均勻、背景噪聲較大的圖像，檢測(cè)精度無(wú)法滿足要求。

（2）側(cè)重于檢測(cè)精度的研究，算法較為復(fù)雜，耗時(shí)較長(zhǎng)，但根據(jù)工程應(yīng)用的要求，需盡可能地降低算法的計(jì)算成本，提高系統(tǒng)的實(shí)時(shí)性和適應(yīng)性。

（3）側(cè)重于算法研究，雖然在仿真實(shí)驗(yàn)上取得了較好的效果，但忽略了許多現(xiàn)實(shí)因素，工程應(yīng)用仍存在許多障礙，使得我國(guó)仍大規(guī)模采用人工檢測(cè)的方法[8]。

針對(duì)以上問題，本文將基于深度學(xué)習(xí)的語(yǔ)義分割網(wǎng)絡(luò)應(yīng)用于鋼軌表面缺陷檢測(cè)上，提出了一種輕量型的語(yǔ)義分割模型，并結(jié)合圖像采集、人機(jī)交互等模塊，建立了一個(gè)完善的鋼軌表面缺陷實(shí)時(shí)檢測(cè)系統(tǒng)。系統(tǒng)不僅可以實(shí)現(xiàn)缺陷的快速識(shí)別與定位，還可以提供缺陷位置和類型等各種信息，以便維護(hù)人員能及時(shí)進(jìn)行相關(guān)的分析和處理。利用本文的系統(tǒng)進(jìn)行軌道表面檢測(cè)，將極大地提高檢測(cè)效率，降低檢測(cè)成本，增強(qiáng)檢測(cè)工作的自動(dòng)化水平。

1 鋼軌表面缺陷檢測(cè)系統(tǒng)

本文設(shè)計(jì)的鋼軌表面缺陷檢測(cè)系統(tǒng)如圖1所示，系統(tǒng)由系統(tǒng)控制模塊、圖像采集模塊、目標(biāo)區(qū)域定位模塊、缺陷檢測(cè)模塊和人機(jī)交互模塊五大部分組成。其中系統(tǒng)控制模塊主要用于測(cè)速測(cè)距和控制相機(jī)的工作方式，為了達(dá)到精確控制的目的，本文不再使用傳統(tǒng)的光電編碼器，而是利用列車上的現(xiàn)有資源“黑匣子”，即機(jī)車運(yùn)行監(jiān)控裝置（LKJ）進(jìn)行精確測(cè)控；圖像采集模塊主要用于采集鋼軌表面圖像，為了減少外部復(fù)雜光照的影響，在該模塊中增加了遮光罩和LED輔助光源，為圖像采集提供穩(wěn)定的光照環(huán)境；目標(biāo)區(qū)域定位模塊主要用于在采集到的圖像中快速定位目標(biāo)區(qū)域（即鋼軌表面區(qū)域），從而減少后續(xù)缺陷檢測(cè)的計(jì)算量，節(jié)省檢測(cè)時(shí)間；缺陷檢測(cè)模塊主要用于對(duì)軌道表面缺陷進(jìn)行快速識(shí)別和分析，為了滿足系統(tǒng)實(shí)時(shí)性的要求，采用計(jì)算復(fù)雜度較低的輕量型語(yǔ)義分割模型進(jìn)行缺陷定位分割，采用緊湊型卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行缺陷分類；人機(jī)交互模塊主要用于實(shí)時(shí)顯示和記錄檢測(cè)結(jié)果，并給出有效的報(bào)警信息，該模塊設(shè)計(jì)了友好的操作界面，使用簡(jiǎn)易方便，以便維護(hù)人員能快速對(duì)缺陷進(jìn)行分析和處理。下面對(duì)這五個(gè)模塊分別進(jìn)行詳細(xì)介紹。

1.1 圖像采集模塊

工業(yè)上通常采用面陣相機(jī)和線陣相機(jī)兩種相機(jī)來(lái)采集二維圖像，這兩種相機(jī)各有優(yōu)缺點(diǎn)，需要根據(jù)應(yīng)用場(chǎng)景和系統(tǒng)要求進(jìn)行選擇。線陣相機(jī)的傳感器利用單線感光元素進(jìn)行掃描，能夠?qū)崿F(xiàn)高掃描頻率和高分辨率，因此具有動(dòng)態(tài)范圍大，圖像失真小，采集速度快等優(yōu)點(diǎn)，被廣泛應(yīng)用于工業(yè)測(cè)量場(chǎng)合[9]。針對(duì)系統(tǒng)對(duì)高速采集和高分辨率的要求，本文選用CCD線陣相機(jī)和工業(yè)級(jí)鏡頭進(jìn)行圖像采集。

在圖像采集模塊中，采集光源會(huì)直接影響采集圖像的質(zhì)量，從而對(duì)后續(xù)的缺陷檢測(cè)產(chǎn)生影響，為了避免光照不均勻等現(xiàn)象的出現(xiàn)，本文在該模塊中加入遮光罩和LED輔助光源，通過精確調(diào)整遮光罩和輔助光源的位置和亮度，保證采集模塊處于穩(wěn)定的光照環(huán)境中。

確定好圖像采集設(shè)備后，需要對(duì)其進(jìn)行合理布局，從而保證采集到的圖像完全覆蓋鋼軌表面，本文的采集模塊布局結(jié)構(gòu)圖如圖2所示。該模塊安裝在列車車廂底部，列車運(yùn)行時(shí)，LED輔助光源以一定角度照射鋼軌表面，并結(jié)合遮光罩使采集模塊處于穩(wěn)定的光照環(huán)境中，在嵌入式系統(tǒng)的控制下，通過CCD線陣相機(jī)連續(xù)采集現(xiàn)場(chǎng)軌道圖像，并將圖像通過通信接口進(jìn)行傳輸保存，以供系統(tǒng)后續(xù)檢測(cè)分析使用。

圖1 檢測(cè)系統(tǒng)原理圖

圖2 圖像采集布局結(jié)構(gòu)

1.2 系統(tǒng)控制模塊

列車在運(yùn)行過程中無(wú)法全程保持勻速行駛，因此相機(jī)和鋼軌之間的相對(duì)運(yùn)動(dòng)速度是隨時(shí)變化的，由于CCD相機(jī)的線性掃描方式，會(huì)導(dǎo)致圖像采集過程中出現(xiàn)圖像失真現(xiàn)象。當(dāng)相機(jī)采集速率和列車行駛速率保持一致，獲取的缺陷圖像沒有發(fā)生變形，如圖3（a）所示，對(duì)其的后續(xù)檢測(cè)結(jié)果最接近缺陷的真實(shí)尺寸；當(dāng)相機(jī)采集速率大于列車行駛速率，缺陷將被拉長(zhǎng)，如圖3（b）所示，對(duì)其的后續(xù)檢測(cè)結(jié)果將大于缺陷真實(shí)值；當(dāng)相機(jī)采集速率小于列車行駛速率，缺陷將被壓縮，如圖3（c）所示，對(duì)其的后續(xù)檢測(cè)結(jié)果將小于缺陷真實(shí)值。

圖3 線陣CCD掃描圖像

為了避免上述現(xiàn)象的出現(xiàn)，本文引入了系統(tǒng)控制模塊，該模塊根據(jù)列車運(yùn)行速度產(chǎn)生相應(yīng)的觸發(fā)脈沖，通過觸發(fā)脈沖調(diào)整圖像采集速率，實(shí)現(xiàn)CCD相機(jī)掃描的同步控制。

傳統(tǒng)的同步控制方式主要是通過光電編碼器來(lái)實(shí)現(xiàn)的，其基本原理如下：假設(shè)列車的車輪周長(zhǎng)為C，在單位時(shí)間t內(nèi)轉(zhuǎn)動(dòng)了N圈，列車的行駛距離為S=N×C。在車輪的軸承上安裝光電編碼器，車輪每轉(zhuǎn)動(dòng)一周，光電編碼器就會(huì)均勻地發(fā)出m個(gè)脈沖信號(hào)，若在單位時(shí)間t內(nèi)光電編碼器發(fā)出的脈沖個(gè)數(shù)為K，則列車行駛距離為S=C×K/m，列車的瞬時(shí)行駛速度為v=Δs/Δt。這樣便可以通過光電編碼器獲得列車的行駛速度和瞬時(shí)速度，從而進(jìn)一步獲得缺陷的位置信息。同時(shí)光電編碼器觸發(fā)信號(hào)傳輸?shù)骄€陣CCD相機(jī)的外部觸發(fā)輸入端，直接控制相機(jī)的線性掃描頻率，從而實(shí)現(xiàn)相機(jī)的同步掃描[10]。

利用光電編碼器進(jìn)行測(cè)速測(cè)距和同步控制，存在較多問題，主要包括：精度較低、受復(fù)雜因素影響較大，需要進(jìn)行誤差補(bǔ)償和可靠性驗(yàn)證。為了解決以上問題，本文不再使用光電編碼器，而是利用列車上的現(xiàn)有資源，即機(jī)車運(yùn)行監(jiān)控裝置（LKJ）。LKJ采用先進(jìn)的傳感技術(shù)和智能微機(jī)技術(shù)，能夠?qū)崟r(shí)采集記錄列車的運(yùn)行速度、位置、里程和時(shí)間等信息，利用LKJ對(duì)線性CCD相機(jī)進(jìn)行外部觸發(fā)以及獲取圖像的位置信息，將極大提高系統(tǒng)的準(zhǔn)確性和精度，同時(shí)充分利用了列車現(xiàn)有資源，使系統(tǒng)更加具有經(jīng)濟(jì)性和可操作性。

1.3 目標(biāo)區(qū)域定位模塊

在實(shí)際的缺陷檢測(cè)中，需要對(duì)鋼軌缺陷進(jìn)行實(shí)時(shí)檢測(cè)，系統(tǒng)對(duì)檢測(cè)時(shí)間有嚴(yán)格要求，因此，需要從采集圖像中快速定位鋼軌表面區(qū)域，從而節(jié)省后續(xù)處理時(shí)間，本文利用鋼軌表面區(qū)域的色調(diào)特性，提出了一種鋼軌表面區(qū)域快速定位分割算法。

色調(diào)、飽和度和亮度（HSL）是工業(yè)中常用的一種顏色標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)包括了人類視覺所能感知的所有顏色。其中色調(diào)（Hue，H）作為顏色的第一特征，可以用來(lái)準(zhǔn)確區(qū)分不同顏色，且H值受光照條件影響變化較小，即在一定光照條件下，可以認(rèn)為該特征值不受外部光照的影響[11]。H的計(jì)算表達(dá)式如式（1）所示：

采集圖像通常由鋼軌表面、道砟、軌枕和扣件四大區(qū)域組成，不同區(qū)域的H值分布存在較大差異。為了進(jìn)一步分析不同區(qū)域的H值分布特性，本文選取4組不同光照強(qiáng)度的環(huán)境進(jìn)行圖像采集，4組光照強(qiáng)度分別為500～1 000 lx，1 000～5 000 lx，5 000～10 000 lx，10 000～100 000 lx，每組平分10個(gè)點(diǎn)，共計(jì)40個(gè)采樣點(diǎn)進(jìn)行采集，每個(gè)采樣點(diǎn)采集100張圖像，總共采集4 000張圖像，這些圖像涵蓋了實(shí)際采集過程中所存在的大部分光照強(qiáng)度，對(duì)以上圖像中不同區(qū)域的H值進(jìn)行統(tǒng)計(jì)，得到不同區(qū)域的H值分布曲線，如圖4所示。由圖可知，鋼軌表面區(qū)域H值整體偏大，且具有較小突變；道砟區(qū)域H值具有多個(gè)較大突變；扣件區(qū)域H值曲線波動(dòng)變化，且具有單個(gè)較大突變；軌枕區(qū)域H值整體偏小，且較為平滑。

圖4 不同區(qū)域H值曲線

根據(jù)不同區(qū)域H值的變化特性，本文提出了一種鋼軌表面區(qū)域快速定位分割算法。算法步驟如下：

（1）建立圖像坐標(biāo)系。以采集圖像左下角為坐標(biāo)原點(diǎn)O；圖像的兩側(cè)分別為x軸和y軸，建立圖像坐標(biāo)系O xy，具體示意圖如圖5所示。假設(shè)圖像大小為u×v，(x,y)為圖像中的一個(gè)像素點(diǎn)，對(duì)應(yīng)的H值為h(x,y)，且x和y的取值范圍為：

圖5 圖像坐標(biāo)系示意圖

（2）檢索突變點(diǎn)。如果對(duì)整幅圖像每列像素點(diǎn)的H值都進(jìn)行計(jì)算，從而檢索突變點(diǎn)，會(huì)導(dǎo)致計(jì)算量增大，無(wú)法快速確定鋼軌表面區(qū)域邊界。因此，將采集到的圖像沿x軸正方向進(jìn)行垂直n等分，在等分線上沿著y軸正方向檢索H值突變點(diǎn)。其中，直線P表示等分線，(xp,y)表示等分線P上的像素點(diǎn)，h(xp,y)表示對(duì)應(yīng)的H值，t表示是否存在H值突變，t的計(jì)算表達(dá)式為：

t=1時(shí)，表明該等分線上存在突變點(diǎn)，將突變點(diǎn)保存記錄下來(lái)；t=0時(shí)，表明該等分線上不存在突變點(diǎn)，需要在該等分線周圍區(qū)域重新檢索。設(shè)定單位步長(zhǎng)為：

其中，u c為圖像水平像素點(diǎn)總數(shù)，當(dāng)t=0時(shí)，對(duì)該等分線左右兩側(cè)5d范圍內(nèi)與等分線平行的10條直線依次進(jìn)行突變點(diǎn)檢索。若在設(shè)定范圍內(nèi)的直線上找到突變點(diǎn)，則停止檢索其他直線，用該直線將等分線進(jìn)行替換；若設(shè)定范圍內(nèi)的直線上未找到突變點(diǎn)，為了避免陷入循環(huán)檢索，將該等分線刪除，不參與后續(xù)計(jì)算。

（3）確定邊界點(diǎn)。假設(shè)等分線上兩個(gè)相鄰的H值突變點(diǎn)為(xp,y q)和(x p,y q+1)，則按式（6）進(jìn)行判斷。

其中，w r為采集圖像中鋼軌表面區(qū)域?qū)挾鹊南袼乜倲?shù)，如果滿足式（6），(xp,y q)則將作為鋼軌表面區(qū)域的下邊界點(diǎn)，(x p,y q+1)將作為鋼軌表面區(qū)域的上邊界點(diǎn)。

（4）擬合邊界。對(duì)確定的個(gè)邊界點(diǎn)進(jìn)行線性擬合，得到鋼軌表面區(qū)域的上下邊界，從而快速定位到采集圖像中鋼軌表面區(qū)域。定位結(jié)果如圖6所示。

圖6 邊界擬合結(jié)果圖

（5）圖像分割。利用定位到的鋼軌表面區(qū)域?qū)υ紙D像進(jìn)行分割，分割結(jié)果如圖7所示。

圖7 鋼軌表面區(qū)域分割結(jié)果

圖8 鋼軌表面缺陷檢測(cè)模塊結(jié)構(gòu)圖

1.4 缺陷檢測(cè)模塊

缺陷檢測(cè)模塊由缺陷識(shí)別和缺陷分類兩部分組成，模塊設(shè)計(jì)結(jié)構(gòu)圖如圖8所示。其中，在缺陷識(shí)別部分，首先利用語(yǔ)義分割網(wǎng)絡(luò)將鋼軌表面圖像轉(zhuǎn)化為像素級(jí)預(yù)測(cè)掩模；然后對(duì)預(yù)測(cè)結(jié)果進(jìn)行二值化操作，得到缺陷輪廓；利用檢測(cè)器對(duì)缺陷區(qū)域進(jìn)行裁剪，將裁剪結(jié)果作為分類部分的輸入。在缺陷分類部分，利用一種緊湊型CNN網(wǎng)絡(luò)進(jìn)行分類。整個(gè)檢測(cè)模塊在保證檢測(cè)準(zhǔn)確率的基礎(chǔ)上，盡可能降低算法復(fù)雜度，減少計(jì)算量，從而實(shí)現(xiàn)鋼軌表面缺陷的實(shí)時(shí)檢測(cè)。具體缺陷檢測(cè)網(wǎng)絡(luò)模型在第2章進(jìn)行詳細(xì)介紹。

1.5 人機(jī)交互模塊

為了方便操作人員使用，本模塊設(shè)計(jì)了友好的操作界面。本文采用MATLAB GUI完成軟件界面的設(shè)計(jì)開發(fā)工作，鋼軌表面缺陷檢測(cè)系統(tǒng)界面如圖9所示。

圖9 缺陷檢測(cè)軟件界面圖

系統(tǒng)實(shí)時(shí)攝像機(jī)采集到的圖像，以圖像的形式顯示采集圖像及處理結(jié)果，以文本形式顯示當(dāng)前圖像中包含的缺陷類型，并進(jìn)行報(bào)警提示；以曲線形式記錄檢測(cè)結(jié)果，并將檢測(cè)結(jié)果以文本數(shù)據(jù)格式進(jìn)行保存。其中數(shù)據(jù)曲線的水平坐標(biāo)為測(cè)量時(shí)間，檢測(cè)結(jié)果隨測(cè)量時(shí)間動(dòng)態(tài)變化；保存的文本數(shù)據(jù)中包括測(cè)量時(shí)間、缺陷位置及缺陷類型等內(nèi)容。本模塊能夠?qū)崟r(shí)顯示檢測(cè)結(jié)果，并將其記錄保存，操作界面簡(jiǎn)潔，使用方便，可以有效地協(xié)助鐵路維護(hù)人員完成檢修保養(yǎng)工作。

2 缺陷檢測(cè)網(wǎng)絡(luò)模型

2.1 基于CASAE結(jié)構(gòu)的語(yǔ)義分割網(wǎng)絡(luò)

鋼軌表面缺陷區(qū)域和背景區(qū)域具有不同的紋理特征，缺陷區(qū)域通常是均勻紋理的局部異常部分，利用數(shù)據(jù)驅(qū)動(dòng)的方式，通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)表面缺陷的共同特征，將缺陷檢測(cè)問題轉(zhuǎn)化為語(yǔ)義分割問題，利用語(yǔ)義分割網(wǎng)絡(luò)將輸入圖像轉(zhuǎn)化成像素級(jí)的預(yù)測(cè)掩碼，從而實(shí)現(xiàn)缺陷的定位與分割。

本文的語(yǔ)義分割網(wǎng)絡(luò)由兩個(gè)級(jí)聯(lián)自編碼網(wǎng)絡(luò)構(gòu)成，兩個(gè)自編碼網(wǎng)絡(luò)具有相同的網(wǎng)絡(luò)結(jié)構(gòu)。其中前一個(gè)自編碼網(wǎng)絡(luò)的輸出預(yù)測(cè)掩碼作為后一個(gè)自編碼網(wǎng)絡(luò)的輸入，后者通過對(duì)像素標(biāo)簽的進(jìn)一步微調(diào)，從而提高語(yǔ)義分割的預(yù)測(cè)結(jié)果。自編碼網(wǎng)絡(luò)的結(jié)構(gòu)如圖10所示。網(wǎng)絡(luò)由編碼器和解碼器兩部分組成。其中，編碼器部分包括10個(gè)卷積層，每個(gè)卷積層的卷積核采用7×7的空洞卷積核[12]，激活函數(shù)采用ReLu函數(shù)。每?jī)蓪泳矸e層后設(shè)置一個(gè)池化層，池化層的stride設(shè)置為2，采用2×2的最大池化操作。在經(jīng)過池化層后，將特征圖的厚度增加一倍，從而減少語(yǔ)義信息的丟失。解碼器是編碼器的逆操作，結(jié)構(gòu)與其相似，但每經(jīng)過兩層卷積層后，需要進(jìn)行2×2的上采樣操作，將上采樣操作得到的結(jié)果與編碼器部分的對(duì)應(yīng)特征映射，通過concatenatee操作進(jìn)行連接，從而獲得最終的特征映射。最后一層利用softmax函數(shù)將輸出轉(zhuǎn)換成概率圖的形式，并將其調(diào)整為與輸入圖像大小相同。

本文在進(jìn)行卷積操作時(shí)，采用7×7的空洞卷積核，空洞卷積核與傳統(tǒng)卷積核對(duì)比如圖11所示，由圖可知，空洞卷積核在保證計(jì)算量大致不變的基礎(chǔ)上，擴(kuò)大了感受野，同時(shí)可以捕獲圖像多尺度上下文信息，從而更加有效地提取圖像缺陷特征。

圖10 自編碼網(wǎng)絡(luò)結(jié)構(gòu)圖

圖11 不同卷積核對(duì)比

通常來(lái)說(shuō)，鋼軌表面圖像中背景區(qū)域遠(yuǎn)遠(yuǎn)大于缺陷區(qū)域，因此為了使訓(xùn)練后的網(wǎng)絡(luò)模型更加適應(yīng)缺陷檢測(cè)的要求，本文設(shè)計(jì)了一種加權(quán)交叉熵?fù)p失函數(shù)L seg，具體計(jì)算方法如式（7）、（8）所示。

其中，w1表示缺陷權(quán)重，本文將其設(shè)置為0.2，w2表示背景權(quán)重，本文將其設(shè)置為0.8，K表示類別數(shù)量（背景和缺陷），M表示訓(xùn)練樣本的數(shù)量，N表示每幅樣本圖像的像素總數(shù)，表示第i幅圖像中的第j個(gè)像素點(diǎn)，表示其對(duì)應(yīng)標(biāo)簽，表示像素點(diǎn)為標(biāo)簽k的概率值。

2.2 圖像二值化

通過對(duì)語(yǔ)義分割網(wǎng)絡(luò)得到的概率圖進(jìn)行像素級(jí)閾值操作，可以進(jìn)一步細(xì)化預(yù)測(cè)掩碼結(jié)果，提高語(yǔ)義分割的效果，二值化操作方法如式（9）所示：

其中，I pm表示經(jīng)過語(yǔ)義分割網(wǎng)絡(luò)后得到的概率圖，I f表示最終的預(yù)測(cè)掩碼圖像，G s表示細(xì)化閾值，可以根據(jù)實(shí)際情況進(jìn)行調(diào)整，本文通過實(shí)驗(yàn)驗(yàn)證，將其設(shè)定為100，0表示缺陷區(qū)域像素值，1表示無(wú)缺陷區(qū)域像素值。為了突出顯示檢測(cè)后的缺陷，用紅色在原始圖像上標(biāo)記缺陷區(qū)域像素點(diǎn)。最終的檢測(cè)結(jié)果如圖12所示。

圖12 最終檢測(cè)結(jié)果

2.3 缺陷MER區(qū)域提取

根據(jù)上文得到的語(yǔ)義分割結(jié)果，提取缺陷的最小矩形包圍區(qū)域（MER），MER具有隨機(jī)方向，需要通過仿射變換，將其轉(zhuǎn)換為正向MER，正向MER能夠準(zhǔn)確地反映缺陷包絡(luò)區(qū)域，將其從原圖像中裁剪出來(lái)作為CNN網(wǎng)絡(luò)的輸入，可以更好地訓(xùn)練網(wǎng)絡(luò)模型，準(zhǔn)確地對(duì)缺陷進(jìn)行分類。MER提取結(jié)果如圖13所示。

圖13 MER提取結(jié)果

2.4 緊湊CNN網(wǎng)絡(luò)模型

本文提出的緊湊CNN模型包括5層卷積層和3層最大池化層、卷積層的激活函數(shù)采用PReLU激活函數(shù)，同時(shí)在前兩層卷積層后添加一個(gè)批量規(guī)范化層，通過零均值和零單位方差對(duì)每個(gè)通道中的數(shù)據(jù)進(jìn)行規(guī)范化，加快網(wǎng)絡(luò)模型訓(xùn)練過程，模型最終通過全連接層，利用softmax函數(shù)實(shí)現(xiàn)缺陷分類任務(wù)，網(wǎng)絡(luò)模型整體結(jié)構(gòu)如圖14所示，模型具體參數(shù)設(shè)置如表1所示。

圖14 緊湊CNN模型結(jié)構(gòu)

表1 緊湊型CNN的模型具體參數(shù)（輸入227×227）

本文提出的緊湊CNN模型在進(jìn)行模型訓(xùn)練時(shí)，不使用經(jīng)典的分類網(wǎng)絡(luò)作為預(yù)訓(xùn)練模型，而是基于提取到的缺陷MER區(qū)域數(shù)據(jù)重新開始訓(xùn)練，這樣可以極大地減少模型訓(xùn)練時(shí)間，同時(shí)本文提出的緊湊CNN模型結(jié)構(gòu)緊湊，網(wǎng)絡(luò)規(guī)模較小，從而大大縮短了分類時(shí)間。與經(jīng)典的分類網(wǎng)絡(luò)如Google-Net和ResNet相比，在保證分類準(zhǔn)確率的同時(shí)，極大地減少了模型訓(xùn)練時(shí)間和分類時(shí)間，更加適用于鋼軌表面缺陷的實(shí)時(shí)檢測(cè)。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)配置

實(shí)驗(yàn)配置對(duì)最終的實(shí)驗(yàn)結(jié)果有重要的影響，本節(jié)將詳細(xì)地描述實(shí)驗(yàn)需要的數(shù)據(jù)集、重要的參數(shù)設(shè)置以及實(shí)驗(yàn)平臺(tái)，下面將對(duì)以上內(nèi)容進(jìn)行具體闡述：

（1）數(shù)據(jù)集。在深度學(xué)習(xí)中，數(shù)據(jù)集的選擇是一個(gè)關(guān)鍵環(huán)節(jié)，將直接影響到模型訓(xùn)練的效果。為了解決鋼軌表面缺陷的分割問題，本文建立了一個(gè)較為龐大的具有語(yǔ)義分割標(biāo)注的鋼軌表面缺陷數(shù)據(jù)集。首先利用圖像采集模塊對(duì)不同場(chǎng)景下的鋼軌進(jìn)行采集，然后利用目標(biāo)區(qū)域定位模塊提取鋼軌表面區(qū)域圖像，最后結(jié)合專家經(jīng)驗(yàn)，通過人工的方式對(duì)圖像中的鋼軌缺陷進(jìn)行逐一篩選、分類，并利用Photoshop軟件進(jìn)行標(biāo)注。

本文選取600幅鋼軌表面缺陷圖像作為原始缺陷圖像，這些圖像覆蓋了不同光照、不同類型的鋼軌。由于攝像頭采集到的圖像為4 096×4 096高分辨率圖像，無(wú)法直接作為神經(jīng)網(wǎng)絡(luò)的輸入，因此需要對(duì)原始的圖像進(jìn)行裁剪，裁剪后的圖像大小為512×512，經(jīng)過裁剪，存在一些不包含缺陷的圖像，需要進(jìn)一步進(jìn)行過濾，經(jīng)過裁剪和過濾后，數(shù)據(jù)集的總量為15 000。采用專業(yè)的圖像處理軟件Photoshop對(duì)上述圖像進(jìn)行標(biāo)注，利用不同顏色繪圖筆刷對(duì)不同類型缺陷進(jìn)行覆蓋，同時(shí)為了獲得缺陷的全局信息，畫筆的寬度需比缺陷寬度多5～8個(gè)像素。

為了更好地訓(xùn)練網(wǎng)絡(luò)模型，增加數(shù)據(jù)集的代表性，本文將RSSD數(shù)據(jù)集按照上述步驟進(jìn)行篩選標(biāo)注，作為增廣數(shù)據(jù)集添加到本文的表面缺陷數(shù)據(jù)集中。最終得到的數(shù)據(jù)集中包含16 000幅圖像，尺寸為512×512，將其中12 000幅圖像作為訓(xùn)練數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，將剩余的4 000幅圖像作為測(cè)試數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)模型測(cè)試。

（2）實(shí)驗(yàn)平臺(tái)。本文采用的實(shí)驗(yàn)平臺(tái)配置如下：GPU采用Intel Corei7-7700HQ四核處理器，主頻2.80 GHz；內(nèi)存為32 GB；GPU采用NVIDIA GTX-2080 Ti；操作系統(tǒng)為Ubuntu 16.04；開發(fā)環(huán)境采用CUDA10.0，網(wǎng)絡(luò)框架采用Pytorch1.0。

（3）參數(shù)設(shè)置。對(duì)于語(yǔ)義分割網(wǎng)絡(luò)，對(duì)第一個(gè)自編碼網(wǎng)絡(luò)進(jìn)行30個(gè)epoch的訓(xùn)練，學(xué)習(xí)率設(shè)置為0.000 1，第二個(gè)自編碼網(wǎng)絡(luò)以同樣的學(xué)習(xí)率進(jìn)行20個(gè)epoch的訓(xùn)練，兩個(gè)自編碼網(wǎng)絡(luò)的批處理大?。╞atchsize）都設(shè)置為2。對(duì)于緊湊CNN網(wǎng)絡(luò)，使用均值為0，標(biāo)準(zhǔn)差為0.001的高斯分布函數(shù)對(duì)每層權(quán)值進(jìn)行初始化，batchsize設(shè)置為8，初始學(xué)習(xí)率設(shè)置為0.000 1，動(dòng)量設(shè)置為0.9，權(quán)重衰減設(shè)置為5×10－5，最大迭代次數(shù)設(shè)置為30 000。

3.2 缺陷分割實(shí)驗(yàn)對(duì)比

為了評(píng)估本文提出的語(yǔ)義分割網(wǎng)絡(luò)在鋼軌缺陷分割方面的性能，選用了閾值分割算法[13]和全卷積神經(jīng)網(wǎng)絡(luò)FCN[14]進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖15所示。由圖15可知，Ostu閾值分割算法容易過度檢測(cè)，導(dǎo)致大量的背景噪聲被當(dāng)作缺陷進(jìn)行分割；FCN網(wǎng)絡(luò)對(duì)于明顯的規(guī)則缺陷檢測(cè)效果較好，但對(duì)于擦傷、疤痕等不規(guī)則缺陷，容易出現(xiàn)漏檢或檢測(cè)不全等現(xiàn)象，不能分割出完整的缺陷區(qū)域。而本文提出的語(yǔ)義分割網(wǎng)絡(luò)模型對(duì)于不同場(chǎng)景下的鋼軌表面缺陷圖像，均具有較好的分割效果，具有較強(qiáng)的魯棒性。

圖15 不同方法缺陷分割實(shí)驗(yàn)結(jié)果

為了更加客觀、科學(xué)評(píng)價(jià)這三種算法的缺陷分割效果，選擇像素精度（PA）和交并比（IoU）兩項(xiàng)指標(biāo)對(duì)三種算法的分割結(jié)果進(jìn)行定量分析，PA定義如式（10）所示：

其中，k為類型總數(shù)，pij為類型標(biāo)簽為i的像素預(yù)測(cè)類型為j，當(dāng)i=j時(shí)，表示預(yù)測(cè)結(jié)果正確的像素點(diǎn)，當(dāng)i≠j表示預(yù)測(cè)結(jié)果錯(cuò)誤的像素點(diǎn)。

IoU定義如式（11）所示：

G T表示真實(shí)掩碼，P M表示預(yù)測(cè)掩碼。對(duì)比結(jié)果如表2所示。由表2可知，本文的語(yǔ)義分割網(wǎng)絡(luò)模型的PA和IoU值均高于閾值分割和FCN網(wǎng)絡(luò)，表明本文算法的缺陷分割性能更加優(yōu)越，更符合工業(yè)檢測(cè)的需求。

表2 不同方法下的PA值和IoU值 %

3.3 缺陷分類實(shí)驗(yàn)對(duì)比

為了定量評(píng)估緊湊CNN網(wǎng)絡(luò)模型的分類性能，本文將其與經(jīng)典的分類網(wǎng)絡(luò)模型GoogleNet[15]和ResNet[16]進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同方法下的正確率和檢測(cè)時(shí)間

由表3可知，本文提出的緊湊CNN模型分類正確率略高于GoogleNet模型，略低于ResNet模型，三種網(wǎng)絡(luò)模型的分類正確率基本相同，都達(dá)到90%以上，滿足工業(yè)缺陷分類的要求，但本文的模型分類時(shí)間遠(yuǎn)遠(yuǎn)小于其余兩種模型，由此可得，緊湊CNN模型在保證分類準(zhǔn)確率的同時(shí)，極大地減少了模型訓(xùn)練時(shí)間和分類時(shí)間，更加適用于鋼軌表面缺陷的實(shí)時(shí)檢測(cè)。

3.4 系統(tǒng)實(shí)驗(yàn)

由于現(xiàn)有的鐵路中不存在同時(shí)包含疤痕、孔洞和擦傷缺陷的連續(xù)路段，因此分別選擇不同的線路，利用本文的系統(tǒng)以不同速度通過缺陷區(qū)域，并對(duì)檢測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)。其中疤痕、孔洞和擦傷缺陷均存在20處，統(tǒng)計(jì)結(jié)果如表4所示。

表4 鋼軌表面缺陷檢測(cè)結(jié)果

實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)的系統(tǒng)在速度不超過200 km/h時(shí)，檢測(cè)到了全部60處缺陷，檢測(cè)效果良好，在缺陷分類時(shí)，僅有一處擦傷缺陷誤分為疤痕缺陷，其余缺陷全部分類正確，檢測(cè)效果極為理想。但在超過200 km/h時(shí)，由于采集圖像的質(zhì)量嚴(yán)重下降，導(dǎo)致出現(xiàn)大量誤檢和漏檢現(xiàn)象。我國(guó)列車的常速行駛速度一般在100～160 km/h，因此本文的系統(tǒng)滿足我國(guó)的實(shí)際需求，可以安裝在大部分列車上進(jìn)行鋼軌表面缺陷檢測(cè)，而且單幅圖像的平均處理時(shí)間達(dá)到245.61 ms，實(shí)現(xiàn)了對(duì)鋼軌表面缺陷的實(shí)時(shí)檢測(cè)。

4 結(jié)束語(yǔ)

本文構(gòu)建了一個(gè)基于語(yǔ)義分割的的鋼軌表面缺陷實(shí)時(shí)檢測(cè)系統(tǒng)，設(shè)計(jì)了一種帶有LED輔助光源和遮光罩的圖像采集裝置，訓(xùn)練了一種基于CASAE結(jié)構(gòu)的輕量型語(yǔ)義分割網(wǎng)絡(luò)模型和一種緊湊CNN網(wǎng)絡(luò)模型對(duì)缺陷實(shí)時(shí)進(jìn)行識(shí)別分類。將本文的系統(tǒng)進(jìn)行現(xiàn)場(chǎng)實(shí)驗(yàn)，驗(yàn)證了系統(tǒng)對(duì)于鋼軌表面缺陷檢測(cè)的有效性，其檢測(cè)時(shí)間和檢測(cè)準(zhǔn)確率均滿足工業(yè)檢測(cè)的需求，同時(shí)，系統(tǒng)設(shè)計(jì)了智能化的人機(jī)交互界面，極大地滿足了鐵路維護(hù)人員的檢測(cè)需求，可以在一定程度上替代人工對(duì)鋼軌表面進(jìn)行檢測(cè)。

由于時(shí)間和實(shí)驗(yàn)條件的制約，本文構(gòu)建的系統(tǒng)只是軌道表面缺陷檢測(cè)自動(dòng)化的初步實(shí)現(xiàn)，仍存在一些問題需要進(jìn)一步進(jìn)行研究，例如數(shù)據(jù)集的圖像數(shù)量較少，模型的學(xué)習(xí)能力還存在一定局限性，數(shù)據(jù)集的規(guī)模還有待進(jìn)一步提高；同時(shí)對(duì)于有遮擋的鋼軌表面無(wú)法進(jìn)行有效檢測(cè)，這些都是下一步需要特別關(guān)注的研究方向。