俞軍燕 黃皓冉 楊 毅 邢宗義

(1.廣州地鐵集團(tuán)有限公司， 510335， 廣州； 2.南京理工大學(xué)自動(dòng)化學(xué)院， 210094， 南京∥第一作者， 高級(jí)工程師)

隨著我國(guó)列車運(yùn)營(yíng)速度的不斷提高，對(duì)列車運(yùn)行安全的要求也不斷提高。軌道異物檢測(cè)是保證軌道線路安全運(yùn)營(yíng)的一項(xiàng)重要措施，對(duì)其進(jìn)行研究具有重要意義[1-2]。由于異物侵限事件的發(fā)生具有突發(fā)性、無(wú)規(guī)律可循及不可預(yù)測(cè)等特點(diǎn)，而人工巡檢等傳統(tǒng)方法成本高且可靠性低，因此國(guó)內(nèi)外提出了眾多軌道異物侵限的檢測(cè)方法。根據(jù)原理的不同，軌道異物侵限檢測(cè)方法可分為接觸式和非接觸式兩種[3]。接觸式異物檢測(cè)方法主要使用雙電網(wǎng)傳感器技術(shù)和光纖光柵傳感器技術(shù)構(gòu)成的防護(hù)網(wǎng)式檢測(cè)系統(tǒng)。非接觸式異物檢測(cè)方法主要采用激光、紅外、微波或機(jī)器視覺(jué)等方式。機(jī)器視覺(jué)技術(shù)因設(shè)備成本低、維護(hù)方便及可視化效果好等優(yōu)點(diǎn)，在非接觸式異物侵限檢測(cè)系統(tǒng)中得到越來(lái)越多的應(yīng)用。

相比于傳統(tǒng)的定點(diǎn)架設(shè)相機(jī)的軌道異物檢測(cè)系統(tǒng)，無(wú)人機(jī)巡檢具有成本低、易攜帶、檢測(cè)范圍廣及維護(hù)簡(jiǎn)單等特點(diǎn)?，F(xiàn)有的軌道異物檢測(cè)算法多對(duì)于定點(diǎn)架設(shè)相機(jī)拍攝的視頻圖像進(jìn)行研究，僅能處理靜態(tài)背景的視頻圖像。文獻(xiàn)[4]利用霍夫變換檢測(cè)感興趣的軌道區(qū)域，并利用輪廓提取方法對(duì)軌道區(qū)域進(jìn)行系統(tǒng)搜索；文獻(xiàn)[5]結(jié)合形態(tài)學(xué)處理和漸進(jìn)概率霍夫變換方法進(jìn)行軌道區(qū)域提取，并設(shè)計(jì)了1套結(jié)構(gòu)元素來(lái)增強(qiáng)提取效果；文獻(xiàn)[6]使用自適應(yīng)背景差分法提取入侵目標(biāo)，通過(guò)K-means算法對(duì)光流矢量的聚類進(jìn)行目標(biāo)識(shí)別；文獻(xiàn)[7]采用改進(jìn)的高斯混合模型，對(duì)軌道線路視頻進(jìn)行背景建模，并對(duì)背景像素與前景像素的貝葉斯分類進(jìn)行檢測(cè)；文獻(xiàn)[8]采用基于支持向量機(jī)與Kalman濾波的目標(biāo)分類及跟蹤算法對(duì)異物目標(biāo)進(jìn)行識(shí)別。上述算法均無(wú)法完全消除光照條件變化、相機(jī)抖動(dòng)等干擾因素對(duì)檢測(cè)結(jié)果的影響。

近年來(lái)，CNN(卷積神經(jīng)網(wǎng)絡(luò))在圖像分類、模式識(shí)別等領(lǐng)域取得了出色的成績(jī)。由于其特征提取能力強(qiáng)與魯棒性好，研究人員開(kāi)始嘗試使用其解決軌道異物檢測(cè)問(wèn)題。文獻(xiàn)[9]采用CNN模型對(duì)異物目標(biāo)進(jìn)行快速特征提取，能夠較好地提取不同光照條件下物體的特征信息，從而消除光照條件變化、相機(jī)抖動(dòng)等干擾因素對(duì)檢測(cè)結(jié)果的影響，證實(shí)了CNN方法的可行性。但由于該方法采用手工劃定檢測(cè)范圍，仍無(wú)法處理無(wú)人機(jī)拍攝的動(dòng)態(tài)背景視頻圖像。

針對(duì)現(xiàn)有軌道異物檢測(cè)算法的不足，本文提出了一種基于CNN的航拍視頻軌道異物檢測(cè)方法。該方法首先根據(jù)軌道特有直線特征，使用邊緣檢測(cè)、直線檢測(cè)等算法提取待檢測(cè)的軌道區(qū)域；然后使用改進(jìn)的MobileNet CNN模型與視頻多幀關(guān)聯(lián)算法對(duì)提取的軌道區(qū)域進(jìn)行檢測(cè)，實(shí)現(xiàn)對(duì)航拍視頻圖像的軌道異物檢測(cè)。本方法總體流程如圖1所示。

1 軌道區(qū)域提取

由于航拍視頻圖像視場(chǎng)較大、信息復(fù)雜且軌道安全界限在視頻圖像中的位置不固定，因此難以直接使用CNN模型對(duì)原始圖像進(jìn)行異物檢測(cè)。本文針對(duì)這一問(wèn)題，對(duì)原始圖像進(jìn)行處理，自動(dòng)劃定軌道安全界限，篩選出有用的完整軌道區(qū)域。包括Canny邊緣檢測(cè)、概率hough變換、設(shè)置軌道區(qū)域界限及透視變換。

1.1 Canny邊緣檢測(cè)

Canny邊緣檢測(cè)算法是一種多級(jí)檢測(cè)算法，不易受噪聲干擾，對(duì)于弱邊緣檢測(cè)效果較好，因此，本文采用該算法進(jìn)行圖像邊緣檢測(cè)。該算法主要包括高斯平滑濾波、計(jì)算梯度幅值和方向、對(duì)梯度幅值進(jìn)行非極大值抑制、雙閾值算法檢測(cè)與連接邊緣等4個(gè)步驟。本文雙閾值算法高閾值設(shè)為120，低閾值設(shè)為70。Canny邊緣檢測(cè)結(jié)果如圖2所示。

1.2 概率hough變換

Hough變換是一種使用表決原理的直線檢測(cè)算法，其基本原理是通過(guò)點(diǎn)線的對(duì)偶性，將源圖像上的點(diǎn)影射到用于累加的參數(shù)空間，把原始圖像中給定直線的檢測(cè)問(wèn)題轉(zhuǎn)化為尋找參數(shù)空間中的峰值問(wèn)題。其變換公式如下：

ρ=xcosθ+ysinθ

(1)

式中：

(x,y)——圖像坐標(biāo)系中點(diǎn)的坐標(biāo)；

ρ、θ——參數(shù)空間中的對(duì)應(yīng)參數(shù)。

然而傳統(tǒng)Hough變換計(jì)算量較大，檢測(cè)速度較慢，因此，本文使用概率Hough變換進(jìn)行直線檢測(cè)。概率Hough變換是在Hough變換的基礎(chǔ)上，對(duì)邊緣圖像上的前景點(diǎn)進(jìn)行隨機(jī)采樣，在變換后形成的參數(shù)空間中進(jìn)行投票，當(dāng)累加值大于閾值時(shí)即認(rèn)為存在直線。該算法不像Hough變換對(duì)全部邊緣點(diǎn)進(jìn)行計(jì)算，而是僅抽取部分邊緣點(diǎn)進(jìn)行計(jì)算，因此減少了計(jì)算量，提升了算法速率。本文設(shè)定累加閾值為100。概率Hough變換結(jié)果如圖3所示。其中，圖3 a)為圖像中只包含單條軌道的檢測(cè)結(jié)果，圖3 b)為圖像中包含多條軌道的檢測(cè)結(jié)果。從圖3可見(jiàn)，由于軌道曲率變化、周圍碎石及光線變化等的干擾，檢測(cè)結(jié)果中軌道被分為了多條線段，且檢測(cè)結(jié)果中包含了較多的干擾線段，因此還需作進(jìn)一步處理。

1.3 設(shè)置軌道區(qū)域界限

為了提取完整的軌道區(qū)域，首先需將被分割的多條線段進(jìn)行合并。本文方法中兩條線段是否需要被合并，主要取決于3個(gè)條件：兩條線段中最靠近的兩個(gè)端點(diǎn)間的橫向距離小于閾值dx，縱向距離小于閾值dy，以及兩條線段的斜率之差小于閾值kt。僅當(dāng)兩條線段滿足上述3個(gè)條件時(shí)，兩條線段才會(huì)合并，合并后的線段為兩條線段中距離最遠(yuǎn)的兩個(gè)端點(diǎn)間的連線。

根據(jù)軌道必為連續(xù)的長(zhǎng)直線，對(duì)合并后的線段進(jìn)行篩選，保留長(zhǎng)度大于閾值L的線段。對(duì)所有保留的線段進(jìn)行配對(duì)，從左向右依次將線段與其右側(cè)斜率之差小于kt的最鄰近線段進(jìn)行匹配，提取兩條線段間距離在[t1,t2]內(nèi)的線段，根據(jù)軌道特有直線特征判斷所提取線段關(guān)系，確定相應(yīng)的軌道位置。

確定圖像中相應(yīng)軌道位置后，根據(jù)圖像平面的軌道區(qū)域?qū)挾?，將各軌道位置的左、右邊界各向外擴(kuò)展1個(gè)軌道寬度，即可得到待檢測(cè)的軌道區(qū)域界限。

1.4 透視變換

無(wú)人機(jī)飛行過(guò)程中易受到環(huán)境因素干擾，無(wú)法確保拍攝的軌道區(qū)域?yàn)榫匦螀^(qū)域。如圖3 a)所示的軌道區(qū)域即為梯形區(qū)域，而CNN訓(xùn)練與測(cè)試的輸入均為矩形圖像。因此，需使用透視變換將軌道區(qū)域變換為矩形區(qū)域。

經(jīng)上述步驟，即可得到有用且完整的軌道區(qū)域圖像。軌道區(qū)域提取示例如圖4所示。

2 基于改進(jìn)的MobileNet模型的軌道異物檢測(cè)

2.1 改進(jìn)的MobileNet模型

CNN是當(dāng)前圖像理解領(lǐng)域的研究熱點(diǎn)，近年來(lái)廣泛應(yīng)用于模式識(shí)別、圖像分類等領(lǐng)域。該模型具有結(jié)構(gòu)簡(jiǎn)單、魯棒性強(qiáng)、圖像旋轉(zhuǎn)與平移時(shí)高度不變性等優(yōu)點(diǎn)。常用的網(wǎng)絡(luò)模型有AlexNet、VGGNet[10]、GoogLeNet、ResNet、MobileNet[11]等。其中，MobileNet是一種以VGGNet為基礎(chǔ)，使用深度可分離卷積替換標(biāo)準(zhǔn)卷積的輕量化網(wǎng)絡(luò)模型。其計(jì)算量與參數(shù)數(shù)量大幅度減少，適用于移動(dòng)和嵌入式設(shè)備。

由于MobileNet理論模型與在軌道線路場(chǎng)景實(shí)際應(yīng)用之間具有一定差異，將該模型直接應(yīng)用于軌道異物檢測(cè)存在較多問(wèn)題，且檢測(cè)效果不佳。首先，由于模型激活函數(shù)大量使用ReLU(修正線性單元)函數(shù)，對(duì)于軌道異物檢測(cè)這類背景相似度較高的場(chǎng)景，在訓(xùn)練過(guò)程中易使過(guò)多神經(jīng)元死亡，影響模型檢測(cè)效果且收斂速度較慢。其次，異物的大小形態(tài)各異，由于模型僅使用3×3小尺寸卷積核，前幾層網(wǎng)絡(luò)的局部感受野也有限，模型難以提取較好的特征，影響模型檢測(cè)效果。此外，本文中軌道異物檢測(cè)只關(guān)注軌道區(qū)域內(nèi)是否包含異物，屬于二分類問(wèn)題，而MobileNet模型為1 000分類網(wǎng)絡(luò)模型，原分類網(wǎng)絡(luò)對(duì)這類相似度較高的二分類問(wèn)題擬合效果不好，且自制數(shù)據(jù)集的圖片數(shù)量遠(yuǎn)少于原分類網(wǎng)絡(luò)所需的圖片數(shù)量，難以較好地訓(xùn)練原分類網(wǎng)絡(luò)。

本文以MobileNet網(wǎng)絡(luò)模型為基礎(chǔ)，設(shè)計(jì)了一種用于軌道異物檢測(cè)的改進(jìn)MobileNet網(wǎng)絡(luò)模型，其結(jié)構(gòu)如圖5所示。

具體改進(jìn)方法如下：針對(duì)MobileNet模型中過(guò)多神經(jīng)元死亡的問(wèn)題，本文使用ELU(指數(shù)線性單元)函數(shù)替代ReLU函數(shù)，同時(shí)在步長(zhǎng)為2的深度卷積層后加入dropout層穩(wěn)定模型進(jìn)行訓(xùn)練，加速模型收斂。ELU函數(shù)如下所示：

(2)

式中：

a——梯度系數(shù);

x——輸入變量。

相比于ReLU函數(shù)，ELU函數(shù)可以將激活單元的輸出均值向0逼近，減少偏移效應(yīng)進(jìn)而使梯度接近于自然梯度，從而修正數(shù)據(jù)分布，防止出現(xiàn)過(guò)多神經(jīng)元死亡，提升模型的收斂速度與訓(xùn)練效果。

針對(duì)MobileNet模型前幾層網(wǎng)絡(luò)的局部感受野有限的問(wèn)題，本文使用擴(kuò)張率為2、步長(zhǎng)為1的空洞卷積替換第1層步長(zhǎng)為2的標(biāo)準(zhǔn)卷積，并將第2層深度可分離卷積中的深度卷積的步長(zhǎng)改為2，以適應(yīng)后幾層深度可分離卷積層輸入圖像的分辨率。空洞卷積相比于標(biāo)準(zhǔn)卷積，能夠在不降低分辨率的情況下擴(kuò)大感受野，以捕獲更多的多尺度上下文信息，且不會(huì)增加參數(shù)數(shù)量與計(jì)算量。加入空洞卷積后可有效提升前幾層網(wǎng)絡(luò)的感受野范圍，提升模型特征的提取效果，提高模型的檢測(cè)效果。

針對(duì)MobileNet模型分類網(wǎng)絡(luò)訓(xùn)練效果差的問(wèn)題，本文使用SVM分類器替換由全連接層組成的原分類網(wǎng)絡(luò)。SVM分類器是一種二分類模型，其學(xué)習(xí)策略為間隔最大化，可形式化為一個(gè)求解凸二次規(guī)劃的最優(yōu)化算法。該分類器對(duì)于小樣本訓(xùn)練集效果較好，且具有較好的魯棒性。因此，本文使用SVM分類器，以適應(yīng)自制數(shù)據(jù)集圖片數(shù)量及類別數(shù)量，防止模型過(guò)擬合，提升模型訓(xùn)練效果。

2.2 視頻多幀關(guān)聯(lián)

視頻多幀關(guān)聯(lián)是指根據(jù)視頻的連續(xù)性，剔除斷續(xù)出現(xiàn)的單幀檢測(cè)結(jié)果的虛假檢測(cè)目標(biāo)，從而有效降低視頻檢測(cè)的虛警率。本文利用視頻幀間相關(guān)性對(duì)單幀圖像軌道異物檢測(cè)結(jié)果做進(jìn)一步處理，具體為：任取連續(xù)的3幀圖像，若第k幀與第k+2幀圖像的檢測(cè)結(jié)果均為無(wú)異物，而第k+1幀圖像的檢測(cè)結(jié)果為有異物，則判定第k+1幀圖像的檢測(cè)結(jié)果有誤，需對(duì)k+1幀圖像的檢測(cè)結(jié)果進(jìn)行修正。同時(shí)，根據(jù)異物在視頻中位置的連續(xù)性，通過(guò)連續(xù)N幀檢測(cè)結(jié)果判斷軌道區(qū)域是否存在異物。當(dāng)連續(xù)N幀圖像均檢測(cè)到有異物時(shí)，判定軌道區(qū)域存在異物。

3 試驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與模型訓(xùn)練

本文使用無(wú)人機(jī)在某段軌道線路采集共10段包含人、樹(shù)枝、木板、紙盒等異物的航拍視頻，相機(jī)的分辨率為1 280像素×720像素，無(wú)人機(jī)飛行高度為4～6 m。對(duì)其中4段視頻進(jìn)行單幀拆分，得到5 900張?jiān)紙D像。對(duì)原始圖像進(jìn)行軌道區(qū)域提取并對(duì)提取后的圖像進(jìn)行人工標(biāo)注，之后使用翻轉(zhuǎn)、平移、改變亮度與對(duì)比度等操作進(jìn)行擴(kuò)充，最終建立訓(xùn)練驗(yàn)證集的圖片數(shù)量為11 000張：訓(xùn)練集的圖片數(shù)量為8 800張，驗(yàn)證集的圖片數(shù)量為2 200張。其余6段視頻用于測(cè)試。

試驗(yàn)使用Tensorflow神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架，以Anaconda4.5.11的Spyder(Python3.7)作為仿真平臺(tái)，電腦配置的CPU(中央處理器)為I5-7600 3.5 GHz、16 GB內(nèi)存、GPU(圖形處理器)為NVIDIA GTX1050，使用Numpy、Tensorflow1.13.1、Keras 2.2.4等軟件，搭建改進(jìn)后的MobileNet網(wǎng)絡(luò)模型并使用自制樣本數(shù)據(jù)集對(duì)其進(jìn)行訓(xùn)練。訓(xùn)練參數(shù)設(shè)置為：dropout層系數(shù)為0.2；ELU函數(shù)系數(shù)為0.1；使用隨機(jī)梯度下降法，初始學(xué)習(xí)率為0.01，學(xué)習(xí)衰減率為0.000 1，動(dòng)量參數(shù)為0.99。改進(jìn)后的MobileNet網(wǎng)絡(luò)模型訓(xùn)練損失函數(shù)曲線如圖6所示。

3.2 軌道區(qū)域提取效果評(píng)估

本文軌道區(qū)域提取方法輸入圖像為1 280像素×720像素的彩色圖像。試驗(yàn)參數(shù)設(shè)置為：橫向距離閾值dx=10像素，縱向距離閾值dy=25像素；兩條線段的斜率之差閾值kt=0.1，線段長(zhǎng)度閾值L=100像素；單條軌道場(chǎng)景線段間距離范圍t1=100像素，t2=180像素；多條軌道場(chǎng)景線段間距離范圍t1=40像素，t2=120像素。軌道區(qū)域提取結(jié)果如圖7所示。

從圖7中可見(jiàn)，對(duì)于包含單條軌道與多條軌道的航拍圖像，該算法均能將圖像中的所有軌道區(qū)域完整地提取出來(lái)。因此，可將提取的軌道區(qū)域圖像直接送入CNN進(jìn)行檢測(cè)。

3.3 軌道異物檢測(cè)效果評(píng)估

為驗(yàn)證本方法的有效性，使用檢測(cè)率與虛警率作為精度評(píng)價(jià)標(biāo)準(zhǔn)，對(duì)視頻檢測(cè)結(jié)果進(jìn)行定量評(píng)價(jià)。檢測(cè)率RD與虛警率RF的計(jì)算公式分別為：

(3)

(4)

式中：

Ncorrect——檢測(cè)正確的異物數(shù)目；

Nwrong——檢測(cè)錯(cuò)誤的異物數(shù)目；

Nall,v——視頻中的異物總數(shù)；

Nall,c——檢測(cè)到的異物總數(shù)。

3.3.1 MobileNet模型各改進(jìn)部分有效性分析

為了對(duì)本文提出的各改進(jìn)部分的作用進(jìn)行評(píng)價(jià)，本文以Mobile Net網(wǎng)絡(luò)模型為基礎(chǔ)對(duì)各改進(jìn)部分性能進(jìn)行有效性分析，檢測(cè)結(jié)果如表1所示。表1中，Mobile Net表示基礎(chǔ)網(wǎng)絡(luò)模型，E表示使用ELU函數(shù)替代ReLU函數(shù)，D表示使用空洞卷積，S表示使用SVM分類器替換全連接層。

表1 MobileNet模型各改進(jìn)部分檢測(cè)結(jié)果對(duì)比

從表1中可見(jiàn)，各改進(jìn)部分能夠有效地提升模型檢測(cè)效果，提高模型的檢測(cè)率，降低模型的虛警率。

3.3.2 軌道異物檢測(cè)結(jié)果

使用VGG16模型、Mobile Net模型及本文改進(jìn)的模型分別對(duì)6段測(cè)試視頻進(jìn)行檢測(cè)。其中，VGG16模型的分類網(wǎng)絡(luò)中全連接層的神經(jīng)元數(shù)由4 096改為512，以適應(yīng)數(shù)據(jù)集圖片數(shù)量。視頻多幀關(guān)聯(lián)參數(shù)N為6。軌道異物檢測(cè)結(jié)果如表2所示。表2中，VGG16S模型表示VGG16模型的分類網(wǎng)絡(luò)由全連接層替換為SVM分類器。本文方法檢測(cè)效果如圖8所示。其中，safe表示檢測(cè)結(jié)果為軌道區(qū)域無(wú)異物，danger表示檢測(cè)結(jié)果為軌道區(qū)域存在異物。

表2 軌道異物檢測(cè)結(jié)果

從表2中可見(jiàn)，本文模型的RD與RF均優(yōu)于VGG16模型和MobileNet模型，且模型參數(shù)數(shù)量也均低于VGG16模型和MobileNet模型。從圖8中可見(jiàn)，本文方法能夠?qū)π螒B(tài)、大小各異的多類型異物進(jìn)行有效檢測(cè)。

3.3.3 軌道異物誤檢結(jié)果分析

本文方法誤檢結(jié)果如圖9所示。從圖9 a)中可見(jiàn)，當(dāng)木板剛進(jìn)入視場(chǎng)時(shí)，由于其成像面積較小，且其特征與軌道枕木相似，導(dǎo)致檢測(cè)結(jié)果出現(xiàn)漏檢。從圖9 b)和圖9 c)中可見(jiàn)，由于圖9 b)中左上角部分軌道的干擾，軌道區(qū)域提取算法僅提取了部分軌道區(qū)域，導(dǎo)致檢測(cè)結(jié)果出現(xiàn)誤檢。

4 結(jié)語(yǔ)

本文提出了一種基于CNN的航拍視頻軌道異物檢測(cè)方法。首先根據(jù)軌道特有直線特征，通過(guò)Canny邊緣檢測(cè)、概率Hough變換、線段合并與篩選、透視變換等操作提取待檢測(cè)的軌道區(qū)域；對(duì)MobileNet模型進(jìn)行改進(jìn)，在此基礎(chǔ)上對(duì)單幀圖像的軌道區(qū)域進(jìn)行檢測(cè)分類；利用視頻多幀關(guān)聯(lián)對(duì)單幀圖像軌道區(qū)域的檢測(cè)結(jié)果進(jìn)行優(yōu)化，得到最終的視頻軌道異物檢測(cè)結(jié)果;并對(duì)自制航拍數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試。試驗(yàn)結(jié)果表明，本文方法在該數(shù)據(jù)集上的RD為90.48%，RF為7.32%，能夠有效地對(duì)無(wú)人機(jī)拍攝的動(dòng)態(tài)背景視頻圖像進(jìn)行軌道異物檢測(cè)。在下一步工作中，將對(duì)軌道區(qū)域的提取方法做進(jìn)一步優(yōu)化；提高網(wǎng)絡(luò)模型對(duì)小目標(biāo)軌道區(qū)域的檢測(cè)精度，并添加新的軌道場(chǎng)景類型，提高網(wǎng)絡(luò)模型的泛化性能。