陳 永,盧晨濤,王 鎮(zhèn)
(蘭州交通大學(xué) 電子與信息工程學(xué)院,甘肅 蘭州 730070)
隨著我國(guó)鐵路建設(shè)的快速發(fā)展,鐵路的運(yùn)營(yíng)安全備受關(guān)注,異物侵入鐵路限界會(huì)嚴(yán)重影響高速鐵路行車安全[1]。在夜間等低照度環(huán)境下,鐵路區(qū)域不夠明顯,侵入鐵路異物的特征不夠清晰,給異物檢測(cè)造成極大困難。利用紅外成像系統(tǒng)抗干擾能力強(qiáng)、不易受惡劣環(huán)境影響的特點(diǎn),開展弱光環(huán)境下鐵路異物侵限檢測(cè),能夠有效彌補(bǔ)可見光設(shè)備在能見度低等條件下無(wú)法正常工作的不足,從而更好地保障鐵路的全天候異物侵限檢測(cè)。但不同于可見光彩色RGB圖像,紅外成像后存在信噪比低、色彩缺失、邊緣模糊、紋理細(xì)節(jié)缺失等問題[2],導(dǎo)致對(duì)紅外弱光環(huán)境下鐵路異物的檢測(cè)難度增大。
傳統(tǒng)的紅外目標(biāo)檢測(cè)研究方法主要有模板匹配法、變化魯棒性檢測(cè)、背景差分法等[3-5],大多依賴于先驗(yàn)特性及人工設(shè)計(jì)進(jìn)行目標(biāo)特征提取,檢測(cè)結(jié)果缺乏語(yǔ)義信息,對(duì)紅外場(chǎng)景目標(biāo)的檢測(cè)效果并不理想[6]。近年來(lái),隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法的興起,基于神經(jīng)網(wǎng)絡(luò)的紅外目標(biāo)檢測(cè)取得了較大進(jìn)展。Li等[7]針對(duì)鐵路不同異物場(chǎng)景,提出了一種改進(jìn)的單向多框檢測(cè)器 (Single Shot Multibox Detector,SSD)模型,通過(guò)添加多區(qū)域塊的特征提取機(jī)制增加局部上下文信息,提高了鐵路異物侵限中小目標(biāo)檢測(cè)的準(zhǔn)確率。Chen等[8]采用Faster R-CNN檢測(cè)算法獲得檢測(cè)候選區(qū)域,然后使用MOT的數(shù)據(jù)關(guān)聯(lián)方法將檢測(cè)到的對(duì)象關(guān)聯(lián)為軌跡,提升了紅外目標(biāo)的檢測(cè)穩(wěn)定性。趙興科等[9]設(shè)計(jì)使用輕量化網(wǎng)絡(luò)YOLOv3檢測(cè)網(wǎng)絡(luò)模型,采用MobileNetv2作為特征提取網(wǎng)絡(luò),并使用BASNet生成顯著圖,通過(guò)通道替換和像素級(jí)加權(quán)融合兩種方案將熱紅外圖像與其對(duì)應(yīng)的顯著圖進(jìn)行融合增強(qiáng),提升了交通場(chǎng)景下紅外目標(biāo)檢測(cè)模型的速度。
綜上所述,現(xiàn)有的深度學(xué)習(xí)方法大多采用多尺度特征提取方法,但存在不能充分利用層間語(yǔ)義信息的問題,導(dǎo)致在紅外弱光環(huán)境下鐵路異物侵限檢測(cè)時(shí)存在目標(biāo)特征提取不充分、檢測(cè)精度低的問題。針對(duì)以上問題,本文在Mask R-CNN檢測(cè)模型的基礎(chǔ)上,提出一種紅外弱光環(huán)境下的多尺度密集注意力鐵路異物檢測(cè)方法。首先,改進(jìn)設(shè)計(jì)密集連接的多尺度FPN金字塔特征提取網(wǎng)絡(luò),加強(qiáng)對(duì)特征圖的利用,提高紅外弱光環(huán)境下目標(biāo)的檢測(cè)精度。其次,引入CBAM注意力機(jī)制并改進(jìn)ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu),提高對(duì)弱光紅外目標(biāo)區(qū)域的關(guān)注度,突出紅外弱光環(huán)境下的目標(biāo)特征,使得弱光環(huán)境下鐵路異物檢測(cè)語(yǔ)義分割更準(zhǔn)確。然后,改進(jìn)k-means算法,重新預(yù)設(shè)錨點(diǎn)框大小,以提升錨點(diǎn)框?qū)δ繕?biāo)區(qū)域定位的準(zhǔn)確性。最后,采用鐵路紅外數(shù)據(jù)集及現(xiàn)場(chǎng)實(shí)驗(yàn)進(jìn)行算法性能測(cè)試,實(shí)驗(yàn)結(jié)果表明,本文方法在紅外弱光環(huán)境下可以更加準(zhǔn)確地檢測(cè)出鐵路異物,并實(shí)現(xiàn)了鐵路限界區(qū)域的準(zhǔn)確劃分,在主客觀評(píng)價(jià)方面均優(yōu)于對(duì)比方法。
弱光環(huán)境下紅外圖像對(duì)比度更低,紋理等細(xì)節(jié)信息缺乏,極易丟失目標(biāo)細(xì)節(jié)信息[10]。現(xiàn)有深度學(xué)習(xí)方法在紅外圖像目標(biāo)檢測(cè)時(shí),一般通過(guò)一系列卷積核提取圖像單尺度特征,比較適合紋理細(xì)節(jié)信息豐富的可見光圖像,在對(duì)紅外圖像進(jìn)行檢測(cè)時(shí),容易出現(xiàn)紅外圖像特征提取能力弱、檢測(cè)精度低等問題。為此本文在Mask R-CNN[11]檢測(cè)模型的基礎(chǔ)上,提出一種弱光環(huán)境下多尺度密集注意力的鐵路異物檢測(cè)方法,其整體網(wǎng)絡(luò)結(jié)構(gòu)見圖1。
圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)
首先通過(guò)本文提出的密集連接CBAM-ResNet-FPN特征提取網(wǎng)絡(luò),利用密集連接結(jié)構(gòu)充分提取特征信息,并結(jié)合注意力CBAM機(jī)制增強(qiáng)特征圖的有用信息,從而提高被檢測(cè)紅外目標(biāo)的關(guān)注度。然后,在區(qū)域建議網(wǎng)絡(luò)RPN中采用改進(jìn)k-means算法重新預(yù)設(shè)錨點(diǎn)框來(lái)提高對(duì)目標(biāo)區(qū)域建議的準(zhǔn)確性。最后,通過(guò)全連接層和全卷積網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)鐵路異物的語(yǔ)義分割及檢測(cè),從而達(dá)到對(duì)鐵路異物侵限檢測(cè)的目的。通過(guò)本文提出的方法,不但可以獲得鐵路異物檢測(cè)的高準(zhǔn)確率,而且還可以獲得目標(biāo)像素級(jí)的語(yǔ)義分割。
原始FPN與本文密集連接FPN對(duì)比見圖2。原始Mask R-CNN是一種在Faster R-CNN基礎(chǔ)上提出的掩碼型區(qū)域目標(biāo)檢測(cè)卷積神經(jīng)網(wǎng)絡(luò),采用多尺度金字塔FPN結(jié)構(gòu)進(jìn)行目標(biāo)特征提取,通過(guò)不同分支同時(shí)實(shí)現(xiàn)目標(biāo)檢測(cè)和目標(biāo)分割等任務(wù),見圖2(a)。然而金字塔特征層次法存在不能充分利用層間語(yǔ)義信息的缺點(diǎn),易導(dǎo)致小目標(biāo)對(duì)象漏檢[12]。同時(shí),原始FPN網(wǎng)絡(luò)對(duì)分辨率較低的紅外目標(biāo)圖像的輪廓和邊緣信息特征提取能力較弱,尤其是夜間紅外圖像目標(biāo)特征不夠明顯,導(dǎo)致特征提取困難,影響了鐵路異物檢測(cè)的準(zhǔn)確率,給高速鐵路行車安全監(jiān)控造成了巨大的隱患。因此,本文借鑒DenseNet[13]密集連接思想,通過(guò)建立不同特征層之間的連接關(guān)系,在FPN網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)實(shí)現(xiàn)了從低維特征到高維特征的密集強(qiáng)連接,如圖2(b)所示,以便更加充分利用特征圖信息。
圖2 原始FPN與本文密集連接FPN對(duì)比
在原始FPN中,如果所在特征圖位于l層,那么就會(huì)有1個(gè)自上而下的連接和1個(gè)對(duì)應(yīng)的橫向連接特征圖進(jìn)行融合,即
Xl=Hl+Xl-1
(1)
Xl=Hl+(X0+X1+…+Xl-1)
(2)
相比于原始FPN網(wǎng)絡(luò),本文采用密集連接和橫向連接進(jìn)行特征融合,圖2(b)中右側(cè)特征圖的輸入將由對(duì)應(yīng)的橫向連接和前面每一層的輸入得到,可以充分利用不同尺度的特征信息,從而將不同尺度特征間的信息進(jìn)行融合,更好地利用高層和底層的特征信息,更有利于獲得豐富準(zhǔn)確的特征圖。
夜間鐵路異物侵限檢測(cè)時(shí),由于物體的紅外輻射率差別不大,從而導(dǎo)致紅外弱光環(huán)境下紅外圖像細(xì)節(jié)不夠清楚[10]。為了提高弱光環(huán)境下目標(biāo)檢測(cè)的針對(duì)性,本文采用注意力機(jī)制抑制無(wú)用信息,而將檢測(cè)重心放在感興趣區(qū)域,有助于從弱光紅外圖像等復(fù)雜場(chǎng)景中迅速感知視覺顯著性目標(biāo)。為了更好地提取特征圖的空間信息和通道信息,將CBAM注意力機(jī)制[14]引入到Mask R-CNN的FPN特征提取網(wǎng)絡(luò)中,用于更好地對(duì)紅外圖像重要特征信息進(jìn)行提取。CBAM原理示意圖見圖3。首先將輸入的特征圖,通過(guò)通道注意力機(jī)制模塊,得到通道信息增強(qiáng)的通道注意力特征圖;然后將增強(qiáng)后的特征圖輸入到空間注意力機(jī)制模塊中,對(duì)空間域信息進(jìn)行相應(yīng)的變換,從而實(shí)現(xiàn)對(duì)關(guān)鍵信息的提取,最終得到信息增強(qiáng)的特征圖。
圖3 CBAM原理示意圖
采用CBAM機(jī)制對(duì)紅外圖像進(jìn)行顯著性特征檢測(cè)時(shí),需要定義中間層的特征圖F,F(xiàn)∈RC*H*W,其中C、W、H分別為特征圖的通道數(shù)、寬度、高度。首先CBAM將會(huì)推理得到一個(gè)一維的通道注意力權(quán)重MC∈RC*1*1,通過(guò)該值與輸入的特征圖相乘得到F′。然后CBAM繼續(xù)推斷出一個(gè)二維的空間注意力權(quán)重MS∈R1*H*W。最后利用F′與MS相乘得到最終的特征圖F″。計(jì)算過(guò)程為
F′=MC(F)?F
(3)
F″=MS(F′)?F′
(4)
為了說(shuō)明本文引入CBAM注意力模塊的效果,下面進(jìn)行加入CBAM注意力模塊后可視化熱力圖比較實(shí)驗(yàn),將注意力特征圖與輸入原圖進(jìn)行空間映射,得到相應(yīng)的注意力熱力圖。紅外注意力特征熱力圖對(duì)比效果見圖4。在熱力圖中越偏紅色說(shuō)明該區(qū)域?qū)τ谧罱K檢測(cè)結(jié)果的貢獻(xiàn)越大,藍(lán)色說(shuō)明越小。從圖4比較實(shí)驗(yàn)可以看出,本文結(jié)果明顯優(yōu)于未加注意力機(jī)制的結(jié)果,說(shuō)明通過(guò)本文方法增加注意力機(jī)制以后,對(duì)于夜間弱光環(huán)境下的鐵路被檢測(cè)區(qū)域和檢測(cè)目標(biāo)可以準(zhǔn)確地予以聚焦和關(guān)注,而且對(duì)于干擾等信息進(jìn)行了有效抑制,能夠有效提高對(duì)目標(biāo)通道和空間信息的聚焦能力。
圖4 紅外注意力特征熱力圖對(duì)比效果
弱光夜視環(huán)境下鐵路異物檢測(cè)時(shí),當(dāng)遠(yuǎn)距離成像后,紅外圖像背景強(qiáng)度一般很高,空域背景變化復(fù)雜,而要檢測(cè)的目標(biāo)強(qiáng)度相對(duì)而言較弱,容易淹沒在較強(qiáng)的背景雜波里,給目標(biāo)檢測(cè)帶來(lái)很大困難,傳統(tǒng)的級(jí)聯(lián)深度模型難以實(shí)現(xiàn)有效檢測(cè)[12]。為了充分提取待檢測(cè)紅外圖像的目標(biāo)特征,本文提出采用改進(jìn)的ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取,采用自下至上、密集連接、橫向連接等方法進(jìn)行特征提取網(wǎng)絡(luò)結(jié)構(gòu)連接,并在特征圖連接中間穿插注意力機(jī)制CBAM模塊進(jìn)行特征圖有用信息增強(qiáng)。改進(jìn)ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu)見圖5。
圖5 改進(jìn)ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu)
圖5中采用自下至上連接的方式逐層進(jìn)行特征提取,以便獲得更多的細(xì)節(jié)特征信息。首先得到低層邊緣等特征信息,然后再逐步得到較高層語(yǔ)義等特征信息。自下至上連接的方式采用ResNet作為骨干網(wǎng)絡(luò),由五部分構(gòu)成,對(duì)應(yīng)殘差模塊輸出表示為{C1,C2,C3,C4,C5}。其中每一層的分辨率不斷變?yōu)樵鹊?/2,分別對(duì)應(yīng)于下采樣的步長(zhǎng)為2、4、8、16、32,選擇C2、C3、C4、C5這4層信息作為FPN的特征圖進(jìn)行后續(xù)運(yùn)算。
在提取紅外圖像高層語(yǔ)義特征后,為了充分利用高層語(yǔ)義特征,采用密集連接將高層的語(yǔ)義特征也傳遞給底層特征,使得底層特征也具有較高語(yǔ)義信息,從而更加有效地利用特征圖。每層密集連接的輸入均匯集之前所有層的輸出,對(duì)前面每一層進(jìn)行上采樣融合。圖5中,C5通過(guò)CBAM注意力機(jī)制模塊增強(qiáng)有用特征信息,再經(jīng)過(guò)1×1的卷積整合通道數(shù)得到M5特征圖。M4特征信息由M5和對(duì)應(yīng)的融合了CBAM模塊的橫向連接信息融合得到,以此類推,M3特征信息由M4、M5的特征信息和對(duì)應(yīng)的融合了CBAM模塊的橫向連接信息融合得到,M2特征信息由M3、M4、M5的特征信息和對(duì)應(yīng)的融合了CBAM模塊的橫向連接信息融合得到。采用密集連接方式可以更加充分地利用高層和底層的特征信息,以便獲得特征信息更加準(zhǔn)確的特征圖。
最后,對(duì)自下而上生成的特征圖和密集連接生成的特征圖采用橫向連接進(jìn)行融合,并通過(guò)1×1的卷積操作通道降維,最終得到特征更豐富的多尺度信息特征圖。整個(gè)過(guò)程可以表示為
(5)
式中:f1×1()為1×1的卷積;fCBAM()為CBAM模塊處理;函數(shù)f2up()、f4up()、f8up()分別為2倍、4倍、8倍上采樣操作;⊕為對(duì)應(yīng)元素相加的融合操作。最后,為了消除上采樣的混疊效應(yīng)[15],對(duì)每個(gè)融合結(jié)果采用3×3的卷積核進(jìn)行卷積操作,從而得到最終的P2、P3、P4、P5層特征。
由于原始Mask R-CNN目標(biāo)邊界框預(yù)測(cè)時(shí)采用的是大小為{(128×128),(256×256),(512×512)}、長(zhǎng)寬比例為{(1∶1),(1∶2),(2∶1)}的9個(gè)錨點(diǎn)框,預(yù)訓(xùn)練采用的COCO數(shù)據(jù)集分類對(duì)象尺寸差異較大,而在鐵路異物侵限檢測(cè)中多以長(zhǎng)而窄的矩形為主,這就使得原始Mask R-CNN預(yù)選框會(huì)出現(xiàn)某一尺度未能有效利用的情況,因此本文采用k均值聚類算法對(duì)原始錨點(diǎn)框進(jìn)行改進(jìn)。
傳統(tǒng)k-means算法在類間相似性計(jì)算時(shí)一般采用歐氏距離度量,但在檢測(cè)算法中,像素級(jí)的歐式距離計(jì)算導(dǎo)致運(yùn)算量較大,且無(wú)法實(shí)現(xiàn)對(duì)目標(biāo)的有效語(yǔ)義分割。為了度量錨點(diǎn)框的相似性,可以通過(guò)計(jì)算錨點(diǎn)框與k-means聚類中心框的相似度進(jìn)行比較,當(dāng)錨點(diǎn)框與聚類中心框的形狀相似度越大時(shí),其共有相交的比例越大,該指標(biāo)可以用交并比IoU進(jìn)行衡量。交并比可以衡量錨點(diǎn)框和聚類框之間的重合程度,其值越大,表示錨點(diǎn)框與聚類中心框越相近。因此本文采用含有交并比的距離度量進(jìn)行聚類,其公式為
d(b,o)=1-IoU(b,o)
(6)
(7)
式中:bpred為預(yù)測(cè)框;btruth為實(shí)際框;d(b,o)為預(yù)測(cè)框b和聚類中心o之間的距離,其值的范圍在0~1之間。通過(guò)k-means算法對(duì)錨點(diǎn)框進(jìn)行重新優(yōu)化,得到適合鐵路異物侵限數(shù)據(jù)的預(yù)設(shè)錨點(diǎn)框,求得平均聚類結(jié)果為{(11,59)、(14,66)、(17,99)},{(38,67)、(50,98)、(60,190)},{(67,178)、(100,168)、(224,150)}。預(yù)設(shè)錨點(diǎn)框作用范圍比較見圖6。
圖6 預(yù)設(shè)錨點(diǎn)框作用范圍比較
從圖6可以看出,原始預(yù)設(shè)錨點(diǎn)框不能很好適應(yīng)鐵路異物圖像目標(biāo),鐵路區(qū)域錨框及遠(yuǎn)處行人錨點(diǎn)框均無(wú)法有效實(shí)現(xiàn)對(duì)于待檢測(cè)目標(biāo)的擬合,造成后期特征圖計(jì)算量增大,見圖6(a);而采用本文方法重新聚類后,可以看出錨點(diǎn)框比例大小符合鐵路異物圖像目標(biāo)的形狀特點(diǎn),較好地對(duì)被檢測(cè)對(duì)象進(jìn)行選擇,如圖6(b)所示,改進(jìn)后可以生成更優(yōu)的目標(biāo)候選區(qū)域。
損失函數(shù)設(shè)計(jì)與Mask R-CNN類似,包括分類損失Lclass、邊界框坐標(biāo)回歸損失Lbox、分割損失Lmask三部分[11]??倱p失函數(shù)L為
L=Lcalss+Lbox+Lmask
(8)
Lclass、Lbox定義為
(9)
(10)
掩碼損失函數(shù)為平均二值交叉熵?fù)p失函數(shù),計(jì)算公式為
(11)
所有侵入鐵路限界、妨礙鐵路系統(tǒng)安全正常運(yùn)行的物體均可視為侵限異物,包括行人、車輛、動(dòng)物、落石等。將上述異物類型收集形成鐵路異物檢測(cè)數(shù)據(jù)集。首先選取FLIR公司發(fā)布的紅外交通數(shù)據(jù)集中夜間紅外數(shù)據(jù)作為FLIR異物數(shù)據(jù)集,并利用紅外攝像機(jī)在鐵路現(xiàn)場(chǎng)實(shí)地拍攝夜間鐵路紅外圖像,使用labelme工具進(jìn)行圖片標(biāo)記,制作成弱光環(huán)境下鐵路數(shù)據(jù)集,共計(jì)6 500張圖片。將其中70%作為訓(xùn)練集,用于模型的訓(xùn)練;30%作為測(cè)試集,用于驗(yàn)證模型的泛化能力。夜間紅外數(shù)據(jù)集示例見圖7,包括FLIR數(shù)據(jù)集和本文現(xiàn)場(chǎng)拍攝制作的數(shù)據(jù)集。
圖7 夜間紅外數(shù)據(jù)集示例
為了驗(yàn)證本文算法的有效性,進(jìn)行對(duì)比實(shí)驗(yàn)。硬件配置為Intel(R) Core i7-9700K CPU@3.6 GHz,64.0 GB RAM,NVIDIA GeForce GTX 1660。模型訓(xùn)練時(shí),學(xué)習(xí)率設(shè)為0.001,batch-size=32,epoch=100。經(jīng)過(guò)兩次遷移訓(xùn)練:第一次在FLIR數(shù)據(jù)集上進(jìn)行訓(xùn)練,增強(qiáng)模型對(duì)紅外圖像目標(biāo)的識(shí)別定位能力;第二次在自制的夜間紅外鐵路數(shù)據(jù)集上進(jìn)行,增強(qiáng)模型對(duì)鐵路場(chǎng)景目標(biāo)檢測(cè)的魯棒性和泛化能力。本文模型在TensorBoard損失函數(shù)可視化結(jié)果訓(xùn)練變化見圖8。
從圖8可以看出,隨著訓(xùn)練周期的迭代,本文模型逐步趨于平穩(wěn)收斂。
圖8 本文模型損失函數(shù)變化
為了說(shuō)明本文方法的有效性,針對(duì)近景、遠(yuǎn)景小目標(biāo)、穿越鐵軌、遮擋、多目標(biāo)等弱光紅外圖像進(jìn)行鐵路異物侵限檢測(cè)實(shí)驗(yàn),并與文獻(xiàn)[7-9]以及原始Mask R-CNN[11]方法進(jìn)行對(duì)比。不同算法在弱光紅外鐵路場(chǎng)景下的檢測(cè)結(jié)果見圖9。圖9中對(duì)比算法檢測(cè)結(jié)果局部放大見圖10,為部分誤檢或漏檢的情況。
圖9 不同算法在弱光紅外鐵路場(chǎng)景下的檢測(cè)結(jié)果
圖10 對(duì)比算法檢測(cè)結(jié)果局部放大
圖9中五列分別為近景、遠(yuǎn)近景穿越鐵軌、遠(yuǎn)景小目標(biāo)、遮擋、多目標(biāo)等典型弱光鐵路異物侵限場(chǎng)景。從實(shí)驗(yàn)結(jié)果可以看出:對(duì)于近景和遠(yuǎn)近景穿越鐵軌,5種方法均能實(shí)現(xiàn)基本檢測(cè)功能。其中,文獻(xiàn)[7]采用改進(jìn)SSD的方法,通過(guò)添加多區(qū)域塊的特征提取機(jī)制增加局部上下文信息提高檢測(cè)精度,但在目標(biāo)框鐵路區(qū)域的選擇定位上沒有Faster R-CNN準(zhǔn)確,如圖9(b)中的第4幅,標(biāo)記3號(hào)與標(biāo)記4號(hào)目標(biāo)之間出現(xiàn)誤檢,局部放大圖見圖10(a)。文獻(xiàn)[8]采用Faster R-CNN在識(shí)別鐵軌時(shí)具有較高的精度,但在遮擋和遠(yuǎn)景多目標(biāo)檢測(cè)中出現(xiàn)了漏檢現(xiàn)象,如圖9(c)中的第4幅,標(biāo)記為2號(hào)的遮擋目標(biāo)未能有效檢測(cè),局部放大圖見圖10(b)。文獻(xiàn)[9]采用改進(jìn)YOLOv3的方法具有較好的檢測(cè)結(jié)果,但因?yàn)樵摲椒ú捎幂p量化網(wǎng)絡(luò)進(jìn)行紅外目標(biāo)檢測(cè),特征提取能力不足,導(dǎo)致其檢測(cè)準(zhǔn)確率低于文獻(xiàn)[8]Faster R-CNN方法;另外,YOLOv3在遠(yuǎn)景小目標(biāo)實(shí)驗(yàn)中出現(xiàn)了漏檢現(xiàn)象,如圖9(d)中的第3幅,標(biāo)記2號(hào)目標(biāo)之間出現(xiàn)漏檢,局部放大圖見圖10(c)。Mask R-CNN存在未能徹底對(duì)鐵路區(qū)域進(jìn)行分割的問題,如圖9(e)中第1幅中的近景行人,局部放大圖見圖10(d),以及第5幅中仍有大量鐵軌區(qū)域未能準(zhǔn)確進(jìn)行分割。本文算法相較于比較方法,具有更高的檢測(cè)精度,對(duì)出現(xiàn)的鐵路和行人都做到了準(zhǔn)確的識(shí)別;相較于原始Mask R-CNN檢測(cè)結(jié)果,本文算法的圖像邊緣掩膜處理效果更好,如圖9(f)第5幅所示。由此可見,本文方法能夠完整地實(shí)現(xiàn)對(duì)該鐵路區(qū)域的分割,同時(shí)具有更加準(zhǔn)確的掩膜處理能力。
為了驗(yàn)證本文算法對(duì)其他常見鐵路異物檢測(cè)的有效性,在紅外弱光環(huán)境下對(duì)常見鐵路異物(石頭、動(dòng)物、人和自行車)進(jìn)行了現(xiàn)場(chǎng)檢測(cè)實(shí)驗(yàn),檢測(cè)結(jié)果見圖11。從圖11中可以看出,本文算法在夜間弱光場(chǎng)景下能夠正確地劃分出鐵路限界區(qū)域,取得了良好的檢測(cè)效果。鐵路異物限界區(qū)域的劃分,對(duì)于保障行車安全具有重要的意義。其中,圖11(a)中對(duì)于并不明顯的石塊小目標(biāo)能夠?qū)崿F(xiàn)準(zhǔn)確的檢測(cè);圖11(b)中同樣對(duì)于動(dòng)物也可以準(zhǔn)確檢測(cè);圖11(c)中較好地對(duì)自行車和被遮擋的行人也做出了準(zhǔn)確的檢測(cè)。
圖11 常見鐵路異物檢測(cè)結(jié)果
為了進(jìn)一步驗(yàn)證本文算法在現(xiàn)實(shí)復(fù)雜鐵路場(chǎng)景應(yīng)用的有效性,選取了一段鐵路道口視頻進(jìn)行現(xiàn)場(chǎng)測(cè)試,紅外視頻測(cè)試結(jié)果見圖12。圖12中,待檢測(cè)場(chǎng)景環(huán)境復(fù)雜,存在較多隨機(jī)干擾因素,且紅外圖像中存在較多噪聲等影響。
圖12 紅外視頻測(cè)試結(jié)果
由圖12可見,本文算法能夠較好地檢測(cè)出鐵路區(qū)域,對(duì)該視頻序列中的鐵路區(qū)域能夠有效實(shí)現(xiàn)語(yǔ)義分割劃分,在夜間弱光環(huán)境下具有較好的檢測(cè)效果;對(duì)于視頻序列中出現(xiàn)的行人、汽車和農(nóng)用車輛等鐵路異物均取得了較好的檢測(cè)結(jié)果,如圖12(d)和圖12(e)所示,行人之間、車輛之間發(fā)生相互遮擋現(xiàn)象,本文方法均能有效檢出;圖12(c)中農(nóng)用車輛穿越鐵軌區(qū)域時(shí)也實(shí)現(xiàn)了準(zhǔn)確檢測(cè);圖12(j)中行人運(yùn)動(dòng)過(guò)程中使目標(biāo)尺度發(fā)生改變,而本文算法能夠?qū)δ繕?biāo)進(jìn)行準(zhǔn)確的檢測(cè)。以上實(shí)驗(yàn)表明:本文算法在弱光低照度復(fù)雜鐵路場(chǎng)景下,能夠?qū)崿F(xiàn)目標(biāo)的有效檢測(cè),具有較好的檢測(cè)結(jié)果。
為了評(píng)估本文算法的鐵路異物侵限檢測(cè)性能,分別計(jì)算不同算法在測(cè)試集上的精確率P、召回率R、精確率和召回率的調(diào)和平均數(shù)F1值、像素準(zhǔn)確率PA值。PA值越大,表示掩碼位置越準(zhǔn)確;精確率越高代表模型的誤檢率越低;召回率越高代表模型的漏檢率越低。不同算法在異物侵限測(cè)試集上的測(cè)試結(jié)果對(duì)比見表1。
表1 不同算法在異物侵限測(cè)試集上的測(cè)試結(jié)果對(duì)比
從表1可以看出,文獻(xiàn)[11]的Mask R-CNN算法在檢測(cè)精度方面僅低于本文方法,而高于Faster R-CNN、YOLOv3和SSD算法。在5種方法中,本文算法檢測(cè)精度最高,精確率較Mask R-CNN提高了3%左右,召回率提高了6%左右,目標(biāo)的檢測(cè)能力得到提升。此外,在像素準(zhǔn)確率方面,PA值提升了8%左右,掩膜的位置更加準(zhǔn)確。從以上定性和定量評(píng)價(jià)實(shí)驗(yàn)可以得出:本文具有較高的紅外目標(biāo)檢測(cè)精度,可以有效實(shí)現(xiàn)對(duì)弱光環(huán)境下鐵路異物及鐵路鋼軌區(qū)域的檢測(cè)。
在對(duì)不同比較方法性能對(duì)比分析后,為了驗(yàn)證不同模塊對(duì)本文模型的有效性,分別從模型空間大小、均值平均精度mAP、檢測(cè)時(shí)間指標(biāo)3個(gè)方面進(jìn)行消融實(shí)驗(yàn),以得到不同模塊對(duì)于本文模型重要性的定量分析。不同網(wǎng)絡(luò)模塊在紅外鐵路異物測(cè)試集上的測(cè)試結(jié)果對(duì)比見表2。
表2 不同網(wǎng)絡(luò)模塊在紅外鐵路異物測(cè)試集上的測(cè)試結(jié)果對(duì)比
從表2 測(cè)試結(jié)果對(duì)比可以看出:在基準(zhǔn)模型上僅嵌入CBAM模塊后,網(wǎng)絡(luò)模型大小增加6 MB,平均精度均值mAP提升4%左右,驗(yàn)證了CBAM模塊的有效性;在增加了密集連接模塊后,模型大小幾乎沒有變化,其原因是密集連接并沒有新增卷積層,僅在已有基礎(chǔ)特征圖上進(jìn)行融合運(yùn)算,不會(huì)增加模型大小,而檢測(cè)性能指標(biāo)mAP由88.24%提升至90.15%;同時(shí),在測(cè)試檢測(cè)時(shí)間方面,相較于基準(zhǔn)模型的檢測(cè)時(shí)間,嵌入模塊后檢測(cè)時(shí)間要略低于基準(zhǔn)模型,但差距不大;此外,在基準(zhǔn)模型上同時(shí)嵌入CBAM和密集FPN模塊后,平均精度mAP可以達(dá)到94.36%,比基準(zhǔn)模型提高了6%左右。通過(guò)上述消融實(shí)驗(yàn)可以發(fā)現(xiàn),通過(guò)CBAM模塊和密集連接FPN模塊可以增強(qiáng)紅外弱光下目標(biāo)特征,提高了弱光環(huán)境下鐵路異物檢測(cè)的性能。
在以上主干網(wǎng)絡(luò)模塊消融實(shí)驗(yàn)的基礎(chǔ)上,進(jìn)一步對(duì)CBAM橫向連接個(gè)數(shù)對(duì)模型的影響進(jìn)行分析。橫向連接中CBAM模塊個(gè)數(shù)消融實(shí)驗(yàn)分析結(jié)果見表3。從表3中可以看出,在嵌入第一個(gè)CBAM模塊后,模型大小增加了1.5 MB,但準(zhǔn)確率提升最為明顯,達(dá)到91.05%;當(dāng)分別嵌入2個(gè)、3個(gè)CBAM模塊后,模型在準(zhǔn)確率上略微有所提高,但檢測(cè)時(shí)間也有所增加;而每一層都嵌入CBAM模塊的連接方式,即嵌入4個(gè)CBAM模塊后,此時(shí)模型的準(zhǔn)確率最高,檢測(cè)時(shí)間變化不大。
表3 橫向連接中CBAM模塊個(gè)數(shù)消融實(shí)驗(yàn)分析結(jié)果
為了驗(yàn)證本文所提k-means聚類方法預(yù)設(shè)錨點(diǎn)框?qū)z測(cè)模型的影響,分別采用固定錨點(diǎn)框和加入聚類錨點(diǎn)框兩種策略對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與測(cè)試。加入聚類優(yōu)化錨點(diǎn)框后的模型測(cè)試結(jié)果對(duì)比見表4。原始Mask R-CNN算法中采用固定anchors大小尺度的方法來(lái)預(yù)設(shè)錨點(diǎn)框,而本文根據(jù)紅外鐵路異物數(shù)據(jù)集的特點(diǎn)采用改進(jìn)k-means聚類的方法獲得預(yù)設(shè)錨點(diǎn)框,對(duì)比兩種策略實(shí)驗(yàn)結(jié)果可發(fā)現(xiàn):選用本文聚類優(yōu)化錨點(diǎn)框的方式,可以有效縮短訓(xùn)練時(shí)間,加速網(wǎng)絡(luò)收斂,對(duì)于平均檢測(cè)精度均值而言,約有1%的性能提升。分析其原因?yàn)椴捎镁垲惙椒軌蚋玫貙⒈粰z測(cè)對(duì)象進(jìn)行選擇,使得復(fù)雜背景對(duì)框定目標(biāo)的干擾減少,從而更加準(zhǔn)確地得到目標(biāo)候選區(qū)域,加快網(wǎng)絡(luò)收斂時(shí)間,提高算法的檢測(cè)精度。
表4 加入聚類優(yōu)化錨點(diǎn)框后的模型測(cè)試結(jié)果對(duì)比
為了提高夜間鐵路異物檢測(cè)能力,針對(duì)紅外弱光環(huán)境下鐵路異物侵限檢測(cè)時(shí)存在目標(biāo)特征提取不充分、檢測(cè)精度低的問題,在Mask R-CNN檢測(cè)模型的基礎(chǔ)上,提出一種紅外弱光環(huán)境下的多尺度密集注意力鐵路異物檢測(cè)方法。結(jié)果表明:
(1) 本文方法通過(guò)改進(jìn)設(shè)計(jì)密集連接的多尺度FPN金字塔網(wǎng)絡(luò),促進(jìn)了不同尺度特征間的信息融合,更好地利用了高層和底層的特征信息,提高了紅外弱光環(huán)境下的鐵路異物檢測(cè)精度。
(2) 引入CBAM注意力機(jī)制并改進(jìn)ResNet-FPN網(wǎng)絡(luò)結(jié)構(gòu)后,提高了對(duì)目標(biāo)區(qū)域的關(guān)注度,突出了紅外弱光環(huán)境下的目標(biāo)特征,使得弱光環(huán)境下鐵路軌道區(qū)域分割效果更好。同時(shí),改進(jìn)k-means算法來(lái)重新預(yù)設(shè)錨點(diǎn)框大小,可以提升錨點(diǎn)框?qū)δ繕?biāo)區(qū)域定位的準(zhǔn)確性。
(3) 通過(guò)鐵路紅外數(shù)據(jù)集及現(xiàn)場(chǎng)實(shí)驗(yàn),表明本文方法具有較高的檢測(cè)精度,精確率可達(dá)89.24%,較Mask R-CNN召回率提高了6%,像素準(zhǔn)確率提升了8%,能夠在紅外弱光環(huán)境下更加準(zhǔn)確地檢測(cè)出鐵路異物。