楊 棟，黃文政，張秋亮，李依諾，張亞偉

（1.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 電子計(jì)算技術(shù)研究所，北京 100081；2.中國(guó)鐵路南寧局集團(tuán)有限公司 客運(yùn)部，南寧 530029）

鐵路客運(yùn)站的站臺(tái)端部為非封閉式環(huán)境，以方便作業(yè)人員可以通過站臺(tái)端部進(jìn)入或離開站臺(tái)。但這也帶來了新的問題，比如：不法分子可以繞過安檢從站臺(tái)端部進(jìn)入到車站，無票旅客可以通過站臺(tái)端部逃票出站，這些情況對(duì)鐵路的安全生產(chǎn)、提質(zhì)增效帶來了隱患，把通過站臺(tái)端部非法進(jìn)入和離開車站的行為稱為站臺(tái)端部人員入侵。目前，針對(duì)站臺(tái)端部人員入侵行為，鐵路部門主要有2種應(yīng)對(duì)措施：安裝攝像頭監(jiān)控和安裝超聲、紅外等探測(cè)裝置[1-2]。

基于超聲、紅外等探測(cè)裝置的入侵檢測(cè)，需在站臺(tái)端部新增硬件設(shè)備，且難以區(qū)分普通旅客和工作人員，需為工作人員配備關(guān)閉檢測(cè)設(shè)備的遙控器，以去除誤報(bào)。傳統(tǒng)的視頻監(jiān)控主要依靠人工查閱來盯控，浪費(fèi)大量人力，且難以做到多個(gè)站臺(tái)24 h全天盯控。基于圖像分析的智能視頻監(jiān)控技術(shù)可減少人工作業(yè)強(qiáng)度[3]，提升站臺(tái)端部人員入侵檢測(cè)的準(zhǔn)確率和效率，是鐵路客運(yùn)安全保障的重要手段。

Krizhevsky A.等人提出了深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet模型[4]，該模型以顯著優(yōu)勢(shì)在ILSVRC2012比賽中奪冠，并將top-5錯(cuò)誤率降低至15.32%。Szegedy C.等人提出深度卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet模型[5]，Simonyan K.等人提出深度卷積神經(jīng)網(wǎng)絡(luò)VGG 模型[6]。深度卷積神經(jīng)網(wǎng)絡(luò)在圖像分類領(lǐng)域的優(yōu)越性，使鐵路客運(yùn)站站臺(tái)端部人員入侵檢測(cè)研究提供了新的思路。

本文針對(duì)站臺(tái)端部入侵場(chǎng)景，建立端部人員樣本集，基于Faster-RCNN算法，進(jìn)行深度學(xué)習(xí)模型訓(xùn)練，模型的平均精確率均值高；對(duì)模型參數(shù)進(jìn)行調(diào)優(yōu)測(cè)試，進(jìn)一步提高了模型的檢測(cè)速度。

1 基于Faster-RCNN的目標(biāo)檢測(cè)原理

深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet、GoogLeNet和VGGNet的出現(xiàn)，使圖像分類領(lǐng)域的準(zhǔn)確率大幅提升，但這些網(wǎng)絡(luò)的輸入圖像均為固定尺寸，對(duì)于一幅輸入圖像，需提供固定尺寸的候選區(qū)，再輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)和分類。為提升檢測(cè)分類的準(zhǔn)確性，通常需要提供大量的候選區(qū)，這會(huì)浪費(fèi)大量的計(jì)算資源。2015年，Ren S.等人提出Faster-RCNN算法[7]，F(xiàn)aster-RCNN算法是RCNN和Fast-RCNN算法的升級(jí)版本，該算法主要在候選區(qū)的建議上引入神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，真正實(shí)現(xiàn)了候選區(qū)建議、圖像分類的全過程深度學(xué)習(xí)，大幅降低了計(jì)算量。Faster-RCNN算法邏輯，如圖 1所示，主要包擴(kuò)特征提取、候選框推薦、檢測(cè)分類3部分。

1.1 特征提取

將圖片輸入卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過卷積運(yùn)算和池化運(yùn)算，提取圖片的特征圖譜信息。特征提取采用卷積神經(jīng)網(wǎng)絡(luò)VGG16，深度卷積神經(jīng)網(wǎng)絡(luò)VGG模型由Simonyan K.等人于2014年提出，作者在論文中提出了6種VGG模型， VGG16模型結(jié)構(gòu)如圖 2所示，由13個(gè)卷積層、3個(gè)全連接以及5個(gè)池化層組成。為保證卷積操作后，輸入圖片尺寸不變，在每一次卷積操作前，需將輸入進(jìn)行擴(kuò)充補(bǔ)0操作。每個(gè)池化層（Maxpool）均為2×2像素的池化操作，將輸入圖片的長(zhǎng)寬減少至1/2。特征提取過程選取13個(gè)卷積層、4個(gè)池化層后的結(jié)果為特征圖譜，故M·N·3像素的原始圖片，特征圖譜維度為（M/16）×（N/16）×512。

1.2 候選區(qū)推薦

特征圖譜信息經(jīng)過區(qū)域生成網(wǎng)絡(luò)（RPN，Region Proposal Network）網(wǎng)絡(luò)產(chǎn)生候選區(qū)，推薦的候選區(qū)僅表示有目標(biāo)，目標(biāo)的分類在下一步完成，RPN結(jié)構(gòu)，如圖 3所示。特征圖譜的每個(gè)點(diǎn)都可對(duì)應(yīng)到原始圖片中的某個(gè)點(diǎn)，這個(gè)點(diǎn)稱為anchor。滑動(dòng)遍歷特征圖譜，對(duì)于每個(gè)anchor，生成k個(gè)矩形框，稱為anchor box。對(duì)于每個(gè)矩形框，給予2個(gè)評(píng)分，分別表示有目標(biāo)和沒有目標(biāo)，共2k個(gè)評(píng)分，這個(gè)過程稱為邊框分類。對(duì)于每個(gè)矩形框，采用變換向量校正矩形框形狀，共4k個(gè)輸出，這個(gè)過程稱為邊框回歸。

RPN訓(xùn)練損失函數(shù)包含邊框分類的損失和邊框回歸的損失，定義損失函數(shù)為L(zhǎng)({pi},{ti})，則有：

式中，pi為anchor預(yù)測(cè)為目標(biāo)的概率；pi*為anchor的標(biāo)簽；0表示負(fù)樣本；1表示正樣本；

Lcls(pi,pi*)表示分類損失。

ti和ti*均為變換向量，ti={tx,ty,tw,th}，表示將anchor box變換到預(yù)測(cè)框的變換向量。

ti*={tx*,ty*,tw*,th*}，表示將anchor box變換到置信框的變換向量。

其中，x，y，w，h分別表示預(yù)測(cè)框的中心坐標(biāo)和長(zhǎng)寬；xa，ya，wa，ha分別表示anchor box的中心坐標(biāo)和長(zhǎng)寬；x*，y*，w*，h*分別表示置信框的中心坐標(biāo)和長(zhǎng)寬。

Lreg(ti,ti*)為回歸損失函數(shù)，表示ti到ti*的損失。

其中，R為smooth L1損失函數(shù)，定義如下：

1.3 分類檢測(cè)

對(duì)推薦的候選區(qū)，進(jìn)行ROI（Region of Interest）池化，將不同長(zhǎng)度的輸入特征，轉(zhuǎn)化為固定長(zhǎng)度的輸出特征，對(duì)于神經(jīng)網(wǎng)絡(luò)VGG，ROI池化層的輸出為512維特征向量。對(duì)固定長(zhǎng)度的特征向量分類和回歸，得到最終分類結(jié)果。

2 站端入侵檢測(cè)模型訓(xùn)練

目標(biāo)檢測(cè)和分類領(lǐng)域，有大量的公開數(shù)據(jù)集，如：VOC2007數(shù)據(jù)集、VOC2012數(shù)據(jù)集、coco數(shù)據(jù)集等，公開數(shù)據(jù)集具有樣本數(shù)據(jù)量大、標(biāo)注完備等優(yōu)點(diǎn)，但也存在無法涵蓋鐵路行業(yè)特有樣本、樣本環(huán)境與鐵路現(xiàn)場(chǎng)環(huán)境差異較大等缺點(diǎn)。需針對(duì)鐵路現(xiàn)場(chǎng)需求定制數(shù)據(jù)集，訓(xùn)練模型，以達(dá)到最優(yōu)檢測(cè)效果。針對(duì)站臺(tái)端部禁止普通人員通行，但會(huì)有穿紅色馬甲的施工人員和穿黃色馬甲的防護(hù)人員通過的情況，設(shè)計(jì)模型檢測(cè)并分類普通人員、紅馬甲施工人員、黃馬甲防護(hù)人員，以實(shí)現(xiàn)只針對(duì)普通人員入侵的報(bào)警檢測(cè)。

2.1 數(shù)據(jù)集制作

選取站臺(tái)端部攝像頭連續(xù)24 h的視頻制作數(shù)據(jù)集，數(shù)據(jù)集格式為VOC2007格式。對(duì)視頻進(jìn)行1 s的等間隔采樣，得到監(jiān)控圖片，選取其中包含行人的共996幅圖片制作數(shù)據(jù)集，圖片分辨率為960×540。用label-image軟件進(jìn)行數(shù)據(jù)集人工標(biāo)注[8]，標(biāo)注目標(biāo)分為3類：staff_red（紅色馬甲施工人員）、staff_yellow（黃色馬甲防護(hù)人員）以及person（除施工人員和防護(hù)人員以外的其他人員）。staff_red和staff_yellow樣本如圖 4所示，person樣本如圖 5所示。數(shù)據(jù)集圖片包含了白天、黑夜等不同亮度的場(chǎng)景，涵蓋了目標(biāo)的正面、側(cè)面、背面、遠(yuǎn)處、近處、遮擋等復(fù)雜情況。

2.2 模型訓(xùn)練

基于Faster-RCNN算法的模型訓(xùn)練過程中，數(shù)據(jù)集會(huì)被分為訓(xùn)練集（train）、驗(yàn)證集（val）、訓(xùn)練集和驗(yàn)證集（trainval）、測(cè)試集（test）4部分。由于實(shí)驗(yàn)樣本集數(shù)量不大，為保證訓(xùn)練效果，優(yōu)先保證訓(xùn)練集和驗(yàn)證集樣本數(shù)量，設(shè)置trainval占整個(gè)數(shù)據(jù)集的70%，test占整個(gè)數(shù)據(jù)集的30%，train占trainval的70%，val占trainval的30%。實(shí)驗(yàn)訓(xùn)練集和驗(yàn)證集共697張圖片，測(cè)試集共299張圖片，模型訓(xùn)練采用Faster-RCNN的end2end模式訓(xùn)練。模型訓(xùn)練的損失函數(shù)曲線，如圖 6所示，損失函數(shù)在訓(xùn)練60000次后基本穩(wěn)定，選取訓(xùn)練70000次后的結(jié)果為最終訓(xùn)練模型。

表1 RPN_PRE_NMS=6000，RPN_POST_NMS=300

3 實(shí)驗(yàn)測(cè)試

3.1 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)采用基于Tensorflow軟件框架的Faster-RCNN算法，實(shí)驗(yàn)圖形工作站CPU為I9-7960，GPU為NAVID 1080TI，操作系統(tǒng)為Ubuntu16.04。

模型評(píng)價(jià)指標(biāo)采用精確率（P）、召回率（R）、平均精確率（AP）、平均精確率均值（mAP）等[9-10]。定義：TP表示將A類別樣本預(yù)測(cè)為A類；FP表示將非A類別樣本預(yù)測(cè)為A類；FN表示將A類別樣本預(yù)測(cè)為非A類，則有：

平均精確率由精確率和召回率決定，對(duì)于每一個(gè)召回率，均有一個(gè)最大的精確率，繪制召回率——最大精確率曲線，平均精確率即為該曲線下方的面積。平均精確率均值為所有類別的平均精確率的算術(shù)平均值。

3.2 實(shí)驗(yàn)結(jié)果

測(cè)試集包括圖片299張，共包含person樣本175個(gè)，staff_red樣本104個(gè)，staff_yellow樣本79個(gè)，測(cè)試模型精確率和召回率。Faster-RCNN算法的RPN會(huì)將候選區(qū)按照評(píng)分值從高到低排列，得到候選區(qū)隊(duì)列。對(duì)候選區(qū)隊(duì)列進(jìn)行NMS（非極大值抑制）運(yùn)算，得到推薦候選區(qū)。候選區(qū)隊(duì)列長(zhǎng)度（RPN_PRE_NMS）和推薦候選區(qū)數(shù)量（RPN_POST_NMS）的設(shè)定，會(huì)影響分類檢測(cè)準(zhǔn)確率和單幀檢測(cè)時(shí)間。設(shè)置不同的候選區(qū)隊(duì)列長(zhǎng)度和推薦候選區(qū)數(shù)量，進(jìn)行實(shí)驗(yàn)，結(jié)果如表1～表5所示。

表2 RPN_PRE_NMS=3000，RPN_POST_NMS=150

表3 RPN_PRE_NMS=1000，RPN_POST_NMS=50

表4 RPN_PRE_NMS=300，RPN_POST_NMS=15

表5 RPN_PRE_NMS=100，RPN_POST_NMS=5

3.3 分析及結(jié)論

（1）隨著RPN_PRE_NMS、RPN_POST_NMS參數(shù)的減小，模型的單幀檢測(cè)時(shí)間逐漸降低，mAP指標(biāo)也逐漸降低，表明隨著檢測(cè)速度的提升，檢測(cè)精度有所損失。在RPN_PRE_NMS=300，RPN_POST_NMS=15時(shí)，單幀檢測(cè)時(shí)間為0.069 s，在此之后，隨著RPN_PRE_NMS、RPN_POST_NMS參數(shù)的減小，單幀檢測(cè)時(shí)間幾乎不再降低，但mAP繼續(xù)降低。故選取RPN_PRE_NMS=300，RPN_POST_NMS=15為本次實(shí)驗(yàn)的最優(yōu)參數(shù)。

（2）相比于一般的分類檢測(cè)，本次實(shí)驗(yàn)的最優(yōu)RPN_PRE_NMS參數(shù)和RPN_POST_NMS參數(shù)較小，主要原因是檢測(cè)場(chǎng)景僅有站端入侵一種，且為單一攝像頭采集的圖片，檢測(cè)場(chǎng)景較為確定。因此，RPN階段的候選框質(zhì)量很高，僅需少量的高評(píng)分候選框便可保證后續(xù)檢測(cè)需求。

（3）模型可有效區(qū)分staff_red（紅色馬甲施工人員）、staff_yellow（黃色馬甲防護(hù)人員）以及person（除施工人員和防護(hù)人員以外的其他人員）3種不同類型樣本，3種樣本檢測(cè)的精確率分別為95%、99%、100%，召回率分別為97%、99%、100%，滿足車站需求。staff_red和staff_yellow樣本檢測(cè)結(jié)果如圖 7所示，person樣本檢測(cè)結(jié)果如圖 8所示。

（4）在5組測(cè)試中，staff_yellow樣本識(shí)別精確率和召回率均為1，分析原因如下：staff_yellow樣本人員身著黃色馬甲，樣本辨識(shí)度較高；staff_yellow測(cè)試樣本數(shù)量較少，僅有79個(gè)，缺少?gòu)?fù)雜環(huán)境下的測(cè)試樣本。

（5）person樣本和staff_red樣本均有少量誤判和漏檢，對(duì)樣本進(jìn)行分析，誤判和漏檢主要來源于遮擋樣本和較小難以辨識(shí)樣本。person樣本漏檢結(jié)果，如圖 9所示，漏檢目標(biāo)用黃色圓圈標(biāo)記出，漏檢目標(biāo)本身較小，且存在遮擋。staff_red樣本漏檢結(jié)果，如圖 10所示，漏檢目標(biāo)用黃色圓圈標(biāo)記出，漏檢目標(biāo)存在遮擋，且與其他目標(biāo)有重合，模型將2個(gè)目標(biāo)誤判成1個(gè)目標(biāo)。

4 結(jié)束語(yǔ)

本文基于Faster-RCNN算法，采集現(xiàn)場(chǎng)數(shù)據(jù)，進(jìn)行深度學(xué)習(xí)模型訓(xùn)練，實(shí)現(xiàn)了站臺(tái)端部人員的入侵檢測(cè)，模型單幀檢測(cè)時(shí)間為0.069 s，平均精確率均值為0.9819。綜合分析現(xiàn)場(chǎng)需求和實(shí)驗(yàn)結(jié)果，今后將從以下方面進(jìn)一步改進(jìn)：（1）建立更大的樣本集，以區(qū)分更多類別的樣本，如列車員、上水作業(yè)人員等，使模型更貼近現(xiàn)場(chǎng)需求；（2）優(yōu)化算法，減少資源開銷，提高檢測(cè)幀率；（3）優(yōu)化攝像頭安裝位置、角度，限定視頻畫面中的檢測(cè)區(qū)域，保證檢測(cè)目標(biāo)在畫面中的像素尺寸，提升準(zhǔn)確率。