周瑞鴻，黃凱峰，2，李 彥，竇禮同

(1.淮南師范學(xué)院 機械與電氣工程學(xué)院，安徽 淮南 232038；2.深部煤礦采動響應(yīng)與災(zāi)害防控國家重點實驗室，安徽 淮南 232001)

鐵路的正常運行需要鐵路現(xiàn)場施工和對運行設(shè)備的檢修維護作為保障，鐵路的提速對施工及維修時間有了更高的要求。研究軌旁作業(yè)安全防護技術(shù)能夠滿足作業(yè)施工的安全需求、彌補傳統(tǒng)防護及管理的缺失和保障軌旁作業(yè)人員的人身安全；研究視頻實時檢測可以改變傳統(tǒng)的人工瞭望和制度制約的局限性、彌補衛(wèi)星導(dǎo)航系統(tǒng)復(fù)雜和投資巨大的劣勢，解決雷達檢測技術(shù)誤警率高的問題和提高防護系統(tǒng)的實時性及便攜性。我國鐵路現(xiàn)在使用的列車控制系統(tǒng)中，也具有列車接近預(yù)警策略，但是該系統(tǒng)的主要功能是保證列車的正常運行，并未對作業(yè)人員安全進行充分考慮，因此這些預(yù)警系統(tǒng)和方式難以滿足目前鐵路現(xiàn)場作業(yè)人員安全防護的需求。近年來國內(nèi)外對鐵路作業(yè)安全預(yù)警[1]及防護展開了廣泛的研究，北京交通大學(xué)嚴(yán)博毅等人設(shè)計了鐵路作業(yè)預(yù)警裝置[2]，利用光纖傳感的原理實現(xiàn)作業(yè)現(xiàn)場防護，但難以實現(xiàn)軌旁作業(yè)防護對便攜性的需求。德國在新線路上采用MAS90預(yù)警系統(tǒng)，不僅可以監(jiān)督線路設(shè)備的運作情況，而且能預(yù)測影響列車正常運行可能性或設(shè)備的故障隱患。該預(yù)警方法可以定位靠近防護區(qū)段的列車并實時測量該列車的行駛速度，及時進行報警提醒作業(yè)人員及時撤離。但是外界環(huán)境對此類信號的干擾較大，因此對整個系統(tǒng)的穩(wěn)定性與可行性造成很大的影響。日本目前使用的列車預(yù)警系統(tǒng)[3]則利用GPS全球定位系統(tǒng)對運行列車進行實時監(jiān)測。GPS對鐵路現(xiàn)場環(huán)境的要求比較高，因此該技術(shù)也有一定的限制因素。

本文針對鐵路現(xiàn)場維修環(huán)境及預(yù)警需求，提出一種基于差分與光流結(jié)合的列車接近預(yù)警方法，將現(xiàn)有的鐵路預(yù)警系統(tǒng)與視頻實時檢測運動物體相結(jié)合，利用對稱幀間差分快速提取運動區(qū)域，僅計算運動區(qū)域的光流場，實現(xiàn)對防護區(qū)段接近的列車進行快速準(zhǔn)確的檢測并及時報警。從而滿足鐵路軌旁作業(yè)預(yù)警系統(tǒng)的實時性、便攜性和可靠性。

1 預(yù)警方法的數(shù)學(xué)模型

設(shè)備安裝的兩個攝像頭分別對上下行進行同時監(jiān)測，防護區(qū)段原理圖如圖1所示。如圖1所示，作業(yè)人員在進行作業(yè)時，將設(shè)備放置在軌旁，攝像頭距離地面的高度H、水平方向的夾角α和β可依據(jù)現(xiàn)場具體情況進行調(diào)節(jié)，這樣提高了設(shè)備的靈活性和適應(yīng)性。

圖1 防護區(qū)段原理圖

設(shè)備所防護區(qū)段的范圍分為左防護區(qū)h1和右邊防護區(qū)h2兩部分之和組成，其中攝像機距離地面的垂直距離為H，軌旁水平距離為H1，攝像頭的可監(jiān)測距離分別為L1和L2，其在地面的投影距離分別為L′1和L′2，具體各個量之間的數(shù)學(xué)關(guān)系式如式(1)-式(6)所示。

(1)

(2)

(3)

(4)

(5)

(6)

由于右防護區(qū)段與左防護區(qū)段對稱，所以同理得式(7)：

(7)

其中：Δl為軌距，我國鐵路軌距一般情況下均為1.435米。

分別建立世界坐標(biāo)系為Xw-Yw-Zw及攝像機坐標(biāo)系Xc-Yc-Zc來表示三維空間；將圖像平面利用二維坐標(biāo)系u-v表示，將圖像中心定義為坐標(biāo)原點。對世界坐標(biāo)系與相機坐標(biāo)系間的坐標(biāo)進行轉(zhuǎn)換，可得如式(8)、式(9)所示的關(guān)系式。

(8)

(9)

以透視變換為依據(jù)，建立圖像二維坐標(biāo)與相機坐標(biāo)之間的映射關(guān)系如式(10)所示。

(10)

2 差分與光流結(jié)合算法分析

算法的主要思想如圖2所示，是利用對稱差分法簡單快捷的優(yōu)勢，對檢測場景首先進行運動區(qū)域提取，只需要利用光流法檢測提取出的運動區(qū)域檢測運動目標(biāo)。算法的主體結(jié)構(gòu)如圖2所示，分別計算第k-1幀和第k幀之間的絕對差分圖像g(k-1,k)以及第k幀與k+1幀之間的絕對差分圖像g(k,k+1)；分別對g(k-1,k)和g(k,k+1)轉(zhuǎn)換成二值圖像進行“與”運算得到圖像g(k-1,k+1)。

圖2 算法框架

通過區(qū)域識別、區(qū)域擴張及疊加處理，確定可能的目標(biāo)區(qū)域[4-5]，并對應(yīng)到第k-1幀和第k幀原始圖像上；對檢測出的區(qū)域進行光流場計算，準(zhǔn)確檢測出列車；將檢測出的列車所在幀圖像作為第k幀圖像的目標(biāo)進行標(biāo)定，輸出目標(biāo)的位置，并進行報警，算法架構(gòu)圖如圖3所示。

圖3 算法的總體框架圖

2.1 幀間對稱差分提取運動區(qū)域

圖像序列的一般表達式如式(11)所示。

F={fk(x,y),x≤M,y≤N,k=1,2,…}

(11)

式中(x,y)表示灰度圖像(M×N)上的點，fk(x,y)對應(yīng)關(guān)鍵圖像中該點的灰度值大小，k表示序列圖像幀的幀號。相鄰幀圖像fk-1(x,y)，fk(x,y)和fk+1(x,y)，式(12)和式(13)所示，取相鄰幀的差分絕對值：

gk-1,k(x,y)=|fk-1(x,y)-fk(x,y)|

(12)

gk,k+1(x,y)=|fk+1(x,y)-fk(x,y)|

(13)

選取適當(dāng)閾值T(取T=M+kσ，式中M為圖像的灰度值，δ為其標(biāo)準(zhǔn)差，k為常數(shù)，一般取圖像信噪比)，進行二值化得到兩個絕對差二值圖像，如式(14)和式(15)所示。

(14)

(15)

將式(14)與式(15)的絕對差進行“與”運算，得到二值圖像Bk(x,y)，從而得到當(dāng)前幀圖像中的對稱差分結(jié)果如式(16)所示。

Bk(x,y)=bk-1,k(x,y)·bk,k+1(x,y)

(16)

在二值圖像中標(biāo)定所有內(nèi)部連通的“斑點”，計算能夠包含每個“斑點”的最小矩形的位置和大小，記所有的小矩形為：{Pk(s,e,w,h)|0≤k≤m×n}，其中(m×n)為整幅圖像的像素值，(s,e)為小矩形左上角的位置坐標(biāo)，(w,h)表示小矩形的寬度和高度。

(17)

式(18)和式(19)中w0和h0的取值為：

(18)

(19)

區(qū)域擴張后可能導(dǎo)致相鄰區(qū)域之間有疊加部分，為了避免后續(xù)圖像處理重復(fù)計算，將相互間有疊加的目標(biāo)區(qū)域重構(gòu)形成一個大的運動區(qū)域，如圖4所示，將存在重復(fù)區(qū)域的相鄰矩形A和B兩個矩形重構(gòu)成一個矩形C，這樣防止對重疊區(qū)域的重復(fù)計算。

圖4 目標(biāo)區(qū)域重疊處理

區(qū)域重疊處理的具體數(shù)學(xué)算法如下：

將矩形A、B和重構(gòu)矩形C分別表示為：PA(sA,eA,wA,hA)、PB(sB,eB,wB,hB)、PC(sC,eC,wC,hC)，則有式(20)-式(23)：

(20)

(21)

wC=wA+wB-wA·wB

(22)

hC=hA+hB-hA·hB

(23)

2.2 對運動區(qū)域進行光流準(zhǔn)確檢測運動物體

本文以基于梯度方法來實現(xiàn)關(guān)鍵連續(xù)幀光流的計算，原因在于該方法在計算量上較其他方法簡單并且可靠性較其他方法高，滿足本系統(tǒng)對算法實時性和準(zhǔn)確性的需求。假定運動區(qū)域[9]上點(x,y)的在t時刻的灰度值為D(x,y,t)，在t+dt時刻，該點的像素為：(x+dx,y+dy)，其灰度值為：D′(x+dx,y+dy,t+dt)。

根據(jù)數(shù)學(xué)微分思想，當(dāng)dt→0時，D=D′。

將(x+dx,y+dy,t+dt)=(x,y,t)進行泰勒級數(shù)展開如式(24)和式(25)所示。

(24)

(25)

又因為：D=D′得式(26)

D′(x+dx,y+dy,t+dt)-D(x,y,t)=0

(26)

進一步簡化可得如式(27)所示。

(27)

等式左右兩邊同時除以dt得式(28)，即：

(28)

Dxu+Dyv+Dt=0

(29)

式中Dx，Dy，Dt，分別表示像素點灰度隨著位置坐標(biāo)和時間的變化率；u和v分別表示像素點在圖像二維坐標(biāo)系中橫坐標(biāo)和縱坐標(biāo)的速度分量，將式(29)轉(zhuǎn)換成矢量的形式為式(30)：

ΔD·u+Dt=0

(30)

該算法主要針對鐵路現(xiàn)場作業(yè)防護進行視頻實時檢測，利用鐵路現(xiàn)場拍攝的視頻對該算法進行檢驗，在檢測到的視頻中，本文提出的算法可以準(zhǔn)確快速的檢測到視頻中的運動物體，并且對捕捉到的運動物體進行區(qū)分[10]。

對稱差分檢測出運動區(qū)域后，計算該區(qū)域光流場，如果該區(qū)域內(nèi)某個位置的光流變化很大，說明有運動物體。通過對比同一運動物體在不同位置的像素值、對比之前統(tǒng)計的行人、汽車和火車等其他對象在相同位置的像素值，判斷運動物體是否為鋼軌上行駛的列車，對運動區(qū)域的光流檢測如圖5所示。

圖5 光流法對運動區(qū)域的檢測流程圖

3 實驗結(jié)果

視頻檢測距離也是該預(yù)警策略必須考慮的因素，目前市場上比較主流的、成本較低的CCD攝像機的檢測距離遠(yuǎn)遠(yuǎn)不能滿足軌旁作業(yè)防護的需求，因此我們選用長焦距攝像頭對作業(yè)現(xiàn)場進行實時監(jiān)測。測量檢測距離需首先對攝像頭的焦距進行計算，但由于圖像轉(zhuǎn)換為灰度圖像時分辨率會發(fā)生變化，因此在計算距離時也需要對焦距進行轉(zhuǎn)換。假設(shè)有一個寬度為W的目標(biāo)，然后將這個目標(biāo)放在距離相機為D的位置。用相機對其進行拍照并且測量物體的像素寬度P。這樣我們就得出了相機焦距的公式如式(31)和(32)所示。

F=(P×D)/W

(31)

D=(F×W)/P

(32)

當(dāng)視頻序列幀圖像轉(zhuǎn)換為灰度圖處理時，幀圖像的分辨率發(fā)生了改變，所以在距離計算時，引入轉(zhuǎn)換公比k如式(33)所示。

(33)

式中：P為視頻原始幀圖像分辨率，P′為轉(zhuǎn)換后灰度圖像的分辨率。因為k的計算公式中只是簡單的比例計算，所以只取寬度像素值進行計算，簡化運算。因此像素轉(zhuǎn)換后的焦距如式(34)所示。

F′=F/k

(34)

圖像轉(zhuǎn)換后測量實際距離如式(35)所示。

D′=(F′×W)/P″

(25)

實驗選取白紙高：26.6cm；寬：8.8cm，拍攝原圖像像素為：4608×3456，轉(zhuǎn)換成灰度圖的像素為：320×240，如圖6所示。

(a)D=15.6m圖像

(b)D=20.4m圖像圖6 距離測量原圖像

圖6(a)中取水平距離為D=15.6m，利用已知距離及公式(30)和公式(32)測量長焦距攝像頭的焦距與轉(zhuǎn)換公比：

F=(P×D)/W

=(937×15.6)/0.088

≈166104.5

測得焦距與公比之后，將相同的白紙平移到距離D=20.4m的位置進行驗證實驗，如圖6(b)中所示，利用公式(33)與公式(31)計算轉(zhuǎn)換后的焦距與測量距離，并與已知水平距離對照：

F′=F/k=166104.5/14.4≈11535

D′=(F′×W)/P″

=(11535×0.088)/50

=20.3016m

實驗所得的距離D′與實際距離D非常接近，因此該實驗驗證了本文提出的測量視頻檢測距離的方法的可行性。在蘭州鐵路局管內(nèi)某線路拍攝的實際檢測列車距離的圖像如圖7所示。

圖7 實際測量列車圖像

用已經(jīng)測量好焦距的長焦距攝像頭檢測鋼軌上的列車，假設(shè)客車車廂的寬度為W=3.3m，原始視頻幀圖像的像素為：4608×3456，轉(zhuǎn)換后灰度圖像的像素為：320×240，灰度圖列車的像素為：21×36，所以：

F′=F/k=72800/14.4≈5055.6

D=(F′×W)/P″

=(5055.6×3.3)/21

=794.5m

由實驗結(jié)果可知，該檢測距離可以滿足視頻檢測及報警需要。由于利用對稱差分法進行目標(biāo)區(qū)域提取時需要估算圖像的信噪比RSN，因此本文在實驗中限定目標(biāo)圖像最小信噪比為3.0。圖8截取視頻序列幀灰度圖像做對稱差分進行目標(biāo)區(qū)域提取后，進行光流計算并且檢測出鋼軌上的列車。

(a)對稱差分結(jié)果

(b)目標(biāo)區(qū)域提取結(jié)果

(c)光流對比結(jié)果

(d)算法檢測結(jié)果

實驗以有效檢驗本文算法可行性為目的，選取一段有人巡檢員出現(xiàn)的作業(yè)現(xiàn)場拍攝視頻進行檢測，如圖9所示。圖9中(a)、(b)與(c)為視頻關(guān)鍵連續(xù)三幀灰度圖像，(d)為其對稱差分結(jié)果，(e)為運動目標(biāo)區(qū)域提取結(jié)果，從(e)可以看出，二維視場中的工作人員(圖像右邊)以及其他噪聲引起運動區(qū)域誤檢區(qū)域被提取出來，(f)為圖像經(jīng)過光流準(zhǔn)確檢測后的結(jié)果，從圖像中可以看出，這些不屬于鋼軌上運動的列車運動物體，本算法均未將其誤檢為列車，從而有效的驗證了本文結(jié)合算法的可行性。

(a)第8幀

(b)第9幀

(c)第10幀

(d)對稱差分結(jié)果

(e)運動區(qū)域提取

(f)光流對比結(jié)果

本文選用鐵路現(xiàn)場拍攝的多段視頻對該算法進行驗證，在不同場景下以及不同角度拍攝下的運動物體進行檢測，檢測結(jié)果見表1。

表1 運動物體檢測實驗結(jié)果

本文共提取3200個不同的樣本，其中實驗檢測準(zhǔn)確率達98.12%，而漏檢率和誤檢率僅有1.28%和1.06%。在多組實驗數(shù)據(jù)中，列車僅有19次漏檢。在這19次漏檢的情況下，其中11次漏檢的原因為目標(biāo)剛進入攝像頭的防護區(qū)段，現(xiàn)場存在彎道導(dǎo)致目標(biāo)在關(guān)鍵幀圖像中占比過小，但是在其相鄰關(guān)鍵幀圖像中準(zhǔn)確的檢測且識別；8次為在列車與攝像機所在位置非常接近關(guān)鍵幀圖像中，雖然此時并沒有實現(xiàn)準(zhǔn)確識別，但是該視頻的前面關(guān)鍵幀的圖像已經(jīng)檢測出了鋼軌上的列車，這樣在實際現(xiàn)場已經(jīng)實現(xiàn)了預(yù)警，這樣的情況對系統(tǒng)有列車進入防護區(qū)段進行提前報警可靠性沒有影響。

表2是本文算法與其它兩種主流算法在運行時間上做的比較，由表中數(shù)據(jù)可以看出，使用本文所提出的目標(biāo)檢測算法，不僅可以提高檢測的準(zhǔn)確度，還能減少算法的運行時間。

表2 各算法運行時間對比結(jié)果

對于整個預(yù)警算法而言，本文所設(shè)計的基于對稱差分與光流法相結(jié)合的算法，能夠增強人工防護的可靠性，還能避免雷達系統(tǒng)很高的誤警率，避免列車控制系統(tǒng)追求列車運行時追求整個列車控制系統(tǒng)“故障——安全”原則時，可能出現(xiàn)的預(yù)警錯誤或缺失現(xiàn)象，通過以上仿真結(jié)果及實驗分析可得，本文提出的算法有較高的現(xiàn)場實用價值。

4 結(jié)論

本文提出了基于對稱差分與光流法相結(jié)合的軌旁作業(yè)安全預(yù)警方法計算簡單，對環(huán)境的要求低、檢測準(zhǔn)確性高，滿足軌旁作業(yè)預(yù)警的準(zhǔn)確性需求。本文結(jié)合對稱差分與光流法各自的優(yōu)點，首先利用對稱差分算法簡單、運算速度快的特點來對整個圖像提取運動區(qū)域，然后僅對運動區(qū)域進行光流法檢測，避免了對整幅圖像計算光流值的復(fù)雜運算，有效提高了整個算法的實時性需求。通過“斑點”識別、區(qū)域擴張和區(qū)域疊加處理等算法提取可能的目標(biāo)運動區(qū)域，最后從提取的運動區(qū)域中應(yīng)用光流法檢測運動目標(biāo)，能夠更好的實現(xiàn)軌旁作業(yè)預(yù)警防護對實時性和準(zhǔn)確性的需求。實驗及結(jié)果分析表明，應(yīng)用基于對稱差分與光流法相結(jié)合的軌旁作業(yè)安全預(yù)警方法，可以在保證光流精度的前提下，大幅減少算法運算量，滿足鐵路軌旁作業(yè)安全預(yù)警的要求，但是在夜間進行防護時，由于列車車頭處燈光與周邊其它光源的相似度較高，檢測誤警率較高，減少夜間防護時的誤警率難度較大，這將是下一步研究的重要內(nèi)容。