董 昱,郭 碧
(1.蘭州交通大學(xué) 自動化與電氣工程學(xué)院,甘肅 蘭州 730070;2.蘭州交通大學(xué) 光電技術(shù)與智能控制教育部重點實驗室,甘肅 蘭州 730070)
伴隨著智能化技術(shù)和城市軌道全自動運行系統(tǒng)的發(fā)展,提出了對于列車前方限界監(jiān)測的功能需求[1-4]。軌道線作為圖像空間內(nèi)鐵路限界范圍的參考線,其識別的準(zhǔn)確性直接影響著列車對于前方環(huán)境范圍的感知[5]。在鋼軌限界范圍內(nèi)的扣件、應(yīng)答器、道床以及自然光影等形成的動態(tài)復(fù)雜且紋理不規(guī)則的背景干擾,成為當(dāng)前制約軌道線檢測識別措施魯棒性和精確性的因素。
近些年來,研究人員主要以特征對比和模板匹配的方法作為結(jié)構(gòu)化道路的視覺識別算法基礎(chǔ)[6]。在軌道交通鋼軌的檢測中,采用基于特征的方法主要是針對鋼軌軌枕和道床在相角、邊緣特性和局部范圍內(nèi)的灰度及紋理差異來識別出軌道線[7-8],如文獻(xiàn)[9]中以軌道線主方向相位特征作為鋼軌提取的依據(jù),提出迭代校正檢測識別算法?;谔卣鲗Ρ鹊姆椒ㄓ休^高的容錯率,但是高頻圖像幀的連續(xù)逐幀識別不僅計算量大,也難以滿足實時性要求?;谀0迤ヅ涞臋z測方法根據(jù)局部范圍內(nèi)的鋼軌形態(tài)采用分段直線、樣條曲線、二次曲線、高次曲線等描述模型來實現(xiàn)對于軌道線的擬合[10]。如文獻(xiàn)[11]通過Bresenham算法完成對直線軌道的數(shù)學(xué)描述,但鐵路的曲線段難以通過直線模型擬合,而可以較準(zhǔn)確貼合軌道線走向的高次曲線模型對噪聲特征點的擾動更加敏感。
鑒于此,本文提出一種近遠(yuǎn)景區(qū)域分段可切換的數(shù)學(xué)模型進(jìn)行鋼軌線的檢測和擬合。針對連續(xù)逐幀固定特征匹配方法在精度和實時性方面較差的問題,本文依據(jù)軌道線曲率特性,設(shè)置近遠(yuǎn)景區(qū)域。針對近景區(qū)直軌特性,通過改進(jìn)霍夫變換來實現(xiàn)描述;在遠(yuǎn)景區(qū),引入具有尺度不變特性的Hu矩特征,提出可漂移窗口搜索匹配算法來應(yīng)對彎軌的旋轉(zhuǎn)尺度變化,從而提高算法的魯棒性,同時增強(qiáng)算法檢測和跟蹤的效率。
本文所示算法的實現(xiàn)步驟及所對應(yīng)的理論方法支撐架構(gòu)框圖如圖1所示。算法在初始化過程中完成視頻序列幀的預(yù)處理及軌道線位置的標(biāo)定。根據(jù)車輛上安裝的圖像傳感器與鋼軌位置的固定性,采用標(biāo)定的近景區(qū)軌道線邊界點作為起點,通過可漂移窗口搜索算法,以具有尺度不變特性的Hu矩作為相似度量參量完成對鋼軌特征點的匹配確定。對鋼軌線的自動檢測和擬合過程最終依據(jù)制定的模型更新和切換規(guī)則實現(xiàn)。
圖1 鐵路軌道識別算法架構(gòu)
鋼軌所在環(huán)境背景中包含著復(fù)雜的紋理信息,同時車輛走行振動以及傳感器處理環(huán)節(jié)使得軌道圖像幀中產(chǎn)生噪聲。本算法采用灰度直方圖均衡法來降低光照變化的影響,通過中值濾波法減少非必要道砟紋理和噪聲點。原圖及處理結(jié)果如圖2(a)、圖2(b)示。
(a)軌道圖像原圖 (b)預(yù)處理
(c)Laplace算子 (d)Canny算子
(e)Sobel算子 (f)改進(jìn)邊緣檢測結(jié)果圖2 軌道邊緣特征提取
經(jīng)車輪磨損后鐵路鋼軌面與軌枕和道床差異較大,其邊界在灰度像素值上變化明顯,可通過基于灰度梯度的邊緣檢測算子進(jìn)行提取。通過實驗發(fā)現(xiàn):Laplace算子運算結(jié)果受紋理干擾較大,線性連續(xù)性不足;Canny運算符耗時較長,且得到了大量弱邊界信息。而結(jié)構(gòu)簡單、實時性較高的Sobel算子,可有效提高算法的效率,摒除弱邊緣信息干擾。實驗結(jié)果如圖2(c)、圖2(d)、圖2(e)所示。經(jīng)標(biāo)準(zhǔn)Sobel算子提取得到的軌道線呈現(xiàn)雙側(cè)邊緣,且其中仍然有來自軌枕的水平方向邊緣信息、垂直方向邊緣信息和部分雜散弱邊緣。為減少干擾信息造成的誤差,本文采用數(shù)學(xué)形態(tài)學(xué)來剔除干擾邊緣。
數(shù)學(xué)形態(tài)學(xué)方法是根據(jù)構(gòu)造得到的固定結(jié)構(gòu)元素完成對數(shù)據(jù)的描述和處理,且對數(shù)據(jù)整體結(jié)構(gòu)影響較小,具有較高的計算效率和準(zhǔn)確度[12]。本算法的主要步驟為:通過分別建立垂直和水平方向的單線性結(jié)構(gòu)元素來重構(gòu)干擾信息,再在初步處理的邊緣中剔除重構(gòu)邊緣以得到雙線軌道,最后通過線間填充及形態(tài)學(xué)細(xì)化方法即可提取較為明確的鋼軌脊線,檢測結(jié)果如圖2(f)所示。
安裝在機(jī)車上的視覺傳感器與鋼軌在圖像空間中呈像具有視角固定的特性,采集的圖像幀中軌道線呈現(xiàn)近景區(qū)直線軌道固定,遠(yuǎn)景區(qū)直曲線不斷變化。本算法在近景區(qū)基于改進(jìn)霍夫變換求解完成直線軌道標(biāo)定,并固定直軌參數(shù)。直到視覺傳感器位置變化,算法重新計算直軌數(shù)據(jù),完成再次標(biāo)定。軌道線識別的核心點在于完成對遠(yuǎn)景區(qū)軌道特征點的識別和模型擬合。
依據(jù)鐵路線路標(biāo)準(zhǔn)對線路最小曲率半徑和坡度的要求,鋼軌表面可以認(rèn)為是連續(xù)且平滑的[13]。依據(jù)視覺呈像原理,在世界坐標(biāo)下平行的兩條軌道線相交于投影圖像內(nèi)一點。此消隱點Pvanish(v,u)內(nèi)方為軌道線范圍。將軌道線范圍以vb為界分割成遠(yuǎn)景區(qū)和近景區(qū)。視頻幀的圖像空間原點及方向定義如圖3所示。
圖3 軌道模型示意
描述鋼軌數(shù)學(xué)模型的選擇需充分考慮擬合的精確性和算法的計算效率。經(jīng)典的結(jié)構(gòu)化路徑檢測擬合數(shù)學(xué)模型有多段直線[11]、高次曲線、貝茲曲線、雙曲線[14]、樣條曲線[15]等。因為B樣條曲線具備描述精度高、修改靈活、線型光滑的優(yōu)點。本文以B樣條曲線作為遠(yuǎn)景區(qū)鋼軌的數(shù)學(xué)模型。B樣條曲線模型是由B樣條基函數(shù)進(jìn)行構(gòu)造的。模型的數(shù)學(xué)描述為
(1)
式中:Pi為曲線控制點;n為曲線階數(shù);t為參量;Bi,n為樣條基函數(shù),n階(n-1次)函數(shù)。Bi,n可描述為
(2)
為提高軌道線數(shù)學(xué)模型擬合的精度和抗干擾性能,本算法建立了以B樣條為可動部分的分段可切換曲線模型。數(shù)學(xué)表達(dá)式為
C=[nPna] 1≤n≤3
(3)
式中:Pn為軌道線曲線模型的特征控制節(jié)點;n為曲線的階數(shù);a作為記錄切換狀態(tài)的符號。
當(dāng)遠(yuǎn)景區(qū)鋼軌呈現(xiàn)直線特征時,曲線可切換部分模型階數(shù)取值為1,以遠(yuǎn)景區(qū)軌道線末端終點和分界點坐標(biāo)實現(xiàn)模型描述。當(dāng)遠(yuǎn)景區(qū)呈彎軌特征時,曲線模型可切換部分以3階樣條曲線進(jìn)行擬合。數(shù)學(xué)表達(dá)式為:
(1)1次B樣條直軌模型。模型取始終點坐標(biāo)作為擬合的特征控制節(jié)點。
(4)
(2)3次B樣條彎軌模型。曲線需由m+4個節(jié)點擬合確定,m為控制節(jié)點個數(shù)。通過設(shè)置三重坐標(biāo)點方法確保曲線經(jīng)過終點和始點坐標(biāo)。
(5)
設(shè)定近遠(yuǎn)景區(qū)模型切換的判斷規(guī)則為:近景區(qū)固定直軌線斜率kp與邊界點和曲線遠(yuǎn)景區(qū)特征終點所形成的斜率是否具有一致性??紤]像素偏差的影響,將判斷條件表示為
(6)
當(dāng)由算法搜索獲得的特征點和雙側(cè)鋼軌線的近遠(yuǎn)景邊界點形成的斜率符合式(6)約束時,對切換記錄標(biāo)識a的值進(jìn)行修改,采用3次曲線的模型完成擬合。
近景區(qū)軌道線標(biāo)定即求解完成近景區(qū)直線模型的固定參量。直線提取常采用霍夫變換來完成,標(biāo)準(zhǔn)霍夫變換是將圖像空間中的點映射為極坐標(biāo)參數(shù)空間中的曲線,利用點線的對偶特性使直線的識別轉(zhuǎn)化為統(tǒng)計過程[16]。算法具有較強(qiáng)的抗干擾優(yōu)勢,但以持續(xù)累加進(jìn)行統(tǒng)計的方式較為耗時。
考慮在1 435 mm的標(biāo)準(zhǔn)軌道間距條件下,將視覺傳感器固定于車輛后,通過試驗確定呈像空間直軌的方向角范圍為[65°,85°]和[-85°,-65°],且直軌線與圖像空間原點距不大于圖像的1/2對角線長。采用霍夫變換進(jìn)行改進(jìn)約束,提升累積效率。通過將算法中的統(tǒng)計單元(ρi,θi)分別在方向角范圍內(nèi)各取一個最大值實現(xiàn)。在像素為512×480的圖像空間里,霍夫變換的算法結(jié)果如圖4、圖5所示。通過標(biāo)準(zhǔn)坐標(biāo)與極坐標(biāo)的變換關(guān)系ρ=vcosθ+usinθ,即可求解得到標(biāo)準(zhǔn)的直線參數(shù)為
(7)
圖4 Hough變換圖5 直線提取結(jié)果
由以上直線方程求解得到圖像空間的左右線直軌延伸交點,即為消隱點Pvanish。本文算法通過視覺傳感器的呈像模型及現(xiàn)場枕木施工間距將近遠(yuǎn)景區(qū)域邊界點vb近似定于消隱點下1/2處。根據(jù)分區(qū)點的位置即可通過直線方程參數(shù)計算得到遠(yuǎn)景區(qū)的起始端點Pl0(vb,ul_boundry)和Pr0(vb,ur_boundry)。
目前常用的以邊緣方向和結(jié)構(gòu)化特征為基礎(chǔ)的軌道線檢測識別方法難以處理因呈像所導(dǎo)致的仿射結(jié)果。Hu矩具備平移、旋轉(zhuǎn)、尺度不變特性,本文通過基于Hu矩的可漂移檢測窗口來滿足特征點搜索需求。
4.2.1 Hu不變矩特征
常用的圖像數(shù)據(jù)紋理特征分析度量算子有SURF、傅里葉描述子、不變矩等。Hu不變矩是由HU M K等提出的,大量試驗證明了在笛卡爾坐標(biāo)系下,由2、3階歸一化中心矩所構(gòu)造的7個矩特征向量,不僅具有對灰度圖像縮放及扭曲過程中所引起的變化特征描述值不變的特點[17],而且相對計算量更小。所以,本算法采用Hu矩作為軌道線搜索匹配的參數(shù)。
隨機(jī)數(shù)據(jù)的分布可以用矩來描述。二維灰度密度函數(shù)同樣可用以表示圖像灰度值的分布情況。以矩作為灰度圖像的描述時,尺寸為M×N像素的數(shù)字圖像的p+q階中心矩Mpq和幾何矩upq可以表示為
(8)
(9)
式中:vp=Ml0/M00;uq=M01/M00;p,q值為0,1,…。通常,可以通過對中心矩實現(xiàn)歸一化處理去除圖像因縮放而產(chǎn)生的灰度變化。
(10)
式中:r=1+(p+q)/2,p+q=2,3,…。
針對Hu不變矩性能,通過各領(lǐng)域研究和實踐發(fā)現(xiàn)其前4維的描述效果更突出[18],并可降低系統(tǒng)資源需求,提升計算效率。采用前4維特征量,其表達(dá)式為
(11)
鑒于Hu矩的處理結(jié)果數(shù)據(jù)范圍較大,算法用對數(shù)表示結(jié)果,再參與比較。
Φi=abs(lgΦi)i=1,…,4
(12)
4.2.2 相似度度量
本算法中,歐幾里得距離作為對照搜索窗內(nèi)灰度特征與軌道線匹配程度的客觀表征量,取特征值向量為Xk=[Φk1Φk2Φk3Φk4]。
(13)
式中:k為搜索匹配窗的標(biāo)號;Dk為第k個搜索窗與前一搜索窗特征向量的歐式距離。
4.2.3 基于Hu不變矩的可漂移窗口搜索算法
常見的基于可漂移窗口的圖像特征點檢測算法通過設(shè)定等間距水平線來實現(xiàn)遍歷搜索,算法在進(jìn)行軌道線檢測識別中的計算量較大,且包括大量非目標(biāo)區(qū)域。本文根據(jù)軌道線延伸特性,提出一種以特征點轉(zhuǎn)向偏移量為約束條件的移動窗口搜索方法。
為滿足對于世界坐標(biāo)下遠(yuǎn)景搜索區(qū)域的近似等間距劃分,本文考慮道床枕木的等距施工特征,根據(jù)圖像傳感器的呈像原理,以枕木對遠(yuǎn)景區(qū)域的檢測窗口實現(xiàn)尺寸設(shè)置和標(biāo)定。標(biāo)定方法為:以固定數(shù)目枕木敷設(shè)間距為間隔,標(biāo)出檢測范圍內(nèi)的分界線LImage_i。通過度量相鄰分區(qū)的間隔距離比例來確定下一分區(qū)位置,記分界線為l1,l2,l3,…。各分區(qū)寬度設(shè)置為ai=0.5LImage_i,在近遠(yuǎn)景邊界點(vb,ul_boundry)和(vb,ur_boundry)分別設(shè)置搜索窗wli、wri,依據(jù)下文步驟展開搜索。搜索算法示意圖如圖6所示。
圖6 特征點搜索方法示意
以軌道線搜索窗的選擇為依據(jù),軌道線模型控制點的提取步驟如下:
步驟1由Pl0、Pr0檢測窗數(shù)據(jù)計算得到特征匹配窗內(nèi)對象的Hu矩Xl0=[Фl1Фl2Фl3Фl4],Xr0=[Фr1Фr2Фr3Фr4]。
步驟2以分步定位為原則,設(shè)置分區(qū)邊界l1上的wl1、wr1,由(ul0+ur0)/2開始檢測,檢測步長為ai/2,向兩側(cè)于[vl0,vr0]中記錄矩距離的極小值Dmin;初步定位后,通過遍歷步長范圍內(nèi)的點求取歐式距離最小值。
步驟3遠(yuǎn)景區(qū)曲線軌道的彎曲方向由計算Pl0,Pr0和Pl1,Pr1在水平方向的偏移量Δd得到,并設(shè)誤差范圍e。
步驟4將相隔連續(xù)已確定控制點的正向延長線與下一分界線的交點作為起點。若Δd>e,則單向檢測,正則向右,負(fù)則向左。若Δd≤e,取雙側(cè)進(jìn)行搜索。
步驟5取匹配度度量值T,Dmin≤T時,記錄此處軌道線特征點坐標(biāo)值作為控制點;Dmin>T而搜索未結(jié)束時,以獲得的前2個特征點坐標(biāo)為依據(jù),采用其向遠(yuǎn)景延長線方向的搜索起點作為特征點,將始點進(jìn)行dl或dr距離的偏移,作為此分區(qū)的控制點坐標(biāo)。
步驟6判斷算法是否終止,否則繼續(xù)下一檢測位置搜索,轉(zhuǎn)步驟4。終止條件:
(1)下一次搜索窗坐標(biāo)超出消隱邊界;
(2)兩側(cè)軌道線搜索獲得的控制點位置坐標(biāo)距d=uri-uli小于設(shè)定的閾值,即認(rèn)定軌道線近似相交。
步驟7進(jìn)入模型判別,擬合模型參數(shù)。
4.2.4 模型擬合
通過漂移窗檢測得到的控制起始點坐標(biāo)進(jìn)行可切換模型確定,以最小二乘法實現(xiàn)對選定模型的擬合及求解。本文舉例視頻幀中采集的左軌線特征點及其Hu不變矩值見表1。模型擬合匹配結(jié)果如圖7所示。
表1 示例中的軌道線特征節(jié)點提取數(shù)據(jù)
圖7 軌道模型擬合匹配結(jié)果
本文所提鋼軌檢測提取算法流程主要分為初始化處理、近景區(qū)直軌線固定參數(shù)求解、遠(yuǎn)景區(qū)曲線擬合與跟蹤3部分,檢測流程如圖8所示。在軌道線檢測中算法受環(huán)境及噪聲干擾而出現(xiàn)異?;蜃R別不出軌道線信息時,算法通過判斷終止條件在給出識別錯誤的同時重新開始進(jìn)行處理。在正常情況下,算法自動完成對于軌道線的參數(shù)更新。
圖8 軌道檢測算法流程
更新及追蹤過程考慮到圖像傳感器隔幀采集到的軌道線變化情況較小,呈像線路參數(shù)一致性較高,本文算法通過設(shè)置隔幀采集并優(yōu)先針對上次控制終點進(jìn)行搜索匹配。若搜索的結(jié)果與上次終點坐標(biāo)一致,則以上幀結(jié)果為輸出,若出現(xiàn)偏移,則根據(jù)算法流程進(jìn)行線路模型的重新擬合跟蹤。
本算法通過Matlab2013編程實現(xiàn),實驗檢測所用計算機(jī)系統(tǒng)為Windows7,系統(tǒng)CPU為2.4 GHz的Inter CORETMi3處理器。
采用與人工標(biāo)定結(jié)果進(jìn)行對比,以左右軌道線擬合函數(shù)值與標(biāo)定曲線差值的平均值作為誤差度量值,復(fù)現(xiàn)了文獻(xiàn)[8]中算法作為參照。以圖2軌道為例,誤差統(tǒng)計如圖9所示。在遠(yuǎn)景區(qū)域內(nèi),文獻(xiàn)[8]算法不具備適應(yīng)性,本文算法擬合誤差較??;在近景區(qū)域內(nèi),本文算法準(zhǔn)確度更優(yōu)。
圖9 軌道檢測誤差統(tǒng)計
實驗圖像數(shù)據(jù)包括246幅鋼軌的灰度圖片和120幀列車駕駛室的視頻序列幀。圖像像素尺寸為256×240。實驗對比結(jié)果見表2。本文算法實現(xiàn)對鋼軌的識別平均需要時長為81 ms,完成對鋼軌特征點提取及模型重擬合的時長為172 ms,識別正確率可達(dá)88.93%;文獻(xiàn)[8]算法軌道線提取時間均值為316 ms,正確率為55.74%,且文獻(xiàn)[8]算法難以準(zhǔn)確識別遠(yuǎn)景區(qū)曲線鋼軌。較為典型的場景下鋼軌的識別結(jié)果如圖10所示,其中本文方法如左側(cè)所示,文獻(xiàn)[8]算法如右側(cè)所示。
表2 算法實驗結(jié)果對比
圖10(a)為光照充足無砟道床場景下的軌道圖像,本文算法能夠提取鋼軌脊線位置,而文獻(xiàn)[8]算法識別到的軌道線產(chǎn)生了偏移。圖10(b)為陰雨天較差可視環(huán)境下小彎軌軌道圖像,本文算法可有效檢測出前方彎軌。圖10(c)為存在強(qiáng)干擾場景下的彎軌軌道,本文方法因光影信息使匹配結(jié)果出現(xiàn)偏移,文獻(xiàn)[8]算法僅準(zhǔn)確識別到右軌道線信息,左軌受強(qiáng)邊緣干擾及彎軌曲率而產(chǎn)生誤檢。圖10(d)中出現(xiàn)的單邊遮擋物使本文算法在右側(cè)遠(yuǎn)景區(qū)域軌道邊緣檢測未能準(zhǔn)確匹配,而文獻(xiàn)[8]算法因前方軌道斜率變化僅匹配到部分近景軌道。由此可以看出,本文方法對于場景變化的魯棒特性更好,同時數(shù)學(xué)模型能更精確地擬合軌道線。
(a)光照充足無砟道床直軌圖像
(b)陰雨天有砟彎軌軌道圖像
(c)有陰影干擾彎軌軌道圖像
(d)有遮擋干擾直軌軌道圖像圖10 軌道線檢測實驗結(jié)果
本文依據(jù)機(jī)器視覺在提取軌道線過程中的特性,提出一種分段可切換的曲線模型來實現(xiàn)軌道線的描述。其中,通過數(shù)學(xué)形態(tài)學(xué)方法能在初始化處理階段較好地消除邊緣中的干擾信息。在檢測跟蹤過程中,基于改進(jìn)霍夫變換能求解得到近景區(qū)直軌參量;通過以Hu矩來度量匹配度的可漂移窗口搜索算法能完成對于遠(yuǎn)景區(qū)鋼軌特征點的識別,基于模型更新步驟及規(guī)則來完成可切換樣條模型擬合過程。在多種環(huán)境場景下的實驗表明,算法可以有效應(yīng)對圖像中軌道線的仿射變化,具備一定的實時性和魯棒性。后續(xù)工作開展中,可將算法融合進(jìn)路軌前方障礙物探測、鐵路視頻監(jiān)控等技術(shù)領(lǐng)域,以期實現(xiàn)工程應(yīng)用。