(上海工程技術大學 城市軌道交通學院,上海 201620)
軌道近景攝影測量技術能夠?qū)崿F(xiàn)對各軌道部件幾何狀態(tài)的檢測及軌道空間線形的測量,是軌道無接觸、動態(tài)實時檢測的發(fā)展趨勢。然而軌道近景攝影技術由于拍攝角度及拍攝距離的影響,單幅圖像中包含的軌道區(qū)段長度有限,此時需要將多幅軌道圖像進行匹配拼接,獲得完整的軌道圖像以提高檢測效率[1-2]。由于有渣軌道圖像具有圖像色彩信息單一,圖像背景復雜,特征分布多變的特點,使得軌道圖像在匹配過程中容易造成誤匹配,檢測速度難以提高[3-5]。對軌道圖像特征分布規(guī)律的研究,有利于對確定的軌道圖像特征建立針對性的檢測模型,提高圖像匹配的快速性和準確性,對用圖像實現(xiàn)軌道空間線形建模具有重要意義。
目前,國內(nèi)外對軌道圖像特征的研究主要集中在扣件區(qū)域,根據(jù)hough變換提取扣件直線特征進行圖像匹配,但是少有涉及根據(jù)扣件細分及鋼軌軌枕區(qū)域點特征的分布規(guī)律,利用更易獲得的、數(shù)量較少的幾個幾何特征點進行圖像匹配。
本文提出使用尺度不變的Harris特征點檢測算法提取軌道圖像的幾何特征點,對得到的特征點用sift描述子計算其特征向量,在分析軌道圖像部件特征及布設規(guī)律的基礎上,運用分析統(tǒng)計的方法獲得軌道圖像間出現(xiàn)頻率最高的同名點,實現(xiàn)軌道特征點分布規(guī)律的研究。
軌道結構主要由鋼軌、軌枕、扣件等部件連接組成。如圖1所示,鋼軌、扣件及枕木分布密集、排列規(guī)律、均勻且?guī)缀翁卣髅黠@,適宜作為軌道特征規(guī)律研究的有效部件;其他軌道部件由于布置間隔距離過長或分布不均勻,不適合作為軌道特征規(guī)律研究的有效部件[6-7]。
圖1 軌道部件示意圖
扣件相比于軌枕、鋼軌結構更加復雜。主要由螺母、平墊圈、彈條、軌距擋板、擋板座等部分構成,且各個部分幾何特征明顯[8]。彈條Ⅱ型扣件結構如圖2所示。
圖2 彈條Ⅱ型扣件結構示意圖
根據(jù)以上分析,螺母、彈條、擋板座、鋼軌軌枕交叉處具有明顯幾何特征,可以推測出現(xiàn)幾何特征點的頻率較高。因此,將軌道圖像劃分為4個區(qū)域進行特征點分布規(guī)律研究:螺母區(qū)域、彈條區(qū)域,擋板座區(qū)域,鋼軌軌枕交叉區(qū)域。
Harris算子是Harris C和Stephens MJ提出的一種基于信號的特征提取算子[9],該算子檢測圖像中每一個像素的興趣值,通過分塊選擇可以使特征點分布均勻;并且檢驗到的特征點能夠反映圖形的結構。SIFT(scale invariant feature transform,SIFT)是GLowe D在2004年提出的基于不變量描述子的特征點匹配算法。SIFT檢測算子具有良好的尺度、旋轉、視角及光照不變性,特征描述子所含信息量豐富,并且匹配數(shù)量可控,精度高[10-11]。但是算法本身需要對圖像進行多次分層卷積平滑操作,使得提取過程復雜且運算時間長,對像素量少的興趣區(qū)域響應弱;并且獲得的特征點無法反映圖像的幾何結構,即不是人眼可辯的特征點。
根據(jù)軌道圖像部件的幾何特征及布設規(guī)律,本文結合harris與sift算法,先對圖像指定區(qū)域進行尺度不變的Harris特征點檢測,再用sift描述子對特征點建立特征向量,根據(jù)合適的點確定同名點,完成匹配。
2.1.1 Harris特征檢測算子對特征點的定義分析
受morvaec算子的影響,harris算子認為特征點是區(qū)域像素在灰度值上的變化。所不同的是,harris不再局限于對鄰域內(nèi)水平、垂直、對角和反對角四個方向灰度變化的考察,而是考慮窗口沿任意方向移動時灰度的變化情況:在平坦區(qū)域,窗口沿任意方向移動,區(qū)域內(nèi)圖像灰度保持恒定;在邊沿區(qū)域,窗口沿垂直邊緣方向移動,區(qū)域內(nèi)圖像灰度差異性顯著;在兩條邊緣相交的角點區(qū)域,窗口沿任意方向移動,區(qū)域內(nèi)圖像灰度差異性均表現(xiàn)明顯。
Harris對特征點的定義符合本文要查找的人眼可見的軌道幾何特征點特征。例如,軌道檔板肩幾何上是一個矩形長條,其有效的結構特征點為矩形的四個頂點,一階微分后harris窗口在角點區(qū)域沿各個方向移動的響應均較大。
2.1.2 Harris檢測算子原理分析
傳統(tǒng)的Harris特征點檢測算法受信號處理中自相關函數(shù)的啟發(fā),檢測算子只涉及圖像的一階導數(shù)。建立M矩陣如下:
(1)
其中:Ix和Iy分別是圖像I在x方向和y方向的梯度;G是高斯模板;?表示高斯模型和函數(shù)進行卷積運算。
為避免求解M的特征值,定義harris的特征點響應函數(shù)為:
R(x,y)=Det(M)-cTr(M)2
(2)
(3)
(4)
其中:det為矩陣行列式;tr為矩陣的跡(即矩陣對角線之和);c為經(jīng)驗值,通常取0.04~0.06[12]。
2.1.3 尺度不變的harris檢測算子
傳統(tǒng)的harris檢測算子對旋轉平移等變換具有良好的穩(wěn)定性,但是受圖像尺度變化影響較大,較小的尺度變化會帶來大量的錯誤檢測。軌檢車運行過程中由于鋼軌踏面不平滑等原因產(chǎn)生震動,進而使檢測相機抖動,由此攝影得到圖像會有少許尺度變化。為克服檢測過程中圖像的尺度變化,找到不受尺度變化影響的幾何特征點,本文引入尺度不變的harris檢測算子。
借鑒mikolajczyk等人對傳統(tǒng)harris特征檢測算子的改進,現(xiàn)定義具有尺度適應性的harris二階矩陣μ(x,y,δI,δD)為:
?
(5)
其中:(x,y)為像素點坐標,Ix和Iy分別為圖像沿水平和豎直方向的一階微分,δI為用于平滑圖像的高斯核函數(shù)的積分尺度,δD為用于計算圖像梯度的高斯核函數(shù)的微分尺度。并且δI=SδD,s為常數(shù)且s小于1。
將軌道圖像按部件組成及分布情況分成不同小區(qū)域,對不同區(qū)域設定不同的閾值。以尺度空間為基礎,分別在尺度域和空間域中搜索響應極值點。其具體步驟為:
1)預先定義一組積分尺度:
δ1…δn=δ0…knδ0
其中:k取1.4。通過確定積分和微分尺度,生成一組μ(x,y,δI,δD)。
2)進行位置空間搜索:
(1)對于給定的尺度空間,計算特征點響應函數(shù),判斷響應值是否大于閾值。
(2)對像素點進行8鄰域最大值搜索,保留鄰域內(nèi)響應值最大的候選點。
3)進行尺度空間搜索:
(1)計算候選點的拉普拉斯函數(shù)響應,保留函數(shù)絕對值大于閾值的點為新的候選點。
(2)在相鄰兩個尺度空間中,將候選點與其鄰域共26個點作比較,判斷拉普拉斯響應是否為鄰域內(nèi)的最值點。
本文以彈條Ⅱ型軌道扣件為研究對象,典型的扣件圖像如圖2所示。由于軌道圖像像素的單一性和背景的復雜性,使得軌道部件幾何頂點及其交叉點成為穩(wěn)定特征點可能出現(xiàn)的區(qū)域。分別用尺度不變的harris檢測算子對扣件、螺母進行特征點檢測,結果如圖3所示。
圖3 扣件、螺母特征點檢測結果
對用尺度不變的harris檢測算子得到的特征點,用sift描述子計算其特征向量。
2.2.1 特征點方向分配
利用圖像的局部特征給每一個關鍵點分配一個基準方向,采用特征點的3σ鄰域窗口內(nèi)像素的梯度和方向分布特征進行描述。梯度的模值和方向如下:
(6)
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/
(L(x+1,y)-L(x-1,y)))
(7)
其中:L表示特征點的尺度空間,梯度的模值m(x,y)按1.5σ的高斯分布加成,按尺度采樣的3σ原則,鄰域窗口半徑為3×1.5σ[13]。
建立方向直方圖,統(tǒng)計特征點鄰域范圍各像素的梯度和方向,直方圖的峰值表示該點鄰域梯度的方向,定義此關鍵點的主方向為直方圖最大值所對應的方向,并定義該點的輔方向為峰值大于主方向峰值80%的方向。
2.2.2 特征點特征描述
sift描述子是用一個128維向量表示,記錄了關鍵點鄰域8個方向的梯度信息。具體計算步驟如下:
1)對關鍵點所在尺度空間的鄰域進行區(qū)域劃分,將其分成d*d個子區(qū)域(本文設置d=4),每個子區(qū)域有8個方向。
2)為保證圖像的旋轉不變性,旋轉坐標軸到關鍵點的方向。關鍵點領域內(nèi)各采樣點旋轉前與旋轉后的坐標關系為:
(8)
(x,y∈[-radius,radius])
3)計算領域內(nèi)各子區(qū)域全部像素的梯度值,將所有梯度值歸并到8個方向上,并計算其權值。
4)確定每個特征點的特征向量。計算各子區(qū)域8個方向的梯度值,得到一個128維的梯度向量,此向量即為特征向量。
如前文所述采用尺度不變的harris角點檢測提取軌道幾何特征點,用sift描述子計算已知特征點的特征向量,則特征匹配的一般流程如圖4所示。
圖4 特征匹配的一般步驟
本文采用歐氏距離作為特征向量的相似性度量準則。
(9)
其中:D值表示特征點之間的相對距離,值越小,表明兩個特征點越相似。搜索策略:以待匹配圖像A中的特征點為定點,采用鄰近搜索法在待匹配圖像B中搜索,找到距離最近和次近的兩個特征點,計算他們之間的比值,若比值小于預先設定的閾值,則認為他們是同名點。運用隨機抽樣一致性算法對得到的同名點進行篩選,去除誤匹配的點[14]。
在不同光照條件下對有渣軌道進行大量多角度攝影,根據(jù)軌道部件幾何結構及其布設特點將軌道劃分為不同興趣區(qū)域。分別對每一區(qū)域進行harris-sift特征點匹配,統(tǒng)計具有物理幾何意義的同名點出現(xiàn)頻率,分析不同區(qū)域特征點分布頻率高或者低的原因。
本文主要在matlab2016a版本上實現(xiàn)改進的harris-sift 軌道幾何特征點的分布規(guī)律研究,實驗數(shù)據(jù)均為實拍有渣軌道圖像。
實驗根據(jù)軌道布設及部件特點,將軌道圖像劃分為螺母區(qū)域,彈條區(qū)域,擋板座區(qū)域,鋼軌軌枕交叉區(qū)域。分別對每一區(qū)域進行尺度不變harris特征點檢測,用sift描述子計算特征點的特征向量并匹配,根據(jù)實驗結果統(tǒng)計具有明顯幾何特征的同名點出現(xiàn)頻率。
其中,為保證檢測的幾何特征點有效并且準確,在特征點檢測過程中采用如下幾條實驗策略:
1)經(jīng)驗閾值k的選取影響候選特征點的個數(shù)及可靠性,不同區(qū)塊選區(qū)的k值不同。
2)將harris候選點的興趣值從大到小排列選取前50個點作為特征點(我們認為總能被檢測到的特征點,其興趣值應顯著大于其他特征點)。
3)為避免不同區(qū)塊內(nèi)特征點聚簇現(xiàn)象,采用n*n窗口掃描圖像,僅保留每次移動窗口內(nèi)響應值最大的候選點為特征點。
對不同軌道圖像區(qū)域檢測及匹配結果如圖5~8所示。
圖5 擋板座塊匹配結果圖
圖6 螺母塊匹配結果圖
圖7 交叉塊匹配結果圖
圖8 彈條塊匹配結果圖
對1000幅軌道實拍圖像進行檢測,特征點統(tǒng)計結果如表1所示。
表1 特征點統(tǒng)計結果
由表1分析可知,選取前50個興趣值最高的特征點作為考察點,擋板座頂點被檢測到的次數(shù)最高,出現(xiàn)頻率達到97.8%。螺母邊角和彈條拐點被檢測到的頻率相近,由于兩者灰度值相近且有陰影影響,使幾何特征點的識別率較低。鋼軌軌枕的邊緣交叉點由于周圍存在大量雜點使得特征點識別率低。
1)通過對軌道圖像統(tǒng)計分析,擋板座頂點被檢測到的頻率最高,達到97.8%。由于擋板座幾何形態(tài)簡單且規(guī)則(矩形長條),適宜運用harris特征點檢測方法選取特征點,并且其灰度值顯著大于周圍部件灰度值,微分結果顯著。檢測算子的旋轉不變性讓圖像適應多角度攝影。
2)由于彈條以及螺母與軌距擋板灰度值相近,幾何特征相對復雜,并且,由于部件間的相對位置,攝影光照必定產(chǎn)生圖像陰影,使得此區(qū)域的幾何特征點檢測率低。
3)邊緣交叉處圖像背景復雜,軌枕處雜點像素較多,并且鋼軌灰度值與軌距擋板相近,直接用harris檢測特征點,前50個興趣點難以觀測到有用的幾何特征點。
針對軌道圖像色彩單一、背景復雜,單幅圖像特征點多變且不準確的問題。本文提出結合尺度不變的harris特征點檢測算子和sift檢測算子的方法,將harris特征點反映物體幾何特征的特點與sift描述子的旋轉不變性、精度高的特點相結合。通過大量采樣攝影和統(tǒng)計分析,確定軌道圖像中出現(xiàn)頻率最高的同名點,實現(xiàn)軌道圖像特征點分布規(guī)律的研究,得出結論:擋板座頂點出現(xiàn)頻率明顯高于其他區(qū)域幾何特征點。