石泓，任智姣

（四川大學(xué)計算機學(xué)院，成都　610065）

基于改進Sobel算子和動態(tài)區(qū)域的鐵軌穩(wěn)像算法

石泓，任智姣

（四川大學(xué)計算機學(xué)院，成都610065）

由于列車運行時產(chǎn)生的震動，導(dǎo)致拍攝的視頻出現(xiàn)抖動現(xiàn)象。因鐵軌具有特定直線角度和實際運行情況，在動態(tài)區(qū)域中用改進的Sobel算子結(jié)合LSD算法來提取直線。在仿射模型下構(gòu)造特征三角形，利用最小二乘法計算全局運動矢量，最后用Kalman濾波得出運動補償矢量，對視頻幀進行運動補償。實驗表明，該方法在機載視頻穩(wěn)像上具有比較好的運行時間和最終效果。

鐵軌穩(wěn)像；Sobel；LSD直線檢測；Kalman濾波

0　引言

鐵路作為國家的重要基礎(chǔ)設(shè)施，在綜合交通體系中發(fā)揮著骨干作用。列車的安全運行一直受到大眾的關(guān)注。機車的視覺輔助系統(tǒng)，在輔助駕駛，行車記錄等方面起到了重要作用。但由于機車實際運行環(huán)境的影響，機車的震動是不可避免的，遂導(dǎo)致所拍攝的視頻存在不規(guī)則抖動，這不僅影響視頻質(zhì)量，而且還導(dǎo)致駕駛員的視覺疲勞。穩(wěn)像技術(shù)就是為了去除視頻中的無意運動，最終得到穩(wěn)定的視覺效果。根據(jù)技術(shù)原理和實現(xiàn)方式，穩(wěn)像技術(shù)可以分為：機械穩(wěn)像、光學(xué)穩(wěn)像、數(shù)字穩(wěn)像。而其中的數(shù)字穩(wěn)像技術(shù)是結(jié)合計算機數(shù)字圖像處理等方法來估計視頻幀的全局運動矢量并進行矯正。它是一種純軟件的技術(shù)，具有成本低，易操作等特點。一般包括以下三個步驟：運動估計、運動平滑、運動補償。其中運動估計和運動平滑是數(shù)字穩(wěn)像中的核心與關(guān)鍵［1］。

首先，運動估計是根據(jù)一定的運動模型來估計當前幀和參考幀的整體運動偏移量，即全局運動矢量（GMV：Global Motion Vector）。運動估計的準確性決定整個穩(wěn)像算法的效果。根據(jù)應(yīng)用模型不同，可以分為2D算法和3D算法。2D算法只考慮了平移，主要方法有［1］：圖像子塊匹配法、投影曲線匹配法和位平面匹配法等。3D算法除了能檢測偏移還能估計旋轉(zhuǎn)分量。常用的有幀匹配法，特征匹配法［2］。其中特征匹配法是尋找圖像的特征如：角點、邊緣、直線，并將幀間匹配特征點帶入一定的運動模型，求出運動參數(shù)，即全局運動矢量。

其次，運動平滑是在全局運動矢量中得到有意運動的過程。有意運動呈現(xiàn)出連續(xù)、平滑、線性的特點，而由于抖動所造成的無意運動，是一種隨機、非線性的運動，可以認為其是一種高頻噪聲，因此用低通濾波對全局運動矢量進行濾波，得到穩(wěn)定的有意運動。常用的方法有均值濾波、高斯濾波、卡爾曼濾波［6］。其中卡爾曼濾波，通過預(yù)測方程和測量方程線性遞歸地得出我們所關(guān)心的期望運動，可以用于實時系統(tǒng)。

最后，通過從全局運動矢量中分離出來的無意運動矢量，在相應(yīng)的運動模型下對視頻幀做相反的補償以輸出穩(wěn)定，符合人們視覺效果的視頻序列。

1　運動估計

1.1Sobel算子提取邊緣

邊緣是圖像中具有結(jié)構(gòu)特性的基本特征。通常具有灰度值跳變的性質(zhì)，而微分邊緣算子對灰度圖像進行卷積操作，恰恰可以反映這種性質(zhì)。常用的微分算子有：Prewitt算子［3］，Sobel算子［4］等。其中Sobel算子采用兩個3×3的模板對圖像進行卷積，分別計算像素點水平和垂直方向上的一階微分，對噪聲有一定的抑制作用。同時鄰域像素與當前像素的距離越遠產(chǎn)生地影響越小，因此有不同的權(quán)值。

根據(jù)實際情況，鐵軌直線具有一定的斜向方向性，所以本文提出一種改進的Sobel算子來更好的突出鐵軌直線特征，圖1（a），（b）為經(jīng)典Sobel算子垂直和水平方向上的模板，（c），（d）為改進Sobel算子垂直和水平方向上的模板：

圖1　

圖2為卷積以后的效果圖，可以發(fā)現(xiàn)改進后的Sobel算子更加突出了對角方向，一定程度上抑制了水平和垂直的邊緣：

圖2　

1.2LSD（Line Segment Detector）直線檢測

在所拍攝的視頻中，鐵軌是一種結(jié)構(gòu)特征明顯的路面信息。所以我們通過提取視頻中鐵軌直線，將其作為特征來估計幀之間的全局運動矢量。傳統(tǒng)的直線提取算法是基于Hough變換的，但它時間消耗大、誤檢率高而且結(jié)果易受參數(shù)的影響，在實時場景中并不適用。所以直線分割算法LSD［5］被提出，其無需參數(shù)控制，時間復(fù)雜度在線性級并且具有亞像素級的準確性。

（1）LSD首先用公式（1）計算每一個像素的梯度：

（2）然后按照公式（2）計算這個像素點與level-line的夾角以構(gòu)成一個level-line場。

（3）之后，將未選取像素作為種子點，貪婪地合并這個場里方向相近的像素，得到一系列置信區(qū)域（line support region）。對置信區(qū)域，做最小外接矩形并統(tǒng)計矩形的主方向。如果一個像素的level-line角度與最小外接矩形的主方向的角度差在容忍度內(nèi)的話，那么稱這個點為排列點。統(tǒng)計最小外接矩形內(nèi)的所有像素數(shù)和其內(nèi)的排列點數(shù)，用來判定這個置信區(qū)域是否是一個直線段。

1.3動態(tài)感興趣區(qū)域的選取

觀察所拍攝的視頻可以發(fā)現(xiàn)，圖像中除了鐵軌直線信息，還有枕木、路基等近似直線信息。這增加了時間消耗和誤匹配。通過分析，幀圖像上2/3區(qū)域是天空區(qū)域和可能出現(xiàn)一定角度的彎道鐵軌，而下方1/3區(qū)域為鐵軌直線所在的區(qū)域。機車在鐵軌上運行是一相對穩(wěn)定的運動狀態(tài)，即鐵軌所在的區(qū)域在幀之間不會出現(xiàn)區(qū)域越變。所以我們可以根據(jù)前一幀所檢測的直線來動態(tài)設(shè)置感興趣區(qū)域ROI，作為下一幀的算法運行區(qū)域。這樣不僅縮減了提取特征的時間，并且去除了路基等不相關(guān)的干擾，提高了檢測的準確性。

1.4構(gòu)建交叉點三角形求得放射模型下的參數(shù)

運動模型有：平移模型，仿射模型和投影模型，經(jīng)過分析，本文選用仿射模型來作為幀之間的運動模型，且其中的縮放因子可以忽略不計，即該運動模型具有三個未知參數(shù)。

本文根據(jù)最終選取的兩條鐵軌直線的交叉點為頂點，并在兩條直線上選取距離交叉點距離為L（本文采取100）的點，這樣可以由對應(yīng)三個點的坐標值帶入公式（3）構(gòu)建六個方程，這是一個超定方程，由最小二乘法來求得最后參數(shù)。

2　基于Kalman濾波的運動平滑

Kalman濾波器將含有隨機抖動的視頻幀的絕對位移看成是觀察信號，將穩(wěn)定的視頻位移當做過程信號。其關(guān)鍵的兩個步驟是預(yù)測和更新，通過前一幀的穩(wěn)定信息來估計當前幀預(yù)測值，并計算Kalman增益來加權(quán)確定當前幀的穩(wěn)定信息。通過線性迭代來實現(xiàn)，具有較高的時間運行效率，所以可以用在實時穩(wěn)像中。本文利用公式（4）求得視頻幀位置信號FPS，并對FPS利用Kalman濾波得到穩(wěn)定的有意幀位置信息TFPS，利用公式（5）求得補償向量CMV。

圖3表示了卡爾曼濾波的效果曲線：

圖3　

3　算法流程

（1）截取視頻幀的下1/3圖像，用改進的Sobel算子對圖像提取邊緣；

（2）如果為第一幀，以圖像中間為界分為左右兩個區(qū)域，作為ROI的初始區(qū)域。否則，以上一幀求得的左右直線為對角線來構(gòu)造矩形ROI；

（3）在動態(tài)區(qū)域中運用LSD算法提取直線；

（4）通過長度和角度閾值去除額外直線，通過投票機制選取直線集合中的內(nèi)側(cè)鐵軌直線；

（5）通過交點和距交點長度為L的點構(gòu)造三角形；

（6）根據(jù)仿射模型構(gòu)建超定方程，用最小二乘法求得全局運動矢量；

（7）利用卡爾曼濾波對視頻幀位置求得補償向量，并對每一幀進行運動補償。

4　實驗結(jié)果

本文算法在一臺普通臺式計算機 （CPU：英特爾i3，主頻2.7GHz，RAM：4G）上做實驗，采用C++在VS2013+OpenCV3.0環(huán)境編譯運行。時間效率及效果如表1和圖4：

表1　

圖4　

5　結(jié)語

本文對列車車載攝像頭拍攝的視頻進行分析研究，提出一種基于改進Sobel算子并用LSD算法在動態(tài)區(qū)域內(nèi)提取直線特征來計算全局運動矢量，最后用Kalman濾波實現(xiàn)視頻穩(wěn)像的算法。實驗表明，在時間效率和效果上都有比較好的效果。

［1］王志民，徐曉剛.電子穩(wěn)像技術(shù)綜述［J］．中國圖象圖形學(xué)報，2010，15（3）：470-480.

［2］Huang K Y，Tsai Y M，Tsai C C，et al．Feature-Based Video Stabilization for Vehicular Applications［C］．Consumer Electronics （ISCE），2010 IEEE 14th International Symposium on.IEEE，2010：1-2.

［3］Prewitt J Object Enhancement and Extraction（A）.inB.Lipkin and A.，Rosenfeld，eds.，Picture Processing and Psychopictorics〔M〕. AcademicPress，NewYork，1970.

［4］Davis L.S.A Survey of Edge Detection Techniques［J］.CGIP，1979.4：248-270［5］Rafael Grompone Von Gioi，Jean-Michel Morel，et al.LSD：a Line Segment Detector［J］.IEEE Transactions on Software Engineering，2010，32（4）：722-744.

［6］Wang C，Kim J H，Byun K Y，et al.Robust Digital Image Stabilization Using the Kalman Filter［J］.Consumer Electronics，IEEE Transactions on，2009，55（1）：6-14.

Rail Video Stabilization Algorithm Based on Improved Sobel and Dynamic Region

SHI Hong，REN Zhi-jiao
（College of Computer Science，Sichuan University，Chengdu 610065）

Due to the vibration generated by the train running，leading to the emergence of a video shot jitter phenomenon.Because the rail has a specific line angle and the actual situation，the linear is extracted by LSD in dynamic region with the improved Sobel operator.In the affine model，constructs the characteristic triangle，and calculates the global motion vector by the least square method.Finally，the motion compensation vector is obtained by the Kalman filter，and the motion compensation is performed on the video frame.Experimental results show that the proposed method has a better running time and the final effect on the vehicle video stabilization.

Rail Stabilization；Sobel；Line Segment Detector；Kalman Filter；Dynamic Region

1007-1423（2016）27-0003-04DOI：10.3969/j.issn.1007-1423.2016.27.001

石泓（1989-），男，山西太原人，在讀碩士研究生，本科，研究方向為多源信息融合與圖像處理

2016-06-20

2016-09-10

國家自然科學(xué)基金（No.61071162）

任智姣（1990-），女，山西太原人，在讀碩士研究生，研究方向為圖形圖像處理、圖像拼接