余曉毅 宋濤 衛(wèi)排鋒 馬愛萍

摘? 要：針對傳統光流法圖像特征缺失、邊界及遮擋等處容易導致目標跟蹤質量降低或丟失的問題，提出一種半稠密光流法實現圖像特征的穩(wěn)定跟蹤。首先計算出圖像中像素梯度變化較大的像素區(qū)域;其次利用時變圖像灰度的時空梯度函數來計算像素的速度矢量，進而實現像素區(qū)域的跟蹤;最后將狀態(tài)向量作為剔除跟蹤失敗的依據，保留跟蹤質量優(yōu)良的像素區(qū)域。結果表明，該算法能有效地提高圖像特征跟蹤能力，保證圖像中重要信息不丟失，同時保證運算速率。

關鍵詞：光流法;半稠密;圖像處理;特征跟蹤

中圖分類號：TP391? ? ?文獻標識碼：A

文章編號：2096-1472（2021）-04-22-04

Abstract： Traditional optical flow method tends to cause poor quality or loss of target tracking in areas of image feature missing， boundary and occlusion. In view of this problem， this paper proposes a semi-dense optical flow method to achieve stable tracking of image features. First， pixel area with great gradient changes in the image is calculated. Secondly， pixel velocity vector is calculated by spatiotemporal gradient function of time-varying image gray in order to realize pixel area tracking. Finally， state vector is used as a basis for removing tracking failure and pixel area with good tracking quality is retained. Results show that the proposed algorithm can effectively improve image feature tracking ability and ensure important information in the image and calculation rate.

Keywords： optical flow method; semi-dense; image processing; feature tracking

1? ?引言（Introduction）

圖像匹配作為計算機視覺的基礎算法十分重要，傳統的圖像匹配主要分為兩類：一類是基于特征點的方法[1]，另一類是基于灰度不變假設[2]?；谔卣鼽c的圖像匹配方法主要有SIFT[3-4]、SURF[5]以及高效的ORB[6-7]特征提取算法。特征點法總體計算量大，耗時長。基于灰度不變假設的圖像匹配方法主要以光流法為主。目前主要的光流法可以分為兩類：一類是以Lucas-Kanade（LK）[8]光流法為代表的稀疏光流法，另一類是以Horn-Schunck（HS）[9]光流法為代表的稠密光流法。由于LK光流法中只對特征點進行追蹤，丟掉圖像中大量的有用信息，容易導致特征不足[10]。HS光流法主要以整幅圖像作為特征跟蹤的依據，存在計算量較大、耗時較長等問題。

針對光流法中存在的問題，本文提出一種半稠密光流法的圖像跟蹤匹配算法。根據圖像中的梯度變化，選取梯度值較大區(qū)域作為光流法跟蹤的目標，保留跟蹤質量優(yōu)良的像素區(qū)域。該算法相較于LK光流法能有效地提高特征跟蹤能力，保證圖像中重要信息不丟失，同時提高運算速率。

2? 半稠密光流法原理（Principle of semi-dense optical flow method）

2.1? ?半稠密光流算法流程

光流法是一種提取速度快、性能良好的算法。但是目前主流的光流法均存在一定缺陷。LK光流法能快速實現特征提取及跟蹤，但是只提取了圖像的特征點，而舍棄了圖像中其他重要的信息，導致LK光流法獲得的數據在后續(xù)的處理中只能獲得稀疏性質的結果。HS光流法需要對整幅圖像進行光流法處理，耗費計算資源，同時需要耗費大量時間。

本文提出的半稠密光流法的圖像跟蹤匹配算法能在最大程度保留圖像信息的同時提高運算速率，減少運算時間，是一種快速、準確、穩(wěn)定的圖像匹配算法，流程如圖1所示。

2.2? ?半稠密區(qū)域選取

半稠密區(qū)域選取主要以灰度梯度的變化作為選取依據，將灰度變化較大的區(qū)域選取出來作為特征區(qū)域。具體實現流程如下：

（1）首先遍歷源圖像灰度圖中的各個像素，剔除遍歷像素中位置處于邊緣10像素范圍以內的灰度點。

（2）構造一個二維向量，用于存儲選取的每個像素周圍相鄰像素間的灰度變化值。其中每個像素周圍灰度變化值由公式（1）計算獲得：

其中表示原圖灰度，表示梯度向量，表示像素坐標。

（3）設置閾值，判斷灰度梯度向量的二范數是否大于閾值。當梯度向量二范數大于閾值時，保留特征區(qū)域，作為光流法跟蹤的特征區(qū)域;反之剔除該區(qū)域，計算下一區(qū)域。

2.3? ?光流算法原理

在輸入的數據中，我們可以認為相鄰幀之間的圖像是存在對應關系的，根據這些對應關系，我們可以計算出幀間的運動信息，從而實現對圖像特征的追蹤。光流法主要取決于三個條件：相鄰幀圖像間灰度不變假設、幀間圖像時間連續(xù)性假設以及空間一致性假設。假設為圖像點在時刻的圖像灰度，經過時間像素點移動位移為，那么此時的灰度值為。根據泰勒公式將其展開可以得到：

由于光流法是基于灰度不變假設，因此得到灰度關系為：

所以得到的約束方程。

由于其基于灰度不變原理，因此當相機運動過快時，會導致灰度變化較大，特征點跟蹤丟失。所以引入高斯金字塔分層來改進光流法，采用由粗到細的匹配策略來對光流進行估計。高斯金字塔模型如圖2所示。

假設同一尺度下的兩張圖像的灰度分別為和。選取圖像的一點，那么在圖像中存在追蹤點，其中為像素點的幀速。選定一個大小為和的矩形窗口，將像素點幀速的最小化函數定義為：

根據圖2構造的迭代金字塔模型，通過降采樣的迭代跟蹤實現最小化函數的求值。

3 實驗結果及分析（Experimental results and analysis）

為了驗證本文半稠密光流法的有效性，主要使用標準數據集中圖片，分別采用ORB特征點法和本文算法、LK光流法和本文算法在圖像信息提取量與耗時上進行對比分析。根據實驗如圖3所示。

其中圖3（a）、圖3（c）、圖3（e）表示三組圖像分別采用ORB特征匹配的結果，圖3（b）、圖3（d）、圖3（f）分別表示采用半稠密光流法實現圖像跟蹤結果。通過三組圖像匹配實驗結果可以看出，ORB特征點法雖然能進行圖像匹配，但是只能保存特征點的信息，無法保存圖像信息。同時我們也可以看出，ORB特征點匹配存在大量的誤匹配點。而本文算法結果可以看出，圖像中包含了大量有用信息，保證了圖像信息最大化地保留，同時也保證了圖像特征的穩(wěn)定高效跟蹤。

在以上三組圖像跟蹤實驗中，提取ORB特征點法與本文算法的數據如表1所示。根據表1分析可知：采用本文算法進行特征跟蹤的數目是ORB特征點法檢測數目的幾十倍以上，證明本文算法能很好地保留圖像信息。同時可以看出，本文算法在計算每組圖像每一個特征區(qū)域時耗時分別為0.1624 ms、0.193 ms、0.175 ms，ORB特征點法在計算每組圖像每一個特征點時耗時分別為0.74 ms、0.78 ms、0.74 ms?？梢姳疚乃惴ㄔ谶\行速度上遠遠快于ORB特征點法。

將半稠密光流法與LK光流法進行圖像匹配效果對比，結果如圖4所示。

其中圖4（a）、圖4（c）、圖4（e）分別表示LK光流法實現圖像跟蹤結果，圖4（b）、圖4（d）、圖4（f）分別表示半稠密光流法實現圖像跟蹤結果。通過三組圖像匹配實驗結果可以看出，LK光流法能較好地實現特征跟蹤，但是只能提取圖像中的特征點，無法保留圖像中有用的信息。而本文算法結果可以看出，圖像中包含了大量有用信息，保證了圖像信息最大化地保留，同時也保證了圖像特征的穩(wěn)定高效跟蹤。在以上三組圖像跟蹤實驗中，提取LK光流法與本文算法數據如表2所示。

根據表2分析可知：采用本文算法進行特征跟蹤的數目是LK光流法檢測數目的幾倍以上，證明本文算法能很好地保留圖像信息。采用本文算法進行特征跟蹤時，圖像特征丟失率均處于較低水準，證明本文算法相較于LK光流法具有更好的穩(wěn)定性和更高的跟蹤質量。根據表格分析耗時情況可以看出，根據圖像對光流跟蹤總耗時和檢測特征點數目可計算LK光流法三組平均每一個特征點時耗時分別為0.256 ms、0.1066 ms、0.135 ms。本文算法在部分場景下運算速度高于LK光流法，在其他場景下運算速度同LK光流法也不相上下。

綜上分析可知：本文算法整體性能優(yōu)異，能在保證運算速率的前提下，充分提取圖像中的有用信息，同時實現穩(wěn)定的特征跟蹤。

4? ?結論（Conclusion）

采用LK光流法進行特征跟蹤時，圖像中大量有用信息都被丟失，容易導致后續(xù)處理過程中圖像信息不足。同時特征跟蹤穩(wěn)定性較差，容易造成特征丟失。采用ORB特征點算法進行特征匹配時不僅會丟失大量圖像信息，同時由于要計算特征描述子，需要耗費大量的時間。本文針對以上問題提出了半稠密光流法的圖像跟蹤匹配算法，該算法將LK光流法中FAST角點檢測替換為圖像灰度梯度檢測，通過對梯度較大的圖像區(qū)域實現光流法跟蹤，能有效地保留圖像中的有用信息，同時提高圖像中特征區(qū)域的匹配質量，保證運算速率。通過與ORB特征點、LK光流法的對比實驗，我們可以得出：該算法能有效提高特征跟蹤能力，保證圖像中重要信息不丟失，同時保證算法的運算速率以及穩(wěn)定性。

參考文獻（References）

[1] LIU Y， CAO J Z， XU Z H， et al. Improvement of image matching algorithm based on gray correlation[J]. Journal of Applied Optics， 2007， 11（1）：68-73.

[2] ZHONG W B， NING X B， WEI C J. A fingerprint matching algorithm based on relative topological relationship among minutiae[C]. International Conference on Neural Networks and Signal Processing. IEEE， 2008：225-228.

[3] LOWE D G. Object recognition from local scale-invariant features[C]. Proceedings of the Seventh IEEE International Conference on Computer Vision. IEEE， 1999：1-8.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

[5] BAY H， TUYTELAARS T， GOOL L V. SURF： Speeded up robust features[C]. European Conference on Computer Vision. Springer-Verlag， 2006：404-417.

[6] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF[C]. 2011 International Conference on Computer Vision. IEEE， 2012：2564-2571.

[7] 曾慶化，陳艷，王云舒，等.一種基于ORB的快速大視角圖像匹配算法[J].控制與決策，2017，32（12）：2233-2239.

[8] LUCAS B D， KANADE T. An iterative image registration technique with an application to stereo vision[C]. Proceedings of the 7th International Joint Conference on Artificial Intelligence. Morgan Kaufmann， 1981：121-130.

[9] BRUHN A， WEICKERT J， SCHNORR C. Lucas/kanade meets horn/schunck： Combining local and global optic flow methods[J]. International Journal of Computer Vision， 2005， 61（3）：211-231.

[10] 盧勝男，李小和.結合雙向光流約束的特征點匹配車輛跟蹤方法[J].交通運輸系統工程與信息，2017，17（4）：76-82.

作者簡介：

余曉毅（1977-），男，碩士，講師.研究領域：圖像處理，機器學習.

宋? 濤（1987-），男，博士，副教授.研究領域：人體姿態(tài)識別，圖像三維重建.

衛(wèi)排鋒（1974-），女，本科，副教授.研究領域：信號分析，數據處理.

馬愛萍（1978-），女，本科，副教授.研究領域：大數據，人工智能.