劉婉君

（四川大學(xué)計算機(jī)學(xué)院，成都610065）

0 引言

平面目標(biāo)跟蹤是增強(qiáng)現(xiàn)實(shí)領(lǐng)域中一種針對平面目標(biāo)的三維跟蹤技術(shù)，同時也是各種視頻應(yīng)用中的一個基本任務(wù)[1]。隨著社會智能化進(jìn)程的加快，其需求和應(yīng)用場景不斷擴(kuò)大。近年來，無人駕駛汽車、SLAM 系統(tǒng)等領(lǐng)域的出現(xiàn)，使得平面目標(biāo)跟蹤技術(shù)對于跟蹤的精確性和魯棒性要求也越來越高?；仡欉^去的幾十年，在前人的不斷努力和探索中，目標(biāo)跟蹤已取得了長足的進(jìn)步，技術(shù)相對成熟。雖然各類優(yōu)秀的算法和有效的新理論相繼涌現(xiàn)，但現(xiàn)有的平面目標(biāo)跟蹤算法依舊無法完全適應(yīng)各種惡劣的跟蹤條件，特別是在視點(diǎn)移動過程中造成的運(yùn)動模糊、遮擋、超出視野等復(fù)雜情況下仍面臨著巨大挑戰(zhàn)。

本文針對上述問題，介紹了一種結(jié)合邊緣幾何約束和直線特征的平面目標(biāo)跟蹤算法。在直線檢測基礎(chǔ)上，利用光流點(diǎn)確定平面物體的凸包范圍篩選候選直線，再求解相鄰兩幀之間的直線重合度，構(gòu)建像素點(diǎn)鄰域內(nèi)線段描述子，并基于重合度和特征向量相似度實(shí)現(xiàn)平面目標(biāo)邊緣直線的匹配，同時引入單應(yīng)性矩陣對角點(diǎn)坐標(biāo)進(jìn)行約束，以確定最終目標(biāo)位置。

1 相關(guān)工作

到目前為止，常用的平面目標(biāo)跟蹤方法大致可分為三類，一是基于關(guān)鍵點(diǎn)的方法[2-3]，需要提取原始特征構(gòu)建周圍點(diǎn)的二維描述符，以最近鄰的方式進(jìn)行匹配，但一旦出現(xiàn)重復(fù)紋理或者關(guān)鍵點(diǎn)稀疏，特征點(diǎn)可能會失效。二是基于模板的方法[4]，直接利用像素的外觀特征，不考慮特征點(diǎn)，然后通過最小化測量兩幀間誤差來估算模板的轉(zhuǎn)換參數(shù)，通常容易受到局部遮擋和快速運(yùn)動等擾動因素的影響。三是基于圖的方法[5]，采用一種幾何圖形匹配方法，輸出匹配度最好、關(guān)系最優(yōu)的候選圖，最后轉(zhuǎn)化為跟蹤目標(biāo)的圖像位置，此類方法對視點(diǎn)變化比較敏感。

上述算法在一般場景中都能工作良好，但復(fù)雜環(huán)境下跟蹤的穩(wěn)定性和準(zhǔn)確性卻難以得到保證，而本文算法不僅適用于室內(nèi)，還能很好地適應(yīng)戶外場景，極大拓展了自身的應(yīng)用范圍。并且在直線特征描述子構(gòu)建過程中充分考慮了旋轉(zhuǎn)、尺度變化等因素，與以前的方法相比，克服了視點(diǎn)遠(yuǎn)近帶來的局限性，在保證有效跟蹤的基礎(chǔ)上，能夠一定程度上減少對跟蹤器的跟蹤性能[6]的影響。

2 算法實(shí)現(xiàn)

算法將初始圖像幀中已標(biāo)定的四個頂點(diǎn)坐標(biāo)作為輸入，通過預(yù)處理操作篩選出目標(biāo)周圍符合要求的部分候選直線，滿足重合度和特征相似度約束的則認(rèn)為匹配成功，輸出為視頻序列下一幀中平面目標(biāo)的具體位置信息。具體流程如圖1 所示。

圖1 算法流程圖

2.1 圖像預(yù)處理

首先把彩色圖像轉(zhuǎn)換為灰度圖像，并進(jìn)行高斯平滑濾波消除圖像噪聲。之后通過Canny 算子[7]檢測圖像平面內(nèi)的有效直線，其原理類似于其他梯度算子，不同的是它會從水平、垂直和對角線四個不同的方向計算梯度幅值估計邊緣強(qiáng)度，尋找像素點(diǎn)局部最大值。其中非最大值抑制可以較好地減少寬度細(xì)化邊緣，接著再用雙閾值處理和連接合并斷裂的短線段。然后對時刻t 的視頻幀中平面物體邊緣按比采樣獲得輪廓點(diǎn)集，利用Lucas-Kanade 稀疏光流法[8]進(jìn)行跟蹤。該算法基于三個不變性假設(shè)：①亮度恒定，②像素偏移小，③空間一致性，可大致計算出t+1 時刻對應(yīng)點(diǎn)的圖像坐標(biāo)。由光流跟蹤結(jié)果能夠確定目標(biāo)物體所在位置的凸包范圍，位于該區(qū)域內(nèi)的直線將作為候選直線用于后續(xù)重合度約束和直線特征構(gòu)建處理。

2.2 計算重合度

假設(shè)攝像機(jī)運(yùn)動微小，視頻相鄰兩幀之間運(yùn)動偏移量不大。在理想情況下，基于前提條件相互重合或匹配的兩條直線線段理應(yīng)基本平行，并接近于一條直線。但實(shí)際匹配過程中，絕大多數(shù)的候選直線與待匹配直線都存在一定的距離和角度，如圖2，l 表示待匹配直線，l’表示候選直線。

圖2 候選直線與待匹配直線位置關(guān)系

為突出兩條直線重合區(qū)域間的大小變化，本文采取積分求解面積的方法。以待匹配直線和候選直線交點(diǎn)作為原點(diǎn)，所交銳角的角平分線為x 軸建立新的坐標(biāo)系。（x1,y1）和（x2,y2）分別對應(yīng)重合區(qū)域的起點(diǎn)和終點(diǎn)坐標(biāo)。設(shè)x 代表重合區(qū)域內(nèi)位于待匹配直線上的點(diǎn)的橫坐標(biāo)，s 表示任意點(diǎn)x 的距離，有：

為避免式（1）中的s 值因兩直線斜率相近較小而導(dǎo)致失效，直線重合度函數(shù)公式（2）的定義引入了模糊數(shù)學(xué)中常見的隸屬度概念，然后在定義域內(nèi)繼續(xù)對該函數(shù)求定積分，所得結(jié)果即為待匹配直線與當(dāng)前候選直線段重合區(qū)域的長度。

式中dis 設(shè)置為候選直線和待匹配直線對應(yīng)的起點(diǎn)距離和終點(diǎn)距離的均值，分別計算當(dāng)前幀中每條候選直線的重合度。本文中重合度下限為待匹配直線長度的1/2，當(dāng)O( l,l' )大于等于該閾值時，則保留其重合度值，記錄匹配結(jié)果。

2.3 特征匹配與矯正

直線特征描述子的構(gòu)建如圖3 所示，在候選直線上按順時針方向等距采點(diǎn)，并沿x 軸或y 軸方向確定鄰域范圍。為解決尺度因素影響，鄰域大小可根據(jù)圖像和邊緣像素比自適應(yīng)調(diào)整。分別選取所在直線梯度方向上下各兩個點(diǎn)a1,a2,b1,b2和邊緣上一點(diǎn)pt，基于Lab顏色模型計算a、b 方向上采樣點(diǎn)與直線上的點(diǎn)的通道梯度值，以保證特征向量具有光照不變性和旋轉(zhuǎn)不變性。然后將其封裝成一個多維向量d（ii=1,2,…,n），最終候選線段n 個采樣點(diǎn)的特征向量組合構(gòu)成直線特征描述子D=（d1,d2,d3,…,dn）。

圖3 直線特征向量示意圖

候選直線的匹配需要對特征向量進(jìn)行重定位，即確定候選直線的特征描述子對應(yīng)于待匹配直線描述子的相對位置。根據(jù)直線預(yù)處理過程光流跟蹤結(jié)果計算邊緣的最小外接圓，以圓的半徑作為基準(zhǔn)，將候選直線的起點(diǎn)和終點(diǎn)投影到該線段上，相應(yīng)占比為直線匹配的具體范圍。皮爾遜相關(guān)系數(shù)能夠反映兩個變量之間的線性相關(guān)程度，因此本文選取該統(tǒng)計指標(biāo)作為匹配的衡量標(biāo)準(zhǔn)之一。對多維的直線描述子均一化為一維的特征向量，按積差方法得到相似度，同時求解梯度方向的殘差和。以重合度約束為前提，候選直線中相似度最高的成為平面目標(biāo)的匹配邊緣。

跟蹤過程中，由于目標(biāo)被遮擋或相機(jī)出現(xiàn)瞬間抖動造成圖像模糊，可能會出現(xiàn)直線特征的丟失或是找不到任何對應(yīng)的直線段，從而匹配失敗。本文主要是通過單應(yīng)性變換來完成平面目標(biāo)邊緣的修補(bǔ)和校正，從相鄰兩幀提取SIFT 特征點(diǎn)后恢復(fù)出單應(yīng)性矩陣，利用同一平面的變換關(guān)系將當(dāng)前幀的角點(diǎn)投射到下一幀，以此解決邊緣遮擋直線特征描述子提取失敗的問題，確保跟蹤的穩(wěn)定性。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)環(huán)境為Intel Core i5-7400 CPU，8G 運(yùn)行內(nèi)存，以O(shè)penCV 3.4.3、Boost、Eigen、Ceres 等開源庫作為支持，在虛擬機(jī)Ubuntu 16.04 操作系統(tǒng)下運(yùn)行。根據(jù)場景首幀中人工標(biāo)注的角點(diǎn)坐標(biāo)，針對移動視點(diǎn)視頻里的平面目標(biāo)進(jìn)行定位跟蹤，紅色框內(nèi)為跟蹤目標(biāo)，第一張為初始標(biāo)定幀。與Ferns[3]算法對比，相同場景下同幀實(shí)驗(yàn)結(jié)果如下，（a）（b）分別為Ferns 和本文算法，。圖4 為室內(nèi)場景遮擋的情況，視頻某些幀會不定時出現(xiàn)遮擋物，圖5 為超出視野，目標(biāo)物體部分位于圖像平面外不可見，此時Ferns 算法跟蹤不穩(wěn)定，容易產(chǎn)生偏差和形變，甚至丟失跟蹤目標(biāo)，而本文提出的方法，可以準(zhǔn)確地定位到平面目標(biāo)物體，可見整體上是優(yōu)于Ferns 算法的。

4 結(jié)語

本文針對平面物體存在部分遮擋、超出視野的移動視點(diǎn)視頻影像，提出基于幾何約束和直線特征的目標(biāo)跟蹤算法。該算法不僅利用了直線的幾何特征，同時參考了周圍點(diǎn)的顏色信息，不同于其他基于特征點(diǎn)的描述子構(gòu)建方法，本文引入了尺度因子，能夠有效規(guī)避縮放帶來的極大多數(shù)問題，而且攝像機(jī)的旋轉(zhuǎn)受益于特征點(diǎn)采樣時的方向校正，也能保持較好的穩(wěn)定性。其次對于視頻中的每幀進(jìn)行在線處理，可以極大擴(kuò)寬在增強(qiáng)現(xiàn)實(shí)領(lǐng)域的應(yīng)用。但當(dāng)視點(diǎn)快速移動出現(xiàn)明顯的運(yùn)動模糊時，本文算法較難提取到足夠特征，因此如何提高適應(yīng)性將是未來的工作重心。

圖4 遮擋

圖5 超出視野