張曉初 曹民

摘 要：增強(qiáng)現(xiàn)實(shí)系統(tǒng)在虛擬信息疊加過程中，待注冊(cè)區(qū)域會(huì)出現(xiàn)被遮擋情況，針對(duì)該問題，提出一種基于FAST特征檢測(cè)與TLD目標(biāo)跟蹤的混合增強(qiáng)現(xiàn)實(shí)系統(tǒng)三維注冊(cè)方法。首先采用TLD算法對(duì)待注冊(cè)目標(biāo)區(qū)域進(jìn)行跟蹤，再運(yùn)用FAST算法從指定目標(biāo)區(qū)域中提取相應(yīng)特征值，然后基于不同特征值之間的聯(lián)系構(gòu)建注冊(cè)矩陣，利用疊加矩陣得來的信息實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的效果。根據(jù)實(shí)驗(yàn)可知，混合三維注冊(cè)方法在光照變化、遮擋以及旋轉(zhuǎn)變換的情況下，可將虛擬信息快速、準(zhǔn)確地疊加到待注冊(cè)區(qū)域，有效提高AR系統(tǒng)實(shí)時(shí)性、穩(wěn)定性和魯棒性。

關(guān)鍵詞：FAST;TLD;增強(qiáng)現(xiàn)實(shí);注冊(cè)

DOI：10. 11907/rjdk. 182143

中圖分類號(hào)：TP319文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）002-0115-04

Abstract： In the superposition process of virtual information， the area to be registered will be obscured， and a three dimensional registration method of hybrid augmented reality system based on FAST feature detection and TLD target tracking is proposed. First of all， the target area of registration is followed by TLD algorithm， and the tracking target area is extracted and matched by FAST algorithm， then the registration matrix is calculated using the matching relationship between the feature points; finally， the virtual information is added to the registration matrix to enhance the real world. The experimental results show that the hybrid 3D registration method can quickly and accurately superpose the virtual information to the area to be registered under the conditions of illumination change， occlusion and rotation transformation， which can effectively improve the real-timeness， stability and robustness of the AR system.

Key Words： FAST;TLD;augmented reality;registration

0 引言

AR三維技術(shù)包含多個(gè)方面：自然特征、標(biāo)示、自然紋理及特殊標(biāo)示模式等。但基于標(biāo)識(shí)的注冊(cè)方法在虛擬信息疊加過程中，易出現(xiàn)待注冊(cè)區(qū)域被遮擋的情況[1]。隨著新一代人工智能的發(fā)展，在當(dāng)今AR領(lǐng)域，采用自然特征實(shí)現(xiàn)注冊(cè)已成為主要方向，不僅可以滿足當(dāng)前多重功能化應(yīng)用需求，而且擺脫了傳統(tǒng)地域及時(shí)空局限性，成為AR技術(shù)發(fā)展的主流趨勢(shì)，但是基于自然紋理特征的跟蹤匹配注冊(cè)策略在進(jìn)行特征值提取及特征值位置跟蹤時(shí)，時(shí)耗較大，嚴(yán)重影響AR系統(tǒng)性能 [2]。

現(xiàn)階段主流檢測(cè)算法包含SIFT、FAST、SURF 3種方法。FAST（features from accelerated segment test）檢測(cè)方法運(yùn)用較多，主要是由于其具有較明顯的實(shí)時(shí)監(jiān)測(cè)優(yōu)勢(shì)，能滿足增強(qiáng)現(xiàn)實(shí)系統(tǒng)實(shí)時(shí)性要求[3]。在實(shí)現(xiàn)位置跟蹤檢測(cè)時(shí)，一般采用光流法，它具有簡單、快速、高效等諸多設(shè)計(jì)優(yōu)勢(shì)，但該算法是基于跟蹤特征點(diǎn)坐標(biāo)的方式，在實(shí)踐中存在長時(shí)間跟蹤定位失敗的弊端。而TLD跟蹤檢測(cè)方法是一種融合檢測(cè)、跟蹤及在線學(xué)習(xí)的檢測(cè)模式，在實(shí)踐中具有較強(qiáng)的魯棒特性[4]。

綜上所述，本文提出一種基于FAST特征檢測(cè)與TLD目標(biāo)跟蹤的混合三維注冊(cè)方法。首先采用TLD算法跟蹤注冊(cè)區(qū)域，然后采用FAST算法對(duì)跟蹤區(qū)域進(jìn)行特征點(diǎn)檢測(cè)與匹配，求出三維注冊(cè)矩陣并完成注冊(cè)。除此之外，需要對(duì)輸入的視頻圖像按照公式（1）進(jìn)行色彩轉(zhuǎn)換[6]，可最大程度確定特定目標(biāo)數(shù)值位置、特征匹配，并進(jìn)行在線檢測(cè)，降低計(jì)算維度、提高運(yùn)算效率。

1 TLD目標(biāo)跟蹤

學(xué)習(xí)、跟蹤與檢測(cè)是TLD目標(biāo)檢測(cè)方法的3個(gè)子任務(wù)。這3個(gè)子任務(wù)都有單獨(dú)的處理部分，每個(gè)任務(wù)一起運(yùn)行[7]。跟蹤器的圖像匹配利用傳統(tǒng)NCC算法濾除匹配效果差的像素點(diǎn)。假設(shè)待處理模板圖像為T（大小為[M2×][N2]），待匹配圖像為F（大小為[M1×N1]）?；鶞?zhǔn)點(diǎn)選取整個(gè)適配圖像的左上位置，通過移動(dòng)模板T獲取相應(yīng)的搜索子圖，模板位于[（m，n）]處的像素分別為[Fij（i+m，j+n）]（其中[0iM1-M2]，[0iN1-N2]）及[T（m，n）]。對(duì)于NCC算法而言，發(fā)現(xiàn)匹配和模板圖像中存在的所有特征值就是該方法核心所在[8]。經(jīng)典去均值NCC算法為：

通過上述公式推理過程可知，TLD算法與傳統(tǒng)跟蹤檢測(cè)方法相比，具有更強(qiáng)的穩(wěn)定性、實(shí)時(shí)性，并且在較復(fù)雜的視頻環(huán)境中，能準(zhǔn)確檢測(cè)出目標(biāo)并進(jìn)行穩(wěn)定跟蹤[9]。

2 FAST特征點(diǎn)檢測(cè)與匹配

本文采用FAST算法提取與匹配注冊(cè)跟蹤目標(biāo)圖像特征點(diǎn)。

2.1 FAST特征檢測(cè)

FAST算法在提取特征值過程中，融入了FAST信息[10]。同時(shí)，F(xiàn)AST算法在描述目標(biāo)區(qū)域特征點(diǎn)時(shí)，采用BRIEF對(duì)其優(yōu)化，從而使圖形對(duì)噪音的敏感度降低，有效改觀旋轉(zhuǎn)時(shí)產(chǎn)生的流動(dòng)性。P作為像素聚焦中心點(diǎn)，基于FAST算法對(duì)其進(jìn)行分割檢測(cè)。假如目標(biāo)區(qū)域?yàn)閳A形，半徑用r表示，在該區(qū)域內(nèi)存在n個(gè)像素Ik，其中各像素間彼此聯(lián)系，則可通過公式（5）對(duì)像素點(diǎn)p是否可為角點(diǎn)作出有效判別。

其中，[Ip]代表p像素點(diǎn)在圖像上呈現(xiàn)的灰度數(shù)值;[Ip]指圖像中任何一個(gè)像素點(diǎn)在圖像上呈現(xiàn)的灰度數(shù)值[11]。因此可將尺度特性引入至圖形金字塔中，通過灰度質(zhì)心方法消除方向信息。

2.2 FAST特征點(diǎn)匹配

對(duì)待注冊(cè)區(qū)域與計(jì)算機(jī)模板進(jìn)行FAST特征匹配，需保證待注冊(cè)區(qū)域有足夠數(shù)量的高質(zhì)量特征點(diǎn)，判斷標(biāo)準(zhǔn)為[hi>H]。其中，Hessian值為[hi]，閾值H=1 000，且將提取的特征與上一幀特征進(jìn)行匹配。

在匹配過程中，受外部多重因素綜合影響，容易導(dǎo)致精度降低。為提升匹配精確度，采用RANSAC算法可以有效改善上述弊端[12]。

完成匹配后可計(jì)算出AR系統(tǒng)注冊(cè)矩陣，并將虛擬信息疊加至待注冊(cè)區(qū)域以完成對(duì)現(xiàn)實(shí)世界的增強(qiáng)。

3 增強(qiáng)現(xiàn)實(shí)系統(tǒng)混合三維注冊(cè)方法

增強(qiáng)現(xiàn)實(shí)系統(tǒng)在虛擬信息的疊加過程中，待注冊(cè)區(qū)域肯定會(huì)出現(xiàn)被遮擋的情況，導(dǎo)致無法進(jìn)行目標(biāo)區(qū)域跟蹤及特征檢測(cè)，從而無法成功注冊(cè)。通過觀察發(fā)現(xiàn)，在系統(tǒng)目標(biāo)跟蹤及特征檢測(cè)的整個(gè)過程中，在待注冊(cè)區(qū)域的周圍有一些固定區(qū)域，可為增強(qiáng)現(xiàn)實(shí)系統(tǒng)三維注冊(cè)穩(wěn)定性提供支持[13]。因此，本文混合三維注冊(cè)方法的具體步驟包括：①采用標(biāo)識(shí)注冊(cè)方法進(jìn)行注冊(cè);②若注冊(cè)不成功，利用周邊穩(wěn)定特征點(diǎn)進(jìn)行三維注冊(cè)。

3.1 初始三維注冊(cè)矩陣求取

圖1給出了顯示器、注冊(cè)圖形及攝像機(jī)的三重坐標(biāo)系，具體指示如下所示。其中[XP（u，v）]表示顯示器上任何一個(gè)點(diǎn)的有效投影坐標(biāo)。

投影點(diǎn)[XP（u，v）]與待注冊(cè)圖形上任意一點(diǎn)[P（X，Y，Z）]之間坐標(biāo)變換關(guān)系為[15]：

其中，f是攝像機(jī)焦距，尺度因子為[sx]、[sy]，圖像重心坐標(biāo)為[u0]、[v0]。通過圖1的坐標(biāo)及投影變換關(guān)系可知：

其中，三維注冊(cè)矩陣采用符號(hào)[Tm]表示[[xc，yc]]為節(jié)點(diǎn)X在屏幕圖像中呈現(xiàn)的理想坐標(biāo)數(shù)值，主要用[[Xm，Ym，Zm]]表示該數(shù)值在待注冊(cè)圖形中的有效值，C為攝像頭內(nèi)部參數(shù)。因此，通過獲取攝像頭參數(shù)矩陣C，再采用標(biāo)識(shí)注冊(cè)方法進(jìn)行注冊(cè)，即可得到初始三維注冊(cè)矩陣[Tm']。

3.2 初始注冊(cè)分析

提取特殊性質(zhì)圖像特征點(diǎn)后，利用初始矩陣[Tm']計(jì)算該特征點(diǎn)在注冊(cè)圖形坐標(biāo)系中的坐標(biāo)并保存，再建立多視角特征模板。若注冊(cè)區(qū)域是平面的，則將提取的特征點(diǎn)隨機(jī)仿射變換作為該特征點(diǎn)鄰域內(nèi)圖像新特征模板[16 ]，仿射變換方程為：

其中，m經(jīng)過變換后的新坐標(biāo)為n，t為二維平移向量，n0為仿射變換后鄰域中心坐標(biāo)，可將A矩陣分解為：

其中，[S=diag[λ1，λ2]]為縮放矩陣，[Rθ]與[Rφ]分別為[θ]和[φ]的旋轉(zhuǎn)[17]。其中參數(shù)范圍[θ]為±50°，[φ]為±80°，t為???? ±2px，模板間相關(guān)度計(jì)算方法為：

其中，[c（I1，I2）]可衡量兩者間不相似程度，[I1（x，y）]、[I2（x，y）]分別為兩個(gè)比較模板。

3.3 特征模板匹配

該步驟建立在AR場(chǎng)景中沒有圖形待注冊(cè)的基礎(chǔ)上，具體過程包括3個(gè)部分：

Step1：獲取現(xiàn)實(shí)圖像，并進(jìn)行特征點(diǎn)提取。

Step2：對(duì)提取到的特征點(diǎn)[（xc，yc）]，使用系統(tǒng)已存儲(chǔ)的特征模板與特征點(diǎn)[（xc，yc）]所在的注冊(cè)圖形塊進(jìn)行運(yùn)算。

Step3：選出較大相關(guān)度的特征點(diǎn)為當(dāng)前特殊性質(zhì)圖像特征對(duì)應(yīng)的點(diǎn)，則[（Xm，Ym，Zm）]為該匹配特征坐標(biāo)[18]。正相關(guān)度計(jì)算式為：

i]分別為圖像塊像素值和模板像素值。

3.4 混合三維注冊(cè)矩陣

模板匹配后得到候選特征點(diǎn)集合[（Xci，Xmi）] （1≤i≤匹配特征點(diǎn)對(duì)數(shù)），再依次計(jì)算注冊(cè)矩陣，具體注冊(cè)方法為：

Step1：從[（Xci，Xmi）]中隨機(jī)選取4對(duì)非共線特征點(diǎn)。

Step2：通過坐標(biāo)系和投影變換的關(guān)系，計(jì)算出的矩陣并作為備用[19]。

Step3：用特征點(diǎn)集合和備用矩陣計(jì)算每一對(duì)匹配特征點(diǎn)對(duì)應(yīng)的[Xci]以及[λCTmXmi]間的距離[di]，并計(jì)算出距離數(shù)最多的[Tm]，從而生成攝像頭目標(biāo)頭像區(qū)域矩陣值，完成對(duì)現(xiàn)實(shí)世界的增強(qiáng)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)平臺(tái)搭建

基于FAST特征檢測(cè)與TLD目標(biāo)跟蹤的混合三維注冊(cè)方法具體的實(shí)驗(yàn)平臺(tái)如表1所示。

4.2 三維注冊(cè)實(shí)驗(yàn)結(jié)果

對(duì)本文提出的混合三維注冊(cè)方法進(jìn)行實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如圖2-圖4所示。圖2為通過攝像頭獲取的初始頭像效果。在此基礎(chǔ)上，利用光照條件，實(shí)現(xiàn)對(duì)真實(shí)世界及虛擬物體之間的三維注冊(cè)，完成相應(yīng)的功能疊加，具體結(jié)果如圖3所示。圖4為在對(duì)光照進(jìn)行遮擋時(shí)的效果圖。通過對(duì)圖像旋轉(zhuǎn)變換實(shí)現(xiàn)注冊(cè)，具體結(jié)果見圖5。綜上可知，本文提出的方法在光照變化及遮擋時(shí)均可實(shí)現(xiàn)對(duì)AR系統(tǒng)的功能注冊(cè)，具有普適性。

基于上述分析可知，無論標(biāo)示是否可見，圖像是否進(jìn)行尺度或特征旋轉(zhuǎn)變換，均可通過AR系統(tǒng)注冊(cè)。

4.3 三維注冊(cè)實(shí)驗(yàn)結(jié)果分析

分別采用本文注冊(cè)方法與SURF注冊(cè)方法進(jìn)行注冊(cè)并對(duì)結(jié)果及AR系統(tǒng)三維注冊(cè)運(yùn)算時(shí)間進(jìn)行比對(duì)分析。對(duì)待注冊(cè)區(qū)域進(jìn)行平移、旋轉(zhuǎn)和縮放等操作，以100幀為一次平均計(jì)算間隔，注冊(cè)運(yùn)算時(shí)間對(duì)比結(jié)果如表2所示。

從表2可以看出，本文采用的研究方法具有較高的運(yùn)行效率，其中僅用0.18s即完成三維注冊(cè)，相對(duì)于傳統(tǒng)的SURF方法[20]，效率提升近1/3。所以采用TLE目標(biāo)與FAST特征檢測(cè)相互融合的方法，對(duì)于實(shí)現(xiàn)三維注冊(cè)信息具有較強(qiáng)的推動(dòng)作用，可以提升AR系統(tǒng)各種指標(biāo)性能，如魯棒性及實(shí)時(shí)呈現(xiàn)性。

5 結(jié)語

本文提出了一種準(zhǔn)確、快速的增強(qiáng)現(xiàn)實(shí)混合三維注冊(cè)方法，該注冊(cè)方法通過采用FAST特征檢測(cè)與TLD目標(biāo)跟蹤相結(jié)合的跟蹤注冊(cè)策略，利用TLD算法對(duì)目標(biāo)區(qū)域進(jìn)行準(zhǔn)確、有效跟蹤，采用FAST算法保證在視角、尺度縮放、亮度及旋轉(zhuǎn)等情況下注冊(cè)成功率及運(yùn)算效率。實(shí)驗(yàn)結(jié)果表明，本文三維注冊(cè)方法在待注冊(cè)位置發(fā)生光照變化、遮擋以及旋轉(zhuǎn)變換時(shí)，均能成功完成注冊(cè)。

參考文獻(xiàn)：

[1] BILLINGHURST M，CLARK A，LEE G. A survey of augmented reality[J]. Foundations and Trends in Human-Computer Interaction， 2015， 8（2-3）：73-272.

[2] 饒玲珊，林寅，楊旭波，等. 增強(qiáng)現(xiàn)實(shí)游戲的場(chǎng)景重建和運(yùn)動(dòng)物體跟蹤技術(shù)[J]. 計(jì)算機(jī)工程與應(yīng)用， 2012， 48（9）：198-200.

[3] 李揚(yáng)，孫超，張明敏，等. 跟蹤與匹配并行的增強(qiáng)現(xiàn)實(shí)注冊(cè)方法[J]. 中國圖象圖形學(xué)報(bào)，2011，16（4）：680-685.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[5] 歐陽能鈞，李偉彤，韋蔚，等. Comparison of SIFT， PCA-SIFT and SURF[J]. 遙感技術(shù)與應(yīng)用， 2013， 28（1）：58-64.

[6] 呂旸，王涌天，陳靖，等. 基于SIFT+KLT混合特征的增強(qiáng)現(xiàn)實(shí)跟蹤定位[C]. 2009中國計(jì)算機(jī)大會(huì)，2009.

[7] 王小紅. 基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法[J]. 哈爾濱師范大學(xué)：自然科學(xué)學(xué)報(bào)， 2017， 33（2）：71-74.

[8] 李炎， 尹東. 基于TLD的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)方法[J]. 系統(tǒng)仿真學(xué)報(bào)， 2014， 26（9）：2062-2067.

[9] 邢藏菊， 溫蘭蘭， 何蘇勤. TLD視頻目標(biāo)跟蹤器快速匹配的研究[J]. 小型微型計(jì)算機(jī)系統(tǒng)， 2015， 36（5）：1113-1116.

[10] ROSTEN E， DRUMMOND T. Machine learning for high speed corner detection[C]. European Conference on Computer Vision， 2006：430-443.

[11] CALONDER M， LEPETIT V， STRECHA C. et al. Brief： binary robust independent elementary features[C]. European Conference on Computer Vision， 2010：778-792.

[12] ROSIN P L. Measuring corner properties [J].Computer Vision and Image Understanding， 1999，73（2）：291-307.

[13] 周見光， 石剛， 馬小虎. 增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的虛擬交互方法[J]. 計(jì)算機(jī)工程， 2012， 38（1）：251-252.

[14] 張志禹， 劉耀陽. 基于SURF與光流法的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用， 2015， 51（3）：166-170.

[15] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

[16] 顧慶傳， 姜娜. 基于FAST特征點(diǎn)檢測(cè)的混合虛實(shí)注冊(cè)方法[J]. 哈爾濱師范大學(xué)：自然科學(xué)學(xué)報(bào)， 2017， 33（2）：58-62.

[17] RABIN J， DELON J， GOUSSEAU Y， et al. MAC-RANSAC： a robust algorithm for the recognition of multiple objects[J]. Proceedings of DPTV， 2010：51.

[18] 管濤， 李利軍， 段利亞，等. 基于標(biāo)識(shí)與平面間單應(yīng)性矩陣的虛實(shí)注冊(cè)方法[J]. 華中科技大學(xué)學(xué)報(bào)：自然科學(xué)版， 2006， 34（10）：55-57.

[19] ZHANG G F. Camera tracking based on structure and motion recovery for augmented video[J]. Chinese Journal of Computers， 2006， 29（12）：2104-2111.

[20] TRUCCO E， VERRI A. Introductory techniques for 3-D computer vision [M]. Englewood Cliffs： Prentice Hall， 1998.

（責(zé)任編輯：江 艷）