童小念，范利君

(中南民族大學(xué) 計算機(jī)科學(xué)學(xué)院， 武漢 430074)

增強(qiáng)現(xiàn)實AR(Augmented Reality)是一個多學(xué)科交叉的新型研究領(lǐng)域，它涉及到信號處理、計算機(jī)圖形和圖像處理、人機(jī)界面和心理學(xué)、移動計算、計算機(jī)網(wǎng)絡(luò)、分布式計算、信息獲取和信息可視化,以及新型顯示器和傳感器的設(shè)計等許多內(nèi)容.虛擬現(xiàn)實系統(tǒng)一般將用戶與真實環(huán)境隔離開，通過模擬人的視覺、聽覺、力覺、觸覺、嗅覺、味覺等多種感官，使其沉浸在計算機(jī)生成的虛擬世界中[1，2].而增強(qiáng)現(xiàn)實系統(tǒng)則是在虛擬現(xiàn)實技術(shù)的基礎(chǔ)上發(fā)展的，在增強(qiáng)現(xiàn)實中，用戶與真實世界不須隔離，而是將計算機(jī)生成的虛擬物體或其它信息融合到真實環(huán)境中，從而實現(xiàn)對現(xiàn)實的增強(qiáng).

增強(qiáng)現(xiàn)實也被稱為混合現(xiàn)實系統(tǒng)，它具有虛實結(jié)合、實時交互、三維注冊的特點(diǎn).其中三維注冊所要完成的任務(wù)是實時檢測出使用者頭部的位置和視線方向，根據(jù)這些信息確定所要添加的虛擬信息在真實空間坐標(biāo)中的映射位置，并將這些信息實時顯示在屏幕的正確位置.為了實現(xiàn)虛實間的結(jié)合，三維注冊運(yùn)算至關(guān)重要.

1 ARtoolkit視覺原理

當(dāng)前流行的增強(qiáng)現(xiàn)實系統(tǒng)軟件包有ARtoolkit，ARSTudio和ARtag等，其中ARtoolkit應(yīng)用最廣泛.ARtoolkit是一套基于C/C++語言和OpenGL圖形庫的增強(qiáng)現(xiàn)實系統(tǒng)二次開發(fā)包，可以支持SGI IRIX、PC Linux、Mac OSX、PC Windows(95/98NT/2000/XP)等操作系統(tǒng)，同時也支持Video(普通視頻)和標(biāo)準(zhǔn)see-through AR，Video see-through AR可將虛擬圖像覆蓋到實時視頻[3-5].

1.1 攝像機(jī)標(biāo)定

ARtoolkit中攝像機(jī)與標(biāo)識系統(tǒng)的關(guān)系如圖1所示.攝像機(jī)標(biāo)定的目的是測定真實場景與虛擬物體的位置和姿態(tài)信息，包括位置和方向角以及攝像機(jī)參數(shù)，以確定不同坐標(biāo)系間的變換關(guān)系，如世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的轉(zhuǎn)換、攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系間的轉(zhuǎn)換等.由于ARtoolkit中世界坐標(biāo)系與標(biāo)識坐標(biāo)系重合，三維注冊就轉(zhuǎn)化為攝像機(jī)坐標(biāo)系與標(biāo)識坐標(biāo)系間的三維變換矩陣的求解.

圖1 攝像機(jī)和標(biāo)識坐標(biāo)系統(tǒng)

1.2 ARtoolkit工作流程

在利用ARtoolkit開發(fā)AR程序前需制作標(biāo)識，系統(tǒng)根據(jù)不同的標(biāo)識返回不同的ID值來疊加不同的虛擬物體.ARtoolkit提供的標(biāo)準(zhǔn)模板是一個帶黑色邊框的正方形，開發(fā)人員根據(jù)需要向白色區(qū)域中添加自定義圖形.ARtoolkit模板標(biāo)識如圖2所示.

圖2 ARtoolkit模板標(biāo)識

ARtoolkit開發(fā)增強(qiáng)現(xiàn)實系統(tǒng)[6]包含以下步驟：1)利用攝像頭獲取真實場景信息輸入到系統(tǒng)中；2)根據(jù)用戶設(shè)定的閾值將采集到的彩色圖像轉(zhuǎn)換成二值黑白圖像，然后對該二值圖像進(jìn)行連通域分析；3)找出其中所有的四邊形區(qū)域作為候選匹配區(qū)域，將每一候選區(qū)域與模板庫中的模板進(jìn)行匹配.4)系統(tǒng)首先根據(jù)相機(jī)的位置信息和真實場景中的定位標(biāo)記來計算攝像機(jī)相對于已知標(biāo)識的位置和姿態(tài).5)按照仿射變換矩陣在視平面上繪制虛擬物體，最后與真實場景的視頻合并顯示在屏幕上.

2 注冊方法

2.1 單應(yīng)性矩陣

針孔攝像機(jī)成像模型下以齊次坐標(biāo)表示的平面坐標(biāo)系中的點(diǎn)Xw=[X,Y,Z]T與XI=[x,y,z]T其在像平面上的投影之間的關(guān)系可以表示為式(1)：

[x,y,z]T=λCTCW[X,Y,Z,1]T,

(1)

其中：λ為比例因子；TCW=[r1,r2,r3,t]為攝像機(jī)坐標(biāo)系與平面坐標(biāo)系間的投影變換矩陣，包含3個旋轉(zhuǎn)分量和一個平移分量；C為已知的攝像頭內(nèi)部參數(shù).由于規(guī)定真實場景中的平面與其自身坐標(biāo)系的Z=0平面重合[7]，式(1)可轉(zhuǎn)化為式(2)：

[x,y,z]T=λC[r1,r2,t][X,Y,1]T=H[X,Y,1]T,

(2)

(3)

2.2 仿射重建與仿射重投影

給定空間點(diǎn)的集合{X1,X2,X3,…，Xn}，n≥4若其中至少4點(diǎn)非共面[8]，則可以利用這4點(diǎn)定義仿射坐標(biāo)系，其它任意點(diǎn)可以利用上述4點(diǎn)的一個線性組合來表達(dá).仿射重建和放射重投影是仿射變換坐標(biāo)系下的2個重要性質(zhì).仿射重建的目的是為了獲取空間中的點(diǎn)在仿射坐標(biāo)系下的位置，假設(shè)一個點(diǎn)在2幅參考圖像上的投影分別為(x,y,1)T和(x′,y′,1)T，則該點(diǎn)在仿射坐標(biāo)系下的坐標(biāo)(x″,y″,z″，1)T可以由式(4)獲?。?/p>

(4)

如果已知仿射坐標(biāo)系下的一點(diǎn)(x″,y″,z″,1)T，且定義仿射坐標(biāo)系的4點(diǎn)在當(dāng)前圖像上的投影為已知，則該點(diǎn)在當(dāng)前圖像上的投影點(diǎn)(xk,yk,1)T可以根據(jù)仿射重投影原理計算，如式(5)：

(5)

其中，(xi,yi)(i=0,1,2,3)為定義仿射坐標(biāo)系的4點(diǎn)在當(dāng)前圖像上的投影；M3×4為仿射重投影矩陣.由以上分析可知，只要在參考圖像上指定真實場景中非共線的4個點(diǎn)就可以建立世界坐標(biāo)系，在實時跟蹤階段利用仿射重投影原理恢復(fù)這4個點(diǎn)在當(dāng)前圖像上的位置，根據(jù)這4點(diǎn)在場景平面和當(dāng)前圖像上的對應(yīng)關(guān)系及式(3)就可以計算出三維注冊變換矩陣.而標(biāo)識點(diǎn)在場景平面和當(dāng)前圖像上的對應(yīng)關(guān)系可由L-K算法求得.

2.3 L-K特征匹配算法的改進(jìn)

L-K光流算法由Lucas和Kanada在1981年提出來[9-10]，它計算兩幀圖像在時間間隔ΔT內(nèi)每個像素點(diǎn)位置的移動.設(shè)I(x)和T(x)分別表示在兩幅圖像中的點(diǎn)x處像素灰度值，W(x;p)表示該點(diǎn)在兩幅圖像間的轉(zhuǎn)換關(guān)系，P為給定的初始變換參數(shù).

L-K迭代算法的時間復(fù)雜度為O(n2N+n3)，而計算Hessian矩陣的時間復(fù)雜度為O(n2N)，因為N遠(yuǎn)大于n，則計算Hessian矩陣占用了大量計算資源.為了提高Hessian矩陣的計算效率，本文改進(jìn)了L-K特征匹配算法，旨在提高注冊效率.改進(jìn)算法的流程如下：

Fork=1：k

利用Sobel算子計算圖像的灰度值，取一點(diǎn)I；

計算I(W,(x;p))-T(x)；

[I(W(x;p))-T(x)] ；

End

所用關(guān)鍵公式有：

某點(diǎn)在相鄰兩幅圖像間的轉(zhuǎn)換式:

W(x;p)=W(x;p)·W(x;Δp)-1,

(6)

變換參數(shù)的迭代求解:

(7)

解得Hessian矩陣(自變量為向量的實值函數(shù)的二階偏導(dǎo)數(shù)組成的方塊矩陣)為：

(8)

3 實驗結(jié)果及分析

本文改進(jìn)算法在VS2008環(huán)境下開發(fā)，采用普通免驅(qū)動USB接口的攝像頭攝取場景圖像，使用了OpenGL圖形函數(shù)庫和ARtoolkit應(yīng)用軟件包.其實驗效果如圖3所示.圖4為傳統(tǒng)算法和改進(jìn)算法所需時間開銷和獲取的視頻幀率對比.

圖3 虛擬物體注冊效果圖

圖4 仿真結(jié)果對比圖

由實驗結(jié)果可見，圖3(a)中標(biāo)識物角點(diǎn)(黑色邊角)并沒有完全顯現(xiàn)，依然較精確完成了注冊效果，顯示了三維立體圖形；圖3(b)中有其他標(biāo)識物A對D的干擾(非多標(biāo)示識別)，但是依然準(zhǔn)確注冊，并能根據(jù)視角的變化和旋轉(zhuǎn)角度進(jìn)行姿態(tài)調(diào)整(花朵朝向蜜蜂開放).圖4數(shù)據(jù)顯示本文改進(jìn)算法獲取的視頻幀率為29.826pfs，而傳統(tǒng)Artoolkit算法的視頻幀率為27.181pfs，且在frame5到frame10之間以及frame15到frame20之間傳統(tǒng)算法抖動劇烈，穩(wěn)定性較弱.本文的改進(jìn)算法完成注冊矩陣計算的時間為0.0017s， 而未采用改進(jìn)算法的注冊方法完成矩陣計算的時間為0.0019s， 運(yùn)算效率提高了11%.實驗結(jié)果表明，本文改進(jìn)的注冊算法具有更高的運(yùn)算效率和穩(wěn)定性，能夠更好地滿足增強(qiáng)現(xiàn)實系統(tǒng)的要求.

4 結(jié)語

在研究ARtoolkit視覺原理的基礎(chǔ)上，結(jié)合仿射變換恢復(fù)圖像變化量和攝像機(jī)相對位置姿態(tài)變化量之間的關(guān)系矩陣，采用改進(jìn)的L-K算法提高了注冊的精度和效率.該算法在增強(qiáng)現(xiàn)實注冊技術(shù)方面具有一定的實用價值.

[1]Kato H,Billinghurst M.Marker tracking and HMDCalibration for a video-based augmented reality conferencing system[C]//IEEE and ACM.International Workshop on Augmented Reality (IWAR’99).San Francisco: CA,1999:59-65.

[2]Ren P.The technology of vision-based tracking and registration in augmented reality [C]// ICBECS.Biomedical Engineering and Computer Science.Chengdu: University of Electronic Science and Technology of China,2008:20-32.

[3]Wloka Matthias,Anderson Brian.Resolving occlusion in augmented reality [C]//ACM.Symposium on Interactive 3D Graphics,1995.USA:ACM Press,1995: 5-12.

[4]Berger Marie-O.Resolving occlusion in augmented reality: a contour based approach without 3D reconstruction [C]//IEEE.International Conference on Computer Vision and Pattern Recognition,1997.USA: IEEE,1997: 91-96.

[5]Stricker Didier,Klinker Gudrun,Reiners Dirk.A fast and robust line-based optical tracker for augmented reality applications [C]//Behringer U.First International Workshop on Augmented Reality,1998.USA: A K Peters Ltd,1998: 129-145.

[6]Fischer Jan,Regenbrecht Holger,Baratoff Gregory.Detecting dynamic occlusion in front of static backgrounds for AR scenes[C]//ACM.Eurographics Workshop on Virtual Environments(EGVE’03).USA: ACM Press,2003: 153-161.

[7]朱杰杰，潘志庚.用視覺計算實現(xiàn)視頻增強(qiáng)現(xiàn)實遮擋處理[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2007,19(12):1624-1629.

[8]明德烈，柳 健，田金文.增強(qiáng)現(xiàn)實中的虛實注冊技術(shù)研究[J].中國圖象圖形學(xué)報:A版,2003,8(5):524-559.

[9]Barfield W,Baird K.Applications of wearable computers and augmented reality to manufacturing[C]// Barfield W.Fundamentals of Wearable Computers and Augmented Reality.Mahwah: NJ,2001: 691- 723.

[10]Zhang Z Y,Deriche R,Faugeras O,et al .A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry [J].Artificial Intelligence,1995,78(1/2): 87-119.