付文秀，張馨則

(北京交通大學(xué) 電子信息工程學(xué)院，北京 100044)

?

基于FLARToolkit的多標(biāo)識增強(qiáng)現(xiàn)實系統(tǒng)的實現(xiàn)

付文秀，張馨則

(北京交通大學(xué) 電子信息工程學(xué)院，北京 100044)

針對傳統(tǒng)增強(qiáng)現(xiàn)實系統(tǒng)采取單個標(biāo)識識別影響其在PC端開發(fā)效率的問題.選擇新興的基于Flash的跟蹤類庫FLARToolkit，結(jié)合3D引擎Papervision 3D,開發(fā)實現(xiàn)了具有多個模板標(biāo)識的增強(qiáng)現(xiàn)實系統(tǒng)原型，附上了底層代碼和系統(tǒng)結(jié)果，并針對其中的光學(xué)畸變問題采用棋盤法進(jìn)行改善，成功將攝像頭標(biāo)定誤差降低到0.093.提高增強(qiáng)現(xiàn)實系統(tǒng)的穩(wěn)定性的同時,也為進(jìn)一步開發(fā)提供了良好的基礎(chǔ).

增強(qiáng)現(xiàn)實；FLARToolkit；多標(biāo)識；三維注冊；光學(xué)畸變

增強(qiáng)現(xiàn)實(Augmented Reality，AR)是虛擬環(huán)境或虛擬現(xiàn)實的一個分支.虛擬現(xiàn)實技術(shù)能夠使用戶完全沉浸在合成環(huán)境中，無法查看周圍的真實環(huán)境[1-2].與之相反，增強(qiáng)現(xiàn)實能夠把圖像、音頻和視頻及觸覺感知等數(shù)字信息或者計算機(jī)生成的信息實時地輸送到真實環(huán)境里[3].目前增強(qiáng)現(xiàn)實的應(yīng)用非常廣泛，在游戲和娛樂、教育、維護(hù)和修理、醫(yī)學(xué)、導(dǎo)航、商業(yè)[4]領(lǐng)域均有涉及.

隨著計算機(jī)軟硬件的發(fā)展,FLARToolkit作為Flash獨(dú)有的精美動畫顯示與ActionScript 3.0的高級交互功能的結(jié)合產(chǎn)物在此時應(yīng)運(yùn)而生，恰好為增強(qiáng)現(xiàn)實系統(tǒng)提供了功能強(qiáng)大應(yīng)用廣泛的開發(fā)環(huán)境.2009年,韓國學(xué)者提出可以利用FLARToolkit類庫的優(yōu)越性來構(gòu)建課堂教學(xué)應(yīng)用，改善教學(xué)方法[5].關(guān)于FLARToolkit理論設(shè)想[6]雖然很多，但是具體論述其開發(fā)過程的資料卻很少.其中一個重要原因就是傳統(tǒng)的基于FLARToolkit的增強(qiáng)現(xiàn)實系統(tǒng)大多采用單個標(biāo)識(Single Marker Detector)進(jìn)行識別，然而在增強(qiáng)現(xiàn)實系統(tǒng)工作的大多現(xiàn)實場景中，人眼需要識別的往往是多個同時存在的標(biāo)識.這

導(dǎo)致其在PC端的實用性不高，也影響了FLARToolkit基于Flash的良好的交互性能和強(qiáng)大的圖像基礎(chǔ)的發(fā)揮與拓展.所以針對這部分的多標(biāo)識拓展功能的實現(xiàn)就具有了一定的現(xiàn)實意義，本文作者通過對多標(biāo)識識別(Multi Marker Detector)的研究與設(shè)計，最終實現(xiàn)疊加多個3D模型在多個標(biāo)識上的實驗結(jié)果，以此來增加AR系統(tǒng)在PC端的可用性與延展性，為進(jìn)一步開發(fā)提供了思路.

1 多標(biāo)識AR系統(tǒng)開發(fā)準(zhǔn)備工作

1.1 FLARToolkit開發(fā)包簡介

ARToolkit是一種用于構(gòu)建增強(qiáng)現(xiàn)實應(yīng)用程序的免費(fèi)軟件庫.文獻(xiàn)[7]論述了日本學(xué)者Nyatla的開發(fā)和維護(hù)的過程，NyARToolkit已經(jīng)是個可以創(chuàng)建增強(qiáng)現(xiàn)實并支持多種語言和開發(fā)環(huán)境的C程序庫.文獻(xiàn)[8]論述了Saqoosha在此基礎(chǔ)上繼續(xù)將其改寫成ActionScript 3.0 的類庫并整合進(jìn)Papervision 3D技術(shù),于是誕生了基于ActionScript 3.0的開源類庫FLARToolkit.

FLARToolkit的特點是基于Flash構(gòu)架，所以它繼承了Flash的大部分優(yōu)點，如它包含了一些出色的Flash 3D引擎，如Papervision 3D, Away 3D, Sandy, Alternativa 3D，這些3D引擎可以用來渲染和管理 3D 模型,也可以很方便的實現(xiàn)交互.借助Flash不僅可以給人帶來非常漂亮的視覺效果，也可以利用其對圖形元素的控制能力給該系統(tǒng)帶來很強(qiáng)的健壯性，這也是本文選擇FLARToolkit作為AR系統(tǒng)跟蹤類庫的原因.

1.2 攝像機(jī)參數(shù)文件

攝像機(jī)的內(nèi)參和外參是AR系統(tǒng)中非常重要的部分，AR系統(tǒng)需要攝像機(jī)參數(shù)來進(jìn)行3D-2D的投影轉(zhuǎn)換等一系列操作，攝像機(jī)參數(shù)文件.dat文件就是攝像機(jī)標(biāo)定后輸出的攝像頭參數(shù)文件，在2.1節(jié)和2.2節(jié)中，將會詳細(xì)推導(dǎo)坐標(biāo)轉(zhuǎn)換和攝像機(jī)參數(shù)求解過程，并且通過棋盤法手動標(biāo)定了計算機(jī)，得到了校正后的攝像機(jī)參數(shù)文件.

1.3 人工標(biāo)識和模式文件

人工標(biāo)識是用攝像頭捕捉到的方便電腦三維跟蹤的標(biāo)志物，可以放在電子產(chǎn)品畫面上顯示，也可以打印成紙質(zhì)版.標(biāo)識應(yīng)符合有連貫邊緣輪廓的圖片，同時不能是旋轉(zhuǎn)圖形的要求，以免降低識別成功率或者疊加的3D圖形不能成功隨標(biāo)識旋轉(zhuǎn).此外標(biāo)識應(yīng)盡可能簡單，可以獲得最佳效果.本文進(jìn)行多標(biāo)識識別所制作的兩個標(biāo)識如圖1(a)和圖1(b)所示.

模式文件是電腦生成的一個.pat文件，是FlARToolkit從攝像頭捕捉到的畫面里檢測的圖樣，與制作的人工標(biāo)識圖片一一對應(yīng).模式文件如果被打開查看的話，比如本試驗程序在“assetsFLARflarlogo1.pat”和“assets FLAR flarlogo2.pat”，會發(fā)現(xiàn)其中有4個16×48的矩陣，分別代表標(biāo)記文件的4個不同方向.在FlARToolkit看來，標(biāo)記是一個16×16的二維碼.在這個文件里每個矩陣是16×48是因為模式文件實際上是16×16個3色(紅，綠，藍(lán)).對應(yīng)上面兩個標(biāo)識的模式文件大概如圖2(a)和圖2(b)所示.

總之，人工標(biāo)識和該標(biāo)識生成的模式文件都是增強(qiáng)現(xiàn)實系統(tǒng)的輸入，可以將標(biāo)識理解成攝像頭的光學(xué)輸入，而模式文件是該物體給AR代碼開發(fā)端的程序輸入.

1.4 渲染顯示的3D模型

3D MAX可以制作生成3D模型，輸出DAE文件，本文所用的是一個地球模型(earth.dae)和一個埃菲爾鐵塔模型(tower.dae).因為模型繪制不是本文研究的重點，所以對于這部分不作探討.

2 攝像機(jī)標(biāo)定

增強(qiáng)現(xiàn)實系統(tǒng)中最為關(guān)鍵的部分就是三維注冊技術(shù)，這一步驟的實現(xiàn)直接關(guān)系到整個系統(tǒng)成敗.而三維注冊技術(shù)的主要內(nèi)容其實就是攝像機(jī)標(biāo)定，攝像機(jī)標(biāo)定即通過一系列坐標(biāo)系之間的轉(zhuǎn)換，求得攝像機(jī)的內(nèi)外參數(shù)的過程.FLARToolkit提供了默認(rèn)的攝像機(jī)參數(shù)文件，每次程序啟動都會讀取攝像機(jī)內(nèi)外參數(shù).一方面世界坐標(biāo)系與攝像機(jī)坐標(biāo)系之間不能直接對應(yīng)；另一方面，在實時移動時穩(wěn)定性差的情況下，透鏡擴(kuò)大收集光線的同時對圖像產(chǎn)生畸變，特別是在拍攝水平放置的標(biāo)簽時，致使畫面出現(xiàn)無法反映真實的尺寸與相對位置關(guān)系[9-10].目前，大多數(shù)解決光學(xué)畸變問題的方法是張正友法[11]，為獲得更好的跟蹤精度和系統(tǒng)穩(wěn)定性，文中研究并推導(dǎo)了張正友法，并針對影響其方法的問題進(jìn)行改善，采用基于棋盤的方法手動重新確定攝像機(jī)標(biāo)定參數(shù).

2.1 三維坐標(biāo)轉(zhuǎn)換

假設(shè)真實世界與攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系為矩陣C，那么確定矩陣C也就是確定了攝像機(jī)觀察真實環(huán)境的位姿.假設(shè)攝像機(jī)坐標(biāo)系與成像平面坐標(biāo)系間的轉(zhuǎn)換關(guān)系為矩陣P，那么根據(jù)針孔透視成像原理，求得矩陣P就可以將三維物體在真實世界中的點投影在二維平面上.為方便原理說明，建立增強(qiáng)現(xiàn)實系統(tǒng)的各個坐標(biāo)系如圖3所示.

圖3中,(X,Y,Z)表示真實空間坐標(biāo)系;(ξ,η,ζ)表示虛擬空間坐標(biāo)系;(X′,Y′,Z′)表示攝像機(jī)空間坐標(biāo)系;(U,V)表示成像平面坐標(biāo)系.

真實空間坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可以用下式表示

(1)

式中，R(r1,r2,r3)為一個3×3的正交矩陣，提供X、Y、Z軸上的旋轉(zhuǎn)分量.t為一個3×1矩陣，提供X、Y、Z軸上的平移分量，因此旋轉(zhuǎn)矩陣R和平移矩陣t兩者都屬于攝像機(jī)外部參數(shù).通過式(1)計算，實現(xiàn)了真實場景到攝像機(jī)坐標(biāo)系之間的變換，達(dá)到對用戶頭部位置和視線方向的跟蹤.

對攝像機(jī)標(biāo)定以獲得攝像機(jī)內(nèi)部參數(shù),鏡頭的焦距f，光心u0、v0，鏡頭畸變系數(shù)k、p,比例因子s等，當(dāng)獲得內(nèi)部參數(shù)，發(fā)現(xiàn)張正友法第1步中采用線性方法求得攝像機(jī)初始參數(shù)，導(dǎo)致離圖像中心較遠(yuǎn)的點畸變較大，造成較大誤差，因此選取圖像光心點附近坐標(biāo)，基本可以不考慮畸變，那么根據(jù)針孔成像原理，就可以實現(xiàn)三維場景到二維平面的轉(zhuǎn)換.在攝像機(jī)空間坐標(biāo)系中，點在圖像平面上的投影可以由如圖4所示的攝像機(jī)透視投影模型來確定.

可得到透視投影方程為

(2)

式中：(x′,y′,z′)為空間點P在攝像機(jī)坐標(biāo)系的坐標(biāo)；(u′,v′)為P在圖像上的投影，它是光心O與P的連線與圖像平面的交點.上述透視投影關(guān)系用坐標(biāo)矩陣為

(3)

式中的(u′,v′)是圖像坐標(biāo)，還需要將它轉(zhuǎn)換為像素坐標(biāo).假設(shè)(u,v)是圖像像素坐標(biāo)，dpu′和dpv′分別代表u′v′微分的倒數(shù)，表示成像平面水平方向和垂直方向的像素分辨率，那么兩者之間的關(guān)系可以為

(4)

式中，(u0,v0)是光心在顯示設(shè)備的像素坐標(biāo)系中的坐標(biāo).矩陣表示為

(5)

將式(5)帶入式(3)中，可以得到攝像機(jī)三維坐標(biāo)到二維平面轉(zhuǎn)換關(guān)系為

(6)

式中，令ax=f×dpu′,ay=f×dpv′，由于焦距f、光心坐標(biāo)(u0,v0)只與攝像機(jī)的內(nèi)部結(jié)構(gòu)有關(guān)，因此稱ax、ay、u0、v0為攝像機(jī)的內(nèi)部參數(shù).假設(shè)O為已知的虛擬物體坐標(biāo)系到真實空間的坐標(biāo)轉(zhuǎn)換關(guān)系矩陣，從式(1)、式(6)可知，三維空間中虛擬物體上的某一點(x,y,z,1)及其在增強(qiáng)現(xiàn)實場景坐標(biāo)下的投影點(u,v,1)之間的轉(zhuǎn)換關(guān)系可以用下式表示

(7)

本文使用棋盤標(biāo)定目標(biāo)，其正方形的頂點作為標(biāo)定用的標(biāo)記點，由于采用平面參考點標(biāo)定，標(biāo)定目標(biāo)是一個平面，這就成了一個平面單應(yīng)性問題，根據(jù)一般性，定義這個物體平面Z=0，那么矩陣C中的r3=0.有

(8)

利用不同視場情況下攝像機(jī)的內(nèi)參穩(wěn)定不變的特點，根據(jù)式(8)可以令H=P×C,在不知道內(nèi)參數(shù)的情況下從多個視場計算多個單應(yīng)性矩陣的方法來求出H，最后解出攝像機(jī)的內(nèi)參數(shù).

2.2 求解畸變參數(shù)

本文考慮了系統(tǒng)的穩(wěn)定性和約束集數(shù)量，選擇8×6棋盤，棋盤平面大小為160 mm×120 mm，棋盤格大小為20 mm×20 mm.拍攝如圖5所示的10個視場，也就是鏡頭面向棋盤的10個不同的位置和姿態(tài)所取得的圖像信息.

(9)

(10)

由式(6)求得矩陣P，得出矩陣B的封閉解為

(11)

B矩陣兩個約束有其通用形式.將矩陣乘開，重排為

(12)

前面得到的兩個約束可以寫成

(13)

如果同時得到K個不同視角的棋盤圖像，堆疊這些方程，可以得到Mb=0.其中M是包含mij的一個2K×6的矩陣，若K>2，那么這個方程有解b.

1)攝像機(jī)內(nèi)參數(shù)可以由式(11)中B矩陣的封閉解中直接得到

(14)

(15)

(16)

(17)

(18)

2)外參數(shù)可以由單應(yīng)性條件，即式(9)計算得到

r1=λP-1h1

(19)

r2=λP-1h2

(20)

r3=r1?r2

(21)

t=λP-1h3

(22)

由于畸變在圖像上得到的感知點的位置是不真實的，如果針孔模型是完美的，令(xp,yp)為點的位置，令(xd,yd)為畸變位置，有如下關(guān)系

(23)

通過上面的替換，可以得到?jīng)]有畸變的標(biāo)定結(jié)果

(24)

(25)

3 多標(biāo)識增強(qiáng)現(xiàn)實系統(tǒng)的實現(xiàn)

3.1 多標(biāo)識系統(tǒng)方案設(shè)計

多標(biāo)識AR系統(tǒng)程序設(shè)計部分采用Flash CS5 作為開發(fā)環(huán)境，ActionScript 3.0為開發(fā)語言，F(xiàn)LARToolkit作為跟蹤類庫，Papervision 3D作為三維框架，3D MAX和Collada分別負(fù)責(zé)模型制作與轉(zhuǎn)換調(diào)用.硬件部分采用計算機(jī)及自帶的攝像頭和打印出的兩個標(biāo)識圖片.

FLARToolkit沿用了ARToolkit利用計算機(jī)視覺技術(shù)來計算攝像機(jī)相對于黑白標(biāo)識的位置與姿態(tài).1)對攝像頭采集到的圖像進(jìn)行連通域分析，找出其中所有的四邊形區(qū)域作為候選匹配區(qū)域; 2)將每一候選區(qū)域與模板庫中的模板進(jìn)行匹配，如果產(chǎn)生匹配，則FLARToolkit認(rèn)為找到了一個標(biāo)識，利用該標(biāo)識區(qū)域的變形來計算攝像機(jī)相對于已知標(biāo)識的位置和姿態(tài); 3)根據(jù)得到的坐標(biāo)變換矩陣計算虛擬物體的二維圖像應(yīng)該在攝像機(jī)坐標(biāo)系中疊加的位置，從而實現(xiàn)虛擬場景與真實世界之間的三維注冊. AR系統(tǒng)開發(fā)原理主要步驟見圖6.

3.2 多標(biāo)識軟件系統(tǒng)實現(xiàn)

在掌握了三維注冊的原理和實現(xiàn)過程且做好AR系統(tǒng)需要的預(yù)先準(zhǔn)備文件后，就可以開始多標(biāo)識系統(tǒng)的創(chuàng)建工作.由攝像頭將真實場景以影像流的方式拍攝下來，并以一定的頻率讀取，并將搜索到的矩形區(qū)域和模板文件進(jìn)行匹配，超過預(yù)先設(shè)定的匹配值，則系統(tǒng)認(rèn)為找到標(biāo)識，疊加3D模型，并渲染在屏幕上，具體的軟件設(shè)計流程見圖7.

匹配階段主要是調(diào)用了FLARMultiMarker Detector( )函數(shù)搜索模板;系統(tǒng)中設(shè)置的檢測相似度參數(shù)DETECTION_CONFIDENCE = 0.5，一旦根據(jù)設(shè)定的條件，兩個標(biāo)識的匹配度都超過這個匹配值，系統(tǒng)就認(rèn)為匹配成功，則開始計算攝像頭外部參數(shù),進(jìn)行真實空間到圖像空間的坐標(biāo)轉(zhuǎn)換.坐標(biāo)轉(zhuǎn)換階段主要是調(diào)用了FLARTransMatResult()函數(shù).然后再導(dǎo)入三維虛擬模型，在對應(yīng)的模板上渲染地球和艾菲爾鐵塔的三維虛擬模型,進(jìn)行虛實疊加.將各環(huán)節(jié)所用的函數(shù)和功能總結(jié)成表1.

表1 程序原型使用的FLARToolkit方法Tab.1 FLARToolkit method used by the program

3.3 實驗結(jié)果

本文制作了兩個標(biāo)識模式文件，分別對應(yīng)兩個3D模型，一個是地球，一個是艾菲爾鐵塔，模型疊加的位置在標(biāo)識圖像的正上方，可通過改變參數(shù)scale來調(diào)整大小.同時，用Flash創(chuàng)建應(yīng)用程序意味著會以SWF文件形式發(fā)布完成的文件，該文件可以選擇用Flash Player來播放，也可以在瀏覽器中打開，非常適合多媒體展示應(yīng)用或教學(xué)應(yīng)用.打開這個生成的SWF文件，檢驗最終的增強(qiáng)現(xiàn)實系統(tǒng)原型實現(xiàn)結(jié)果，如圖8所示.

實驗發(fā)現(xiàn)FLARToolkit基于計算機(jī)視覺的三維注冊效果還是比較理想的，在攝像頭拍攝真實場景的時候這些虛擬物體也顯示了出來，并且在移動模板或者攝像頭移動的時候，虛擬物體會隨著真實世界進(jìn)行相應(yīng)的變化，即使在標(biāo)識接近水平狀態(tài)的時候，也保持了系統(tǒng)穩(wěn)定性.這證明FLARToolkit能實現(xiàn)AR開發(fā)所涉及的標(biāo)記識別、三維坐標(biāo)轉(zhuǎn)換和圖形渲染等底層功能，具備開發(fā)多標(biāo)識識別系統(tǒng)的基本條件.同時系統(tǒng)原型表現(xiàn)出的穩(wěn)定性和實時性，也證明了該類庫用于增強(qiáng)現(xiàn)實系統(tǒng)原型開發(fā)的潛力，為進(jìn)一步的功能拓展提供了方向.

4 結(jié)語

1)通過FLARToolkit跟蹤類庫分析入手，對增強(qiáng)現(xiàn)實的關(guān)鍵技術(shù)三維注冊技術(shù)的原理進(jìn)行了簡要的推導(dǎo)和說明，并在其基礎(chǔ)上，對攝像頭光學(xué)畸變產(chǎn)生的誤差用棋盤法進(jìn)行了手動標(biāo)定，將重投影誤差降低到0.093.

2)運(yùn)用FLARToolkit類庫以ActionScript 3.0編譯語言完成一個有多個人工標(biāo)識的簡單的增強(qiáng)現(xiàn)實系統(tǒng)原型，并且成功實現(xiàn)預(yù)先準(zhǔn)備的三維模型實時的虛實疊加，將獲得的新的攝像頭參數(shù)文件替換進(jìn)FLARToolkit中，系統(tǒng)表現(xiàn)出了健壯性與穩(wěn)定性.

3)多標(biāo)識系統(tǒng)體現(xiàn)出了FLARToolkit基于Flash的出色的表現(xiàn)力，同時其生成的可執(zhí)行動畫文件可以支持任意PC端播放使用，并且可以嵌入音頻和視頻，非常適合多媒體教學(xué)和會場宣傳，基于FLARToolkit的增強(qiáng)現(xiàn)實高鐵宣傳展示是下一步的工作重點.

[1] 趙沁平．虛擬現(xiàn)實綜述[J]．中國科學(xué)(F輯：信息科學(xué))，2009,39(1):2-46． ZHAO Qinping.Summary of virtual reality [J]. China Science (series F: Information Science), 2009, 39(1):2-46.(in Chinese)

[2] 鄭毅. 增強(qiáng)現(xiàn)實虛實遮擋方法評述與展望[J].系統(tǒng)仿真學(xué)報, 2014,26(1):1-10. ZHENG Yi.Review and prospects of occlusion handling among virtual and real objects inaugmented reality [J]. Journal of System Simulation, 2014,26 (1): 1-10.(in Chinese)

[3] 鐘慧娟，劉肖琳，吳曉莉．增強(qiáng)現(xiàn)實系統(tǒng)及其關(guān)鍵技術(shù)研究[J]．計算機(jī)仿真，2008，25(1)：252-255． ZHONG Huijuan,LIU Xiaolin, WU Xiaoli. Study on augmented reality system and key technologies [J].Computer Simulation, 2008, 25 (1):252-255.(in Chinese)

[4] 齊越，馬紅妹．增強(qiáng)現(xiàn)實：特點，關(guān)鍵技術(shù)和應(yīng)用[J]．小型微型計算機(jī)系統(tǒng)，2004，25(5)：900-903． QI Yue, MA Hongmei. Augmented reality: characteristics, key technologies and applications [J]. Mini-micro Systems, 2004, 25 (5)：900-903．(in Chinese)

[5] 張寶運(yùn)，惲如偉.增強(qiáng)現(xiàn)實技術(shù)及其教學(xué)應(yīng)用探索[J].實驗技術(shù)與管理，2010，27(10):135-138. ZHANG Baoyun, YUN Ruwei.Investigation on augmented reality technology and its application in teaching [J]. Experimental Technology and Management, 2010, 27 (10): 135-138.(in Chinese)

[6] YAN Y, ZHANG X. Research and analysis of the virtual reality with FLARToolKit[C]. International Conferenceon Mechatronic Science, Electric Engineering and Computer, 2011:1614-1617.

[7] HACHAJ T, OGIELA M R. Image processing and communications challenges 2[M]. Berlin:Springer Berlin Heidelberg, 2010:271-277.

[8] LEE Y. Distributed, ambient, and pervasive interactions[M].Berlin:Springer International Publishing, 2015.

[9] 楊必武，郭曉松.攝像機(jī)鏡頭非線性畸變校正方法綜述[J].中國圖象圖形學(xué)報，2005，10(3):269-274. YANG Biwu, GUO Xiaosong. Overview of nonlinear distortion correction of camera lens[J]. Journal of Image and Graphics,2005,10(3):269-274. (in Chinese)

[10] 李會軍，宋愛國.增強(qiáng)現(xiàn)實中的攝像機(jī)徑向畸變校正[J].傳感技術(shù)學(xué)報,2007，20(2)：462-465. LI Huijun, SONG Aiguo. Correction method for camera radial distortion for augmented reality[J].Chinese Journal of Sensors and Actuators, 2007,20(2):462-465. (in Chinese)

[11] 劉艷，李騰飛.對張正友相機(jī)標(biāo)定法的改進(jìn)研究[J].光學(xué)技術(shù)，2014(6):565-570. LIU Yan, LI Tengfei.Research of the improvement of Zhang’s camera calibration method [J].Optical Technique, 2014(6): 565-570. (in Chinese)

[12] MORé J J. The Levenberg-Marquardt algorithm: Implementation and theory[J]. Lecture Notes in Mathematics, 1978, 630:105-116.

Implementation of multiple markers augmented reality system based on FLARToolkit

FUWenxiu,ZHANGXinze

(School of Electronic and Information Engineering, Beijing Jiaotong University, Beijing 100044,China)

Aiming at the problem that the traditional augmented reality system takes a single mark to identify causing the poor efficiency of its development at PC, the emerging Flash based tracking class library FLARToolkit combined with 3D engine Papervision 3D is selected to realize a prototype of augmented reality system with multiple template identification,underlying code and system results attached.And the optical distortion is improved by the method of the board that made the camera calibration error reduce to 0.093,improving the stability of augmented reality system and providing a good foundation for further development at the same time.

augmentedreality;FLARToolkit;multiple markers;3D registration; optical distortion

2016-05-04

中央高?；究蒲袠I(yè)務(wù)費(fèi)專項基金資助(2016YJS010)

付文秀(1962—)，女，北京人，副教授，博士.研究方向為圖像處理.email:wxfu@bjtu.edu.cn.

TP391.41

B

1673-0291(2016)05-0016-07

10.11860/j.issn.1673-0291.2016.05.003