摘要：隨著手持設(shè)備性能的提高，手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)的研制成為近年來(lái)的研究熱點(diǎn)。該文闡述了手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)必備的軟硬件環(huán)境，給出了手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)的工作流程，概括了跟蹤注冊(cè)技術(shù)中的所使用的不同方法，以及虛擬模型建立與渲染中的一些技術(shù)，在此基礎(chǔ)上對(duì)手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)未來(lái)的發(fā)展進(jìn)行了展望。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)；手持式設(shè)備；跟蹤注冊(cè)

中圖分類(lèi)號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2013）12-2921-02

1 概述

增強(qiáng)現(xiàn)實(shí)（Augmented Reality， 簡(jiǎn)稱(chēng)AR）是虛擬現(xiàn)實(shí)的一個(gè)重要分支，它將虛擬對(duì)象以空間對(duì)齊的方式注冊(cè)到真實(shí)場(chǎng)景中，實(shí)現(xiàn)二者的融合，并允許用戶(hù)與虛擬對(duì)象進(jìn)行交互。AR技術(shù)涉及顯示技術(shù)、交互技術(shù)、多種傳感技術(shù)和計(jì)算機(jī)圖形與多媒體技術(shù)等。目前，增強(qiáng)現(xiàn)實(shí)技術(shù)廣泛應(yīng)用于教育培訓(xùn)、工業(yè)設(shè)計(jì)、機(jī)械制造、醫(yī)療手術(shù)、軍事訓(xùn)練，文化娛樂(lè)等，并且在這些領(lǐng)域取得了成功的經(jīng)驗(yàn)，尤其是在室內(nèi)AR與移動(dòng)AR方面，但是在其市場(chǎng)應(yīng)用方面有其局限性。起初室內(nèi)AR大多是基于普通PC的，因此只能局限在室內(nèi)的；而移動(dòng)AR雖然可以應(yīng)用于室外，但是由于使用者需要背負(fù)很重的設(shè)備，給使用者在移動(dòng)過(guò)程中造成了很大的負(fù)擔(dān)。因此，隨著手持終端的飛速發(fā)展，具有較快處理能力、內(nèi)置攝像頭、彩色顯示屏的手持設(shè)備（如PDA、智能手機(jī)）已經(jīng)成為AR系統(tǒng)實(shí)現(xiàn)的良好平臺(tái)。

增強(qiáng)現(xiàn)實(shí)系統(tǒng)已經(jīng)在各種手持設(shè)備如ultra-mobile PCs（UMPCs），個(gè)人數(shù)字助理（PDAs）和智能手機(jī)中得到應(yīng)用，手持AR取得了很好的發(fā)展。Blaine Bell等人設(shè)計(jì)了一個(gè)基于PDA技術(shù)的AR系統(tǒng)，提供一些信息幫助移動(dòng)用戶(hù)瀏覽不熟悉的環(huán)境。Geiger， C.等人設(shè)計(jì)了一個(gè)AR Soccer游戲，屏幕中出現(xiàn)一個(gè)虛擬的球和虛擬的場(chǎng)景，用戶(hù)通過(guò)攝像機(jī)捕捉現(xiàn)實(shí)世界中腳的運(yùn)動(dòng)完成踢球的動(dòng)作。邵峰晶[9]等人設(shè)計(jì)了一個(gè)基于增強(qiáng)現(xiàn)實(shí)技術(shù)的網(wǎng)絡(luò)游戲，并且針對(duì)跟蹤注冊(cè)速度過(guò)慢的問(wèn)題，提出了一種快速角點(diǎn)檢測(cè)算法（CFD），另外針對(duì)AR系統(tǒng)抖動(dòng)的問(wèn)題，提出了一種手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)中攝像機(jī)姿態(tài)抖動(dòng)補(bǔ)正算法。

手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)的開(kāi)發(fā)大多基于ARToolKit與ARToolKitPlus工具包。ARToolKit是C和C++軟件庫(kù)，是在ARToolKit基礎(chǔ)上進(jìn)行修改，由Kato將其應(yīng)用到基于Symbian操作系統(tǒng)的手機(jī)上，但是目前研究人員已經(jīng)將ARToolKitPlus整合到Studierstube框架中，作為手持AR的開(kāi)發(fā)平臺(tái)。

隨著3G時(shí)代的到來(lái)，手持AR系統(tǒng)具有廣泛的發(fā)展前景。通過(guò)概述手持AR在軟硬件方面的限制，分析手持AR系統(tǒng)開(kāi)發(fā)的瓶頸；在手持AR系統(tǒng)的跟蹤注冊(cè)方面簡(jiǎn)述ARToolKit與ARToolKitPlus兩種跟蹤注冊(cè)過(guò)程；在虛擬模型建立與渲染方面討論了建模工具、3D模型存儲(chǔ)類(lèi)型及渲染工具包。

2 手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)的軟硬件環(huán)境

手持設(shè)備都具有CPU、內(nèi)存、內(nèi)置攝像頭、彩色顯示屏、藍(lán)牙等基本配置。盡管手持設(shè)備處理能力已經(jīng)得到較大發(fā)展，但處理性能上較普通PC仍有較大差距。對(duì)于單機(jī)版的手持AR來(lái)說(shuō)，大多數(shù)智能手機(jī)使用運(yùn)行速率在100-800MHz的CPU，但是由于大小，功耗和電池的限制，智能手機(jī)CPUs通常不擁有并行計(jì)算單元。另外，在智能手機(jī)內(nèi)部缺少AR系統(tǒng)所必須的浮點(diǎn)運(yùn)算單元，因此手持AR必須使用定點(diǎn)運(yùn)算對(duì)其進(jìn)行模擬，增加了計(jì)算量。由于手持設(shè)備體積的限制，智能手機(jī)的內(nèi)存通常很小，并且為了減少功耗，智能手機(jī)的內(nèi)置攝像頭性能不甚理想，鏡頭漸暈的現(xiàn)象明顯，不利于圖像處理。對(duì)于無(wú)線(xiàn)網(wǎng)絡(luò)式手持AR來(lái)說(shuō)，除了上面所描述的以外，手持設(shè)備的帶寬也是手持AR所必須的，如今智能手機(jī)的帶寬一般都很小，手機(jī)上網(wǎng)的理論最高速率可達(dá)473KB，GPRS上網(wǎng)的最高速率為115.2KB，實(shí)際平均上網(wǎng)速率約為20-30KB左右。

大多數(shù)智能手機(jī)使用專(zhuān)用的、相對(duì)開(kāi)放式的操作系統(tǒng)，例如Windows Mobile、Symbian系列、Linux和Palm。等。它們都提供了攝像機(jī)API，允許用戶(hù)獲取并處理視頻幀圖像。OpenGL ES是嵌入式手持設(shè)備的三維圖形渲染庫(kù)，它提供了三維虛擬模型渲染功能，可實(shí)現(xiàn)AR系統(tǒng)虛擬場(chǎng)景的繪制。但是，手持設(shè)備相較于普通PC而言，現(xiàn)有的攝像機(jī)操縱及虛擬模型渲染工具不夠豐富。這幾種操作系統(tǒng)各有優(yōu)缺點(diǎn)，例如Windows Mobile易于編程且有大量的設(shè)備基礎(chǔ)，缺點(diǎn)是攝像機(jī)的API比較復(fù)雜；目前Symbian操作系統(tǒng)是智能手機(jī)使用最多的操作系統(tǒng)，但是難于編程；而Palm系統(tǒng)雖然有很好的硬件概念，但是僅有很少的硬件設(shè)備并且沒(méi)有本地SDK。目前這幾種應(yīng)用軟件之間互不兼容，使得跨平臺(tái)軟件設(shè)計(jì)極具有挑戰(zhàn)性。但是，現(xiàn)在可以在手機(jī)上運(yùn)行Windows 3.0和Windows95的操作系統(tǒng)，但是由于手機(jī)本身資源有限，使得其運(yùn)行速度很慢，不能滿(mǎn)足手持AR的應(yīng)用。

3 手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)

手持AR的關(guān)鍵技術(shù)主要有跟蹤注冊(cè)技術(shù)和虛擬模型渲染技術(shù)。跟蹤注冊(cè)技術(shù)是通過(guò)對(duì)攝像機(jī)捕捉到的圖像進(jìn)行圖像二值化，特征提取，姿態(tài)計(jì)算等一系列操作后得到有效標(biāo)記姿態(tài)的過(guò)程。虛擬模型渲染技術(shù)是通過(guò)一系列的渲染工具包對(duì)AR中的模型進(jìn)行繪制，得到逼真的虛擬模型。目前大多的手持AR是基于標(biāo)記進(jìn)行跟蹤注冊(cè)，下面是基于標(biāo)記的手持AR系統(tǒng)工作流程。

3.1 基于標(biāo)記手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)工作流程

1） 預(yù)設(shè)標(biāo)記：預(yù)先在真實(shí)場(chǎng)景中設(shè)置標(biāo)記；

2） 生成虛擬模型：由計(jì)算機(jī)生成虛擬模型；

3） 渲染虛擬模型：將計(jì)算機(jī)生成的虛擬模型進(jìn)行渲染；

4） 注冊(cè)虛擬模型：根據(jù)計(jì)算出的攝像機(jī)姿態(tài)將虛擬物體準(zhǔn)確的注冊(cè)到真實(shí)世界中的標(biāo)記上；

5） 輸出：最后將虛實(shí)結(jié)合的結(jié)果輸出到顯示設(shè)備上。

3.2 跟蹤注冊(cè)技術(shù)

增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)就是跟蹤注冊(cè)技術(shù)，將虛擬模型準(zhǔn)確疊加到現(xiàn)實(shí)世界中的準(zhǔn)確位置上便是其主要目的。判定追蹤注冊(cè)技術(shù)的好與壞便是其疊加的準(zhǔn)確與否。增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)一樣都需要實(shí)時(shí)和精確的6自由度（Six Degrees Of Freedom，簡(jiǎn)稱(chēng)6DOF）的姿態(tài)跟蹤。什么是姿態(tài)跟蹤？姿態(tài)跟蹤最大的特點(diǎn)就是耗費(fèi)少而且能夠適應(yīng)多變的環(huán)境，并且成功實(shí)現(xiàn)在現(xiàn)實(shí)環(huán)境中的成功定位。跟蹤注冊(cè)技術(shù)體現(xiàn)在手持AR工作流程的標(biāo)記檢測(cè)識(shí)別和計(jì)算攝像機(jī)姿態(tài)這兩步中。

3.3 虛擬模型建立與渲染技術(shù)

渲染技術(shù)是AR系統(tǒng)另一個(gè)很關(guān)鍵的技術(shù)。由于現(xiàn)在在大多數(shù)移動(dòng)設(shè)備如手機(jī)，PDA上沒(méi)有設(shè)置3D的圖形子系統(tǒng)，所以在手持AR中，對(duì)模型的渲染至關(guān)重要。虛擬模型建立與渲染技術(shù)主要體現(xiàn)在手持AR工作流程中的生成虛擬模型、渲染虛擬模型與虛擬模型注冊(cè)中。

3.3.1 建模工具

為了在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中使場(chǎng)景達(dá)到形象、逼真的效果，必定需要逼真的虛擬模型，一個(gè)完美的虛擬模型首先需要合適的建模工具。在AR中，虛擬模型需要應(yīng)用專(zhuān)門(mén)的建模工具進(jìn)行創(chuàng)建，現(xiàn)在應(yīng)用最多的建模工具有Sketch Up， Maya， 3DS Max等。用戶(hù)通過(guò)建模工具創(chuàng)建逼真的模型，為AR所能呈現(xiàn)的虛實(shí)結(jié)合的效果提供了前提條件，但是由于手機(jī)缺少可視化的建模工具，無(wú)法直接將模型復(fù)用到手機(jī)上。

3.3.2 3D模型存儲(chǔ)類(lèi)型

目前，3D模型存儲(chǔ)類(lèi)型有很多如.max、.mb、.dae等格式，由于各種模型存儲(chǔ)類(lèi)型具有各自的規(guī)范，沒(méi)有公共的開(kāi)放規(guī)范，因此一些3D模型存儲(chǔ)類(lèi)型不能直接應(yīng)用到手持AR中。Collada（COLLAborative Design Activity）技術(shù)最初是為了方便3D模型與分布式計(jì)算機(jī)控制系統(tǒng)交換信息和游戲開(kāi)發(fā)而設(shè)計(jì)的，它是一個(gè)開(kāi)放的中間規(guī)范，經(jīng)由此規(guī)范可將模型復(fù)用到手持AR系統(tǒng)中。

3.3.3 渲染工具包

模型渲染需要使用的工具有OpenGL， OpenGL ES， Klimt等等。OpenGL有強(qiáng)大的函數(shù)庫(kù)來(lái)完成這一系列的功能。但是為了適合AR的開(kāi)發(fā)則需要高級(jí)的軟件庫(kù)，OpenGL ES是在移動(dòng)設(shè)備上進(jìn)行3D渲染的基礎(chǔ)，是由Khronos設(shè)計(jì)用于移動(dòng)設(shè)備的3D API，它也是低級(jí)的API類(lèi)似于OpenGL并且提供大多數(shù)的OpenGL功能，它解決了許多長(zhǎng)期懸而未決的問(wèn)題例如窗口綁定。

4 結(jié)論

與傳統(tǒng)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)相比較，手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)受手持設(shè)備資源的限制，需要計(jì)算量小、實(shí)時(shí)性高的跟蹤注冊(cè)算法，這一點(diǎn)是限制以往手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)的發(fā)展的主要因素，隨著手持設(shè)備性能的不斷提高，手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)的跟蹤注冊(cè)實(shí)時(shí)性和準(zhǔn)確性將得到有效保證，從而使得手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)的應(yīng)用領(lǐng)域進(jìn)一步推廣，尤其是伴隨著我國(guó)3G時(shí)代的到來(lái)，研制基于網(wǎng)絡(luò)的多用戶(hù)交互式手持增強(qiáng)現(xiàn)實(shí)系統(tǒng)將成為新的研究熱點(diǎn)。

參考文獻(xiàn)：

[1] 鐘慧娟，劉肖琳，吳曉莉.增強(qiáng)現(xiàn)實(shí)系統(tǒng)及其關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)仿真，2008，25（1）：252-255.

[2] 隋毅.基于手持設(shè)備的增強(qiáng)現(xiàn)實(shí)技術(shù)研究與應(yīng)用[D].青島：青島大學(xué)，2008.

[3] Hirokazu Kato，Mark Billinghurst.Marker tracking and hmd calibration for a video-based augmented reality conferencing system. In Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality （IWAR’99），1999：85-94.

[4] Daniel Wagner.Handheld Augmented Reality[D].Austria：Graz University of Technology，2007.

[5] 隋毅.基于手持設(shè)備的增強(qiáng)現(xiàn)實(shí)技術(shù)研究與應(yīng)用[D].青島：青島大學(xué)，2009.

[6] 張靜.基于iPhone的增強(qiáng)現(xiàn)實(shí)技術(shù)的研究與應(yīng)用[D].成都：電子科技大學(xué)，2010.

[7] 盛君.基于標(biāo)識(shí)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的研究[D].杭州：杭州電子科技大學(xué)，2009.

[8] Collada website： http：//www.collada.org/.

[9] Yi Sui，F(xiàn)engJing Shao，RenCheng Sun，ShuJing Li.The MagicARPhone： An AR-based Game on Phone Offering Personalized Enjoyment[C].World Congress on Software Engineering，2009：264-266.