侯 穎，許威威

(杭州師范大學(xué) 杭州國(guó)際服務(wù)工程學(xué)院計(jì)算機(jī)系，杭州 311000)

增強(qiáng)現(xiàn)實(shí)技術(shù)綜述

侯 穎，許威威

(杭州師范大學(xué) 杭州國(guó)際服務(wù)工程學(xué)院計(jì)算機(jī)系，杭州 311000)

增強(qiáng)現(xiàn)實(shí)技術(shù)是將計(jì)算機(jī)渲染生成的虛擬場(chǎng)景與真實(shí)世界中的場(chǎng)景無(wú)縫融合起來(lái)的一種技術(shù)，它通過(guò)視頻顯示設(shè)備將虛實(shí)融合的場(chǎng)景呈現(xiàn)給用戶，使人們與計(jì)算機(jī)之間的交互更加的自然，同時(shí)具有廣泛的應(yīng)用前景，因此成為近年來(lái)的一個(gè)研究熱點(diǎn);隨著跟蹤注冊(cè)技術(shù)的進(jìn)步、計(jì)算機(jī)性能的飛速發(fā)展、深度攝像機(jī)的普及，以及Light Field投影技術(shù)在增強(qiáng)現(xiàn)實(shí)中的應(yīng)用，增強(qiáng)現(xiàn)實(shí)技術(shù)逐漸成為下一代人機(jī)交互的發(fā)展方向;該文章首先概述了增強(qiáng)現(xiàn)實(shí)的主要研究?jī)?nèi)容和發(fā)展情況，并詳細(xì)介紹了增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)、開(kāi)發(fā)工具，然后分類概述了增強(qiáng)現(xiàn)實(shí)應(yīng)用案例。

增強(qiáng)現(xiàn)實(shí)技術(shù)；跟蹤注冊(cè)技術(shù)；投影技術(shù)

0 引言

增強(qiáng)現(xiàn)實(shí)技術(shù)[1]的目標(biāo)是將計(jì)算機(jī)生成的虛擬物體、場(chǎng)景或系統(tǒng)提示信息疊加到真實(shí)場(chǎng)景中，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)場(chǎng)景的增強(qiáng)。該技術(shù)能夠?qū)⑻摂M信息應(yīng)用到真實(shí)世界，通過(guò)計(jì)算機(jī)系統(tǒng)提供的信息有效提高用戶對(duì)現(xiàn)實(shí)世界的感知能力和交互體驗(yàn)，因而受到了研究人員的高度關(guān)注。在1966年，Ivan Sutherland發(fā)明了頭盔顯示器，并在1968年使用光學(xué)透視式頭盔顯示器創(chuàng)建了第一個(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)，同時(shí)也是第一個(gè)虛擬現(xiàn)實(shí)系統(tǒng)[2]。它通過(guò)兩個(gè)6自由度的跟蹤器進(jìn)行跟蹤注冊(cè)：一個(gè)機(jī)械式跟蹤器和一個(gè)超聲波跟蹤器。由于當(dāng)時(shí)計(jì)算機(jī)處理性能的限制，只能實(shí)時(shí)顯示非常簡(jiǎn)單的線框模型。近年來(lái)隨著計(jì)算機(jī)圖形圖像及便攜頭戴式顯示器等關(guān)鍵技術(shù)的發(fā)展，增強(qiáng)現(xiàn)實(shí)技術(shù)的實(shí)用性顯著增強(qiáng)，出現(xiàn)了一系列代表性產(chǎn)品，包括谷歌眼鏡、微軟Hololens、國(guó)產(chǎn)蟻視眼鏡等。因此，增強(qiáng)現(xiàn)實(shí)技術(shù)成為了當(dāng)前計(jì)算機(jī)圖形圖像處理領(lǐng)域的研究熱點(diǎn)。

目前對(duì)于增強(qiáng)現(xiàn)實(shí)有兩種被廣泛接受的定義。第一種定義是，1994年P(guān)aul Milgram和Fumio Kishino提出的“現(xiàn)實(shí)-虛擬連續(xù)體”[3]。它描述的是如何對(duì)虛擬物體和真實(shí)相結(jié)合的顯示環(huán)境進(jìn)行分類。真實(shí)環(huán)境和虛擬環(huán)境分布在兩端，在這兩者之間接近真實(shí)環(huán)境的是增強(qiáng)現(xiàn)實(shí)，接近虛擬環(huán)境的是增強(qiáng)虛擬，而位于中間的部分叫做混合實(shí)景。

第二種定義是1997年北卡大學(xué)的Ronald Azuma提出[4]。他認(rèn)為增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)具有三個(gè)具體特征：1)虛實(shí)結(jié)合。增強(qiáng)現(xiàn)實(shí)沒(méi)有完全取代現(xiàn)實(shí)環(huán)境，反而更依賴于現(xiàn)實(shí)世界，它依靠計(jì)算機(jī)技術(shù)構(gòu)建出圖片、視頻、三維模型等和物理世界相結(jié)合，讓物理世界和虛擬對(duì)象合為一體；2)三維注冊(cè)。增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)的跟蹤相機(jī)的姿態(tài)計(jì)算出相機(jī)影像的位置及虛擬圖像在真實(shí)場(chǎng)景中的注冊(cè)位置，以實(shí)現(xiàn)虛擬場(chǎng)景和真實(shí)場(chǎng)景的完全融合[5]；3)實(shí)時(shí)交互。它是指用戶能夠通過(guò)現(xiàn)實(shí)世界獲取的信息及時(shí)的獲取相應(yīng)的反饋信息。

雖然增強(qiáng)現(xiàn)實(shí)是從虛擬現(xiàn)實(shí)中脫胎出來(lái)，但是它與虛擬現(xiàn)實(shí)有很大的不同。虛擬現(xiàn)實(shí)是通過(guò)模擬虛擬的世界使用戶能夠沉浸其中[6]。增強(qiáng)現(xiàn)實(shí)則是將虛擬物體帶入真實(shí)世界中，將兩者疊加在一個(gè)空間來(lái)實(shí)現(xiàn)對(duì)真實(shí)世界的“增強(qiáng)”[7]。隨著科技的發(fā)展，增強(qiáng)現(xiàn)實(shí)越來(lái)越貼近人們的生活，不僅成為近年來(lái)國(guó)外眾多知名大學(xué)和研究機(jī)構(gòu)的研究熱點(diǎn)之一，在醫(yī)療、教育、軍事、工業(yè)、廣告、游戲和旅游等領(lǐng)域都有更為廣泛的應(yīng)用。

本文主要概述了增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)，包括跟蹤注冊(cè)技術(shù)，顯示技術(shù)以及智能交互技術(shù)。著重強(qiáng)調(diào)了這幾年出現(xiàn)的最新的增強(qiáng)現(xiàn)實(shí)技術(shù)，如離線渲染技術(shù)，進(jìn)而簡(jiǎn)要的列舉了增強(qiáng)現(xiàn)實(shí)領(lǐng)域相關(guān)的開(kāi)發(fā)工具，并對(duì)增強(qiáng)現(xiàn)實(shí)的應(yīng)用領(lǐng)域做了總結(jié)。最后對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)將來(lái)的發(fā)展情況做了簡(jiǎn)單的預(yù)測(cè)。

1 增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)是在計(jì)算機(jī)圖形學(xué)，計(jì)算機(jī)圖像處理，機(jī)器學(xué)習(xí)能基礎(chǔ)上發(fā)展起來(lái)的[8]。它將原本在真實(shí)世界中的實(shí)體信息，通過(guò)一些計(jì)算機(jī)技術(shù)疊加到真實(shí)世界中來(lái)被人類感官所感知，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。為了使用戶能夠真實(shí)的與虛擬物體交互，增強(qiáng)現(xiàn)實(shí)系統(tǒng)必須要提供高幀率、高分辨率的虛擬場(chǎng)景，跟蹤定位設(shè)備和交互感應(yīng)設(shè)備[9]。因此，跟蹤注冊(cè)技術(shù)和系統(tǒng)顯示技術(shù)是增強(qiáng)現(xiàn)實(shí)技術(shù)的基礎(chǔ)。

1.1 跟蹤注冊(cè)技術(shù)

跟蹤注冊(cè)技術(shù)根據(jù)跟蹤的對(duì)象可以簡(jiǎn)單的分為兩類:1)把攝像機(jī)作為跟蹤對(duì)象，如基于硬件傳感器的跟蹤技術(shù)和基于計(jì)算機(jī)視覺(jué)的跟蹤技術(shù)?；谟布鞲衅鞯母櫦夹g(shù)通過(guò)手機(jī)等便攜設(shè)備獲取設(shè)備的位置、移動(dòng)信息，從而達(dá)到跟蹤注冊(cè)的目的[10]；基于計(jì)算機(jī)視覺(jué)的跟蹤技術(shù)使用攝像機(jī)獲取真實(shí)場(chǎng)景的圖像，利用機(jī)器視覺(jué)的相關(guān)算法將虛擬物體與真實(shí)場(chǎng)景融合在同一個(gè)視頻圖像中。2)把人作為跟蹤對(duì)象。即以人自己本身的信息或者人周邊的信息作為被跟蹤對(duì)象。例如，基于深度攝像機(jī)的跟蹤注冊(cè)技術(shù)可以識(shí)別并跟蹤人體骨骼、人體周邊物體的信息，從而對(duì)人體周邊的環(huán)境做簡(jiǎn)單的建模并加載虛擬場(chǎng)景。

1.1.1 基于硬件傳感器的跟蹤注冊(cè)技術(shù)

基于硬件傳感器的跟蹤注冊(cè)技術(shù)通過(guò)傳感器的信號(hào)發(fā)送器和感知器來(lái)獲取到相關(guān)位置數(shù)據(jù)，進(jìn)而計(jì)算出攝像機(jī)或智能設(shè)備相對(duì)于真實(shí)世界的姿態(tài)?；谟布娜S注冊(cè)技術(shù)有很多種，下面主要介紹其中的三種，即GPS全球定位系統(tǒng)、慣性導(dǎo)航系統(tǒng)和磁感應(yīng)傳感器跟蹤注冊(cè)技術(shù)。

GPS全球定位系統(tǒng)。它用在大規(guī)模的戶外增強(qiáng)顯示系統(tǒng)中來(lái)確定用戶的地理位置[11]，將獲得的定位數(shù)據(jù)通過(guò)移動(dòng)通信模塊(gsm/gprs網(wǎng)絡(luò))上傳至網(wǎng)絡(luò)上的某臺(tái)服務(wù)器從而可以在智能設(shè)備上查詢位置。由于GPS的定位精度一般為1米到15米左右，精度不夠，所以在實(shí)際中，我們只將它的定位數(shù)據(jù)作為一個(gè)粗略的初始位置，再使用其他跟蹤注冊(cè)算法來(lái)實(shí)現(xiàn)更加精確的三維跟蹤[12]。

陀螺儀，它用于測(cè)定用戶智能設(shè)備轉(zhuǎn)動(dòng)的角度以及運(yùn)動(dòng)的三維角速度。像陀螺儀這類的慣性跟蹤器一般只能簡(jiǎn)單測(cè)量智能設(shè)備的運(yùn)動(dòng)模式，所以經(jīng)常和加速傳感器配合使用。加速傳感器通過(guò)慣性原理來(lái)測(cè)定使用者的運(yùn)動(dòng)加速度，它和慣性跟蹤器一同使用構(gòu)成慣性導(dǎo)航定位系統(tǒng)，并通過(guò)這個(gè)慣性導(dǎo)航定位系統(tǒng)來(lái)測(cè)定智能設(shè)備的方位和速度，這種方法定位精度高，同時(shí)抗干擾能力強(qiáng)。戶外增強(qiáng)顯示系統(tǒng)一般使用GPS定位負(fù)責(zé)粗略的定位地理位置，慣性導(dǎo)航系統(tǒng)負(fù)責(zé)估計(jì)智能設(shè)備的姿態(tài)，但是它也有一定的缺點(diǎn)，在使用一段時(shí)間后各種傳感器之間的數(shù)據(jù)交互會(huì)產(chǎn)生累積誤差。

磁感應(yīng)傳感器，它是增強(qiáng)現(xiàn)實(shí)領(lǐng)域運(yùn)用較為廣泛的一種位置姿態(tài)測(cè)量裝置。它能夠通過(guò)線圈電流的大小來(lái)計(jì)算交互設(shè)備與人造磁場(chǎng)中心點(diǎn)的距離以及方向，此外它還可以通過(guò)地球的磁場(chǎng)來(lái)判斷設(shè)備的運(yùn)動(dòng)方位。但是有一個(gè)明顯的缺點(diǎn)是容易收到其他磁場(chǎng)的影響，并且跟蹤的范圍有一定的局限性。所以如果磁場(chǎng)強(qiáng)度較弱，它跟蹤的精確度就會(huì)大大降低[13]。

1.1.2 基于計(jì)算機(jī)視覺(jué)的跟蹤技術(shù)

根據(jù)是否采用人工標(biāo)記物將基于計(jì)算機(jī)視覺(jué)的跟蹤技術(shù)分為帶標(biāo)記跟蹤和不帶標(biāo)記跟蹤，我們主要對(duì)帶標(biāo)記跟蹤進(jìn)行分析，帶標(biāo)記跟蹤技術(shù)又可以根據(jù)標(biāo)記物的特點(diǎn)分為強(qiáng)標(biāo)記[14-15]和弱標(biāo)記跟蹤兩類。

1)基于強(qiáng)標(biāo)記的跟蹤技術(shù)：

基于強(qiáng)標(biāo)記的跟蹤注冊(cè)技術(shù)需要在真實(shí)場(chǎng)景中事先放置一個(gè)標(biāo)識(shí)物作為識(shí)別標(biāo)記。使用標(biāo)示物的目的是為了能夠快速的在復(fù)雜的真實(shí)場(chǎng)景中檢測(cè)出標(biāo)識(shí)物的存在，然后在標(biāo)識(shí)物所在的空間上注冊(cè)虛擬場(chǎng)景。

一般的檢測(cè)中使用的標(biāo)記物非常簡(jiǎn)單，標(biāo)記物可能是一個(gè)只有黑白兩色的矩形方塊，或者是一種具有特殊幾何形狀的人工標(biāo)志物[16]，如圖1所示[17]。標(biāo)記物上的圖案包含著不同的虛擬物體，不同的標(biāo)記物所含的信息也不相同，提取標(biāo)記物的方法也不相同，所以應(yīng)合理和選取人工標(biāo)識(shí)物來(lái)提高識(shí)別結(jié)果的準(zhǔn)確性。

圖1 人工標(biāo)志圖

假設(shè)只考慮最簡(jiǎn)單的一種情況——將單個(gè)的人工標(biāo)志放在白色的背景中。通過(guò)對(duì)圖像做閾值化[18]和邊緣檢測(cè)[19]將人工標(biāo)記物的邊緣提取出來(lái)，再采用Hough變換得到四條邊所在的直線，進(jìn)而計(jì)算相鄰直線的交點(diǎn)坐標(biāo)，獲取標(biāo)志物頂點(diǎn)的圖像坐標(biāo)[20]。

為了把三維模型放置在真實(shí)場(chǎng)景中，我們需要知道匹配好的模版在真實(shí)世界中與攝像機(jī)的相對(duì)位置。我們使用一個(gè)投影變換來(lái)表示這個(gè)相對(duì)位置。標(biāo)記物在三維空間中的位置和它在二維畫(huà)面中的投影的關(guān)系式如下：

p=K[R|t]M

M為三維空間中的任一點(diǎn)的坐標(biāo)；[R|t]為4*3的矩陣，表示一個(gè)歐氏變換；K為攝像機(jī)矩陣的內(nèi)參矩陣，表示攝像機(jī)鏡頭的焦距等內(nèi)參；p為三維空間任一點(diǎn)在二維屏幕上的投影的坐標(biāo)，具體公式如下：

在強(qiáng)標(biāo)記的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，一般是在模版匹配結(jié)束后，計(jì)算出旋轉(zhuǎn)與平移矩陣[R|t]，得出外部參數(shù)，從而得到二維屏幕上的標(biāo)記物的4個(gè)角點(diǎn)的坐標(biāo)(如圖2)[17]。

之后，我們?cè)俑鶕?jù)真實(shí)空間的四個(gè)角點(diǎn)的三維坐標(biāo)和在屏幕上的投影，在恰當(dāng)?shù)奈恢娩秩救S模型，如圖3所示[20]。

圖3 強(qiáng)標(biāo)記的增強(qiáng)現(xiàn)實(shí)效果

2)基于弱標(biāo)記的跟蹤技術(shù)：

弱標(biāo)記的標(biāo)記物都是具有自然特征的圖片[21]。由于標(biāo)記物的模版被部分重疊依舊可以工作，所以它的模版沒(méi)有嚴(yán)格的限制，可以采用任意的形狀和紋理。雖然弱標(biāo)記跟蹤技術(shù)標(biāo)記物模版的選取較為方便，但其模版圖片卻十分復(fù)雜。因?yàn)樽匀惶卣鞯臉?biāo)識(shí)物特征點(diǎn)的檢測(cè)，提取和篩選較為復(fù)雜，需要很大的運(yùn)算量，而現(xiàn)有的智能設(shè)備還不足以支撐起如此大的運(yùn)算量[22]，因此弱標(biāo)記的應(yīng)用必須存在于電腦端。

弱標(biāo)記跟蹤的基本流程是將視頻中拍攝到的自然圖片和預(yù)先存儲(chǔ)的標(biāo)準(zhǔn)自然圖片做特征點(diǎn)匹配，通過(guò)這些特征點(diǎn)集的匹配關(guān)系求出一個(gè)兩張圖片之間幾何變換矩陣，再通過(guò)這個(gè)矩陣得到自然圖片在真實(shí)場(chǎng)景中的位置關(guān)系并顯示三維模型。

隨著弱標(biāo)記技術(shù)的發(fā)展，一些特征點(diǎn)描述子(Descriptor)在圖像識(shí)別、圖像剪接、匹配技術(shù)中得到了廣泛應(yīng)用。其中最常見(jiàn)的是SIFT描述子[23]和SURF描述子[24]。我們通過(guò)這兩種算法使圖4中[17]的兩張圖片中(一張是自然環(huán)境下的圖片，另一張是程序后臺(tái)存儲(chǔ)的圖片)的特征點(diǎn)進(jìn)行對(duì)應(yīng)。由于不可避免的噪聲以及移動(dòng)等原因的干擾，造成錯(cuò)誤的匹配點(diǎn)，所以通常采用隨機(jī)采樣一致性(RANSAC)[25]算法來(lái)匹配特征點(diǎn)。

圖4 標(biāo)準(zhǔn)的自然標(biāo)記物以及真實(shí)場(chǎng)景下的自然標(biāo)記物之間的特征點(diǎn)的對(duì)應(yīng)

此外，基于視覺(jué)的增強(qiáng)現(xiàn)實(shí)應(yīng)用有兩方面：視頻捕捉(Video Capture)和AR可視化(AR Visualization)。視頻捕捉階段包含從設(shè)備的攝像頭接收視頻幀，做一定的色彩轉(zhuǎn)換，并把初步處理的視頻幀發(fā)送到處理管線(Processing Pipeline)。由于對(duì)于手機(jī)以及任何可穿戴設(shè)備來(lái)說(shuō)，處理視頻幀的運(yùn)算量還是相對(duì)非常大的，同時(shí)也是增強(qiáng)現(xiàn)實(shí)系統(tǒng)中最大的一部分運(yùn)算量。所以對(duì)于手機(jī)來(lái)說(shuō)，要獲取盡可能大的性能，要從內(nèi)存中直接讀取視頻幀，并且視頻幀的圖像處理壓力不能太大。增強(qiáng)現(xiàn)實(shí)應(yīng)用是實(shí)時(shí)性的，所以盡可能快的處理視頻幀能增大幀率(FPS)，屏幕視頻顯示越快，越不會(huì)給用戶以停滯感。

1.1.3 基于深度攝像機(jī)的跟蹤技術(shù)

由于環(huán)境光照的情況、標(biāo)記被遮擋以及目標(biāo)短暫性的消失這些因素會(huì)導(dǎo)致渲染系統(tǒng)不能真實(shí)的渲染三維物體，所以針對(duì)這些因素的影響，有些增強(qiáng)現(xiàn)實(shí)開(kāi)發(fā)公司就在增強(qiáng)現(xiàn)實(shí)應(yīng)用中加入其他輔助器材來(lái)實(shí)驗(yàn)性更精確的跟蹤結(jié)果。如微軟出品的Hololens智能眼鏡就加入了四個(gè)深度攝像頭。如圖5所示。

圖5 Hololens智能眼鏡

深度攝像頭采用SLAM[26]技術(shù)，先將周?chē)沫h(huán)境掃描之后生成點(diǎn)云，再將點(diǎn)云生成三角面片，最后進(jìn)行SLAM。SLAM(Simultaneous Localization And Mapping)即同步定位與建圖系統(tǒng)，即通過(guò)傳感器獲取環(huán)境的有限信息，比如視覺(jué)信息，深度信息(Kinect)，還有自身的加速度，角速度等來(lái)確定自己的相對(duì)或者絕對(duì)位置，并且完成對(duì)于地圖的構(gòu)建。這個(gè)技術(shù)被用于機(jī)器人、無(wú)人汽車(chē)、無(wú)人飛行器的定位與尋路系統(tǒng)。

1.1.4 基于離線分析渲染的增強(qiáng)現(xiàn)實(shí)技術(shù)

該技術(shù)通過(guò)分析圖像特征估計(jì)相機(jī)參數(shù)和場(chǎng)景光照并將虛擬物體渲染在真實(shí)圖像中。由于分析算法計(jì)算量大，對(duì)于普通大小圖像的分析時(shí)間以分鐘為單位，目前只能在實(shí)時(shí)性要求不高的離線系統(tǒng)中應(yīng)用。這類技術(shù)已經(jīng)應(yīng)用于PhotoShop等軟件中做為對(duì)二維圖片的三維圖像的疊加處理技術(shù)。

文獻(xiàn)[27]描述了如何將虛擬物體融合到目標(biāo)圖像中。該論文使用位圖表示虛擬對(duì)象，并在建立虛擬對(duì)象數(shù)據(jù)庫(kù)是對(duì)虛擬對(duì)象的物理尺寸和光照環(huán)境進(jìn)行了分析。融合過(guò)程中系統(tǒng)自動(dòng)計(jì)算目標(biāo)圖像和數(shù)據(jù)庫(kù)中二維虛擬對(duì)象的光照環(huán)境匹配度，提示用戶選擇匹配度高的虛擬對(duì)象進(jìn)行融合，并簡(jiǎn)單繪制虛擬對(duì)象的陰影效果。文獻(xiàn)[28]所實(shí)現(xiàn)的圖片編輯系統(tǒng)可以允許用戶在圖片中拖入三維虛擬物體，并將其與圖片中場(chǎng)景完美融合，交互簡(jiǎn)單。系統(tǒng)自動(dòng)分析用戶輸入圖片得到融合所需的圖片相機(jī)、深度和光照信息。用戶將三維虛擬物體拖入即可得到融合結(jié)果，如圖6所示。

圖6 融合效果示例

文獻(xiàn)[28]的處理流程如圖7所示。該流程主要包括三個(gè)步驟：第一步，估計(jì)場(chǎng)景的物理空間；第二步，根據(jù)上一步計(jì)算所得的物理空間參數(shù)來(lái)估計(jì)場(chǎng)景的光照；第三步，在場(chǎng)景中組合物體，增強(qiáng)光照或改變景深以使物體和場(chǎng)景融合后的圖像接近源圖像。下面對(duì)上述的三個(gè)步驟進(jìn)行具體的分析：

圖7 離線分析融合流程

1)單一圖片的重建。如圖8所示。

圖8 單一圖片的重建

該步驟估計(jì)場(chǎng)景的物理空間參數(shù)(包括深度圖，攝像機(jī)參數(shù)，空間漫反射系數(shù))。首先基于文獻(xiàn)[29]的幾何參數(shù)估計(jì)算法估計(jì)攝像機(jī)參數(shù)(焦距、圖像中心)。然后使用文獻(xiàn)[30]的算法估計(jì)每個(gè)像素的對(duì)應(yīng)的空間的漫反射系數(shù)。最后，由前兩步得到的參數(shù)和一個(gè)基于RGBD圖像的數(shù)據(jù)庫(kù)，根據(jù)非參數(shù)化的深度采樣方法來(lái)計(jì)算場(chǎng)景中每個(gè)像素的深度值。

2)光照估計(jì)。如圖9所示。

圖9 光照估計(jì)

文獻(xiàn)[28]把光源分為可視的光源(可以在照片中看到的光源)和潛在的光源(其他光照)。可視的光源可以用訓(xùn)練過(guò)的光照分類器在圖片中檢測(cè)出來(lái)，潛在的光源是一張被標(biāo)記過(guò)球面全景圖[31]的數(shù)據(jù)集通過(guò)一個(gè)數(shù)據(jù)驅(qū)動(dòng)流程而后得到。最后，優(yōu)化光照強(qiáng)度以使別渲染的場(chǎng)景相似于輸入圖片。

3)物體融合。如圖10所示。

圖10 物體的融合

文獻(xiàn)[28]的離線渲染算法在LuxRender基于物理的圖像渲染引擎里實(shí)現(xiàn)。用戶只需要拖動(dòng)一個(gè)物體進(jìn)入圖片里，系統(tǒng)就會(huì)自動(dòng)執(zhí)行離線渲染算法，最后生成光照、深度優(yōu)化好的物體與實(shí)景融合的圖片。

Autodesk公司出品的一款手機(jī)應(yīng)用123D creature show就是對(duì)增強(qiáng)現(xiàn)實(shí)的離線渲染算法的實(shí)際應(yīng)用。用戶可以在該手機(jī)應(yīng)用中可修改應(yīng)用內(nèi)置的幾個(gè)三維模型，可以拍照以及在原有照片上疊加被用戶修改好的三維模型。此外，該應(yīng)用的Blend模式還可以對(duì)三維模型融合在真實(shí)場(chǎng)景中的光照情況進(jìn)行優(yōu)化。如圖11所示。

圖11 Autodesk 123D creature show效果圖

1.2 顯示技術(shù)

視覺(jué)是人類與外界環(huán)境之間最為重要且直接的信息傳遞通道，因此，顯示技術(shù)是增強(qiáng)現(xiàn)實(shí)技術(shù)中的關(guān)鍵技術(shù)之一。顯示技術(shù)的作用是將計(jì)算機(jī)生成的虛擬信息與用戶所處真實(shí)環(huán)境融合在一起。增強(qiáng)顯示系統(tǒng)中的顯示技術(shù)有頭盔顯示器、手持式顯示器、投影顯示等。

1)頭戴式顯示器。

頭戴式顯示器是一種可以讓用戶感受到沉浸感的顯示設(shè)備。它主要分為兩種，基于攝像機(jī)原理的視頻透視式頭戴顯示器和基于光學(xué)原理的光學(xué)透視式頭戴顯示器。

視頻透視式頭盔顯示器通過(guò)頭盔上一個(gè)或數(shù)個(gè)相機(jī)來(lái)獲取實(shí)時(shí)影像。該影像通過(guò)圖像處理模塊和虛擬渲染模塊產(chǎn)生的三維物體相互融合，最終在頭戴顯示器上顯示出來(lái)。

目前，微軟推出的Hololens[32]增強(qiáng)現(xiàn)實(shí)眼鏡和Meta公司推出的Meta 2增強(qiáng)現(xiàn)實(shí)眼鏡都是視頻透視式頭盔顯示器。Hololens和Meta 2都具有強(qiáng)沉浸感、智能的人機(jī)交互方式的特點(diǎn)，但不同的是：Hololens可以讓用戶只需要帶上眼鏡而不需要連接任何設(shè)備就可運(yùn)行增強(qiáng)現(xiàn)實(shí)應(yīng)用；Meta 2(如圖12)需要用戶戴上增強(qiáng)現(xiàn)實(shí)眼鏡后，連接電腦作為輔助計(jì)算，才能使用增強(qiáng)現(xiàn)實(shí)應(yīng)用做交互。

圖12 Meta 2增強(qiáng)現(xiàn)實(shí)眼鏡

光學(xué)透視式頭戴顯示器是利用光的反射原理，在用戶的眼前放置一塊半透明的光學(xué)組合器，使用戶能夠看到虛擬三維物體與真實(shí)場(chǎng)景相互融合的畫(huà)面。這個(gè)過(guò)程沒(méi)有經(jīng)過(guò)任何的圖像處理，就是用戶雙眼看到的真實(shí)場(chǎng)景。

Google公司出品的Google智能增強(qiáng)現(xiàn)實(shí)眼鏡是一款光學(xué)透視式頭盔顯示器。它不僅可以用來(lái)攝像拍照，還可以通過(guò)棱鏡進(jìn)行顯示，同時(shí)還可以通過(guò)麥克風(fēng)和揚(yáng)聲器來(lái)接聽(tīng)用戶的指令命令。除此之外，它的CPU模塊還包含了可以用來(lái)計(jì)算用戶位置以及圖像處理的GPS，如圖13所示。

圖13 Google智能增強(qiáng)現(xiàn)實(shí)眼鏡

另外，還有一種特殊的頭戴式顯示器——基于LightField的Magic Leap開(kāi)發(fā)的增強(qiáng)現(xiàn)實(shí)眼鏡。如圖14所示[33]。一束光線經(jīng)過(guò)uv平面和st平面，令這兩個(gè)交點(diǎn)的坐標(biāo)為(u,v), (s,t)，那么光場(chǎng)函數(shù)就可以描述為L(zhǎng)(u,v,s,t)。

圖14 Light Field原理圖

Magic Leap開(kāi)發(fā)的這款眼鏡是通過(guò)眼鏡里的一對(duì)攝像機(jī)來(lái)跟蹤雙眼，計(jì)算出雙眼的焦距，再使用Light Field技術(shù)來(lái)讓三維模型投影在雙眼上，讓雙眼感受到真實(shí)世界的深度。

2)手持式移動(dòng)顯示器。

手持式移動(dòng)顯示器是一種允許用戶手持的顯示設(shè)備[34]。它雖然消除了用戶佩戴頭戴式顯示器的不舒適感，但也相應(yīng)地減弱了視覺(jué)的沉浸感。隨著各種性能較強(qiáng)的移動(dòng)智能終端的出現(xiàn)，為移動(dòng)增強(qiáng)現(xiàn)實(shí)的發(fā)展提供了很好的開(kāi)發(fā)平臺(tái)。智能手機(jī)普遍都具有內(nèi)置的攝像頭、內(nèi)置的GPS和內(nèi)置的慣性傳感器、磁傳感器等，同時(shí)具有較大的高分辨率的顯示屏，體積小易于攜帶，是增強(qiáng)現(xiàn)實(shí)技術(shù)開(kāi)發(fā)中非常理想的設(shè)備。

3)計(jì)算機(jī)屏幕顯示器。

計(jì)算機(jī)屏幕顯示器擁有較高的分辨率，可以滿足當(dāng)前很多桌面機(jī)用戶的視覺(jué)需求。這種顯示設(shè)備適合那種室內(nèi)需要渲染精細(xì)三維物體的增強(qiáng)現(xiàn)實(shí)的環(huán)境，并且適合于將虛擬物體渲染到范圍較大的環(huán)境中。同時(shí)平面顯示設(shè)備造價(jià)低，性價(jià)比高，多用于低端或者多用戶的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，雖然屏幕的沉浸感非常弱，但對(duì)于多用戶、大場(chǎng)景的的增強(qiáng)現(xiàn)實(shí)系統(tǒng)參與感確很強(qiáng)。

4)投影顯示。

與平面顯示設(shè)備把圖像生成在固定的設(shè)備表面不同的是，投影設(shè)備能夠?qū)D像投影到大范圍的環(huán)境中[33]；與頭戴式的顯示設(shè)備相比,投影設(shè)備更適合室內(nèi)AR應(yīng)用環(huán)境，其生成圖像的焦點(diǎn)不會(huì)隨著使用者視角的改變而變化。

據(jù)悉，亞馬遜獲得了“物體追蹤”和“反射測(cè)距”兩個(gè)專利，其中，“物體追蹤”是利用了相機(jī)和投影儀的基本原理，將虛擬的影像投射在真實(shí)的物體上去，再去捕捉人手的動(dòng)作來(lái)實(shí)現(xiàn)互動(dòng)， “反射測(cè)距”是通過(guò)投影儀將整個(gè)房間變成全息平臺(tái)，進(jìn)行測(cè)量人和物體的對(duì)應(yīng)距離。如圖15所示。

圖15 “物體追蹤”和“反射測(cè)距”原理圖

這兩個(gè)專利的原理跟微軟研究院開(kāi)發(fā)的RoomAlive項(xiàng)目的原理類似。不同的是RoomAlive項(xiàng)目利用Kinect與投影儀來(lái)掃描房間的幾何形態(tài)，然后把虛擬影像投射到房間的任何角落來(lái)實(shí)現(xiàn)與用戶的互動(dòng)。

1.3 智能交互技術(shù)

在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，有多種方式實(shí)現(xiàn)人機(jī)交互，從傳統(tǒng)的鼠標(biāo)鍵盤(pán)交互到語(yǔ)言、手勢(shì)交互，人機(jī)交互技術(shù)的發(fā)展將極大的擴(kuò)展增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，常見(jiàn)的人機(jī)交互方式有以下幾種：

1)基于傳統(tǒng)的硬件設(shè)備。

鼠標(biāo)、鍵盤(pán)、手柄等是增強(qiáng)現(xiàn)實(shí)系統(tǒng)中常見(jiàn)的交互工具，通過(guò)鼠標(biāo)或鍵盤(pán)選中圖像坐標(biāo)系中的某一個(gè)點(diǎn)，對(duì)該點(diǎn)對(duì)應(yīng)的虛擬物體做出如點(diǎn)按、拖動(dòng)等操作。最大的不足在于不能給用戶提供很好的交互體驗(yàn)，無(wú)法讓使用者“身臨其境”。如圖16中，手機(jī)上的一種增強(qiáng)現(xiàn)實(shí)游戲，屏幕顯示虛擬籃球場(chǎng)，通過(guò)手指在觸摸屏的滑動(dòng)，來(lái)做出射籃、運(yùn)球等操作。

圖16 增強(qiáng)現(xiàn)實(shí)游戲

2)手勢(shì)交互手段。

基于手勢(shì)的交互方式是近年來(lái)人機(jī)交互領(lǐng)域出現(xiàn)的一種新式的交互手段，在這種交互方式中，人手被當(dāng)成了人機(jī)交互接口，以計(jì)算機(jī)捕捉到的各種手勢(shì)、動(dòng)作作為輸入，這種交互方式更加直觀、自然。比如微軟的Hololens眼鏡，眼鏡上的深度攝像頭提取人手的三維坐標(biāo)、手勢(shì)來(lái)操作交互界面上顯示的三維虛擬物體或者場(chǎng)景。如圖17所示。

圖17 Hololens的手勢(shì)交互

通過(guò)將人類自然且直觀的交流手段引入人機(jī)交互接口中，作為計(jì)算機(jī)空間與人類認(rèn)知空間交互的另一個(gè)橋梁。這種交互方式不但降低了人機(jī)交互的成本，而且更加符合人類的自然習(xí)慣，已經(jīng)成為業(yè)內(nèi)研究的熱點(diǎn)。

3)便攜式投影互動(dòng)技術(shù)。

MIT大學(xué)的SixthSense[35]和微軟開(kāi)發(fā)的Omnitouch都屬于這類便攜式投影互動(dòng)觸摸技術(shù)。將操作菜單等可交互操作的畫(huà)面投影到某一平面內(nèi)。如圖18所示。

圖18 SixthSense

2 增強(qiáng)現(xiàn)實(shí)開(kāi)發(fā)工具

為了推進(jìn)增強(qiáng)現(xiàn)實(shí)的實(shí)際應(yīng)用，除了對(duì)跟蹤注冊(cè)定位、人機(jī)交互和渲染虛擬場(chǎng)景等基本技術(shù)進(jìn)行研究外，還應(yīng)提供一個(gè)開(kāi)發(fā)與運(yùn)行環(huán)境，以便于各個(gè)領(lǐng)域增強(qiáng)現(xiàn)實(shí)相關(guān)應(yīng)用的開(kāi)發(fā)，因此增強(qiáng)現(xiàn)實(shí)的系統(tǒng)框架的研究也是這個(gè)領(lǐng)域的一個(gè)重要內(nèi)容。增強(qiáng)現(xiàn)實(shí)領(lǐng)域相關(guān)的公司相繼開(kāi)放一些適合增強(qiáng)現(xiàn)實(shí)應(yīng)用、可重用的系統(tǒng)開(kāi)發(fā)庫(kù)，用來(lái)支持增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)的快速開(kāi)發(fā)。這些框架包括Vuforia、Metaio等第三方開(kāi)發(fā)庫(kù)。

2.1 Vuforia

Vuforia[36]是由高通(Qualcomm)公司提供的增強(qiáng)現(xiàn)實(shí)開(kāi)發(fā)包，除了iOS與Android等手機(jī)平臺(tái)的SDK以外，也提供了Unity3D[37]游戲引擎的擴(kuò)展控件。讓用戶輕松制作PC或手機(jī)端的增強(qiáng)現(xiàn)實(shí)應(yīng)用。Vuforia可以免費(fèi)下載，只有使用進(jìn)階功能與服務(wù)時(shí)才需要另外支付費(fèi)用。

Fuerte International 利用Vuforia為豐田開(kāi)發(fā)了一款A(yù)R游戲。它的原理很簡(jiǎn)單，通過(guò)攝像頭拍攝印有“Made to Thrill”主題的圖片，就會(huì)有一輛Toyota 86出現(xiàn)在屏幕上。利用操縱桿，你可以控制它加速、轉(zhuǎn)彎、漂移。

2.2 Metaio

Metaio[38]是增強(qiáng)現(xiàn)實(shí)領(lǐng)域的領(lǐng)導(dǎo)者，公司脫胎于大眾汽車(chē)啟動(dòng)的一個(gè)研究計(jì)劃，和Vuforia增強(qiáng)現(xiàn)實(shí)開(kāi)發(fā)包類似。Metaio提供Metaio SDKCreatorCloudJunaio(一個(gè)跨品臺(tái)的增強(qiáng)現(xiàn)實(shí)瀏覽器)產(chǎn)品的整個(gè)垂直產(chǎn)業(yè)鏈，吸引眾多獨(dú)立開(kāi)發(fā)者和企業(yè)。近期被蘋(píng)果公司收購(gòu)，將來(lái)不僅給開(kāi)發(fā)者提供這方面更強(qiáng)大的支持，同時(shí)也會(huì)助力Metaio關(guān)于帶增強(qiáng)現(xiàn)實(shí)起飛的愿景。

2.3 其他開(kāi)源第三方增強(qiáng)現(xiàn)實(shí)開(kāi)發(fā)框架

對(duì)于上述介紹的Metaio或者Vuforia等增強(qiáng)現(xiàn)實(shí)開(kāi)發(fā)SDK并不是完全免費(fèi)的，對(duì)于企業(yè)用戶來(lái)說(shuō)，有時(shí)需要向SDK開(kāi)發(fā)公司索取授權(quán)，而授權(quán)費(fèi)非常昂貴，每次升級(jí)換代還需要重新授權(quán)。所以就誕生了很多個(gè)人用戶開(kāi)發(fā)的增強(qiáng)現(xiàn)實(shí)庫(kù)，比如早期的ARToolKit[39]開(kāi)源工具包，它主要由日本大阪大學(xué)的Hirokazu博士開(kāi)發(fā)，用于快速編寫(xiě)AR應(yīng)用，并受到了華盛頓大學(xué)人機(jī)界面實(shí)驗(yàn)室和新西蘭坎特伯雷大學(xué)人機(jī)界面實(shí)驗(yàn)室支持，曾經(jīng)是AR領(lǐng)域使用最廣泛的開(kāi)發(fā)包。另外還有很多個(gè)人以及企業(yè)開(kāi)發(fā)的增強(qiáng)現(xiàn)實(shí)開(kāi)發(fā)包，比如Rajawali、ARLab、ARmedia等開(kāi)發(fā)包[40]。

3 增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用領(lǐng)域

3.1 工業(yè)制造和維修領(lǐng)域

這是增強(qiáng)現(xiàn)實(shí)技術(shù)被應(yīng)用的第一個(gè)行業(yè)。通過(guò)頭戴式顯示器連接到需要施工的特定物體上，進(jìn)而在顯示器上描述出物體的圖像[41]。微軟公司開(kāi)發(fā)的Hololens智能眼鏡疊加三維影像在真實(shí)場(chǎng)景上。圖19下展示出頭戴Holoens眼鏡的技術(shù)人員看到的東西：如何安裝水管和旋轉(zhuǎn)螺帽的視頻。而智能眼鏡將交互視頻疊加在墻面上。

圖19 Hololens眼鏡的增強(qiáng)現(xiàn)實(shí)應(yīng)用的交互效果

3.2 醫(yī)療領(lǐng)域

醫(yī)生利用增強(qiáng)現(xiàn)實(shí)技術(shù)，在患者進(jìn)行手術(shù)的過(guò)程中，可以看到注冊(cè)到病人身上的MRI和CT圖像[42]，圖形繪制模塊可以將虛擬的模型動(dòng)態(tài)實(shí)時(shí)的渲染，同時(shí)將視頻文件播放出來(lái)，展示了良好的生物實(shí)驗(yàn)結(jié)果[43]。不僅如此，增強(qiáng)現(xiàn)實(shí)技術(shù)已經(jīng)被應(yīng)用在醫(yī)療教育培訓(xùn)中，大大的增強(qiáng)醫(yī)務(wù)人員的醫(yī)治水平。除此之外，增強(qiáng)現(xiàn)實(shí)還可以應(yīng)用于虛擬手術(shù)模擬，虛擬人體功能，虛擬人體解剖和遠(yuǎn)程手術(shù)等。

3.3 軍事領(lǐng)域

軍隊(duì)可以利用增強(qiáng)現(xiàn)實(shí)技術(shù)提供周邊環(huán)境的重要信息，如顯示建筑物另一側(cè)的入口；顯示軍隊(duì)的移動(dòng)，從而讓士兵轉(zhuǎn)移到敵人看不到的地方。

BAE系統(tǒng)公司和英國(guó)伯明翰大學(xué)的專家們已經(jīng)研發(fā)出了軍事作戰(zhàn)指導(dǎo)系統(tǒng)的雛形。系統(tǒng)配置了Oculus Rift虛擬現(xiàn)實(shí)頭盔。通過(guò)這些技術(shù)，軍官可以直接在便攜式智慧中心來(lái)進(jìn)行戰(zhàn)略的部署和獲取前線的實(shí)施戰(zhàn)況。

3.4 電視轉(zhuǎn)播領(lǐng)域

增強(qiáng)現(xiàn)實(shí)技術(shù)可以為電視臺(tái)轉(zhuǎn)播節(jié)目的時(shí)候提供實(shí)時(shí)的節(jié)目信息， CCTV5在轉(zhuǎn)播2014年世界杯的時(shí)候，通過(guò)運(yùn)用自然特征的圖形標(biāo)記來(lái)定位球場(chǎng)位置及其內(nèi)部具體情況從而可以在節(jié)目現(xiàn)場(chǎng)展示被三維渲染的世界杯球場(chǎng)。攝像頭捕捉到標(biāo)記后，由后臺(tái)運(yùn)算系統(tǒng)計(jì)算得到自然標(biāo)記的位置信息，最后由三維渲染系統(tǒng)將三維動(dòng)畫(huà)繪制在屏幕上。

3.5 娛樂(lè)、游戲領(lǐng)域

Ingress是谷歌發(fā)布的一個(gè)手機(jī)增強(qiáng)現(xiàn)實(shí)游戲。玩家可以加入“Resistance”或者“Enlightened”團(tuán)隊(duì)來(lái)定位和收集“異物質(zhì)”，而“異物質(zhì)”是存在于現(xiàn)實(shí)生活中的地點(diǎn)中的，因此玩家必須親自去該地點(diǎn)來(lái)尋找它[43]。玩家通過(guò)GPS等位置傳感器獲取地點(diǎn)的位置信息，手機(jī)地圖上會(huì)出現(xiàn)該地點(diǎn)的游戲信息。

3.6 教育領(lǐng)域

增強(qiáng)現(xiàn)實(shí)技術(shù)可以將靜態(tài)的文字、圖片讀物立體化，增加閱讀的互動(dòng)性、趣味性。

Hye Sun Lee 和 Jong Weon Lee設(shè)計(jì)了一款目標(biāo)人群是幼兒園和小學(xué)學(xué)生的教育游戲。旨在幫助學(xué)習(xí)者掌握數(shù)學(xué)中的加法相關(guān)知識(shí)[45]。如圖20所示。

圖20 增強(qiáng)現(xiàn)實(shí)的教育游戲

3.7 古跡復(fù)原和數(shù)字化遺產(chǎn)保護(hù)

文化古跡的信息以增強(qiáng)現(xiàn)實(shí)的方式提供給參觀者，用戶不僅能獲取估計(jì)的文字解說(shuō)，還能看到遺址上殘缺部分的虛擬重構(gòu)。

國(guó)內(nèi)正在研究基于增強(qiáng)現(xiàn)實(shí)技術(shù)的圓明園景觀數(shù)字重現(xiàn)方面的應(yīng)用。游客把手機(jī)攝像頭對(duì)準(zhǔn)遺址，就能夠看到被破壞前的原貌。游客可以了解到該移植的所有信息，包括何年何人主持建造、所用建筑材料等內(nèi)容[46]。

ARCHEOGUIDE是一個(gè)個(gè)人電子導(dǎo)游的項(xiàng)目。該系統(tǒng)將視頻拍攝到的遺址場(chǎng)景自然無(wú)縫的與虛擬三維模型渲染在便攜設(shè)備屏幕上[47]。

3.8 家居領(lǐng)域

宜家2014年產(chǎn)品手冊(cè)中，推出了增強(qiáng)現(xiàn)實(shí)目錄，這款應(yīng)用使用的是Metaio公司的影像識(shí)別技術(shù)來(lái)辨別特定的頁(yè)面和圖像。

這款應(yīng)用能夠使用實(shí)體產(chǎn)品目錄作為標(biāo)準(zhǔn)尺寸，來(lái)判斷家具的大體尺寸，然后把家具的樣子投射到設(shè)備的顯示屏上，讓用戶來(lái)了解自己心儀的某款家具擺在在房間里的樣子，以及究竟是否合適。

4 展望

近日，創(chuàng)維推出了全球第一臺(tái)AR電視S9D，用戶可以通過(guò)S9D的電視屏幕來(lái)觀察到游戲中增加的特效，能夠大大提高用戶的沉浸感。在創(chuàng)維推出AR電視的背后，我們除了看到提升了用戶的體驗(yàn)感之外，更看到了AR技術(shù)的前景，比現(xiàn)在已經(jīng)被廣泛應(yīng)用的VR更大的市場(chǎng)。

1)由于VR是一種“封閉式”的場(chǎng)景，使得用戶的交互受到一定的限制，現(xiàn)在廣泛應(yīng)用于電子領(lǐng)域，而AR具有交互性強(qiáng)的優(yōu)點(diǎn)可以適用于更多的領(lǐng)域，如現(xiàn)在大熱的Pokemeon go游戲采用的就是AR技術(shù)。

2)2016年7月份Gartner 公布 2016 年新興技術(shù)成熟度曲線，AR 技術(shù)在經(jīng)歷概念炒作階段之后，現(xiàn)已進(jìn)入商業(yè)化之前的沉淀期。當(dāng)前市場(chǎng)已經(jīng)將大量的不成熟的AR技術(shù)和冗余的服務(wù)淘汰，投資者對(duì)于AR有了一個(gè)更清晰，更實(shí)際的認(rèn)識(shí)，符合現(xiàn)實(shí)的商業(yè)框架已經(jīng)相對(duì)成熟，在未來(lái)的幾年中AR將穩(wěn)步進(jìn)行發(fā)展，在不久的將來(lái)一定會(huì)達(dá)到行業(yè)的高峰。

但不可否認(rèn)的是AR技術(shù)的發(fā)展還處于瓶頸期，受到軟硬件的約束。首先，軟件方面底層的算法必須要加強(qiáng)，精確的圖像識(shí)別技術(shù)必須要結(jié)合觀察者的相對(duì)位置以及三維坐標(biāo)等信息進(jìn)行定位來(lái)判斷物體所處的位置，要做到對(duì)應(yīng)的精確性和實(shí)時(shí)性是一個(gè)技術(shù)難點(diǎn)。其次，在硬件方面，這有是增強(qiáng)現(xiàn)實(shí)技術(shù)目前最大的障礙。由于我們不可能隨時(shí)打開(kāi)攝像頭來(lái)掃描物體來(lái)獲得增強(qiáng)現(xiàn)實(shí)的應(yīng)用，所以像Google眼鏡這種可穿戴設(shè)備最有可能普及起來(lái)。但是這種可穿戴設(shè)備又存在著一個(gè)圖形畸變和色散的問(wèn)題，當(dāng)眼鏡成像的時(shí)候由于反射原理會(huì)在人的視場(chǎng)周邊出現(xiàn)色散現(xiàn)象，需要通過(guò)軟件來(lái)消除這一現(xiàn)象這就會(huì)使得設(shè)備的成本大大增加，不利于普及。

增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展是科技發(fā)展的必然趨勢(shì)，有利于改善生活的便利性，同時(shí)也代表了人們對(duì)未來(lái)便捷生活的憧憬，未來(lái)發(fā)展的空間不可估量。

[1] Tom caudell. AR at boeing(1990)[EB/OL]. http://www.ipo.tue.nl/homepages/mrauterb/presentation/HCI-history/tsld.htm.

[2] Sutherland I E. The ultimate display[J]. Multimedia: From Wagner to virtual reality, 1965.

[3] P Milgram, F Kishino. A taxonomy of mixed reality visual displays[J]. Leice Transactions on Information & Systems, 1994(12):1321-1329.

[4] R. Azuma. Tracking Requirements for Augmented reality[J]. Communications of the ACM，1993, 36(7): 50-51.

[5] Wagner D，Schmalstieg D. ARToolKit Plus for pose tracking on mobile devices[A].Computer Vision Winter Workshop[C].2007.

[6] Rosen J M, Soltanian H, Redett R J. Evolution of virtual reality[J]. IEEE Eng Med Biol Mag, 1996, 15(2)：16.

[7] Bajura Michael, Henry Fuchs, Ryutarou Ohbuchi. Merging Virtual Reality with the Real World: Seeing Ultrasound Imagery Within the Patient[A]. Proceedings of SIGGRAPH[C].1992，153-161.

[8] 朱淼良, 姚 遠(yuǎn), 蔣云良. 增強(qiáng)現(xiàn)實(shí)綜述[J]. 中國(guó)圖像圖形學(xué)報(bào), 2004(9):767-774.

[9] Feiner S, MacIntyre B, Hollerer T.A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment[Z]. 1997,19-30.

[10] Wagner D，Reitmayr G，Mulloni A，et al. Pose tracking from natural features on mobile phones[A].IEEE International Symposium on Mixed and Augmented Reality[C].2008.

[11] Jiang B，You S，Neumann U．A robust hybrid tracking system for outdoor augmented reality[A]．Proceedings of IEEE Virtual Reality Conference[C].2004：3-10.

[12] Yokokohji Y, Sugawara Y, Yoshikawa T. Accurate Image Overlay on VideoSee-through HMDs Using Vision and Accelerometers[A]. Proc. IEEE Virtual Reality 2000[C]. IEEE CS Press, Los Alamitos, Calif., 2000, 247-254.

[13] 汪星荷. 基于 Android 終端的移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的研究[D]. 北京：北京郵電大學(xué), 2013.

[14] 康 波. 增強(qiáng)現(xiàn)實(shí)中的跟蹤技術(shù)[J].計(jì)算機(jī)測(cè)量與控制，2006，1431-1455.

[15] Andrei State, Gentaro Hirota, David T. Chen, et al. Superior Augmented Reality Registration by Integrating Landmark Tracking and Magnetic Tracking[A]. Procs. SIGGRAPH 1996[C]. New Orleans, LA, USA, 1996, 429-438.

[16] Andrei State, Mark A. Livingston, Gentaro Hirota, et al. Techniques for Augmented Reality Systems: Realizing Ultrasound-Guided Needle Biopsies[A]. Procs.SIGGRAPH1996[C]. New Orleans, LA, USA,1996, 439-446.

[17] Baggio, Daniel Lélis. Mastering OpenCV with practical computer vision projects[M]. Packet Publishing Ltd, 2012.

[18] Fritz G, Seifert C, Paletta L. Urban Object Recognition from Informative LocalFeatures[A]. Procs. ICRA 2005[C]. Barcelona, Spain, 2005, 132-138.

[19] Davison A J. Real-time simultaneous localisation and mapping with a singlecamera[A]. Procs.ICCV 2003[C]. Nice, France, 2003, 1403-1410.

[20] 查駿元，秦文虎，趙正旭.基于人工標(biāo)志的增強(qiáng)現(xiàn)實(shí)技術(shù)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，4819-4820.

[21] Guan T, Wang C. Registration based on scene recognition and natural features tracking techniques for wide-area augmented reality systems[J]. IEEE Transactions on Multimedia, 2009, 11(8): 1393-1406.

[22] Guan T, Duan L Y, Chen Y J, et al. Fast scene recognition and camera relocalisation for wide area augmented reality systems[J]. Sensors，2010, 10(6): 6017-6043.[23] Lowe D G. Distinctive image features from scale-invariant key points[J]. International Journal of computer Vision, 2004, 60(2).

[24] Bay H,uytelaars T, Gool L V.SURF:Speeded up robust features[A].ECCV.2006[C].

[25]MartinAFischler,RobertCBolles.Randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography[J].CommunicationsoftheACM, 1981, 24(6):381-395.

[26]ThrunS,LeonardJJ.Simultaneouslocalizationandmapping[M].Springerhandbookofrobotics.SpringerBerlinHeidelberg, 2008: 871-889.

[27]PhotoClipart[Z].

[28]KarschK,SunkavalliK,HadapS,etal.Automaticsceneinferencefor3Dobjectcompositing[J].ACMTransactionsonGraphics(TOG), 2014, 33(3): 32.

[29]LeeDC,HebertM,andKanadeT.Geometricreasoningforsingleimagestructurerecovery[A].InCVPR. 2009[C].2136-2143.

[30]GrosseR,JohnsonMK,AdelsonEH,adnFreemanW.Groundtruthdatasetandbaselineevaluationsforintrinsicimagealgorithms[A].ICCV.2009[C].

[31]XiaoJ,EhingerKA,OlivaA,andTorralbaA.Recognizingsceneviewpointusingpanoramicplacerepresentation[A].InCVPR.2012[C].

[32]Hololens眼鏡[EB/OL].http://www.microsoft.com/microsoft-hololens/en-us.

[33]LevoyM,HanrahanP.Lightfieldrendering[A].Proceedingsofthe23rdannualconferenceonComputergraphicsandinteractivetechniques[C].ACM, 1996: 31-42.

[34]MistryP,MaesP.SixthSense:awearablegesturalinterface[A].ACMSIGGRAPHASIA2009Sketches[C].ACM, 2009: 11.

[35]LowK,WelehG,LastraA,etal.LifeSizedProjectoBasedDioramas[A].InACMSymposiumonVirtualRealitySoftwareandTeehnology[C].Pages161-168,2001.

[36]Vuforia[EB/OL].http://developer.vuforia.com/.

[37]Unity3D[EB/OL].http://unity3d.com/.

[38]Metaio[EB/OL].http://www.metaio.com/.

[39]ARToolKit[EB/OL].http://www.hitl.washington.edu/artoolkit/.

[40]AugmentedRealitySDKCompare[EB/OL].http://socialcompare.com/en/comparison/augmented-reality-sdks.

[41]SARDisplay[EB/OL].http://www.spatialar.eom.

[42]GlombitxaG，EversH,Hassfeld，EngelmannU,Meinzer.Virtualsurgeryinateleradiologyframework.InformationTechnologyinBiomedicine[J].IEEETransactions,1999,3(9):186-196.

[43]BajuraMichael,HenryFuchs,RyutarouOhbuchi.MergingVirtualRealitywiththeRealWorld:SeeingUltrasoundImageryWithinthePatient[A].ProceedingsofSIGGRAPH[C].1992，153-161.

[44]GoogleIngress.http://www.ingress.com.

[45]HyeSunLee,JongWeonLee.MathematicalEducationGameBasedonAugmentedReality[A].Z.Panetal.ProceedingofEdutainment[C].Berlin:Springer-Verlag, 2008, 442-450.

[46] 程 志, 金義富. 基于手機(jī)的增強(qiáng)現(xiàn)實(shí)及其移動(dòng)學(xué)習(xí)應(yīng)用[J]. 電化教育研究, 2013(2):66-70.

[47]VlahakisV,KarigiannisJ,TsotrosM,etal.ARCHEOGUIDE:FirstresultsofanAugmentedReality[A].In:MobileComputingSysteminCulturalHeritageSites,VirtualReality,Archaeology,andCulturalHeritageInternationalSymposium(VAST2001)[C].Glyfada,NrAthens,Greece(2001).

A Survey of Augmented Reality Technology

Hou Ying, Xu Weiwei

(College of Hangzhou International Institute of Service Engineering, Hangzhou Normal University, Hangzhou 311000, China)

This paper presents a survey on the field of Augmented Reality, which combines virtual computer-generated material with the surrounding physical world, registers real and virtual object with each other and runs interactively at real time. Augmented Reality makes use of video display device to present the situation after the fusion of virtual and reality to the user, thus greatly improving the human visual experience. Augmented Reality technology is a new technology which is produced in recent years with the development of virtual reality technology. Augmented Reality research encompasses a large number of areas in computer science. With the development tracking technology, the image quality and the rapid development technology have become a new requirement. The paper introduces the primary content and state of art in this field. The key technologies, including basic tracking methods, display devices and registration processes, are discussed. Many typical AR applications and developing tools are listed. Finally, the paper describes different AR application.

augmented reality; registered tracking technology; projection technology

2016-09-22；

2016-10-12。

國(guó)家自然科學(xué)基金(61272392，61322204)。

侯 穎(1992-)，女，河南駐馬店人，碩士研究生，主要從事增強(qiáng)現(xiàn)實(shí)方向的研究。

許威威(1975-)，男，安徽績(jī)溪人，博士，研究員，主要從事計(jì)算機(jī)圖形圖像處理，三維打印技術(shù)方向的研究。

1671-4598(2017)02-0001-07

10.16526/j.cnki.11-4762/tp.2017.02.001

TP18; TP391

A