溫洪念 劉 洋 韓朵朵

（石家莊鐵路職業(yè)技術(shù)學(xué)院 河北石家莊 050041）

移動增強現(xiàn)實關(guān)鍵技術(shù)綜述

溫洪念 劉 洋 韓朵朵

（石家莊鐵路職業(yè)技術(shù)學(xué)院 河北石家莊 050041）

移動增強現(xiàn)實將虛擬的增強現(xiàn)實信息應(yīng)用到真實世界，改變用戶觀察周圍世界的方式。傳統(tǒng)的基于文本輸入的WEB頁面瀏覽查詢模式，將轉(zhuǎn)變?yōu)榛诩虞d在移動智能終端的多種傳感器進行熱點捕獲，將熱點的增強信息疊加在真實場景上的下一代信息展現(xiàn)模式，極大提升用戶體驗。

移動增強現(xiàn)實 視覺搜索 目標注冊與跟蹤 內(nèi)容渲染

1 引言

增強現(xiàn)實（Augmented Reality，簡稱AR）是在虛擬現(xiàn)實（Virtual Reality，簡稱VR）技術(shù)基礎(chǔ)上發(fā)展起來的一種綜合了計算機視覺、圖形學(xué)、圖像處理、多傳感器技術(shù)、顯示技術(shù)的新興計算機應(yīng)用和人機交互技術(shù)[1]。

隨著無線互聯(lián)網(wǎng)技術(shù)的發(fā)展，帶寬不斷増加，移動智能終端的處理能力越來越強，越來越多的互聯(lián)網(wǎng)用戶開始習(xí)慣于使用移動智能終端訪問互聯(lián)網(wǎng)。多種傳感器裝備到手機上為 AR業(yè)務(wù)的普及提供了終端基礎(chǔ)，為分層次打造個性化的信息服務(wù)提供了必要的支撐條件。AR技術(shù)的普及為傳統(tǒng)的業(yè)務(wù)領(lǐng)域巧展出了很多創(chuàng)新業(yè)務(wù)，同時促進移動互聯(lián)網(wǎng)在教育、社交網(wǎng)絡(luò)、旅游、游戲等業(yè)務(wù)的創(chuàng)新。

“增強現(xiàn)實”技術(shù)的應(yīng)用與推廣，將激發(fā)用戶對內(nèi)容的潛在需求，如大型場景的三維虛實融合等，從而對無線網(wǎng)絡(luò)的帶寬資源提出更高的要求，促進LTE的產(chǎn)業(yè)化進程。因此，對增強現(xiàn)實的深入研究可以很好地拓寬無線移動通信網(wǎng)業(yè)務(wù)的應(yīng)用，讓無線移動通信網(wǎng)參與人們生活學(xué)習(xí)和工作的方方面面，從而提高無線移動通信網(wǎng)在人們生活中的重要性。而只有對應(yīng)用變得廣泛和迫切，才會對無線移動網(wǎng)絡(luò)的其它方面提出更多的需求：比如需要LTE等更快更可靠的傳輸方式，以及新型無線技術(shù)作為補充，應(yīng)付更大帶寬更大容量的媒體展示。同時又要求更加寬廣的覆蓋范圍，做到可以隨時隨地提供服務(wù)，所寬帶無線接入與短距離互聯(lián)技術(shù)也有需求。而且基于物聯(lián)網(wǎng)和泛在網(wǎng)技術(shù)的近場通信（NFC）是對AR的定位和身份識別的有力支撐。

2 基本概念

2.1 虛擬現(xiàn)實

虛擬現(xiàn)實涉及計算機圖形學(xué)、人機交互技術(shù)、傳感技術(shù)、人工智能等領(lǐng)域，利用電腦繪制三維虛擬世界，并對視、聽、嗅覺等感覺進行高真實感模擬，使用者通過虛擬現(xiàn)實設(shè)備，自然地與虛擬世界進行交互，其如同身歷其境，可化及時、沒有限制地觀察三度空間內(nèi)的事物。

2.2 增強現(xiàn)實

增強現(xiàn)實是利用計算機產(chǎn)生的虛擬信息對用戶所觀察的真實環(huán)境進行融合，真實環(huán)境和虛擬物體實時地疊加到了同一個畫面或空間同時存在，拓展和增強用戶對周圍世界的感知。增強現(xiàn)實的目的在于將計算機生成的虛擬物體準確地疊加到真實場景中并實現(xiàn)真實與虛擬場景無縫融合，進而完成對真實場景的增強。

2.3 混合現(xiàn)實

混合現(xiàn)實（Mixed Reality，簡稱MR），即增強現(xiàn)實和增強虛擬)指的是合并現(xiàn)實和虛擬世界而產(chǎn)生的可視化環(huán)境，其中物理世界真實對象和數(shù)字世界虛擬對象共存，并實時互動。

2.4 移動增強現(xiàn)實

隨著iOS、Android等智能終端及寬帶移動通信技術(shù)的成熟和商用，增強現(xiàn)實技術(shù)開始走進人們的生活之中，以移動定位與狀態(tài)感知、多媒體技術(shù)、3D渲染為基礎(chǔ)的增強現(xiàn)實應(yīng)用開始出現(xiàn)，這就是移動增強現(xiàn)實（Mobile Augmented Reality，MobAR）應(yīng)用。MobAR一經(jīng)出現(xiàn)，就成為技術(shù)研究和標準化的熱點[2]。

3 移動增強現(xiàn)實關(guān)鍵技術(shù)

隨著移動增強現(xiàn)實市場規(guī)模不斷擴大，用戶對增強現(xiàn)實的應(yīng)用體驗要求日益提高：流暢展現(xiàn)、實時交互、持久運行，都對移動終端設(shè)備的計算能力、媒體處理能力等提出挑戰(zhàn)。然而，如何高效調(diào)用移動終端硬件能力，如何在不同業(yè)務(wù)執(zhí)行環(huán)境中迅速識別和捕捉增強現(xiàn)實目標，如何實時疊加并流暢展現(xiàn)各種媒體類型的增強現(xiàn)實內(nèi)容，這些都極大影響用戶體驗，并最終決定市場成敗。為增強現(xiàn)實應(yīng)用提供技術(shù)支撐的增強現(xiàn)實關(guān)鍵技術(shù)，包括：視覺搜索技術(shù)、目標注冊跟蹤技術(shù)和內(nèi)容實時渲染技術(shù)。

3.1 視覺搜索技術(shù)

移動視覺搜索技術(shù)屠指以移動智能終端側(cè)的攝像頭作為信息捕獲設(shè)備，以實時獲取圖像或視頻作為查詢對象去搜索用戶感興趣的關(guān)聯(lián)信息的檢索技術(shù)[3,4]。隨著無線互聯(lián)網(wǎng)技術(shù)的發(fā)展以及移動智能終端的處理能力越來越強，這使得在移動終端進行一些復(fù)雜的圖像處理工作成為可能。在移動終端側(cè)進行特征點提取、描述子生成以及描述子編碼，向服務(wù)器端上傳描述子信息，而在服務(wù)器端進行描述子解碼和圖像檢索。然而實際應(yīng)用中由于無線網(wǎng)絡(luò)環(huán)境的帶寬有限、帶寬不穩(wěn)定化及時延等問題，需要在不損失檢索性能前提下如何實現(xiàn)快速、低內(nèi)存開銷以及緊湊的描述子聚合方法。視覺搜索按照樣本集規(guī)模的不同可以分為兩類，對于規(guī)模較小的情況可以采用窮舉法或暴力匹配法，即將每個圖像的特征數(shù)據(jù)與樣本圖像特征逐一進行距離比較，對于局部特征計算成功匹配的特征數(shù)目占樣本圖像特征數(shù)目的百分比，對于全局特征計算特征向量間的歐式距離、余弦距離等相似性度量方法，然后進行排序，獲得搜索結(jié)果，這種方法的優(yōu)點是沒有離線訓(xùn)練過程，操作也很簡單，有效識別率很高，但耗時會隨著樣本圖像的增多而近似線性增加，檢索效率比較低。對于擁有海量樣本集的視覺搜索應(yīng)用，業(yè)界普遍采用 BOW（Bag Of Words）算法來進行系統(tǒng)實現(xiàn)，該算法的主要優(yōu)點就是其提取特征后檢索時間比較快速，并且檢索時間不會隨著樣本數(shù)目增加而發(fā)生大幅波動。算法分為離線訓(xùn)練和在線檢索兩個階段，離線訓(xùn)練階段主要進行碼本的訓(xùn)練，其碼本的訓(xùn)練過程訓(xùn)練時系統(tǒng)內(nèi)存占用較高，且由于算法本身不利于并行化處理導(dǎo)致耗時較長，同時碼本訓(xùn)練不支持增量訓(xùn)練，每新加入圖像，都需要對碼本進行重新訓(xùn)練，在線檢索階段主要的問題是其召回率不高。

3.2 目標注冊跟蹤技術(shù)

增強現(xiàn)實的最終結(jié)果就是將虛擬信息準確地注冊到真實場景中，為實現(xiàn)虛擬信息與真實場景的完美融合，必須實時地跟蹤攝像機與真實物體間的位姿信息，建立觀測模型，進而通過動態(tài)三維顯示技術(shù)迅速地將虛擬信息疊加到真實物體之上，這就是跟蹤注冊技術(shù)[5-7]。跟蹤注冊技術(shù)可分為基于標識物的跟蹤注冊技術(shù)和無標志點跟蹤注冊技術(shù)。

基于標識物的跟蹤注冊技術(shù)是當(dāng)前增強現(xiàn)實系統(tǒng)中最為成熟和實際應(yīng)用最為廣泛的注冊技術(shù),技術(shù)成熟度較高，但是其需要事先在真實環(huán)境中事先放置特別制作的標識物，這導(dǎo)致了其應(yīng)用場景及其有限，且用戶體驗并不好。

無標識點跟蹤注冊技術(shù)指的是直接利用攝像頭實時獲取的視頻傾進行跟蹤注冊，實時獲取位置信息，完成虛擬物體與真實場景的疊加，可以應(yīng)用于戶外自然場景下的增強現(xiàn)實應(yīng)用中。目前無標識點跟蹤注冊技術(shù)的發(fā)展仍停留在實驗階段，并沒有非常完善的、廣泛的應(yīng)用。主要問題和難點有以下幾方面：首先，由于無標注冊算法的技術(shù)難度非常大，算法復(fù)雜，其運算效率是一個重要的問題，很多無標注冊算法的效率較差，很難達到實時運行，即使可以實時運行的算法,留給 3D渲染的時間往往也很少。其次，無標注冊中往往需要利用場景中的對應(yīng)特征集合進行計算，而特征匹配很難避免外點，因此算法的魯棒性也是一個難點。很多算法都無法在復(fù)雜多變的場景中運行，當(dāng)背景過于復(fù)雜、運動過于劇烈、光照條件變化顯著時，很多算法會失敗，因此無標注冊對魯椿性要求很高。最后，無標注冊算法往往需要很多復(fù)雜的預(yù)處理操作，如基于模型的注冊算法需要事先對場景準確建模，基于特征的算法往往需要在算法初始化時給出初始估計等。目前業(yè)界比較常用的無標識點跟蹤注冊技術(shù)有光流法、基于場景平面的増強現(xiàn)實跟蹤注冊方法、基于模型和關(guān)鍵憤的跟蹤注冊方法、基于SIFT特征匹配的跟蹤注冊算法等，均面臨在移動智能終端側(cè)實時性和魯椿性不能兼得的問題。

3.3 內(nèi)容實時渲染技術(shù)

增強渲染是在真實場景中疊加增強顯示的三維物體，幫助用戶理解周圍環(huán)境[8,9]。由于智能移動終端存在帶寬和計算能力這兩個因素的限制，要保證流暢的 AR體驗，需要輕量高效的渲染引擎支持。增強現(xiàn)實系統(tǒng)中渲染模塊的主要功能是完成對增強內(nèi)容進行增強渲染，渲染模塊相對于其它模塊是一個比較獨立的模塊。輸入為位置矩陣，輸出為渲染效果。對于2D圖像、簡單3D模型和文字等增強內(nèi)容，一般使用OpenGLES進行移動增強現(xiàn)實繪制，對于復(fù)雜3D模型或者動畫、視頻等増強內(nèi)容，一般采用專業(yè)的渲染引擎來處理。目前業(yè)界主要是應(yīng)用一些性能較好的開源或商業(yè)引擎來進斤3D模型等增強內(nèi)容的渲染，如 Total Immersion使用的渲染引擎為開源渲染引擎 OGRE，通過 ARSDK和MetaioSDK提供Unity3D的擴展可以進行增強內(nèi)容的渲染。

4 結(jié)論

隨著寬帶移動通信技術(shù)的發(fā)展以及IOS、Android等移動智能及智能應(yīng)用的出現(xiàn)，曾經(jīng)局限于實驗室的增強現(xiàn)實技術(shù)開始走進大眾視野，一大批以終端定位、圖像識別為技術(shù)特征的移動互聯(lián)網(wǎng)增強現(xiàn)實應(yīng)用開始涌現(xiàn)。本文介紹了移動增強現(xiàn)實的關(guān)鍵技術(shù)，為移動增強現(xiàn)實的實現(xiàn)和廣泛應(yīng)用提供必要的理論和技術(shù)支撐。

[1]David G L. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision, 2004(60): 91-110.

[2]Hebert B, Andreas E, Tirme T. SURF: Speed Up Robust Features[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[3]Li F F, Perona P. A Bayesian Hierarchical Model for Learning Natural Scene Categories[J]. Proc. of IEEE Computer Vision and Pattern Recognition, 2005: 24-31.

[4]Andrew D, Reid L, Nicholas M . Mono-SLAM: Real time single camera SLAM[J]. IEEE Transaction on Pattern Analysis and Machine Intelligent, 2007: 1052-1067.

[5]Georg K, David M. Parallel tracking and mapping for small AR workspaces[C]. In Proc. of International Symposium on Mixed and Augmented Reality, 2007: 225-234.

[6]Tamar S, Dro G, Sharon C . A novel perceptual image quality measure for block based image compression[J]. Image Quality and System Performance, 2011, 8(8): 156-175.

[7]Ding S H, Huang F Y, Xie Z F. A Customized Framework to Recompress Massive Internet Images[J]. Journal of Computer Science＆Technology, 2012, 27(6): 1129-1139.

[8]Brown M, Hua G, Winder S A. Discriminative learning of local image descriptors[J].IEEE Trans. Pattern Analysis and Machine Intelligence, 201l, 33(l); 43-57.

[9]Chen D. Residual enhanced visual vector as a compact signature for mobile visual search[J]. Signal Processing, 2013, 93(8): 2316-2327.

[10]劉洋,鄭華,李筱楠.基于人工神經(jīng)網(wǎng)絡(luò)的茶葉鑒定專家系統(tǒng)設(shè)計與研究[J].福建茶葉,2016,08:13-14.

[11]齊會娟,李德雄,張詣.基于物聯(lián)網(wǎng)的多目標物流調(diào)度系統(tǒng)優(yōu)化設(shè)計[J].物流技術(shù),2015,12:173-175.

[12]齊會娟,李德雄.計算機圖像處理技術(shù)在茶葉感官品質(zhì)檢測中的應(yīng)用研究[J].福建茶葉,2016,05:18-19.

Review of the Key Technology of Mobile Augmented Reality

WEN Hong-nian LIU Yang HAN Duo-duo
(Shijizhuang Institute of Railway Technology Shijizhuang Hebei 050041 China)

The MAR applies the virtual augmented reality information to the real world, which has changed the way users observe the world. The traditional WEB page query mode based on text input in the browser will be changed to the next-generation show mode that the hotspot information captured by a variety of sensors is loaded into the real scene in the screen of the mobile, and which will enhance the user experience greatly.

Mobile Augmented Reality Visual Retrieval Registration Tracking Content rendering

A

1673-1816(2017)01-0071-04

2016-03-19

溫洪念（1985-），女，漢，貴州遵義人，碩士，助教，研究方向計算機軟件。

2016年河北省高等院?？茖W(xué)技術(shù)研究項目：ZC2016109; ZC2016137; ZD2016057

2016河北省科技計劃自籌經(jīng)費項目： 15210149; 15270330

河北省教育廳2016青年基金項目：基于B/S結(jié)構(gòu)的BIM服務(wù)器中間件技術(shù)研究，基金號：QN2016215河北省人力資源和社會保障課題：JRS-2016-1043