楊辭源 吳詩中

摘要：增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality）作為眾多學(xué)科交叉集成的技術(shù)手段近年來發(fā)展迅速，其中依托計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)的圖形識別與追蹤技術(shù)是AR的關(guān)鍵組成部分。本文以筆者近日開發(fā)的一款音樂主題AR應(yīng)用——Musiable為例，在分析相關(guān)的識別追蹤技術(shù)的同時融入自己的開發(fā)經(jīng)驗(yàn)和思考，著重探討這些技術(shù)在移動場景下的發(fā)展和應(yīng)用會為我們帶來哪些新的交互可能。

關(guān)鍵詞：AR增強(qiáng)現(xiàn)實(shí);圖像識別;交互設(shè)計(jì)

中國分類號：TB472文獻(xiàn)標(biāo)識碼：A

文章編碼：1672-7053（2018）06-0013-03

1研究背景以及市場現(xiàn)狀

近日，SuperData公司公布的一份數(shù)據(jù)報(bào)告Nowhere To Go But Up： The Future of XR顯示，2017年資本市場在沉浸式科技領(lǐng)域的投入同比增長40個百分點(diǎn)。同時這也是市場對AR的投入超過VR的第一年。過去幾年里伴隨著AR的增長，大量的科技公司投身于開發(fā)與識別追蹤相關(guān)的SDK （Software Development Kit）。2017年6月，Apple隨iOS11的發(fā)布正式公布了自己的增強(qiáng)現(xiàn)實(shí)開發(fā)平臺ARKit，該SDK支持Unity、Unreal和SceneKit，具備動作追蹤以及平面估算等功能，Tim Cook也表示AI和AR是公司未來關(guān)注的核心技術(shù)。Google于8月份推出了和ARKit對標(biāo)的ARCore。除此之外，Zuckerberg也在F8會議上宣布把AR作為Facebook的戰(zhàn)略方向。

隱藏在這些焦點(diǎn)背后的AR相關(guān)技術(shù)，無論是SLAM、或者圖像和模型的識別跟蹤以及3D交互等，到今天為止都已經(jīng)取得了多項(xiàng)突破，基于Marker或者M(jìn)arkerless的識別和追蹤技術(shù)已經(jīng)相當(dāng)成熟，這些技術(shù)的發(fā)展大大降低了相關(guān)應(yīng)用的開發(fā)門檻。目前在移動端應(yīng)用最多也是最重要的技術(shù)就是目標(biāo)的識別和追蹤，可以說所有具備AR功能的手機(jī)應(yīng)用都離不開此項(xiàng)技術(shù)。同時隨著半導(dǎo)體芯片、光學(xué)組件、電池技術(shù)的提升加之巨頭的介入和推動，AR的應(yīng)用潛力十分巨大，這也對軟硬件的設(shè)計(jì)開發(fā)提出了新的機(jī)遇和挑戰(zhàn)。

2 Musicore的理念

與本文相對應(yīng)的Musicore是筆者基于AR技術(shù)開發(fā)的一款音樂練習(xí)和創(chuàng)作應(yīng)用。Musicore旨在降低音樂學(xué)習(xí)的門檻，它能夠在發(fā)揮樂器即興創(chuàng)作特點(diǎn)的同時激發(fā)用戶的興趣，并提供更好的沉浸式體驗(yàn)。該應(yīng)用組合了傳統(tǒng)樂器真實(shí)有效和軟件樂器智能便捷的優(yōu)點(diǎn)，由AR Keyboard、AR Djembe和Composition Kit三個模塊組成，分別對應(yīng)鋼琴、打擊樂和音樂創(chuàng)作套件，用以滿足音樂練習(xí)與創(chuàng)作的基本需求。用戶通過手機(jī)操控打印機(jī)獲取目標(biāo)圖形并將其進(jìn)行簡單的組合，之后打開應(yīng)用識別這些圖形以獲得音樂上的反饋。該方案將主要功能集成于智能手機(jī)中，無須配置Switch這樣的主機(jī)或是Leap Motion類的外借設(shè)備實(shí)現(xiàn)交互式的AR音樂體驗(yàn)，基本上沒有平臺和使用門檻的限制。

3 AR識別與追蹤的邏輯結(jié)構(gòu)

3.1圖形的識別

在AR的識別技術(shù)中，圖像指紋和漢明距離是其兩個關(guān)鍵要素。首先將目標(biāo)進(jìn)行特征提取額，然后進(jìn)行一系列的信息歸納，比如色彩簡化、像素灰度比較等，通過感知哈希算法為一個圖片建立圖像指紋，通?？蓪⑦@些信息整理為一個64位數(shù)字。當(dāng)上一步完成時就需要利用目標(biāo)圖像的編碼值進(jìn)行全局或是局部的相似度計(jì)算，根據(jù)上文提到的漢明距離去判定不同對象的哈希值中有多少位是不相同的，一般不同位數(shù)不超過5則認(rèn)為它們較為相似。也可根據(jù)需求設(shè)定閾值，然后將相似度高的圖片預(yù)保留下來。目前感知哈希算法處理在圖形搜索領(lǐng)域已經(jīng)比較成熟，例如Google識圖等。

筆者在Musicore的開發(fā)中調(diào)用了大量的Image Target，比如用以觸發(fā)虛擬樂器的圖標(biāo)、和弦卡片以及控制臺上的圖形等。這些工作基本上靠已經(jīng)較為成熟的Vuforia完成，我們可以將自己制作的滿足識別條件的圖像上傳到云端，通過自動分析后能夠打包到本地，將這些資源包導(dǎo)入開發(fā)軟件中即可使用。根據(jù)實(shí)驗(yàn)結(jié)果的反饋，識別精度與圖形的對比度和平面構(gòu)成特征有很大關(guān)系。值得注意的是圖片中的角點(diǎn)特征比較容易提取，而圓弧在識別的過程中基本不提供有效的特征值，因此在僅由大量圓或弧形構(gòu)成的圖形中難以保證能夠獲取理想的精確度。識別在筆者開發(fā)該應(yīng)用的過程中是獲取信息的第一步，當(dāng)能穩(wěn)定抓取這些有效的信息并輸入后方能進(jìn)行后續(xù)操作。

3.2圖形的追蹤

靜態(tài)圖形檢測的適用范圍是有限的，由于位置、角度改變而產(chǎn)生的形變和透視以及光的變化會影響其特征。所以當(dāng)同一目標(biāo)發(fā)生以上多種變化時，仍能進(jìn)行有效識別或者說能夠抓取等同的特征值是追蹤技術(shù)在物理形態(tài)上的意義所在。若想對運(yùn)動的圖形或物體進(jìn)行追蹤首先需要目標(biāo)檢測，每一次的追蹤都依賴于特征值的提取與匹配。最廣泛的使用方法是相鄰幀間差分法，它通過計(jì)算攝像機(jī)捕捉到相鄰兩幀圖像的差別，獲取位移物體形態(tài)特征和空間位置等信息，OpenCV提供了很多開源的算法可以計(jì)算這個過程的特征向量。這一步完成后需要追蹤運(yùn)動目標(biāo)，也就是在序列圖形中定位到目標(biāo)。在此過程中，計(jì)算機(jī)通過對場景中獲取到的所有內(nèi)容進(jìn)行分析，采用特征搜索的方式篩選目標(biāo)范圍，減少計(jì)算量并提高效率。目前在追蹤的基礎(chǔ)上對于三維環(huán)境的實(shí)時追蹤是比較熱門的話題，也就是SLAM。在未來AR幾乎可能與SLAM是綁定存在的關(guān)系，AR的深度應(yīng)用離不開時間空間對應(yīng)關(guān)系的建立。即時定位與重建一般的應(yīng)用場景多為移動端，但由于移動端的計(jì)算能力有限增加了技術(shù)的難度，微軟的HoIoLens和谷歌的Project Tango在這方面做了很多嘗試。

在本次開發(fā)的過程中我主要通過調(diào)用ARCamera來解決問題，它是各種SDK的基礎(chǔ)構(gòu)架和連接虛擬世界與現(xiàn)實(shí)場景的樞紐，該庫封裝了AR識別和追蹤的算法，可快速達(dá)成追蹤目標(biāo)這一效果。

4相關(guān)SDK的可用性對比分析

AR的開發(fā)和應(yīng)用與集成了大量算法的SDK息息相關(guān)。軟件開發(fā)商整合了交互設(shè)計(jì)、識別與追蹤算法以及三維建模技術(shù)形成SDK，供產(chǎn)業(yè)鏈下游的開發(fā)者使用。之前國外做的比較好的有谷歌和高通，另外蘋果剛剛推出的ARKit也奠定了iOS系統(tǒng)SDK統(tǒng)一格局。安卓體系的SDK優(yōu)化和統(tǒng)一性還遠(yuǎn)遠(yuǎn)不夠，廠商需要基于不同手機(jī)推出不同的SDK版本，安卓SDK市場空間還很大。此外安卓和iOS跨平臺的SDK會有非常大的機(jī)遇，國內(nèi)部分廠商已投入研發(fā)并推出了一系列產(chǎn)品。

經(jīng)過可用性測試和對已公開數(shù)據(jù)的分析，我在這里談一下對各個SDK的認(rèn)識和理解。Vuforia是經(jīng)測試后發(fā)現(xiàn)的識別能力較為優(yōu)秀的SDK，在APP Store和Google Play中都占有最高的市場份額。ARKit目前更多的是基于平面檢測的識別和交互，尚不支持用戶自定的圖形識別功能。在眾多SDK中有一款名為EasyAR的國內(nèi)自研SDK值得關(guān)注，它對于平面圖形有較好的識別，新版本也加入了3D和云識別功能，但是相對來說體驗(yàn)過程中的也有一些問題，使用流暢度仍需提升。

本次開發(fā)的Musicore大部分通過調(diào)用Vuforia組件的Unity完成。Vuforia 7的Image Target可以支持2D和3D的識別，另外還可以識別文字。其自帶的ARCamera組件可以對Target進(jìn)行追蹤。另外，在此基礎(chǔ)上比較好的體驗(yàn)在于Unity可以快速通過Virtual Button實(shí)現(xiàn)與現(xiàn)實(shí)物體的交互。Musicore的音樂創(chuàng)作模塊中包含了切換樂器軌道以及和弦小節(jié)時值的功能，其控制臺上有三組12個Virtual Button，筆者經(jīng)多次測試發(fā)現(xiàn)將按鈕建立在目標(biāo)圖形特征點(diǎn)上才能有更加有效的實(shí)現(xiàn)控制功能。

5基于識別與追蹤的交互方式探討

5.1新技術(shù)推動交互方式的變革

新技術(shù)的發(fā)展和成熟為多個領(lǐng)域提供了更多的可能性，人機(jī)交互學(xué)科也在不斷發(fā)生變化?；仡櫳鲜兰o(jì)60到80年代，個人計(jì)算機(jī)興起使得鼠標(biāo)和鍵盤成為主流交互方式，隨后移動設(shè)備浪潮使得觸控技術(shù)取代傳統(tǒng)的交互方式為人們所熟知。VR/AR拓寬了現(xiàn)實(shí)與虛擬的邊界，基于AR的應(yīng)用可以實(shí)現(xiàn)數(shù)字信息和物理空間的鏈接與互動。從AR的意義和價值來看，AR應(yīng)用存在的原因是它與現(xiàn)實(shí)世界有著某種更好的互動和聯(lián)系，這些特征催生了交互理念的變革以及隨之產(chǎn)生的具體交互方式的推陳出新。新的交互方式和人機(jī)界面的迭代使得傳統(tǒng)意義上的人機(jī)交互界面很可能會縮小應(yīng)用范圍。

5.2 AR在移動端應(yīng)用場景的特征

場景是交互系統(tǒng)中極為重要的元素，AR中的識別與追蹤需要針對這些行為邏輯在相應(yīng)場景下進(jìn)行設(shè)計(jì)規(guī)劃，并做適應(yīng)性調(diào)整以獲取最佳體驗(yàn)效果。AR技術(shù)作為增強(qiáng)現(xiàn)實(shí)的獨(dú)特方式可廣泛用于多種平臺和場景，比如應(yīng)用在游戲、購物、娛樂上，增強(qiáng)現(xiàn)實(shí)的合理運(yùn)用可以提高帶入感和趣味性。目前市場和企業(yè)開始迅速將這些技術(shù)整合到相關(guān)的業(yè)務(wù)和營銷計(jì)劃中，以盡可能地把握機(jī)會和獲取優(yōu)勢。宜家提供的AR服務(wù)可以使用戶在家中模擬產(chǎn)品的體驗(yàn)效果，制造業(yè)和醫(yī)療教育行業(yè)也在快速融入這項(xiàng)技術(shù)。筆者認(rèn)為未來AR和移動端的結(jié)合將會更加緊密，這也符合日前移動設(shè)備取代固定工作站的發(fā)展趨勢，因此移動平臺將獲得更多的機(jī)會。

在眾多移動設(shè)備中AR的應(yīng)用可以大致分為兩類，一類是現(xiàn)在比較成熟的設(shè)備，如智能手機(jī)和平板電腦等終端，這些終端會根據(jù)AR的特質(zhì)和需求升級硬件配置為內(nèi)容開發(fā)建立良好的環(huán)境。這類設(shè)備對應(yīng)的AR應(yīng)用也會最率先獲得快速增長的契機(jī)。當(dāng)然在此期間也需要開發(fā)商產(chǎn)出大作去推動平臺的完善，比如現(xiàn)象級的Pokermon Go和Ingress等。另一類則是正在開發(fā)的更加前沿的移動終端，雖然不太成熟但是卻有著很好的前景，例如HoIoLens這樣的MR全息計(jì)算機(jī)設(shè)備。它的使用場景受限于CV技術(shù)的發(fā)展，只能在穩(wěn)定的環(huán)境中使用，比如適宜的光照強(qiáng)度，景深也受到一定的限制。但是類似HoloLens這樣的設(shè)備的發(fā)展會趨近于更加適應(yīng)人的眼睛和自然使用場景，同時對于人機(jī)交互的打磨也會更加人性化。

5.3 AR中的識別和追蹤對交互的影響

對象識別和計(jì)算機(jī)視覺技術(shù)正在改變我們與移動設(shè)備交互的方式。AR通過實(shí)時對現(xiàn)實(shí)場景的判別與反饋結(jié)合虛實(shí)環(huán)境來幫助用戶完成某項(xiàng)任務(wù)以滿足我們?nèi)找嫣嵘男枨?。虛擬空間的信息與現(xiàn)實(shí)及用戶的實(shí)時交互向用戶傳遞有效的信息，相比傳統(tǒng)的基于平面的交互方式，AR可支持更加豐富的3D交互方式，這些在之前看來更多像是科幻描述。更重要的是這種方式不再僅限于主動的點(diǎn)擊，滑動等方式，它還為用戶行為的被動交互提供了平臺。

由于AR技術(shù)的發(fā)展，許多需要借助一定設(shè)備才可識別的交互方式被打破了平臺的界限。比如需要用Leap Motion等外接設(shè)備的信息輸入才能實(shí)現(xiàn)的手勢識別，又如Kinect之于動作的捕捉等，如今從技術(shù)層面看完全可以通過移動設(shè)備等AR應(yīng)用實(shí)現(xiàn)。這一點(diǎn)在我的作品Musicore中得到很好的體現(xiàn)，用戶不需要購買新的設(shè)備，僅僅利用日常中的材料就可通過AR與音樂產(chǎn)生互動。手勢識別在互動性較強(qiáng)的AR應(yīng)用如游戲中有著非常大的價值。手勢識別包括對手勢動作的跟蹤以及后續(xù)的數(shù)據(jù)處理，涵蓋了硬件與軟件，用戶用手可直接進(jìn)行操作，方便快捷。同時，對于可穿戴式AR設(shè)備來說，AR中的手勢識別有著天然的優(yōu)勢，他更像是人類的自然語言。另外AR在移動設(shè)備可開啟前置攝像頭以獲取傳統(tǒng)應(yīng)用缺失的大部分信息，比如面部識別，表情變化和眼動等。眼動交互方式目前還不是盡善盡美，距離大規(guī)模應(yīng)用還有一段距離。就前文的分析，合適的應(yīng)用場景對該交互方式的介入至關(guān)重要，我們可能不需要其全方位代替?zhèn)鹘y(tǒng)的交互方式，而是去發(fā)揮它的獨(dú)特優(yōu)勢，加之HoIoLens等穿戴式設(shè)備的發(fā)展，該技術(shù)與之完美結(jié)合或許只是時間問題。

5.4 AR云識別的意義

AR或許可以和云、共享等方式產(chǎn)生奇妙的碰撞?？梢韵胂笏械脑诰€設(shè)備通過讀取上傳或分享的信息以獲得更加完善的現(xiàn)實(shí)模型。這些AR設(shè)備可以被認(rèn)為是現(xiàn)實(shí)與虛擬世界的通用接口和實(shí)時界面覆蓋了的真實(shí)場景。目前手機(jī)依據(jù)GPS和陀螺儀可以輕松獲取設(shè)備的空間位移，但是當(dāng)AR廣泛運(yùn)用后，這個功能就顯得難以滿足新的需求，比如捕捉和管理3D數(shù)據(jù)結(jié)構(gòu)，所以需要發(fā)展相應(yīng)的云端來滿足設(shè)備和設(shè)備間的交互。目前對于Musicore的開發(fā)尚未進(jìn)入到協(xié)同共享階段，但是從產(chǎn)品設(shè)計(jì)的角度來看，多人協(xié)同和交互會大大提升該產(chǎn)品的趣味性，同時從音樂本身的特性分析，多人共同排練、演奏或者創(chuàng)作才更加有價值和意義。

6結(jié)語

盡管AR目前仍然處于發(fā)展階段，但這項(xiàng)技術(shù)的未來是值得肯定的。AR應(yīng)用的設(shè)計(jì)和開發(fā)要充分考慮用戶場景，據(jù)此來選擇合理的交互方式。同時，筆者在這次開發(fā)體驗(yàn)中對圖形識別的學(xué)習(xí)中感悟到AR和AI的結(jié)合可能是一個非常好的前景，未來更加精確、智能的識別和追蹤離不開人工智能的介入。AR可以作為AI的載體，而AI為AR提升平臺價值和提供更加豐富的內(nèi)容。隨著計(jì)算機(jī)視覺、識別追蹤算法和相關(guān)軟硬件的提升，以市場和用戶在這方面的需求為導(dǎo)向的AR有望成為下一代計(jì)算通用平臺。

參考文獻(xiàn)

[1] SuperDataNowhere To Go But Up： The Future of XR， 2018

[2]陳靖，王涌天，郭俊偉，劉偉增強(qiáng)現(xiàn)實(shí)技術(shù)在智能手機(jī)上的應(yīng)用電子科技大學(xué)學(xué)報(bào)，2010（s1）：80 84

[3]鄭華斌.基于增強(qiáng)現(xiàn)實(shí)的交互式應(yīng)用系統(tǒng)浙江大學(xué)，2013

[4]高翔，安輝，陳為，潘志庚移動增強(qiáng)現(xiàn)實(shí)可視化綜述計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2018（1）.