潘光洋

（廣東培正學院數(shù)據(jù)科學與計算機學院 廣東 廣州 510830）

0 引言

增強現(xiàn)實技術能夠將虛擬事物與真實事物融合在一起，已應用到多個領域，如娛樂、產品銷售、房地產、文化傳承、教育等。用戶戴上增強現(xiàn)實頭盔設備或具有攝像頭的手持設備，能夠沉浸體驗虛實結合的場景和事物。各行業(yè)領頭企業(yè)紛紛進入增強現(xiàn)實領域，促進了增強現(xiàn)實設備的快速發(fā)展。增強現(xiàn)實設備包括頭戴式和手持式設備。其中頭戴式主要包括微軟的Hololens、Magic leap的Magic Leap One混合現(xiàn)實眼鏡、愛普生的BT-35E增強現(xiàn)實AR智能眼鏡等。手持式設備主要是各種帶攝像頭的設備，如手機、平板、觸摸屏等。開發(fā)AR的SDK和插件快速地迭代，從底層的開發(fā)語言WebGL、ARCore、Vuforia，到集成地開發(fā)插件ARFoundation、EasyAR，使AR應用的開發(fā)更加簡便而有效。為了探索在手機設備上能夠有效地開發(fā)AR應用，提出高效開發(fā)流程方案，拓寬手機AR應用領域，本文以農村初中英語教育為例，以Unity3D游戲引擎為開發(fā)平臺，以EasyAR為插件，描述了《英語單詞AR應用》的開發(fā)流程和關鍵技術，提出了AR識別圖制作的注意事項。本研究開發(fā)AR應用制作了符合友好體驗的識別圖畫冊，通過手機能夠快速識別卡片，實現(xiàn)了單詞相對應三維場景的展示，單詞與例句的發(fā)音，三維場景的移動、縮放、旋轉，信息數(shù)據(jù)的顯示與隱藏。

1 研究背景

AR技術已相對成熟，并在教育領域中有所應用。蔡蘇[1]所帶領的團隊經過一系列嘗試，撰寫了一本基于增強現(xiàn)實技術用于教學演繹的書。周海洋[2]利用Unity3D和Vuforia的AR技術實現(xiàn)相關化學知識的AR立體展示。顧鳳梅等[3]使用Unity3D軟件及Easy AR作為AR引擎，以“英語單詞AR學習資源”為例進行設計開發(fā)，生成移動設備應用程序，在移動設備上安裝運行，掃描單詞識別圖，產生對應含義的三維模型，模型可以被觸摸放大，給出中英文語音及其解釋，提供流暢的學習體驗。但是他們設計的識別卡片比較單調，只有文字卡片。

2 系統(tǒng)開發(fā)流程

從需求分析到發(fā)布APK的AR應用開發(fā)流程如圖1所示。

圖1 系統(tǒng)開發(fā)流程

在需求分析階段，完成開發(fā)環(huán)境搭建、系統(tǒng)用戶功能需求分析、初中英語詞匯的收集和整理、例句的選擇、單詞與三維模型對應關系分析等任務。在單詞識別圖設計階段，完成識別圖畫冊封面和界面布局的設計，制定色彩搭配圖和界面布局圖。在設計系統(tǒng)UI界面階段，完成手機端系統(tǒng)交互界面的設計，繪制界面圖標，制訂元素布局規(guī)范。在創(chuàng)建3D模型階段，根據(jù)需求分析所得到的模型對應關系，使用3Ds Max制作三維模型或場景，優(yōu)化面數(shù)，導出為FBX格式文件。在Unity3D開發(fā)軟件階段，將所有的識別圖、三維模型、音頻等素材導入Unity3D開發(fā)平臺，添加AR識別圖組件，添加交互代碼，實現(xiàn)系統(tǒng)交互功能。在軟件功能測試階段，應用用戶友好體驗測試的方法，檢驗功能可用性和界面的友好性。最終，從Unity3D導出APK格式的AR應用。

3 系統(tǒng)設計

系統(tǒng)選用了上海牛津版本的七年級、八年級和九年級的英語教材作為單詞來源教材，按教材單元劃分學習單元，將單詞分為具象和抽象。對于具象的單詞，采用具體事物模型表示；對于抽象的單詞，采用場景或者動畫表達。系統(tǒng)設計包括功能設計、識別圖設計和操作界面設計。

3.1 功能設計

根據(jù)對初中師生的問卷調查分析結果，系統(tǒng)功能包括：系統(tǒng)能夠展示單詞對應的模型，讓學生能夠快速背誦和記憶，能夠發(fā)出單詞的讀音；方便用戶查看3D模型；在沒有卡片時也能夠通過菜單進入單詞三維展示界面。系統(tǒng)整體功能如圖 2所示。

圖2 系統(tǒng)功能結構圖

3.2 識別圖設計

單詞卡片設計時需要考慮如何利用視覺元素有效地向讀者傳達內容和信息。制作時考慮每個元素的視覺屬性和色彩構成，仔細衡量每個細節(jié)，追求在有效傳遞信息的同時又能給使用者帶來舒適愉悅的感覺[4]。識別圖是卡片類AR的重點。良好的識別圖，能夠提供友好的用戶體驗。識別圖卡片制作需考慮識別圖中盡可能多的特征點。特征點的特點就是鋒利、尖、輪廓分明的細節(jié)圖像[5]。色彩搭配有助于實現(xiàn)更好的視覺效果，識別圖卡片的顏色搭配如圖3所示。

圖3 卡片識別圖顏色搭配圖

識別圖卡片采用偏動畫的手繪效果，卡片中包括單詞平面圖、英語單詞、例句、翻譯、另外添加一些勵志小圖標，整個畫面豐富，布局合理，提高識別度。以racing英文單詞的識別圖設計為例，設計圖布局詳細說明如圖4所示。

圖4 識別圖布局詳細說明

將所有卡片識別圖通過左上角的圓孔進行裝訂形成畫冊，畫冊封面如圖5左邊所示，所有卡片的效果如圖5右邊所示。畫冊需要印刷為彩色的卡片，從而讓AR效果更加友好。

圖5 畫冊封面（左邊）和卡片識別圖效果（右邊）

在識別圖卡片的制作時需要注意以下幾點：（1）單詞平面圖片的格式建議為jpg。單詞卡片應當擁有合適的紋理。意味著紋理應當具有豐富的細節(jié)，且不是遵循某種重復性的模式。紋理細節(jié)缺乏或反復重復的物體不利于檢測和跟蹤。（2）卡片上的物體內容本身應當盡可能地充滿整個畫面，有利于掃描檢測。（3）卡片圖片不能過于狹長，其短邊的長度至少應該達到長邊長度的20%，長度過長掃描不全，自動生成Target數(shù)據(jù)時計算時間增多且容易導致因文件過大而帶來操作卡頓、閃退的麻煩。長度過短不能夠保證能有足夠多的特征點并且細節(jié)過于模糊，影響檢測結果。（4）單詞卡片圖像的尺寸大小合適。（5）盡量不要使用透明通道，卡片圖像如果帶有透明通道，系統(tǒng)會默認按照白色背景的方式進行處理，會造成圖像細節(jié)的隱藏或是混淆，如非本意，盡量避免。（6）實物卡片大小應該合適，手掌大小最為合適。

3.3 操作界面設計

操作界面設計與識別圖設計不同，操作界面設計是系統(tǒng)在手機端上的界面設計，主要是用于操作手機觀看的效果和交互的界面。根據(jù)用戶需求調查分析結果顯示系統(tǒng)89%的用戶更喜歡系統(tǒng)UI界面風格可愛、現(xiàn)代。為了能夠滿足脫卡，設置了APP的首頁界面和操作界面，如圖6所示。

圖6 首頁界面（左邊）和操作界面（右邊）

在操作界面上，用戶只需要將手機攝像頭對準識別圖即可加載三維模型，并展示相應的單詞內容。用戶點擊“語音播放按鈕”即可播放一次單詞和例句的發(fā)音。

4 系統(tǒng)實現(xiàn)

Unity3D游戲引擎擁有良好的跨平臺性，實現(xiàn)Windows、Android、MAC等多個平臺的交互，具有低成本、高效率、易上手等優(yōu)點[6]。EasyAR插件支持多種硬件平臺，官方提供了各種API接口的應用案例，并提供了不同開發(fā)環(huán)境下的SDK包，如基于Unity3D平臺的SDK包。與Vuforia和ARTool Kit相比，EasyAR具有高效、易用、簡單的優(yōu)點，使普通用戶更容易上手[7]。Unity3D發(fā)布APK需要Android SDK的支持，采用Android Studio進行Android SDK管理。

4.1 系統(tǒng)開發(fā)環(huán)境配置

系統(tǒng)開發(fā)主要使用兩個開發(fā)包：（1）Android SDK軟件開發(fā)工具包，為開發(fā)者提供Android庫文件以及其他開發(fā)所用到的工具。（2）Java開發(fā)工具包（JDK)，為系統(tǒng)開發(fā)提供Java工具和創(chuàng)建Java開發(fā)環(huán)境。安裝Android Studio集成開發(fā)環(huán)境管理Android SDK，安裝Java SE完成JDK環(huán)境的配置。

系統(tǒng)使用EasyAR SDK開發(fā)AR應用，需要配置EasyAR SDK。進入EasyAR的官網easyar.cn下載對應的Unity插件包。EasyAR從版本4開始，過去被大家熟知的EasyAR SDK將被賦予一個新的名字：EasyAR Sense。EasyAR Sense是一個獨立的SDK，提供感知真實世界的能力。EasyAR Sense Unity Plugin提供EasyAR Sense功能在Unity中的封裝。EasyAR SDK的配置需要完成如下兩個步驟：（1）在官網中注冊賬號，在“sense授權管理”中新建應用授權，并填寫“應用名稱”和“Package Name”。（2）在Unity3D的項目中導入所下載的EasyAR Sense Unity Plugin，選擇“EasyAR”|“change license Key”菜單，在“Setting”面板上粘貼第一步申請的授權碼?！癙ackage Name”的命名規(guī)則是“com.”+“公司名稱”+“應用名稱”，如“com.yl.easyEnglish”，所有名稱都需要使用英文字符描述。

4.2 三維模型的制作

三維模型的制作使用3Ds Max完成。三維模型制作過程是：單詞類型劃分，三維模型的粗模制作；UV貼圖展開并烘焙；優(yōu)化三維模型，降低面數(shù)；最后，導出FBX格式的三維模型文件。三維模型導出的FBX格式的文件名設置為“單詞+_model”，如gift_model.fbx。

4.3 交互功能模塊實現(xiàn)

在AR應用中，用戶使用觸摸屏和攝像頭與系統(tǒng)交互，交互操作包括攝像頭掃描、點擊、縮放和旋轉手勢。攝像頭掃描使用EasyAR SDK的自帶功能，用戶讓手機對著識別圖即可。用戶可以用手指點擊屏幕，通過不同的手勢來控制三維模型，與模型進行交互[8]?？s放：通過改變兩個手指在屏幕上的距離實現(xiàn)模型的縮小放大效果，兩個手指之間距離變大，則放大模型；反之則縮小模型。旋轉：通過一個手指在手機屏幕上朝不同方向滑動，模型可以360°旋轉。當手指向某一方向滑動，模型也會隨之旋轉。

4.4 發(fā)音模塊實現(xiàn)

Unity 3D支持多種音頻格式，主要包括 aiff、wav、mp3、ogg四種。其中，aiff、wav 格式比較適合聲音較長的文件存儲，而mp3、ogg格式比較適合聲音較短的文件存儲。英語單詞和例句的語音屬于比較長的錄音。本系統(tǒng)的單詞和例句發(fā)音采用文字轉化為語音的技術，導出為wav格式。音頻文件的名稱規(guī)范為：“單詞名稱_audio”，如gift_audio.wav。wav格式編碼簡單以及無損耗存儲，單詞、例句聲音的清晰程度不會受到影響。

發(fā)音模塊的實現(xiàn)使用Unity3D中默認的UI按鈕觸發(fā)Audio Source組件的Play函數(shù)完成。在UI按鈕的“On Click()”事件中選擇“AudioSource.Play”和含有對應音頻的Audio Source組件即可。

4.5 文本信息顯示與隱藏

用戶掃描識別圖之后，系統(tǒng)界面會顯示單詞、例句文本和發(fā)音按鈕。為了能夠更好地查看三維模型，加深對單詞與三維模型的關聯(lián)，用戶可以切換文本信息的顯示和隱藏。利用Unity3D中的UI按鈕組件的onClick 函數(shù)響應用戶點擊事件以及SetActive 函數(shù)的布爾參數(shù)控制系統(tǒng)文本信息的顯示或隱藏。在C#的代碼里設置一個isClick布爾類型的變量，用于存儲信息顯示與否的狀態(tài)。功能實現(xiàn)邏輯：當用戶點擊一次按鈕，則顯示三維模型相應單詞和例句，再次點擊按鈕則單詞和例句消失。

4.6 系統(tǒng)測試和發(fā)布

系統(tǒng)采用功能測試，直接在Unity3D開發(fā)平臺上進行功能測試。識別圖ImageTarget、三維模型內容和音頻等內容整合后，在帶有攝像機的電腦上進行開發(fā)測試。Android Studio開發(fā)環(huán)境將手機模擬器內嵌到開發(fā)平臺中，所以能夠直接通過Android Studio創(chuàng)建虛擬終端完成系統(tǒng)調試。

在Unity3D開發(fā)環(huán)境下，選擇“build settings” |“player settings”菜單，在Player setting對話框中設置軟件包安裝的屬性。此處的Package Name必須與EasyAR的授權碼中的“Package Name”保持一致。發(fā)布APK之后，將APK上傳到草料二維碼網站，使用手機掃碼能夠快速地下載AR應用。最終AR應用界面如圖7所示。

圖7 系統(tǒng)運行效果界面

5 總結

EasyEnglish AR應用嚴格按照需求分析、系統(tǒng)設計、系統(tǒng)實現(xiàn)和測試的開發(fā)流程執(zhí)行，制作了識別度高、界面美觀的識別圖畫冊，設計了系統(tǒng)的UI交互界面，系統(tǒng)操作和交互流暢，單詞語音發(fā)音標準，系統(tǒng)使用體驗友好。本研究應用EasyAR插件快速地開發(fā)了EasyEnglish AR應用，提出了制作識別度高的識別圖注意事項，為AR應用領域提供實現(xiàn)的有效方案，促進AR應用開發(fā)的發(fā)展。