任剛，王建民

（1.華僑大學計算機科學與技術學院，福建 泉州 362021；2.清華大學軟件學院，北京 100084）

一種三維界面的移動終端交互技術

任剛1，王建民2

（1.華僑大學計算機科學與技術學院，福建 泉州 362021；2.清華大學軟件學院，北京 100084）

提出一種基于三維界面的移動終端交互技術.給出了其總體結構，XML數(shù)據(jù)格式描述，客戶端解決方案，并對其性能進行了實驗驗證.該技術充分考慮了移動終端固有的限制和現(xiàn)有的無線技術發(fā)展趨勢，采用了三維界面作為用戶交互的主要方式，提高了手機應用的交互友好性.可以在大多數(shù)移動終端上使用，并能夠支持多種應用類型.

三維界面；移動終端；碰撞檢測；XML；M3G

隨著手機使用人數(shù)的不斷增加和移動終端性能的迅速提高，無線上網(wǎng)服務得到了巨大的發(fā)展.然而，在市場規(guī)模迅速擴大的同時，無線上網(wǎng)服務的業(yè)務結構存在問題，即圖鈴下載仍是最主要的應用形式，而信息瀏覽作為在傳統(tǒng)互聯(lián)網(wǎng)上最廣泛的一項應用，在移動終端上得到的應用比例卻仍然很低［1］.移動用戶無法在移動終端上進行有效的信息瀏覽，一方面是因為相關的內容和服務還不夠豐富，另一方面是由于移動終端（主要是手機）自身的特點造成的.包括：（1）屏幕小，難以顯示較多的信息；（2）定位困難，缺乏類似鼠標的屏幕定位裝置；（3）輸入設備簡單，按鍵數(shù)目很少，交互不便.三維交互方式在很多類型的應用中都表現(xiàn)出顯著的優(yōu)勢和發(fā)展?jié)摿Γ?-3］，在移動終端上，也是一種用戶交互的有效解決方案［4］.這種方式能夠充分的結合現(xiàn)有移動終端的計算能力和網(wǎng)絡帶寬的提高，給用戶更加良好的體驗.針對現(xiàn)有移動終端的固有特點和發(fā)展趨勢，本文提出了一種基于三維界面的移動終端交互技術.

1 系統(tǒng)框架

系統(tǒng)總體結構如圖1所示，主要采用J2ME，JSR-184和XML技術構建.J2ME是Java語言針對移動平臺上的版本，針對移動平臺上的特點進行了相應調整.JSR-184標準是一個在手機上進行3D開發(fā)的完整工具包，提供了一整套完整的高級3D的API和三維數(shù)據(jù)封裝格式M3G，其三維場景信息使用M3G標準格式.

圖1 系統(tǒng)結構圖Fig.1 Diagram of system structure

網(wǎng)絡信息數(shù)據(jù)采用XML格式傳遞，客戶端的XML解析使用KXML.在服務器端采用內容管理系統(tǒng)進行相關資源和信息的生成及管理，主要負責三維模型、紋理，以及文本信息的制作和采集，并打包成相應的M3G和XML格式的文件.當用戶進行信息查詢或者場景更換時，客戶端會向內容管理系統(tǒng)發(fā)出請求，下載相應的M3G以及XML文件.

與HTML規(guī)范相比較，兩者體系結構非常類似，都有客戶端（瀏覽器和客戶端）和頁面標記語言（HTML和XML）；而不同之處在于，虛擬現(xiàn)實移動網(wǎng)絡系統(tǒng)多了獲取場景的過程，如表1所示.

表1 傳統(tǒng)網(wǎng)頁瀏覽和3D界面交互的對比Tab.1 Comparison of traditional web browsing and interactive 3D interface

2 三維場景中的XML數(shù)據(jù)格式

可擴展標記語言（XML）是萬維網(wǎng)聯(lián)盟（World Wide Web Consortium，W3C）推薦的結構化信息交換標準.采用XML作為數(shù)據(jù)傳輸格式，解決了以下3個關鍵的問題.

（1）平臺適應性.XML與系統(tǒng)平臺無關，并且已經(jīng)廣泛使用；同時，標記也被證明是對數(shù)據(jù)歸檔和變換宿主機的長生命周期問題的最好的解決方法.

（2）開放性.基于XML的頁面易于集成，更多的用戶可使用交互式三維圖形技術進行開發(fā).

（3）與互聯(lián)網(wǎng)的融合.使用XML編碼，使得相關的應用可以同時在移動終端上和PC上獲得.

針對網(wǎng)頁的三維表示語言，包括VRML［5］及其最新版本的X3D［6］.其中：VRML定義了在Internet上描述交互式三維實體和共享虛擬世界的標準文件格式和相關的訪問服務，X3D則使用XML技術表達VRML對幾何圖形和實體行為的描述能力.這兩項標準主要針對計算機上的相關應用.X3D標準在移動終端上開始使用，但顯得較為笨重，而且由于缺乏客戶端的標準支持，很難承載更為廣泛的應用.

根據(jù)X3D標準中的內核組件及一些擴展組件，基于JSR-184的數(shù)據(jù)結構和API定義出一套簡潔的模型和交互方式，從而能夠標記出場景中的對象及產(chǎn)生事件機制.客戶端按照規(guī)則解析XML數(shù)據(jù)，將其中的內容和現(xiàn)有的場景匹配，添加相關的信息，完成事件的傳遞，使得用戶完成瀏覽過程.

數(shù)據(jù)格式有如下3個主要組成部分.

（1）節(jié)點.描述在場景中將被渲染的物體相關的信息.這些物體可以用XML標記定義其位置、大小、方向、貼圖等信息，從而由客戶端引擎實時繪制，也可以從JSR-184標準支持的.m3d格式的文件中導出.M3D格式的文件可以從3D Max等相關的專業(yè)三維制作工具中導出，從而使得美工和創(chuàng)作人員可以制作出豐富的場景和物品，給用戶更加豐富的使用體驗.

（2）事件.事件是在用戶交互過程中產(chǎn)生行為的主要方法，可以處理對象選擇、改變場景圖、驅動基于時間的動畫等.

（3）觸發(fā)器.觸發(fā)器指定了事件激發(fā)的方式.一旦某種情況發(fā)生，觸發(fā)器就會進行檢查，如果有事件需要激發(fā)，就進行相應的操作.

3 客戶端

移動客戶端的主要作用是加載M3G文件，解析XML文件內容，并按照XML文件中規(guī)定的內容引導用戶進行瀏覽和游戲.客戶端采用WTK 2.0和JSR-184標準，支持用戶瀏覽、碰撞檢測等功能.

3.1 系統(tǒng)架構

圖2為客戶端的簡要系統(tǒng)結構，主要包括如下4個部分.

（1）場景加載器.主要負責從M3G文件中提取場景和動畫信息.

（2）XML解析器.負責按照XML規(guī)范解析出需要的場景狀態(tài)、事件路由等相關信息.

（3）事件管理器.包括了碰撞檢測、事件路由、腳本解析等部分，完成事件的生成、處理和傳遞過程，是提高用戶體驗的主要手段.

（4）渲染優(yōu)化器.主要針對移動終端的特點和現(xiàn)有的場景信息對渲染過程進行優(yōu)化，盡量提高效率，增進用戶的瀏覽感受.

圖2 客戶端的簡要系統(tǒng)結構Fig.2 Client’s brief system architecture

3.2 碰撞檢測

用戶在瀏覽時，不應該穿越場景中的固定道具.如果遇到包含信息的對象，應該觸發(fā)相應的事件，且在某些場景下，還要有更復雜的互動（如汽車的翻車，小球的反彈等）.這些都要求系統(tǒng)具有碰撞檢測機制［7-8］.

現(xiàn)有的碰撞檢測算法種類繁多，主要有建立模型的包圍盒樹、分解模型所在的空間，以及空間投影等方法［9-10］.這些算法各有優(yōu)劣，均結合自身特點在不同應用中使用.文中主要使用光線跟蹤技術［11］完成碰撞檢測.

在實際操作中，系統(tǒng)主要有兩種視覺模式：一是第一人稱視角的自由瀏覽，另一個是第三人稱視角的物體操作.

（1）第一人稱視角.在第一人稱視角瀏覽的過程中，攝像機就是用戶的代表，即用戶的視角、視野、移動和碰撞都由攝像機的相應變化來體現(xiàn).碰撞檢測描述如下：從攝像機中心延攝像機近截面/遠截面的中心連線發(fā)送一條光線，然后檢測光線是否與指定物體組群發(fā)生交叉.如果交叉，則檢查交叉點距離；如果距離小于設定，碰撞發(fā)生，獲取碰撞物體和相關信息，激發(fā)事件路由；如果距離大于設定，繼續(xù)檢測.通過這種方式，可以知道還有多遠發(fā)生碰撞，碰撞的物體將是哪個，從而可以有效激發(fā)相關的事件，完成相應的功能.

（2）第三人稱視角.在這種情況下，情況更為復雜，不僅要檢測攝像機的碰撞和遮擋，還要檢測用戶操作物體的碰撞，故碰撞檢測要分開進行.對于攝像機，和第一視角類似；而對于用戶操作的目標物體，則需要結合光線跟蹤法，以及包圍盒法共同完成.

3.3 事件機制

用戶交互的功能主要通過碰撞檢測和事件機制完成.用戶在場景中使用方向鍵瀏覽，遇到感興趣的物體或信息可以走近，激發(fā)碰撞事件.一旦產(chǎn)生了一個事件，那么這個事件就將沿著所有可能的路由傳播，然后激發(fā)其他相關事件.碰撞檢測是交互的主要形式，事件路由提供了產(chǎn)生復雜情景的可能.

客戶端有如下3個動作執(zhí)行序列：（1）基于當前綁定的視點的位置和方向更新攝像機；（2）計算傳感器的輸入；（3）計算路由.如果序列（2），（3）之中產(chǎn)生了新的事件，則轉向序列（2）并繼續(xù)執(zhí)行.

3.4 渲染優(yōu)化

由于移動終端自身處理器計算能力和內存大小的限制，決定了該虛擬現(xiàn)實系統(tǒng)在移動終端運行時，還不能達到和PC上一樣的細膩程度和流暢性.因此，必須針對移動終端的特點進行合適的優(yōu)化.

3.4.1 復雜物體的優(yōu)化 復雜物體（如人臉等）在移動終端上的繪制相當困難，不僅存儲量和運算量非常大，而且最終的顯示效果也非常生硬.特別是考慮到移動終端一般屏幕較小，復雜三維模型的表現(xiàn)效果就更加難以得到保證.

針對移動終端計算能力差、存儲空間小，以及屏幕較小的特點，可以使用3D風格的背景透明貼圖來代替復雜物體的三維模型.使用這種方式具有如下3個特點：（1）減小了系統(tǒng)存儲的占用，提高了運行的效率；（2）2D圖片傳輸占用網(wǎng)絡時間很小，使得動態(tài)聯(lián)網(wǎng)分場景下載更為便捷；（3）畫面細膩生動，可以產(chǎn)生比3D模型更好的體驗.

使用合理的貼圖替代復雜的三維模型，是基于現(xiàn)有移動終端和網(wǎng)絡狀況的實用方案.無論是對素材創(chuàng)作、運行速度，還是用戶體驗，都能產(chǎn)生顯著的優(yōu)化.

3.4.2 大型場景的優(yōu)化 大型場景范圍較大，如果每次都全部繪制，則系統(tǒng)開銷很高.采用目前應用很廣泛的多層次細節(jié)（LOD）技術進行這種情況下的優(yōu)化，根據(jù)視點的不同選擇不同的區(qū)域進行繪制［12］，并且仍然采用貼圖替代不同精度的三維模型.在一定范圍外的物體，可使用一場特定的貼圖替代，等該物體進入用戶視覺的中心區(qū)域之后，再繪制其實體模型.

3.4.3 在線場景更新 3G網(wǎng)絡的使用大大提高了無線帶寬，使得分場景下載成為可能，從而保證一個場景內的信息盡量精簡，其他場景的信息和相關的交互信息，可通過XML文件和M3G文件的聯(lián)網(wǎng)實時傳輸進行更新，同時保證了系統(tǒng)運行速度和數(shù)據(jù)的實時性.

4 實驗與分析

在3種不同型號手機上進行客戶端的運行效果測試.待測手機參數(shù)：摩托羅拉E680g型手機，處理器類型為Intel xScale，頻率為312MHz；摩托羅拉ROKR E2型手機，處理器類型為Intel xScale，頻率為208MHz；西門子S65型手機，處理器類型未知，頻率為104MHz.

圖3 不同類型的場景模式Fig.3 Different types of scene modes

為了測試不同手機在不同場景復雜度下的表現(xiàn)狀況，制作了3種不同類型的場景模式：（1）簡單場景.使用基本的模型及PNG格式的貼圖（圖3a）；（2）復雜場景.包括3個飛船和2個建筑物，3D Max文件使用JPG格式的圖片貼圖（圖3b）；（3）復雜形體.1個狗的造型，使用PNG格式的貼圖（圖3c）.3個文件的具體相關信息和最終的測試結果，分別如表2，3所示.

從表2，3可以看出，使用312MHz，Intel xScale處理器的摩托羅拉E680g型手機的測試結果最好.其在簡單場景下可以達到11.21幀·s-1，實際運行非常流暢，2D人物貼圖效果也很逼真；而復雜場景圖的幀率稍低，停頓感明顯；復雜形體的測試結果最差.摩托羅拉ROKR E2型手機的測試結果基本上和E680g一致.西門子S65型手機是運算能力相對比較低的機型，雖然支持JSR-184，但是處理器性能很差，只能勉強運行.

表2 場景文件的具體信息Tab.2 Scene file specific information kB

表3 手機的測試結果Tab.3 Mobile phone test results 幀·s-1

上述結論說明，針對現(xiàn)有平臺展開三維應用的條件已經(jīng)具備.在實際應用中，應該盡量使用簡單的造型和貼圖來營造適當大小的空間，避免使用復雜模型.

5 結束語

三維界面可以使用戶與系統(tǒng)的交互變得更加流暢和直觀，再加上終端本身具有移動的特性，可以承載多種增值服務種類，將成為無線增值領域的一個重要方向.相關的可用性檢測［13］已經(jīng)說明，用戶完全可以接受使用移動終端在三維環(huán)境下進行信息獲取.如何針對移動終端的特點進行三維界面的設計，有效的提高易用性，將需要進一步的研究.

［1］易觀國際.中國移動增值服務市場年度綜合報告2008［EB/OL］.［2008-05-21］.http://www.analysys.com.cn/web2007/？module=yjbg＆action=showone＆wid=73＆id=6633.

［2］ZIMMERMAN G，BARNESJ，L EVENTHAL L.A comparison of the usability and effectiveness of Web-based delivery of instructions for inherently-3D construction tasks on handheld and desktop computers［C］//Proceeding of the Eighth International Conference on 3D Web Technology.Saint Malo：ACM Press，2003：49-54.

［3］PEREZ C，ANTONIO A.3D visualization of text collections：An experimental study to assess the usefulness of 3D［C］//Proc of the Information Visualisation，Eighth International Conference.Washington D C：IEEE Computer Society，2004：317-323.

［4］HAJAKA T，L EHIKOINEN J，AAL TONEN A.Spatial interactive visualization on small screen［C］//Proceedings of the 7th International Conference on Human Computer Interaction with Mobile Devices＆Services.Salzburg：ACM Press，2005：137-144.

［5］ISO/IEC.ISO/IEC 14772-2：Information technology：Computer graphics and image processing：The virtual reality modeling language（VRML）：Part 2：External authoring interface（EAI）［S］.［2004-03-03］.http://17de.com/x3d/www.web3d.org/technicalinfo/specifications/ISO_IEC_19775/Part01/conformance.html.

［6］ISO/IEC.ISO/IEC 19775-2 extensible 3D（X3D）：Information technology：Computer graphics and image processing：Extensible 3D（X3D）［S］.［2004-12-13］.http://17de.com/x3d/www.web3d.org/specifications/ISO-IEC-19775/html.

［7］范昭煒，萬華根，高曙明.基于圖像的快速碰撞檢測算法［J］.計算機輔助設計與圖形學學報，2002，14（9）：805-809.

［8］BACIU G，WONG W S K，SUN H.An image-based collision detection algorithm［J］.Journal of Visualization and Computer Animation，1999，10（4）：181-192.

［9］王志強，洪嘉振，楊輝.碰撞檢測問題研究綜述［J］.軟件學報，1999，10（5）：545-551.

［10］張唯，劉修國.三維場景漫游中碰撞檢測問題的研究與實現(xiàn)［J］.計算機工程與應用，2005，41（19）：67-69.

［11］侯麗平，劉越，王涌天.基于光線跟蹤的碰撞檢測技術［J］.系統(tǒng)仿真學報，2006，18（S1）：84-87.

［12］周昆，潘志庚，石教英.基于混合多細節(jié)層次技術的實時繪制算法［J］.軟件學報，2001，12（1）：74-82.

［13］任剛，王建民，黃鼎龍.移動終端三維用戶界面的可用性評估［J］.計算機科學，2008，35（2）：65-68.

An Interactive Technique Based on 3D User Interface for Mobile Terminals

REN Gang1，WAN GJian-min2
（1.College of Computer Science and Technology，Huaqiao University，Quanzhou 362011，China；2.School of Software，Tsinghua University，Beijing 100084，China）

This paper presents a novel interactive technique based on 3D user interface on mobile terminals.System architecture，data structure of XML documents，and the solutions of client are given，its property is tested experimentally.Considering the limits of the mobile terminals and the wireless technology trends，we use the 3D interface as the main way of user interaction，which enhances the user friendliness of the mobile applications.This technology can be deployed on most mobile terminals and support many application types.

3D interface；mobile terminals；collision detection；XML；M3G

TN 929.5；TN 911.73

A

1000-5013（2010）04-0413-05

（責任編輯：魯斌 英文審校：吳逢鐵）

2009-09-11

王建民（1968-），男，教授，要從事組織信息系統(tǒng)、P2P與Grid的研究.E-mail：Jimwang@tsinghua.edu.cn.

國家重點基礎研究發(fā)展（973）計劃資助項目（2002CB312000）