趙守偉，馬東璽，張 勇，馬颯颯，于 明

(1.河北工業(yè)大學(xué)信息工程學(xué)院，天津 300401；2.軍械技術(shù)研究所，河北 石家莊 050000)

增強現(xiàn)實(augmented reality, AR)借助計算機圖形圖像與數(shù)據(jù)交互技術(shù)，將虛擬信息實時映射到真實場景中，兩種信息相互補充，增加了人類感知真實場景的信息量與理解程度。將AR技術(shù)應(yīng)用于復(fù)雜裝備維修，可在一定程度上解決新型復(fù)雜裝備維修人員少、技術(shù)資料海量等問題，提高維修效率。本文結(jié)合國外典型AR原型系統(tǒng)，介紹了AR技術(shù)在復(fù)雜裝備維修中的研究進展，分析了AR技術(shù)在復(fù)雜裝備維修中應(yīng)用的可行性，并對關(guān)鍵技術(shù)進行了研究。

1 常用術(shù)語

(1) AR又稱混合現(xiàn)實(mixed reality, MR)，是將計算機生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實場景中，實現(xiàn)對現(xiàn)實的增強[1]。

(2) 顯示設(shè)備(display device)。由顯示器件和相關(guān)電路組成，能提供符合視覺感受因素的視覺信息。根據(jù)所用顯示器件的不同，分為屏幕顯示設(shè)備(monitor-based display, MBD)、頭盔顯示器(head-mounted display, HMD)、吊桿式雙目顯示設(shè)備(binocular omni orientation monitor, BOOM)和頭戴式投影顯示設(shè)備(head-mounted projective display,HMPD)。MBD有采用平板顯示器和投影儀的實現(xiàn)方案。如Xin等[2]開發(fā)了基于平板電腦的草圖繪制工具用于AR系統(tǒng)交互式3D設(shè)計，Hakkarainen等[3]研究了手機AR輔助裝配誘導(dǎo)系統(tǒng)的可能性，Mistry和Maes[4]提出的“第六感項目”則采用投影儀作為顯示設(shè)備實現(xiàn)空間增強現(xiàn)實(spatial AR, SAR)，另外也有將便攜式投影設(shè)備用于AR輔助肝臟手術(shù)中[5]。MBD用于增強場景圖片顯示實現(xiàn)簡單，但屏幕分辨率低，減少了用戶的場景沉浸感。HMD較好地解決這一問題，根據(jù)實現(xiàn)原理，HMD可分為光學(xué)透射式 HMD(optical see-through HMD,OST-HMD)和視頻透射式HMD(video see-through HMD, VST-HMD)。OST-HMD視場(FOV)不必太大，用戶可同時看到外部世界的真實物體與虛擬場景，但要求二者位置精確對準，長時間配戴不易眩暈；VST-HMD為了獲得足夠的場景沉浸感，要求顯示視場較大，用戶也只能看到計算機產(chǎn)生的圖像，長時間佩戴易產(chǎn)生精神上的不適，但對跟蹤要求較低。BOOM的顯示器由吊桿支撐，可提供用戶高分辨率的影像，但BOOM是一種單用戶虛擬環(huán)境，并不能解決屏幕過近對眼睛造成的不舒適感。HMPD由一個微型投影鏡頭、頭戴式顯示屏幕和一個雙目反射屏幕組成，由于體積重量大，應(yīng)用范圍較窄。

(3) 人-機交互(human-computer interaction,HCI)。是指人與計算機之間使用某種對話語言，以一定的交互方式，為完成確定任務(wù)的人與計算機之間的信息交換過程[1]。在許多AR應(yīng)用中，大多采用了手勢[6]和運動控制[7-8]等交互策略。Ong和Wang[9]提出的裝配輔助系統(tǒng)是一個典型的支持3D裸手的自然交互系統(tǒng)，可以理解用戶雙手表達的裝配意圖。ARCADE是一個可以用手直接操作全息3D對象的項目[10]。微軟研究院的Kinêtre則是一個基于Kinect的應(yīng)用，它允許用戶隨意掃描一個對象，生成可跟隨模仿人體運動的3D模型[11]。人-機交互技術(shù)是衡量AR系統(tǒng)性能優(yōu)劣的重要指標之一，以O(shè)penNI為代表的自然接口開源軟件包為快速開發(fā)自然人機交互程序提供了基礎(chǔ)平臺，而利用ARToolKit、FLARToolKit、SLARToolKit、ARTag等開源代碼使用計算機圖像技術(shù)計算攝像機和標記物之間的相對位置，提供的快速和準確的標記跟蹤，能夠加快AR系統(tǒng)開發(fā)速度。

(4) 跟蹤注冊(tracking and registration)。是指將虛擬信息正確的呈現(xiàn)在真實場景的特定位置上所采用的技術(shù)和設(shè)備[1]。目前可分為基于傳感器的三維注冊技術(shù)、基于視覺的三維注冊技術(shù)和混合注冊技術(shù)。較為通用的跟蹤設(shè)備包括慣性、磁、聲傳感器、GPS以及射頻設(shè)備等。GPS和射頻設(shè)備常作為室外跟蹤手段，特別適合于大動態(tài)范圍下的場景跟蹤，如Hammad等[12]提出了一種基于GPS的分布式AR方法DARCC用于建筑任務(wù)的可視化協(xié)作，Shahi等[13]利用超寬帶雷達技術(shù)用于可視化建筑過程中的人員定位?；谝曈X的三維注冊技術(shù)利用圖像進行空間位置信息提取，易于實現(xiàn)，定位精度高，可實現(xiàn)大視場范圍內(nèi)多目標跟蹤，特別適用于與HMD結(jié)合使用，但基于視覺的三維注冊技術(shù)跟蹤算法較復(fù)雜，系統(tǒng)實時性較差，易受外界環(huán)境光照影響，對基準點的提取也會產(chǎn)生誤差，從而影響跟蹤精度；混合注冊技術(shù)綜合了上述兩種方法的技術(shù)優(yōu)勢，具有廣闊的應(yīng)用前景。

(5) 力反饋(force feedback)。利用機械表現(xiàn)出的反作用力，將數(shù)據(jù)通過力反饋設(shè)備表現(xiàn)出來，從而使用戶身臨其境的體驗各種效果。如Valentini[14]將可穿戴式數(shù)據(jù)手套用于AR系統(tǒng)虛擬裝配過程中的人機交互，Chen等[15]則將觸覺設(shè)備用于虛擬機器人的路徑規(guī)劃。

2 典型AR輔助維修原型系統(tǒng)

2.1 ARPPSM(2013年)

2013年阿爾及利亞先進技術(shù)發(fā)展中心的Benbelkacem等[16]，針對偏遠地區(qū)光伏太陽能系統(tǒng)水泵維修問題，開發(fā)了基于增強現(xiàn)實技術(shù)的光伏水泵維修系統(tǒng)(augmented reality for photovoltaic pumping systems maintenance, ARPPSM)。ARPPSM原型系統(tǒng)的硬件為一臺配有攝像頭的掌上電腦。圖1是ARPPSM原理框圖。

由圖1可知，ARPPSM的跟蹤模塊用于實時計算攝像機和標識物之間的位置和角度信息，描述模塊在跟蹤模塊的引導(dǎo)下將基于Direct X技術(shù)生成的3D虛擬對象及相關(guān)維修信息準確地覆蓋在標識物上，從而實現(xiàn)增強現(xiàn)實維修誘導(dǎo)信息的顯示?？紤]到ARtoolkit注冊技術(shù)采用的是一種靜態(tài)閾值，在光照發(fā)生變化時難于保證注冊的穩(wěn)定性，ARPPSM采用了一種改進型的i-ARtoolkit注冊技術(shù)，以消除野外環(huán)境條件下光照變化、背景不均勻性和攝像機標定誤差帶來的影響，其核心思想是采用Otsu算法，對輸入視頻流的每一幀灰度圖像的直方圖進行分析，將直方圖分成兩個部分，使得兩部分之間的距離最大，從而獲得自適應(yīng)閾值，然后利用獲得的自適應(yīng)閾值進行圖像二值化，通過探測二值圖像中的標識物，計算攝像機位姿并獲得變換矩陣參數(shù)，最后，將3D虛擬對象及維修信息疊加在標識物之上。

圖1 ARPPSM原理框圖

標識物尺寸大小也是影響注冊精度與穩(wěn)定性的重要因素，Samir Benbelkacem采用統(tǒng)計實驗的方法，如圖2所示，通過設(shè)定不同的觀測距離(x)和旋轉(zhuǎn)角度(Ω)，確定注冊效果最佳的標識物尺寸(d)。實驗中分別選取d=20 mm，30 mm，40 mm，60 mm，80 mm，100 mm；Ω從5°~90°，并以15°作為最小間隔；x從250 mm到3000 mm，并以250 mm作為最小間隔。實驗結(jié)果顯示：對于ARPPSM原型系統(tǒng)，采用80~100 mm之間的標識物尺寸能夠保證80%以上的識別準確度，并可有效保證注冊精度與穩(wěn)定性。

圖2 以觀測距離和旋轉(zhuǎn)角度確定標識物尺寸的實驗方法

實驗結(jié)論：ARPPSM原型系統(tǒng)適用于光伏水泵的輔助維修，可節(jié)省維修時間，提高維修人員專業(yè)技能和執(zhí)行維修任務(wù)的積極性，在一定程度上還可減少事故發(fā)生的風(fēng)險。ARPPSM原型系統(tǒng)未來還需完善兩個方面：一是采用多標識物替代單標識物提高識別精度；二是進一步優(yōu)化人-機交互手段。

2.2 ACARS(2012年)

2012年新加坡國立大學(xué)綜合科學(xué)與工程研究生學(xué)院的Zhu等[17]針對傳統(tǒng)意義上的AR輔助維修系統(tǒng)和維修環(huán)境關(guān)聯(lián)性差這一問題，開發(fā)了可編程環(huán)境感知增強現(xiàn)實系統(tǒng)(authorable context-aware augmented reality system, ACARS)。ACARS原型系統(tǒng)不是單純的被動的“只讀”系統(tǒng)，操作人員也不是單純的信息接收者，ACARS將虛擬維修信息的內(nèi)容與操作人員的專業(yè)水平和實際場景中的維修狀態(tài)結(jié)合起來，允許操作人員根據(jù)實際維修場景對ACARS維修內(nèi)容進行修改(這些維修內(nèi)容由設(shè)計者提供)，以達到進一步提高維修效率的目的。ACARS由5個模塊組成，分別是場景管理(context management, CM)模塊、增強現(xiàn)實可視化(augmented reality visualization, ARV)模塊、數(shù)據(jù)庫、離線編寫(offline authoring, OFA)模塊和在線編寫(on-site authoring, ONA)模塊。圖3是ACARS原理框圖。

ACARS的硬件包括了用于“虛實結(jié)合”顯示的Wrap 920型HMD、用于采集場景信息的網(wǎng)絡(luò)攝像機和一臺用于數(shù)據(jù)存儲和圖形圖像處理的便攜式計算機。圖3中，ACARS的OFA模塊提供桌面級的人機交互維修界面，設(shè)計者在離線狀態(tài)下利用OFA模塊創(chuàng)建與維修活動相關(guān)的信息和基于維修場景的維修內(nèi)容。ONA模塊利用OFA產(chǎn)生的數(shù)據(jù)和信息進行在線的人機交互，同時也提供操作人員在線狀態(tài)下的移動式可編程用戶操作界面。數(shù)據(jù)庫存儲相關(guān)的信息內(nèi)容、靜態(tài)過濾規(guī)則和各種多媒體信息，如CAD模型和各種圖形圖像等。CM模塊用于載入用戶輸入和傳感器讀入的數(shù)據(jù)，同時驅(qū)動高層次的場景感知信息并提供給ARV模塊。

ACARS提出的可編程場景感知主要依靠面向維修任務(wù)的場景實體建模(context ontology for maintenance service, COMS)實現(xiàn)。COMS包括了類、次類和屬性等概念。其中類定義為裝備、設(shè)備、位置、人員和活動5個方面，分別代表完成一個完整的維修活動所需的各種資源，如“裝備類”中的指示器指維修對象的顯示儀表，通過讀取相關(guān)數(shù)據(jù)可進行故障檢測和開展預(yù)防性維修，“位置類”中的屬性則包括溫濕度、空氣壓力等。次類分為修復(fù)性維修和預(yù)防性維修兩個方面，代表故障發(fā)生的不同類型，其中“條件”還可分為頻度和范圍兩個方面，分別表示維修間隔期和數(shù)據(jù)超差范圍。圖4是COMS關(guān)系圖。

實驗結(jié)論：ACARS原型系統(tǒng)基于COMS概念，明確了維修活動開展的時機、維修活動開展的方法，規(guī)范了操作人員做什么、如何做、在什么地方做等一系列問題。表1是參與實驗的操作人員對ACARS原型系統(tǒng)性能的主觀評價，其中滿意度最高為5分，最低為1分?？梢娤鄬τ诩堎|(zhì)手冊、傳統(tǒng)AR輔助維修系統(tǒng)，ACARS原型系統(tǒng)表現(xiàn)出了良好的輔助維修能力。

圖3 ACARS原理框圖

圖4 COMS關(guān)系框圖

表1 主觀評價平均分值比較

2.3 ARMAR(2011年)

美空軍于2007年聯(lián)合空軍研究實驗室、人力效能理事會、戰(zhàn)斗人員準備研究部、后勤準備分部、懷特-帕特森空軍基地和哥倫比亞大學(xué)，啟動了維修保障增強現(xiàn)實(augmented reality for maintenance and repair, ARMAR)研究計劃[18]。該計劃的目的是探索和評估增強現(xiàn)實系統(tǒng)在裝備維修保障中的效能和可行性。圖5是ARMAR原型系統(tǒng)設(shè)計框圖。

圖5 ARMAR原型系統(tǒng)設(shè)計框圖

圖5中，有灰色背景的文本框為外部模型或應(yīng)用程序界面，虛框文本框代表未來發(fā)展研究計劃。ARMAR采用模塊化設(shè)計，可在不改變整個維修流程或系統(tǒng)框架前提下，通過修改相應(yīng)的維修模塊，完成維修流程更新和升級。ARMAR中的維修流程控制器具備虛擬維修、增強現(xiàn)實維修和實體維修等功能，內(nèi)置的維修任務(wù)流程集成了包含全部維修輔助活動所需的信息和邏輯控制。通過監(jiān)視用戶的維修步驟，包括當前狀態(tài)下的維修信息、模型、圖像、聲音、視頻等，適情提供與之對應(yīng)的維修信息。在人-機交互界面中，用戶可以選擇需要進行的維修活動。對象跟蹤控制器用于跟蹤操作人員和維修對象。運動跟蹤軟件包括部件跟蹤和手勢跟蹤兩部分。部件跟蹤用于跟蹤工具、移除或重置修理單元。手勢跟蹤用于跟蹤用戶的手勢狀態(tài)，由一臺獨立的攝像機完成手勢跟蹤的數(shù)據(jù)處理。

ARMAR采用的人機交互技術(shù)是一種面向用戶操作的機會控制(opportunistic controls, OC)策略[19]，即操作人員自然觸摸維修場景中的被維修對象時，利用標識物識別、手勢匹配和手勢分析技術(shù)，得到被維修對象的虛擬觸摸區(qū)域，手指通過調(diào)整虛擬按鈕可得到實時的數(shù)據(jù)反饋，增加了操作人員的沉浸感。如圖6，在對變換器一個六角形螺母進行拆解的過程中，首先以螺母作為圖像識別及手勢識別的基準點，將虛擬信息菜單按鈕布置在遠離螺母區(qū)域的遮光柵格處；然后將手指移動至被維修對象處，激活維修菜單；當虛擬維修菜單出現(xiàn)后，手指在需要進行的維修項目列表中選擇相應(yīng)的維修活動；當操作人員進行維修活動時，系統(tǒng)載入到第一個步驟并隱藏菜單；操作人員完成該項目的維修活動后可再次將手指移動至被維修對象處，激活維修菜單并進行下一步驟的維修工作。

圖6 ARMAR原型系統(tǒng)人-機交互技術(shù)

實驗結(jié)論：ARMAR原型系統(tǒng)采用的VSTHMD視場角為34°，其中用于實現(xiàn)雙目立體視覺的攝像機的圖像分辨率為800×600，具備30 f/s的處理速度。雖然存在觸摸感不夠逼真等問題，但ARMAR提出的OC策略一方面可消除“虛實結(jié)合”場景中冗余信息對操作人員的影響，另一方面可和虛擬信息進行交互反饋，提高了場景沉浸感[20]。和基于基線比較技術(shù)(baseline comparison, BL)的人-機交互策略相比，OC策略主觀評價的直觀度、滿意度和舒適度分別為4.67、3.87和4.00，而BL策略則只有3.97、3.40和3.43。

3 面向輔助維修的增強現(xiàn)實關(guān)鍵技術(shù)

3.1 維修對象數(shù)字建模與數(shù)據(jù)規(guī)范技術(shù)

增強現(xiàn)實維修誘導(dǎo)信息來自裝備的維修手冊、器材目錄和設(shè)計部門已有的樣機數(shù)據(jù)等，這些數(shù)據(jù)來源不同，類型多樣，如構(gòu)建虛擬信息的三維造型文件就包括了Solidworks、Pro/E、CATIA、CAXA等，為正確理解和應(yīng)用這些信息，必須要研究符合維修誘導(dǎo)系統(tǒng)要求的數(shù)據(jù)描述和存儲關(guān)系，開展裝備數(shù)字建模及文件格式轉(zhuǎn)換、維修過程建模及維修誘導(dǎo)信息檢索等方面的研究。為保證裝備模型能正確并快速地理解和應(yīng)用，可將不同的三維造型文件轉(zhuǎn)換為增強現(xiàn)實維修誘導(dǎo)系統(tǒng)可利用的信息模型。另外，基于裝備已有的IETM手冊或其他維修信息，對維修過程建模進行研究，可將裝備維修手冊轉(zhuǎn)化為知識規(guī)則并構(gòu)造規(guī)則庫，由規(guī)則庫和案例信息庫共同構(gòu)成專家系統(tǒng)知識庫。在維修過程中，首先對裝備故障進行分析處理，通過基于規(guī)則推理，在規(guī)則范圍內(nèi)查找，進行維修決策并將決策結(jié)果反饋給用戶；如在基于規(guī)則的推理中出現(xiàn)了難于決策的損傷狀況，可利用基于案例的推理尋找匹配的典型案例，利用相似案例作為輔助維修決策依據(jù)。

3.2 以用戶為核心的人機交互技術(shù)

AR系統(tǒng)的可用性并不僅僅體現(xiàn)在它的健壯性，還在于它與用戶的交互能力，AR系統(tǒng)發(fā)展方向應(yīng)盡量采用手勢或人類行為的直接交互方式，而不是采用間接輸入設(shè)備，實現(xiàn)以用戶為核心的人機交互。與AR系統(tǒng)的交互一方面包括了虛擬提示信息的翻頁、選擇、拉伸、縮放，還包括手與被識別對象的碰撞等研究。目前，很多AR系統(tǒng)為提高識別率采用佩戴顏色標記或數(shù)據(jù)手套等輔助手段對手部動作進行識別，這種方法直接影響維修過程中人手的操作，不適用于裝備維修應(yīng)用，因此，必須研究基于裸手動作識別實現(xiàn)維修狀態(tài)的感知和與AR系統(tǒng)的交互。裸手識別是一個復(fù)雜的模式識別問題，涉及指尖、腕部等不同部位的動作識別。單攝像頭識別方法通常用于通信型手勢交互，而以雙目立體視覺提取手部的三維特征對手部進行識別，可添加維修場景深度信息，同時也能部分解決遮擋問題。

3.3 無標識物的跟蹤注冊技術(shù)

標識物具有特定的幾何或光譜特征，易于在視頻流中被識別，如ARMAR系統(tǒng)就采用了基準標識物和傳感器相結(jié)合的混合跟蹤方法，另外采用ARToolKit、FLARToolKit、SLARToolKit、ARTag等開源平臺為支撐開發(fā)AR應(yīng)用系統(tǒng)，可充分利用其封裝好的復(fù)雜標識物圖像處理和數(shù)字符號處理方法，快速實現(xiàn)虛實場景的注冊跟蹤。但基于標識物的注冊跟蹤技術(shù)在使用上存在局限性，因為標識物必須提前在真實場景中放置并記錄其與對象的對應(yīng)關(guān)系，視角范圍內(nèi)必須全程可見，某些場合無法放置或不允許放置，而基于自然特征的注冊跟蹤則大大擴展了AR的應(yīng)用范圍。可利用傳感器輸出觀察者頭部三自由度姿態(tài)參數(shù)，計算觀察者視覺觀察方向，利用攝像機獲取真實場景信息并利用機器視覺提取場景特征，將傳感器與視覺跟蹤獲取的特征信息進行融合與濾波處理，進而得到攝像機姿態(tài)信息估計，然后調(diào)整虛擬攝像機空間坐標使之與攝像機獲取的真實場景的空間坐標相一致，最后把與觀察者視線方向一致的虛實結(jié)合的圖像輸出給顯示設(shè)備，實現(xiàn)增強現(xiàn)實效果。

3.4 AR系統(tǒng)評價技術(shù)

如何評價AR系統(tǒng)的性能優(yōu)劣也是增強現(xiàn)實技術(shù)研究領(lǐng)域的重要組成部分。如ARMAR和ACARS原型系統(tǒng)都采用了直觀度、滿意度和舒適度作為衡量AR系統(tǒng)性能優(yōu)劣的客觀評價指標。但AR評價方法目前尚不完善。在樣本選擇方面，應(yīng)盡可能的考慮修復(fù)性維修、預(yù)防性維修等故障模式與故障排除的難易程度，體現(xiàn)評價過程的典型代表性；在參試人員選擇方面，人數(shù)不易過少，且最好能在年齡、職業(yè)、受教育程度上保持相對一致性，甚至還可能要求參試者性別有適當比例；在評價方法上，可采用比較測量方法，即待評價AR原型系統(tǒng)和傳統(tǒng)維修方法進行類比，且兩組評價實驗間隔一段時間，以消除參試者形成記憶殘留；在評價指標構(gòu)建方面，除了直觀度、滿意度和舒適度外，還可增加故障排除時間、故障難易程度權(quán)重等評價指標。

4 結(jié)論

隨著計算機硬件性能的逐步提升和機器視覺技術(shù)的快速發(fā)展，滿足實時性要求，支持裸手交互策略與無標識物跟蹤注冊的AR系統(tǒng)成為可能，將增強現(xiàn)實技術(shù)用于復(fù)雜裝備輔助維修，應(yīng)重點開展以下3個方面的研究：一是增強現(xiàn)實維修輔助系統(tǒng)是一個擁有龐大后端數(shù)據(jù)庫的系統(tǒng)，包括3D模型庫、特征描述庫、維修手冊、專家知識庫等，這些數(shù)據(jù)庫涉及到裝備及部組件的識別、維修誘導(dǎo)信息的產(chǎn)生及知識推理，這些數(shù)據(jù)庫之間存在耦合關(guān)系并且與維修狀態(tài)緊密關(guān)聯(lián)，對系統(tǒng)的實時性要求高，因此高效合理的數(shù)據(jù)庫架構(gòu)和維修業(yè)務(wù)建模方法是實現(xiàn)面向復(fù)雜裝備維修的前提和基礎(chǔ)；二是增強現(xiàn)實維修輔助系統(tǒng)對機器視覺技術(shù)的依賴程度高，系統(tǒng)不但需要識別裝備及部組件的維修狀態(tài)，還要對人-機交互進行實時處理，并完成實時的注冊跟蹤計算，因此高性能的圖像處理算法和硬件的協(xié)調(diào)配合是實現(xiàn)高速、高精度增強現(xiàn)實輔助維修系統(tǒng)的重要手段；三是增強現(xiàn)實輔助維修系統(tǒng)人機交互的設(shè)計及表現(xiàn)形式需結(jié)合實際應(yīng)用需求，確保人-機交互的自然性，避免各種維修場景對“虛實結(jié)合”維修活動產(chǎn)生影響。

[1]Nee A Y C, Ong S K, Chryssolouris G, Mourtzis D.Augmented reality applications in design and manufacturing [J].CIRP Annals-Manufacturing Technology, 2012, 61(2): 657-679.

[2]Xin Min, Sharlin E, Sousa M C.Napkin sketch:handheld mixed reality 3D sketching [C]//Proceedings of 15th ACM Symposium on Virtual Reality Software and Technology, 2008: 223-226.

[3]Hakkarainen M, Woodward C, Billinghurst M.Augmented assembly using a mobile phone [C]//Mixed and Augmented Reality, 2008.ISMAR 2008.7th IEEE/ACM International Symposium on, 2008: 167-168.

[4]Mistry P, Maes P.SixthSense: a wearable gestural interface [C]//Proceeding of ACM SIGGRAPH ASIA 2009 Sketches, 2009: 11.

[5]Gavaghan K A, Peterhans M, Oliveira-Santos T, Weber S.A portable image overlay projection device for computer-aided open liver surgery [J].IEEE Transactions on Biomedical Engineering, 2011, 58(6):1855-1864.

[6]White S, Lister L, Feiner S.Visual hints for tangible gestures in augmented reality [C]//Proceeding of the 2007 6th IEEE/ACM International Symposium on Mixed and Augmented Reality, 2007: 1-4.

[7]Tonn C, Petzold F, Donath D.Put on your glasses and press right mouse button AR-based user interaction using laser pointer tracking [C]//Proceeding of the 26th Conference on Education in Computer Aided Architectural Design in Europe, 2008: 201-208.

[8]Juang J R, Huang Weihan, Kang Shichung.Kinesthetic and stereoscopic vision for crane training systems [C]//Proceedings of 11th International Conference on Construction Applications of Virtual Reality (CONVR)Conference, 2011: 516-527.

[9]Ong S K, Wang Z B.Augmented assembly technologies based on 3D bare-hand interaction [J].CIRP Annals-Manufacturing Technology, 2011, 60(1): 1-4.

[10]Stein M.ARCADE: a system for augmenting Gesture-Based computer graphic presentations [C]//Proceeding of ACM SIGGRAPH 2012 Computer Animation Festival, 2012: 77-77.

[11]Chen Jiawen, Izadi S, Fitzgibbon A.Kinêtre: animating the world with the human body [C]//Proceedings of the 25th Annual ACM Symposium on User Interface Software and Technology.ACM, 2012: 435-444.

[12]Hammad A, Wang Hui, Mudur S P.Distributed augmented reality for visualizing collaborative construction tasks [J].Journal of Computing in Civil Engineering, 2009, 23(6): 418-427.

[13]Shahi A, Aryan A, West J S, Haas C T, Haas R C G.Deterioration of UWB positioning during construction [J].Automation in Construction, 2012, 24: 72-80.

[14]Valentini P P.Interactive virtual assembling in augmented reality [J].International Journal on Interactive Design and Manufacturing, 2009, 3(2):109-119.

[15]Chen C J, Ong S K, Nee A Y C, Zhou Y Q.Haptic-based interactive path planning for a virtual robot arm [J].International Journal on Interactive Design and Manufacturing, 2010, 4(2): 113-123.

[16]Benbelkacem S, Belhocine M, Bellarbi A, Zenati-Henda N, Tadjine M.Augmented reality for photovoltaic pumping systems maintenance tasks [J].Renewable Energy, 2013, 55: 428-437.

[17]Zhu J, Ong S K, Nee A Y C.An authorable context-aware augmented reality system to assist the maintenance technicians [J].The International Journal of Advanced Manufacturing Technology, 2013, 66(9-12):1699-1714.

[18]Henderson S J, Feiner S K.Augmented reality in the psychomotor phase of a procedural task [C]//Mixed and Augmented Reality (ISMAR), 2011 10th IEEE International Symposium on, 2011: 191-200.

[19]Henderson S, Feiner S.Exploring the benefits of augmented reality documentation for maintenance and repair [J].Visualization and Computer Graphics, IEEE Transactions on, 2011, 17(10): 1355-1368.

[20]Henderson S, Feiner S.Opportunistic tangible user interfaces for augmented reality [J].Visualization and Computer Graphics, IEEE Transactions on, 2010, 16(1):4-16.