吳磊,蘇瑤,盛芹芹,王峻峰
(華中科技大學 機械科學與工程學院,武漢 430074)
隨著信息技術(shù)的飛速發(fā)展,數(shù)字制造被認為是減少產(chǎn)品開發(fā)時間和成本,提高產(chǎn)品質(zhì)量和更快響應市場需求的新興技術(shù)。增強現(xiàn)實(AR,Augmented Reality)將計算機生成的信息疊加在真實環(huán)境中,可幫助模擬、輔助和改進制造過程,是創(chuàng)新有效的數(shù)字化解決方案。在增強現(xiàn)實系統(tǒng)中,將計算機生成的虛擬元素與人所在的真實場景相融合互通,是新興的交互場景。AR 技術(shù)可以與人類的認知能力相結(jié)合,通過AR 系統(tǒng)提供有效的工具協(xié)助制造過程,在航空業(yè)、核工業(yè)、維護和制造領(lǐng)域已有應用案例。AR 交互界面在真實環(huán)境中疊加了與環(huán)境相關(guān)的圖形內(nèi)容和文本描述,以視覺指令的形式出現(xiàn),其信息顯示和圖像疊加是上下文的互相關(guān)聯(lián),顯示內(nèi)容取決于觀察到的對象。然而,當前AR 輔助裝配的視覺符號設計尚沒有通用的標準,如何解決AR 輔助裝配中指示符號的認知和用戶體驗問題,成為研究重點。本文以AR 輔助機械裝配的指示符號為例,從人類本源的視覺認知機理出發(fā),采用眼動追蹤方法對增強現(xiàn)實環(huán)境下輔助裝配符號維度與狀態(tài)進行量化分析與評估,進而提出AR 環(huán)境下輔助裝配指示符號的交互設計策略。
在AR 輔助裝配和維護技術(shù)領(lǐng)域,魏巍等人[1]詳細闡述了跟蹤配準技術(shù)、實時交互技術(shù)、虛實融合技術(shù)在輔助裝配系統(tǒng)中的實現(xiàn)方法。徐遲等人[2]從數(shù)據(jù)和工作流程方面提出并分析了擴充裝配手冊的兩階段應用,并在工作站環(huán)境下開發(fā)了用于增強裝配應用的內(nèi)容創(chuàng)作和內(nèi)容可視化系統(tǒng)。李旺等人[3]采用六種方式對裝配工藝進行可視化表達,應用XML 開發(fā)出一種具有三層信息結(jié)構(gòu)的增強裝配工藝編輯原型系統(tǒng)。楊振[4]發(fā)現(xiàn)AR 輔助可以縮短整體裝配任務和子任務的時間,并減少這些任務中的錯誤。宋春雨等人[5]通過解決移動端注冊算法的實時性等問題,開發(fā)實現(xiàn)了移動AR 齒輪油泵裝配環(huán)境下虛實場景融合效果。趙陽等人[6]在AR 環(huán)境下,通過Kinect 進行手勢交互,對汽車發(fā)動機進行裝配,實現(xiàn)了發(fā)動機裝配序列的呈現(xiàn),極大地增強了用戶對真實場景的直觀感受。閆甲鵬等人[7]基于Android 移動終端建立了齒輪油泵移動AR 裝配系統(tǒng),實現(xiàn)了裝配系統(tǒng)虛實場景的融合,且融合場景沉浸感較強。詹松濤等人[8]利用移動AR 技術(shù)輔助引導布線,通過研究視覺跟蹤算法的多坐標系轉(zhuǎn)換的三維注冊配準算法、無標識注冊技術(shù)和移動終端AR 輔助布線的交互方式,實現(xiàn)信息的有效引導及良好的交互體驗。Giulia 等人[9]提出一種將操作任務轉(zhuǎn)換為二維符號以在AR 中傳達指令的方法,能降低用戶的心理負擔,無需跟蹤即可工作。
在虛擬環(huán)境符號的研究領(lǐng)域,Nagel[10]通過圖像動態(tài)可視化方法提高VR 場景中的圖像與使用場景融合度,并在不同的環(huán)境和數(shù)據(jù)復雜度中適當將可視化圖形簡化提高可用性。而Granum[11]就VR 用戶與3D視覺對象之間的感知問題進行了討論,并建議將圖形對象大小保持恒定以支持VR 的深度感知,對象大小也是空間距離單位的參考感知條件,應該在近距離上增添例如表面紋理等屬性以觸發(fā)感知分組。在場景視覺認知方面,Itti 等人[12]提出Neuromorphic Vision Toolkit(NVT)模型,該模型包括底層顏色、強度、方向和閃爍特征的自下而上計算,探討了復雜環(huán)境中的神經(jīng)形態(tài)模型。Lu 等人[13]提出使用AR 設備呈現(xiàn)的圖像可能會降低視覺搜索性能,通過兩個視覺搜索實驗調(diào)查了背景復雜度,指示符號的不透明度、大小和形狀對視覺搜索性能的影響,得出了可供AR 研發(fā)人員參考的數(shù)據(jù)。Palmarini[14]根據(jù)工業(yè)維護的關(guān)鍵績效指標來探討和量化了AR 的優(yōu)缺點,提出了跟蹤和工業(yè)維護中的用戶AR 交互問題。
AR 輔助裝配指示符號的用戶體驗問題越來越受到學者的關(guān)注,Giles 等人[15]將AR 圖形與智能輔導系統(tǒng)相結(jié)合,開發(fā)出了用于智能AR 培訓系統(tǒng)的模塊化軟件框架。評估發(fā)現(xiàn)智能AR 系統(tǒng)將測試分數(shù)提高了25%,任務性能提高了30%。該研究表明與更傳統(tǒng)的AR 培訓相比,使用智能AR 指引可以顯著改善學習效果。Santos 等人[16]創(chuàng)建了一個由可理解性和可操作性量表組成的手持AR 系統(tǒng)可用性量表,并用四個實驗評估了問卷的有效性和可靠性。這項研究對于AR系統(tǒng)的可用性研究的推進具有重要意義。Deshpande等人[17]通過在HoloLens 耳機上開發(fā)AR 應用程序并進行測試實驗發(fā)現(xiàn)AR 程序在解決空間問題和心理表現(xiàn)有關(guān)的行為指標時產(chǎn)生積極影響。Lei 等人[18]研究了AR 培訓對于不同經(jīng)驗程度和性別的影響,實驗證明AR 幫助男性學員更快學習組裝例程,并對女性組裝者而言更有效。Lei 等人[19-20]通過對50 個被試使用AR 組裝LEGO 模型進行了兩組實驗,探討了AR 輔助動畫在促進對參與復雜系統(tǒng)組裝的人員的學習和培訓方面的有效性。實驗結(jié)果表明,使用動畫AR 系統(tǒng)時,由于認知促進的積極作用,受訓者的學習曲線顯著改善,并且犯錯的次數(shù)更少。
綜上所述,當前AR 可視化研究多為技術(shù)層面的解決方案,對于AR 中設計本身的可用性和用戶體驗還很少被關(guān)注,已有的關(guān)于AR 輔助裝配產(chǎn)品的可用性問題的部分研究,主要集中在認知績效和沉浸式體驗方面。當前涉及增強現(xiàn)實環(huán)境的符號可用性研究較為欠缺,尤其是沒有針對AR 輔助機械裝配符號的交互設計展開深入的研究。
本研究遵守機械裝配符號設計的相關(guān)規(guī)范,選取符合用戶認知的指示符號設計方案。在此基礎上探討指示符號不同表現(xiàn)形式下的用戶體驗,得出符合用戶體驗的AR 輔助裝配指示符號不同表現(xiàn)形式的影響機制。采用雙因素(2×2)眼動實驗設計,實驗自變量為指示符號的維度(2D、3D)和狀態(tài)(靜態(tài)、動態(tài))。實驗因變量為任務過程中被試對指示符號AOI(Areas of Interest,興趣區(qū))的首次注視時間、總注視時間、裝配任務時間、主觀評分。在實驗中,指示符號的總注視時間反映認知負荷,首次注視時間反映視覺凸顯性;實驗過程中的裝配任務時間反映裝配效率;裝配任務完成度和裝配錯誤次數(shù)反映裝配質(zhì)量;實驗后的滿意度評分和美感評分反映了被試的主觀評價。實驗要求被試者佩戴眼鏡式眼動儀完成典型裝配任務,記錄操作過程中的眼動數(shù)據(jù),并在實驗后完成主觀問卷。
H1:指示符號的維度和狀態(tài)對指示符號的認知負荷有顯著影響;
H2:指示符號的維度和狀態(tài)對指示符號的視覺凸顯性有顯著影響;
H3:指示符號的維度和狀態(tài)對裝配任務的裝配效率有顯著影響;
H4:指示符號的維度和狀態(tài)對裝配任務的裝配質(zhì)量有顯著影響;
H5:指示符號的維度和狀態(tài)對被試的主觀評價有顯著影響。
實驗選取汽車發(fā)動機作為裝配實驗載體,被試選取工程類專業(yè)的碩博士研究生共計83 人,被試矯正視力正常,無色盲色弱情況,均為右利手。通過眼動數(shù)據(jù)結(jié)果篩選,剔除采樣率較低的樣本23 份,最終得到60 份有效眼動數(shù)據(jù),有效數(shù)據(jù)中男性被試48 人,占比80%,女性被試12 人,占比20%;被試年齡分布為18~25 歲占比88.3%,26~30 歲占比為10%,31~40歲占比為1.6%。
實驗采用Tobii Glasses 2 眼鏡式眼動儀。實驗地點為機械學院工業(yè)工程實驗室。實驗場地的主要設備有:實驗監(jiān)視屏幕、裝配臺、AR 圖像捕捉攝像頭、裝配信息顯示屏、實體發(fā)動機、工具欄、配件欄,眼動實驗場地見圖1。
圖1 眼動實驗場地Fig.1 Eye tracking experiment platform
實驗材料設計分為四個組合類別,分別為2D 靜態(tài)指示符號、2D 動態(tài)指示符號、3D 靜態(tài)指示符號、3D 動態(tài)指示符號。實驗材料中,裝配輔助指示符號的顯示尺寸為140 pixels×140 pixels,裝配界面的總顯示分辨率為1366 pixels×768 pixels,眼動追蹤裝配實驗圖標素材見圖2。
圖2 眼動追蹤裝配實驗圖標素材Fig.2 Indicator symbol stimulus in eye tracking experiment
本實驗主要包含裝配操作任務和主觀問卷兩個部分,首先,實驗正式開始前,向被試介紹實驗目的和流程,被試仔細閱讀實驗指導語;緊接著進行眼動儀調(diào)試和校準,進入練習程序,被試完成裝配操作練習,確認操作符合流程后進入正式實驗。實驗正式開始,要求被試閱讀任務名稱后點擊界面“開始操作”按鈕,進入裝配界面進行裝配操作;操作完成后點擊“操作完成”完成一個實驗任務,然后切換下一個實驗任務,直至完成全部6 個眼動實驗任務;最后,操作任務完成后填寫主觀問卷,實驗完成。機械裝配實驗流程見圖3。
圖3 機械裝配實驗流程Fig.3 Mechanical assembly experiment flow
實驗采用眼動追蹤對AR 輔助裝配指示符號進行科學地評估與分析,主要分析統(tǒng)計數(shù)據(jù)如下:眼動儀記錄AOI 內(nèi)的首次注視時間(Time of first fixation)、總注視時間(Total duration of fixation),同時使用了主觀評分采集被試的反饋。
視覺興趣區(qū)(AOI,Area of interest)主要反映被試在操作任務中對操作視野注視和關(guān)注的區(qū)域,紅色代表瀏覽和注視最集中的區(qū)域,黃色和綠色代表目光注視較少的區(qū)域。研究表明,被試的注視點主要集中在界面指示符號區(qū)域、實體發(fā)動機任務執(zhí)行區(qū)域和工具欄區(qū)域。任務開始后,被試的主要視覺瀏覽順序首先是界面指示符號區(qū)域,其次是工具欄區(qū)域,最后是實體發(fā)動機任務執(zhí)行區(qū)域,信息呈現(xiàn)方式眼動實驗視覺搜索熱區(qū)見圖4。
圖4 信息呈現(xiàn)方式眼動實驗視覺搜索熱區(qū)Fig.4 Hot area of visual search for information presentation in eye movement experiments
首次注視時間表示指示符號的視覺凸顯性,表示從進入裝配任務的系統(tǒng)界面開始到被試的注視點出現(xiàn)在興趣區(qū)的時間,表示指示符號刺激引起被試視知覺的顯著性程度。首次注視時間柱狀圖見圖5。對數(shù)據(jù)進行二維組間方差分析,結(jié)果表明,指示符號的狀態(tài)主效應顯著,(F=15.670,P<0.05,偏η方=0.044),其中靜態(tài)指示符號的首次注視時間均值(2.027 s)明顯高于動態(tài)指示符號的首次注視時間均值(1.415 s)。指示符號的維度主效應不顯著(F=0.075,P=0.784>0.05,偏η方=0.000)。指示符號的狀態(tài)與維度的交互效應不顯著(F=2.297,P=0.131>0.05,偏η方=0.007)。
圖5 首次注視時間柱狀圖Fig.5 Histogram of first fixation time
結(jié)果表明,動態(tài)圖標的視覺凸顯性更強。交互式界面中圖形符號的移動通常通過動態(tài)效果來體現(xiàn)。當移動的物體對大腦產(chǎn)生持續(xù)的刺激時,大腦將根據(jù)刺激產(chǎn)生條件反射,從而引起大腦更多的注意力[21]。在具體的應用場景設計師應根據(jù)具體設計需求對界面信息進行視覺層次劃分。在單一符號指令場景下,使用動態(tài)圖標更易引起用戶的注意。但過多的高視覺凸顯性符號同時展現(xiàn),可能會引起視覺混亂從而降低產(chǎn)品的用戶體驗。
在機械裝配任務中,被試對指示符號興趣區(qū)內(nèi)的總注視時間越長,表明其提取信息語義越困難,認知負荷越大,符號總注視時間柱狀圖見圖6。對數(shù)據(jù)進行二維組間方差分析,結(jié)果表明,指示符號的狀態(tài)主效應顯著,(F=101.452,P<0.05,偏η方=0.253),其中靜態(tài)指示符號的總注視時間(2.565 s)明顯低于動態(tài)指示符號的總注視時間(4.933 s)。指示符號的維度主效應顯著(F=9.645,P<0.05,偏η方=0.031),2D 指示符號的總注視時間(3.384 s)明顯低于3D 指示符號的總注視時間(4.114 s)。指示符號的狀態(tài)與維度的交互效應不顯著(F=2.325,P=0.128>0.05,偏η方=0.008)。
圖6 符號總注視時間柱狀圖Fig.6 Histogram of total duration of fixation
上述結(jié)果表明,動態(tài)3D 指示符號的總注視時間大于其他指示符號,其認知負荷在各類指標的統(tǒng)計結(jié)果中最大。因為動態(tài)符號承載的信息量更大,用戶需要更多的時間來解釋動態(tài)符號的含義,動態(tài)符號更易出現(xiàn)歧義。在實際應用場景中,應同時考慮設計所需表達的信息量,在最佳信息傳達前提下進行抉擇。隨著動態(tài)3D 的設計手法更廣泛地被應用,人們對新表達形式帶來的學習成本將會越來越低,也將影響著認知負荷的變化。
裝配任務時間指實驗中完成每一項裝配任務所用的時間。同一裝配任務的裝配任務時間越長,表明單位時間的裝配效率越低,裝配任務時間柱狀圖見圖7。對數(shù)據(jù)進行二維組間方差分析,結(jié)果表明,指示符號的狀態(tài)主效應顯著,(F=4.731,P<0.05,偏η方=0.015),其中靜態(tài)指示符號的裝配任務時間(19.266 s)明顯高于動態(tài)指示符號的裝配任務時間(17.878 s)。指示符號的維度主效應不顯著(F=0.056,P=0.814>0.05,偏η方=0.002)。指示符號的狀態(tài)與維度的交互效應不顯著(F=0.056,P=0.814>0.05,偏η方=0.000)。
圖7 裝配任務時間柱狀圖Fig.7 Histogram of assembly task time
上述結(jié)果表明,動態(tài)指示符號的任務完成效率更高。動態(tài)效果可以提高人們的視覺注意力,增加愉悅的心理體驗,同時也可以增強人們的緊迫感,在警示信息設計上也常用動態(tài)展示手法。對比而言,靜態(tài)符號不容易讓人感受到時間流逝,動態(tài)符號會讓人產(chǎn)生一種催促感,從而更快完成任務。通過相關(guān)性分析證明,認知負荷與裝配效率在一定區(qū)間內(nèi)呈正相關(guān),即認知負荷越高,裝配效率越高。由此,從整體任務完成角度而言,雖然動態(tài)符號的注視時間消耗較大,但是最終使被試在更短的時間內(nèi)完成任務。
實驗中,裝配質(zhì)量由裝配任務完成度和裝配錯誤次數(shù)兩個部分構(gòu)成,裝配任務完成度指裝配任務的最終完成程度,以主觀問卷量表的形式進行度量。裝配錯誤次數(shù)是裝配任務過程中的操作錯誤次數(shù)的總和。裝配錯誤記錄主要有:工具選擇錯誤、工具使用錯誤、裝配位置錯誤、裝配方式錯誤、遺漏配件,由專業(yè)實驗記錄員記錄,每錯誤一次計1 分。
1)裝配任務完成度評分。在實驗中,裝配任務完成度評分滿分為5 分,分數(shù)越高,用戶完成度越高。對裝配任務完成度評分進行二維組間方差分析,結(jié)果表明,指示符號的狀態(tài)主效應顯著,(F=5.921,P<0.05,偏η方=0.016),其中靜態(tài)指示符號的裝配任務完成度評分(4.546)明顯高于動態(tài)指示符號的裝配任務完成度評分(4.232)。指示符號的維度主效應不顯著(F=1.090,P=0.297>0.05,偏η方=0.003)。指示符號的狀態(tài)與維度的交互效應不顯著(F=2.365,P=0.125>0.05,偏η方=0.007)。
2)裝配錯誤次數(shù)記錄。對裝配錯誤次數(shù)進行二維組間方差分析,結(jié)果表明,指示符號的狀態(tài)主效應顯著,(F=9.614,P<0.05,偏η方=0.026),其中靜態(tài)指示符號的裝配錯誤次數(shù)(0.224 次)明顯低于動態(tài)指示符號的裝配錯誤次數(shù)(0.430 次)。指示符號的維度主效應不顯著(F=0.863,P=0.353>0.05,偏η 方=0.002)。指示符號的狀態(tài)與維度的交互效應不顯著(F=0.950,P=0.330>0.0,偏η方=0.003)。
上述結(jié)果表明,四類指示符號中裝配質(zhì)量最高的是靜態(tài)2D 指示符號,裝配質(zhì)量最低的是動態(tài)2D 指示符號。用戶認知負荷與裝配質(zhì)量呈負相關(guān),認知負荷越高,裝配質(zhì)量越低,由此,從任務完成結(jié)果和任務過程的認知負荷角度,靜態(tài)符號均為最佳選擇。國外相關(guān)符號的研究顯示,符號的動效的動態(tài)展示方式和顯示持續(xù)時間也會影響任務完成質(zhì)量。當因受其他因素影響,需要使用動態(tài)符號時,可以調(diào)整符號的動效的動態(tài)展示方式和顯示持續(xù)時間以達到高質(zhì)量完成任務的目的。
通過問卷收集被試對實驗任務中指示符號的主觀滿意度,對滿意度進行5 點評分,評分從高到低依次為:靜態(tài)2D 指示符號(4.44),靜態(tài)3D 指示符號(4.33),動態(tài)2D 指示符號(4.31),動態(tài)3D 指示符號(4.00)。從狀態(tài)和維度兩個角度來看,靜態(tài)指示符號(4.39)的滿意度高于動態(tài)指示符號(4.16);2D指示符號(4.38)的滿意度高于3D 指示符號(4.16)。
通過問卷收集被試對實驗任務中指示符號的主觀審美評分,對美感進行5 點評分,評分從高到低依次為:動態(tài)2D 指示符號(3.88),靜態(tài)3D 指示符號(3.87),動態(tài)3D 指示符號(3.75),靜態(tài)2D 指示符號(3.67),四種類型的整體評分差異較小。從狀態(tài)和維度兩個角度來看,靜態(tài)指示符號評分為3.76,動態(tài)指示符號評分為3.81,靜態(tài)指示符號的美感低于動態(tài)指示符號;2D 指示符號評分為3.76 分,3D 指示符號評分為3.81,2D 指示符號的美感度低于3D 指示符號。上述結(jié)果表明,動態(tài)效果可以提高人們的視覺注意力,增加愉悅的心理體驗,并在顯示界面的層次關(guān)系中增強界面的交互活力,這些特點都滿足了當代社會對信息傳播的需求,這使動態(tài)和3D 兩大要素將在未來的設計中被人們更廣泛和頻繁地使用,同時關(guān)于動態(tài)和3D 的設計將會有更佳的用戶體驗。
通過眼動實驗研究系統(tǒng)評估了2D、3D 和靜態(tài)、動態(tài)四種條件下,在AR 機械裝配場景中完成典型機械裝配任務,獲得有關(guān)不同條件下交互體驗的反饋。研究表明,指示符號的維度和狀態(tài)對指示符號的認知負荷有顯著影響,在任務認知負荷較高的條件下,應該優(yōu)先采用靜態(tài)和2D 指示符號,其效果優(yōu)于動態(tài)和3D 指示符號。指示符號的狀態(tài)對指示符號的視覺凸顯性、裝配效率、裝配質(zhì)量和主觀評價都有顯著影響。當任務需要增強視覺凸顯性和裝配效率時,應該優(yōu)先使用動態(tài)指示符號,其效果優(yōu)于靜態(tài)指示符號;當任務需要提高裝配質(zhì)量和主觀評價分數(shù)時,應該優(yōu)先使用靜態(tài)指示符號,其效果優(yōu)于動態(tài)指示符號。對于特定的交互任務或具體的設計目標,不同需求的設計策略優(yōu)先級推薦見圖8。
圖8 不同需求的設計策略優(yōu)先級推薦Fig.8 Priority recommendation of design strategies for different needs
根據(jù)眼動實驗結(jié)果和上述分析,總結(jié)提出AR 輔助裝配指示符號設計策略和指導原則。設計的本質(zhì)是幫助用戶解決工作和生活中的問題,當設計師考慮選擇在特定應用場景中運用何種表現(xiàn)方式時,應該充分考慮設計需求。例如需在用戶無壓力下高質(zhì)量完成任務或者需用戶緊張高效地完成操作等,不同場景的設計需求是不同的。例如,用動態(tài)符號來表達目標主體變化的過程是一種直接的信息可視化手段,3D 符號則具有更高的具體性,能使用戶快速建立符號與真實場景之間的映射。當符號設計中涉及動態(tài)、3D 等表達方式時,需要考慮信息表達的準確性,以動態(tài)符號的形式來表達力的強度、操作的方向、時間的長短等信息時,要參照語境使得符號的動態(tài)參量與真實場景之間建立正確的映射關(guān)系,避免引起歧義,誤導用戶行為。在動態(tài)的符號設計過程中,符號的顏色、透明度、尺寸、旋轉(zhuǎn)角度和幾何形態(tài),動效的變化速率、頻率、變化次序、發(fā)生時長都影響著動態(tài)符號語義的表達。適當?shù)淖兓俾誓芗訌娨曈X凸顯性,但容易丟失符號的細節(jié)。這些變量在一定程度上影響了表達信息的準確性,會對符號的認知產(chǎn)生影響。因此,在指示符號的兩種狀態(tài)和維度中,并無絕對的優(yōu)勢或者劣勢,應該在具體的使用場景下靈活進行切換和選擇,以便盡量發(fā)揮其優(yōu)勢特征。
基于上述研究,對AR 輔助裝配指示符號的設計規(guī)律進行總結(jié),提出AR 輔助裝配指示符號設計的策略,使得AR 裝配指示符號設計能更加契合用戶的認知習慣,降低用戶認知負荷,提升機械裝配效率,為AR 輔助裝配指示符號設計提供相應的指導。本研究對AR 輔助裝配的指示符號設計提供了一定的設計參考,受實驗環(huán)境、研究范圍和技術(shù)條件等因素的影響,仍存在一些局限性。在實驗設計上,實驗中研究了AR 輔助機械裝配中的指示符號,未來的研究可能會研究更多的AR 特征變量,例如背景復雜度等;任務設計中,后續(xù)可根據(jù)真實工作場景加入時間壓力作為變量,研究不同時間壓力需求下的AR 指示符號設計策略。在研究方式上,可以增加腦電等生理測試指標分析增加結(jié)果的豐富性。