□ 畢 航

上海電氣集團(tuán)股份有限公司 中央研究院 上海 200070

1 研究背景

虛擬現(xiàn)實(shí)是一種以計(jì)算機(jī)技術(shù)為核心,綜合模擬出一個(gè)與真實(shí)環(huán)境高度相似的虛擬環(huán)境,并能夠與虛擬環(huán)境進(jìn)行交互的新興技術(shù),特點(diǎn)可以概括為沉浸感、交互性、構(gòu)想性[1-2]。隨著計(jì)算機(jī)圖形學(xué)、感知技術(shù)、人機(jī)交互技術(shù)等的迅速發(fā)展,虛擬現(xiàn)實(shí)技術(shù)已經(jīng)被廣泛應(yīng)用于教育培訓(xùn)、商業(yè)、游戲娛樂、軍事、醫(yī)療等行業(yè)中,應(yīng)用范圍不斷擴(kuò)大,深度也不斷提高[3]。

在工業(yè)裝備領(lǐng)域中應(yīng)用虛擬現(xiàn)實(shí)技術(shù),能夠在產(chǎn)品物理樣機(jī)實(shí)際投入生產(chǎn)之前,有效地解決產(chǎn)品研發(fā)中遇到的問題,便于企業(yè)縮短研發(fā)周期,提高研發(fā)效率,規(guī)避錯(cuò)誤,節(jié)約研發(fā)成本[4-5]。因此,虛擬現(xiàn)實(shí)技術(shù)已經(jīng)被廣泛應(yīng)用在工業(yè)裝備領(lǐng)域的產(chǎn)品設(shè)計(jì)、制造、裝配、車間管理、過程模擬、培訓(xùn)、測(cè)試、營(yíng)銷等各個(gè)環(huán)節(jié)中[6]。

2 虛擬現(xiàn)實(shí)裝配訓(xùn)練

裝配是工業(yè)裝備制造中的重要環(huán)節(jié)。根據(jù)相關(guān)資料,直接或間接參與到裝配工作的人數(shù)占總生產(chǎn)人數(shù)的30%以上,裝配時(shí)間一般占生產(chǎn)總時(shí)間的20%～50%,裝配費(fèi)用占整個(gè)生產(chǎn)成本的30%～50%[7]。先進(jìn)的裝配工藝可以降低人員的參與度,提高生產(chǎn)效率。裝配技術(shù)能夠?qū)I(yè)裝備的性能和質(zhì)量產(chǎn)生直接影響?，F(xiàn)有的工業(yè)裝配培訓(xùn)方式仍以工廠實(shí)地培訓(xùn)為主,培訓(xùn)效果較差,而且效率偏低,成本較高[8]。

將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于工業(yè)裝備的裝配中,產(chǎn)生了虛擬裝配技術(shù)[9]。虛擬裝配允許設(shè)計(jì)和可裝配性調(diào)試在同一階段進(jìn)行,以便根據(jù)虛擬裝配的反饋來及時(shí)修改產(chǎn)品的模型信息,能夠避免在制作物理模型時(shí)產(chǎn)生的浪費(fèi),節(jié)約物理模型的生產(chǎn)成本,還能夠提高產(chǎn)品的質(zhì)量,縮短產(chǎn)品的研發(fā)周期,提高產(chǎn)品的研發(fā)效率[10]。在虛擬現(xiàn)實(shí)裝配訓(xùn)練中,通過在虛擬場(chǎng)景中產(chǎn)生三維沉浸感,按照各種裝配約束關(guān)系對(duì)模型零件進(jìn)行三維裝配模擬,實(shí)時(shí)檢查裝配的可行性和合理性,并保證裝配訓(xùn)練的真實(shí)性[11]。受訓(xùn)人員可以根據(jù)對(duì)工業(yè)裝備結(jié)構(gòu)和裝配工藝的學(xué)習(xí),按照零件約束關(guān)系和裝配工藝,對(duì)各種零件模型進(jìn)行虛擬現(xiàn)實(shí)裝配操作訓(xùn)練。

通過虛擬現(xiàn)實(shí)裝配訓(xùn)練,可以在虛擬現(xiàn)實(shí)環(huán)境中反復(fù)進(jìn)行學(xué)習(xí)和操作,最終通過測(cè)驗(yàn)對(duì)學(xué)習(xí)效果進(jìn)行評(píng)估。學(xué)員能夠及時(shí)發(fā)現(xiàn)裝配訓(xùn)練過程中的錯(cuò)誤并及時(shí)糾正,大幅提高了培訓(xùn)的有效性和效率,降低了培訓(xùn)成本。

3 虛擬現(xiàn)實(shí)裝配訓(xùn)練系統(tǒng)總體設(shè)計(jì)

筆者以某型碗式中速磨煤機(jī)為對(duì)象,基于Unreal Engine、3DS MAX等軟件和HTC VIVE頭盔顯示器等硬件,開發(fā)磨煤機(jī)虛擬現(xiàn)實(shí)裝配訓(xùn)練系統(tǒng)。

對(duì)于磨煤機(jī)虛擬現(xiàn)實(shí)裝配訓(xùn)練系統(tǒng)的設(shè)計(jì)和開發(fā),按照簡(jiǎn)單易用、交互性強(qiáng)、沉浸感體驗(yàn)好的要求進(jìn)行。系統(tǒng)主要采用Unreal Engine軟件進(jìn)行開發(fā),并且使用HTC VIVE頭盔顯示器達(dá)到虛擬現(xiàn)實(shí)體驗(yàn)的效果。

為滿足受訓(xùn)人員有更好的沉浸式體驗(yàn)效果,系統(tǒng)需要具有一個(gè)較逼真的虛擬工廠環(huán)境。受訓(xùn)者可以在虛擬工廠環(huán)境中進(jìn)行任意虛擬漫游,并在虛擬工廠環(huán)境中自由快速移動(dòng)。設(shè)置跳躍和平移兩種運(yùn)動(dòng)方式,并通過設(shè)置語音和輔助畫面提示,幫助初次參加培訓(xùn)的人員迅速掌握在虛擬環(huán)境中自由移動(dòng)的方法。

為了提升虛擬現(xiàn)實(shí)裝配訓(xùn)練效果,使受訓(xùn)人員能夠全方位地對(duì)磨煤機(jī)的基本結(jié)構(gòu)和裝配過程進(jìn)行有效掌握,需要設(shè)置結(jié)構(gòu)展示模塊、裝配過程學(xué)習(xí)模塊和手動(dòng)操作訓(xùn)練模塊,受訓(xùn)人員可以在不同模塊之間進(jìn)行自由切換。結(jié)構(gòu)展示模塊通過語音介紹和爆炸圖展示,對(duì)磨煤機(jī)的主要結(jié)構(gòu)進(jìn)行詳細(xì)介紹。裝配過程學(xué)習(xí)模塊通過語音介紹和裝配過程自動(dòng)展示,對(duì)磨煤機(jī)的裝配過程進(jìn)行詳細(xì)介紹。手動(dòng)操作訓(xùn)練模塊是系統(tǒng)的核心模塊,允許受訓(xùn)人員對(duì)磨煤機(jī)進(jìn)行手動(dòng)裝配訓(xùn)練。

4 虛擬現(xiàn)實(shí)裝配訓(xùn)練系統(tǒng)開發(fā)流程

虛擬現(xiàn)實(shí)裝配訓(xùn)練系統(tǒng)開發(fā)流程如圖1所示。

圖1 虛擬現(xiàn)實(shí)裝配訓(xùn)練系統(tǒng)開發(fā)流程

系統(tǒng)開發(fā)流程可以分為四個(gè)階段:準(zhǔn)備階段、場(chǎng)景搭建和模型渲染階段、裝配訓(xùn)練功能開發(fā)階段、軟硬件結(jié)合階段。

4.1 準(zhǔn)備階段

在準(zhǔn)備階段,核心工作是對(duì)磨煤機(jī)三維模型的處理。三維模型的質(zhì)量會(huì)對(duì)虛擬現(xiàn)實(shí)系統(tǒng)運(yùn)行的沉浸感和流暢程度產(chǎn)生至關(guān)重要的影響。SolidWorks等計(jì)算機(jī)輔助設(shè)計(jì)軟件建模獲得的工業(yè)計(jì)算機(jī)輔助設(shè)計(jì)模型,數(shù)據(jù)量龐大,并且包含所有的模型間配合信息。模型的零件數(shù)量多,導(dǎo)致面數(shù)總量非常驚人。如此多的面數(shù)如果直接在虛擬現(xiàn)實(shí)系統(tǒng)中運(yùn)行,會(huì)對(duì)圖形處理系統(tǒng)造成巨大負(fù)擔(dān),導(dǎo)致嚴(yán)重的卡頓、丟幀等現(xiàn)象,影響用戶在虛擬現(xiàn)實(shí)系統(tǒng)中的沉浸感和體驗(yàn)感。

在虛擬現(xiàn)實(shí)場(chǎng)景中的模型不需要任何模型間信息,并且要求模型數(shù)據(jù)盡量少,面數(shù)也盡量少。因此,工業(yè)計(jì)算機(jī)輔助設(shè)計(jì)模型不能直接導(dǎo)入U(xiǎn)nreal Engine軟件使用,需要使用3DS MAX軟件對(duì)模型進(jìn)行處理。模型處理包括三個(gè)步驟。

(1) 模型合并。工業(yè)計(jì)算機(jī)輔助設(shè)計(jì)模型往往包含大量零配件,如螺栓、螺母、螺桿等,一個(gè)完整部件可能包含成百上千個(gè)各式零件。在虛擬現(xiàn)實(shí)展示中,需要將工業(yè)計(jì)算機(jī)輔助設(shè)計(jì)模型的許多部件合并為一個(gè)完整的整體,方便程序控制和調(diào)用。

完成這一步驟,需要對(duì)需求進(jìn)行有效整理,得出完整的程序腳本。根據(jù)程序腳本對(duì)模型進(jìn)行分類,確定零件的合并計(jì)劃。在3DS MAX軟件中,按照確定的合并計(jì)劃合并零件,最終將磨煤機(jī)模型整合為裝配訓(xùn)練所需的多個(gè)大型部件。

(2) 模型減面。工業(yè)計(jì)算機(jī)輔助設(shè)計(jì)模型的一個(gè)重大缺陷是模型復(fù)雜、面數(shù)多。在虛擬現(xiàn)實(shí)程序中,面數(shù)的增多會(huì)對(duì)圖形處理系統(tǒng)造成巨大負(fù)擔(dān),最終導(dǎo)致虛擬現(xiàn)實(shí)程序卡頓、掉幀等問題,嚴(yán)重影響虛擬現(xiàn)實(shí)體驗(yàn)。因此,需要在3DS MAX軟件中對(duì)工業(yè)計(jì)算機(jī)輔助設(shè)計(jì)模型進(jìn)行減面,最終將面數(shù)總量減少到原模型的15%。

(3) 模型UV拆分。對(duì)于一些需要進(jìn)行重點(diǎn)展示的部件,使用復(fù)雜的材質(zhì)或貼圖,由此需要對(duì)模型進(jìn)行UV拆分。UV拆分又稱UV展開,指將一個(gè)三維模型展開為一張二維UV平面的過程。UV拆分后,將貼圖貼在UV平面對(duì)應(yīng)的位置上,就可以實(shí)現(xiàn)在三維模型上貼圖。通過UV拆分,可以有效提升場(chǎng)景和模型渲染的逼真度,進(jìn)而有效提升用戶的沉浸感和體驗(yàn)感。

最終將處理好的模型以.FBX三維格式文件導(dǎo)入U(xiǎn)nreal Engine軟件。

4.2 場(chǎng)景搭建和模型渲染階段

(1) 虛擬場(chǎng)景搭建。虛擬現(xiàn)實(shí)系統(tǒng)需要模擬出一個(gè)工廠的虛擬場(chǎng)景,與真實(shí)的磨煤機(jī)裝配工廠場(chǎng)景比較接近,使受訓(xùn)人員在進(jìn)行虛擬現(xiàn)實(shí)裝配培訓(xùn)時(shí)有更好的體驗(yàn)。虛擬工廠場(chǎng)景如圖2所示。進(jìn)入虛擬工廠場(chǎng)景后,可以看到一臺(tái)完整的磨煤機(jī),位于虛擬場(chǎng)景的中央。

圖2 虛擬工廠場(chǎng)景

(2) 光照設(shè)置。Unreal Engine軟件的光照設(shè)置會(huì)極大影響虛擬現(xiàn)實(shí)場(chǎng)景的虛擬體驗(yàn)效果。對(duì)于磨煤機(jī)虛擬場(chǎng)景,使用一個(gè)直射光束作為光源,在磨煤機(jī)主廠房范圍內(nèi)設(shè)置聚光場(chǎng),使廠房采光效果優(yōu)于其它位置,創(chuàng)造出更好的光影效果。光照設(shè)置界面如圖3所示。

圖3 光照設(shè)置界面

(3) 材質(zhì)包制作。模型材質(zhì)的細(xì)膩程度直接影響虛擬現(xiàn)實(shí)程序內(nèi)各部件的真實(shí)感,從而影響最終虛擬現(xiàn)實(shí)體驗(yàn)效果。為了提升體驗(yàn)效果,制作了專用材質(zhì)包,如圖4所示。

圖4 專用材質(zhì)包

4.3 裝配訓(xùn)練功能開發(fā)階段

(1) 虛擬現(xiàn)實(shí)人機(jī)交互框架。需要制作一個(gè)虛擬現(xiàn)實(shí)人機(jī)交互框架,虛擬現(xiàn)實(shí)體驗(yàn)者的所有動(dòng)作,包括虛擬漫游和虛擬交互,均需要通過這一框架完成。定義一個(gè)虛擬現(xiàn)實(shí)體驗(yàn)者的虛擬化身,將虛擬現(xiàn)實(shí)頭盔與虛擬現(xiàn)實(shí)手柄綁定。這樣,虛擬化身能夠繼承虛擬現(xiàn)實(shí)體驗(yàn)者所使用的虛擬現(xiàn)實(shí)頭盔、虛擬現(xiàn)實(shí)手柄所有六個(gè)自由度的移動(dòng)和轉(zhuǎn)動(dòng),并且能夠使體驗(yàn)者通過虛擬現(xiàn)實(shí)手柄實(shí)施交互指令,與虛擬現(xiàn)實(shí)環(huán)境進(jìn)行交互。由此,可以將虛擬化身視為體驗(yàn)者在虛擬現(xiàn)實(shí)環(huán)境中的化身,實(shí)時(shí)向體驗(yàn)者傳輸虛擬現(xiàn)實(shí)環(huán)境中的場(chǎng)景,并完成與虛擬現(xiàn)實(shí)環(huán)境的交互。

為了使虛擬現(xiàn)實(shí)體驗(yàn)者能夠在結(jié)構(gòu)展示模塊、裝配過程學(xué)習(xí)模塊和手動(dòng)操作訓(xùn)練模塊之間進(jìn)行自由切換,需要開發(fā)一個(gè)三維交互界面模板,接收來自虛擬化身的交互指令。在虛擬化身中添加三維交互界面的觸發(fā)事件,使虛擬現(xiàn)實(shí)體驗(yàn)者能夠通過點(diǎn)擊手柄觸發(fā)三維交互界面事件。

(2) 虛擬漫游功能開發(fā)。虛擬現(xiàn)實(shí)體驗(yàn)者處于虛擬環(huán)境中,自然需要有在虛擬環(huán)境中移動(dòng)的能力,這種能力就是虛擬漫游。虛擬漫游也是所有虛擬現(xiàn)實(shí)程序都需具備的基礎(chǔ)功能。在虛擬現(xiàn)實(shí)裝配訓(xùn)練系統(tǒng)中,虛擬漫游功能主要包括上下、左右、前后平動(dòng)和瞬間跳躍。

在虛擬現(xiàn)實(shí)程序中,瞬間跳躍是最常見的一種人物運(yùn)動(dòng)模式。這種模式的好處是跳躍前后,人物位置瞬間變化,沒有位置的緩慢移動(dòng),配合適當(dāng)?shù)溺R頭淡入淡出,能夠有效避免虛擬現(xiàn)實(shí)體驗(yàn)中常見的不適情況,如暈動(dòng)病等。因此,瞬間跳躍是虛擬現(xiàn)實(shí)程序中通用的人物移動(dòng)模式。平動(dòng)功能以視角正前方為標(biāo)準(zhǔn),沿前后左右上下六個(gè)方向進(jìn)行位置平移。這種漫游方式可以允許體驗(yàn)者移動(dòng)到虛擬現(xiàn)實(shí)場(chǎng)景中的任何位置,因此具有最好的自由漫游能力,但可能會(huì)引發(fā)體驗(yàn)者的不適,導(dǎo)致暈動(dòng)病。在虛擬現(xiàn)實(shí)裝配訓(xùn)練系統(tǒng)中,可以通過兩種漫游功能的配合使用,獲得最佳的虛擬漫游體驗(yàn)。

(3) 結(jié)構(gòu)展示模塊功能開發(fā)。結(jié)構(gòu)展示模塊通過語音介紹和爆炸圖展示,使受訓(xùn)人員在開始裝配訓(xùn)練之前,詳細(xì)了解磨煤機(jī)的主要結(jié)構(gòu)。

進(jìn)入虛擬現(xiàn)實(shí)場(chǎng)景后,可以看到一臺(tái)完整的磨煤機(jī)。受訓(xùn)人員可以通過虛擬漫游的方式,近距離查看磨煤機(jī)的基礎(chǔ)結(jié)構(gòu)。也可以直接進(jìn)入磨煤機(jī)內(nèi)部,從內(nèi)部更詳細(xì)地了解結(jié)構(gòu)。

點(diǎn)擊三維交互界面爆炸圖按鈕,可以使磨煤機(jī)各部件按照一定順序依次爆炸展開,同時(shí)配合語音講解,使受訓(xùn)人員對(duì)磨煤機(jī)各部件和主要結(jié)構(gòu)進(jìn)行詳細(xì)了解。

(4) 裝配過程學(xué)習(xí)模塊功能開發(fā)。點(diǎn)擊三維交互界面自動(dòng)裝配按鈕,磨煤機(jī)各部件將按照裝配順序,從散落狀態(tài)逐漸組裝為一臺(tái)完整的磨煤機(jī)。配合裝配工藝指導(dǎo)書語音講解,使受訓(xùn)人員對(duì)磨煤機(jī)的裝配過程進(jìn)行有效學(xué)習(xí)。

(5) 手動(dòng)操作訓(xùn)練模塊功能開發(fā)。受訓(xùn)人員完成結(jié)構(gòu)展示模塊和裝配過程學(xué)習(xí)模塊的學(xué)習(xí)后,可以開始進(jìn)行手動(dòng)操作,對(duì)磨煤機(jī)裝配進(jìn)行虛擬操作訓(xùn)練。

點(diǎn)擊三維交互界面自動(dòng)裝配按鈕,磨煤機(jī)零件散落布置在廠房?jī)?nèi)。使用手柄射線部件時(shí),部件會(huì)高亮顯示,顯示出部件名稱和部件在裝配中的順序。操作者需要按照裝配順序依次選擇部件,按住手柄扳機(jī)選中部件,并對(duì)部件進(jìn)行拖動(dòng)。根據(jù)實(shí)際裝配訓(xùn)練的需要,為各部件設(shè)置兩種不同的操作模式:自由拖動(dòng)、沿坐標(biāo)軸拖動(dòng)。

通過手柄射線指向部件,扣住手柄扳機(jī),能夠自由拖動(dòng)選中的部件。此時(shí)可以移動(dòng)手柄位置,部件會(huì)隨之移動(dòng)。通過虛擬漫游功能移動(dòng)操作者位置,部件也會(huì)隨之移動(dòng)。在右手手柄頂部的觸摸盤上,用拇指上下滑動(dòng),部件位置就會(huì)沿著手柄射線快速移動(dòng)。

沿坐標(biāo)軸拖動(dòng)時(shí),通過手柄射線指向部件,按下手柄特定按鍵后再按下手柄扳機(jī),會(huì)顯示出基于部件自身中心位置的直角坐標(biāo)軸。此時(shí),該部件無法再通過扣住手柄扳機(jī)拖動(dòng)來自由移動(dòng),需要將手柄射線指向某一坐標(biāo)軸,扣住手柄扳機(jī)后進(jìn)行拖拉,使部件沿坐標(biāo)軸移動(dòng)。這種操作用于模擬工業(yè)裝備實(shí)際裝配過程中,使用吊車、起重機(jī)等設(shè)備進(jìn)行裝配的操作。

手動(dòng)操作訓(xùn)練如圖5所示。

圖5 手動(dòng)操作訓(xùn)練

為模擬實(shí)際裝配廠景,各部件之間設(shè)定裝配順序和碰撞干涉模擬。受訓(xùn)人員必須按照裝配順序,依次選取各部件,拖動(dòng)到最終裝配位置。如果受訓(xùn)人員選擇錯(cuò)誤的部件,部件就無法被選中和移動(dòng)。

受訓(xùn)人員通過使用虛擬現(xiàn)實(shí)裝配訓(xùn)練系統(tǒng),可以在虛擬現(xiàn)實(shí)環(huán)境中對(duì)磨煤機(jī)的裝配過程進(jìn)行充分的操作訓(xùn)練,進(jìn)而極大提高了裝配訓(xùn)練的效率和有效性。

4.4 軟硬件結(jié)合階段

裝配訓(xùn)練功能開發(fā)結(jié)束后,將程序打包成可執(zhí)行文件,部署在圖形處理性能較好的圖形工作站上,使用HTC VIVE頭盔顯示器作為虛擬現(xiàn)實(shí)顯示設(shè)備。還可以將圖形工作站與大屏幕相連,將受訓(xùn)人員的第一視角投放在屏幕上,供其他受訓(xùn)人員實(shí)時(shí)觀看,進(jìn)一步提高培訓(xùn)效率和有效性。硬件系統(tǒng)構(gòu)成如圖6所示。

圖6 硬件系統(tǒng)構(gòu)成

5 結(jié)束語

筆者討論了虛擬現(xiàn)實(shí)技術(shù)在工業(yè)裝備裝配訓(xùn)練方面的應(yīng)用前景和價(jià)值,并以某型碗式中速磨煤機(jī)為對(duì)象,開發(fā)了一套磨煤機(jī)虛擬現(xiàn)實(shí)裝配訓(xùn)練系統(tǒng)。受訓(xùn)學(xué)員可以在虛擬現(xiàn)實(shí)環(huán)境中對(duì)磨煤機(jī)總體結(jié)構(gòu)進(jìn)行了解和學(xué)習(xí),并通過操作虛擬現(xiàn)實(shí)設(shè)備進(jìn)行虛擬裝配訓(xùn)練。

結(jié)果證明,將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于工業(yè)裝備裝配訓(xùn)練,可以減少實(shí)地進(jìn)行設(shè)備裝配培訓(xùn),有效節(jié)約培訓(xùn)成本,大幅提高培訓(xùn)的效率和有效性。