張旭輝，王妙云，張雨萌，杜昱陽，馬宏偉，毛清華，車 承 ，田鳳陽，王 鳳

(1.西安科技大學(xué)機械工程學(xué)院，陜西 西安 710054；2.陜西省煤礦機電設(shè)備智能監(jiān)測與控制創(chuàng)新團(tuán)隊，陜西 西安 710054；3.河北省帶式輸送機工程技術(shù)研究中心，河北 衡水 053020)

0 前言

虛擬現(xiàn)實技術(shù)(Virtual Reality，VR)被譽為21世紀(jì)人類在人機交互上需攻克的最后堡壘。從美國人Morton發(fā)明了第一臺VR設(shè)備至今，VR技術(shù)應(yīng)用經(jīng)歷三次浪潮。人類對以沉浸-交互-構(gòu)想為基本特性的VR技術(shù)始終衷情不舍。早期的VR技術(shù)平臺基于圖形工作站構(gòu)建，價格昂貴且技術(shù)復(fù)雜，只應(yīng)用在軍事方面和一些特殊領(lǐng)域。計算機技術(shù)發(fā)展為VR推廣創(chuàng)造了有利條件，目前VR技術(shù)已廣泛應(yīng)用于軍事、航空、教育、醫(yī)學(xué)、工業(yè)和娛樂等眾多領(lǐng)域。但是VR應(yīng)用領(lǐng)域主要還集中在游戲、娛樂、交互式媒體、旅游等方面，占到了80%左右，工程技術(shù)方面的應(yīng)用研究不足2%[1]。

1 虛擬現(xiàn)實技術(shù)在工程方面的應(yīng)用分析

近幾年國內(nèi)外學(xué)者將虛擬現(xiàn)實技術(shù)應(yīng)用于工程實踐作為研究的熱點。在醫(yī)療康復(fù)、腦機控制等具有多維信息融合和表達(dá)需求的研發(fā)方面進(jìn)展迅速。燕山大學(xué)謝平等人采集執(zhí)行不同手勢動作對應(yīng)的腦電信號及表面肌電信號，基于肌電特征模式識別結(jié)果實現(xiàn)對虛擬場景及目標(biāo)的控制[2]。華東理工大學(xué)蔣婷婷基于觸覺設(shè)備Phantom Omni搭建觸覺交互系統(tǒng)，用H3D交互軟件創(chuàng)建虛擬環(huán)境應(yīng)用于中風(fēng)病人肢體功能康復(fù)，極大地調(diào)動了患者的訓(xùn)練積極性[3]。北京服裝學(xué)院劉昊等利用Unreal Engine 4引擎設(shè)計了基于HTC VIVE的上肢康復(fù)訓(xùn)練方案，通過HTC VIVE的手持控制器與虛擬場景進(jìn)行人機交互，實現(xiàn)了上肢對虛擬現(xiàn)實場景中對象的控制，患者在無外力支持或在外骨骼康復(fù)機器人協(xié)助下進(jìn)行主動康復(fù)訓(xùn)練，把康復(fù)訓(xùn)練、心理治療、信息反饋有機結(jié)合[4]。東南大學(xué)秦超龍設(shè)計了一種下肢康復(fù)訓(xùn)練機器人，機器人具有力反饋輸出，利用Kinect攝像頭捕獲人體運動信息，將患者的體感信息作為系統(tǒng)輸入控制虛擬人物的同步運動與場景交互，采用基于OpenGL函數(shù)庫和基于Unity3D游戲引擎的方法開發(fā)了用于情景交互的虛擬場景，實現(xiàn)了康復(fù)訓(xùn)練過程中的同步交互[5]。天津大學(xué)孔麗文等人將腦-機接口技術(shù)與VR相結(jié)合，提出基于虛擬現(xiàn)實的腦-機接口，兼取兩者優(yōu)勢[6]。

危險復(fù)雜環(huán)境下設(shè)備遠(yuǎn)程操控應(yīng)用方面也是虛擬現(xiàn)實技術(shù)研究的熱點。北京工業(yè)大學(xué)章朋田等人通過學(xué)習(xí)熟練焊工得到焊接電流和焊接速度的關(guān)系模型，應(yīng)用于構(gòu)建的人機協(xié)作焊接系統(tǒng)，彌補了初級焊工的技能[7]；魯麗彬采用Vega Prime開發(fā)船舶操縱控制的視景仿真平臺,通過船舶操縱控制的三維姿態(tài)數(shù)據(jù)加載和程序控制,在視景仿真平臺上對船舶操縱控制進(jìn)行位置調(diào)整和參量優(yōu)化配置[8]。林康等人基于3DVIA Virtools開發(fā)了深水鉆機虛擬操作系統(tǒng)，實現(xiàn)了石油鉆井裝備的聯(lián)合作業(yè)流程仿真，用于控制程序的輔助測試,降低機電液聯(lián)調(diào)試驗風(fēng)險[9]；中國農(nóng)業(yè)大學(xué)翟志強研究基于虛擬現(xiàn)實技術(shù)的拖拉機雙目視覺導(dǎo)航試驗方法[10]；劉忠凱構(gòu)建了基于Unity3D的裝甲車輛虛擬運動系統(tǒng)，通過C#編寫腳本,實現(xiàn)了裝甲車輛在場景中的運動與碰撞檢測算法[11]。

目前虛擬現(xiàn)實技術(shù)已成功應(yīng)用于設(shè)備操控方面，但是對基于虛擬環(huán)境的控制思路未形成統(tǒng)一認(rèn)識。西安科技大學(xué)張旭輝等人從煤礦井下自動化工作面設(shè)備遠(yuǎn)程控制需求出發(fā)，提出一種“虛實同步、數(shù)據(jù)驅(qū)動、遠(yuǎn)程干預(yù)、人機協(xié)作”的設(shè)備遠(yuǎn)程操控策略[12][13]，實現(xiàn)了監(jiān)測數(shù)據(jù)驅(qū)動下的虛擬交互式設(shè)備遠(yuǎn)程操控，并在工業(yè)設(shè)備虛擬仿真與遠(yuǎn)程操控方面作了大量研究，涉及煤礦智能鉆機、智能懸臂式掘進(jìn)機、煤礦救援探測機器人和綜采工作面設(shè)備等方面的遠(yuǎn)程操控技術(shù)。

2 數(shù)據(jù)驅(qū)動的工業(yè)設(shè)備遠(yuǎn)程操控系統(tǒng)

自動化裝備本質(zhì)上是“數(shù)據(jù)驅(qū)動”和軟件控制的工業(yè)裝備。數(shù)據(jù)驅(qū)動的工業(yè)設(shè)備虛擬遠(yuǎn)程操控，關(guān)鍵在于將表征工業(yè)現(xiàn)場設(shè)備狀態(tài)、相互關(guān)系、環(huán)境變化等復(fù)雜多維信息數(shù)字化，借助VR/AR技術(shù)呈現(xiàn)多維空間，作為遠(yuǎn)程控制決策的依據(jù)，克服傳統(tǒng)遠(yuǎn)程控制依據(jù)數(shù)字、簡單圖形和監(jiān)控視頻表達(dá)的現(xiàn)場設(shè)備信息不完整、不直觀、決策難的問題。

數(shù)據(jù)驅(qū)動的工業(yè)設(shè)備遠(yuǎn)程操控包括場景及設(shè)備虛擬模型構(gòu)建、工作面控制模型、顯示及控制模型的動態(tài)修正、設(shè)備間防碰撞預(yù)警和遠(yuǎn)程操控等關(guān)鍵技術(shù)。本文以綜采工作面設(shè)備遠(yuǎn)程操控系統(tǒng)為研究對象，分析數(shù)據(jù)驅(qū)動的工業(yè)設(shè)備遠(yuǎn)程操控的使能技術(shù)。

2.1 綜采工作面設(shè)備遠(yuǎn)程操控系統(tǒng)總體方案

煤礦井下開采環(huán)境惡劣、工況復(fù)雜，涉及多種設(shè)備耦合或干涉(支架、刮板機)，依靠數(shù)字化、自動化、智能化技術(shù)保障采煤機安全運行，是目前綜采工作面自動化開采面臨的首要問題。通過虛擬現(xiàn)實技術(shù)，使煤礦井下設(shè)備部分具備人的視覺、觸覺等功能，才有可能真正替代人實現(xiàn)少人甚至無人開采。

利用VR/AR技術(shù)在煤礦精準(zhǔn)開采及井下設(shè)備群多維信息整合方面的優(yōu)勢，張旭輝等人構(gòu)建了“人、機、環(huán)”有機交互的綜采工作面多維空間模型，實現(xiàn)了基于虛擬工作面的截割軌跡預(yù)測和三機“虛實同步、數(shù)據(jù)驅(qū)動、遠(yuǎn)程干預(yù)、人機協(xié)作”的自動控制策略，工作在順槽或地面的操作者通過觀測虛擬工作面中的設(shè)備群異常狀態(tài)，人工干預(yù)自動截割作業(yè)過程，工作面變化及設(shè)備位姿等數(shù)據(jù)反饋到虛擬平臺，實時修正工作面和設(shè)備群位姿模型，保證人為干預(yù)決策的可靠性?？傮w思路如圖1所示。

圖1 煤礦虛擬工作面設(shè)備操控系統(tǒng)總體方案

2.2 場景及設(shè)備虛擬模型構(gòu)建方法

工作面煤層建模主要利用煤礦鉆孔數(shù)據(jù)、工作面煤巖界面開切眼數(shù)據(jù)和工作面運輸巷與回風(fēng)巷順槽地質(zhì)數(shù)據(jù)，其中順槽地質(zhì)數(shù)據(jù)需要現(xiàn)場測量。鉆孔信息可清晰顯示所處煤層工作面測點的頂?shù)装逦恢靡约懊簩雍穸鹊?；利用采煤機位置和姿態(tài)傳感器獲取工作面煤巖界面開切眼數(shù)據(jù)；通過運輸巷和回風(fēng)巷順槽工作面地質(zhì)圖紙獲取兩側(cè)煤巖數(shù)據(jù)信息。煤層工作面與巷道關(guān)系圖如圖2。

虛擬工作面設(shè)備及場景的構(gòu)建包括構(gòu)建三維模型、將模型倒入虛擬現(xiàn)實軟件中、設(shè)置交互邏輯三個主要環(huán)節(jié)。在建模軟件中根據(jù)綜采工作面設(shè)備的結(jié)構(gòu)及尺寸完成3D建模，在確保模型必要精確度和逼真度的同時，減少紋理精細(xì)度、降低細(xì)節(jié)等級并減少圖形復(fù)雜度以提高系統(tǒng)運行效率。

2.3 虛擬工作面模型動態(tài)修正方法

綜采設(shè)備在工作面運行時，由于工作面底板起伏變化，綜采設(shè)備會有多種不同的工作位姿。因此，需根據(jù)綜采設(shè)備機身傳感器數(shù)據(jù)傳輸?shù)教摂M操控系統(tǒng)上位軟件，對虛擬模型的位姿進(jìn)行實時修正，從而實現(xiàn)綜采設(shè)備虛實同步控制。

2.4 工作面設(shè)備群間防碰撞檢測

為了實現(xiàn)工作面設(shè)備之間快速防碰撞預(yù)警，采用基于包圍盒技術(shù)的防碰撞檢測方法，建立采煤機滾筒與液壓支架防碰撞數(shù)學(xué)模型。由采煤機滾筒尺寸和液壓支架頂梁尺寸分別建立滾筒包圍盒和液壓支架包圍盒。根據(jù)建立的包圍盒防碰撞模型約束條件對采煤機與液壓支架進(jìn)行防碰撞檢測。通過對綜采設(shè)備模型的基本自由度的分析，運用虛擬現(xiàn)實軟件的ODE 技術(shù)建立綜采設(shè)備物理防碰撞模型，如圖3 所示。

圖3 基于包裝盒的綜采設(shè)備物理防碰撞示意圖

2.5 遠(yuǎn)程操控平臺(人機交互)

人機交互實現(xiàn)綜采工作面設(shè)備遠(yuǎn)程操控原理如圖4所示，安放在順槽操控室或者地面遠(yuǎn)程監(jiān)控中心的控制臺發(fā)出控制指令，通過多通道數(shù)據(jù)采集卡采集遠(yuǎn)程操控臺上安裝的開關(guān)、手柄等指令。一路控制指令通過操控系統(tǒng)上位軟件發(fā)給下位機，下位機接收并控制工作面三機運動；另一路控制指令通過虛擬現(xiàn)實數(shù)據(jù)接口傳送到操控系統(tǒng)上位軟件，實現(xiàn)虛擬樣機與綜采設(shè)備“虛實同步”運動；采煤過程中工作面設(shè)備工況、位姿傳感器數(shù)據(jù)經(jīng)通訊接口傳輸?shù)竭h(yuǎn)程控制端，處理后存儲到數(shù)據(jù)庫，以此修正虛擬模型實現(xiàn)“數(shù)據(jù)驅(qū)動”，遠(yuǎn)程操作人員根據(jù)實時修正的虛擬場景和設(shè)備群關(guān)系，“遠(yuǎn)程干預(yù)”自動開采流程，結(jié)合碰撞檢測等功能，完成“人機協(xié)同”的綜采工作面設(shè)備群遠(yuǎn)程控制。

圖4 人機交互實現(xiàn)遠(yuǎn)程操控原理示意圖

3 數(shù)據(jù)驅(qū)動的設(shè)備遠(yuǎn)程虛擬操控技術(shù)應(yīng)用

數(shù)據(jù)驅(qū)動的設(shè)備遠(yuǎn)程虛擬操控技術(shù)在定向鉆機、智能掘進(jìn)、煤礦救援機器人和綜采工作面設(shè)備方面取得了一定進(jìn)展。不同設(shè)備由于功能和使用場合等因素，開發(fā)時對關(guān)鍵技術(shù)的關(guān)注度也是不一樣的。從模型復(fù)雜度(場景實時動態(tài)或靜態(tài))、驅(qū)動數(shù)據(jù)的類型(工況、位姿或性能參數(shù))、遠(yuǎn)程決策依據(jù)類型、遠(yuǎn)程控制數(shù)量等等方面進(jìn)行分析，可知定向鉆機在鉆進(jìn)施工時主要是觀測虛擬的管理壓力表和返液情況，周圍環(huán)境基本不變化；而智能掘進(jìn)、煤礦救援機器人和綜采工作面設(shè)備遠(yuǎn)程控制的首要條件是設(shè)備精確定位，否則構(gòu)建的虛擬場景及設(shè)備難以作為遠(yuǎn)程控制依據(jù)使用；同時按照施工過程變化，接收精確定位數(shù)據(jù)，完成控制模型和顯示模型的實時修正。

4 結(jié)束語

飛速發(fā)展的虛擬現(xiàn)實技術(shù)為其在工業(yè)領(lǐng)域的應(yīng)用提供了軟硬件方面的技術(shù)儲備。利用VR/AR在解決多維信息空間數(shù)據(jù)呈現(xiàn)方面的優(yōu)勢，建立融合人、設(shè)備、環(huán)境有機融合的多維空間，為實現(xiàn)復(fù)雜或危險作業(yè)環(huán)境下的工業(yè)設(shè)備順利作業(yè)提供了可能。“虛實同步、數(shù)據(jù)驅(qū)動、遠(yuǎn)程干預(yù)、人機協(xié)作”的設(shè)備遠(yuǎn)程操控策略，可以實現(xiàn)監(jiān)測數(shù)據(jù)驅(qū)動下的虛擬交互式設(shè)備遠(yuǎn)程操控，在煤礦定向鉆機、智能掘進(jìn)機、煤礦救援機器人和綜采工作面等設(shè)備虛擬操控的初步研究表明，該技術(shù)可以有效提高遠(yuǎn)程控制決策的可靠性和安全性，是實現(xiàn)少人或無人工作面截割控制的關(guān)鍵，在煤礦井下開采方面具有廣闊的應(yīng)用前景。