葉浩宇 陳藝芬

（1閩江學(xué)院新華都商學(xué)院 福建福州 350108 2廈門大學(xué)能源學(xué)院 福建廈門 361102）

0 引言

火電在我國能源結(jié)構(gòu)中仍占據(jù)著不可或缺的重要地位［1］，常規(guī)的設(shè)備檢修是保證火電廠安全運行的重要保證［2］。但是火電廠的檢修設(shè)備種類繁多，兩次檢修的間隔時間較長，且工作人員缺乏定期的檢修培訓(xùn)。檢修工作存在設(shè)備檢修周期長、檢修任務(wù)重的特點，也容易出現(xiàn)由于操作不熟練導(dǎo)致的人因失誤。

近年來，國內(nèi)外研究者將虛擬現(xiàn)實（Virtual Reality，簡稱VR）技術(shù)與火電技術(shù)相結(jié)合，生成了逼真的虛擬火電廠［3-4］。但是，VR技術(shù)存在模擬空間受限、人機交互體驗與現(xiàn)實環(huán)境匹配度不夠和無法為工作人員提供現(xiàn)場指導(dǎo)等方面的不足［5-6］。針對以上研究背景，本文基于混合現(xiàn)實（Mixed Reality，簡稱MR）技術(shù)［7-8］，設(shè)計并開發(fā)了具備現(xiàn)場指導(dǎo)與遠(yuǎn)端培訓(xùn)功能于一體的火電廠運維指導(dǎo)系統(tǒng)。

1 系統(tǒng)總體架構(gòu)概述

火電廠運維指導(dǎo)系統(tǒng)將MR技術(shù)與火電廠作業(yè)現(xiàn)場相結(jié)合，借助混合現(xiàn)實眼鏡HoloLens生成虛實結(jié)合的可視化操作環(huán)境。圖1為火電廠運維指導(dǎo)系統(tǒng)的總體構(gòu)架圖。整個系統(tǒng)由后端、中端和前端3個部分組成。

1.1 后端數(shù)據(jù)管理層

后端數(shù)據(jù)管理層分為基本數(shù)據(jù)庫和故障信息庫：基本數(shù)據(jù)庫可同步儲存設(shè)備信息、工作臺賬、操作手冊、物料清單和歷史操作等信息，并可供前端人機交互層調(diào)用和查看；數(shù)據(jù)管理層作為整個系統(tǒng)的管理平臺，充當(dāng)系統(tǒng)數(shù)據(jù)庫，同時還能接收來自前端人機交互層輸入的操作信號，在進(jìn)行相應(yīng)的數(shù)學(xué)運算、邏輯控制等操作后，將響應(yīng)結(jié)果反饋至前端。

1.2 中端系統(tǒng)開發(fā)層

中端管理層以微型計算機為硬件平臺，借助3D Max、Unity3D及Microsoft Visual Studio等軟件進(jìn)行開發(fā)。使用3D Max對系統(tǒng)設(shè)備進(jìn)行三維建模，然后依托Unity3D軟件，實現(xiàn)模型植入和人機交互界面的設(shè)計，建立設(shè)備維修的全息場景。Unity3D軟件還能實現(xiàn)前端模型層與中端管理層的連接。設(shè)備模型與管理層儲存的數(shù)據(jù)和指令存在一一對應(yīng)的關(guān)系，通過命令調(diào)用便可以實現(xiàn)前端物理模型、數(shù)學(xué)模型以及設(shè)備相關(guān)信息的動態(tài)和靜態(tài)顯示。結(jié)合前端交互工具，實現(xiàn)圖像信息識別、現(xiàn)場維修指導(dǎo)、多人協(xié)同操作和遠(yuǎn)程專家指導(dǎo)等關(guān)鍵技術(shù)和功能。

1.3 前端人機交互層

前端人機交互層基于MR技術(shù)，利用HoloLens眼鏡實現(xiàn)虛擬與現(xiàn)實場景的融合，完成人機交互功能。HoloLens眼鏡是微軟公司開發(fā)的一種MR頭戴式顯示設(shè)備，也是微軟首個不受線纜限制的全息計算機設(shè)備。將虛擬火電廠的3D模型封裝成程序包植入HoloLens眼鏡中，便可以實現(xiàn)運維人員與數(shù)字化火電廠的交互，和置于真實環(huán)境中的虛擬火電設(shè)備進(jìn)行互動。

2 系統(tǒng)實施方案

2.1 后端數(shù)據(jù)管理層的實現(xiàn)

通過整理火電廠設(shè)備相關(guān)資料和相關(guān)維修手冊，可以生成適配特定設(shè)備的維修指導(dǎo)方案。在進(jìn)行運維指導(dǎo)系統(tǒng)的開發(fā)時，需要將生成的維修指導(dǎo)方案存儲到信息數(shù)據(jù)庫中，并利用PHP腳本實現(xiàn)與Unity3D軟件的數(shù)據(jù)通信［9］。

（1）數(shù)據(jù)庫的建立。后端數(shù)據(jù)庫的建立主要借助數(shù)據(jù)庫管理軟件實現(xiàn)?；緮?shù)據(jù)庫中包含了設(shè)備維修過程的風(fēng)險分析和預(yù)防措施、所需工具儀表、材料、備件、維修工序和步驟等信息。在進(jìn)行數(shù)據(jù)管理時只需將分類整理好的各個基本信息分別儲存在數(shù)據(jù)庫的各個表之中，便可供中端系統(tǒng)開發(fā)層及前端人機交互層調(diào)用。

（2）數(shù)據(jù)的調(diào)用。中端可以向后端發(fā)出相應(yīng)的指令，并調(diào)用數(shù)據(jù)庫中的數(shù)據(jù)信息。數(shù)據(jù)的通訊過程如圖2所示，底層是由數(shù)據(jù)庫管理系統(tǒng)（Database Management System，簡稱DBMS）組成的數(shù)據(jù)庫層，數(shù)據(jù)庫層中包含用戶所有可能用到的運維相關(guān)數(shù)據(jù)。

數(shù)據(jù)庫層上面是復(fù)雜的中間層，中間層包含邏輯關(guān)系和相關(guān)應(yīng)用語句。該層用于數(shù)據(jù)通信，是數(shù)據(jù)庫層和客戶層之間的通訊樞紐，其組件包括Web服務(wù)器、Web腳本編程語言和腳本編程語言引擎。在系統(tǒng)開發(fā)過程中使用Apache HTTP Server處理HTTP的請求并做出響應(yīng)，使用PHP作為中間層的腳本編程語言。

頂層的客戶層為HoloLens眼鏡。通過預(yù)先植入眼鏡的C#腳本可以在線訪問中間層的PHP腳本，從而調(diào)用數(shù)據(jù)庫層的相關(guān)數(shù)據(jù)，該層也是系統(tǒng)從外界采集信息的端口。

2.2 中端系統(tǒng)開發(fā)層的實現(xiàn)

（1）三維模型的建立與植入。借助3D Max建立火電廠相關(guān)設(shè)備的三維模型，盡可能地構(gòu)建設(shè)備的外觀細(xì)節(jié)，使模型具有逼真的視覺效果，以滿足運維和培訓(xùn)等各方面的應(yīng)用需求。

使用Unity3D將搭建好的模型進(jìn)一步處理，構(gòu)建控制3D模型的相關(guān)C#指令，并將模型和指令進(jìn)行封裝，將封裝后的程序包植入HoloLens眼鏡中。此外，Unity3D軟件還可以實現(xiàn)與HoloLens眼鏡的在線連接，并進(jìn)行相應(yīng)的數(shù)據(jù)傳輸。

（2）維修規(guī)程動畫化。借助Unity3D軟件的Animation和Animator控制器，結(jié)合設(shè)備的維修規(guī)程、操作提醒、工具信息等虛擬文字及音視頻資源可以生成維修流程的指導(dǎo)動畫。Unity3D軟件中的Animation組件可以對需要的動畫進(jìn)行編輯與整合，并利用C#腳本對需要的動畫進(jìn)行控制。Animator組件則可用于控制動畫的播放、設(shè)置以及動畫中參數(shù)的抓取。Animator組件還具備一個動畫狀態(tài)機，該狀態(tài)機可以利用Float、Int、Bool、Trigger這4種參數(shù)完成多個動畫之間的相互切換。

（3）人機交互設(shè)計。火電廠運維指導(dǎo)系統(tǒng)最終將發(fā)布在HoloLens設(shè)備上運行，所以相關(guān)應(yīng)用的開發(fā)必須符合HoloLens設(shè)備的開發(fā)標(biāo)準(zhǔn)。使用HoloToolkit-Unity混合現(xiàn)實設(shè)備軟件開發(fā)工具包進(jìn)行MR應(yīng)用的開發(fā)。系統(tǒng)人機交互的設(shè)計還需要遵循人因工程設(shè)計原則，可以通過“凝視”、“手勢識別”和“語音控制”等方式輸入指令：

“凝視”功能是用戶通過佩戴HoloLens眼鏡，使用眼鏡發(fā)出和接收射線實現(xiàn)的。在Unity3D中，使用眼鏡的主攝像機替代佩戴者視線的方位及朝向。使用UnityEngine中的Camera.main.transform.forward和Camera.main.transform.position調(diào)用Physics.RayCast程序發(fā)出射線并接收射線投影信息得到RaycastHit結(jié)果，該結(jié)果包含了射線碰撞點的3D位置參數(shù)和碰撞對象。

“手勢識別”借助HoloToolkit-Unity中的高級API，通過創(chuàng)建SourceKind輸入源事件來實現(xiàn)手勢的識別。微軟公司已經(jīng)發(fā)布了多個HoloLens設(shè)備可用的預(yù)設(shè)事件，在“手勢識別”功能的開發(fā)過程中，也可以借助系統(tǒng)預(yù)設(shè)事件GestureRecognizer來輔助開發(fā)。

“語音控制”通過在Unity3D設(shè)定關(guān)鍵詞和響應(yīng)動作來實現(xiàn)，關(guān)鍵詞與響應(yīng)動作具有一對一對應(yīng)的關(guān)系。當(dāng)用戶說出關(guān)鍵詞時就會觸發(fā)系統(tǒng)中特定對象的預(yù)設(shè)動作。在系統(tǒng)開發(fā)過程中主要用到UnityEngine.Windows.Speech命名空間以及PhraseRecognizedEventArgs，KeywordRecognizer，SpeechSystem-Status等預(yù)設(shè)類。

2.3 前端人機交互層的實現(xiàn)

（1）從Unity3D到HoloLens的實現(xiàn)。在完成中端系統(tǒng)開發(fā)層之后，便可以將Unity3D軟件中建立的火電廠運維指導(dǎo)系統(tǒng)發(fā)布到Windows通用應(yīng)用平臺，借助Visual Studio軟件進(jìn)行編譯，最后將系統(tǒng)以APP的形式部署到HoloLens設(shè)備中。最終在Hololens眼鏡中呈現(xiàn)的效果如圖3所示。

（2）信息反饋及生成工作報表。在人機交互層中還留有信息輸入的接口，可以根據(jù)實際的維修情況將相應(yīng)的維修信息反饋至系統(tǒng)后端的故障信息庫中。其工作流程如圖4所示，在前端人機交互層錄入所需信息后系統(tǒng)通過調(diào)用相關(guān)的C#腳本訪問PHP文件，從而利用PHP的相關(guān)指令將該信息儲存至后端的數(shù)據(jù)庫中。

3 系統(tǒng)的功能模塊

3.1 現(xiàn)場指導(dǎo)功能

現(xiàn)場指導(dǎo)功能是指維修人員佩戴HoloLens眼鏡，在檢修現(xiàn)場直接對檢修工作的具體內(nèi)容進(jìn)行指導(dǎo)，提高檢修工作效率，降低人因失誤風(fēng)險。具體包括以下2方面內(nèi)容：

（1）準(zhǔn)備工作提醒。在檢修工作開始前，系統(tǒng)會通過HoloLens眼鏡向檢修人員提示即將要檢修的設(shè)備信息，如：設(shè)備是否已從系統(tǒng)中隔離、現(xiàn)場通風(fēng)照明情況、檢修現(xiàn)場是否布置完好等。同時，系統(tǒng)還會提示檢修工作所需的工具、備件和材料等信息。

（2）操作規(guī)程提醒。到達(dá)現(xiàn)場后，通過HoloLens眼鏡凝視物體，系統(tǒng)會自動識別眼前的設(shè)備，并匹配顯示對應(yīng)的虛擬三維設(shè)備信息和運行曲線。在檢修操作過程中，眼鏡上會以動畫（或視頻）、語音和文字相結(jié)合的方式分步展示操作規(guī)程。維修人員可以在虛實結(jié)合的操作環(huán)境中，依照操作規(guī)程逐步完成檢修操作。

3.2 遠(yuǎn)端培訓(xùn)功能

遠(yuǎn)端培訓(xùn)模塊提供了火電廠全范圍仿真機的全部功能，能夠模擬火電廠全生命周期內(nèi)的所有工況。根據(jù)不同工況以及不同工作需求，建立相對應(yīng)的三維虛擬模型包，供火電廠工作人員有針對性地進(jìn)行培訓(xùn)。培訓(xùn)模塊高度還原了各個火電廠工作崗位的作業(yè)現(xiàn)場及作業(yè)內(nèi)容，提供三維全息工作環(huán)境。除了執(zhí)行前的準(zhǔn)備工作及相關(guān)工具提醒，在培訓(xùn)過程中，系統(tǒng)還會展現(xiàn)每個工作的操作規(guī)程，并在畫面上展示所操作系統(tǒng)的相關(guān)運行參數(shù)曲線。

4 應(yīng)用效益分析

火電廠運維指導(dǎo)系統(tǒng)的現(xiàn)場指導(dǎo)功能為維修工作人員提供了詳細(xì)的準(zhǔn)備工作提醒和操作規(guī)程提醒，能夠簡化工前準(zhǔn)備工作，減少停機時間，提高檢修工作效率，并且提升檢修工作的安全性和可靠性。遠(yuǎn)端培訓(xùn)模塊可以提升培訓(xùn)質(zhì)量，大幅縮短培訓(xùn)時間，并且打破時間及空間對于火電工作人員培訓(xùn)的限制，使得自主培訓(xùn)、異地培訓(xùn)成為可能。在培訓(xùn)成本方面，火電廠運維指導(dǎo)系統(tǒng)的成本集中在前期的MR設(shè)備采購和系統(tǒng)模型開發(fā)，但是系統(tǒng)后期培訓(xùn)所使用的教學(xué)耗材較少，而且能大幅度降低培訓(xùn)師的人力成本，在大規(guī)模應(yīng)用后可以有效降低傳統(tǒng)培訓(xùn)成本，具有較好的經(jīng)濟(jì)性。

5 結(jié)論

本文基于MR技術(shù)設(shè)計并開發(fā)了具備現(xiàn)場指導(dǎo)與遠(yuǎn)端培訓(xùn)功能于一體的火電廠運維指導(dǎo)系統(tǒng)。該運維指導(dǎo)系統(tǒng)的特點及經(jīng)濟(jì)效益在于：

（1）將火電廠檢修工作與MR技術(shù)相結(jié)合，在虛實結(jié)合的環(huán)境中演示設(shè)備檢修的操作規(guī)程動畫、相關(guān)設(shè)備參數(shù)和運行曲線，為檢修人員的運維工作提供實時指導(dǎo)，提高檢修工作效率，降低人因失誤風(fēng)險；

（2）系統(tǒng)能夠模擬火電廠眾多工況，高度還原火電廠運行環(huán)境，為火電人員培訓(xùn)提供了3D可視化動畫演示功能，能夠有效提高人員的培訓(xùn)效率，打破培訓(xùn)工作的時空限制。