劉洋?張治發(fā)?謝寅溥

摘要：針對(duì)油氣井場(chǎng)工作者尋求解放雙手、高效巡檢的作業(yè)需求，圍繞鉆井現(xiàn)場(chǎng)設(shè)備巡檢業(yè)務(wù)，以混合現(xiàn)實(shí)技術(shù)為核心，設(shè)計(jì)具有標(biāo)準(zhǔn)化智能作業(yè)巡檢和遠(yuǎn)程指揮調(diào)度功能的綜合系統(tǒng)。該系統(tǒng)將混合現(xiàn)實(shí)、目標(biāo)識(shí)別和頭戴式設(shè)備等新技術(shù)與實(shí)際巡檢要求相結(jié)合，基于Unity3D設(shè)計(jì)適用于鉆井現(xiàn)場(chǎng)巡檢人員輕便作業(yè)、規(guī)范操作的巡檢模式。通過(guò)測(cè)試，該系統(tǒng)可以提高鉆井現(xiàn)場(chǎng)巡檢業(yè)務(wù)的標(biāo)準(zhǔn)性和可靠性，并整體提升業(yè)務(wù)流程的管控水平。

關(guān)鍵詞：混合現(xiàn)實(shí)；HoloLens；井場(chǎng)巡檢；Unity3D

一、前言

當(dāng)前從全球角度看，技術(shù)的加速變革促使企業(yè)需要數(shù)字化轉(zhuǎn)型，中國(guó)當(dāng)前各行各業(yè)的數(shù)字化轉(zhuǎn)型進(jìn)度參差不齊。多媒體行業(yè)，例如互聯(lián)網(wǎng)、通訊、電信、媒體資訊等，發(fā)展較為迅速，數(shù)字化水平處于第一梯隊(duì)。而傳統(tǒng)行業(yè)，例如冶金、石油化工、機(jī)械自動(dòng)化等依舊處于數(shù)字化轉(zhuǎn)型的起點(diǎn)，絕大多數(shù)行業(yè)、企業(yè)都處在發(fā)展的關(guān)鍵節(jié)點(diǎn)。

目前，石油鉆井現(xiàn)場(chǎng)設(shè)備巡檢多采用人工巡檢方式，巡檢效率低下且工作量大，存在巡檢過(guò)程實(shí)時(shí)性不強(qiáng)、巡檢記錄留檔或記錄方式傳統(tǒng)、后端對(duì)巡檢實(shí)時(shí)監(jiān)控困難、無(wú)法進(jìn)行遠(yuǎn)程協(xié)助等問(wèn)題。巡檢作為石油鉆井過(guò)程中的重要一環(huán)，是鉆井設(shè)備正常運(yùn)行的保障[1]。

為實(shí)現(xiàn)巡檢過(guò)程智能化，本文將混合現(xiàn)實(shí)技術(shù)（Mixed Reality（MR））運(yùn)用到鉆井現(xiàn)場(chǎng)設(shè)備巡檢中，設(shè)計(jì)基于Unity3D開(kāi)發(fā)平臺(tái)的巡檢系統(tǒng)，以整體提升鉆井現(xiàn)場(chǎng)關(guān)鍵區(qū)域的巡檢管控水平，輔助企業(yè)提高作業(yè)效率。本系統(tǒng)使用HoloLens混合現(xiàn)實(shí)設(shè)備進(jìn)行作業(yè)，解放巡檢人員雙手，實(shí)現(xiàn)巡檢電子化，更能在三維空間與使用者交互，幫助巡檢人員實(shí)現(xiàn)識(shí)別、聯(lián)系處理等功能以提高井場(chǎng)巡檢的效率，助推井場(chǎng)作業(yè)數(shù)字化轉(zhuǎn)型鉆井智能化發(fā)展[2]。

二、系統(tǒng)概述

（一）系統(tǒng)功能

圍繞鉆井現(xiàn)場(chǎng)設(shè)備巡檢業(yè)務(wù)設(shè)置了標(biāo)準(zhǔn)化智能作業(yè)巡檢、遠(yuǎn)程指揮調(diào)度兩種業(yè)務(wù)。

按照巡檢任務(wù)以及現(xiàn)場(chǎng)的作業(yè)環(huán)境情況，確定每個(gè)設(shè)備巡檢位置的站點(diǎn)，規(guī)劃一條標(biāo)準(zhǔn)的巡檢路線，完成整個(gè)巡檢過(guò)程。進(jìn)行鉆井現(xiàn)場(chǎng)設(shè)備巡檢業(yè)務(wù)時(shí)，首先進(jìn)行用戶(hù)登錄，登錄成功后選擇作業(yè)工種，根據(jù)工種類(lèi)型選擇巡檢路線，到達(dá)指定巡檢點(diǎn)后，打開(kāi)HoloLens的攝像頭進(jìn)行設(shè)備識(shí)別，若設(shè)備識(shí)別成功則可獲得具體的檢查項(xiàng)，依次檢查確認(rèn)設(shè)備；若設(shè)備未識(shí)別成功，則返回再次進(jìn)行設(shè)備的識(shí)別。在檢查過(guò)程中，若發(fā)現(xiàn)設(shè)備異常則拍照記錄并上傳到后端系統(tǒng)，管理人員可通過(guò)后端系統(tǒng)實(shí)時(shí)查看異常情況；若設(shè)備正常則選擇進(jìn)入下一項(xiàng)，直至巡檢完成。對(duì)于巡檢的每一項(xiàng)確認(rèn)過(guò)程都將在云端系統(tǒng)進(jìn)行巡檢記錄，后端管理人員通過(guò)后端系統(tǒng)可以實(shí)時(shí)查看巡檢記錄，了解整體的設(shè)備運(yùn)行狀態(tài)[3]。

巡檢人員在巡檢過(guò)程中遇到自己無(wú)法解決的問(wèn)題，可以實(shí)時(shí)呼叫遠(yuǎn)程專(zhuān)家尋求幫助。專(zhuān)家通過(guò)音視頻通話、截圖標(biāo)注等功能，對(duì)巡檢人員進(jìn)行一對(duì)一或一對(duì)多的技術(shù)指導(dǎo)。指導(dǎo)過(guò)程中，專(zhuān)家通過(guò)終端設(shè)備可發(fā)送文字、圖片、視頻等文件至HoloLens智能眼鏡，巡檢人員可通過(guò)語(yǔ)音或按鍵等快捷方式快速查看文件。在指導(dǎo)過(guò)程中若開(kāi)啟錄像記錄，專(zhuān)家指導(dǎo)完成后，后方PC端可將專(zhuān)家指導(dǎo)過(guò)程錄屏并保存為視頻文件，并將視頻文件上傳至服務(wù)器存儲(chǔ)[4]。

（二）系統(tǒng)架構(gòu)

基礎(chǔ)層、技術(shù)層、應(yīng)用層和功能層是組成系統(tǒng)架構(gòu)的關(guān)鍵因素，其中基礎(chǔ)層是作為系統(tǒng)為了實(shí)現(xiàn)功能所必需的軟硬件存在；相關(guān)技術(shù)構(gòu)成了系統(tǒng)的技術(shù)層，包含賬戶(hù)管理功能、空間錨點(diǎn)技術(shù)、全息協(xié)作技術(shù)、人機(jī)交互技術(shù)、音視頻通話技術(shù)、數(shù)據(jù)上傳功能、截圖標(biāo)注功能和設(shè)備資料搭建8種技術(shù)；應(yīng)用層是本系統(tǒng)圍繞井場(chǎng)巡檢業(yè)務(wù)設(shè)計(jì)的標(biāo)準(zhǔn)化智能作業(yè)巡檢、遠(yuǎn)程指揮調(diào)度2種應(yīng)用功能；功能層是本系統(tǒng)能夠?qū)崿F(xiàn)的功能需求，包含設(shè)備識(shí)別及數(shù)據(jù)顯示、過(guò)程記錄上傳、專(zhuān)家遠(yuǎn)程指導(dǎo)和音視頻通話4種功能。本系統(tǒng)架構(gòu)設(shè)計(jì)如圖1所示。

三、開(kāi)發(fā)環(huán)境

本系統(tǒng)基于HoloLens2的Trimble XR10混合現(xiàn)實(shí)設(shè)備和Unity3D引擎平臺(tái)進(jìn)行開(kāi)發(fā)。

硬件環(huán)境：使用基于HoloLens2的Trimble XR10混合現(xiàn)實(shí)設(shè)備、搭載Windows10系統(tǒng)的筆記本電腦。

軟件環(huán)境：標(biāo)準(zhǔn)化智能作業(yè)巡檢部分使用JAVA編程語(yǔ)言作為開(kāi)發(fā)語(yǔ)言，以VScode作為編譯環(huán)境編寫(xiě)各種腳本運(yùn)行。遠(yuǎn)程指揮調(diào)度部分使用C#編程語(yǔ)言作為開(kāi)發(fā)語(yǔ)言，以Visual Studio 2019作為編譯環(huán)境編寫(xiě)各種腳本運(yùn)行。服務(wù)器使用Python、Keras、TensorFlow、JRE作為核心軟件環(huán)境。混合現(xiàn)實(shí)設(shè)備程序端由Unity3D進(jìn)行開(kāi)發(fā)，使用搭載Windows10系統(tǒng)的電腦作為操作系統(tǒng)，結(jié)合Microsoft為加速混合現(xiàn)實(shí)應(yīng)用程序開(kāi)發(fā)，而設(shè)計(jì)的開(kāi)源跨平臺(tái)工具集—MRTK v2，將其與Unity3D結(jié)合構(gòu)建原型，使其成為集合模型、腳本和控制模塊的綜合軟件平臺(tái)。同時(shí)利用官方提供的HoloToolkit包，在Unity3D中模擬混合現(xiàn)實(shí)端的視野和人機(jī)交互功能，將Unity3D中的程序部署到HoloLens混合現(xiàn)實(shí)端。

四、關(guān)鍵技術(shù)

本系統(tǒng)主要運(yùn)用了賬戶(hù)管理功能、空間錨點(diǎn)技術(shù)、全息協(xié)作技術(shù)、人機(jī)交互技術(shù)、音視頻通話技術(shù)、數(shù)據(jù)上傳功能、截圖標(biāo)注功能等8種技術(shù)。

（一）賬戶(hù)管理功能

本系統(tǒng)的登錄賬戶(hù)分為崗位賬戶(hù)、場(chǎng)景識(shí)別賬戶(hù)和專(zhuān)家賬戶(hù)3種。賬戶(hù)管理功能分別實(shí)現(xiàn)對(duì)崗位賬戶(hù)、場(chǎng)景識(shí)別賬戶(hù)和專(zhuān)家賬戶(hù)的管理。每個(gè)賬戶(hù)包含姓名、工卡號(hào)、公司、技能、崗位、密碼等信息。通過(guò)HTTP API實(shí)現(xiàn)后端程序與網(wǎng)頁(yè)前端和MR客戶(hù)端的通信，當(dāng)后端程序接收到請(qǐng)求后，檢查參數(shù)合法性并操作數(shù)據(jù)庫(kù)進(jìn)行賬戶(hù)的增、刪、改、查[5]。

（二）空間錨點(diǎn)技術(shù)

利用空間錨點(diǎn)技術(shù)可實(shí)現(xiàn)物體的定位以及方位對(duì)現(xiàn)實(shí)世界進(jìn)行視覺(jué)固井，此技術(shù)可避免混合現(xiàn)實(shí)中的相關(guān)數(shù)字信息在真實(shí)物理世界中發(fā)生漂移。為保證眼鏡中的全息圖能夠固定在物理現(xiàn)實(shí)世界中的某一位置，需要通過(guò)用戶(hù)凝視與空間錨點(diǎn)技術(shù)相結(jié)合，同時(shí)通過(guò)地圖數(shù)據(jù)與數(shù)字?jǐn)?shù)據(jù)的更新，保證了儲(chǔ)存在本地?cái)?shù)據(jù)庫(kù)中的物理現(xiàn)實(shí)空間中信息得到不斷迭代與升級(jí)。

本系統(tǒng)利用空間錨點(diǎn)技術(shù)確定用戶(hù)當(dāng)前位置與目標(biāo)位置的距離，當(dāng)用戶(hù)進(jìn)入目標(biāo)位置的范圍內(nèi)，即可觸發(fā)對(duì)應(yīng)的巡檢任務(wù)。MR客戶(hù)端使用場(chǎng)景識(shí)別賬戶(hù)登錄系統(tǒng)，選擇對(duì)應(yīng)崗位并對(duì)各個(gè)巡檢點(diǎn)進(jìn)行空間定位。每定位一個(gè)巡檢點(diǎn)，程序自動(dòng)保存文件并上傳到服務(wù)器后端，后端將存儲(chǔ)該崗位的空間定位點(diǎn)到硬盤(pán)。

（三）全息協(xié)作技術(shù)

利用一個(gè)基于混合現(xiàn)實(shí)和微軟Azure云的協(xié)作平臺(tái)——Microsoft Mesh，用戶(hù)通過(guò)各類(lèi)平臺(tái)設(shè)備實(shí)現(xiàn)與全系3D內(nèi)容交互，使用戶(hù)具有身臨其境的感受。

通過(guò)使用HoloLens設(shè)備上的Dynamics 365 Remote Assist，即使專(zhuān)家不在現(xiàn)場(chǎng)也能與巡檢人員進(jìn)行溝通，查看對(duì)方現(xiàn)場(chǎng)的情況，幫助巡檢人員解決問(wèn)題。Azure的云端架構(gòu)可以與企業(yè)現(xiàn)有生產(chǎn)管理系統(tǒng)相結(jié)合，幫助企業(yè)更好地實(shí)現(xiàn)跨地區(qū)、跨部門(mén)的全息可視化溝通與協(xié)同[6]。

（四）人機(jī)交互技術(shù)

人機(jī)交互功能包括凝視交互、手勢(shì)交互和語(yǔ)音交互三種交互方式。實(shí)際應(yīng)用中3種交互方式相輔相成，首先注視目標(biāo)，再通過(guò)手勢(shì)隔空敲擊、語(yǔ)音說(shuō)出命令或凝視要選擇的目標(biāo)來(lái)確認(rèn)進(jìn)行交互[7]，如圖2所示。

本系統(tǒng)共設(shè)計(jì)了3種人機(jī)交互功能，具體如下：

1.巡檢功能設(shè)計(jì)。巡檢人員在巡檢過(guò)程中可以通過(guò)語(yǔ)音或內(nèi)置鍵盤(pán)方式記錄設(shè)備的運(yùn)行狀態(tài)，通過(guò)手勢(shì)交互方式勾選已完成巡檢且無(wú)問(wèn)題的選項(xiàng)。

2.異常反饋上傳功能設(shè)計(jì)。在巡檢過(guò)程中若發(fā)現(xiàn)設(shè)備異常，可進(jìn)行拍照留存或輸入文字，通過(guò)手勢(shì)交互方式將異常記錄上傳到后端系統(tǒng)。

3.遠(yuǎn)程協(xié)作功能設(shè)計(jì)。遠(yuǎn)程專(zhuān)家利用Mesh技術(shù)可實(shí)現(xiàn)在任何時(shí)間、任何地點(diǎn)解決巡檢人員在作業(yè)現(xiàn)場(chǎng)工作時(shí)遇到的任務(wù)問(wèn)題，同時(shí)利用情景疊加提高解決問(wèn)題的效率。

（五）音視頻通話技術(shù)

本系統(tǒng)基于WebRTC實(shí)現(xiàn)音視頻通話，利用信令服務(wù)器做信令轉(zhuǎn)發(fā)、中繼服務(wù)器做數(shù)據(jù)轉(zhuǎn)發(fā)。信令服務(wù)器程序?yàn)橐粢曨l通話雙方建立P2P連接，采用websocket進(jìn)行通信，呼出方發(fā)起音視頻通話時(shí)向信令服務(wù)器發(fā)送請(qǐng)求，信令服務(wù)器接收到請(qǐng)求后記錄并將請(qǐng)求轉(zhuǎn)發(fā)到呼入方，呼入方接收到請(qǐng)求后與呼出方建立P2P連接。當(dāng)呼出/呼入雙方無(wú)法建立P2P連接時(shí)，呼出/呼入雙方將與中繼服務(wù)器程序建立連接并將音視頻流轉(zhuǎn)發(fā)送到中繼服務(wù)器程序[8]，中繼服務(wù)器程序接收到數(shù)據(jù)后轉(zhuǎn)發(fā)到對(duì)方以實(shí)現(xiàn)雙方的音視頻通話。WebRTC連接邏輯框圖如圖3所示。

（六）數(shù)據(jù)上傳功能

巡檢人員在巡檢過(guò)程中進(jìn)行文字、圖片記錄，并將記錄結(jié)果上傳到后端程序，再由后端程序進(jìn)行轉(zhuǎn)儲(chǔ)操作等相關(guān)處理。數(shù)據(jù)上傳處理技術(shù)基于WebAPI技術(shù)實(shí)現(xiàn)，后端程序響應(yīng)數(shù)據(jù)請(qǐng)求處理，由SpringBoot框架技術(shù)、MySQL實(shí)現(xiàn)數(shù)據(jù)的接收和存儲(chǔ)[9]。

（七）截圖標(biāo)注功能

MR客戶(hù)端每幀計(jì)算一次攝像機(jī)矩陣并發(fā)送到專(zhuān)家端，專(zhuān)家端進(jìn)行標(biāo)注時(shí)計(jì)算標(biāo)注點(diǎn)的位置、方向，標(biāo)注的顏色，標(biāo)注的尺寸，標(biāo)注的角度，并將計(jì)算后的數(shù)據(jù)發(fā)送到MR客戶(hù)端，MR客戶(hù)端接收到數(shù)據(jù)后提取出位置、方向、標(biāo)注顏色、標(biāo)準(zhǔn)尺寸、標(biāo)注角度并創(chuàng)建3D物體放置于3D空間中。工作流程圖如圖4所示。

五、應(yīng)用效果

本系統(tǒng)包括標(biāo)準(zhǔn)化智能作業(yè)巡檢、遠(yuǎn)程指揮調(diào)度兩大部分。

第一部分為標(biāo)準(zhǔn)化智能作業(yè)巡檢。巡檢人員登錄系統(tǒng)后，進(jìn)入巡檢主菜單，選擇巡檢路線（不同巡檢路線展示的內(nèi)容不同），按照檢查順序完成所有檢查項(xiàng)的巡檢。巡檢人員巡檢的記錄會(huì)同步到云端系統(tǒng)，在巡檢過(guò)程中若發(fā)現(xiàn)設(shè)備異常，可以拍照或錄像進(jìn)行反饋。

第二部分為遠(yuǎn)程指揮調(diào)度。巡檢人員在巡檢過(guò)程中遇到技術(shù)問(wèn)題，可以呼叫遠(yuǎn)程專(zhuān)家，專(zhuān)家通過(guò)音視頻通話、截圖標(biāo)注等功能，對(duì)巡檢人員進(jìn)行技術(shù)指導(dǎo)[10]。

六、結(jié)語(yǔ)

通過(guò)混合現(xiàn)實(shí)技術(shù)，針對(duì)鉆井現(xiàn)場(chǎng)巡檢業(yè)務(wù)，設(shè)計(jì)包含標(biāo)準(zhǔn)化智能作業(yè)巡檢和遠(yuǎn)程指揮調(diào)度功能的可視化巡檢綜合系統(tǒng)。通過(guò)測(cè)試，該系統(tǒng)滿(mǎn)足巡檢人員尋求高效、輕便作業(yè)的產(chǎn)品需求，使鉆井現(xiàn)場(chǎng)巡檢更趨近現(xiàn)代化和智能化，從而進(jìn)一步提高巡檢效率，推動(dòng)巡檢業(yè)務(wù)流程數(shù)字化、工單步驟自定義、工作流程可視化和過(guò)程管控高效化，具有一定的市場(chǎng)應(yīng)用價(jià)值。

參考文獻(xiàn)

[1]張珊茹，劉彬博，秦方博，等.基于MR技術(shù)的配電房運(yùn)檢系統(tǒng)研究設(shè)計(jì)[J].微型電腦應(yīng)用，2022，38（08）：11-14.

[2]王棨，趙豫京，聶翔，等.MR技術(shù)提升變電站智能運(yùn)檢建設(shè)的研究[J].電子元器件與信息技術(shù)，2022，6（06）：180-183.

[3]崔強(qiáng)，賈志鵬，胡俊濤.物聯(lián)網(wǎng)技術(shù)在數(shù)字油田建設(shè)中的應(yīng)用[J].化工管理，2022（15）：165-168.

[4]劉云江，關(guān)慧，王鴻亮，等.深度學(xué)習(xí)在混合現(xiàn)實(shí)車(chē)間巡檢中的應(yīng)用[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2022，31（05）：118-123.

[5]方維嵐，吳奕龍，陳翀.基于AR/MR技術(shù)的智能穿戴設(shè)備在工業(yè)巡檢中的應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用，2021，39（07）：150-152.

[6]盧光旭.巡檢機(jī)器人在井場(chǎng)上的應(yīng)用[J].中國(guó)新技術(shù)新產(chǎn)品，2020（11）：1-2.

[7]工業(yè)設(shè)計(jì)編輯部.MR技術(shù)將人類(lèi)拉近未來(lái)[J].工業(yè)設(shè)計(jì)，2020（05）：19.

[8]黃慧鵬.油田采油井站巡檢系統(tǒng)設(shè)計(jì)與應(yīng)用[J].信息技術(shù)，2016（06）：170-172+176.

[9]李玄基.基于HoloLens增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)研究與實(shí)現(xiàn).成都：西南交通大學(xué)，2019.

[10]Mixed Reality Could Improve Science，Technology， Engineering，and Mathematics Learning.[J].Gaggioli Andrea.Cyberpsychology，behavior and social networking.2019（2）.

作者單位：川慶鉆探工程有限公司鉆采工程技術(shù)研究院