沈 毅,周 睿,李 誠,吳 罡

(湖南中煙工業(yè)有限責(zé)任公司長沙卷煙廠,湖南 長沙 410007)

1 引言

《中國制造2025-重點領(lǐng)域技術(shù)路線圖》將AR增強(qiáng)現(xiàn)實、可穿戴式裝備等技術(shù)應(yīng)用,列為智能制造核心領(lǐng)域的關(guān)鍵任務(wù)之一。工信部在“十四五”專項規(guī)劃中,將VR/AR終端的研發(fā)及產(chǎn)品化,作為加強(qiáng)推動5G/XR等關(guān)鍵技術(shù)應(yīng)用的重要抓手,進(jìn)一步引導(dǎo)企業(yè)創(chuàng)新發(fā)展。近年來,湖南某工業(yè)公司持續(xù)推動制造技術(shù)向數(shù)字化轉(zhuǎn)型,增強(qiáng)核心競爭力。該公司長沙廠面向生產(chǎn)一線人機(jī)協(xié)作難題,開展增強(qiáng)現(xiàn)實AR、虛擬仿真等前沿創(chuàng)新技術(shù)的試點驗證。該廠結(jié)合易地技改規(guī)劃建設(shè)的先行先試工作,研發(fā)出該公司第一款工業(yè)AR APP,搭建了面向煙機(jī)設(shè)備管理與運維的移動化、跨平臺和多功能應(yīng)用,取得了AR技術(shù)在卷煙工業(yè)生產(chǎn)領(lǐng)域應(yīng)用場景的交互式體驗,能夠緩解從業(yè)人員老齡化、運行成本增長,以及通過傳統(tǒng)的技術(shù)方法改進(jìn)難以獲得過去正常的效率增長與效益挖掘等癥狀。

本文以卷包車間某中速硬盒包裝機(jī)設(shè)備示例,通過虛擬仿真設(shè)備的運行狀態(tài)和零部件運維,感知模型的虛擬裝配,打破設(shè)備常態(tài)管理的思維和流程,在人機(jī)設(shè)計上引導(dǎo)用戶自然領(lǐng)悟到用法,實現(xiàn)多人同步多終端協(xié)作的人機(jī)交互協(xié)調(diào),搭載于安卓觸控平板電腦、穿戴式智能眼鏡的AR app,提升工廠生產(chǎn)制造流程的有效作業(yè)。

2 定義

增強(qiáng)現(xiàn)實技術(shù)(Augmented Reality Technique,AR),是在虛擬現(xiàn)實基礎(chǔ)上發(fā)展起來的新技術(shù),通過計算機(jī)系統(tǒng)提供的信息增加用戶對現(xiàn)實世界感知的技術(shù),并將計算機(jī)生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實場景中,實現(xiàn)對現(xiàn)實世界的增強(qiáng)[1]。這種技術(shù)將計算機(jī)生成的圖形與用戶在真實物理世界獲取的視覺信息組合在一起。

工業(yè)自動化領(lǐng)域?qū)⒃鰪?qiáng)現(xiàn)實、混合現(xiàn)實等適用在工業(yè)制造及其運營環(huán)境的技術(shù)應(yīng)用統(tǒng)一稱為“工業(yè)AR”,工業(yè)AR是工業(yè)智能領(lǐng)域的一個前沿研究分支,其落地是工業(yè)制造業(yè)IoT的運用方式,其特征是人工智能技術(shù)的發(fā)展趨勢[2]。

人機(jī)交互(Human-Computer Interaction,HCI)[3],是一門研究系統(tǒng)與用戶之間的交互關(guān)系的學(xué)問。自然人機(jī)交互技術(shù)是人機(jī)交互技術(shù)的一個主要研究方向,研究人和計算機(jī)之間如何用自然的方式進(jìn)行交互,包括人到計算機(jī)和計算機(jī)到人的兩部分信息交換,是人工智能領(lǐng)域的一種外圍技術(shù),分類包括語音交互、體態(tài)語言交互、視覺交互等。用戶通過人機(jī)交互界面的設(shè)計實現(xiàn)系統(tǒng)交流和操作。

人機(jī)環(huán)境系統(tǒng)工程(MMESE),是研究在人、裝備和環(huán)境系統(tǒng)之間,實現(xiàn)最優(yōu)匹配的一個領(lǐng)域,涉及到信息的輸入、處理、輸出和控制,以及反饋,人機(jī)環(huán)境系統(tǒng)的整體設(shè)計,及其優(yōu)化等方面的研究,研究的目的,是整個系統(tǒng)的高效、安全、健康和敏捷等[4]。

3 案例分析和問題提出

2022年,美國發(fā)布關(guān)鍵和新興技術(shù)“CET清單”將“人機(jī)界面技術(shù)”主要定義為AR、VR和人機(jī)合作。2021年,歐盟委員會發(fā)布《面向未來的100項重大創(chuàng)新突破》報告,提出歐洲的AR專業(yè)應(yīng)用是交互式手冊,為操作機(jī)器的人提供現(xiàn)場指導(dǎo)。2020年,加拿大卡爾加里大學(xué)、Adobe Research和美國科羅拉多大學(xué)博爾德分校的研究團(tuán)隊,開發(fā)了一種實現(xiàn)交互式動態(tài)草圖的新技術(shù),生成響應(yīng)性草圖、圖形和可視化效果的增強(qiáng)現(xiàn)實界面。2021年,寶武鋼鐵借助與亮風(fēng)臺AR智能運維系統(tǒng),實現(xiàn)關(guān)聯(lián)設(shè)備的數(shù)字信息可視化、精準(zhǔn)遠(yuǎn)程協(xié)作與高效過程記錄管理,完成基于“作業(yè)現(xiàn)場”的信息交互能力提升。2021年,華菱湘鋼通過亮風(fēng)臺AR眼鏡以及AR協(xié)作平臺HiLeia的凍屏、實時標(biāo)注,克服疫情影響,與中德奧三地專家進(jìn)行遠(yuǎn)程無障礙溝通協(xié)作,實現(xiàn)跨國遠(yuǎn)程裝配。但國內(nèi)目前缺乏在工業(yè)AR人機(jī)交互領(lǐng)域的關(guān)鍵技術(shù)創(chuàng)新,以及跨平臺生態(tài)的覆蓋難以落地等問題。本文通過調(diào)研工業(yè)AR技術(shù)的研發(fā)運用實例,分析人機(jī)交互適應(yīng)性情況與制造業(yè)應(yīng)用場景,期望有助于卷包設(shè)備的一線技術(shù)人員,解決技術(shù)應(yīng)用過程中所診斷出的問題,幫助技術(shù)人員傳遞和沉淀工作場所的知識經(jīng)驗。

4 基于工業(yè)AR的卷包裝備智能交互虛擬仿真系統(tǒng)

AR可通過多種不同方式來影響到實際使用者,最重要的是考慮滿足企業(yè)的真實需求。人機(jī)交互技術(shù)在本例中除了傳統(tǒng)的基本交互和圖形交互外,主要是語音交互、體感交互及視覺(腦機(jī)一體)交互等技術(shù),對交互技術(shù)的研究,與工業(yè)人工智能的系統(tǒng)進(jìn)步關(guān)聯(lián)密切。

工業(yè)AR 系統(tǒng)規(guī)劃目標(biāo),是確保參與虛擬仿真和增強(qiáng)現(xiàn)實系統(tǒng)研究的人、設(shè)備、物料和環(huán)境正常運轉(zhuǎn),員工上機(jī)操作,拉通場地、設(shè)備和人員、數(shù)據(jù)的循環(huán),拉通公司MES、ERP系統(tǒng)正式對接,通過智能穿戴(計算機(jī))[5]器材,采用語音、圖號、數(shù)據(jù)推送等輸入,發(fā)揮移動式便攜的作用,對照設(shè)備零部件的“三維幾何模型”空間數(shù)據(jù)信息,實現(xiàn)長沙廠設(shè)備零部件貨位和庫存的查詢功能,發(fā)揮遠(yuǎn)程“虛擬機(jī)臺”的領(lǐng)用零部件功能。

開發(fā)協(xié)同裝配[6],實現(xiàn)多維信息的交互操作,打通,獲得零部件管理的業(yè)務(wù)渠道多人同步多終端協(xié)作的作業(yè)協(xié)調(diào),由于設(shè)備多維信息資源與人員經(jīng)驗技巧利用率偏低,流程制造業(yè)存在著資源與能源利用率偏低、輔導(dǎo)信息失真等痛點,需要定制化功能解決運維的痛點。設(shè)備零部件通過PC端進(jìn)入ERP系統(tǒng)申報,通過有線網(wǎng)絡(luò)在固定工房現(xiàn)場操作,檢索庫存數(shù)據(jù)需要備件圖號,查詢平面圖紙耗時耗力。對于工廠如何選擇AR技術(shù)路徑、如何部署AR應(yīng)用方式、如何保障AR數(shù)據(jù)支持等,提出技術(shù)方案的設(shè)計、實施路徑的選點和技術(shù)驗證的示范。

4.1 系統(tǒng)分析

該廠聚焦的AR技術(shù)應(yīng)用場景,主要集中在包裝機(jī)設(shè)備生產(chǎn)與運行保障的“原理、裝配、培訓(xùn)、實操、維修”等輔助工序,以及卷包車間面向其裝備零部件的產(chǎn)品生命周期的虛擬化仿真研究。本文中的人機(jī)交互實質(zhì)上是人透過AR輔助工具與設(shè)備的程序化之間的融合互通,也是“人機(jī)環(huán)境系統(tǒng)工程”研究方向的一個重要分支。針對煙機(jī)的輔助維修和煙機(jī)的日常操作為任務(wù)核心進(jìn)行研發(fā)

本文實例創(chuàng)新性的研發(fā)了一套基于煙草工業(yè)場景化維修輔助的多終端APP系統(tǒng),通過安卓平板、手機(jī)、穿戴式眼鏡,實現(xiàn)了WEB、平板、AR、VR眼鏡等多渠道展示及交互操作,工業(yè)AR APP主要包含智能維修、AR巡檢、虛擬維修、VR操作等核心模塊,系統(tǒng)設(shè)計步驟分析如下:

第一步:將現(xiàn)實世界中的生產(chǎn)設(shè)備數(shù)字化為3D模型后,對基于物理設(shè)備和設(shè)備信息現(xiàn)狀的運行、管理、維護(hù)和操作方式實現(xiàn)系統(tǒng)化的升維,為進(jìn)一步實現(xiàn)空間虛擬環(huán)境和真實工作場景的疊加及智能調(diào)用奠定基礎(chǔ)[7]。

第二步:完成安卓端平板、眼鏡端智能眼鏡的二種OS載體和交互介質(zhì)的端對端APP功能開發(fā),實現(xiàn)AR/VR/MR的智能化應(yīng)用場景。

第三步:對接MES、ERP生產(chǎn)/管理系統(tǒng)的協(xié)議接口,實現(xiàn)“AR/VR/MR”在生產(chǎn)制造的智能輔助,完成數(shù)字化和信息化的打通,并形成遠(yuǎn)程專家、經(jīng)驗庫等智能應(yīng)用的應(yīng)用對接。

采用Vuforia AR SDK+Uinty3d的技術(shù)路線實現(xiàn)一個完整的AR App產(chǎn)品,工業(yè)AR APP從零部件拆裝上升到了系統(tǒng)總成應(yīng)用,從AR/VR場景下的零部件輔助拆卸完善到拆裝,實現(xiàn)了基于HoloLens智能眼鏡的輔助生產(chǎn)維修過程指導(dǎo)、平板基于煙機(jī)的切片化智能掃描識別,語音交互、遠(yuǎn)程專家、虛擬產(chǎn)線、設(shè)備維修過程的多種輔助(視頻、圖紙、說明書)工具支持,摸索了點檢、隨手拍、知識庫、經(jīng)驗庫、生產(chǎn)數(shù)據(jù)的MES系統(tǒng)接口等多項功能。AR多功能端到端,2D/3D零部件的模型構(gòu)建實現(xiàn)了基于增強(qiáng)現(xiàn)實系統(tǒng)的AR App安卓平板系統(tǒng)輔助、基于車間一線員工培訓(xùn)、設(shè)備維護(hù)和遠(yuǎn)程輔助、智能語音等煙機(jī)設(shè)備AR操作指南等整體效果。本文實例涉及的工業(yè)AR技術(shù)輔助多功能場景應(yīng)用。

4.2 仿真建模

設(shè)備仿真建模,首先是零部件模型庫開發(fā):包括總成及零部件建模,并定義各零部件以及實現(xiàn)零部件之間的關(guān)聯(lián)邏輯;其次是模型優(yōu)化任務(wù):包括零部件模型的優(yōu)化、動畫和特效制作。面向仿真設(shè)備零部件的認(rèn)知流程,首先是零部件參數(shù)庫:實現(xiàn)零部件參數(shù)庫,建立健全相關(guān)的模型名稱、零部件模型參數(shù)關(guān)系、功能內(nèi)容等相關(guān)信息,以便業(yè)務(wù)數(shù)據(jù)調(diào)取識別。其次是零部件認(rèn)知界面與交互:彈出界面的布局設(shè)計與交互設(shè)計。

本文“中速機(jī)機(jī)型模型及關(guān)鍵零部件”的建模,基于雙目視覺的三維重建技術(shù)[10],針對圖像與環(huán)境的人眼視物,通過視差來獲取被測物體的深度信息,繼而實現(xiàn)三維重建,即利用雙目相機(jī)拍攝的圖像,將目標(biāo)在圖像上的二維像素坐標(biāo)轉(zhuǎn)化為三維世界坐標(biāo)。雙目三維重建的工作流程主要包含4步,即雙目標(biāo)定、圖像校正、立體匹配和三維重建,立體匹配是關(guān)鍵步驟[11]。

建模難點:制作襯托氛圍的模型引導(dǎo)用戶獲得高逼真和身臨其境的實踐感覺;模型設(shè)計需配合程序開發(fā)在Unity引擎實現(xiàn)動畫的制作;模型設(shè)計完成以后需要研制匹配模型的VR手勢。

4.3 關(guān)鍵技術(shù)

4.3.1 核心技術(shù)

利用物理模型、運行日志、故障記錄、傳感器更新等數(shù)據(jù),集成多物理量、多尺度、多概率的仿真過程,在虛擬空間中完成映射,促進(jìn)反映設(shè)備相對運行過程中各零部件的維護(hù)實現(xiàn)過程,從而完成虛擬仿真的數(shù)字孿生[8]。

多機(jī)協(xié)同的集群化交互與控制技術(shù),具備遠(yuǎn)程操控端的功能,實施人機(jī)交互裝置遠(yuǎn)程遙控,完成任務(wù)指派和監(jiān)控,通過APP實施任務(wù)指派和監(jiān)控,應(yīng)用移動用戶端的AR APP設(shè)計。AR APP關(guān)鍵技術(shù)實現(xiàn)流程圖,如圖1所示。

圖1 安卓觸控平板系統(tǒng)依據(jù)圖號查廠家源圖的對照交互UI設(shè)計

圖1 AR APP關(guān)鍵技術(shù)實現(xiàn)流程圖

4.3.2 技術(shù)應(yīng)用

新一代空間定位技術(shù)減少虛擬定位識別位置的偏移量,使虛擬坐標(biāo)和虛擬物體的設(shè)定更為精確,因此日常的巡檢工作,也可以通過AR技術(shù)來實現(xiàn)。管理人員事先在后臺設(shè)置觸發(fā)內(nèi)容,再用AR眼鏡實地部署觸發(fā)點,工作人員再戴上AR眼鏡,到達(dá)觸發(fā)點就可以隨時可以進(jìn)行巡檢工作。對于巡檢結(jié)果的日常收集也變得更為簡單,出現(xiàn)問題可自行解決,系統(tǒng)也能提供解決方案,如果無法解決可以申請遠(yuǎn)程技術(shù)支持或者通報給更高級的維修人員。

本文實例基于工業(yè)AR技術(shù)的虛擬仿真應(yīng)用設(shè)計,如表1所示。

表1 基于工業(yè)AR技術(shù)的虛擬仿真多功能人機(jī)交互應(yīng)用一覽表[9]

核心技術(shù)應(yīng)用包括四個主要功能點:

1)設(shè)備結(jié)構(gòu)零部件的拆裝

①運行展示:展示部件的運行流程效果。

②零部件拆卸裝配:展示零部件拆卸裝配的順序以及位置。

③零部件相關(guān)聯(lián)資料:提供原生產(chǎn)廠標(biāo)準(zhǔn)資料。

2)設(shè)備故障智能診斷

①通過AR掃描提供定制化分析與故障解決方案。

②通過MR眼鏡與Android平板終端引導(dǎo)每一個維修步驟。

3)智能管控

①系統(tǒng)功能語音快速調(diào)用。

②數(shù)據(jù)資料語音快速調(diào)用。

4)備件領(lǐng)料

系統(tǒng)打通ERP數(shù)據(jù)庫,開發(fā)備件領(lǐng)料查詢功能,將傳統(tǒng)的進(jìn)入辦公室備件領(lǐng)料查詢查詢的方式或紙質(zhì)備件領(lǐng)料查詢方式變?yōu)橐苿釉O(shè)備備件領(lǐng)料查詢方式。

用戶手持移動終端,隨時隨地完成備件領(lǐng)料查詢。并且改進(jìn)傳統(tǒng)備件編號查找對應(yīng)零部件的查詢方式,增加2類新的查詢方式:

1)用該機(jī)械的任一備件編號查找整張圖紙,通過圖紙可以獲取該機(jī)械的所有備件編號;

2)構(gòu)建三維仿真機(jī)械模型,直接點擊選擇零部件的三維模型可以直接查找對應(yīng)零部件信息。

本文實例支持一線員工即時應(yīng)用圖號查存檔圖紙的移動端設(shè)計,如圖1所示。

4.3.3 交互場景

AR識別虛擬零部件模型,通過Unity編程。用戶可以通過手指“拖拉拽”觸控屏幕或眼鏡觀察視野中的相應(yīng)部分,和模型產(chǎn)生敏捷、精細(xì)的交互操作。通過手勢指令、手指滑動、語音指令等交互信息的輸入,實現(xiàn)模型的各類動作包括旋轉(zhuǎn)、左右、伸縮和翻轉(zhuǎn)等。

多平臺開發(fā):Android端適應(yīng)Android平臺,Hololens端適應(yīng)Hololens2平臺,開發(fā)專用于Android、Hololens系統(tǒng)的插件以及交互設(shè)計;

設(shè)備零部件認(rèn)知:零部件認(rèn)知界面與交互,輸出界面的彈出布局設(shè)計與交互設(shè)計。

虛擬機(jī)臺交互手勢:A旋轉(zhuǎn),單指朝上下左右四個方位滑動控制虛擬機(jī)臺旋轉(zhuǎn)。B平移,單指按下虛擬機(jī)臺中心點進(jìn)行拖拽移動虛擬機(jī)臺。C縮放,雙指向內(nèi)滑動縮小虛擬機(jī)臺,雙指向外滑動放大虛擬機(jī)臺。本文實例所研發(fā)的人機(jī)操作模型檢索功能,如圖2所示。

圖2 包裝機(jī)人機(jī)交互操作的模型虛擬仿真認(rèn)識功能

AR技術(shù)應(yīng)用的實例化,在人與虛擬空間、物理世界之間,員工通過手柄、遙控器、外附手套到體感設(shè)備,輸入手勢、語音、眼神等信號,透過AR APP功能應(yīng)用的集合,實現(xiàn)在卷包車間現(xiàn)場的虛實操控、工控網(wǎng)的數(shù)據(jù)交互融合,零部件領(lǐng)料設(shè)計如圖3、圖4所示。

圖3 零部件領(lǐng)料檢索功能流程

圖4 零部件領(lǐng)料檢索功能設(shè)計框架圖

5 系統(tǒng)驗證與測評

2020年至今,長沙某廠AR APP系統(tǒng)上線迭代更新,經(jīng)過二年的試運行,該系統(tǒng)的各個模塊應(yīng)用進(jìn)行了試運行測試及操作反饋。通過虛擬仿真和人機(jī)系統(tǒng)工程新技術(shù)的運用,革新工廠設(shè)備、工裝、工具等傳統(tǒng)的操作維護(hù)辦法,鼓勵設(shè)備技術(shù)人員學(xué)習(xí)創(chuàng)新,改良維修維護(hù)的運行管理機(jī)制,設(shè)備的虛擬裝配得到高質(zhì)量檢驗[12],實現(xiàn)狀態(tài)深度感知、設(shè)備保養(yǎng)合理的超前預(yù)測維護(hù),提高了學(xué)習(xí)技能的效率,間接提升了制造的生產(chǎn)效率和產(chǎn)品質(zhì)量。

從車間一線人員體驗運用的直觀效果來看,主要針對①圖紙查詢工作量;②業(yè)務(wù)辦理的人工移動成本;③計算機(jī)的操作成本,包括備件查詢,標(biāo)簽搜索等,減少了工作時間的消耗,提升了作業(yè)效率。增強(qiáng)2維/3維可視化資源的設(shè)計制作能力,創(chuàng)建生產(chǎn)線與設(shè)備線配套的崗位新員工培訓(xùn)的移動式智能頭盔輔助系統(tǒng)。

6 收益

卷煙行業(yè)專家評價,認(rèn)為該系統(tǒng)整體增強(qiáng)了公司在行業(yè)內(nèi)2維/3維可視化資源的設(shè)計制作能力,對于湖南中煙工業(yè)技術(shù)創(chuàng)新數(shù)字化轉(zhuǎn)型所需求的新技術(shù)、新方法和新路徑,提供了預(yù)研方案和論證試點。長沙廠一線技術(shù)人員調(diào)查反饋,該系統(tǒng)促進(jìn)了生產(chǎn)一線技師的操作反饋能力,可協(xié)助車間卷包工序提高人機(jī)協(xié)同的工作效率。

長沙某廠基于工業(yè)AR的卷包設(shè)備人機(jī)交互仿真系統(tǒng)的實施,為長沙易地技改項目規(guī)劃的智能制造規(guī)劃方案,提供了基于工業(yè)APP技術(shù)應(yīng)用的探索,獲得了寶貴的研發(fā)經(jīng)驗以及轉(zhuǎn)化知識,輸出了以“虛擬仿真技術(shù)融合卷接包裝備運維管理的多功能數(shù)字應(yīng)用[13]”、“以混合現(xiàn)實技術(shù)研發(fā)穿戴式雙目智能眼鏡的多維一體化感知”、“以虛擬現(xiàn)實技術(shù)開發(fā)GDX2包裝機(jī)設(shè)備操作訓(xùn)練流程及VR可視化教程”等課題軟成果和崗位人才。