孫卓見，李紅衛(wèi)，左 康，趙 飛，梅雪松

(1.西安交通大學 機械工程學院，西安 710049；2.西安飛機工業(yè)(集團)有限責任公司，陜西 閻良 710089)

0 引言

智能制造現(xiàn)已成為各國制造業(yè)發(fā)展的重要方向，我國在2015年推出“中國制造 2025”戰(zhàn)略。智能工廠作為工業(yè) 4.0 的核心，已成為了各國研究的重點。

在傳統(tǒng)加工制造業(yè)的車間生產(chǎn)過程中，許多工藝流程的過程記錄涉及設備儀表數(shù)據(jù)的讀取。制造過程數(shù)據(jù)是生產(chǎn)質量管理和控制的重要信息來源。但由于目前我國工廠內(nèi)現(xiàn)存老舊設備較多，改造阻力大，多數(shù)生產(chǎn)流程還采用人工記錄紙質表格的方式傳遞冗雜的數(shù)據(jù)，這種方式耗時耗力，并存在不透明短板，已經(jīng)成為工廠生產(chǎn)工作的痛點。智能工廠建設離不開數(shù)字化依托，制造數(shù)據(jù)是實現(xiàn)數(shù)字化車間的關鍵所在，設計一種數(shù)字化制造數(shù)據(jù)管理系統(tǒng)，規(guī)范制造過程數(shù)據(jù)記錄流程備受關注。

近年在多數(shù)工業(yè)4.0和智能制造的規(guī)劃文件中，增強現(xiàn)實(AR，augmented reality)技術都被屢次提起[1]。增強現(xiàn)實技術的理念旨在將虛擬系統(tǒng)信息和現(xiàn)實世界融合顯示，將增強現(xiàn)實技術應用于生產(chǎn)制造過程中，解決工作痛點，提高工作效率是近年的熱門方向。增強現(xiàn)實應用多見于生產(chǎn)培訓、輔助裝配檢修和遠程指導等場景，作為獨立環(huán)節(jié)的輔助工具。德國卡爾斯魯厄理工學院提出了基于顯示屏的產(chǎn)線AR裝配引導方案[2]，給予了增強現(xiàn)實在實際生產(chǎn)中應用很好的啟發(fā)；坦佩雷理工大學展示了一種基于 AR 的實驗室場景人機識別與交互模型[3]，探索了工業(yè)環(huán)境下的人機交互方式；倫敦帝國學院在工業(yè)條件下的 AR 導航路徑規(guī)劃做出了實驗和探索[4]，為AR應用的拓展做出了良性探索。

隨著大數(shù)據(jù)、云計算技術的加入，智能工廠的概念已經(jīng)日益擴充為龐大的體系框架，在工業(yè)數(shù)字化轉型實現(xiàn)智能制造的過程中，AR工具不僅是孤立環(huán)節(jié)的輔助工具，更是數(shù)字孿生系統(tǒng)與個人虛實交互的媒介[5]。業(yè)界期盼成熟的AR應用出現(xiàn)在生產(chǎn)過程中，助力減少工作量，充分發(fā)揮人的作用，提高生產(chǎn)效率，促進加工產(chǎn)線向網(wǎng)絡化、自動化、智能化方向發(fā)展。

為解決上述問題，提出了基于增強現(xiàn)實的設備運行狀態(tài)監(jiān)測系統(tǒng)，系統(tǒng)通過軟件架構設計和人工智能方法的應用，實現(xiàn)了設備運行狀態(tài)的自動化識別、上傳和錄入。結果表明：系統(tǒng)切實提高了生產(chǎn)效率，輔助了生產(chǎn)質量管控，在加工制造業(yè)有一定的可靠性。

1 系統(tǒng)結構及原理

1.1 系統(tǒng)總體架構設計

制造技術的發(fā)展需求變化，帶來制造業(yè)核心競爭力的深刻變化，制造需求向多品種多批量、高質量低成本、柔性制造快速響應、節(jié)能環(huán)保發(fā)展。我國工業(yè)自動化基礎薄弱，雖然各企業(yè)進行了自動化流程投入，部署了不同的制造管理系統(tǒng)，但大部分企業(yè)自動化沒有為信息化布局，造成數(shù)據(jù)采集、管理、利用的難題，沒有真正實現(xiàn)系統(tǒng)融合。企業(yè)數(shù)字化轉型的現(xiàn)狀面臨著設備龐雜、系統(tǒng)多元異構、通訊協(xié)議規(guī)范不統(tǒng)一的現(xiàn)實問題。從系統(tǒng)架構的角度分析，采用前后端分離架構，使工業(yè)系統(tǒng)的各功能模塊解耦，在一種通用的連接協(xié)議下實現(xiàn)交互是提高系統(tǒng)開發(fā)效率，實現(xiàn)程序復用的有效方式，也是實現(xiàn)良好兼容，打通系統(tǒng)信息孤島的可持續(xù)發(fā)展模式。

旨在使延遲和網(wǎng)絡交互最小化，同時使組件實現(xiàn)的獨立性和拓展性最大化，系統(tǒng)方案采用RESTful[6]風格的前后端分離架構。采用HTTP方法基于統(tǒng)一接口和通用載體，通過數(shù)據(jù)庫、應用和RESTful API的交互來完成各種事務功能的實現(xiàn)，統(tǒng)一采用JSON格式作為載體承載數(shù)據(jù)，即使應用客戶端與服務器端技術構造不同，也不會影響通信。架構基本形式如圖1所示。

圖1 系統(tǒng)總體架構

設備儀表圖像通過架設工業(yè)相機采集，通過工業(yè)網(wǎng)關存入服務端工藝數(shù)據(jù)庫。工藝數(shù)據(jù)庫存儲生產(chǎn)任務信息、生產(chǎn)工藝流程信息、工作人員信息、工廠設備信息、制造過程數(shù)據(jù)等多維度數(shù)據(jù)，以支持多工藝流程制造和廠房設備人員變動情況下的生產(chǎn)過程數(shù)據(jù)記錄。另外，服務端部署基于深度學習的OCR識別模塊和后臺數(shù)據(jù)庫管理模塊，利用服務器算力優(yōu)勢減少終端負載，通過RESTful風格，其他模塊只需要向API發(fā)出抽象的請求而不用關心相應的數(shù)據(jù)庫邏輯實現(xiàn)，各應用模塊之間實現(xiàn)了解耦，可以運用靈活的技術棧實現(xiàn)需求功能。工作人員在生產(chǎn)過程中通過AR終端登錄系統(tǒng)，按照生產(chǎn)任務提示操作，即可完場制造過程數(shù)據(jù)的記錄保存，企業(yè)ERP系統(tǒng)通過與服務器端的API交互同步數(shù)據(jù)，即可獲得制造數(shù)據(jù)，實現(xiàn)了生產(chǎn)流程中過程數(shù)據(jù)記錄的數(shù)字化。

1.2 工藝數(shù)據(jù)庫及管理系統(tǒng)設計

工藝數(shù)據(jù)庫是系統(tǒng)的重要組成模塊，基礎數(shù)據(jù)用于支撐系統(tǒng)功能邏輯的實現(xiàn)，生產(chǎn)過程數(shù)據(jù)的存儲和交互完成記錄流程的數(shù)字化。工藝數(shù)據(jù)庫包含多維度的制造數(shù)據(jù)信息，其中生產(chǎn)任務信息實時與企業(yè)的訂單管理相關系統(tǒng)同步更新，實時監(jiān)聽并生成系統(tǒng)內(nèi)部任務，派發(fā)至指定車間和工作人員；生產(chǎn)過程工藝流程及相關規(guī)范數(shù)據(jù)通過數(shù)據(jù)庫后臺管理系統(tǒng)錄入，按數(shù)據(jù)庫格式形成工藝執(zhí)行文件，以便根據(jù)產(chǎn)品類型提取，在生產(chǎn)中實現(xiàn)引導式呈現(xiàn)；工作人員信息、工廠設備信息等工廠基本信息通過對企業(yè)已有系統(tǒng)的數(shù)據(jù)交換或后臺錄入，以支撐系統(tǒng)角色權限管理和任務下發(fā)；制造過程數(shù)據(jù)包括生產(chǎn)中所需記錄的圖像信息，識別結果，數(shù)據(jù)曲線圖，數(shù)據(jù)表等形式，分別來源于相機采集，識別模塊和AR終端。工藝數(shù)據(jù)庫的關鍵數(shù)據(jù)如圖2所示。

圖2 工藝數(shù)據(jù)庫設計

后臺管理系統(tǒng)使用REACTJS編寫，用于工藝數(shù)據(jù)庫與其他系統(tǒng)同步數(shù)據(jù)與系統(tǒng)多維信息的手動錄入和維護，僅限管理員用戶登錄。除工廠基本設備、人員信息，工藝執(zhí)行文件外，后臺管理系統(tǒng)還維護系統(tǒng)額外鋪設的相機和終端信息，給予了系統(tǒng)良好的拓展性。

2 關鍵技術闡述

生產(chǎn)過程中除了需要記錄日期、時間等基本數(shù)據(jù)，多數(shù)流程還涉及設備儀表的讀取，通過工業(yè)相機實現(xiàn)自動化圖像采集，可以減少一線工作人員的記錄負擔。由于實際工作場景干擾因素較多，使用傳統(tǒng)的數(shù)字圖像處理方法魯棒性較差。因此采用深度學習的方法處理圖像，以達到較好的檢測識別效果，并為系統(tǒng)向多工藝流程的推廣奠定基礎。

字符識別分為字符的檢測和識別兩個具體步驟，分別采用改進的CTPN[7]神經(jīng)網(wǎng)絡框架和CRNN循環(huán)神經(jīng)網(wǎng)絡實現(xiàn)，編程語言為Python。

2.1 儀表文本檢測和預處理算法

結合文本行一般以水平長矩形的形式存在，而且文本行中每個字都有間隔的特點，近年的文本檢測論文中提出了文本檢測任務拆分的思想：首先檢測某小部分是否屬于文本行，最后將屬于同一文本行的部分合并，便得到預測線框[8-10]。一個完整的文本框中多個小文本框集合可以視作序列模型，可以使用RNN模型。因為一個小文本框的預測同時依賴于左右兩邊的預測結果，因此采用BiLSTM做預測準確率會大大提升。

圖3 文本檢測算法流程

傳統(tǒng)的CTPN網(wǎng)絡采用VGG16網(wǎng)絡作為特征提取框架，而后來出現(xiàn)的殘差神經(jīng)網(wǎng)絡(ReaNet)能更好地防止模型退化，增強學習效果。使用 ResNet50[11]的前5層卷積層作為特征提取骨干網(wǎng)絡,用于提取圖像空間的語義信息,得到特征圖。卷積后的特征將送入BiLSTM繼續(xù)學習，最后接一層全連接層輸出參數(shù)：2k個縱向坐標y，用于小邊框定位；2k個評分，分別是該線框內(nèi)容是文本或背景的評分，用于評估文本置信度；k個x的水平偏移量，用于水平邊緣修正，提高線框精確度。

文本行構建過程將置信度 >0.7的連續(xù)選區(qū)相連接。定義一個選區(qū) Bi的鄰居Bj：Bj水平距離上離Bi最近；該距離效應50像素；二者垂直重疊 >0.7。如果Bi、Bj同時互相滿足鄰居關系，兩個選區(qū)聚集為一個線框，文本行由連續(xù)具有相同選區(qū)的線框連接構建。對最終獲得的文本行區(qū)域分割結果進行過濾，得到儀表數(shù)據(jù)區(qū)域，對其進行灰度和二值化處理，以提高后續(xù)識別的精確度。處理后的圖片如圖4所示。

圖4 圖像分割和預處理結果

2.2 文本識別算法

文本識別分為單字切割和分類兩步[12]，采用CRNN+CTC識別機制。如圖5所示。

圖5 文本識別算法流程

卷積層CNN網(wǎng)絡用于提取輸入圖像特征圖，在VGG16的第3第4個最大池化層CRNN采取的是1×2的矩形池化窗口，有別于經(jīng)典的VGG16的2×2的正方形池化窗口，因為文本圖像多數(shù)都是高較小而寬較長，所以其特征圖也是這種高小寬長的矩形形狀；循環(huán)網(wǎng)絡層RNN是一個深層雙向LSTM網(wǎng)絡，在卷積特征的基礎上繼續(xù)提取文字序列特征。對于RNN輸出如果使用常見的Softmax Loss將帶來巨大的標記對其樣本工作量，所以采用CTC Loss訓練網(wǎng)絡。CTC本質是一種通過遞推，快速計算梯度的計算方法，不需要額外對齊樣本。

3 系統(tǒng)軟件設計

3.1 RESTful API設計

RESTful API基于NestJS框架進行搭建開發(fā)，并使用TypeORM與數(shù)據(jù)庫連接，編程語言為TypeScript。API函數(shù)處理關系流程如圖6所示。

圖6 API函數(shù)處理流程

NestJS是一個Node.js服務器端的應用程序框架，支持TypeScript，可以配合數(shù)據(jù)庫關系映射TypeORM快速開發(fā)接口網(wǎng)關。隨著時間的推移，應用程序會變得越來越大，因此類型檢查非常重要。TypeScript是一種強類型語言，彌補了JavaScript的弱類型特點給數(shù)據(jù)庫交互帶來的不便。TypeORM是連接數(shù)據(jù)庫的關系映射工具。數(shù)據(jù)庫的邏輯實現(xiàn)和管理交互都可以通過ORM中間件，實現(xiàn)使用面向對象的編程操作關系型數(shù)據(jù)庫，減小業(yè)務量的同時便于更新維護。

3.2 AR端軟件設計

為了不限于硬件情況使用，AR終端應用基于移動端廣泛的Android平臺編寫，支持包括AR眼鏡、平板電腦、手機等多種終端設備進行交互。系統(tǒng)用戶角色分為普通工作人員和管理員。工作人員負責生產(chǎn)過程中使用本系統(tǒng)進行圖像采集和數(shù)據(jù)記錄，管理員負責檢視數(shù)據(jù)記錄，管理異常記錄。系統(tǒng)交互和角色關系如圖7所示。

圖7 AR端應用邏輯流程圖

移動端應用程序作為系統(tǒng)前端應用，為了獲取最大的設備兼容性和跨平臺能力，沒有使用Android原生的Java/Kotlin語言進行應用開發(fā)。而是基于當前流行的Vue.js語言前端框架，按應用邏輯編寫了Html5頁面及其腳本，頁面數(shù)據(jù)的請求和獲取完全通過與前文API的交互實現(xiàn)。利用JavaScript在前端領域的優(yōu)勢，通過盡可能簡單的 API 實現(xiàn)響應的數(shù)據(jù)綁定和組合的視圖組件，可以快速構建包括動態(tài)圖表元素的用戶界面。

然而瀏覽器模式的應用往往在性能方面表現(xiàn)不佳，工程中往往采用第三方打包工具將前端轉換為原生應用。目前常用的uni-app頁面靈活性較差，因此采用了APICloud工具打包，利用 “混合渲染”和模塊化機制，為APP提供與原生幾乎一致的性能。程序功能包括但不限于任務監(jiān)聽、用戶登錄、任務與工藝的匹配、工藝流程的引導式呈現(xiàn)、多維數(shù)據(jù)錄入，網(wǎng)絡通訊等功能。

工人攜帶AR終端進入生產(chǎn)車間，登錄系統(tǒng)后根據(jù)生產(chǎn)任務，在車間制造場景中通過應用程序操作提示進行生產(chǎn)操作并記錄過程數(shù)據(jù)，采集相應圖片信息，服務器端實時分析輸出識別結果，通過無線網(wǎng)絡呈現(xiàn)在AR終端，實現(xiàn)場景信息的虛實融合，工人可以對結果進行人工修正和添加備注。管理員登錄后可以查看各項生產(chǎn)任務的數(shù)據(jù)提交情況和圖像信息，并有權改變提交記錄的生效狀態(tài)，對錯誤作業(yè)進行駁回。

4 實驗結果與分析

4.1 實驗步驟和方法

實驗以熱處理生產(chǎn)線為試點對象，探索在設備與涉密生產(chǎn)管控網(wǎng)絡隔離條件下，研究傳統(tǒng)生產(chǎn)線設備基于機器視覺識別的生產(chǎn)過程控制和原始記錄的留存方法，避免對傳統(tǒng)設備改造的復雜過程和高成本的付出。在一定程度上提高生產(chǎn)效率，減輕一線員工的工作負擔，實現(xiàn)如下目標：

通過數(shù)據(jù)同步的方式，同步園區(qū)網(wǎng)和工業(yè)網(wǎng)數(shù)據(jù)，實現(xiàn)生產(chǎn)任務下達，工藝規(guī)程數(shù)據(jù)同步、任務數(shù)據(jù)提交的功能。部署數(shù)據(jù)管理服務，組織和重新映射同步過來的生產(chǎn)數(shù)據(jù)，統(tǒng)一管理視覺識別設備、虛擬設備，實現(xiàn)整個生產(chǎn)過程需要的數(shù)據(jù)組織管理的功能。部署視覺識別服務、生產(chǎn)過程執(zhí)行管控與操作指導服務，進行數(shù)據(jù)實時采集、識別、反饋，實現(xiàn)生產(chǎn)管控和記錄的功能。

4.2 系統(tǒng)部署與應用實現(xiàn)

在實際熱處理流程中，根據(jù)生產(chǎn)訂單的不同，各種類型的熱處理工藝流程不盡相同，工人需要根據(jù)當前生產(chǎn)任務選擇合適的熱處理方法，查閱工藝流程卡片或說明書，進行實際生產(chǎn)操作并手動記錄過程數(shù)據(jù)填寫紙質表格。

在部署本AR系統(tǒng)后，后臺管理系統(tǒng)支持數(shù)據(jù)同步，按約定的數(shù)據(jù)表和字段，將數(shù)據(jù)進行編碼，實現(xiàn)多表數(shù)據(jù)同步，同步數(shù)據(jù)包括但不限于系統(tǒng)用戶、用戶卡號、基于組織機構與設備管理層次的設備類別、設備、設備安裝位置、配置儀表、儀表示數(shù)、結構化工藝執(zhí)行文件、任務數(shù)據(jù)。實現(xiàn)了生產(chǎn)任務、工藝流程、生產(chǎn)設備、人員的自動對應。支持將系統(tǒng)本身的數(shù)據(jù)訪問能力以第三方接口的方式提供給用于二次開發(fā)的用戶，以配置的方式接入到其他相關業(yè)務場景中，實現(xiàn)和其他系統(tǒng)的低耦合集成。

移動終端支持按用戶名和密碼或刷卡方式登錄。系統(tǒng)提供菜單導航功能，顯示當前登錄用戶的任務狀態(tài)及任務數(shù)據(jù)統(tǒng)計。系統(tǒng)提供任務列表功能，以卡片的形式展示任務列表，顯示任務的簡單信息。按當前登錄用戶角色顯示當前任務列表，可在導航菜單中查看和篩選當前的任務。系統(tǒng)提供工序列表功能，展示當前任務所屬工藝執(zhí)行文件的詳細說明和工序的列表，以顏色區(qū)分工序狀態(tài)，顯示該工序所需要記錄的記錄信息。系統(tǒng)提供多種實測數(shù)據(jù)記錄方式供配置選用，記錄方式包括：文本框、日期選擇框、下拉選擇框、設備獲取、電子曲線等。根據(jù)原始記錄中的各理論值與對應實際值的關系，自動判斷熱表處理過程的合格與否，自動進行后續(xù)處理。

4.3 實驗結果分析

經(jīng)過培訓后，熱處理試點車間工作人員開始將AR系統(tǒng)應用到實際生產(chǎn)中，在按規(guī)范提示生產(chǎn)作業(yè)的同時通過系統(tǒng)記錄相應數(shù)據(jù)，進行多型號產(chǎn)品混線生產(chǎn)，并通過后臺將數(shù)據(jù)提交至西飛質量管控系統(tǒng)。

使用基于AR設備的設備狀態(tài)檢測系統(tǒng)，解放了工作人員的雙手，只需按AR端引導操作，點擊記錄按鈕，在規(guī)范生產(chǎn)流程的同時即可實時記錄各種所需的過程數(shù)據(jù)，并保存相應的現(xiàn)場證據(jù)以供查證，減少人工環(huán)節(jié)提高效率的同時減少了失誤率，實現(xiàn)了無紙化流程。

由于工廠設備環(huán)境下字體固定，視角扭曲較少，識別任務較為簡單，儀表數(shù)據(jù)基本達到無誤差識別。結果文本與處理后的圖片一起存儲入庫，與該任務其他相關數(shù)據(jù)形成記錄表，以供檢驗查詢。企業(yè)的質量管控系統(tǒng)通過后臺的數(shù)據(jù)庫同步便可直接獲得真實的制造數(shù)據(jù)，所有流程都基于電子設備和網(wǎng)絡通訊完成，初步實現(xiàn)了生產(chǎn)過程數(shù)據(jù)數(shù)字化。

5 結束語

在西安飛機工業(yè)(集團)有限責任公司基于AR的設備運行狀態(tài)監(jiān)測研究項目中的應用結果表明，本文涉及的基于AR的設備運行狀態(tài)監(jiān)測系統(tǒng)，利用AR終端設備解放雙手，結合深度學習方法實現(xiàn)圖像識別，通過虛實信息融合進行生產(chǎn)引導和數(shù)據(jù)記錄、通過數(shù)據(jù)庫聯(lián)動實現(xiàn)生產(chǎn)訂單的智能處理和與質量系統(tǒng)的數(shù)據(jù)交互，提供了全方位的生產(chǎn)過程數(shù)據(jù)記錄解決方案，規(guī)范了多工藝混線生產(chǎn)流程，實現(xiàn)了無紙化操作，提高了飛機生產(chǎn)車間工作效率和記錄準確率，具有重要的現(xiàn)實意義和應用價值。

介紹了基于AR的設備運行狀態(tài)監(jiān)測系統(tǒng)及其在飛機制造廠商的應用。該系統(tǒng)采用AR 增強現(xiàn)實技術，構建了標準化生產(chǎn)車間多維數(shù)據(jù)的工藝數(shù)據(jù)庫，引入了深度學習算法，結合LSTM和CTC算法，發(fā)揮增強現(xiàn)實技術在虛實融合、智能引導、手勢語音交互等方面的技術優(yōu)勢，用于車間生產(chǎn)工作人員的輔助，可以解決傳統(tǒng)生產(chǎn)車間數(shù)據(jù)記錄工作中操作冗雜、人員效率低、數(shù)據(jù)存在真實性疑問、響應時間慢等質量管理痛點，提高了現(xiàn)場作業(yè)的規(guī)范性；可大幅減少人工記錄的工作量，提高車間生產(chǎn)工作效率和數(shù)據(jù)記錄準確率。