曾 靜

（南京電子技術(shù)研究所，江蘇 南京 210039）

電子產(chǎn)品的集成化、模塊化發(fā)展在提升其性能的同時也增大了裝配的難度[1]，使得操作人員培訓周期長、裝配質(zhì)量不穩(wěn)定、效率低下[2-3]，基于增強現(xiàn)實（Augmented Reality，AR）的輔助裝配系統(tǒng)是提高員工裝配效率和質(zhì)量的有效手段[4]。從20世紀90年代起，增強現(xiàn)實技術(shù)在飛機機艙輔助布線、員工培訓等方面得到廣泛應(yīng)用[5-6]。

針對具有大基體、小零部件特征的電子產(chǎn)品裝配，利用增強現(xiàn)實技術(shù)構(gòu)建一套輔助裝配系統(tǒng)。通過分析電子產(chǎn)品的裝配工藝，對其裝配工藝信息進行建模，實現(xiàn)了信息管理、裝配引導等功能。在裝配過程中，通過將虛擬的工藝信息疊加到真實裝配環(huán)境中，實時對裝配員工進行引導和培訓，縮短了培訓周期，提高了裝配效率。

1 方案設(shè)計

面向電子產(chǎn)品的增強現(xiàn)實輔助裝配系統(tǒng)由便攜式可拆卸裝配平臺和軟件系統(tǒng)組成。軟件系統(tǒng)部署在一臺主機上，系統(tǒng)主要包括信息管理模塊、裝配引導模塊和零部件識別模塊。其中，信息管理模塊主要對各部分信息包括工藝、文字、圖像等信息進行分類、轉(zhuǎn)換、組織與關(guān)聯(lián)，并在裝配過程中實時調(diào)用相應(yīng)的信息進行虛實融合；裝配引導模塊主要對待裝配體零部件的裝配位置進行引導；零部件識別模塊主要在待裝配區(qū)域識別出所需裝配的零部件，防止裝配順序出錯。圖1為系統(tǒng)總體結(jié)構(gòu)圖。

圖1 系統(tǒng)總體結(jié)構(gòu)

1.1 增強現(xiàn)實硬件系統(tǒng)設(shè)計

以頭盔顯示器、google眼鏡等貨架增強現(xiàn)實設(shè)備機動性好但價格昂貴、周邊視野有限，長時間使用甚至會引起操作人員的不適[7-8]。本設(shè)計的基于便攜式可拆卸裝配平臺的增強現(xiàn)實硬件系統(tǒng)，便攜式可拆卸裝配平臺被分為裝配區(qū)與待裝配區(qū)，采用鋁合金桁架搭建的龍門結(jié)構(gòu)。系統(tǒng)使用兩個普通的RGB攝像機從不同的視角捕捉工作區(qū)域的幀數(shù)據(jù)，一個攝像機為AR攝像頭，固定在三角架上，主要從裝配者視角捕捉裝配區(qū)的視頻幀并傳輸?shù)娇蛻舳诉M行引導信息與真實裝配場景的虛實融合并在顯示器上呈現(xiàn)。另一個攝像機為識別攝像頭，固定在龍門結(jié)構(gòu)的支架正上方，自上而下地捕捉待裝配區(qū)域的視頻幀并識別出下一步所需裝配的零部件，作為自動觸發(fā)裝配引導信息的響應(yīng)條件。平臺左側(cè)為顯示增強現(xiàn)實引導指令或信息的顯示器。增強現(xiàn)實硬件系統(tǒng)如圖2所示。

圖2 增強現(xiàn)實硬件系統(tǒng)示意圖

1.2 軟件系統(tǒng)的設(shè)計

基于增強現(xiàn)實的輔助裝配軟件系統(tǒng)采用模塊化設(shè)計，由信息管理模塊、裝配引導模塊及零部件識別等模塊組成。

1.2.1 信息管理模塊

信息管理是根據(jù)對裝配作業(yè)的認知，對裝配工藝等信息進行獲取、維護和管理，常用的方法是進行信息建模。信息模型能夠增強數(shù)據(jù)之間的聯(lián)系，是建立數(shù)據(jù)管理的基礎(chǔ)。典型的電子產(chǎn)品具有大基體小接插件的特點，對此創(chuàng)建的信息模型結(jié)構(gòu)如圖3所示。

圖3 信息模型結(jié)構(gòu)圖

在信息模型中，將裝配的對象具體分為三個層次，分別為零件層、部件層和裝配體層。將相關(guān)的裝配工藝信息分為兩類，分別為工藝對象信息和工藝方法信息。工藝對象信息包括零部件的模型信息和引導位姿信息，而工藝方法信息主要是在裝配時顯示的指導信息，包括文本、圖片、動畫等信息。在每一個層次中，存在若干個節(jié)點，每個節(jié)點代表一個裝配的過程，在進行裝配時需要調(diào)用裝配對象的各個工藝信息來引導裝配，最后對裝配過程進行視頻錄制，輸出并保存裝配的視頻，方便新員工反復(fù)進行觀看學習。

信息模型是將各種實體以及關(guān)系的抽象化，并不能直接以此構(gòu)建相關(guān)的數(shù)據(jù)庫，下面將信息模型的結(jié)構(gòu)圖轉(zhuǎn)化成數(shù)據(jù)庫能處理和構(gòu)建的邏輯設(shè)計圖。具體的數(shù)據(jù)庫邏輯設(shè)計圖如4所示。

圖4 數(shù)據(jù)庫邏輯關(guān)系E-R圖

裝配工藝信息按照信息模型進行分解，通過信息管理界面進行信息錄入、編輯和修改，以構(gòu)建的數(shù)據(jù)庫進行存儲和調(diào)用，可以適用于不同的裝配任務(wù)。

1.2.2 裝配引導模塊

裝配引導是保證正確裝配的基礎(chǔ)。通過在真實環(huán)境中渲染正確裝配的虛擬零部件及裝配動畫、圖片、文本等其他信息來實現(xiàn)裝配引導。其中獲取待裝配零件裝配的正確位姿是渲染引導模型的關(guān)鍵。

依托Assimp（Open Asset Import Library）進行不同格式模型的預(yù)處理及加載，并使用開源圖形庫OpenGL進行圖像渲染。為了將待裝配的零件模型以正確的姿態(tài)投影到圖像的正確位置上，其過程需要找到3D點與其2D投影之間的對應(yīng)關(guān)系或是通過使用合成或基準標記作為世界坐標系的原點再進行人工標定位姿，而使用aruco模塊進行模型注冊是近幾年比較成熟的解決方案[9]。

位姿標定流程具體分為4個步驟：

（1）通過aruco模塊自動生成aruco方形標記，并固定在裝配區(qū)中電子產(chǎn)品的大基體上。由AR攝像頭對采集的裝配區(qū)域視頻幀進行標記識別，把識別出的標記中心作為世界坐標的中心。

（2）對AR攝像頭進行標定。使用張正友相機標定法[10]對AR攝像頭進行標定，獲取相機的內(nèi)置參數(shù)，為虛擬模型的注冊奠定基礎(chǔ)。

（3）調(diào)整渲染模型至正確的裝配位姿。初次加載并渲染待裝配零件的虛擬模型時，模型默認初始位置在世界坐標系的中心而不是渲染注冊在正確的裝配位置上。對此，對于每一個待裝配的零件的裝配位置需要進行手工調(diào)整標定。通過在裝配引導的位姿調(diào)整及標定界面，調(diào)整模型的6個自由度及縮放系數(shù)來確定正確的裝配位姿，如圖5所示。

圖5 裝配引導的位姿調(diào)整及標定界面

（4）將標定的位姿進行記錄。在標定界面對調(diào)整后的6自由度數(shù)據(jù)及縮放系數(shù)保存到數(shù)據(jù)庫中，以便在裝配過程中實時調(diào)用，渲染裝配正確的零部件模型來引導新員工進行裝配。通過標定正確的裝配位姿并實時渲染不同的零部件模型，可以使系統(tǒng)適應(yīng)不同的裝配引導任務(wù)。

1.2.3 零部件識別模塊

零部件識別是進行裝配引導的關(guān)鍵。通過對真實裝配環(huán)境中的不同零部件進行三維識別，獲取各零件對應(yīng)的裝配引導信息，實現(xiàn)對目標產(chǎn)品的裝配引導。

采用Vuforia中基于模型的方法進行零部件三維識別，其基于模型的目標識別依賴于目標物的三維模型數(shù)據(jù)集[11]。基于Vuforia的目標識別可分為離線階段和在線階段，離線階段主要是獲取目標模型的數(shù)據(jù)集，在線階段主要是進行目標識別。

離線階段，借助ModelTarget可以生成相應(yīng)零件模型的數(shù)據(jù)集[12]，其中ModelTarget是與Vuforia插件配套使用的數(shù)據(jù)集采集軟件，數(shù)據(jù)集采集過程是：首先將零件模型導入到ModelTarget軟件中；然后設(shè)置模型真實物理尺寸，設(shè)定場景中零部件的識別角度，最后生成零部件數(shù)據(jù)集。在線階段，利用離線階段采集的數(shù)據(jù)集進行零部件識別，并將根據(jù)識別結(jié)果進行零部件的裝配引導，圖6為在線階段零部件識別流程。

圖6 在線零部件識別流程

2 裝配實例

以某型號電子產(chǎn)品的主機機箱為對象，對增強現(xiàn)實輔助裝配系統(tǒng)進行了功能驗證，并選定“安裝散熱風扇”作為演示裝配任務(wù)。為增強現(xiàn)實裝配場景布置，裝配平臺上擺放了裝配對象以及裝配工具，如圖7所示。

圖7 裝配場景布置

首先將散熱風扇放在零件識別區(qū)域進行目標識別，當散熱風扇被識別時，零件識別界面左上角顯示“TRACKED”字樣，提示操作人員散熱風扇已經(jīng)識別到了，如圖8所示。

圖8 識別到散熱風扇

然后將識別信息傳輸?shù)窖b配引導界面，裝配引導模塊根據(jù)識別信息加載相應(yīng)的裝配引導信息到裝配場景中，根據(jù)虛擬模型動畫、工藝文字提示，將散熱風扇安放在機箱中相應(yīng)的位置，如圖9所示。最后根據(jù)箭頭和螺釘安裝位置虛線等信息，使用M2螺釘將散熱風扇固定在主板上。經(jīng)驗證，滿足設(shè)計要求。

圖9 根據(jù)提示信息進行裝配

3 結(jié)語

從硬件和軟件兩方面設(shè)計并實現(xiàn)了面向電子產(chǎn)品的增強現(xiàn)實輔助裝配系統(tǒng)，在硬件方面設(shè)計了基于便攜式可拆卸裝配平臺的增強現(xiàn)實硬件系統(tǒng)，其中AR攝像頭和識別攝像頭均可進行調(diào)節(jié)，適用于不同型號的電子產(chǎn)品裝配需求；在軟件方面，分三個模塊設(shè)計并實現(xiàn)了輔助裝配系統(tǒng)，通過將虛擬模型信息、工藝文本信息、二維圖片信息作為裝配提示信息，實現(xiàn)了對某型號電子產(chǎn)品主機散熱風扇的裝配引導。該系統(tǒng)實現(xiàn)了裝配信息的統(tǒng)一編輯和管理，能夠根據(jù)裝配需要在線進行引導信息的修改；此外該系統(tǒng)還實現(xiàn)了裝配引導功能和零件識別功能的分離，進一步提高了系統(tǒng)的靈活性和拓展性。該系統(tǒng)基本實現(xiàn)了對大基體，小零部件特征的電子產(chǎn)品輔助裝配需求，為解決增強現(xiàn)實在特定工業(yè)領(lǐng)域的應(yīng)用提供了一定的思路。該系統(tǒng)提高了企業(yè)操作工人的裝配效率，縮短人員培訓成本，具有一定的經(jīng)濟價值。