韓 峰, 張 衡, 朱 鐳, 劉 虎

(1.西安工業(yè)大學 光電學院，西安 710021；2.西安應用光學研究所，西安 710065)

引言

在產(chǎn)品設計過程中，經(jīng)常用虛擬裝配技術對設計結果進行可裝配/拆卸性驗證，虛擬裝配是在虛擬環(huán)境下對計算機數(shù)據(jù)模型進行裝配關系分析的一項計算機輔助設計技術[1]。與傳統(tǒng)的裝配設計方式相比，虛擬裝配在獲取最佳裝配工藝、減少設計成本、縮短設計開發(fā)周期等領域有著不可比擬的優(yōu)勢[2]。

隨著“工業(yè)4.0”概念的提出，人類將進入以智能制造為主導的第4次工業(yè)革命?！肮I(yè)4.0”的核心理念是信息系統(tǒng)與物理系統(tǒng)的深度融合[3]。“工業(yè)4.0”的理念在未來將應用于各個研究方向，開發(fā)和設計出一系列應用系統(tǒng)[4]。CPS系統(tǒng)被定義為一個集感知系統(tǒng)、計算系統(tǒng)、通訊系統(tǒng)和控制系統(tǒng)為一體的復雜系統(tǒng)，強調(diào)信息系統(tǒng)和物理系統(tǒng)的深度融合，從而改變?nèi)伺c物理世界的交互方式[5-6]。在未來“工業(yè)4.0”的概念下，裝配仿真過程將向著智能化、多元化的方向發(fā)展，虛擬裝配逐漸表現(xiàn)出了一些限制:1) 使用者在產(chǎn)品裝配過程中，沉浸感不強，缺乏真實感；2) 針對裝配單元的交互操作均是在虛擬的環(huán)境下通過鼠標鍵盤進行，缺乏對現(xiàn)實世界的感知與交互能力；3) 無法實時顯示裝配過程，僅是通過設置裝配約束，展示裝配結果，無法判斷裝配的可操作性和合理性。

增強現(xiàn)實技術是將計算機產(chǎn)生的虛擬物體或信息與真實環(huán)境進行合并，并對景象加以增強和擴充的技術[7]。將增強現(xiàn)實技術引入到CPS系統(tǒng)中，是實現(xiàn)CPS信息系統(tǒng)與物理系統(tǒng)深度融合的重要方式。哥倫比亞大學提出了一種ARMAR(augmented reality for maintenance and repair)系統(tǒng)[8-11]，將三維模型與發(fā)動機物理單元融合，指引工人完成發(fā)動機的修復工作；沈克等人提出了一種增強現(xiàn)實環(huán)境下的物體識別與虛擬交互方法[12]，將虛擬信息與物體融合顯示；高康等人提出了一種增強現(xiàn)實環(huán)境下的虛擬裝配平臺[2]，通過零件的表面的頂點和法向量建立虛擬零件與實物的聯(lián)系，實現(xiàn)虛擬裝配操作。

本文所開發(fā)的基于增強現(xiàn)實技術的CPS虛擬裝配系統(tǒng)通過計算機視覺技術建立虛擬模型與實物裝配單元的配準關系，將虛擬模型圖像與相機采集的裝配單元圖像進行融合，從而實現(xiàn)虛擬零件裝配到真實零件的過程，圖像融合的結果實時立體輸出在視頻眼鏡中并立體顯示，增加了融合結果的真實性，達到CPS系統(tǒng)信息世界與物理世界深度融合的目的。

1 計算機視覺原理

基于增強現(xiàn)實技術的CPS虛擬裝配平臺建立在物理環(huán)境基礎上，通過虛擬模型圖像和物理裝配單元圖像融合的手段實現(xiàn)虛擬裝配仿真。在裝配過程中，虛擬三維模型圖像與物理裝配單元圖像融合的關鍵是建立正確的配準關系。常用的方法為將虛擬三維模型的空間坐標系與實物裝配單元的空間坐標系進行統(tǒng)一。追蹤定位技術識別物理裝配單元和相機在物理空間中的位置坐標，反饋給虛擬空間，在虛擬空間建立同樣的相對位置關系從而實現(xiàn)兩種坐標系的統(tǒng)一。

計算機視覺中的雙目視覺圖像定位技術是近些年來發(fā)展和完善起來的一種新型定位方式，其原理是利用視覺傳感器得到的圖像作為信息，通過三維重建技術把被測對象表面點二維投影坐標轉換成三維世界坐標，從而對目標場景進行精確地追蹤和定位[13]。

在計算機視覺系統(tǒng)中，相機的成像原理可以近似為小孔成像原理，成像模型如圖 1所示。

圖1 相機成像模型Fig.1 Camera imaging model

物理空間世界坐標系為Ow-XwYwZw，攝像機坐標系為Oc-XcYcZc，空間點P(xw,yw,zw)與圖像點Pl(u,v)之間存在(1)式的坐標變化關系。

(1)

識別物理空間特征標記點主要利用雙目視覺技術，其原理如圖2所示，圖中，P為空間中任意一點，p1和p2分別為點P在相機C1和相機C2上的成像點，O1和O2是相機C1和C2的光心。假設相機C1和C2已經(jīng)標定，設它們的投影矩陣分別為Ml和MR,根據(jù)相機的投影變化原理有(2)式：

(2)

其中(ul,vl,1)和(ur,vr,1)分別表示點P在左右相機的投影點p1和p2點的坐標，[xpypzp1]表示空間點P的物理坐標。利用最小二乘法對上述兩個方程進行求解，對空間點P進行估計。

圖2 雙目視覺技術Fig.2 Binocular vision technology

多位學者基于計算機視覺原理開展了相關研究，并驗證了原理的可靠性和準確度。比如支健輝研究了外界因素對算法原理準確性的影響[14]；王婧等人將計算機視覺原理應用于動態(tài)位移測量[15]；趙珊等人基于計算機視覺原理提出了在振動環(huán)境中動態(tài)測量結構件位移變形的方法[16]。

2 虛擬裝配平臺的搭建

2.1 物理場景構建

基于增強現(xiàn)實技術的CPS虛擬裝配系統(tǒng)的物理場景構建主要包括建立物理空間坐標系和設計視頻眼鏡結構兩個方面。建立物理空間坐標系，所有的物理設備和裝配單元的位置信息都將統(tǒng)一在該坐標系下，是實現(xiàn)圖像配準融合的基礎。視頻眼鏡結構是根據(jù)虛擬裝配系統(tǒng)的要求，設計了一種集圖像采集與立體顯示為一體的裝置。

在本系統(tǒng)的物理場景中，空間坐標系是依據(jù)場景中放置的特征標記點建立的。特征標記點如圖 3所示，為一種同心圓環(huán)結構，其外部同心圓環(huán)區(qū)域平均分成15份，采用二進制編碼，黑色為“1”，白色為“0”，便可得到15位的二進制數(shù)。外環(huán)黑白相間的不同的排列組合可以組成不同編碼的特征標記點。

圖3 特征標記點Fig.3 Feature markers

特征數(shù)碼點的識別利用圖像處理技術，對于采集到的圖像進行灰度處理和邊緣提取，正對圖像中提取的點集信息進行數(shù)據(jù)擬合處理，提取特征標記點坐標，具體算法如圖4所述。

圖4 標記信息確定流程圖Fig.4 Flow chart for marking information determination

經(jīng)過上述算法過程可以精確測得圖像中特征標記點的圖像坐標，試驗驗證結果如圖5所示。從圖中可得，上述算法識別的特征標記點結果可靠。

圖5 特征數(shù)碼點識別結果Fig.5 Results of feature digit recognition

圖6 空間坐標系Fig.6 Spatial coordinate system

在物理場景中，利用該特征數(shù)碼點建立物理空間坐標系如圖6所示。所有的特征標記點在同一平面內(nèi)線性排列，中心標記點為物理坐標系的原點，其余特征標記點構成坐標系的X軸和Y軸，垂直于該平面為Z軸。在該坐標系中，不同特征標記點的物理坐標均可實測獲得。

在虛擬裝配系統(tǒng)中，使用者佩戴視頻眼鏡進行裝配操作，視頻眼鏡結構相當于人的眼睛，在滿足系統(tǒng)功能的要求上還需符合人體工學的設計，具體如圖7所示。

圖7 視頻眼鏡結構Fig.7 Structure of video glasses

視頻眼鏡結構由圖像采集部分和立體顯示兩部分組成。圖像采集部分，在視頻眼鏡前端按照人類瞳孔位置信息安裝布局有兩個微型攝像頭，采集裝配場景的雙目圖像，實現(xiàn)立體圖像采集的功能；立體顯示部分，在視頻眼鏡結構的內(nèi)部根據(jù)立體成像原理安裝有兩個微型投影顯示器，左顯示器和右顯示器。左右顯示器通過中間擋板被物理隔離，以至于左顯示器的圖像傳輸至人的左眼，右顯示器的圖像傳輸至人的右眼，從而實現(xiàn)立體成像原理，達到系統(tǒng)立體顯示的目的。

2.2 虛擬裝配交互界面

本文搭建的虛擬裝配界面是利用Unity3D游戲引擎軟件進行設計與開發(fā)，利用VS2010編寫追蹤定位算法，并以動態(tài)鏈接庫的方式嵌入在Unity3D中，后臺運行。搭建的虛擬裝配交互界面如圖8所示，上方1號和2號視圖為視頻眼鏡裝配結果的顯示窗口，3號視圖為虛擬裝配模型顯示視圖，4號視圖為虛擬空間場景視圖。程序開始運行前，快速定位算法會建立正確的配準關系。操作者在3號窗口中首先選擇物理裝配單元的三維模型，將其放置在虛擬場景中，通過平移旋轉等交互操作，使其在模型空間的位置與物理空間位置一致；其次，選擇虛擬物體的三維模型，在4號窗口中對三維模型進行可視化裝配操作完成裝配，裝配過程實時輸出至1、2窗口立體顯示。

圖8 虛擬裝配交互界面Fig.8 Virtual assembly interaction interface

3 眼鏡結構快速定位算法

實現(xiàn)增強現(xiàn)實環(huán)境下的虛擬裝配系統(tǒng)，關鍵是完成虛擬物體三維模型投影圖像與物理場景觀察圖像的配準融合。在本文設計的系統(tǒng)中，三維模型投影圖像投影視點與物理場景觀察視點是否一致是決定兩幅圖像能否正確融合的基礎。根據(jù)系統(tǒng)物理場景的構建方式，觀察者佩戴視頻眼鏡進行裝配操作。由于眼鏡結構的不透明性，觀察者視覺上觀察到的場景圖像是眼鏡雙目相機采集并傳輸至眼鏡顯示端的圖像，因此在物理場景中，觀察視點的空間位置信息即為視頻眼鏡結構雙目相機的空間位置信息。

為實現(xiàn)圖像正確融合，本文設計了一種眼鏡結構的快速定位算法，實時定位物理空間中視頻眼鏡結構相機的位置，反饋至虛擬空間使模型投影視點與相機觀察視點一致。傳統(tǒng)的定位方法是利用雙目相機采集物理空間圖像，通過識別物理空間特征標記信息定位雙目相機的位置。該方法簡單易行，結果準確可靠，但是計算量大，識別特征標記點需要遍歷圖像中的每一個像素，無法滿足系統(tǒng)實時性的要求。本文在雙目視覺原理的基礎上提出了一種眼鏡結構的快速定位算法，通過減小特征點的識別區(qū)域提高定位算法的效率，具體如圖9所示。

圖9 視頻眼鏡結構定位算法Fig.9 Structure localization algorithm for video glasses

該算法需要在視頻眼鏡結構上設置多個光源特征標記；在物理空間安裝兩部過曝光狀態(tài)的相機采集裝配場景圖像。由于兩部相機處于過曝光狀態(tài)，因此采集的裝配場景的圖像中只有光源特征標記，可以快速識別光源特征標記，從而獲得視頻眼鏡結構的初始位置矩陣Cl。

以Cl為視頻眼鏡結構中相機的初始位置矩陣。視頻眼鏡結構相機均已標定，內(nèi)部參數(shù)矩陣為Mc，利用相機投影變換原理在視頻眼鏡采集的圖像中計算物理空間特征標記點Xi的圖像坐標，如(3)式所示：

(3)

(4)

4 應用場景驗證

為驗證本文提出的增強環(huán)境下的CPS裝配系統(tǒng)方案的可行性、可靠性及有效性，作者在實驗室環(huán)境依據(jù)上文搭建的軟硬件平臺進行了驗證實驗。計算機采用CPU 3.30 GHz，內(nèi)存為4.0 GB；相機采用Balser-1300GC、130萬像素級別的彩色工業(yè)相機和M5018-MP鏡頭。軟件系統(tǒng)搭建使用VS2010和Unity4.5版本。使用者佩戴視頻眼鏡以緩慢的速度圍繞著工作平臺運動。視頻雙目攝像頭的圖像采集速率為30 fps，基本滿足視頻流輸出的要求；開發(fā)相機接口，保證雙目攝像頭采集圖像的同步性。交互裝配過程如圖 10所示。

圖10 交互裝配過程Fig.10 Interactive assembly process

在該操作界面中，布滿特征標記點的黑色標記板決定了物理空間坐標系的位置，白色標記板決定了虛擬空間的坐標系，如圖 10 (a)所示。實物裝配單元刀具夾在物理空間位置固定，使用者佩戴視頻眼鏡需通過操作鼠標鍵盤將虛擬刀具模型裝配到刀具夾上。在裝配過程開始階段，首先建立配準關系；在虛擬空間，刀具的空間位置與其在物理空間一致，利用眼鏡結構快速定位算法定位視頻眼鏡位置信息反饋至虛擬空間，通過觀察眼鏡顯示窗口刀具夾的三維模型與其實物的重合程度判斷配準關系是否建立正確，如圖 10(b)所示。操作者通過操作鼠標鍵盤等交互方式完成虛擬的刀具裝配模型裝配在實物刀具夾裝配單元的裝配仿真過程，交互操作過程如圖 10 (c)所示。交互操作之后，虛擬的刀具將裝配在物理空間的刀具夾上，并通過視頻眼鏡實時輸出顯示，能使操作者真正感受到虛擬對象與物理對象的融合，從而實現(xiàn)信息物理世界的聯(lián)合，融合結果如圖 10 (d)所示。

5 結論

本文基于追蹤定位技術開發(fā)了增強現(xiàn)實環(huán)境下的CPS虛擬裝配，實現(xiàn)了虛擬三維模型與物理裝配單元的裝配仿真過程。結合視頻眼鏡結構的設計，通過圖像融合的方式實現(xiàn)了CPS系統(tǒng)信息世界與物理世界深度聯(lián)合的要求，初步改變了人與物理世界的交互方法，為進一步開展CPS工程研究提供了基礎。此外，針對CPS系統(tǒng)實時性的要求，本文提出了一種眼鏡結構的快速追蹤定位算法，通過降低特征點圖像檢索區(qū)域提高了系統(tǒng)的效率。