王 春，張嘉亮，矯恒超，張奕奕，劉 剛

(1.中國(guó)石化青島安全工程研究院，山東青島 2660712.國(guó)家安全生產(chǎn)監(jiān)督管理總局化學(xué)品登記中心，山東青島 266071)

虛擬現(xiàn)實(shí)三維重建技術(shù)在制造業(yè)，影視業(yè)等行業(yè)得到了較廣泛的應(yīng)用，主要采用激光掃描數(shù)據(jù)三維重建、基于圖像的三維重建和人工交互式幾何建模等技術(shù)。激光掃描數(shù)據(jù)三維重建和基于圖像的三維重建所構(gòu)建的模型存在點(diǎn)云數(shù)據(jù)量大，數(shù)據(jù)處理難度大，數(shù)據(jù)易丟失等問(wèn)題。綜合考慮，傾向于選擇人工交互式幾何建模重建的方法，但該方法在三維工廠(chǎng)數(shù)字化建模過(guò)程中工作量龐大。以石化裝置為例，芳烴裝置需要投入約40人月，延遲焦化裝置需要約20人月，一個(gè)石化企業(yè)通常包含十多套裝置，建模工作量巨大。

工廠(chǎng)三維模型的數(shù)字化是“智能工廠(chǎng)”建設(shè)的基礎(chǔ)，通過(guò)建立石化裝置、設(shè)備、環(huán)境、工藝及生產(chǎn)管理的三維模型，在其基礎(chǔ)上集成工程設(shè)計(jì)、生產(chǎn)運(yùn)營(yíng)、機(jī)動(dòng)設(shè)備、環(huán)保安全等各種動(dòng)態(tài)和靜態(tài)數(shù)據(jù)，為企業(yè)提供安全生產(chǎn)解決方案。因此，面向石化裝置的快速高效三維重建技術(shù)研究是虛擬現(xiàn)實(shí)技術(shù)在石化產(chǎn)業(yè)中應(yīng)用的關(guān)鍵技術(shù)，也是急需研究的技術(shù)。

1 三維重建方法關(guān)鍵技術(shù)現(xiàn)狀

三維重建方法的關(guān)鍵技術(shù)是算法，本文主要涉及的算法有：基于視頻的三維重建、點(diǎn)云分割及基于約束條件的三維建模等。

a)基于視頻的三維重建技術(shù)。該技術(shù)是將同一場(chǎng)景不同角度拍攝得到的圖像還原出場(chǎng)景中點(diǎn)的三維位置。O.Faugeras[1]提出了基礎(chǔ)矩陣在射影重建中的應(yīng)用。美國(guó)華盛頓大學(xué)的Y.Furukawa[2]研究的可視化外殼重建算法運(yùn)行效率很高，但比較適用于小規(guī)模數(shù)據(jù)。Saxena等人[3]使用馬爾可夫隨機(jī)場(chǎng)和監(jiān)督學(xué)習(xí)的方法估算圖片中的深度信息。浙江大學(xué)鮑虎軍教授[4]研究了SFM及魯棒的三維相機(jī)實(shí)時(shí)追蹤技術(shù)。

b)三維點(diǎn)云分割及語(yǔ)義識(shí)別。點(diǎn)云分割是指將三維空間中的點(diǎn)劃分成更小的、連貫和連接的子集的過(guò)程。經(jīng)過(guò)分割后，具有相似屬性的點(diǎn)歸為一類(lèi)，可以得到對(duì)應(yīng)于相應(yīng)相似性度量方法的同質(zhì)區(qū)域。通常來(lái)講，點(diǎn)云分割的算法有很多種，包括：邊緣檢測(cè)法、曲面生長(zhǎng)法、基于顏色和區(qū)域生長(zhǎng)相結(jié)合的方法、基于徑向反射的分割方法等[5]。

c)基于約束條件的三維建模。過(guò)程式建模是基于約束條件的三維建模技術(shù)的代表，該技術(shù)由Lindenmayer提出，Parish等人[6]通過(guò)初值和約束驅(qū)動(dòng)產(chǎn)生式迭代，在小區(qū)內(nèi)隨機(jī)構(gòu)造幾類(lèi)建筑體幾何和紋理。P.Merrell等人[7]研究了直觀、通用的過(guò)程建模語(yǔ)法，讓用戶(hù)可以交互編輯過(guò)程式模型。劉劍敏等人[8]探討了面向三維機(jī)械CAD的靜態(tài)幾何特征建模和動(dòng)態(tài)造型過(guò)程建模，基于語(yǔ)義建模開(kāi)發(fā)了智能培訓(xùn)系統(tǒng)。安全工程研究院的趙祥迪等人[9]提出了罐區(qū)三維模型快速構(gòu)建方法，并實(shí)現(xiàn)了事故模擬。中原油田的趙忠軍等人[10]研究了油田企業(yè)三維建模方法，并對(duì)操作仿真、管網(wǎng)三維管理等進(jìn)行了可視化應(yīng)用。廣州石化的肖斌濤[11]通過(guò)對(duì)事故過(guò)程的三維快速構(gòu)建，開(kāi)發(fā)了事故演練開(kāi)放操作平臺(tái)。

2 石化設(shè)備模型庫(kù)及重建流程

2.1 石化設(shè)備三維模型庫(kù)

經(jīng)分析發(fā)現(xiàn)石化裝置具有以下特性：

a)標(biāo)準(zhǔn)性。石化裝置有嚴(yán)格的設(shè)計(jì)及實(shí)施規(guī)范，其中的部件、設(shè)備都是標(biāo)準(zhǔn)化組件，不能隨意改變。比如加氫裂化裝置通常分為加熱爐及反應(yīng)器區(qū)、高壓分離器等，而采用的設(shè)備造型跟型號(hào)密切相關(guān)，不能任意造型。

b)復(fù)雜性。設(shè)備與設(shè)備之間的連接、配管、閥門(mén)布局根據(jù)裝置的性質(zhì)都有復(fù)雜的約束。

c)規(guī)則性。塔、爐、罐、槽、泵等設(shè)備是構(gòu)成石油化工裝置的基本要素，不同設(shè)備的組合形成具有獨(dú)特性質(zhì)的裝置，在建模過(guò)程中具有一定的規(guī)則性。

基于石化裝置的特性，安全工程研究院耗時(shí)兩年多，開(kāi)發(fā)了一套面向石化設(shè)備的三維模型庫(kù)系統(tǒng)，涉及近千個(gè)專(zhuān)業(yè)設(shè)備模型，以實(shí)現(xiàn)設(shè)備組件的復(fù)用。解決了部分問(wèn)題，但仍需進(jìn)一步完善和改進(jìn)。因此，部分學(xué)者提出可借助一些自動(dòng)識(shí)別及定位技術(shù)，基于模型庫(kù)部件模型實(shí)現(xiàn)石化裝置的自動(dòng)配裝，此類(lèi)算法的研究與實(shí)現(xiàn)將具有重大的應(yīng)用價(jià)值。

2.2 模型重建方法流程

本文研究的基于模型庫(kù)的石化裝置三維重建方法主要是利用SFM技術(shù)從預(yù)處理視頻序列中恢復(fù)石化裝置場(chǎng)景的稀疏三維點(diǎn)云及相機(jī)定標(biāo)。融合多源數(shù)據(jù)提取裝置部件的空間關(guān)系語(yǔ)法約束庫(kù)；在設(shè)備模型庫(kù)系統(tǒng)中，集成真實(shí)感光照渲染算法，著重提取與分析預(yù)設(shè)的石化設(shè)備組建模型或圖像的特征點(diǎn)信息及分布規(guī)律，實(shí)現(xiàn)虛實(shí)基準(zhǔn)設(shè)備的圖像語(yǔ)義匹配；基于底層視覺(jué)特征分析復(fù)雜裝置管架、管廊、管道等非設(shè)備模型的上下文形狀語(yǔ)法，剔除噪聲并提取管道的矢量信息；最終實(shí)現(xiàn)三維點(diǎn)云的語(yǔ)義理解，結(jié)合空間關(guān)系語(yǔ)法實(shí)現(xiàn)石化裝置的裝配式重建。流程見(jiàn)圖1。

圖1 石化裝置三維重建方法流程

3 基于模型庫(kù)石化裝置三維重建核心算法

3.1 基于SFM技術(shù)實(shí)現(xiàn)裝置場(chǎng)景三維特征點(diǎn)提取及關(guān)鍵幀相機(jī)定標(biāo)

SFM是計(jì)算機(jī)視覺(jué)的經(jīng)典問(wèn)題,指從輸入的一系列圖像中恢復(fù)場(chǎng)景的三維結(jié)構(gòu)和圖像對(duì)應(yīng)的相機(jī)參數(shù)。相機(jī)定標(biāo)是指在計(jì)算機(jī)視覺(jué)應(yīng)用中，為確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，建立的相機(jī)成像幾何模型。

首先采用SIFT算子對(duì)序列幀圖片進(jìn)行特征提取，在為視頻序列上的每一幀圖像獨(dú)立抽取特征點(diǎn)后，逐幀匹配這些特征點(diǎn)，由于噪聲和移動(dòng)物體等原因，存在誤匹配，根據(jù)極限約束，利用隨機(jī)采樣一致性算法消除誤匹配點(diǎn)，再利用定標(biāo)理論算法獲取攝像機(jī)的位置和方向信息，見(jiàn)圖2中(a)。計(jì)算出點(diǎn)云信息及連續(xù)的相機(jī)定標(biāo)信息，進(jìn)一步自動(dòng)選擇在多幀圖像中穩(wěn)定出現(xiàn)的特征點(diǎn)，并確定關(guān)鍵幀，選擇最佳的三個(gè)關(guān)鍵幀進(jìn)行場(chǎng)景三維的初始化，并及時(shí)定標(biāo)完成從射影空間到歐拉空間的轉(zhuǎn)換，求解其它關(guān)鍵幀，在歐氏空間漸進(jìn)式地求解所有關(guān)鍵幀，最終用集束調(diào)整對(duì)整個(gè)序列的結(jié)構(gòu)和相機(jī)參數(shù)進(jìn)一步優(yōu)化，見(jiàn)圖2中(b)。

圖2 SFM技術(shù)三維特征點(diǎn)提取及相機(jī)定標(biāo)

3.2 構(gòu)建石化裝置基準(zhǔn)設(shè)備、管道、閥門(mén)的空間關(guān)系語(yǔ)法庫(kù)

采用機(jī)器學(xué)習(xí)的方法，自動(dòng)化學(xué)習(xí)矢量、文本信息，在與模型庫(kù)相同尺度空間中重點(diǎn)提取基準(zhǔn)設(shè)備、管道、閥門(mén)的空間關(guān)系語(yǔ)法。將約束語(yǔ)法訓(xùn)練為設(shè)備與管道、管道與閥門(mén)、閥門(mén)與閥門(mén)及其他部件之間多對(duì)多的空間位置約束關(guān)系。其中，石化裝置閥門(mén)有自身特征：結(jié)構(gòu)特征顯著、分布廣泛、重復(fù)性強(qiáng)且有固定的閥門(mén)組類(lèi)型?；谝陨咸卣?，可充分發(fā)揮閥門(mén)的橋接作用，研究閥門(mén)、閥組與其他部件及閥門(mén)間的構(gòu)造語(yǔ)法。比如所有管道進(jìn)出設(shè)備都需要有閥門(mén)、調(diào)節(jié)閥前后有切斷閥、閥組一般都在地面或平臺(tái)上距離操作面高度大約500 mm、安全閥組必須有進(jìn)出口切斷閥等。通過(guò)這些構(gòu)造語(yǔ)法的學(xué)習(xí)構(gòu)建三維閥門(mén)空間定位約束語(yǔ)法庫(kù)。進(jìn)一步匹配校準(zhǔn)建立的三維場(chǎng)景，提高場(chǎng)景重建的準(zhǔn)確性與精度。

3.3 基于多層次圖像識(shí)別算法的關(guān)鍵幀圖像基準(zhǔn)設(shè)備映射及管道提取

為保證三維模型數(shù)據(jù)配準(zhǔn)的精度，可在關(guān)鍵幀圖像中找到特征顯著、定位準(zhǔn)確的設(shè)備作為其他部件定位參考的基準(zhǔn)。而管道是石化裝置的重要組成部分，特征點(diǎn)相對(duì)較少，本文采用圖像的底層視覺(jué)特征，結(jié)合形狀語(yǔ)法來(lái)進(jìn)行管道矢量建模，因此在關(guān)鍵幀識(shí)別過(guò)程中，從底層視覺(jué)特征、局部特征、形狀語(yǔ)法多個(gè)層次綜合運(yùn)用來(lái)提取基準(zhǔn)設(shè)備及管道的信息，算法流程見(jiàn)圖3。

圖3 關(guān)鍵幀中基準(zhǔn)設(shè)備及管道提取算法流程

鑒于石化設(shè)備結(jié)構(gòu)特征比較顯著，采用圖像局部特征描述算子提取設(shè)備圖像中的關(guān)鍵結(jié)構(gòu)信息，與虛擬設(shè)備庫(kù)中的設(shè)備圖像進(jìn)行匹配，從而識(shí)別該設(shè)備。所選取的圖像局部描述算子能夠?qū)D像旋轉(zhuǎn)、尺度縮放、視角變化、光照變化等圖像變化因素保持一定的不變性，而對(duì)物體運(yùn)動(dòng)、遮擋、噪聲等因素也保持較強(qiáng)可匹配性。理想狀態(tài)下基于虛擬設(shè)備模型庫(kù)，在不同視角下渲染輸出設(shè)備圖像，并進(jìn)行特征訓(xùn)練與分類(lèi)，可實(shí)現(xiàn)虛實(shí)模型的直接快速匹配。但實(shí)際情況中有的模型損害嚴(yán)重，無(wú)法與模型庫(kù)中的模型通過(guò)特征快速匹配，對(duì)于這種匹配不準(zhǔn)的模型，可采用中間圖像標(biāo)注的方式實(shí)現(xiàn)虛擬模型與實(shí)體模型的自動(dòng)連接。

如圖4所示，某一廠(chǎng)區(qū)的常減壓場(chǎng)景，其管道錯(cuò)綜復(fù)雜。而管道通常為圓柱形，特征點(diǎn)相對(duì)較少，因此僅靠特征點(diǎn)匹配識(shí)別的方式，難以準(zhǔn)確的重構(gòu)管道信息?？刹捎脠D像的底層視覺(jué)特征，提取直線(xiàn)、L型彎、T型彎等基本圖形元素，基于圖像及設(shè)計(jì)文檔構(gòu)建管道、管廊、管架等相似部件的上下文形狀語(yǔ)法，結(jié)合語(yǔ)法特征重點(diǎn)剔除欄桿、管廊、管架等干擾信息，提取管道的矢量信息。同時(shí)，每個(gè)裝置都會(huì)配備完善的工藝流程圖，描述了工藝上涉及的設(shè)備、管道、閥門(mén)等信息。基于工藝流程的約束學(xué)習(xí)校正識(shí)別出的管道信息，以工藝流程語(yǔ)法約束為主線(xiàn)，結(jié)合識(shí)別出的管道特征信息、校準(zhǔn)設(shè)備模型信息及閥門(mén)管廊等相關(guān)信息共同約束提取復(fù)雜管道中的二維矢量信息。

圖4 設(shè)備管線(xiàn)效果圖

3.4 裝置部件SFM特征點(diǎn)及設(shè)備管道裝配重構(gòu)

基于上述關(guān)鍵幀匹配識(shí)別的結(jié)果，可將局部圖像識(shí)別出的信息嵌入到相應(yīng)的三維特征點(diǎn)上。對(duì)于基準(zhǔn)設(shè)備，需首先建立關(guān)鍵幀設(shè)備與虛擬設(shè)備圖像間相機(jī)標(biāo)定轉(zhuǎn)換矩陣，然后建立二維與三維點(diǎn)云之間的轉(zhuǎn)換矩陣，由此可根據(jù)特征顯著的特征點(diǎn)信息計(jì)算虛擬基準(zhǔn)設(shè)備的模型變換矩陣，從而實(shí)現(xiàn)特征點(diǎn)的嵌入和模型匹配，實(shí)現(xiàn)基準(zhǔn)設(shè)備的裝配。在點(diǎn)云的識(shí)別過(guò)程中，根據(jù)每步算法的可信度，計(jì)算識(shí)別結(jié)果的成功率。以此為依據(jù)，結(jié)合三維模型間的裝配語(yǔ)法，對(duì)識(shí)別結(jié)果進(jìn)行矩陣校準(zhǔn)，進(jìn)而實(shí)現(xiàn)石化裝置局部的裝配式重建。效果見(jiàn)圖5。

圖5 虛實(shí)設(shè)備特征匹配結(jié)果

4 結(jié)語(yǔ)

針對(duì)石化裝置人工幾何建模效率低下，結(jié)合已有的石化設(shè)備三維模型庫(kù)系統(tǒng)，研究基于視頻三維點(diǎn)云識(shí)別定位與約束相結(jié)合的三維重建算法。該算法操作簡(jiǎn)便，僅用視頻結(jié)合約束關(guān)系就可以進(jìn)行部件的識(shí)別定位，面向布局復(fù)雜、安全性要求極高的石化企業(yè)運(yùn)行環(huán)境施行性較強(qiáng)。另外，結(jié)合了SFM算法與石化設(shè)備空間約束，可逆向恢復(fù)SFM遮擋點(diǎn)云、側(cè)背面或不顯著的特征信息，輔助提高SFM技術(shù)在石化行業(yè)的重構(gòu)及定位精度，可作為石化行業(yè)增強(qiáng)現(xiàn)實(shí)、智能導(dǎo)航的研究基礎(chǔ)。

[1] O.Faugeras, Q. T.Luong. The Geometry of Multiple Images [M]. The MIT Press 2001.

[2] Y. Furukawa, J. Ponce. Carved Visual Hulls for Image-Based Modeling [J]. International Journal of Computer Vision, 2008, 81(1):53-67.

[3] M.Klopschitz, A.Irschara, G.Reitmayr, D.Schmalstieg. Robust incremental structure from motion [C]. In Proceeding of 3D Data Processing, Visualization and Transmission (3DPVT), 2010.

[4] Z. Dong, G. Zhang, J.Jia, H.Bao. Efficient keyframe-based real-time camera tracking [J]. Computer Vision and Image Understanding, 2014, (118):97-110.

[5] 劉進(jìn),武仲科,周明全. 點(diǎn)云模型分割及應(yīng)用技術(shù)綜述[J], 計(jì)算機(jī)科學(xué), 2011，38(4):21-24..

[6] Y. Parish, P.Muller. Procedural Modeling of Cities[C]. In Proceeding of Computer Graphics, ACM SIGGRAPH, 2001, 301-308.

[7] L.Krecklau, L.Kobbelt.Interactive modeling by procedural high-level primitives [J]. Computers & Graphics, 2012, 36(5): 376-386.

[8] 劉劍敏, 胡潔, 王偉明, 等.三維CAD語(yǔ)義建模及其應(yīng)用研究[J], 機(jī)械設(shè)計(jì)與研究, 2005, 21(5):66-69.

[9] 趙祥迪.基于三維事故仿真模擬確定罐區(qū)安全距離，安全、健康和環(huán)境，2015，15(10)：15-18.

[10] 趙忠軍，王春，范亞蘋(píng).油田企業(yè)安全生產(chǎn)三維數(shù)字化系統(tǒng)研究與應(yīng)用，安全、健康和環(huán)境，2016，16(07):52-54.

[11] 肖斌濤.三維可視化應(yīng)急預(yù)案自由組態(tài)平臺(tái)研究，安全、健康和環(huán)境，2017，17(10)：13-15.