梁鴻軍 李良 魏紅芳 賈劉靜

油田數(shù)字化的異構(gòu)數(shù)據(jù)源整合與集成技術(shù)

王娟1；2梁鴻軍1；2李良1；2魏紅芳1；2賈劉靜1；2

1中國(guó)石油長(zhǎng)慶油田分公司勘探開(kāi)發(fā)研究院；2低滲透油氣田勘探開(kāi)發(fā)國(guó)家工程實(shí)驗(yàn)室

在長(zhǎng)慶油田數(shù)字化建設(shè)中，油田數(shù)據(jù)整合需要實(shí)現(xiàn)3個(gè)目標(biāo)：平臺(tái)和專(zhuān)業(yè)軟件間數(shù)據(jù)交換和共享，成果數(shù)據(jù)在各種專(zhuān)業(yè)軟件之間傳遞共享；提供統(tǒng)一數(shù)據(jù)接口，平臺(tái)中各模塊調(diào)取成果和數(shù)據(jù)；基于EPDM數(shù)據(jù)模型主庫(kù)，遷移專(zhuān)業(yè)庫(kù)數(shù)據(jù)。針對(duì)數(shù)字化油田建設(shè)中異構(gòu)數(shù)據(jù)源的信息提取問(wèn)題，提出使用數(shù)據(jù)服務(wù)總線（DSB）技術(shù)，并給出了以數(shù)據(jù)總線為基礎(chǔ)的異構(gòu)數(shù)據(jù)源整合和集成技術(shù)方法。這種方法能有效實(shí)現(xiàn)油氣田勘探開(kāi)發(fā)過(guò)程中多種異構(gòu)數(shù)據(jù)源的融合、交互，從多種數(shù)據(jù)源中提取有效信息，為決策提供支持。

數(shù)字化油田；數(shù)據(jù)庫(kù)；異構(gòu)數(shù)據(jù)源；數(shù)據(jù)服務(wù)總線

1 背景介紹

數(shù)據(jù)服務(wù)總線DSB（DataServiceBus）是一種使用靈活的數(shù)據(jù)整合技術(shù)，主要應(yīng)用在數(shù)據(jù)采集、數(shù)據(jù)交換、數(shù)據(jù)同步、歷史數(shù)據(jù)遷移、數(shù)據(jù)質(zhì)量管理等領(lǐng)域，為系統(tǒng)之間的數(shù)據(jù)同步提供了整體解決方案，能有效解決分散數(shù)據(jù)同步過(guò)程中的數(shù)據(jù)篩選與清洗。使用DSB技術(shù)，可以解決數(shù)字化油田的各個(gè)專(zhuān)業(yè)庫(kù)之間數(shù)據(jù)的雙向同步問(wèn)題；提供多種多個(gè)油田的專(zhuān)業(yè)庫(kù)同步過(guò)程中遇到網(wǎng)絡(luò)異常的處理方式；確保數(shù)據(jù)在同步過(guò)程中的安全性、完整性。

長(zhǎng)慶油田在數(shù)字化油田建設(shè)中，針對(duì)數(shù)字化油田建設(shè)中異構(gòu)數(shù)據(jù)源的信息提取問(wèn)題，提出使用數(shù)據(jù)服務(wù)總線（DSB）技術(shù)[1]，并給出了以數(shù)據(jù)總線為基礎(chǔ)的異構(gòu)數(shù)據(jù)源整合和集成技術(shù)方法。這種方法能有效實(shí)現(xiàn)油氣田勘探開(kāi)發(fā)過(guò)程中多種異構(gòu)數(shù)據(jù)源的融合、交互，從多種數(shù)據(jù)源中提取有效信息，為決策提供支持。

2 數(shù)據(jù)整合技術(shù)

油氣田研究以及開(kāi)發(fā)工程中，異構(gòu)數(shù)據(jù)源的整合與集成的目的是為油氣田研究決策提供信息查詢(xún)和決策支持服務(wù)。為了實(shí)現(xiàn)這個(gè)目的，經(jīng)過(guò)整合和集成處理后的油氣田數(shù)據(jù)必須保持?jǐn)?shù)據(jù)集成性、完整性、一致性。

數(shù)據(jù)的集成性是將不同專(zhuān)業(yè)的數(shù)據(jù)、不同業(yè)務(wù)流程中的業(yè)務(wù)信息在數(shù)據(jù)整合、集成過(guò)程中，發(fā)掘出它們的內(nèi)在邏輯聯(lián)系，形成一個(gè)有機(jī)的、相互關(guān)聯(lián)存儲(chǔ)的整體。

數(shù)據(jù)完整性是在油氣田研究的各個(gè)業(yè)務(wù)流程中，提取其他相關(guān)的業(yè)務(wù)流程各個(gè)環(huán)節(jié)的具體數(shù)據(jù)，用以支撐本業(yè)務(wù)研究。由于專(zhuān)業(yè)數(shù)據(jù)庫(kù)資源歸屬于不同的研究部門(mén)，甚至歸屬不同的油田公司，這些數(shù)據(jù)庫(kù)的管理方式不一致，無(wú)法統(tǒng)一。因此，在保證數(shù)據(jù)完整性的基礎(chǔ)上，必須設(shè)計(jì)出整合集成后的綜合數(shù)據(jù)庫(kù)的統(tǒng)一用戶(hù)安全管理模式，來(lái)保障對(duì)原有數(shù)據(jù)源訪問(wèn)權(quán)限的隔離和控制。

數(shù)據(jù)的一致性是在數(shù)據(jù)整合中屏蔽了各業(yè)務(wù)流程中不同數(shù)據(jù)的訪問(wèn)方式、存儲(chǔ)格式等方面的差異，對(duì)數(shù)據(jù)的操作由異構(gòu)數(shù)據(jù)整合系統(tǒng)統(tǒng)一進(jìn)行。因此，整合后的異構(gòu)數(shù)據(jù)對(duì)于不同油氣田的研究人員來(lái)說(shuō)是一致的。

3 用DSB技術(shù)實(shí)現(xiàn)數(shù)據(jù)整合

在長(zhǎng)慶油田數(shù)字化建設(shè)中，油田數(shù)據(jù)整合需要實(shí)現(xiàn)3個(gè)目標(biāo)：平臺(tái)和專(zhuān)業(yè)軟件間數(shù)據(jù)交換和共享，成果數(shù)據(jù)在各種專(zhuān)業(yè)軟件之間傳遞共享；提供統(tǒng)一數(shù)據(jù)接口，平臺(tái)中各模塊調(diào)取成果和數(shù)據(jù)；基于EPDM數(shù)據(jù)模型主庫(kù)，遷移專(zhuān)業(yè)庫(kù)數(shù)據(jù)。

數(shù)據(jù)整合技術(shù)收集來(lái)自于不同機(jī)構(gòu)、不同專(zhuān)業(yè)軟件的信息，提供給不同的用戶(hù)所使用。長(zhǎng)慶油田結(jié)合自身數(shù)字化建設(shè)的特點(diǎn)，采用圖1所示結(jié)構(gòu)實(shí)現(xiàn)數(shù)據(jù)的整合。

數(shù)據(jù)整合技術(shù)主要由數(shù)據(jù)提取模塊1、數(shù)據(jù)處理模塊2和數(shù)據(jù)輸出模塊3組成。數(shù)據(jù)提取模塊1主要用于提取數(shù)據(jù)，包括測(cè)井庫(kù)、儲(chǔ)量庫(kù)、其他庫(kù)及數(shù)據(jù)文件，向數(shù)據(jù)處理模塊2中提供數(shù)據(jù)；數(shù)據(jù)處理模塊2包括數(shù)據(jù)虛擬化，數(shù)據(jù)虛擬化提供的多源、異構(gòu)、分布式的數(shù)據(jù)虛擬化功能，通過(guò)DSB實(shí)現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換、數(shù)據(jù)適配，為第三方應(yīng)用模塊3提供數(shù)據(jù)接口；第三方應(yīng)用模塊3主要用于接收數(shù)據(jù)，包括綜合生產(chǎn)管理系統(tǒng)、油田OA系統(tǒng)、油田HR系統(tǒng)。

圖1 數(shù)據(jù)整合技術(shù)結(jié)構(gòu)

長(zhǎng)慶油田數(shù)據(jù)整合技術(shù)主要由主數(shù)據(jù)庫(kù)和數(shù)據(jù)服務(wù)總線組成。

3.1 主數(shù)據(jù)庫(kù)

主數(shù)據(jù)又稱(chēng)公共數(shù)據(jù)，包括油田名、區(qū)塊名、井名、測(cè)線號(hào)等核心實(shí)體數(shù)據(jù)。針對(duì)油氣田建設(shè)主數(shù)據(jù)庫(kù)，可以邏輯關(guān)聯(lián)勘探開(kāi)發(fā)各類(lèi)數(shù)據(jù)，實(shí)現(xiàn)統(tǒng)一管控和集成應(yīng)用。

數(shù)據(jù)庫(kù)中的關(guān)鍵要素，勘探開(kāi)發(fā)數(shù)據(jù)結(jié)構(gòu)符合EPDM（中國(guó)石油勘探開(kāi)發(fā)一體化數(shù)據(jù)模型）數(shù)據(jù)模型要求，模型完整涵蓋了石油上游業(yè)務(wù)流程，能夠?qū)熬策M(jìn)行全生命周期的數(shù)據(jù)管理，涉及專(zhuān)業(yè)包括地球物理、鉆井、錄井、測(cè)井、試油試采、地質(zhì)油藏、生產(chǎn)測(cè)井、試井、油氣生產(chǎn)、井下作業(yè)、井設(shè)備、油氣集輸，共有近千張數(shù)據(jù)表，兩萬(wàn)多數(shù)據(jù)項(xiàng)。

按照EPDM數(shù)據(jù)模型建立主數(shù)據(jù)庫(kù)結(jié)構(gòu)，并開(kāi)發(fā)現(xiàn)有專(zhuān)業(yè)數(shù)據(jù)庫(kù)到EPDM主庫(kù)數(shù)據(jù)庫(kù)接口，將各專(zhuān)業(yè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)遷移到EPDM模型主庫(kù)。進(jìn)行各專(zhuān)業(yè)數(shù)據(jù)庫(kù)的規(guī)范統(tǒng)一化工作，主要有井號(hào)的統(tǒng)一、油田區(qū)塊統(tǒng)一、坐標(biāo)統(tǒng)一。如鉆井?dāng)?shù)據(jù)庫(kù)、錄井?dāng)?shù)據(jù)庫(kù)、地質(zhì)綜合庫(kù)中都有井基本數(shù)據(jù)，需確定數(shù)據(jù)的唯一性、正確性；建立長(zhǎng)慶油田井基本實(shí)體庫(kù)，并按照EPDM模型規(guī)范進(jìn)行井號(hào)代碼的制定，作為井的唯一標(biāo)識(shí)，便于數(shù)據(jù)整合服務(wù)的建立。

3.2 數(shù)據(jù)服務(wù)總線技術(shù)DSB（DataServiceBus）

數(shù)據(jù)服務(wù)總線（DSB）是一項(xiàng)靈活易用的數(shù)據(jù)集成技術(shù)，主要應(yīng)用在數(shù)據(jù)采集、數(shù)據(jù)交換、數(shù)據(jù)同步、歷史數(shù)據(jù)遷移、數(shù)據(jù)質(zhì)量管理等領(lǐng)域。DSB基于數(shù)據(jù)整合技術(shù)和數(shù)據(jù)虛擬化技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)集成和數(shù)據(jù)即時(shí)訪問(wèn)兩大功能，可以根據(jù)用戶(hù)的業(yè)務(wù)需求，快速搭建所需的數(shù)據(jù)服務(wù)平臺(tái)，為用戶(hù)提供統(tǒng)一完整的數(shù)據(jù)融合方案。DSB分為數(shù)據(jù)連接層、數(shù)據(jù)處理層、邏輯處理層、數(shù)據(jù)集成層、數(shù)據(jù)整合層五層架構(gòu)[2]。

DSB支持各類(lèi)數(shù)據(jù)庫(kù)數(shù)據(jù)和不同類(lèi)型的文件數(shù)據(jù)，以全量、增量、自定義條件等方式，進(jìn)行數(shù)據(jù)的加工、組織與傳輸。如圖2所示，對(duì)于來(lái)自不同數(shù)據(jù)庫(kù)的數(shù)據(jù)首先經(jīng)過(guò)抽取，然后經(jīng)過(guò)轉(zhuǎn)換、清洗等處理，最后用多種傳輸方式送到目標(biāo)數(shù)據(jù)庫(kù)中。

圖2 多元數(shù)據(jù)整合流程

4 結(jié)論

結(jié)合長(zhǎng)慶油田數(shù)字化油田建設(shè)的實(shí)踐，針對(duì)數(shù)字化油田建設(shè)過(guò)程中的異構(gòu)數(shù)據(jù)問(wèn)題，提出了一種異構(gòu)數(shù)據(jù)源整合和集成方法：首先建立數(shù)據(jù)主庫(kù)，然后使用數(shù)據(jù)服務(wù)總線，使油田開(kāi)發(fā)中已有的多種專(zhuān)業(yè)數(shù)據(jù)庫(kù)的不同數(shù)據(jù)間能夠融合，同時(shí)為未來(lái)在油氣田開(kāi)發(fā)中使用多種數(shù)據(jù)庫(kù)提供統(tǒng)一的數(shù)據(jù)接口，有效地實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源中的信息挖掘。

[1]劉二燦．基于共享的異構(gòu)數(shù)字化資源整合[J]．情報(bào)雜志，2004（1）：81-83.

[2]祝建中．異構(gòu)數(shù)據(jù)庫(kù)文件的轉(zhuǎn)換[J]．微型機(jī)與應(yīng)用，1999（1）：20-21.

（欄目主持 李艷秋）

10.3969/j.issn.1006-6896.2014.11.005