蔡志強(qiáng)?郭麗娜?黃義糧?鄭世奇
摘要:新疆油田陸梁油田作業(yè)區(qū)自信息化建設(shè)以來(lái),積累了豐富的軟件資源、數(shù)據(jù)資源,實(shí)現(xiàn)了井、站、油田設(shè)施全過(guò)程管理的數(shù)字化驅(qū)動(dòng),本平臺(tái)的建設(shè)打通現(xiàn)有系統(tǒng)間的數(shù)據(jù)壁壘,解決不同系統(tǒng)間的集成、共享、協(xié)同、維護(hù)、升級(jí)的問(wèn)題,同時(shí)為后續(xù)生產(chǎn)指揮的各項(xiàng)應(yīng)用建立了底座,提高生產(chǎn)時(shí)率,實(shí)現(xiàn)增產(chǎn)、提效、降耗。充分發(fā)揮現(xiàn)代信息技術(shù)在生產(chǎn)要素配置中的優(yōu)化集成作用,促進(jìn)油氣業(yè)務(wù)流程再造、生產(chǎn)組織優(yōu)化和管控能力提升,實(shí)現(xiàn)生產(chǎn)整體性監(jiān)管以及綜合性評(píng)價(jià),滿足油田精益生產(chǎn)的需要。
關(guān)鍵詞:陸梁油田;動(dòng)態(tài)錄入;綜合報(bào)表;自主運(yùn)維;平臺(tái)
一、前言
為促進(jìn)已有數(shù)據(jù)資源更好地服務(wù)于陸梁油田生產(chǎn)的開發(fā)和利用,消除陸梁信息孤島,有效解決各業(yè)務(wù)系統(tǒng)間數(shù)據(jù)分散、數(shù)據(jù)源分散等問(wèn)題,做到“數(shù)入一庫(kù)”“數(shù)出一門”,使基層操作人員到高級(jí)管理人員都可以擁有同一個(gè)經(jīng)營(yíng)管理目標(biāo),在同一個(gè)應(yīng)用場(chǎng)景中實(shí)時(shí)監(jiān)控企業(yè)的營(yíng)運(yùn)狀況?!瓣懥河吞锷a(chǎn)信息綜合管理平臺(tái)”是針對(duì)油田業(yè)務(wù)特點(diǎn)專門研發(fā)的一套集數(shù)據(jù)可視化、采集及報(bào)表全生命周期管理(定制、發(fā)布、應(yīng)用、日志、維護(hù))、權(quán)限管理等于一體的綜合管理平臺(tái)。通過(guò)該平臺(tái)統(tǒng)一數(shù)據(jù)入口,實(shí)現(xiàn)數(shù)據(jù)整合,并在此基礎(chǔ)上充分釋放數(shù)據(jù)潛能,從多場(chǎng)景、多維度展示數(shù)據(jù)應(yīng)用效果,加快陸梁油田數(shù)字化轉(zhuǎn)型進(jìn)程。
二、建設(shè)原則
開放共享:以統(tǒng)一規(guī)范的接口、協(xié)議及部署標(biāo)準(zhǔn)為平臺(tái)應(yīng)用提供技術(shù)底座,從而使平臺(tái)為應(yīng)用提供定制運(yùn)行環(huán)境能力、統(tǒng)一資源調(diào)度能力、端到端服務(wù)交互能力[1]。
資源抽象:基于DC/OS的資源整合能力,提供多平臺(tái)的資源整合接入,從而構(gòu)建出高層次的資源抽象層,為上層服務(wù)和應(yīng)用提供統(tǒng)一的資源服務(wù)。
彈性供給:提供跨平臺(tái)、跨組織、跨技術(shù)架構(gòu)的資源調(diào)度能力,實(shí)現(xiàn)平臺(tái)級(jí)、應(yīng)用級(jí)的彈性資源供給。
立體管控:提供多維度的平臺(tái)管控能力,包括平臺(tái)管控、服務(wù)管控和應(yīng)用管控等。
配置驅(qū)動(dòng):通過(guò)快速配置的方式,面向平臺(tái)和應(yīng)用,實(shí)現(xiàn)服務(wù)上線、優(yōu)化調(diào)整、流程審計(jì)、多級(jí)部署等功能[2]。
三、平臺(tái)架構(gòu)
平臺(tái)建設(shè)總體分為標(biāo)準(zhǔn)體系建設(shè)、數(shù)據(jù)建設(shè)、軟件建設(shè)三個(gè)部分。
標(biāo)準(zhǔn)體系建設(shè):基于中國(guó)石油標(biāo)準(zhǔn)體系,從應(yīng)用、數(shù)據(jù)、技術(shù)三個(gè)方面開展平臺(tái)相關(guān)標(biāo)準(zhǔn)、規(guī)范的建設(shè),強(qiáng)化標(biāo)準(zhǔn)化主數(shù)據(jù)管控力度,支撐集中集成標(biāo)準(zhǔn)化需求。
數(shù)據(jù)建設(shè):圍繞開發(fā)靜態(tài)、油水井生產(chǎn)、預(yù)警指標(biāo)、井下作業(yè)等實(shí)現(xiàn)數(shù)據(jù)治理、數(shù)據(jù)分享、數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)安全標(biāo)準(zhǔn),打造全方位、多元融合的技術(shù)體系。
軟件建設(shè):依托企業(yè)現(xiàn)有資源,圍繞服務(wù)組件積累建設(shè)共享服務(wù),支撐上層應(yīng)用的靈活敏捷構(gòu)建,實(shí)現(xiàn)平臺(tái)開放及可擴(kuò)展的基礎(chǔ)服務(wù)能力,為未來(lái)實(shí)現(xiàn)智能油氣田生態(tài)圈奠定堅(jiān)實(shí)基礎(chǔ)。
四、平臺(tái)技術(shù)路線
(一)基于Flink+Lambda的實(shí)時(shí)數(shù)倉(cāng)技術(shù)
報(bào)表的數(shù)據(jù)是由數(shù)倉(cāng)提供的,數(shù)倉(cāng)的數(shù)據(jù)來(lái)源是上游業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)經(jīng)過(guò)ETL(ETL包含抽取、清洗、轉(zhuǎn)換),其中抽取包含3種,即SQL語(yǔ)句抽取、數(shù)據(jù)文件同步、增量抽取,增量抽取通過(guò)記錄最后抽取的時(shí)間,選擇比最后一次抽取時(shí)間大的時(shí)間進(jìn)行抽??;完成重復(fù)數(shù)據(jù)、空數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)的清洗;轉(zhuǎn)換處理的是字段格式的不統(tǒng)一,以及根據(jù)業(yè)務(wù)訴求,將原始的明細(xì)數(shù)據(jù)加工處理生成業(yè)務(wù)數(shù)據(jù)的過(guò)程,處理后同步到數(shù)倉(cāng),數(shù)倉(cāng)加工生成3層模型,分別是ODS、DWD、DWS,ODS層同步原始數(shù)據(jù),DWD層加工ODS層轉(zhuǎn)換過(guò)來(lái)的數(shù)據(jù),生成明細(xì)數(shù)據(jù),DWS層完成數(shù)據(jù)的大寬表的加工,供后續(xù)業(yè)務(wù)查詢,由此完成報(bào)表的數(shù)據(jù)提供(見(jiàn)圖1)。
(二)基于Apache Flume的高性能數(shù)據(jù)采集技術(shù)
Flume是一個(gè)高性能分布式系統(tǒng),專注于數(shù)據(jù)的聚合、采集和傳輸。它可以根據(jù)用戶的需求定制不同類別的數(shù)據(jù)收集方案,用于從各種數(shù)據(jù)源收集數(shù)據(jù),并在經(jīng)過(guò)預(yù)處理后將數(shù)據(jù)傳輸?shù)侥繕?biāo)接收方。
Flume支持多路徑流量、多管道接入流量和多管道接出流量等功能。這意味著用戶可以定義多個(gè)數(shù)據(jù)來(lái)源和終點(diǎn),靈活地控制數(shù)據(jù)的流動(dòng)路徑。此外,F(xiàn)lume還支持上下文路由和基于事務(wù)的管道,這有助于確保數(shù)據(jù)傳輸和接收的一致性(見(jiàn)圖2)。
(三)基于MVVM的前后端分離技術(shù)
MVVM模式的主要目的是分離視圖(View)和模型(Model),MVVM框架由三個(gè)部分構(gòu)成,見(jiàn)圖3。Model是數(shù)據(jù)層,主要負(fù)責(zé)網(wǎng)絡(luò)數(shù)據(jù)操作、File文件操作、本地?cái)?shù)據(jù)庫(kù)操作;View是視圖層,主要負(fù)責(zé)布局加載和UI交互,ViewModel即VM,是關(guān)聯(lián)層,負(fù)責(zé)數(shù)據(jù)變化自動(dòng)更新綁定的View以及View的操作更新綁定的數(shù)據(jù),主要優(yōu)勢(shì)如下:
1.雙向綁定不單只是請(qǐng)求過(guò)來(lái)的數(shù)據(jù),還包括數(shù)據(jù)在本頁(yè)面應(yīng)該處于的狀態(tài),數(shù)據(jù)源對(duì)象在本頁(yè)面或本模塊中共享,一旦一個(gè)地方改變,本頁(yè)面或模塊中的所有數(shù)據(jù)源的內(nèi)容都會(huì)改變,保證了數(shù)據(jù)的一致性。它的全局共享性是一大特色。
2.一個(gè)頁(yè)面可以有一個(gè)View Model,也可以有多個(gè)View Model,使用一個(gè)或多個(gè)View Model取決于數(shù)據(jù)和邏輯的組織方式、頁(yè)面復(fù)雜性以及代碼的可維護(hù)性和復(fù)用性的需求。若有View調(diào)用請(qǐng)求對(duì)象發(fā)送請(qǐng)求,并且被其他頁(yè)面重用該View,那么該View不能共享數(shù)據(jù)源。View Model一般持有本頁(yè)面或本模塊的共享數(shù)據(jù)源。
3.控制器專注于自己的核心功能:頁(yè)面的跳轉(zhuǎn),跨本頁(yè)面多個(gè)視圖的操作,數(shù)據(jù)源數(shù)據(jù)的初始化,從上一個(gè)頁(yè)面接收數(shù)據(jù)轉(zhuǎn)化為本頁(yè)面的數(shù)據(jù)源,子視圖頁(yè)面的創(chuàng)建和布局,子視圖頁(yè)面的block函數(shù),狀態(tài)欄,導(dǎo)航欄,頁(yè)面跳轉(zhuǎn)方式。
(四)面向Web服務(wù)的Docker容器集成發(fā)布技術(shù)
Docker使用“客戶端—服務(wù)器”架構(gòu)模式,通過(guò)遠(yuǎn)程API(鏡像)來(lái)管理和創(chuàng)建Docker容器,守護(hù)進(jìn)程并處理服務(wù)端接受來(lái)自客戶端的請(qǐng)求??梢栽谝慌_(tái)服務(wù)器上為“陸梁油田生產(chǎn)信息綜合管理平臺(tái)”創(chuàng)建輕量級(jí)、可移植、自給自足的容器,或通過(guò)socket(套接字)、RESTful API(REST風(fēng)格的API)來(lái)進(jìn)行通信(虛擬容器),從而解決環(huán)境問(wèn)題。
五、平臺(tái)成果
(一)夯實(shí)數(shù)據(jù)基礎(chǔ)
通過(guò)“陸梁油田生產(chǎn)信息綜合管理平臺(tái)”梳理、優(yōu)化、整合、存儲(chǔ)和拓展現(xiàn)有業(yè)務(wù)數(shù)據(jù),建立數(shù)據(jù)湖,回存綜合研究生成的成果數(shù)據(jù)。實(shí)現(xiàn)對(duì)多源、異構(gòu)數(shù)據(jù)的統(tǒng)一存儲(chǔ),并結(jié)合不同的業(yè)務(wù)場(chǎng)景、標(biāo)準(zhǔn)規(guī)范,建立面向數(shù)據(jù)采集、統(tǒng)計(jì)報(bào)表、決策分析、智能化應(yīng)用的數(shù)據(jù)服務(wù),從多維度實(shí)現(xiàn)業(yè)務(wù)應(yīng)用的數(shù)據(jù)支撐。通過(guò)平臺(tái)提供的采集定制工具,結(jié)合業(yè)務(wù)實(shí)際需求,對(duì)缺失的數(shù)據(jù)進(jìn)行補(bǔ)錄,有效地控制了數(shù)據(jù)入庫(kù)源頭,規(guī)范了數(shù)據(jù)入口的流程,為本平臺(tái)及后續(xù)應(yīng)用奠定數(shù)據(jù)基礎(chǔ)。
平臺(tái)建立數(shù)據(jù)湖的意義在于為陸梁油田提供了一個(gè)集中化的、大容量的數(shù)據(jù)存儲(chǔ)庫(kù),可以方便地存儲(chǔ)各種類型、格式和量級(jí)的數(shù)據(jù),并且支持跨部門、跨系統(tǒng)的數(shù)據(jù)共享。數(shù)據(jù)湖使得陸梁油田可以更加全面地把握和分析數(shù)據(jù),發(fā)現(xiàn)其中蘊(yùn)含的商業(yè)價(jià)值,并利用這些數(shù)據(jù)指導(dǎo)企業(yè)決策、產(chǎn)品研發(fā)、運(yùn)營(yíng)管理等。
(二)生產(chǎn)指揮
“陸梁油田生產(chǎn)信息綜合管理平臺(tái)”從業(yè)務(wù)、功能及數(shù)據(jù)分析入手,按照“增”“融”“搬”“留”四種模式[3],打通陸梁油田作業(yè)區(qū)“生產(chǎn)調(diào)度會(huì)系統(tǒng)”“生產(chǎn)查詢系統(tǒng)”“自動(dòng)化綜合應(yīng)用系統(tǒng)”“油氣水井生產(chǎn)管理系統(tǒng)A2”“物聯(lián)網(wǎng)設(shè)備管理系統(tǒng)”“開發(fā)靜態(tài)管理系統(tǒng)”等數(shù)據(jù)壁壘,實(shí)現(xiàn)各類生產(chǎn)、設(shè)施、設(shè)備的動(dòng)靜態(tài)數(shù)據(jù)的查詢、分析、應(yīng)用,與外部系統(tǒng)在數(shù)據(jù)層上實(shí)現(xiàn)了無(wú)縫對(duì)接,讓各級(jí)層面的用戶以報(bào)表、可視化等手段查看各類數(shù)據(jù)。
通過(guò)本平臺(tái)可以對(duì)油氣生產(chǎn)過(guò)程進(jìn)行實(shí)時(shí)監(jiān)控、調(diào)度和優(yōu)化,并提供決策支持和信息反饋。利用計(jì)算機(jī)、通信、自動(dòng)化等先進(jìn)技術(shù),收集、處理和分析各種數(shù)據(jù)[4],以提高油田生產(chǎn)效率和質(zhì)量,具體應(yīng)用效果如下:
1.實(shí)現(xiàn)對(duì)油田生產(chǎn)全流程的實(shí)時(shí)監(jiān)控,包括采油、輸油、儲(chǔ)油等環(huán)節(jié),及時(shí)發(fā)現(xiàn)和解決生產(chǎn)中的問(wèn)題。
2.對(duì)油田生產(chǎn)數(shù)據(jù)進(jìn)行收集、整理、分析和應(yīng)用,幫助企業(yè)更好地了解油田生產(chǎn)情況和趨勢(shì),制定更好的生產(chǎn)策略。
3.針對(duì)不同地區(qū)、不同油層、不同生產(chǎn)階段,制定實(shí)時(shí)的生產(chǎn)調(diào)度計(jì)劃,協(xié)調(diào)各個(gè)生產(chǎn)單元之間的關(guān)系,使整個(gè)生產(chǎn)過(guò)程實(shí)現(xiàn)合理高效的運(yùn)作。
4.通過(guò)人工智能等技術(shù),對(duì)油田生產(chǎn)數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析和處理,建立模型和預(yù)測(cè),提供決策支持和生產(chǎn)優(yōu)化方案。
(三)自主運(yùn)維
“陸梁油田生產(chǎn)信息綜合管理平臺(tái)”采用共同建設(shè)模式,在項(xiàng)目實(shí)施過(guò)程中不僅幫助陸梁油田作業(yè)區(qū)建立符合新疆油田要求的管理體系、軟件系統(tǒng),同時(shí)將業(yè)務(wù)專家沉淀多年的、先進(jìn)的知識(shí)、經(jīng)驗(yàn)、思考方法等轉(zhuǎn)移給管理者和員工,從而使陸梁油田作業(yè)區(qū)在項(xiàng)目完成后擁有一批中堅(jiān)力量,通過(guò)該模式提高參與平臺(tái)建設(shè)員工的項(xiàng)目管理能力、業(yè)務(wù)梳理能力、軟件研發(fā)能力、系統(tǒng)應(yīng)用能力、系統(tǒng)維護(hù)能力等,見(jiàn)圖4。
借助平臺(tái)提供的采集定制功能、報(bào)表定制功能,參與平臺(tái)建設(shè)的員工可根據(jù)業(yè)務(wù)的需要,隨時(shí)對(duì)采集、報(bào)表需求進(jìn)行維護(hù),減少對(duì)開發(fā)商的依賴,真正做到“建以致用、以用促建”,提升平臺(tái)的生命周期,同時(shí)還要達(dá)到以下目標(biāo):
1.提高運(yùn)維效率:傳統(tǒng)軟件系統(tǒng)需要開發(fā)商干預(yù)才能解決問(wèn)題,耗時(shí)費(fèi)力。通過(guò)本平臺(tái)提供的各類工具,陸梁油田員工可以自行實(shí)現(xiàn)快速響應(yīng)和修復(fù),提高運(yùn)維效率和準(zhǔn)確性。
2.降低運(yùn)維成本:傳統(tǒng)運(yùn)維需要一定的人力、物力和時(shí)間資源,本平臺(tái)可以在不增加人力的情況下完成任務(wù),從而顯著降低運(yùn)維成本。
3.提高系統(tǒng)可靠性:可以實(shí)現(xiàn)24小時(shí)無(wú)間斷,自動(dòng)發(fā)現(xiàn)并解決問(wèn)題,大大提高了系統(tǒng)的可靠性和穩(wěn)定性。
4.強(qiáng)化安全保障:可以通過(guò)安全監(jiān)控和風(fēng)險(xiǎn)預(yù)警[5],及時(shí)發(fā)現(xiàn)和應(yīng)對(duì)安全漏洞和攻擊,從而增強(qiáng)安全防護(hù)能力。
5.增強(qiáng)用戶體驗(yàn):可以保證系統(tǒng)的高可用性和穩(wěn)定性,提高用戶使用體驗(yàn)和滿意度。
六、預(yù)期前景
“陸梁油田生產(chǎn)信息綜合管理平臺(tái)”是陸梁油田數(shù)據(jù)管理的重要組成部分,它可以幫助陸梁油田高效采集、處理和利用數(shù)據(jù),提高工作效率和決策質(zhì)量。隨著NLP語(yǔ)義分析技術(shù)、OCR識(shí)別技術(shù)的不斷發(fā)展,數(shù)據(jù)采集與報(bào)表相關(guān)技術(shù)也在不斷更新迭代,未來(lái)會(huì)更加智能化、自動(dòng)化和普及化。同時(shí),隨著陸梁油田對(duì)數(shù)據(jù)價(jià)值認(rèn)知的提升,對(duì)采集與報(bào)表系統(tǒng)的需求也將更加廣泛和深入。因此,“陸梁油田生產(chǎn)信息綜合管理平臺(tái)”在未來(lái)具有良好的發(fā)展前景,并將成為陸梁油田數(shù)字化轉(zhuǎn)型的重要支撐之一。
七、結(jié)語(yǔ)
“陸梁油田生產(chǎn)信息綜合管理平臺(tái)”結(jié)合最前沿的軟件技術(shù)、最流行的界面風(fēng)格,以穩(wěn)定、高效、安全為前提,構(gòu)建企業(yè)服務(wù)資源池,以API服務(wù)、專用工具、通用組件等形式滿足跨部門、跨場(chǎng)景、跨業(yè)務(wù)、跨技術(shù)棧的資源復(fù)用與共享。實(shí)現(xiàn)企業(yè)信息資源共享和業(yè)務(wù)的深度融合,提供主動(dòng)的、友好的用戶應(yīng)用體驗(yàn),滿足不同應(yīng)用條件下持續(xù)演進(jìn)平臺(tái)服務(wù)和資源,打造全區(qū)域、全指標(biāo)體系、連續(xù)性監(jiān)控模式,實(shí)現(xiàn)運(yùn)行狀態(tài)實(shí)時(shí)反應(yīng)、關(guān)鍵信息及時(shí)推送,將管理模式從傳統(tǒng)的“被動(dòng)監(jiān)管”轉(zhuǎn)向“主動(dòng)發(fā)現(xiàn)”,輔助廠、區(qū)、站三級(jí)管理者全方位了解生產(chǎn)現(xiàn)狀,為生產(chǎn)指揮提供決策支持。
參考文獻(xiàn)
[1]劉振武,孫星云,高旭東,等.中國(guó)石油集團(tuán)公司技術(shù)創(chuàng)新案例[M].北京:石油工業(yè)出版社,2006.
[2]MartinFowler.企業(yè)應(yīng)用架構(gòu)模式[M].北京:機(jī)械工業(yè)出版社,2004.
[3]高德納.計(jì)算機(jī)程序設(shè)計(jì)藝術(shù):第3版[M].蘇運(yùn)霖,譯.北京:國(guó)防工業(yè)出版社,2002.
[4]紀(jì)紅.數(shù)字油田生產(chǎn)管理系統(tǒng)的建設(shè)[J].石油規(guī)劃設(shè)計(jì), 2011, 22(6):4.
[5]李建.如何有效開展油田安全生產(chǎn)管理[J].中國(guó)石油和化工標(biāo)準(zhǔn)與質(zhì)量, 2014, 34(01):220.
作者單位:陸梁油田作業(yè)區(qū)