姚爽
(中國(guó)海洋石油國(guó)際有限公司 北京市 100028)
目前,隨著大數(shù)據(jù)技術(shù)的崛起,社會(huì)各領(lǐng)域?qū)τ谄浼夹g(shù)依賴性愈發(fā)強(qiáng)烈,尤其是它顛覆了傳統(tǒng)的生產(chǎn)管理模式,極大地提升了管理的便捷性和質(zhì)量效率,對(duì)于社會(huì)的重要性不言而喻。如今,隨著石油產(chǎn)品需求的急劇增加,更應(yīng)利用大數(shù)據(jù)技術(shù)優(yōu)勢(shì),形成科學(xué)、合理、規(guī)范的數(shù)字化平臺(tái),強(qiáng)化信息流通及數(shù)據(jù)應(yīng)用,挖掘大數(shù)據(jù)技術(shù)的深刻價(jià)值,從根本上實(shí)現(xiàn)動(dòng)作效率及決策質(zhì)量的升級(jí)。石油工業(yè)數(shù)字化平臺(tái)設(shè)計(jì),通常以實(shí)現(xiàn)業(yè)務(wù)融合管理為主,以數(shù)據(jù)指導(dǎo)業(yè)務(wù)為主要模式,通過多個(gè)業(yè)務(wù)板塊的串聯(lián)及融合,持續(xù)改善和創(chuàng)新石油管理體系,建立更具創(chuàng)新優(yōu)勢(shì)的數(shù)字化平臺(tái)。
大數(shù)據(jù)屬于信息時(shí)代的產(chǎn)物,要想發(fā)揮其中所蘊(yùn)含的巨大技術(shù)能量,則必須要配合科學(xué)的處理模式,以此來彰顯其極強(qiáng)的決策力、洞察力及管理力,將大數(shù)據(jù)信息快速轉(zhuǎn)化為海量、高效、多樣的信息資產(chǎn)。同時(shí),大數(shù)據(jù)技術(shù)的戰(zhàn)略意義并不在于過度掌握數(shù)據(jù)信息,而是能夠從中挖掘出其價(jià)值,再實(shí)施專業(yè)化的數(shù)據(jù)信息處理,賦予企業(yè)數(shù)字化平臺(tái)的信息加工能力,并通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。事實(shí)上,依據(jù)目前的發(fā)展需求及形勢(shì),石油工業(yè)在面臨復(fù)雜的環(huán)境時(shí),對(duì)于大數(shù)據(jù)技術(shù)下的石油數(shù)字化平臺(tái),具有較強(qiáng)的依賴性。
從根本上看,石油工業(yè)仍然屬于傳統(tǒng)生產(chǎn)型行業(yè),一方面是隨著時(shí)代的變遷,社會(huì)對(duì)于石油工業(yè)的需求也在持續(xù)發(fā)生著改變,如從早期的照明、取暖等,到日常生產(chǎn)中的化學(xué)纖維、化工產(chǎn)品,再到如今的交通運(yùn)輸?shù)绒D(zhuǎn)變,無(wú)形推動(dòng)著管理的變革。另一方面,隨著油氣勘探與開發(fā)水平的變化,由早期的人工勘察到聲光電磁等技術(shù)應(yīng)用,再到數(shù)字化二維、三維模擬技術(shù),實(shí)現(xiàn)了技術(shù)層面的革新?,F(xiàn)階段,利益于大數(shù)據(jù)技術(shù)的誕生和應(yīng)用,逐步構(gòu)建了“大智移云”的技術(shù)融合形態(tài),石油數(shù)字化平臺(tái)更具備了應(yīng)用價(jià)值,通過數(shù)字化及智能化的創(chuàng)新,以推動(dòng)我國(guó)石油行業(yè)的高質(zhì)量發(fā)展。
石油數(shù)字化平臺(tái)的開發(fā)及應(yīng)用價(jià)值在于,能夠有效提升石油工業(yè)的管理效能,適應(yīng)大數(shù)據(jù)技術(shù)的時(shí)代特征,逐步通過技術(shù)的優(yōu)化與應(yīng)用,推動(dòng)管理與需求上的平衡。具體而言,石油數(shù)字化平臺(tái)應(yīng)具備如下特點(diǎn):
(1)分類管理結(jié)構(gòu)。石油工業(yè)所涉及的管理范圍眾多,因此需要實(shí)施分類管理結(jié)構(gòu),以滿足不同的管理需求,在數(shù)字化平臺(tái)的構(gòu)建中同樣要通過網(wǎng)絡(luò)設(shè)備、服務(wù)器、數(shù)據(jù)庫(kù)及應(yīng)用軟件等,通過大數(shù)據(jù)技術(shù)進(jìn)行銜接和設(shè)計(jì),以解決好平臺(tái)的功能應(yīng)用問題。
(2)即時(shí)性與高效性。大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)是能夠提升管理效率,解決傳統(tǒng)管理模式中缺乏時(shí)效性和便捷性的問題,同時(shí)通過各類創(chuàng)新功能的融入,極大地優(yōu)化管理渠道和能力,實(shí)現(xiàn)各類管理資源的分配與整合,實(shí)現(xiàn)科學(xué)合理的監(jiān)控及管理。
(3)靈活性和擴(kuò)展性。伴隨石油業(yè)務(wù)的發(fā)展,大數(shù)據(jù)技術(shù)將發(fā)揮著重要的銜接功能,這便要求在數(shù)字化平臺(tái)的應(yīng)用中,必須要具備良好的靈活性及拓展性,以滿足不同層面和環(huán)節(jié)的工作要求,如增加與上下游廠商之間的合作平臺(tái)整合,提升大數(shù)據(jù)信息資源的挖掘,形成互聯(lián)互通、相輔相成的機(jī)制。
(4)可靠性和安全性。在網(wǎng)絡(luò)信息時(shí)代,數(shù)據(jù)信息可靠性與安全性極為重要,在數(shù)字化平臺(tái)的構(gòu)建中,應(yīng)當(dāng)以此為基礎(chǔ)和重點(diǎn),展現(xiàn)數(shù)據(jù)信息的管理優(yōu)勢(shì),確保各類數(shù)據(jù)信息的安全,最大程度地發(fā)揮出數(shù)字化平臺(tái)的效能。
針對(duì)于石油工業(yè)的發(fā)展特點(diǎn),為適應(yīng)大數(shù)據(jù)背景下的管理訴求,部分石油企業(yè)開始融入數(shù)字化平臺(tái),如中石化所部署Hp-Openview 監(jiān)控管理系統(tǒng)等,通過管理平臺(tái)的改進(jìn)和完善,使其發(fā)揮出重要的協(xié)同管理職能。通常而言,石油數(shù)字化平臺(tái)的管理主體包含硬件設(shè)備、系統(tǒng)軟件、互聯(lián)網(wǎng)及安全系統(tǒng)等,借助大數(shù)據(jù)技術(shù)構(gòu)建便捷、安全、完整、高效的管理體系,以確保各個(gè)管理層面的有序運(yùn)行,其基本結(jié)構(gòu)框架如圖1 所示。
圖1: 石油數(shù)字化平臺(tái)結(jié)構(gòu)框架
根據(jù)以上石油數(shù)字化平臺(tái)的結(jié)構(gòu)看,旨在通過各業(yè)務(wù)之間的銜接,實(shí)現(xiàn)大數(shù)據(jù)基礎(chǔ)上的信息數(shù)據(jù)融合管理,大幅提升企業(yè)的管理效率,并實(shí)現(xiàn)管理成本的壓縮,運(yùn)用相應(yīng)的技術(shù)工具加以推動(dòng),達(dá)到大數(shù)據(jù)技術(shù)應(yīng)用的實(shí)效。同時(shí),基于數(shù)字化平臺(tái)結(jié)構(gòu)框架的優(yōu)勢(shì),將大幅改善傳統(tǒng)的石油系統(tǒng)平臺(tái)瓶頸,實(shí)現(xiàn)事件管理、配置管理、變更管理、服務(wù)等級(jí)管理、幫助臺(tái)管理等融合應(yīng)用,依托統(tǒng)一的管理平臺(tái)及報(bào)表系統(tǒng),極大提升管理的可操作性和便捷性,及時(shí)反饋相關(guān)的數(shù)據(jù)信息以供決策,全面提升石油數(shù)字化平臺(tái)的管理效率,使大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)全面發(fā)揮,有助于石油行業(yè)的整體邁進(jìn)。
3.2.1 監(jiān)控管理功能
監(jiān)控管理是大數(shù)據(jù)技術(shù)的關(guān)鍵所在,也是石油數(shù)字化平臺(tái)的主體之一(如圖2)。在數(shù)字化平臺(tái)的設(shè)計(jì)中,必須要賦予其突出的位置,實(shí)現(xiàn)對(duì)種類信息數(shù)據(jù)的實(shí)時(shí)監(jiān)控和管理,及時(shí)掌握石油管理信息和實(shí)際需求,進(jìn)一步提升石油生產(chǎn)管理效益,不斷適應(yīng)新時(shí)代背景下的管理需求,具體來說可以應(yīng)涉及三個(gè)領(lǐng)域的監(jiān)控管理:
圖2: 平臺(tái)監(jiān)控管理
(1)網(wǎng)絡(luò)監(jiān)控。石油工業(yè)屬于龐大的能源體系,其在監(jiān)控管理中具有結(jié)構(gòu)復(fù)雜的特點(diǎn),因此對(duì)于數(shù)字化平臺(tái)的構(gòu)建及完善需求極為迫切。在具體的功能設(shè)計(jì)上,應(yīng)當(dāng)以網(wǎng)絡(luò)運(yùn)行狀態(tài)為核心,及時(shí)發(fā)現(xiàn)和洞察管理中存在的問題,包括網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)自動(dòng)發(fā)現(xiàn)、網(wǎng)絡(luò)節(jié)點(diǎn)流量數(shù)據(jù)采集、網(wǎng)絡(luò)鏈路帶寬的使用情況等,以掌握數(shù)字化平臺(tái)下的管理需求。當(dāng)出現(xiàn)異常情況下應(yīng)具備告警功能,以幫助技術(shù)及管理人員及時(shí)發(fā)現(xiàn)和處理。
(2)服務(wù)器監(jiān)控。服務(wù)器是數(shù)字化平臺(tái)的管理中心,應(yīng)根據(jù)實(shí)際需要設(shè)計(jì)事物告警、關(guān)鍵進(jìn)程服務(wù)、性能數(shù)據(jù)、系統(tǒng)日志等功能,建立起全方位的運(yùn)維管理機(jī)制,在實(shí)際管理中發(fā)現(xiàn)性能閾值時(shí),能夠及時(shí)生成相關(guān)信息以反饋至管理層級(jí)。依托對(duì)服務(wù)器的有效監(jiān)控,使數(shù)字化平臺(tái)及時(shí)發(fā)揮管理作用,便于為管理者提供科學(xué)的決策依據(jù),打造及時(shí)、高效、便捷的服務(wù)機(jī)制。
(3)數(shù)據(jù)庫(kù)監(jiān)控。目前,常用的數(shù)據(jù)庫(kù)以Sql Server 和Oracle 兩大類為主,在石油數(shù)字化平臺(tái)的構(gòu)建中,均應(yīng)對(duì)數(shù)據(jù)庫(kù)的內(nèi)存、I/O 性能、用戶連接數(shù)、數(shù)據(jù)庫(kù)表空間等指標(biāo)實(shí)施監(jiān)控,具體可以由終端用戶、模擬用戶向互聯(lián)網(wǎng)發(fā)起訪問,通過防火墻功能、交換機(jī)數(shù)字交換、負(fù)載均衡及Web服務(wù)器,由應(yīng)用服務(wù)器終端實(shí)現(xiàn)數(shù)據(jù)庫(kù)訪問,建立相對(duì)完善的管理流程,全面實(shí)現(xiàn)對(duì)數(shù)字庫(kù)的監(jiān)控,保證種類信息數(shù)據(jù)的完整,并確保數(shù)據(jù)庫(kù)應(yīng)用的有效性和安全性。
3.2.2 服務(wù)流程管理功能
為滿足石油數(shù)字化平臺(tái)服務(wù)功能,應(yīng)建立電子化、規(guī)范化、可視化、統(tǒng)一化的平臺(tái)體系,通過對(duì)大數(shù)據(jù)信息的挖掘和處理,以達(dá)到流程系統(tǒng)集成的目標(biāo)。通常而言,實(shí)現(xiàn)各項(xiàng)活動(dòng)環(huán)節(jié)之間的銜接,需要落實(shí)好同步監(jiān)測(cè)及聚齊式指揮,增強(qiáng)服務(wù)臺(tái)與用戶間的連接,提升平臺(tái)服務(wù)的質(zhì)量,降低在管理中的成本支出,具體涵蓋事件、問題、配置、變更、發(fā)布、服務(wù)級(jí)別及知識(shí)管理模塊,如圖3 所示。
圖3: 服務(wù)流程管理
根據(jù)石油數(shù)字化平臺(tái)的服務(wù)特點(diǎn),數(shù)字智能挖掘?qū)儆谥匾膬?nèi)容之一,應(yīng)用海量數(shù)據(jù)挖掘、分析及處理功能,能夠?qū)崿F(xiàn)服務(wù)功能的不斷優(yōu)化?;诖髷?shù)據(jù)、云計(jì)算及物聯(lián)網(wǎng)等優(yōu)質(zhì)技術(shù),提升石油數(shù)字化平臺(tái)的服務(wù)流程優(yōu)化,符合智慧化管理的要求。在本平臺(tái)的設(shè)計(jì)框架中,重點(diǎn)在于數(shù)據(jù)信息的挖掘,涉及數(shù)據(jù)統(tǒng)計(jì)、模糊數(shù)學(xué)、神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)、粗糙集、模式識(shí)別等諸多技術(shù),以完成石油數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)存儲(chǔ)、智能分析和風(fēng)險(xiǎn)識(shí)別等任務(wù)。
3.2.3 配置管理數(shù)據(jù)庫(kù)功能
配置管理數(shù)據(jù)庫(kù)(CMDB)旨在通過對(duì)各類配置信息的管理,以建立集中監(jiān)控系統(tǒng)服務(wù)模型,實(shí)現(xiàn)告警事件的關(guān)聯(lián)、過濾和壓縮。在石油數(shù)字化平臺(tái)中,該功能能夠?qū)崿F(xiàn)對(duì)各類系統(tǒng)的有效支撐,增強(qiáng)平臺(tái)服務(wù)的可靠性和安全性。另外,實(shí)施統(tǒng)一的CMDB 能夠有助于信息的整合與修改,針對(duì)各個(gè)程序標(biāo)準(zhǔn)進(jìn)行判斷,保持平臺(tái)運(yùn)行的科學(xué)性。其基本結(jié)構(gòu)如圖4 所示。
圖4: CMDB 基本結(jié)構(gòu)
同時(shí),CMDB 與服務(wù)流程管理之間相互關(guān)聯(lián),通過各類數(shù)據(jù)信息的整合處理,為服務(wù)流程提供充實(shí)、準(zhǔn)確、全面的配置數(shù)據(jù),管理人員可以利用CMDB 數(shù)據(jù)進(jìn)行問題定位,以滿足各類信息數(shù)據(jù)的需求。
3.3.1 應(yīng)用數(shù)據(jù)收集與數(shù)據(jù)倉(cāng)庫(kù)模塊
在石油數(shù)字化平臺(tái)的實(shí)際應(yīng)用中,豐富的功能模塊是極為關(guān)鍵的支持,其中涉及海量的信息數(shù)據(jù),為管理決策提供充足的依據(jù)。在應(yīng)用數(shù)據(jù)收集與數(shù)據(jù)倉(cāng)庫(kù)模塊中,系統(tǒng)功能的發(fā)揮離不開對(duì)信息的依賴,無(wú)論數(shù)據(jù)信息類型是實(shí)時(shí)數(shù)據(jù)還是離線數(shù)據(jù),均需要由大數(shù)據(jù)平臺(tái)實(shí)施分析。如將HDFS 文件導(dǎo)入系統(tǒng)中,再利用歷史數(shù)據(jù)與中間結(jié)果間的銜接,從而為關(guān)聯(lián)模塊提供豐富的數(shù)據(jù),如數(shù)據(jù)中間結(jié)果的可視化、結(jié)果的多次查看等。
具體而言,應(yīng)用數(shù)據(jù)收集與數(shù)據(jù)倉(cāng)庫(kù)的作用體現(xiàn)在多個(gè)方面,包括實(shí)時(shí)數(shù)據(jù)收集、油田業(yè)務(wù)結(jié)構(gòu)數(shù)據(jù)收集等,并依托數(shù)據(jù)倉(cāng)庫(kù)作為基礎(chǔ)載體,將HDFS、HBase 或Hive 納入信息管理平臺(tái)。
一方面,實(shí)時(shí)數(shù)據(jù)采集。在石油數(shù)字化平臺(tái)的運(yùn)行中,將源源不斷地產(chǎn)生不同的海量數(shù)據(jù),為實(shí)現(xiàn)數(shù)據(jù)信息的有效處理,以及改善數(shù)字化平臺(tái)的功能性,應(yīng)當(dāng)對(duì)所生成的日志信息加以收集處理,利用Flume 模塊實(shí)現(xiàn)日志的實(shí)時(shí)監(jiān)測(cè),了解實(shí)時(shí)的信息數(shù)據(jù)變化,并通過數(shù)據(jù)倉(cāng)庫(kù)生成相應(yīng)存儲(chǔ)渠道,為后續(xù)的數(shù)據(jù)處理提供支持。
另一方面,結(jié)構(gòu)數(shù)據(jù)采集。在石油數(shù)字化平臺(tái)應(yīng)用之前,企業(yè)往往采用關(guān)系型數(shù)據(jù)庫(kù)、txt 文件或Excel 等完成數(shù)據(jù)收集工作,而在云計(jì)算模式之下,可大幅提升數(shù)據(jù)收集的實(shí)效性和精準(zhǔn)性,在數(shù)字化平臺(tái)的應(yīng)用過程中,能夠形成完整的數(shù)據(jù)收集架構(gòu),利用數(shù)據(jù)信息的快速轉(zhuǎn)化,將傳統(tǒng)的數(shù)據(jù)庫(kù)形式導(dǎo)入HDFS/HBase/Hive,由用戶通過Web 頁(yè)面填寫SQL 語(yǔ)句和數(shù)據(jù)集描述等信息,以完成相關(guān)數(shù)據(jù)的獲取和管理。
3.3.2 平臺(tái)任務(wù)管理模塊
任務(wù)管理模式的功能在于執(zhí)行用戶所創(chuàng)建的任務(wù),由任務(wù)狀態(tài)查看、提交和取消任務(wù)、各階段數(shù)據(jù)可視化等。在石油數(shù)字化平臺(tái)的呈現(xiàn)上,通常該任務(wù)平臺(tái)由基于于Oozie 工作流調(diào)度引擎來實(shí)現(xiàn),具體是由用戶在Web 界面操作任務(wù)請(qǐng)示,由JOB ID 信息向Oozie 傳遞至平臺(tái),再調(diào)用Spark相關(guān)接口執(zhí)行任務(wù)。同時(shí),依據(jù)用戶對(duì)任務(wù)請(qǐng)求的需求,可調(diào)動(dòng)Backend 的Receive Offers 函數(shù)實(shí)現(xiàn)與底層YARN 資源調(diào)度系統(tǒng)交互,同時(shí)調(diào)用status Update 接口實(shí)現(xiàn)任務(wù)狀態(tài)的更新。此外,用戶還可對(duì)Spark 任務(wù)進(jìn)行狀況查詢,從平臺(tái)反饋中了解任務(wù)的完成情況。
3.3.3 離線任務(wù)處理模塊
離線處理是石油數(shù)字化平臺(tái)中的重要功能模塊,主要用于滿足用戶對(duì)于歷史數(shù)據(jù)的提取和分析,在離線任務(wù)處理模塊中通常由于Spark 實(shí)現(xiàn)對(duì)RDD 算子的轉(zhuǎn)換,利用相應(yīng)的數(shù)據(jù)處理算法實(shí)現(xiàn)油田數(shù)據(jù)處理。
在大數(shù)據(jù)技術(shù)時(shí)代,各類技術(shù)應(yīng)用已經(jīng)成為石油工業(yè)的必然選擇,尤其是針對(duì)于全過程管理領(lǐng)域,更提出了現(xiàn)高的應(yīng)用需求。在未來的石油數(shù)字化平臺(tái)設(shè)計(jì)中,為適應(yīng)全新的變革與管理標(biāo)準(zhǔn),應(yīng)當(dāng)側(cè)重于四個(gè)方面的發(fā)展。
(1)加強(qiáng)布局?jǐn)?shù)字化戰(zhàn)略,由石油企業(yè)決策者強(qiáng)化數(shù)字化意識(shí),將數(shù)字化平臺(tái)建設(shè)納入核心體系,明確企業(yè)轉(zhuǎn)型發(fā)展管理目標(biāo),利用數(shù)字化平臺(tái)形成扁平化管理結(jié)構(gòu)。
(2)全過程數(shù)據(jù)管理與共享,即利用大數(shù)據(jù)技術(shù)應(yīng)用優(yōu)勢(shì),增強(qiáng)信息技術(shù)、虛擬技術(shù)、人工智能、工業(yè)機(jī)器人等技術(shù)融合,逐步拓展數(shù)字化管理途徑和方法,改變傳統(tǒng)的數(shù)據(jù)信息管理模式,提升石油工業(yè)信息管理集成度,構(gòu)成共享服務(wù)目錄、數(shù)據(jù)按需授權(quán)和全局共享。同時(shí),利用業(yè)務(wù)模式、業(yè)務(wù)流程、企業(yè)組織等層面變革,切實(shí)形成更強(qiáng)大的大數(shù)據(jù)技術(shù)驅(qū)動(dòng)力,為企業(yè)及用戶帶來優(yōu)質(zhì)的服務(wù)體驗(yàn),竭力創(chuàng)造數(shù)字化平臺(tái)的價(jià)值。
(3)業(yè)務(wù)應(yīng)用全線上協(xié)同,打破傳統(tǒng)管理中各自為政的模式,加強(qiáng)各個(gè)子公司、部門及崗位間數(shù)字化銜接,形成定制化的數(shù)字化平臺(tái)服務(wù)體系,打造線上業(yè)務(wù)的協(xié)同結(jié)構(gòu),確保企業(yè)在管理中建立統(tǒng)一標(biāo)準(zhǔn),實(shí)現(xiàn)數(shù)據(jù)信息資源的價(jià)值挖掘。
(4)構(gòu)建資源共享與一體化運(yùn)維平臺(tái),借助大數(shù)據(jù)技術(shù)中的自動(dòng)化、智能化管理,進(jìn)一步提升管理數(shù)據(jù)應(yīng)用能力,實(shí)現(xiàn)更高層面的資源共享。
綜上所述,隨著大數(shù)據(jù)技術(shù)的持續(xù)發(fā)展,石油工業(yè)迎來了寶貴的轉(zhuǎn)型契機(jī),企業(yè)應(yīng)當(dāng)適應(yīng)環(huán)境的變革,將技術(shù)優(yōu)勢(shì)轉(zhuǎn)化為管理優(yōu)勢(shì),借助石油數(shù)字化平臺(tái)的設(shè)計(jì)開發(fā)及實(shí)踐應(yīng)用,逐步形成更加高效、便捷和安全的管理體系,推動(dòng)行業(yè)的自動(dòng)化、智能化發(fā)展。另外,從石油工業(yè)的發(fā)展角度看,大數(shù)據(jù)技術(shù)中蘊(yùn)含著豐富的價(jià)值,對(duì)行業(yè)的發(fā)展推動(dòng)作用極為突出,應(yīng)當(dāng)不斷強(qiáng)化信息時(shí)代下的優(yōu)勢(shì)功能,打造一體化的數(shù)字管理平臺(tái),提升數(shù)據(jù)組織與處理能力,實(shí)現(xiàn)管理能力與業(yè)務(wù)需求的契合,進(jìn)一步改進(jìn)數(shù)據(jù)操作服務(wù)性能,提升石油企業(yè)數(shù)字化水平和價(jià)值創(chuàng)造能力。