李金鑄
(中國(guó)航空油料有限責(zé)任公司 北京市 100000)
在航油管理系統(tǒng)的基礎(chǔ)上,采用Docker 鏡像容器云技術(shù)實(shí)施的微服務(wù)架構(gòu)數(shù)據(jù)中臺(tái),包括客戶服務(wù)、商務(wù)結(jié)算、數(shù)據(jù)應(yīng)用、基礎(chǔ)管理,同時(shí)協(xié)同智慧加油系統(tǒng)和SAP 等信息系統(tǒng),進(jìn)一步統(tǒng)籌服務(wù)資源和協(xié)同航空公司、銀行、SAP 系統(tǒng)、智慧加油系統(tǒng)與撬裝設(shè)備的響應(yīng)資源,通過(guò)航油智慧云數(shù)據(jù)中臺(tái)將航油在客戶服務(wù)、商業(yè)結(jié)算、航油銷售方面的大數(shù)據(jù)變成實(shí)際“可用”的管理檢查預(yù)測(cè)、決策依據(jù),是航油大數(shù)據(jù)運(yùn)用的平臺(tái)化、具體化、實(shí)踐化。依托航油智慧云數(shù)據(jù)中臺(tái)打通“數(shù)據(jù)孤島”和“數(shù)據(jù)煙囪”分立的IT(iformation technology,信息技術(shù))架構(gòu),構(gòu)建數(shù)據(jù)共享的統(tǒng)一的DT(tata technology,數(shù)據(jù)技術(shù))架構(gòu)。形成完整的流程鏈和數(shù)據(jù)鏈,打造全流程管理的電子化,提高統(tǒng)籌運(yùn)營(yíng)能力,實(shí)現(xiàn)了航油的數(shù)據(jù)賦能向管理賦能的轉(zhuǎn)變。
航油智慧云數(shù)據(jù)中臺(tái),由前端應(yīng)用、業(yè)務(wù)中臺(tái)、技術(shù)中臺(tái)組成,采用“大中臺(tái)、小前臺(tái)”的技術(shù)理念,在滿足整體業(yè)務(wù)需求的同時(shí)實(shí)現(xiàn)穩(wěn)定的服務(wù)器架構(gòu)、快速迭代的開發(fā)模式,構(gòu)建以服務(wù)與數(shù)據(jù)為核心的中臺(tái)系統(tǒng)[1]。
航油智慧云數(shù)據(jù)中臺(tái)由數(shù)據(jù)應(yīng)用、客戶服務(wù)、商務(wù)結(jié)算、基礎(chǔ)管理組成,與銀行前置機(jī)、SAP 系統(tǒng)共同部署于航油內(nèi)部網(wǎng)絡(luò),分別對(duì)接智慧加油系統(tǒng)、金稅系統(tǒng)以及包括銀行系統(tǒng)、支付機(jī)構(gòu)系統(tǒng)、航空公司系統(tǒng)、航空公司用戶、代理公司用戶在內(nèi)的各外部系統(tǒng)。
2.1.1 數(shù)據(jù)應(yīng)用功能
采用能對(duì)海量數(shù)據(jù)進(jìn)行分布式處理的大數(shù)據(jù)架構(gòu),基于真實(shí)業(yè)務(wù)數(shù)據(jù)進(jìn)行日常業(yè)務(wù)統(tǒng)計(jì)分析。包括數(shù)據(jù)標(biāo)簽化管理、預(yù)測(cè)分析等數(shù)據(jù)應(yīng)用功能,同時(shí)為今后擴(kuò)展更多的大數(shù)據(jù)應(yīng)用,推動(dòng)數(shù)據(jù)賦能奠定基礎(chǔ)。
2.1.2 客戶服務(wù)功能
包含客戶服務(wù)工作的全流程數(shù)據(jù)管理,增強(qiáng)流程與數(shù)據(jù)之間的卡控,為管理提供方便快捷的信息化手段,保證客戶服務(wù)工作的完整性。
2.1.3 商務(wù)結(jié)算功能
實(shí)現(xiàn)航油銷售與加注業(yè)務(wù)的統(tǒng)一結(jié)算和內(nèi)部核算業(yè)務(wù),滿足和方便客戶不同的結(jié)算需求,縮短結(jié)算賬期,降低結(jié)算成本,提升客戶滿意度。
2.1.4 基礎(chǔ)管理功能
航油智慧云數(shù)據(jù)中臺(tái)將統(tǒng)籌管理航油總部、分公司、通航公司、航空公司,以及客戶服務(wù)、數(shù)據(jù)應(yīng)用、商務(wù)結(jié)算等不同用戶使用,對(duì)智慧云平臺(tái)的基礎(chǔ)信息進(jìn)行統(tǒng)一管理,確保基礎(chǔ)信息的唯一性。
航油智慧云數(shù)據(jù)中臺(tái)基于微服務(wù)技術(shù)架構(gòu),采用Docker 容器技術(shù)的云平臺(tái)架構(gòu),將Kubernetes 視為容器編排工具,確定了分層鏡像格式,云服務(wù)架構(gòu)分為IaaS、PaaS、SaaS 三層。
在基于云容器的微場(chǎng)景架構(gòu)中,利用Kubernetes 創(chuàng)建多個(gè)容器,每個(gè)容器里面運(yùn)行一個(gè)應(yīng)用實(shí)例,然后通過(guò)內(nèi)置的負(fù)載均衡策略,實(shí)現(xiàn)對(duì)這一組應(yīng)用實(shí)例的管理、發(fā)現(xiàn)、訪問(wèn),而不用運(yùn)維人員去進(jìn)行復(fù)雜的手工配置和處理。
使用容器技術(shù)對(duì)各服務(wù)節(jié)點(diǎn)進(jìn)行管理。Docker 是一個(gè)開源的應(yīng)用容器引擎,讓開發(fā)者可以打包他們的應(yīng)用以及依賴包到一個(gè)可移植的鏡像中,然后發(fā)布到任何流行的Linux 或Windows 機(jī)器上,也可以實(shí)現(xiàn)虛擬化。容器是完全使用沙箱機(jī)制,相互之間不會(huì)有任何接口。
航油智慧云數(shù)據(jù)中臺(tái)的客戶服務(wù)功能和商業(yè)結(jié)算功能,能夠?qū)崿F(xiàn)航油外界交換信息的全覆蓋,依托集成架構(gòu)及接口設(shè)計(jì)實(shí)現(xiàn)對(duì)大數(shù)據(jù)變化的敏感反應(yīng),結(jié)合預(yù)測(cè)功能設(shè)計(jì),從而體現(xiàn)了極高的監(jiān)測(cè)預(yù)警價(jià)值[2]。
航油智慧云數(shù)據(jù)中臺(tái)的監(jiān)測(cè)預(yù)警價(jià)值是大數(shù)據(jù)應(yīng)用的一個(gè)重要方向,即大數(shù)據(jù)預(yù)測(cè),在傳統(tǒng)的預(yù)測(cè)算法、預(yù)測(cè)原理中,更多的強(qiáng)調(diào)或論證突發(fā)事件的因果聯(lián)系,通過(guò)預(yù)設(shè)結(jié)果觸發(fā)機(jī)制的設(shè)定,明確系統(tǒng)閾值,實(shí)現(xiàn)監(jiān)測(cè)預(yù)警功能的實(shí)現(xiàn)。
但航油智慧云數(shù)據(jù)中臺(tái)的數(shù)據(jù)應(yīng)用功能中,強(qiáng)調(diào)的是大數(shù)據(jù)分析算法,突顯大數(shù)據(jù)相關(guān)性原理的應(yīng)用,分析相關(guān)性關(guān)系,強(qiáng)調(diào)事物之間的關(guān)聯(lián)性。這一點(diǎn)對(duì)于預(yù)警突發(fā)事件的應(yīng)急管理至關(guān)重要,因?yàn)橥话l(fā)事件的應(yīng)急管理的更突顯的是較高的不確定性、較強(qiáng)的處理時(shí)限性和響應(yīng)的強(qiáng)敏捷性特征[3]。
3.2.1 數(shù)據(jù)交換平臺(tái)集成架構(gòu)
航油智慧云數(shù)據(jù)中臺(tái)的監(jiān)測(cè)預(yù)警價(jià)值是通過(guò)大數(shù)據(jù)關(guān)聯(lián)性提現(xiàn)的,那么對(duì)于相應(yīng)的技術(shù)架構(gòu)也體現(xiàn)出數(shù)據(jù)共享的特征。與客戶系統(tǒng)對(duì)、與金融系統(tǒng)、與航油集團(tuán)SAP ERP 系統(tǒng)、與金稅系統(tǒng)、與智慧加油系統(tǒng)、氣象數(shù)據(jù)系統(tǒng)等相關(guān)系統(tǒng)采用系統(tǒng)集成架構(gòu)得以實(shí)現(xiàn),數(shù)據(jù)集成具有集成系統(tǒng)多,數(shù)據(jù)范圍廣泛,集成技術(shù)復(fù)雜等特點(diǎn),以多種主流數(shù)據(jù)集成技術(shù)為基礎(chǔ),建立獨(dú)立的數(shù)據(jù)交換平臺(tái),滿足現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入需要,兼顧數(shù)據(jù)接口擴(kuò)展,將大數(shù)據(jù)關(guān)聯(lián)性集成落地實(shí)現(xiàn),有效將數(shù)據(jù)中臺(tái)監(jiān)測(cè)預(yù)警變?yōu)楝F(xiàn)實(shí)。
基于以上結(jié)構(gòu)設(shè)計(jì),在數(shù)據(jù)中臺(tái)內(nèi)按照統(tǒng)一業(yè)務(wù)模型的思想把各系統(tǒng)數(shù)據(jù)集成起來(lái)。因此,根據(jù)系統(tǒng)集成的需要,將采用提供相關(guān)接口的方式進(jìn)行實(shí)現(xiàn)。
3.2.2 集成架構(gòu)數(shù)據(jù)交換平臺(tái)的接口功能
數(shù)據(jù)交換平臺(tái)主要包括數(shù)據(jù)抽取、數(shù)據(jù)數(shù)據(jù)處理及加載處理、策略管理和系統(tǒng)管理等模塊。
數(shù)據(jù)抽取模型主要包括實(shí)時(shí)數(shù)據(jù)交換、周期數(shù)據(jù)交換、數(shù)據(jù)復(fù)制、非結(jié)構(gòu)數(shù)據(jù)交換等等,對(duì)應(yīng)的技術(shù)包括數(shù)據(jù)復(fù)制、ETL、數(shù)據(jù)交互及應(yīng)用服務(wù)。
3.3.1 航油智慧云數(shù)據(jù)中臺(tái)的數(shù)據(jù)采集預(yù)測(cè)功能
航油智慧云數(shù)據(jù)中臺(tái)通過(guò)對(duì)各項(xiàng)業(yè)務(wù)的數(shù)據(jù)標(biāo)簽化管理、加油數(shù)據(jù)分析、結(jié)算數(shù)據(jù)、銷售數(shù)據(jù)、駕駛艙管理實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)性綜合應(yīng)用。
根據(jù)中臺(tái)系統(tǒng)中積累的注冊(cè)用戶數(shù)據(jù)、客戶數(shù)據(jù)、合同數(shù)據(jù)、訂單數(shù)據(jù)、加油量數(shù)據(jù)、收款數(shù)據(jù),利用航油提供的公式進(jìn)行市場(chǎng)預(yù)測(cè),包括銷售預(yù)測(cè)、資金預(yù)測(cè)、客戶增長(zhǎng)率預(yù)測(cè)。
3.3.2 航油智慧云數(shù)據(jù)中臺(tái)的數(shù)據(jù)預(yù)測(cè)“哨兵模式”
在銷售預(yù)測(cè)數(shù)據(jù)中,主要參考?xì)v史同期加油量、近期加油量,通航業(yè)務(wù)時(shí)還需要考慮訂單數(shù)據(jù)。銷售預(yù)測(cè)結(jié)果可以為油料儲(chǔ)備提供參考。對(duì)于主要指收款金額預(yù)測(cè),主要參考?xì)v史同期收款金額、近期收款金額并結(jié)合合同中的賬期設(shè)置。資金預(yù)測(cè)結(jié)果可以為資金使用計(jì)劃提供參考??蛻粼鲩L(zhǎng)率預(yù)測(cè)主要參考注冊(cè)用戶數(shù)據(jù)、客戶數(shù)據(jù)。通過(guò)對(duì)預(yù)測(cè)數(shù)據(jù)的波動(dòng)情況,反饋至數(shù)據(jù)綜合應(yīng)用,形成監(jiān)測(cè)預(yù)警的“哨兵模式”,對(duì)突發(fā)事件的概率發(fā)出預(yù)警,奠定應(yīng)急管理響應(yīng)的前提基礎(chǔ)工作,為后續(xù)協(xié)同作業(yè)提供數(shù)據(jù)參考[4]。
航油智慧云數(shù)據(jù)中臺(tái)能對(duì)海量數(shù)據(jù)進(jìn)行分布式處理,基于“云平臺(tái)+微場(chǎng)景應(yīng)用”的技術(shù)架構(gòu),應(yīng)用分布式事務(wù)的數(shù)據(jù)一致性,打通“數(shù)據(jù)孤島”,實(shí)現(xiàn)異常數(shù)據(jù)的互聯(lián)互通,提醒各關(guān)聯(lián)方進(jìn)行快速協(xié)同響應(yīng)作業(yè)。
由于歷史和現(xiàn)實(shí)原因,各關(guān)聯(lián)方的“信息孤島”、“條塊分割管理”、“多頭管理”以及“重復(fù)建設(shè)”問(wèn)題依舊存在,數(shù)據(jù)異構(gòu)和兼容性是困擾實(shí)現(xiàn)航油突發(fā)事件應(yīng)急管理的難題,在傳統(tǒng)的應(yīng)急管理中,多采用聯(lián)動(dòng)機(jī)制應(yīng)對(duì)突發(fā)事件,即關(guān)聯(lián)方的領(lǐng)導(dǎo)層制定應(yīng)急管理預(yù)案,約定突發(fā)事件的種類、聯(lián)動(dòng)模式,觸發(fā)條件等問(wèn)題的溝通和響應(yīng)處置方式,這種協(xié)同響應(yīng)模式,相對(duì)于已有的突發(fā)事件種類具有較強(qiáng)的響應(yīng),但在實(shí)際中,涉及層級(jí)傳達(dá)、反饋效率、啟動(dòng)時(shí)限等較強(qiáng)的人工干預(yù),往往不會(huì)收獲預(yù)期成效[5]。
在航油智慧云數(shù)據(jù)中臺(tái)的部署中,采用管控集群核心實(shí)現(xiàn)各服務(wù)器的數(shù)據(jù)共享機(jī)制,形成“物理集中、邏輯一致”應(yīng)急數(shù)據(jù)管理體系,形成“云平臺(tái)+微場(chǎng)景應(yīng)用”的數(shù)據(jù)管理架構(gòu),采用基于分布式事務(wù)的數(shù)據(jù)一致性部署方案,極大的縮短應(yīng)急管理預(yù)案的啟動(dòng)時(shí)限,通過(guò)管理權(quán)限有效的消除層級(jí)傳達(dá)的消耗,凸顯對(duì)突發(fā)事件快速響應(yīng)并協(xié)調(diào)作業(yè)的智慧云數(shù)據(jù)中臺(tái)優(yōu)勢(shì)價(jià)值。
4.2.1 基于“云平臺(tái)+微場(chǎng)景應(yīng)用”的技術(shù)架構(gòu)
在航油智慧云數(shù)據(jù)中臺(tái)內(nèi)容采用Spring + SpringBoot + Spring Cloud 進(jìn)行改造,系統(tǒng)的各項(xiàng)功能服務(wù)以各個(gè)獨(dú)立的子系統(tǒng)形式開發(fā),各子系統(tǒng)分布式部署在獨(dú)立的容器或服務(wù)器中,由服務(wù)注冊(cè)中心統(tǒng)一管理。
微服務(wù)應(yīng)用功能為基礎(chǔ),傳輸Restful為核心的微服務(wù)后臺(tái)框架,實(shí)現(xiàn)前臺(tái)及后臺(tái)物理分離互不影響負(fù)載均衡及應(yīng)用部署。
4.2.2 基于分布式事務(wù)的數(shù)據(jù)一致性
在航油智慧云數(shù)據(jù)中臺(tái)的云服務(wù)架構(gòu)為了實(shí)現(xiàn)微服務(wù)間的業(yè)務(wù)邏輯解耦,提高系統(tǒng)的可用性及性能,通過(guò)將強(qiáng)一致性需求轉(zhuǎn)換成最終一致性的需求,來(lái)保證業(yè)務(wù)數(shù)據(jù)一致,推動(dòng)CCF 消息可靠投遞。
CCF 利用消息隊(duì)列MQ 來(lái)實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的最終一致性,解決了消息的可靠生成與可靠投遞;消息的可靠消費(fèi);業(yè)務(wù)處理狀態(tài)追蹤;異常狀態(tài)檢測(cè)與報(bào)警,將預(yù)警數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)共享,使具備相應(yīng)數(shù)據(jù)查看權(quán)限的人員,直接獲取監(jiān)測(cè)預(yù)警信息,進(jìn)而推動(dòng)快速響應(yīng)的協(xié)同作業(yè)實(shí)現(xiàn)。
4.3.1 航油智慧云數(shù)據(jù)中臺(tái)的數(shù)據(jù)統(tǒng)一接口互聯(lián)互通
(1)支持文件導(dǎo)出的功能,同時(shí)支持按照不同的要求導(dǎo)出多種格式的文件,如txt、csv、xml 等。
(2)與關(guān)聯(lián)方系統(tǒng)進(jìn)行數(shù)據(jù)的互聯(lián)互通,與航空公司需要對(duì)接航班信息、加油信息、賬單信息等,與金融機(jī)構(gòu)需要對(duì)接結(jié)算支付信息。實(shí)現(xiàn)與外部合作伙伴航空公司、金融機(jī)構(gòu)、機(jī)場(chǎng)運(yùn)營(yíng)部門的信息共享。與內(nèi)部系統(tǒng)也需要對(duì)接金稅系統(tǒng)。與SAP 系統(tǒng)對(duì)接基礎(chǔ)業(yè)務(wù)數(shù)據(jù)。接口采用的數(shù)據(jù)字段項(xiàng)須參照國(guó)際航協(xié)航油結(jié)算數(shù)據(jù)標(biāo)準(zhǔn)格式。
4.3.2 航油智慧云數(shù)據(jù)中臺(tái)異常數(shù)據(jù)動(dòng)態(tài)推薦功能
基于大數(shù)據(jù)綜合分析的精準(zhǔn)算法,通過(guò)對(duì)航油作業(yè)行為的數(shù)據(jù)分析來(lái)進(jìn)行數(shù)據(jù)匹配,實(shí)現(xiàn)對(duì)突發(fā)事件數(shù)據(jù)響應(yīng)情況的個(gè)性化特征的組合“數(shù)據(jù)畫像”,以實(shí)現(xiàn)數(shù)據(jù)中臺(tái)服務(wù)域指向性特征,實(shí)現(xiàn)突發(fā)事件應(yīng)急響應(yīng)機(jī)制的啟動(dòng)支撐。
本文以航油智慧云數(shù)據(jù)中臺(tái)系統(tǒng)為例,提出數(shù)據(jù)中臺(tái)在突發(fā)事件的應(yīng)急管理中,中臺(tái)大數(shù)據(jù)的應(yīng)用價(jià)值,工作原理、實(shí)現(xiàn)技術(shù)架構(gòu)及實(shí)現(xiàn)方式,尤其是當(dāng)前存在“數(shù)據(jù)孤島”和“數(shù)據(jù)煙囪”的情況下,數(shù)據(jù)中臺(tái)在利用大數(shù)據(jù)的管理賦能中,更能凸顯監(jiān)測(cè)預(yù)警和快速協(xié)同響應(yīng)作業(yè)的優(yōu)勢(shì)價(jià)值。