范海虹

摘? ?要： 數(shù)據(jù)是各行業(yè)實現(xiàn)數(shù)字化、網(wǎng)絡化、智能化發(fā)展的關鍵要素。為了提升能源物資物流效率，增強能源物資數(shù)據(jù)的互聯(lián)互通，利用數(shù)據(jù)即服務（DaaS）技術(shù)，打造了能源物資數(shù)據(jù)資源共享云平臺。在流程設計上，基于能源物資采購環(huán)節(jié)數(shù)據(jù)，進行商品比價、篩選，采購流程全閉環(huán)管理，交易數(shù)據(jù)全量化統(tǒng)計，實現(xiàn)實時數(shù)據(jù)同步，提升采購效率;在架構(gòu)部署上，采用共享API云平臺，與電商企業(yè)采購平臺和應用場景有機結(jié)合，深度分析和挖掘數(shù)據(jù)。建立了能源物資大數(shù)據(jù)監(jiān)測系統(tǒng)平臺，通過用戶行為分析等手段，按照用戶需求，實現(xiàn)指標采集和數(shù)據(jù)挖掘。數(shù)據(jù)即服務技術(shù)的應用，使得能源物資及物流數(shù)據(jù)價值得以充分挖掘，充分利用了能源物資企業(yè)的IT運營效果，提升了管理效益，具有廣泛的應用前景。

關鍵詞： 數(shù)據(jù)即服務（DaaS）;能源物資;資源共享;數(shù)據(jù)挖掘;云平臺

引言

當前，隨著工業(yè)互聯(lián)網(wǎng)、人工智能、云計算等技術(shù)的廣泛普及與應用，數(shù)據(jù)成為工業(yè)企業(yè)實現(xiàn)數(shù)字化、網(wǎng)絡化、智能化發(fā)展的關鍵要素。產(chǎn)業(yè)數(shù)字化、數(shù)字產(chǎn)業(yè)化，加快數(shù)據(jù)中心等新型基礎設施建設，是現(xiàn)代工業(yè)企業(yè)創(chuàng)新發(fā)展的基石。

近些年，大數(shù)據(jù)挖掘在能源、交通、通信等領域[1-4]的研究與應用越來越廣泛。例如，我國某能源物資企業(yè)的物流系統(tǒng)不斷完善，先后打造了以“招投標管理系統(tǒng)”、“詢比價采購系統(tǒng)”和“國家能源e購網(wǎng)上商城”為核心的三大電子商務關鍵平臺，并通過大數(shù)據(jù)挖掘技術(shù)的應用，取得了很好的成效。

為了給能源物資物流領域賦予新動能，還應進一步增強能源物資數(shù)據(jù)的互聯(lián)互通，打破信息孤島。本文利用數(shù)據(jù)即服務（Data as a Service，DaaS）技術(shù)，打造能源物資數(shù)據(jù)資源共享云平臺，構(gòu)建一套全新的智慧物資物流電子商務系統(tǒng)。

1? 數(shù)據(jù)即服務（DaaS）的發(fā)展背景與技術(shù)原理

1.1? 數(shù)據(jù)資源

數(shù)據(jù)資源是信息化建設的基礎，是信息系統(tǒng)的價值所在，數(shù)據(jù)的采集、處理、共享與開放已經(jīng)成為數(shù)字產(chǎn)業(yè)的抓手。對數(shù)據(jù)資源的利用方式已歷經(jīng)兩個階段：第一階段，業(yè)務單元數(shù)據(jù)利用計算機存取，這類電子化的數(shù)據(jù)通常僅被個人或單一系統(tǒng)使用;第二階段，互聯(lián)網(wǎng)和工業(yè)物聯(lián)網(wǎng)在部門或行業(yè)逐步整合了各類業(yè)務信息系統(tǒng)，數(shù)據(jù)開始在部門內(nèi)或行業(yè)垂直領域內(nèi)實現(xiàn)流動共享。目前，第三階段，即跨領域、跨平臺的數(shù)據(jù)共享、開放、融合的階段已經(jīng)來臨。

1.2? 數(shù)據(jù)共享與開放面臨的問題

1.2.1? 數(shù)據(jù)共享接口標準化工作不深入

在C/S、B/S等具有三層體系架構(gòu)的應用系統(tǒng)中，數(shù)據(jù)層存儲數(shù)據(jù)的值及其基本語法，業(yè)務層和表現(xiàn)層蘊含數(shù)據(jù)的語義和語用。由于后期需要進行系統(tǒng)二次開發(fā)和實現(xiàn)數(shù)據(jù)共享，其一是從開發(fā)者角度，必須完整理解和掌握系統(tǒng)，避免出現(xiàn)文檔源碼缺失、開發(fā)團隊缺位、第三方軟件公司不配合等問題;其二是從管理者角度，必須全面評估安全風險，要考慮數(shù)據(jù)的一致性和及時性、數(shù)據(jù)訪問權(quán)限的安全性等;其三是從系統(tǒng)相關者角度，要考慮的問題會更多，如系統(tǒng)架構(gòu)、流程、性能、穩(wěn)定性，需要的人員、時間、成本和利益得失等，但現(xiàn)實中無法面面俱到。因此，對數(shù)據(jù)共享接口提供者而言，難以同時滿足以上各方的要求，也無法列明和預計所有可能的數(shù)據(jù)接口。

1.2.2? 數(shù)據(jù)開放開發(fā)成本巨大

對于傳統(tǒng)信息系統(tǒng)而言，數(shù)據(jù)開放協(xié)調(diào)難度大，需要取得相關各系統(tǒng)的完整技術(shù)文檔，方可開始開發(fā)。開發(fā)技術(shù)復雜，開發(fā)速度慢，而且參與開發(fā)的人員數(shù)量也比較多?？梢姡瑧脗鹘y(tǒng)技術(shù)實現(xiàn)數(shù)據(jù)開放互聯(lián)，開發(fā)工作量巨大、難度極高，見效比較緩慢。

1.3? 數(shù)據(jù)即服務技術(shù)原理與特點

針對數(shù)據(jù)共享接口復雜、數(shù)據(jù)開放開發(fā)成本巨大，導致數(shù)據(jù)資源無法得到充分利用的問題，數(shù)據(jù)即服務技術(shù)應運而生，其通過數(shù)據(jù)資源的集中化管理，實現(xiàn)數(shù)據(jù)利用效能提升等目標。

數(shù)據(jù)即服務技術(shù)是指與數(shù)據(jù)相關的任何服務，如數(shù)據(jù)聚合、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)清洗等，都能夠在集中處置中實現(xiàn)，只是體現(xiàn)為不同的工程模式、行為模式、組織模式。通過各種模型、方法和平臺，將數(shù)據(jù)提供給不同的系統(tǒng)和用戶，而無需再考慮這些數(shù)據(jù)來自哪些數(shù)據(jù)源[5]。數(shù)據(jù)即服務技術(shù)原理如圖1所示。

數(shù)據(jù)即服務技術(shù)是面向大數(shù)據(jù)的數(shù)據(jù)開采技術(shù)，其以創(chuàng)新的體系結(jié)構(gòu)和模型，將數(shù)據(jù)以服務的形式開放出來，進行精細化管理并提供給各種場景使用。這種服務在系統(tǒng)中對應著具有獨立語義的數(shù)據(jù)單元，用戶可自由組裝并調(diào)用所需要的數(shù)據(jù)，重建出業(yè)務信息系統(tǒng)的數(shù)據(jù)，快速實時挖掘出有用的數(shù)據(jù)，形成多源數(shù)據(jù)共享池，為數(shù)據(jù)開放、融合與增值創(chuàng)新提供高效的平臺支撐。

數(shù)據(jù)即服務技術(shù)可將互聯(lián)網(wǎng)/局域網(wǎng)中的各種IT資源（業(yè)務信息系統(tǒng)、文檔、數(shù)據(jù)庫等）中蘊含的數(shù)據(jù)和服務以API（Application Programming Interface，應用程序接口）的形式進行供給、管理和增值處理。這一創(chuàng)新的開發(fā)方式，一是復雜性極低，對源系統(tǒng)的風險接近零;二是無需協(xié)調(diào)源系統(tǒng)開發(fā)者，大幅提升效率與進度;三是數(shù)據(jù)讀寫與源系統(tǒng)完全一致，保證數(shù)據(jù)一致性和安全性。

2 能源物資數(shù)據(jù)資源共享云平臺的實現(xiàn)

本章分析數(shù)據(jù)即服務技術(shù)實用化的手段，并將其應用于能源物資數(shù)據(jù)資源共享云平臺建設。通過數(shù)據(jù)即服務技術(shù)，整合企業(yè)內(nèi)外部API服務資源，為公司內(nèi)部及能源生態(tài)圈的上下游企業(yè)提供服務、按需調(diào)度資源[6]提供了一套全新的技術(shù)解決方案。

2.1? 需求與機會分析

構(gòu)建能源物資數(shù)據(jù)資源共享云平臺，要解決以下問題：

一是要解決采購成本高的問題。能源物資采購人員無法對所有產(chǎn)品都精通了解，不能及時并且精準地掌握能源物資產(chǎn)品的成本，造成價格虛高。

二是要解決采購效率低的問題。每次采購都需要在眾多能源物資供應商中進行比較，甚至需要與眾多供應商溝通協(xié)調(diào)，影響采購效率。

三是要有效應對市場行情變化。能源物資采購人員有時不能及時并且精準地掌握能源物資產(chǎn)品的市場行情，無法保障采購效果。

四是要解決采購過程監(jiān)管不力的問題。能源物資采購應以實現(xiàn)能源物資供應的“高效、規(guī)范、質(zhì)優(yōu)、價宜”為目標，就需要具有很好的過程化監(jiān)管，但現(xiàn)實中這種監(jiān)管手段難以有效實現(xiàn)。

2.2? 平臺流程設計

基于數(shù)據(jù)即服務技術(shù)建立的能源物資數(shù)據(jù)資源共享云平臺，是一種一站式、多電商、云服務的企業(yè)級采購云平臺，旨在重點解決企業(yè)在開展能源物資集中采購中遇到的問題，發(fā)揮集中采購效益最大化，實現(xiàn)能源物資采購數(shù)據(jù)資源共享。平臺流程設計如圖2所示，其從采購環(huán)節(jié)的申請審批出發(fā)，突破傳統(tǒng)思維，借助新技術(shù)及資源整合優(yōu)勢，在多個電商企業(yè)采購平臺進行商品實時比價、篩選，實現(xiàn)數(shù)據(jù)同步，提升效率。此外，采購流程全閉環(huán)，實現(xiàn)價格體系分析和內(nèi)部管控分析，對采購總額、采購總數(shù)以及成本節(jié)省等情況進行全量化統(tǒng)計，選擇品質(zhì)最好、服務最優(yōu)、價格最低的能源物資產(chǎn)品。

該平臺的流程設計還實現(xiàn)了同一類型商品在各大電商平臺的精確定位，并基于價格的自動計算，篩選最低價格的電商產(chǎn)品，并予以突出顯示。同時，系統(tǒng)會列出每個商品的個人版價格，并形成對比，避免在多個電商采購平臺間頻繁切換比價。這種設計使得采購省時省力，既避免了電商價格欺瞞，也避免了采購人員的繁重比價工作，更提升了上級公司的信任度。

2.3? 平臺架構(gòu)部署

基于數(shù)據(jù)即服務技術(shù)的平臺架構(gòu)采用共享API云平臺，可以打通各家企業(yè)電商平臺數(shù)據(jù)，顛覆傳統(tǒng)的數(shù)據(jù)開采技術(shù)，有機融合電商數(shù)據(jù)，深度分析和挖掘數(shù)據(jù)。

平臺架構(gòu)部署如圖3所示。在這一平臺架構(gòu)部署下，采購平臺、API云平臺和應用場景有機結(jié)合，以創(chuàng)新的體系結(jié)構(gòu)，重建業(yè)務系統(tǒng)的數(shù)據(jù)接口，快速實時挖掘出系統(tǒng)數(shù)據(jù)，形成多源數(shù)據(jù)共享池，為數(shù)據(jù)開放融合與增值創(chuàng)新提供高效的平臺支撐。平臺架構(gòu)為分層結(jié)構(gòu)，包括數(shù)據(jù)層、應用層和表現(xiàn)層。電商企業(yè)采購平臺作為數(shù)據(jù)層，主要存放源業(yè)務系統(tǒng)數(shù)據(jù)庫，以提供真實有效的業(yè)務數(shù)據(jù);共享API云平臺作為應用層，是對業(yè)務處理進行實用化評價的核心，實現(xiàn)指標數(shù)據(jù)計算、規(guī)則統(tǒng)計、問題數(shù)據(jù)處理等功能;應用場景作為表現(xiàn)層，負責為用戶設計操作方式和UI展示，其由多個功能模塊組成，包括采購數(shù)據(jù)分析挖掘、物資申請或?qū)徟⒈葍r與支付功能，并在后臺進行用戶日志獲取、業(yè)務運行監(jiān)測、實時日志分析、指標統(tǒng)計和展示、報警和審計等功能。

3? 能源物資大數(shù)據(jù)監(jiān)測系統(tǒng)平臺設計

能源物資大數(shù)據(jù)監(jiān)測系統(tǒng)平臺是能源物資數(shù)據(jù)資源共享云平臺的重要組成部分，其設計圍繞電子商務平臺實用化監(jiān)測來展開，按照用戶需求實現(xiàn)指標采集和數(shù)據(jù)挖掘。該平臺基于API技術(shù)，從應用模塊外部入手，采用主動探測方式，監(jiān)測應用模塊功能表現(xiàn)的變化。

3.1? 總體架構(gòu)設計

（1）業(yè)務系統(tǒng)：采用流量旁路技術(shù)，實現(xiàn)流量復制轉(zhuǎn)發(fā)，并采用Agent（代理）技術(shù)，主動采集業(yè)務系統(tǒng)運行信息，探測應用模塊可訪問性;

（2）數(shù)據(jù)收集：通過API捕獲分析這一核心技術(shù)，建立API映射規(guī)則，實現(xiàn)系統(tǒng)監(jiān)測和報警，并對系統(tǒng)狀況進行智能分析;

（3）系統(tǒng)展示：對業(yè)務指標進行多維度分析與展現(xiàn)，并展示系統(tǒng)健康度分析和問題診斷結(jié)果。

能源物資大數(shù)據(jù)監(jiān)測系統(tǒng)平臺總體架構(gòu)如圖4所示。

3.2? 平臺功能設計

3.2.1? 用戶行為分析

（1）用戶行為數(shù)據(jù)采集指標

① 用戶停留時長、同時在線人數(shù);

② 用戶訪問的具體操作時間;

③ 用戶訪問具體模塊或業(yè)務的次數(shù);

④ 用戶業(yè)務操作時長;

⑤ 其他。

（2）采購員行為分析要點

① 采購員工作量分析，可分析采購員的工作投入情況，橫向分析同類采購員的工作投入差異;

② 采購員工作時段分析，分析采購員工作壓力的高峰期，調(diào)整人員投入和工作安排;

③ 采購員工作效率分析，通過對同類人員操作相同業(yè)務的不同時間周期，反映人員的工作效率情況;

④ 采購員業(yè)務熟練度分析，通過對同一采購員在不同時間段操作的分析，展現(xiàn)業(yè)務的熟練度，對新采購員效果明顯。

3.2.2? 應用模塊分析

（1）應用模塊數(shù)據(jù)采集指標

① 應用模塊用戶訪問次數(shù)，可以按照累計訪問次數(shù)和日/月訪問次數(shù)分別統(tǒng)計;

② 應用模塊單次訪問平均時間;

③ 應用模塊錯誤情況;

④ 自動巡檢異常告警情況。

（2）應用模塊數(shù)據(jù)分析要點

① 應用模塊使用頻度分析，用于分析系統(tǒng)核心功能的使用情況，評估應用核心功能的價值，為后期的投入提供參考依據(jù);

② 應用模塊的使用時長統(tǒng)計，用于分析業(yè)務功能的復雜情況，便于后期的優(yōu)化改進;

③ 應用模塊的使用時段，用于分析系統(tǒng)的壓力情況，結(jié)合資源占用情況可提供系統(tǒng)部署調(diào)整的數(shù)據(jù)支撐;

④ 應用模塊健康情況分析，通過錯誤的頻度及重要度的分析，提供后期整改或優(yōu)化的數(shù)據(jù)參考。

3.3.3? 業(yè)務流程分析

（1）業(yè)務單據(jù)流轉(zhuǎn)數(shù)據(jù)采集指標

① 單據(jù)發(fā)起數(shù)量;

② 單據(jù)流轉(zhuǎn)時長;

③ 單據(jù)類型及名稱;

④ 單據(jù)流轉(zhuǎn)過程中的人員信息;

⑤ 其他。

（2）業(yè)務流程數(shù)據(jù)分析要點

① 不同類型業(yè)務單據(jù)數(shù)量統(tǒng)計，通過對不同業(yè)務總量的對比，體現(xiàn)業(yè)務的重要度和關注點;

② 相同類型業(yè)務單據(jù)數(shù)量統(tǒng)計分析，通過對同類業(yè)務不同時間區(qū)間的數(shù)量變化，分析業(yè)務流程使用的高峰低谷情況;

③ 同一單據(jù)的流轉(zhuǎn)過程分析，通過對業(yè)務單據(jù)流轉(zhuǎn)節(jié)點的業(yè)務數(shù)量分析，得到業(yè)務處理的擠壓或滯留等問題，可以關注重點并作出及時處理;

④ 業(yè)務流程使用時間段分析，通過對整體業(yè)務時間段的分析，得到業(yè)務過程的復雜情況，便于后期的業(yè)務優(yōu)化及人員安排;

⑤ 業(yè)務流程用戶訪問量及并發(fā)量分析，分析系統(tǒng)處理壓力和人員工作壓力情況。

能源物資大數(shù)據(jù)監(jiān)測系統(tǒng)平臺部分功能示例如圖5所示，如采購數(shù)量最多的商品、采購總金額等。

4? 應用效果評估

4.1? 降低了企業(yè)IT運營成本，提升了社會效益和管理效益

隨著數(shù)字化轉(zhuǎn)型的進一步推進，能源物資企業(yè)對IT運營的需求和管理模式也在發(fā)生變化。在激烈的市場競爭環(huán)境下，企業(yè)不斷整合資源，尋求以更低的成本獲取更高的效益的工作模式。由于在降低企業(yè)IT成本、提升企業(yè)IT運營效率等方面的顯著優(yōu)勢，數(shù)據(jù)即服務技術(shù)受到越來越多企業(yè)的青睞[7]。

數(shù)據(jù)即服務技術(shù)已經(jīng)發(fā)展得越來越成熟，越來越被企業(yè)用戶所接受。利用數(shù)據(jù)即服務技術(shù)，將會對提高服務質(zhì)量、增強用戶體驗和降低自身服務成本產(chǎn)生重要影響。實現(xiàn)的企業(yè)級多電商能源物資數(shù)據(jù)資源共享電子商務云平臺，有效利用現(xiàn)有數(shù)據(jù)，使采購更加規(guī)范透明，使監(jiān)管手段更加方便有效，最大程度地節(jié)約采購成本，為市場策略的制定提供了依據(jù)，從而提高了企業(yè)的風險控制能力、經(jīng)營決策能力以及競爭能力。在管理效益方面，可以加強采購監(jiān)管能力，實現(xiàn)業(yè)務創(chuàng)新，提升采購體驗;在經(jīng)濟效益方面，可以提升采購配送效率，節(jié)約采購成本;在社會效益方面，可以促進業(yè)務數(shù)據(jù)聚合，建立信息決策可靠數(shù)據(jù)基礎，產(chǎn)生行業(yè)示范效應。

4.2? 實現(xiàn)了橫向協(xié)同，數(shù)據(jù)價值得以充分挖掘

通過數(shù)據(jù)即服務技術(shù)構(gòu)建的能源物資數(shù)據(jù)資源共享云平臺，打破了信息孤島，消除了對系統(tǒng)源碼、數(shù)據(jù)庫表、后臺權(quán)限、原開發(fā)團隊等的依賴，形成了聚合型管理系統(tǒng)，實現(xiàn)了數(shù)據(jù)、功能與第三方系統(tǒng)的高效互操作。在應用層監(jiān)測方面，為系統(tǒng)優(yōu)化、數(shù)據(jù)交互共享、系統(tǒng)互聯(lián)互通、大數(shù)據(jù)監(jiān)測、信息安全和輔助決策提供了有力支撐。后續(xù)還可以建立應用行為優(yōu)化支持系統(tǒng)、應用層信息安全審計系統(tǒng)和實用化應用輔助決策系統(tǒng)等，進一步挖掘數(shù)據(jù)價值。

4.3? 推動了縱向業(yè)務創(chuàng)新，企業(yè)獲得了可持續(xù)發(fā)展能力

數(shù)據(jù)即服務技術(shù)，一是能夠?qū)崿F(xiàn)B/S架構(gòu)系統(tǒng)的移動端快速遷移，二是能夠?qū)崿F(xiàn)API接口的平臺化管理。以上優(yōu)勢從縱向上為業(yè)務創(chuàng)新提供了高效的復用支持，使得云端大數(shù)據(jù)業(yè)務應用實現(xiàn)了前后端分離，形成了可衍生的前端新型業(yè)務應用模式。企業(yè)獲得了可持續(xù)發(fā)展能力，可隨時滿足業(yè)務系統(tǒng)快速上線的需求，提升企業(yè)創(chuàng)新速度和效率。

5? 結(jié)束語

本文利用數(shù)據(jù)即服務技術(shù)，為能源物資企業(yè)打造了數(shù)據(jù)資源共享云平臺，尤其是構(gòu)建了能源物資大數(shù)據(jù)監(jiān)測系統(tǒng)平臺，形成了一套全新的智慧物資物流電子商務系統(tǒng)。數(shù)據(jù)即服務技術(shù)的引進，使得數(shù)據(jù)價值得以充分挖掘，降低了能源物資企業(yè)的IT運營成本，提升了社會效益和管理效益。

業(yè)務需求帶動技術(shù)進步，技術(shù)進步推動業(yè)務創(chuàng)新。不局限于能源物資物流領域，數(shù)據(jù)即服務技術(shù)在其他工業(yè)與信息化融合領域也將有廣泛的應用前景。

參考文獻

[1] 王雷， 張祎. 基于大數(shù)據(jù)挖掘的國防交通建設研究[J]. 工業(yè)技術(shù)創(chuàng)新， 2018， 5（4）： 99-105.

[2] 戴新建. 基于大數(shù)據(jù)挖掘的廣播電視客戶價值分析[J]. 科技視界， 2019（34）： 229， 250.

[3] 王家海， 郝保偉. 基于深度學習的工業(yè)領域數(shù)據(jù)挖掘方法及應用[J]. 數(shù)字技術(shù)與應用， 2019， 37（11）： 52-53， 55.

[4] 楊紅偉. 應用信息化和智能化提升智慧工程建設的項目管理[J]. 工業(yè)技術(shù)創(chuàng)新， 2019， 6（3）： 107-110.

[5] https：//wiki.mbalib.com/wiki/DaaS [EB/OL].

[6] 中國互聯(lián)網(wǎng)協(xié)會. 中國互聯(lián)網(wǎng)發(fā)展報告[R]. 2019.

[7] 謝靜. DaaS幫助企業(yè)推進數(shù)字化轉(zhuǎn)型[N]. 人民郵電， 2019-04-16（6）.