徐文杰

（上海軟中信息技術有限公司，上海 200235）

0 引言

隨著數(shù)字經(jīng)濟的飛速發(fā)展，數(shù)據(jù)作為企業(yè)中的關鍵資產(chǎn)之一，其地位與關注度不斷提升，依靠數(shù)據(jù)驅(qū)動創(chuàng)新成為企業(yè)數(shù)字化轉(zhuǎn)型的重要目標。中臺的概念源于阿里，是以“共享”和“復用”為核心，與前臺與后臺相對應，在企業(yè)組織中前臺是指市場、銷售等部門，后臺是指人資、財務等支撐部門。而中臺介于二者之間，可將前后臺有機聯(lián)系起來，這種概念的提出將企業(yè)從多個平臺分散煙囪式系統(tǒng)集群轉(zhuǎn)變?yōu)橄嗤脚_下的應用集群，依靠數(shù)據(jù)賦能企業(yè)發(fā)展，進一步凸顯數(shù)據(jù)價值。

1 數(shù)據(jù)中臺體系架構(gòu)與技術選型

1.1 定義

從阿里提出“中臺”戰(zhàn)略后，數(shù)據(jù)中臺在網(wǎng)絡背景下得到迅猛發(fā)展，其主要以數(shù)據(jù)驅(qū)動創(chuàng)新為目標，使用先進的技術創(chuàng)建體系，具有機動靈活、組織能力強等特點，其終極目標在于解決業(yè)務問題、快速解決業(yè)務訴求為中臺建設的重要考量指標。從本質(zhì)上看，中臺建設的目的在于使用服務；如果沒有嚴格的組織協(xié)調(diào)就很難形成強大戰(zhàn)斗力，該體系建設應有嚴格的技術體系與組織架構(gòu)，并且需要深入思考。

1.2 體系架構(gòu)

近年來，隨著Flink等技術的飛速發(fā)展，逐漸形成流批一體化潮流，接入層以流式接入，計算層支持實時計算，批處理成為流處理中的補充場景，可實現(xiàn)處理方式的自由切換，架構(gòu)如圖1所示。在大數(shù)據(jù)統(tǒng)計方面，統(tǒng)計分析不會出現(xiàn)根本性變化，以“T+1”批處理為例，作為數(shù)據(jù)應用不可或缺的內(nèi)容，在相同的架構(gòu)中，因數(shù)據(jù)源與維度變化較大，批處理面臨許多復雜場景，在利用相同框架時有一定難度，需要進行架構(gòu)分層，在符合網(wǎng)絡應用需求的基礎上，采用ELT系統(tǒng)架構(gòu)將其分為3層，具體如下：1）業(yè)務數(shù)據(jù)層。該層數(shù)據(jù)來源為原始數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)基本與數(shù)據(jù)源相同，可采用拉鏈加工與存儲變化數(shù)據(jù)。2）公共數(shù)據(jù)層。寬表便于理解與應用，下游調(diào)用十分便捷，且寬表利用率70%。3）應用層。其主要作用是數(shù)據(jù)加工，即集市層，該層設計較為靈活，與實際應用相貼合，設計理念為維度建模思想[1]。

圖1 數(shù)據(jù)中臺處理架構(gòu)

2 企業(yè)數(shù)據(jù)中臺體系的搭建內(nèi)容

2.1 元數(shù)據(jù)管理

元數(shù)據(jù)主要對數(shù)據(jù)、信息資源進行定位，使檢索與應用更加便利，同時還具有資源尋找、存儲位置和文件記錄等作用，是實現(xiàn)數(shù)據(jù)交換的必要前提。中臺系統(tǒng)十分龐大，內(nèi)部資源需要統(tǒng)籌管理，以元數(shù)據(jù)為頂層控制層，對內(nèi)部數(shù)據(jù)全面管控。中臺作為數(shù)據(jù)資源、共享中心，其本質(zhì)與具體業(yè)務無關，主要內(nèi)容如下所述。

2.1.1 基礎模式

在數(shù)據(jù)導入中臺后形成基礎數(shù)據(jù)信息，資源類型多種多樣，根據(jù)關系與對象模式進行結(jié)構(gòu)化處理，還有一些非結(jié)構(gòu)化的信息；元數(shù)據(jù)可采用自動與手動2種形式獲取，前者利用元數(shù)據(jù)獲取接口；對于難以獲取的數(shù)據(jù)可通過人機界面錄入。

2.1.2 數(shù)據(jù)服務

數(shù)據(jù)服務包括基礎數(shù)據(jù)與分析結(jié)果數(shù)據(jù)2項內(nèi)容，中臺服務是在Web服務的基礎上開展的，并遵循相關行業(yè)標準規(guī)定，采用微服務形式，通過提煉、回補等方式對基礎數(shù)據(jù)進行采集。

2.1.3 數(shù)據(jù)分析

通過配置建立分析邏輯，利用大數(shù)據(jù)分析引擎，在自定義數(shù)據(jù)中執(zhí)行相應的分析任務，通過對象模式描述數(shù)據(jù)分析結(jié)果。當該類數(shù)據(jù)需求得到滿足后，與數(shù)據(jù)管理同步運行[2]。

2.2 業(yè)務數(shù)據(jù)整合

中臺數(shù)據(jù)的來源為各業(yè)務系統(tǒng)，因數(shù)據(jù)提供方式不同，可將元數(shù)據(jù)整合到中臺內(nèi)進行統(tǒng)一管理。關系型數(shù)據(jù)經(jīng)過抽取轉(zhuǎn)換進入中臺的關系型數(shù)據(jù)庫中，對象型數(shù)據(jù)以公共信息模型為參考進行優(yōu)化，如對象關聯(lián)、路徑等，以原始數(shù)據(jù)為主，可利用關系型數(shù)據(jù)庫與對象數(shù)據(jù)訪問服務。在中臺內(nèi)的關系型數(shù)據(jù)，只要是在信息模型覆蓋內(nèi)，對象轉(zhuǎn)換后就可以將引入數(shù)據(jù)作為待處理的整體，按照層次、關聯(lián)等分為多個級別，實現(xiàn)多元系統(tǒng)數(shù)據(jù)配置，完成數(shù)據(jù)整合目標，鏟除內(nèi)部數(shù)據(jù)聯(lián)系存在的阻礙。將中臺內(nèi)部數(shù)據(jù)按照共享的方式提供給外界使用，為進一步提高數(shù)據(jù)效用，還可以發(fā)揮大數(shù)據(jù)的作用與優(yōu)勢，也可根據(jù)現(xiàn)實需求開發(fā)分析軟件，將所得結(jié)果作為中臺數(shù)據(jù)的構(gòu)成內(nèi)容之一，將元數(shù)據(jù)凝練后納入平臺中。通過反復循環(huán)和補充，不僅使中臺管理內(nèi)容更加豐富，而且可以根據(jù)分析結(jié)果選擇相應的服務方式，為數(shù)據(jù)取用提供更多便利。在數(shù)據(jù)整合完畢后，中臺可獲得3種類型數(shù)據(jù)，即原始數(shù)據(jù)、全域數(shù)據(jù)與分析型數(shù)據(jù)[3]。

2.3 數(shù)據(jù)服務發(fā)布

在中臺體系中數(shù)據(jù)服務十分關鍵，通過自定義查詢工具生成的查詢腳本存儲到關系型數(shù)據(jù)庫內(nèi)，并標記好名稱、協(xié)議、路徑與分組等信息，創(chuàng)建數(shù)據(jù)訪問API。生成API可注冊到服務平臺中進行統(tǒng)一管理，且可直接發(fā)布到API網(wǎng)管，提供開放共享的服務，如圖2所示。在數(shù)據(jù)服務的基礎上，一些價值較高的計算結(jié)果可導入指定數(shù)據(jù)源中，為展示分析提供更多便利。數(shù)據(jù)導出過程與導入基本相同，只要將源與目標角色對調(diào)即可。將導出計算結(jié)果傳入關系型數(shù)據(jù)庫中，使中臺數(shù)據(jù)內(nèi)容更加豐富，為商業(yè)數(shù)據(jù)智能應用提供更多便利，以數(shù)據(jù)資源管控為代表，可直接分析結(jié)果，并通過可視化的方式展現(xiàn)，使應用創(chuàng)建速度得到顯著提升[4]。

圖2 數(shù)據(jù)服務發(fā)布

中臺可提供多種與國際、行業(yè)標準相符合的標準，使多種數(shù)據(jù)訪問需求得到滿足，包括關系型、對象型、非結(jié)構(gòu)型，其服務與說明見表1。

表1 中臺主要數(shù)據(jù)服務

在RDS的基礎上，除關系型數(shù)據(jù)有特定的訪問接口之外，其他數(shù)據(jù)都具有微服務與Web服務。GDA提供相似SQL語言對象訪問語義支持，可按照批量、關聯(lián)鏈等查詢導航。對地址空間對象統(tǒng)一管理，在安全通道的基礎上，以二進制編碼高效傳輸數(shù)據(jù)。如果數(shù)據(jù)訪問端要求較高，就可以有限采用OPCUA服務。在服務部署方面，RDS數(shù)據(jù)服務可由RDS服務器提供，在ECS上統(tǒng)一部署到EDAS。

2.4 生命周期

在數(shù)據(jù)研發(fā)后還應注重生命周期，爆炸式增長的數(shù)據(jù)不但會占據(jù)更多的存儲空間，如機柜、存儲設備和IDC機房等，而且會影響計算效率。從數(shù)據(jù)形成開始就要重視生命周期問題，并根據(jù)數(shù)據(jù)利用情況，制定數(shù)據(jù)歸檔、銷毀等管理策略。如果數(shù)據(jù)已經(jīng)占用龐大的存儲資源，應采取一系列成本控制措施，包括以下3種：1）降低存量。采用數(shù)據(jù)壓縮技術、降低副本等方式，創(chuàng)建合理的數(shù)據(jù)模型，使存儲量降到最低。2）控制增量。根據(jù)數(shù)據(jù)關鍵性，明確數(shù)據(jù)存檔周期，根據(jù)周期自動歸檔，由此提高利用率。3）分攤成本。通過創(chuàng)建算法，如數(shù)據(jù)應用分布、需求來源等，其目標在于將成本分攤到不同部門，使相關部門更加重視資產(chǎn)管理成本，從而降低安全風險[5]。

3 數(shù)據(jù)中臺基礎上的賦能體系構(gòu)建案例

某企業(yè)為大型國資企業(yè)，主要從事資本運營，已經(jīng)在國內(nèi)多個地區(qū)與國外地區(qū)投資管理300多家子公司，企業(yè)實力雄厚，擁有廣闊的發(fā)展空間。

3.1 技術選型

由數(shù)據(jù)流向上進行技術選型，采用開源技術創(chuàng)建數(shù)據(jù)中臺，具體如下：1）抽取層。結(jié)構(gòu)化數(shù)據(jù)采用sqoop離線抽取，利用flume進行非結(jié)構(gòu)化日志接入。2）存儲層。文件可利用Hdfs與kafka進行存儲，適用于流式數(shù)據(jù)總線。3）計算與調(diào)度層?？衫胔ive與spark進行離線計算，采用Airflow、Axkabon進行數(shù)據(jù)調(diào)度，采用storm與spark進行實時計算。4）引擎層。主要為ROLAP與MOLAP。5）可視化。以Superset、Metabase為主。除此之外，整個Hadoop技術體系可選范圍較多，應與自身業(yè)務場景相結(jié)合靈活選擇，在選擇時還可對社區(qū)活躍度、技術開放性和組件兼容性等進行綜合分析。

3.2 體系構(gòu)建

在網(wǎng)絡時代，該企業(yè)逐漸引進先進的信息技術，在技術與數(shù)字的驅(qū)動下實現(xiàn)轉(zhuǎn)型升級，緊緊圍繞企業(yè)戰(zhàn)略目標，從本質(zhì)上解決企業(yè)效率、速度與細節(jié)等問題。采用精細化管理模式，使IT部門能夠?qū)I(yè)務變化快速響應，創(chuàng)建一套敏捷、智能、場景化數(shù)據(jù)賦能體系，在數(shù)據(jù)中臺的基礎上使該體系不斷成熟完善，具體內(nèi)容如下。

3.2.1 數(shù)據(jù)系統(tǒng)化

經(jīng)過信息化3.0建設，該企業(yè)數(shù)據(jù)系統(tǒng)化程度不斷加深，基本涵蓋全部業(yè)務與數(shù)據(jù)，如資源信息數(shù)據(jù)、記錄數(shù)據(jù)和經(jīng)營活動等，還包括內(nèi)部資源活動記錄、主動采集數(shù)據(jù)和公共數(shù)據(jù)資源等，在系統(tǒng)化模式下使各項工作效率得到顯著提升。

3.2.2 數(shù)據(jù)服務化

在數(shù)據(jù)治理完畢后，企業(yè)應充分適應市場業(yè)務變化情況，加強人資培養(yǎng)，創(chuàng)建數(shù)字化人才賦能模型，實現(xiàn)數(shù)據(jù)場景化應用目標，如圖3所示。從數(shù)據(jù)整合向中臺演進，在模型搭建過程中，通過夯實技術、業(yè)務為基、逐級培訓和因地制宜等方式，將整合后的有價值的數(shù)據(jù)直接輸出到業(yè)務場景中，為業(yè)務解決提供更多便利。

圖3 數(shù)字化人才賦能模型

3.2.3 數(shù)據(jù)展現(xiàn)

為提高數(shù)據(jù)應用水平，在業(yè)務場景與角色的基礎上，對個別角色數(shù)據(jù)進行強化。例如，在移動銷售應用場景中，對總經(jīng)理、業(yè)務代表等營銷類員工來說，不僅要了解內(nèi)部產(chǎn)品研發(fā)與生產(chǎn)進度，而且要考察市場信息，掌握銷售指標完成情況與自身績效排名等，業(yè)務場景見表2[6]。

表2 不同業(yè)務場景分析

3.3 應用效果

在數(shù)據(jù)資源的基礎上創(chuàng)建數(shù)據(jù)中臺，并根據(jù)現(xiàn)實需求進行數(shù)據(jù)分析。生產(chǎn)域數(shù)據(jù)、管理系統(tǒng)等通過ETL等實時匯集到中臺，在該基礎上，豐富和優(yōu)化系統(tǒng)資源，為生產(chǎn)經(jīng)營開展關聯(lián)性分析。對象數(shù)據(jù)通過OPC UA服務，通過受控數(shù)據(jù)庫服務與Web服務進行訪問。通過云計算創(chuàng)建基礎設施，提高大數(shù)據(jù)分析能力，有針對性地分析中臺數(shù)據(jù)，如設備缺陷、日志統(tǒng)計和生產(chǎn)運行等，將分析結(jié)果寫到中臺，為其他應用提供高效可靠的數(shù)據(jù)資源。在中臺內(nèi)規(guī)范化數(shù)據(jù)的基礎上，對企業(yè)運營、智慧園區(qū)和新能源應用等進行開發(fā)，并對資產(chǎn)部分功能進行細致地劃分，在生產(chǎn)域基礎上展示臺賬數(shù)據(jù)分析結(jié)果。企業(yè)內(nèi)部數(shù)據(jù)逐漸向中臺匯總，并將更多領域的分析結(jié)果納入中臺，使中臺內(nèi)部數(shù)據(jù)更加豐富完善，為應用開發(fā)提供強有力的支撐。數(shù)據(jù)資源價值得以充分突顯，獲得顯著的應用成效。

4 結(jié)論

綜上所述，隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，中臺管理系統(tǒng)不斷匯總更多數(shù)據(jù)信息，豐富和優(yōu)化系統(tǒng)資源，為網(wǎng)絡開展關聯(lián)性分析，也為其他應用提供高效可靠的數(shù)據(jù)資源。在未來的發(fā)展中，可將阿里云技術引入其中，在私有云支持下優(yōu)化企業(yè)賦能體系，使數(shù)據(jù)采集、管理、分析與服務等功能更加全面，提高構(gòu)建效率，降低業(yè)務管理難度，通過服務共享提高數(shù)據(jù)價值，為更多的新業(yè)務挖掘提供強有力的技術支持。