張燕玲

摘 要：針對傳統(tǒng)煙草企業(yè)ERP系統(tǒng)信息資源分散獨立、數(shù)據(jù)利用率較低、無法保證時效性和完整性等問題，本文提出一種基于Hadoop的煙草企業(yè)智慧型ERP系統(tǒng)數(shù)據(jù)處理智能處理架構(gòu)，通過數(shù)據(jù)整合與智能處理滿足以數(shù)據(jù)驅(qū)動ERP的業(yè)務活動執(zhí)行需求，從而實現(xiàn)在生產(chǎn)管理過程中以數(shù)據(jù)驅(qū)動生產(chǎn)、以數(shù)據(jù)驅(qū)動決策的管理目標。

關(guān)鍵詞：煙草企業(yè);智慧ERP系統(tǒng);煙草大數(shù)據(jù);智能數(shù)據(jù)處理

中圖分類號：TP311.52文獻標識碼：A文章編號：1003-5168（2018）26-0032-03

1 研究背景

ERP的核心是企業(yè)供應鏈的管理，其脫離傳統(tǒng)企業(yè)邊界，從優(yōu)化企業(yè)資源入手，以改善企業(yè)業(yè)務活動與流程為目的?，F(xiàn)今，我國很多企業(yè)都引入了現(xiàn)代化的ERP系統(tǒng)，效果十分明顯，特別是我國大型煙草企業(yè)集團，在很多方面的管理都嘗試引入ERP去解決其存在的不足?，F(xiàn)有的ERP系統(tǒng)無論在理論上還是實踐上都還不夠成熟，特別是對于ERP系統(tǒng)長期使用過程中所產(chǎn)生的大量業(yè)務數(shù)據(jù)，只能進行簡單的查詢和統(tǒng)計，其中有80%的數(shù)據(jù)并沒有真正利用起來，更不能將其建立在數(shù)據(jù)的智能分析之上，有效地為國家的煙草計劃經(jīng)營模式提供決策支持[1]。同時，我國的煙草經(jīng)營是建立在國家計劃經(jīng)營和自主經(jīng)營下的特殊經(jīng)營模式之上，國家煙草局和管理部門需要通過數(shù)據(jù)提升對市場把控的洞察力，從而滿足市場需求，不斷提升整個煙草領(lǐng)域中企業(yè)的自主創(chuàng)新能力。為了加強對ERP系統(tǒng)在運行過程中產(chǎn)生的大量數(shù)據(jù)進行有效管理和利用，建立智能的ERP數(shù)據(jù)挖掘分析與預測模型，實現(xiàn)數(shù)據(jù)、知識、業(yè)務活動與利潤的智能轉(zhuǎn)化，對煙草企業(yè)的重組與業(yè)務的標準化、提升生產(chǎn)與管理效率顯得尤為重要。因此，本文主要利用Hadoop大數(shù)據(jù)平臺、云計算、SOA技術(shù)對EPR系統(tǒng)中數(shù)據(jù)的智能處理問題進行研究，提出一種煙草企業(yè)智慧型ERP系統(tǒng)的數(shù)據(jù)集成與共享架構(gòu)，從而實現(xiàn)在生產(chǎn)管理過程中以數(shù)據(jù)驅(qū)動生產(chǎn)、以數(shù)據(jù)驅(qū)動決策的管理需求。

2 基于Hadoop的煙草企業(yè)ERP大數(shù)據(jù)智能處理模式設(shè)計

2.1 ERP大數(shù)據(jù)處理架構(gòu)

在云計算技術(shù)的影響下，分布式計算已成為目前解決TB級甚至PB級大數(shù)據(jù)問題的主要方法。傳統(tǒng)的關(guān)系型數(shù)據(jù)處理模式已經(jīng)遠遠不能滿足當前復雜的數(shù)據(jù)處理需求。Hadoop作為一種有效的大數(shù)據(jù)處理架構(gòu)，能較好地提供分布式數(shù)據(jù)處理的計算和存儲能力。Hadoop數(shù)據(jù)處理的主要方式是將大數(shù)據(jù)塊在HDFS集群中分割成可以獨立傳輸和處理的小的數(shù)據(jù)塊進行維護、處理和備份，并在需要時通過HDFS文件集群完成數(shù)據(jù)塊的讀寫操作。與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫處理模式相比，Hadoop具有高擴展性、可同時處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)信息、高性能的完成離線批處理操作等功能[2]。

煙草工業(yè)數(shù)據(jù)只有在被整合和計算的基礎(chǔ)上，才能被用于發(fā)掘和洞察商業(yè)規(guī)律，挖掘潛在的信息和規(guī)律，從而實現(xiàn)指導和優(yōu)化生產(chǎn)經(jīng)營過程，達到賦能于商業(yè)和創(chuàng)造價值的目的。因此，本文利用Hadoop技術(shù)構(gòu)建了煙草企業(yè)的ERP大數(shù)據(jù)處理架構(gòu)，如圖1所示。

在Hadoop下，通過將結(jié)構(gòu)化的卷煙生產(chǎn)、經(jīng)營數(shù)據(jù)進行分類、數(shù)據(jù)清洗和標準的格式化轉(zhuǎn)換，將各類異構(gòu)數(shù)據(jù)整合在統(tǒng)一的處理架構(gòu)之下，實現(xiàn)數(shù)據(jù)的統(tǒng)一管理和處理。架構(gòu)主要分為三層：應用服務層、數(shù)據(jù)分析層和數(shù)據(jù)存儲層。通過整合分散而獨立的ERP環(huán)節(jié)的各項數(shù)據(jù)，從而達到業(yè)務功能環(huán)節(jié)整合的目的，避免在業(yè)務流程閉環(huán)中脫離數(shù)據(jù)的指導而造成生產(chǎn)各環(huán)節(jié)的脫節(jié)和分離。

2.2 ERP大數(shù)據(jù)接入與存儲模型設(shè)計

2.2.1 ERP大數(shù)據(jù)接入模型。由于現(xiàn)有的煙草企業(yè)有很多業(yè)務系統(tǒng)是分散的，無法實現(xiàn)所有業(yè)務環(huán)節(jié)的整合，進行業(yè)務流程閉環(huán)操作時會產(chǎn)生很多斷點，無法保證數(shù)據(jù)的完整性，因此，在ERP大數(shù)據(jù)接入和采集方式中，主要是利用無線通信（智能終端）、物聯(lián)網(wǎng)技術(shù)（Zigbee無線傳感網(wǎng)絡(luò)、RFID無線射頻和各類傳感器）等，而為了保障ERP系統(tǒng)中各類數(shù)據(jù)采集的實時和有效性，將ERP數(shù)據(jù)的接入建立在分布式的消息隊列Kafka的處理機制之上，提出了如圖2所示的接入架構(gòu)。該架構(gòu)是一種生產(chǎn)者和消費者模型，能在進行ERP業(yè)務消息處理時對數(shù)據(jù)進行以下封裝和處理。

①將每個終端采集到的消息發(fā)布到本地Kafka消息中，并且都以獨立的數(shù)據(jù)形式進行封裝;之后，再上傳到云服務平臺進行分析和處理。

②本文構(gòu)建的Kafka集群，是基于分布式消息隊列的，其中定義了可以進行擴充功能的接口，可以根據(jù)需要從ERP業(yè)務中加入對應的數(shù)據(jù)采集客戶端，不會因為擴展了多個數(shù)據(jù)采集終端造成數(shù)據(jù)接入的瓶頸。ERP數(shù)據(jù)接入模型如圖2所示。

③構(gòu)建消息隊列中的生產(chǎn)者和消費者模型，分別處理消息的請求和服務問題。生產(chǎn)者與消費者模式，可以解開消息與消息類型間的耦合度，解除程序和提供服務的數(shù)據(jù)模型之間的依賴關(guān)系。

④在Kafaka消息隊列集群中加入緩存機制，使數(shù)據(jù)的讀寫效率比普通數(shù)據(jù)管理系統(tǒng)的磁盤隨機讀寫要快將近兩個數(shù)量級，從而保證前端數(shù)據(jù)的讀寫速度[3]。

2.2.2 ERP大數(shù)據(jù)存儲與分析模式設(shè)計。大數(shù)據(jù)分析是建立在有效的數(shù)據(jù)存儲和維護功能基礎(chǔ)上的，根據(jù)應用需求對數(shù)據(jù)進行分析，提供分布式的計算和分析能力。在對ERP大數(shù)據(jù)進行分析時，需要按需讀取數(shù)據(jù)，進行數(shù)據(jù)清洗、計算和結(jié)果存儲。由于煙草企業(yè)ERP工作的數(shù)據(jù)量大，結(jié)構(gòu)復雜而多樣，很多時候需要對數(shù)據(jù)的變換狀況做出快速而及時的處理，因此，本文構(gòu)建了基于Hadoop的數(shù)據(jù)挖掘與分析架構(gòu)模型，主要通過Hadoop中的分布式計算框架MapReduce來分割、并行計算，以擴大系統(tǒng)的計算能力，提高數(shù)據(jù)資源的利用率。

煙草企業(yè)ERP系統(tǒng)中的大數(shù)據(jù)主要分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩類。結(jié)構(gòu)化數(shù)據(jù)是以傳統(tǒng)的數(shù)據(jù)管理系統(tǒng)進行存儲和維護，而非結(jié)構(gòu)化數(shù)據(jù)分析處理較為復雜，是將ERP的大數(shù)據(jù)塊分解成小的獨立的數(shù)據(jù)塊發(fā)布到各個離散的計算節(jié)點上，通過映射和規(guī)約函數(shù)完成在每個節(jié)點上的計算操作后進行存儲、分析和統(tǒng)一調(diào)度。其執(zhí)行過程主要包括以下幾個步驟。

①分布式數(shù)據(jù)倉庫Hive和分布式數(shù)據(jù)庫HBase負責對海量的非結(jié)構(gòu)化煙草ERP大數(shù)據(jù)進行存儲，然后對數(shù)據(jù)文件進行分割，劃分為多個數(shù)據(jù)片段，分配到集群中的各個節(jié)點上。

②主控程序Master將數(shù)據(jù)分解為各個Map和Reduce任務。

③被分配了Map任務的工作機讀取對應的數(shù)據(jù)片段進行處理，調(diào)用映射函數(shù)Map，將獲取到的中間結(jié)果進行緩存并寫入存儲器。

④數(shù)據(jù)被存儲的位置需要發(fā)回主控程序，同時，也需要將位置信息轉(zhuǎn)發(fā)給Reduce工作機。

⑤Reduce工作機通過遠程調(diào)用Map上的文件，并按照Key形成序列，將相同Key序列的數(shù)據(jù)部署在一起。

⑥Reduce工作機將生成的Key與Value列表值發(fā)送給用戶的Reduce函數(shù)，以便于將來檢索調(diào)用，最終將結(jié)果輸出到文件中進行存儲[4]。

2.3 ERP資源虛擬化服務與請求調(diào)度模型設(shè)計

云計算的最大優(yōu)勢是通過將系統(tǒng)中的ERP資源進行虛擬化，達到資源整合和利用的目的。虛擬化技術(shù)主要包括服務器、存儲技術(shù)和網(wǎng)絡(luò)資源虛擬化幾個部分。本文主要研究如何將ERP服務資源進行虛擬化，通過選擇合理的調(diào)度策略，滿足多終端應用程序?qū)Y源的請求和使用需求。

在云服務端，資源的請求訪問是通過多租戶技術(shù)來實現(xiàn)的，主要是為各個應用程序提供獨立的訪問空間和服務功能。由于本文建立的架構(gòu)是對多個基層機構(gòu)ERP數(shù)據(jù)資源進行共享，結(jié)合ERP數(shù)據(jù)在一定范圍內(nèi)對安全性和獨立性的需求，本文采用混合多組合共享模式來實現(xiàn)資源的虛擬化服務和調(diào)用，包括以下幾種實現(xiàn)方式的混合：①應用程序、數(shù)據(jù)庫隔離而數(shù)據(jù)應用方式和空間共享;②應用實例共享，而數(shù)據(jù)庫與地址空間共享;③應用實例、數(shù)據(jù)庫和共享地址空間都隔離[5]。

在這三種模式混合下，本文提出建立基于隊列的動態(tài)請求調(diào)度策略，從分配的資源請求中，進行優(yōu)先級排隊，排隊模式如圖3所示。

3 結(jié)語

由于傳統(tǒng)的煙草企業(yè)ERP信息管理系統(tǒng)是一種狹義的管理系統(tǒng)，各個業(yè)務數(shù)據(jù)分散而獨立，時效性、完整性無法保證，因此造成各個業(yè)務環(huán)節(jié)離散而脫離市場需求。本文提出的煙草企業(yè)智慧型ERP系統(tǒng)數(shù)據(jù)處理智能處理架構(gòu)，實現(xiàn)各類異構(gòu)ERP大數(shù)據(jù)集成與共享，從而滿足以數(shù)據(jù)驅(qū)動ERP業(yè)務活動、智能調(diào)整和優(yōu)化營銷、物流、銷售等，達到指導整個企業(yè)生產(chǎn)活動的目的，進一步提升煙草企業(yè)的信息化、智能化管理水平和市場競爭力。

參考文獻：

[1]姬靖，李旭于，兆鵬，等.煙草行業(yè)信息化——青州卷煙廠ERP案例分析[J].微計算機信息，2016（21）：111-113.

[2]王能.RFID技術(shù)在煙草行業(yè)中的應用研究[J].經(jīng)營管理者，2015（1）：322.

[3]王金旺，蔣明青，戴順南.基于RFID技術(shù)的煙草商業(yè)企業(yè)出入庫流程方案設(shè)計[J].物流科技，2025（31）：97-100.

[4]董鵬，張曉良.ERP生產(chǎn)計劃模塊的優(yōu)化策略[J].CAD/CAM與制造業(yè)信息化，2015（Z1）：18-20.

[5]張云霞.基于云計算模式的ERP企業(yè)管理信息系統(tǒng)分析[J].信息安全與技術(shù)，2014（2）：47-49.

[6]樊凌凌.RFID技術(shù)在煙類產(chǎn)品運輸包裝中的應用實踐[J].微計算機信息，2014（11）：14-16.