代學(xué)卿

（青島濱海學(xué)院信息工程學(xué)院 山東 青島 266555）

1 引言

近年來，國家加大了對大數(shù)據(jù)相關(guān)行業(yè)扶持力度，各項利好政策不斷頒布，全國各地成立了大數(shù)據(jù)產(chǎn)業(yè)部門，極好地促進了大數(shù)據(jù)的發(fā)展。隨著大數(shù)據(jù)相關(guān)技術(shù)成熟和各行各業(yè)的應(yīng)用，大數(shù)據(jù)技術(shù)促進了經(jīng)濟更快、更好、更高質(zhì)量的發(fā)展[1]。

由于中國的電子商務(wù)發(fā)展非常迅速，大型購物中心在運營和管理過程中收集了海量數(shù)據(jù)，這些數(shù)據(jù)具有來源范圍廣、結(jié)構(gòu)形式多樣化、更新變化快等特點。在大數(shù)據(jù)背景下，利用大數(shù)據(jù)技術(shù)對進貨商品的類型、渠道進行優(yōu)化，利用數(shù)據(jù)分析模型，預(yù)測購買人群的喜好、偏愛，生成有價值的統(tǒng)計報告，幫助大型購物中心更好地預(yù)測銷量，更好地指導(dǎo)進貨、庫存和銷售。

2 相關(guān)技術(shù)

大數(shù)據(jù)技術(shù)依賴于云計算，云計算為大數(shù)據(jù)提供了底層計算基礎(chǔ)。大數(shù)據(jù)融合了云計算、互聯(lián)網(wǎng)、分布式存儲、物聯(lián)網(wǎng)等資源，在基礎(chǔ)資源調(diào)度方面具有更強的彈性和更好的伸縮特性。在這里，大數(shù)據(jù)采用了Hadoop框架，數(shù)據(jù)分布式存儲中，利用MapReduce進行并行計算。

HDFS最大的優(yōu)勢是可存儲海量數(shù)據(jù)，MapReduce可以對海量數(shù)據(jù)進行并行計算。在Hadoop框架下，程序員或用戶不必詳細掌握其底層細節(jié)，充分利用這些分布式解決方案，使用集群就可以對海量數(shù)據(jù)實現(xiàn)快速運算和高質(zhì)量的存儲。Hadoop應(yīng)用范圍很廣，比如Facebook；通過重新實現(xiàn)Map Reduce接口，Hadoop自動把相關(guān)計算離散分布到各個關(guān)鍵節(jié)點上去，從而運行出結(jié)果。

3 大數(shù)據(jù)分析

近年來，大型購物中心之間的競爭將圍繞著進銷存管理展開，這已經(jīng)成為影響大型購物中心發(fā)展的重要因素。對于傳統(tǒng)的進銷存系統(tǒng)，其管理水平和效率比較低，對于日益膨脹的進貨數(shù)據(jù)、庫存數(shù)據(jù)和銷售數(shù)據(jù)，現(xiàn)有的系統(tǒng)無法很好分析、處理這些數(shù)據(jù)，很難精確把握未來客戶的購物需求。大數(shù)據(jù)技術(shù)的快速應(yīng)用，迫使大型購物中心引進新的技術(shù)和管理思想，通過Hadoop大數(shù)據(jù)平臺分析數(shù)據(jù)，選擇合理的模型預(yù)測客戶需求，構(gòu)建一個新型進銷存管理系統(tǒng)，從而更好地利用供銷存的相關(guān)供應(yīng)鏈資源，加強大型購物中心各個部門的交流與協(xié)作，提供企業(yè)的利潤，不斷降低各類成本[2]。

4 大數(shù)據(jù)采集

對大型購物中心各部門日常運營產(chǎn)生的數(shù)據(jù)進行有效收集，將匯總后的數(shù)據(jù)上傳至云服務(wù)器中，這些數(shù)據(jù)可以為下一階段數(shù)據(jù)建模提供數(shù)據(jù)基礎(chǔ)。一般來說，數(shù)據(jù)采集既可以采集結(jié)構(gòu)化的數(shù)據(jù)，也可以采集非結(jié)構(gòu)化的數(shù)據(jù)；既可以動態(tài)采集，也可以靜態(tài)采集數(shù)據(jù)。動態(tài)數(shù)據(jù)主要包括大型購物中心進銷存系統(tǒng)中實際運行時實時產(chǎn)生的各類數(shù)據(jù)，比如：商品銷售信息、客流情況等。靜態(tài)數(shù)據(jù)是指不變化的數(shù)據(jù)，例如商品進貨渠道、倉庫所屬區(qū)域等信息。在這里，本系統(tǒng)使用HBASE作為分布式數(shù)據(jù)庫，實時對處理后的數(shù)據(jù)進行保存，采用關(guān)系型數(shù)據(jù)庫對那些靜態(tài)類數(shù)據(jù)進行保存，通過構(gòu)建映射關(guān)系連接兩種不同關(guān)系的數(shù)據(jù)庫，可以為日后更有效的提取數(shù)據(jù)、高效挖掘數(shù)據(jù)做好充足的準備，為大數(shù)據(jù)模型的構(gòu)建和大數(shù)據(jù)應(yīng)用提供了巨大的便利。

5 系統(tǒng)設(shè)計

5.1 系統(tǒng)模塊設(shè)計

對于大型購物中心來說，根據(jù)進銷存系統(tǒng)的實際需求，其主要功能模塊包括：采購管理模塊、基本信息管理模塊、庫存管理模塊、財務(wù)管理模塊、銷售管理模塊和系統(tǒng)管理模塊，其模塊結(jié)構(gòu)圖見圖1。

圖1 系統(tǒng)功能結(jié)構(gòu)圖

對于本系統(tǒng)來說，重點研究的是采購模塊、庫存模塊和銷售模塊，其基本介紹如下。

5.1.1 采購管理模塊

本模塊主要對采購人員的進貨方式和采購商品的進貨量等進行管理。具體包括：進貨管理、進貨編輯、進貨配置、進貨記錄、進貨歷史、商品檢驗等內(nèi)容。（1）進貨管理：通過一個進貨網(wǎng)頁來實現(xiàn)，可以記錄進貨商品的詳細信息。（2）進貨編輯：主要對入庫的商品信息進行修改。（3）進貨配置：主要對進貨的商品數(shù)量進行管理。（4）進貨記錄：主要是對商品信息進行記錄，并進行進貨日志設(shè)置。（5）進貨歷史：主要是查看進貨歷史信息。同時，也可以統(tǒng)計進貨歷史數(shù)據(jù)。（6）進貨檢驗：可以對商品的一些信息進行驗證，確保商品合格。

5.1.2 銷售管理模塊

本模塊主要對系統(tǒng)的銷售模塊進行管理，提供了多種商品銷售的通道，并對商品的銷售記錄進行分析，能夠解析出暢銷商品、大用戶的信息和潛在用戶的信息，實現(xiàn)了對進貨和庫存的管理和指導(dǎo)。其詳細功能包括：銷售商品訂單、銷售商品計劃、銷售商品出庫、結(jié)算商品管理、商品報表分析與商品退貨管理。（1）銷售商品訂單主要是對銷售的商品產(chǎn)生訂單的詳細信息。（2）銷售商品計劃主要是對銷售商品的計劃進行更新。（3）銷售商品出庫主要是維護商品的出庫信息。（4）結(jié)算商品管理主要處理已經(jīng)結(jié)算以及未結(jié)算商品的信息。（5）報表分析主要對商品銷售量進行圖表分析，比如：按年、按月、按日。（6）退貨管理主要解決商品退回信息的管理。

5.1.3 庫存管理模塊

本模塊主要是對大型購物中心的各個商場的倉庫進行管理，主要包括：庫存信息查詢、庫存信息檢驗、庫存信息報表。（1）庫存信息查詢主要針對各個商場的倉庫的進出信息進行查詢。（2）庫存信息檢驗主要針對貨物在途管理、貨物差異處理、貨物安全存量的預(yù)警管理、商品出貨信用控制、一天24h業(yè)務(wù)盤點。（3）庫存信息報表主要打印商品庫存分析表，以及輸出庫存報表等信息。

5.2 大數(shù)據(jù)架構(gòu)設(shè)計

在進銷存管理系統(tǒng)中，整合不同功能模塊，本系統(tǒng)借助Hadoop作為大數(shù)據(jù)底層架構(gòu)平臺[3-4]。首先，采集系統(tǒng)歷史數(shù)據(jù)，主要包括：進貨數(shù)據(jù)信息、銷售數(shù)據(jù)信息和庫存數(shù)據(jù)信息，同時，實時采集現(xiàn)在系統(tǒng)正在產(chǎn)生的一手數(shù)據(jù)；然后，搭建平臺并進行數(shù)據(jù)計算、分析和統(tǒng)計等功能。系統(tǒng)核心是由分布式文件系統(tǒng)HDFS和并行計算架MapReduce構(gòu)組成，其中 HDFS解決了底層如何存儲各類數(shù)據(jù)的功能，MapReduce提供了數(shù)據(jù)的并行計算功能。大型購物中心包含的商場眾多、管理方式非常復(fù)雜、每天生成的數(shù)據(jù)量很大，使用大數(shù)據(jù)平臺可以解決采集數(shù)據(jù)、保存數(shù)據(jù)、計算數(shù)據(jù)以及擴展數(shù)據(jù)的業(yè)務(wù)需求，基于 Hadoop框架來架構(gòu)大數(shù)據(jù)進銷存應(yīng)用平臺，平臺可分為數(shù)據(jù)采集層、數(shù)據(jù)儲存層、業(yè)務(wù)分析層和大數(shù)據(jù)應(yīng)用層，見表1。

表1 系統(tǒng)大數(shù)據(jù)結(jié)構(gòu)分層表

6 系統(tǒng)分層實現(xiàn)

數(shù)據(jù)采集層主要通過技術(shù)手段從大型購物中心的各個商場收集并匯總商品的信息，這些主要包括：進貨信息、庫存信息和銷售信息，這些數(shù)據(jù)是大型購物中心的各個商場采集或生成的原始數(shù)據(jù)，一定要保存好。

數(shù)據(jù)存儲層的主要任務(wù)：在Hadoop框架支持下，通過數(shù)據(jù)倉庫工具hive來存放動態(tài)數(shù)據(jù)，并將這些數(shù)據(jù)結(jié)構(gòu)化處理，轉(zhuǎn)化為一張數(shù)據(jù)庫表，將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行。HBase數(shù)據(jù)庫主要用來存儲靜態(tài)類型數(shù)據(jù)，能夠加工處理各類數(shù)據(jù)，ZooKeeper可以處理復(fù)雜數(shù)據(jù)，解決一些錯誤，更加合理的管控系統(tǒng)資源。

數(shù)據(jù)分析層的主要任務(wù)：在有效存儲數(shù)據(jù)后，考慮大型購物中心的業(yè)務(wù)需求，借助MapReduce進行分析數(shù)據(jù)和并行計算。這里的數(shù)據(jù)分析主要包括：篩選加工數(shù)據(jù)，按類別統(tǒng)計分析；由于數(shù)據(jù)采集層收集到的數(shù)據(jù)和數(shù)據(jù)儲存層中的數(shù)據(jù)都是原始未加工的數(shù)據(jù)，這些類型的數(shù)據(jù)格式不統(tǒng)一。首先，要清洗數(shù)據(jù)、處理數(shù)據(jù)，然后分析提煉出有用信息，最后對這些數(shù)據(jù)進行分類、排序等統(tǒng)計，對海量數(shù)據(jù)進行有效處理和加工，為大數(shù)據(jù)應(yīng)用層提供最基礎(chǔ)的算法支持。

大數(shù)據(jù)應(yīng)用層的主要任務(wù)：收集數(shù)據(jù)分析層處理后產(chǎn)生的數(shù)據(jù)信息，把計算的最終結(jié)果或報告上傳至大數(shù)據(jù)應(yīng)用層，該層將為大型購物中心的最終科學(xué)決策提供有用的報告。如果想解決新的問題，只需要增加新的運算程序，并輸出可視化的分析和統(tǒng)計報表。

7 結(jié)語

本系統(tǒng)采用了基于Hadoop框架的大數(shù)據(jù)解決方案， 基于大型購物中心的實際進貨數(shù)據(jù)、銷售數(shù)據(jù)和庫存數(shù)據(jù)為出發(fā)點，對現(xiàn)有的進銷存系統(tǒng)進行了分析，選取了一個基于大數(shù)據(jù)的模型，并提出了一個4層結(jié)構(gòu)的進銷存管理系統(tǒng)[5]，詳細剖析了各個層的邏輯關(guān)系和運行機理。