李壘, 郝倩

(河南工業(yè)職業(yè)技術(shù)學(xué)院 電子信息工程學(xué)院， 南陽(yáng) 473009)

0 引言

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算技術(shù)的不斷發(fā)展，大數(shù)據(jù)成為當(dāng)下最熱門的技術(shù)之一。互聯(lián)網(wǎng)上的信息稱為大數(shù)據(jù)的重要來源，智能終端的普及給大數(shù)據(jù)帶來了豐富、鮮活的數(shù)據(jù)，云計(jì)算是大數(shù)據(jù)誕生的前提和必要條件，大數(shù)據(jù)的出現(xiàn)是歷史的必然，它具有數(shù)據(jù)量大、速度快、類型多、價(jià)值高的特點(diǎn)[1]。 “大數(shù)據(jù)”與“小數(shù)據(jù)”的區(qū)別不在于“大”，而在于“有用”，在于是否有邊界。大數(shù)據(jù)是沒有邊界的，重點(diǎn)是“分享思維”“整體思維”，小數(shù)據(jù)是有邊界的，主要是“局部思維”“盲人摸象思維”。大數(shù)據(jù)時(shí)代的到來[2]， 促使各行業(yè)也紛紛從自身出發(fā)，創(chuàng)造本行業(yè)與大數(shù)據(jù)技術(shù)深度結(jié)合的契機(jī)，尋求產(chǎn)業(yè)升級(jí)路徑。

國(guó)內(nèi)經(jīng)濟(jì)持續(xù)發(fā)展，居民收入逐步提高，帶動(dòng)人們對(duì)乳制品的需求不斷增長(zhǎng)。全球主要液體乳品消費(fèi)國(guó)人均水平為23-102公斤，而我國(guó)人均乳品消費(fèi)約20公斤，不足世界水平的1/5，人口老齡化的到來以及居民健康意識(shí)的增強(qiáng)，也將促進(jìn)乳品需求的增加[3]。目前，城市乳制品銷量占到全國(guó)乳制品總銷量的90%，廣大農(nóng)村乳品市場(chǎng)潛力巨大，有待挖掘，隨著農(nóng)村乳制品消費(fèi)量的逐步增長(zhǎng)，我國(guó)乳制品行業(yè)將會(huì)迎來更加廣闊的發(fā)展空間，這也為國(guó)內(nèi)的乳制品企業(yè)創(chuàng)造了發(fā)展的大好機(jī)遇。與此同時(shí)，對(duì)于乳業(yè)來說，每天的交易都會(huì)產(chǎn)生非常龐大的數(shù)據(jù)，如企業(yè)股份財(cái)務(wù)報(bào)表、品牌指數(shù)、區(qū)域崗位招聘信息等。我們需要根據(jù)數(shù)據(jù)模型，對(duì)這些數(shù)據(jù)通過進(jìn)行整合、分析，挖掘出隱含在其中的有價(jià)值的信息，研判乳品行業(yè)的健康狀況及發(fā)展趨勢(shì)，進(jìn)而有效地助力企業(yè)科學(xué)決策，規(guī)避風(fēng)險(xiǎn)，創(chuàng)造更大的持續(xù)發(fā)展優(yōu)勢(shì)。

1 大數(shù)據(jù)分析流程

1.1 大數(shù)據(jù)分析概述

道德經(jīng)的一句話“有道無(wú)術(shù)，術(shù)尚可求；有術(shù)無(wú)道，止于術(shù)?！标U明了數(shù)據(jù)分析的本質(zhì)。數(shù)據(jù)分析就是一門“明道優(yōu)術(shù)”的學(xué)科。而大數(shù)據(jù)時(shí)代的數(shù)據(jù)分析是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析[4]。大數(shù)據(jù)分析流程主要包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析以及數(shù)據(jù)展現(xiàn)幾個(gè)部分。

1.2 數(shù)據(jù)采集

大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫(kù)來接收發(fā)自客戶端的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫(kù)來進(jìn)行簡(jiǎn)單的查詢和處理工作[5]。大數(shù)據(jù)的采集需要有龐大的數(shù)據(jù)庫(kù)的支撐，有的時(shí)候也會(huì)利用多個(gè)數(shù)據(jù)庫(kù)同時(shí)進(jìn)行大數(shù)據(jù)的采集。因此對(duì)于數(shù)據(jù)庫(kù)的負(fù)載以及每個(gè)數(shù)據(jù)庫(kù)之間進(jìn)行切換都存在著挑戰(zhàn)。數(shù)據(jù)采集的性能將會(huì)直接決定在一個(gè)給定的時(shí)間段內(nèi)大數(shù)據(jù)系統(tǒng)能夠處理的數(shù)據(jù)量的能力。

1.3 數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)獲得的方式多種多樣，數(shù)據(jù)規(guī)模也十分龐大，導(dǎo)致實(shí)際得到的大數(shù)據(jù)往往存在著不完整、重復(fù)、不一致性，無(wú)法直接進(jìn)行數(shù)據(jù)挖掘與預(yù)測(cè)，或達(dá)不到滿意的分析結(jié)果。因此，如何對(duì)數(shù)據(jù)進(jìn)行有效的清理和轉(zhuǎn)換，使之成為符合數(shù)據(jù)分析要求的數(shù)據(jù)源，是影響數(shù)據(jù)分析準(zhǔn)確性的關(guān)鍵因素。為了提高數(shù)據(jù)分析與挖掘的質(zhì)量，有必要在之前先進(jìn)行數(shù)據(jù)預(yù)處理。在一個(gè)完整的數(shù)據(jù)挖掘過程中，數(shù)據(jù)預(yù)處理要花費(fèi)60%左右的時(shí)間。數(shù)據(jù)預(yù)處理主要通過數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約等方式來完成。

1.4 大數(shù)據(jù)分析

大數(shù)據(jù)時(shí)代，數(shù)據(jù)分析與挖掘是大數(shù)據(jù)處理與應(yīng)用的關(guān)鍵環(huán)節(jié)，它是從大量數(shù)據(jù)中提取或“挖掘”知識(shí)，發(fā)現(xiàn)規(guī)律，該環(huán)節(jié)決定了大數(shù)據(jù)集合的價(jià)值性和可用性，以及分析預(yù)測(cè)結(jié)果的準(zhǔn)確性[6]。在進(jìn)行大數(shù)據(jù)分析時(shí)，應(yīng)根據(jù)大數(shù)據(jù)應(yīng)用情境與決策需求，選擇合適的數(shù)據(jù)分析技術(shù)，提高大數(shù)據(jù)分析結(jié)果的可用性、價(jià)值性和準(zhǔn)確性質(zhì)量。數(shù)據(jù)分析與挖掘的任務(wù)和功能一般可以分為兩大類：描述和預(yù)測(cè)。描述類挖掘主要是展現(xiàn)數(shù)據(jù)集中數(shù)據(jù)的一般特征。聚類分析是指將物理或抽象對(duì)象的集合分組為由類似的對(duì)象組成的多個(gè)類的分析過程。

預(yù)測(cè)類挖掘是是利用數(shù)據(jù)挖掘工具建立連續(xù)值函數(shù)模型，對(duì)已有數(shù)據(jù)進(jìn)行研究得出預(yù)測(cè)結(jié)論。從技術(shù)上可分為定性預(yù)測(cè)和定量預(yù)測(cè)。定性預(yù)測(cè)是指使用者根據(jù)掌握的經(jīng)驗(yàn)及判斷力對(duì)將要預(yù)測(cè)的對(duì)象作出定性化的分析過程；定量預(yù)測(cè)是使用數(shù)學(xué)模型，對(duì)歷史統(tǒng)計(jì)數(shù)據(jù)使用數(shù)學(xué)方法得到變量間規(guī)律關(guān)系。

1.5 數(shù)據(jù)展現(xiàn)

數(shù)據(jù)展現(xiàn)是指將大數(shù)據(jù)分析與預(yù)測(cè)結(jié)果以計(jì)算機(jī)圖形或圖像的直觀方式顯示給用戶的過程，并可與用戶進(jìn)行交互式處理。數(shù)據(jù)展現(xiàn)的目的是將分析所得的數(shù)據(jù)進(jìn)行可視化，以便運(yùn)營(yíng)決策人員能更方便地獲取數(shù)據(jù)，更快更簡(jiǎn)單地發(fā)現(xiàn)大量業(yè)務(wù)數(shù)據(jù)中隱含的規(guī)律性信息，以支持管理決策。數(shù)據(jù)展現(xiàn)是影響大數(shù)據(jù)可用性和易于理解性質(zhì)量的關(guān)鍵因素。

2 乳業(yè)大數(shù)據(jù)分析

要得到好的大數(shù)據(jù)分析成果往往需要大量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)處理、精確的數(shù)據(jù)分析與預(yù)測(cè)、優(yōu)秀的可視化圖表以及簡(jiǎn)練易懂的結(jié)果解釋。

以某乳品行業(yè)數(shù)據(jù)為例，采用大數(shù)據(jù)可視化分析平臺(tái)“魔鏡”為分析工具，采用大數(shù)據(jù)思維，通過分析乳品行業(yè)公司財(cái)務(wù)運(yùn)營(yíng)情況，品牌熱度，人員招聘等信息，對(duì)乳品行業(yè)企業(yè)的發(fā)展?fàn)顩r進(jìn)行多方位的分析評(píng)估，對(duì)企業(yè)實(shí)際運(yùn)營(yíng)管理提供有價(jià)值的數(shù)據(jù)支撐，指導(dǎo)企業(yè)發(fā)現(xiàn)問題，并提出相應(yīng)的對(duì)策方案。

2.1 數(shù)據(jù)預(yù)處理

將數(shù)據(jù)源導(dǎo)入分析平臺(tái)，分析發(fā)現(xiàn)數(shù)據(jù)中存在缺失性、一致性和錯(cuò)誤性數(shù)據(jù)，對(duì)這些影響分析結(jié)果的數(shù)據(jù)進(jìn)行預(yù)處理。

(1)缺失數(shù)據(jù)處理

數(shù)據(jù)的缺失包括記錄的缺失和某個(gè)字段的缺失，通過對(duì)源數(shù)據(jù)處理發(fā)現(xiàn)，港股中大慶乳業(yè)營(yíng)業(yè)收入項(xiàng)，銷售成本項(xiàng)，毛利項(xiàng)等都為零，進(jìn)行數(shù)據(jù)清洗，如圖1(a)所示。

企業(yè)港股財(cái)報(bào)中的每股收益和員工薪酬全部為0，很明顯的數(shù)據(jù)缺失，與現(xiàn)實(shí)中實(shí)際情況不符，判斷為缺失值，將其刪除，如圖1(b)和(c)所示。

(a)

(b)

(c)

(2)重復(fù)數(shù)據(jù)處理

數(shù)據(jù)庫(kù)中屬性值相同的記錄被認(rèn)為是重復(fù)記錄，通過判斷記錄間的屬性值是否相等來檢測(cè)記錄是否相等，相等的記錄合并為一條記錄(即合并/清除)。根據(jù)分析，清除數(shù)據(jù)源中的重復(fù)數(shù)據(jù)，如圖2所示。

圖2 去除重復(fù)數(shù)據(jù)

(3)數(shù)據(jù)一致性處理

由于乳企招聘信息中“學(xué)歷”字段中的“學(xué)歷大?！?、“學(xué)歷：大?！焙汀按髮！比N表達(dá)形式意思相同，而且影響分析，所以我們選擇將其統(tǒng)一合并為“大?！?。其他學(xué)歷有同樣問題的字段我們也進(jìn)行了一致性的操作。如圖3所示。

圖3 一致性處理

(4)異常值處理

港股中成本都是支出，實(shí)際應(yīng)按照負(fù)數(shù)算。但是財(cái)務(wù)成本字段中存在數(shù)據(jù)為正的情況，為了不影響財(cái)務(wù)成本有關(guān)數(shù)據(jù)，將其判定為異常值予以剔除。如圖4所示。

圖4 異常值處理

2.2 數(shù)據(jù)分析及展現(xiàn)

(1)統(tǒng)計(jì)分析

利用數(shù)據(jù)分析平臺(tái)對(duì)各個(gè)乳業(yè)的乳品品牌進(jìn)行分析(根據(jù)乳業(yè)近三個(gè)月的數(shù)據(jù)來進(jìn)行分析)，主要從整體指數(shù)、移動(dòng)指數(shù)和PC指數(shù)等方面進(jìn)行分析，可視化結(jié)果如圖5所示。

圖5 整體指數(shù)分析

整體指數(shù)代表了一個(gè)企業(yè)的整體發(fā)展水品。使用數(shù)據(jù)分析平臺(tái)對(duì)各企業(yè)商品品牌的整體指數(shù)(匯總)和各品牌整體指數(shù)占比進(jìn)行分析，如圖所示。從分析結(jié)果可以看出，各商品整體指數(shù)最高的是蒙牛的特侖蘇品牌，達(dá)到了43%，所有企業(yè)中整體指數(shù)占比最為明顯。

移動(dòng)指數(shù)是指在移動(dòng)端搜索關(guān)鍵字的搜索量，PC指數(shù)是指在電腦端的搜索關(guān)鍵字的搜索量。將各企業(yè)品牌的移動(dòng)指數(shù)和pc指數(shù)進(jìn)行對(duì)比，如圖6所示。

圖6 移動(dòng)指數(shù)和PC指數(shù)分析

還發(fā)現(xiàn)除圣牧全程有機(jī)奶的pc端搜索量比移動(dòng)端搜索量高之外，其他品牌都是移動(dòng)端搜索量高于pc端。其中指數(shù)對(duì)比最明顯的是蒙牛特侖蘇，可以得出我國(guó)居民的搜索習(xí)慣，大部分是通過移動(dòng)端來搜索。因此，對(duì)于品牌關(guān)注度高的企業(yè)繼續(xù)嚴(yán)把產(chǎn)品質(zhì)量關(guān)，以獲得更好的口碑，關(guān)注度稍低的品牌在提高產(chǎn)品質(zhì)量的同時(shí)，還需加強(qiáng)對(duì)品牌的推廣、加大對(duì)產(chǎn)品的宣傳力度。

創(chuàng)建“企業(yè)A股收入分析”儀表盤，對(duì)各乳企經(jīng)營(yíng)狀況，“A股收入”進(jìn)行分析。如圖7所示。

圖7 “企業(yè)A股收入分析”儀表盤

從分析結(jié)果中可以看出，乳品行業(yè)里營(yíng)業(yè)收入最多的分別是伊利、新希望和光明乳業(yè)。另外，乳業(yè)產(chǎn)品的營(yíng)業(yè)收入隨各季度會(huì)有一些變化，春秋季節(jié)光明乳業(yè)環(huán)比占到92%，然而冬夏季節(jié)環(huán)比占比為0，華資實(shí)業(yè)在冬夏季節(jié)環(huán)比占到60%，在春秋卻下降到-10%，所以需要企業(yè)在各季節(jié)經(jīng)營(yíng)方式做些調(diào)整。先鋒新材、新希望、燕塘乳業(yè)、皇氏集團(tuán)、科迪乳業(yè)、貝因美、金健米業(yè)這些企業(yè)在春秋季節(jié)卻出現(xiàn)了環(huán)比負(fù)增長(zhǎng)，這說明了企業(yè)經(jīng)營(yíng)狀況呈下滑趨勢(shì)。從2016的營(yíng)業(yè)收入同比增長(zhǎng)對(duì)比，可以看出與2015年同期相比大部分企業(yè)是呈上升趨勢(shì)，部分企業(yè)并無(wú)明顯增長(zhǎng)，個(gè)別企業(yè)出現(xiàn)負(fù)增長(zhǎng)，表明乳企行業(yè)近年來發(fā)展整體呈上升趨勢(shì)。

(2)數(shù)據(jù)挖掘

聚類分析按照某種相近程度度量方法，將用戶數(shù)據(jù)分成一系列有意義的子集合，每個(gè)集合中的數(shù)據(jù)性質(zhì)相近，不同集合之間的數(shù)據(jù)性質(zhì)相差較大。它在相似的基礎(chǔ)上收集數(shù)據(jù)來分類。

根據(jù)各乳業(yè)的營(yíng)業(yè)收入數(shù)據(jù)，利用“魔鏡”平臺(tái)分析工具的“數(shù)據(jù)挖掘”中的聚類分析，得出分析結(jié)果，如圖8所示。

圖8 乳企營(yíng)業(yè)收入聚類分析

據(jù)調(diào)查，公司的營(yíng)業(yè)收入水平表現(xiàn)了該公司的發(fā)展前景，通過聚類把乳企營(yíng)業(yè)收入進(jìn)行可視化區(qū)分，對(duì)整個(gè)乳品行業(yè)的營(yíng)業(yè)能力進(jìn)行總覽。

相關(guān)性分析是指對(duì)兩個(gè)或多個(gè)具備相關(guān)性的變量元素進(jìn)行分析，用來衡量?jī)蓚€(gè)變量因素的相關(guān)密切程度。根據(jù)移動(dòng)指數(shù)與pc指數(shù)數(shù)據(jù)，根據(jù)移動(dòng)指數(shù)與pc指數(shù)數(shù)據(jù)，利用“魔鏡”平臺(tái)分析工具的“數(shù)據(jù)挖掘”中的相關(guān)性分析，得出移動(dòng)指數(shù)與pc指數(shù)的相關(guān)性，如圖9所示。

圖9 移動(dòng)指數(shù)與pc指數(shù)相關(guān)性分析

從結(jié)果中可以看出，pc指數(shù)數(shù)據(jù)落入移動(dòng)指數(shù)空間的置信度是0.78，屬于中度相關(guān)，而移動(dòng)指數(shù)落入pc指數(shù)空間的置信度分別是0.90和1.0，屬于高度相關(guān)。

(3)對(duì)策建議

各乳企通過“互聯(lián)網(wǎng)+”，大數(shù)據(jù)等先進(jìn)技術(shù)，對(duì)企業(yè)相關(guān)數(shù)據(jù)進(jìn)行分析，有利于充分了解國(guó)內(nèi)市場(chǎng)的需求重點(diǎn)，緊跟國(guó)際市場(chǎng)，加大產(chǎn)品研發(fā)投入，注重產(chǎn)品的升級(jí)換代。另外，在智能時(shí)代，各乳企應(yīng)該加大低端崗位員工的培訓(xùn)力度，提高他們轉(zhuǎn)崗和再就業(yè)的能力。而新進(jìn)乳企應(yīng)該提供更具特色的產(chǎn)品，強(qiáng)化自身品牌的區(qū)分度，在市場(chǎng)中為自己贏得一席之地。

3 總結(jié)

大數(shù)據(jù)是在互聯(lián)網(wǎng)時(shí)代，信息儲(chǔ)存和處理能力飛躍發(fā)展之后得到的一個(gè)成果，也是人工智能的基礎(chǔ)技術(shù)。大數(shù)據(jù)是任何企業(yè)都繞不過去的一個(gè)具有決定性意義的重要技術(shù)，必然對(duì)所有企業(yè)都造成不可忽視的影響。大數(shù)據(jù)分析為企業(yè)帶來有價(jià)值的信息，助力企業(yè)做出合理預(yù)測(cè)和科學(xué)決策。