【摘 要】大數(shù)據(jù)對企業(yè)而言是亟待開發(fā)的寶貴資源。現(xiàn)代化的企業(yè)在這個大數(shù)據(jù)時代，對數(shù)據(jù)的分析有很高的要求。本文構(gòu)建了一個能夠滿足企業(yè)對數(shù)據(jù)進(jìn)行分析的并且造價不高的系統(tǒng)平臺即開源大數(shù)據(jù)生態(tài)系統(tǒng)。這個平臺包括了從大數(shù)據(jù)的采集、存儲、分析和利用等全部過程

【關(guān)鍵詞】大數(shù)據(jù);開源軟件;企業(yè)系統(tǒng)平臺

一、企業(yè)大數(shù)據(jù)分析平臺的構(gòu)建目的

（一）國家政策的支持

國家將大數(shù)據(jù)視為經(jīng)濟(jì)轉(zhuǎn)型升級、重新展現(xiàn)優(yōu)勢和提高政府管理能力的重要機(jī)遇和挑戰(zhàn)。大數(shù)據(jù)已經(jīng)上升為國家戰(zhàn)略，全國各級政府都在大力的推進(jìn)，頒布實施多項優(yōu)惠政策，扶持和引導(dǎo)相關(guān)產(chǎn)業(yè)的發(fā)展。

（二）大數(shù)據(jù)所處在的技術(shù)環(huán)境

云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等技術(shù)的逐步成熟并且集中展現(xiàn)，使得大數(shù)據(jù)時代的產(chǎn)生，并且為此提供了數(shù)據(jù)基礎(chǔ)。目前大數(shù)據(jù)應(yīng)用分析技術(shù)的不斷發(fā)展，造就了以開源技術(shù)為基礎(chǔ)的大數(shù)據(jù)平臺，多種技術(shù)協(xié)調(diào)發(fā)展的良好的技術(shù)體系，為大數(shù)據(jù)的采集、存儲、分析、利用提供了強(qiáng)有力的支持。

（三）應(yīng)用的前景

目前來看，大數(shù)據(jù)技術(shù)日新月異，需求旺盛，整體呈現(xiàn)出井噴的態(tài)勢，所產(chǎn)生的價值越來越明顯。企業(yè)的信息管理系統(tǒng)顧名思義就是在任何時候都應(yīng)該記錄和保存著企業(yè)在這段時間發(fā)生所有事件，尤其是重點記錄公司的主要銷售業(yè)務(wù)的變更，例如公司某一產(chǎn)品在一段時間內(nèi)價格的波動以及銷量的高低，最好能用數(shù)據(jù)統(tǒng)計圖來表示一個周期內(nèi)的銷售情況。通過對這些信息的分析和了解，能夠讓我們了解到企業(yè)的發(fā)展情況，以及今后企業(yè)應(yīng)該如何發(fā)展，這樣做的目的不僅僅是為了企業(yè)的經(jīng)濟(jì)效率考慮更重要的是企業(yè)理念的深入表現(xiàn)，往往一個企業(yè)的企業(yè)理念的制定會是個很長遠(yuǎn)的目標(biāo)[1]。

（四）應(yīng)用的現(xiàn)狀

據(jù)統(tǒng)計，當(dāng)前我國有三分之一的成規(guī)模的公司正在探索大數(shù)據(jù)應(yīng)用，但目前都處在實驗階段，技術(shù)相對來說比較成熟但是經(jīng)驗相對還是比較缺乏;這大部分公司已經(jīng)在生產(chǎn)加工環(huán)節(jié)應(yīng)用大數(shù)據(jù)分析，并且取得了很不錯的成果生產(chǎn)出良好的產(chǎn)品，還有一半的公司已經(jīng)對大數(shù)據(jù)開始進(jìn)行了解，準(zhǔn)備開始生產(chǎn)運用，對大數(shù)據(jù)一點不了解的企業(yè)只有很小的一部分。大數(shù)據(jù)應(yīng)用最廣的企業(yè)應(yīng)該是關(guān)于互聯(lián)網(wǎng)方面的企業(yè)，比如說淘寶，他能夠根據(jù)你幾次的搜索記錄，為你分析出你想要的產(chǎn)品，盡可能的滿足你的需求。

二、關(guān)于企業(yè)大數(shù)據(jù)分析平臺的整體框架

關(guān)于開源軟件的企業(yè)大數(shù)據(jù)分析平臺的整體框架基本上分為四個層次：數(shù)據(jù)源層、數(shù)據(jù)存儲層、大數(shù)據(jù)的分析處理層以及大數(shù)據(jù)的應(yīng)用層。

（一）數(shù)據(jù)源層的分析

數(shù)據(jù)源層作為開源軟件大數(shù)據(jù)平臺整體架構(gòu)的第一層級，它是負(fù)責(zé)大數(shù)據(jù)分析中所需要的最基礎(chǔ)的數(shù)據(jù)同時它也是數(shù)據(jù)中最容易搜集到一部分的數(shù)據(jù)。企業(yè)的最基本業(yè)務(wù)就是企業(yè)本身的系統(tǒng)數(shù)據(jù)，從時間方面來分析，可以大體分為對時間的長短要求不急用的批處理數(shù)據(jù)和對時間要求較高的流式數(shù)據(jù)。在這個數(shù)據(jù)高度集中的互聯(lián)網(wǎng)時代中，企業(yè)本身的經(jīng)營數(shù)據(jù)固然很重要，但是沒有與他人的對比怎能知道自己的企業(yè)同其他企業(yè)到底是誰強(qiáng)誰弱呢，只有在對比中才能找到問題，所以要想辦法獲得自己同行業(yè)的或者是與這個行業(yè)沾點邊的企業(yè)信息也要進(jìn)行分析，尤其要重點分析同行業(yè)中比自己優(yōu)秀的企業(yè)，分析出他們的優(yōu)勢在什么地方，進(jìn)而更好的制定出應(yīng)對的措施。

（二）數(shù)據(jù)儲存層的定義

數(shù)據(jù)儲存層的最重要的功能就是存儲，能夠進(jìn)行存儲的這些內(nèi)容在之前都需要嚴(yán)格的審查，尤其要進(jìn)行一下殺毒，防止一些不法分子通過不正當(dāng)?shù)厥侄蝸砀`取我們的重要數(shù)據(jù)，又因為這些數(shù)據(jù)來自不同的部門，所以更要小心企業(yè)中一些唯利是圖的小人惡意修改數(shù)據(jù)內(nèi)容，防止最后的數(shù)據(jù)不正確。在這個層級中，我們要將這個以數(shù)據(jù)庫的概念形式進(jìn)行設(shè)計從而達(dá)到實現(xiàn)的目的。以往的傳統(tǒng)儲存方式都是基于手寫的模式的，也就是說，在儲存數(shù)據(jù)的時候，只會儲存提前設(shè)定好的數(shù)據(jù)，如果數(shù)據(jù)不符合存儲的要求則會在存儲的過程中發(fā)生丟棄，這就好像一個人有多大的腳他就得需要買多大的鞋，如果太小就穿不下去會擠腳，太大雖然能穿的上但是并不能夠跑步甚至趕不上不穿鞋的人，數(shù)據(jù)也有這樣的道理只有符合的數(shù)據(jù)才能夠順利地進(jìn)入數(shù)據(jù)庫。數(shù)據(jù)庫存儲系統(tǒng)的存儲技術(shù)基于讀的模式，在儲存數(shù)據(jù)時，所有的原始采集到的數(shù)據(jù)都會原封不動的保存在存儲系統(tǒng)中，當(dāng)這些數(shù)據(jù)需要被分析的時候，才會根據(jù)分析的需要，從數(shù)據(jù)庫中抽取所需要的數(shù)據(jù)來進(jìn)行分析。例如;你的衣柜中有很多的衣服和鞋子，當(dāng)你在夏天的時候你需要穿夏天穿的短袖涼鞋，這時候你可以把他們從衣柜中拿出來，冬天來臨時你就需要把羽絨服和棉鞋給拿出來，只有當(dāng)你需要的時候，他才會發(fā)揮作用，數(shù)據(jù)庫中的數(shù)據(jù)也是這樣。大多數(shù)情況下，采用數(shù)據(jù)庫存儲技術(shù)，不會造成原始數(shù)據(jù)的丟失，以此能夠滿足企業(yè)數(shù)據(jù)分析在未來中的各種需要[2]。

（三）大數(shù)據(jù)分析處理層定義

在大數(shù)據(jù)分析處理層，我們會采用SQL技術(shù)來對數(shù)據(jù)湖中的數(shù)據(jù)進(jìn)行交互式大數(shù)據(jù)的分析;這個方面對實時性的分析要求較高，通常采取流式數(shù)據(jù)分析技術(shù)。我們需要根據(jù)現(xiàn)有的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法庫來對企業(yè)保存在數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分析。

（四）大數(shù)據(jù)應(yīng)用層的價值所在

大數(shù)據(jù)應(yīng)用層是企業(yè)大數(shù)據(jù)中最為直觀的關(guān)系到企業(yè)利益，它將會最終反映一個企業(yè)的營收的好壞。在這一層中，企業(yè)可以獲取各種生產(chǎn)經(jīng)營類所需要的各項報表以及各種決議支持與反對的意見。采用數(shù)據(jù)可視化技術(shù)，例如可以通過扇形圖柱狀圖的分析，通過圖示讓企業(yè)的相關(guān)工作人員一眼就能看明白企業(yè)的目前的生產(chǎn)經(jīng)營狀況，從而更好的為企業(yè)制定更加完美的發(fā)展戰(zhàn)略以及實現(xiàn)企業(yè)的高營收、高利潤的目的[3]。

三、企業(yè)應(yīng)用大數(shù)據(jù)分析的關(guān)鍵因素

首先要明確用戶群體，便隨著互聯(lián)網(wǎng)的高速發(fā)展，大數(shù)據(jù)也在這個數(shù)據(jù)潮流中得到了前所未有的發(fā)展，這個發(fā)展背景下，大數(shù)據(jù)的群體也變得更加龐大以及更具有多樣性，大數(shù)據(jù)能否被成功應(yīng)用的關(guān)鍵是大數(shù)據(jù)系統(tǒng)人員類型的選擇。大數(shù)據(jù)成功的重點標(biāo)志是給其整體挖掘出潛在價值和機(jī)遇，所以說現(xiàn)在的企業(yè)應(yīng)將重點放在戰(zhàn)略層面的用戶上，但是有相關(guān)的客戶將重點放在戰(zhàn)術(shù)層面上。

所以說，大數(shù)據(jù)必須要面對不一樣的客戶而建立不一樣數(shù)據(jù)，以滿足不同用戶關(guān)注重點的不同數(shù)據(jù)范圍。在這種情況下，大數(shù)據(jù)在一定的范圍內(nèi)被鎖定的時候，應(yīng)該按照不同人需要不同的數(shù)據(jù)范圍，進(jìn)而滿足多元化的需求。與此同時，不同人也會擁有不同的興趣愛好，所以必須按照每個人關(guān)注的利益來進(jìn)行涉及客戶所需要的報表，進(jìn)而讓更多的人加入進(jìn)來。比如，將企業(yè)所生產(chǎn)的所有產(chǎn)品都一一列出來這樣就會缺乏指定性，這關(guān)鍵是因為企業(yè)不同部門的職責(zé)不同，各部門管理者只會關(guān)注自己部門產(chǎn)品生產(chǎn)的進(jìn)展情況，因此企業(yè)應(yīng)該對用戶的相關(guān)數(shù)據(jù)進(jìn)行整理，做到單個報表就能反映出用戶個體需要的數(shù)據(jù)結(jié)論，這樣不僅僅會滿足用戶多方面的需要，并且還能夠提高企業(yè)的管理效率和管理的質(zhì)量。所以說用戶群體是企業(yè)大數(shù)據(jù)重點分析的對象。

總結(jié)：

基于開源軟件Hadoop/Spark實現(xiàn)的企業(yè)大數(shù)據(jù)分析應(yīng)用平臺，從技術(shù)上說已經(jīng)達(dá)到很成熟的地步。這些已經(jīng)被企業(yè)在生產(chǎn)實際生活中所證明。本文中所采用的大數(shù)據(jù)分析應(yīng)用平臺方案，其最主要的成本是構(gòu)成人力資源方面的投入。對于企業(yè)來說，最大的挑戰(zhàn)還是需要招聘一些懂得大數(shù)據(jù)應(yīng)用平臺領(lǐng)域的技術(shù)人員和數(shù)據(jù)分析師的合作，盡最大的能力挖掘出大數(shù)據(jù)對企業(yè)的價值作用。

參考文獻(xiàn)：

[1]任南，魯麗軍，何夢嬌.大數(shù)據(jù)分析能力、協(xié)同創(chuàng)新能力與協(xié)同創(chuàng)新績效[J].中國科技論壇，2018（06）：59-66.

[2]李丹.企業(yè)大數(shù)據(jù)分析應(yīng)用平臺及其實現(xiàn)[J].商場現(xiàn)代化，2017（20）：80-81.

[3]王強(qiáng)，李俊杰，陳小軍，黃哲學(xué)，陳國良.大數(shù)據(jù)分析平臺建設(shè)與應(yīng)用綜述[J].集成技術(shù)，2016，5（02）：2-18.

作者簡介：

黃小偉（2000-）男，江蘇，漢，大專，研究方向：大數(shù)據(jù)。

（作者單位：西南科技大學(xué)城市學(xué)院）