【摘要】網(wǎng)絡(luò)時(shí)代信息量劇增，企業(yè)為獲得快速精準(zhǔn)的決策參考，紛紛使用商務(wù)智能工具分析處理商務(wù)數(shù)據(jù)，然而商務(wù)智能工具難以處理海量數(shù)據(jù)，于是誕生了大數(shù)據(jù)概念。本文結(jié)合商務(wù)智能和大數(shù)據(jù)產(chǎn)生背景，詳細(xì)分析了商務(wù)智能和大數(shù)據(jù)的含義、特征和技術(shù)特點(diǎn)，介紹大數(shù)據(jù)系統(tǒng)的Hadoop平臺(tái)和大數(shù)據(jù)系統(tǒng)的關(guān)鍵技術(shù)，并對(duì)商務(wù)智能與大數(shù)據(jù)的區(qū)別與聯(lián)系進(jìn)行了總結(jié)。

【關(guān)鍵詞】商務(wù)智能 大數(shù)據(jù) Hadoop 云計(jì)算

【中圖分類(lèi)號(hào)】G712 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】2095-3089（2017）48-0235-02

隨著網(wǎng)絡(luò)技術(shù)和信息技術(shù)的不斷發(fā)展和普及應(yīng)用，各行各業(yè)以及個(gè)人生活都通過(guò)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)化，日積月累就產(chǎn)生了大量的數(shù)據(jù)。為了高效利用這些數(shù)據(jù)，輔助企業(yè)或個(gè)人的決策，人們先后研究了商務(wù)智能技術(shù)和大數(shù)據(jù)技術(shù)，并且在社會(huì)上得到廣泛應(yīng)用。下面針對(duì)大數(shù)據(jù)和商務(wù)智能進(jìn)行分析與對(duì)比。

一、商務(wù)智能

1.商務(wù)智能概念

信息時(shí)代，CRM、ERP、OA等基礎(chǔ)信息化系統(tǒng)被各行各業(yè)廣泛使用，這些系統(tǒng)都是通過(guò)業(yè)務(wù)人員或者用戶(hù)的操作，實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)進(jìn)行增加、修改、刪除等，稱(chēng)為在線(xiàn)事務(wù)處理OLTP （Online Transaction Process）。系統(tǒng)運(yùn)行了一段時(shí)間以后，必然會(huì)幫助企事業(yè)單位收集到大量的歷史數(shù)據(jù)，使用人工的方法和傳統(tǒng)的軟件來(lái)處理分析這些數(shù)據(jù)顯然效率很低，于是人們需要找到一種實(shí)現(xiàn)數(shù)據(jù)的快速分析處理，并轉(zhuǎn)化為信息的方法，使得業(yè)務(wù)人員和管理者能夠充分掌握、利用這些信息來(lái)提高企業(yè)運(yùn)營(yíng)性能和決策質(zhì)量，在這個(gè)背景下產(chǎn)生了商務(wù)智能（business intelligence， BI）的概念。BI概念隨著通俗化描述而被人們廣泛了解，越來(lái)越多的企業(yè)提出對(duì)BI的需求。

商務(wù)智能是指由數(shù)據(jù)倉(cāng)庫(kù)、查詢(xún)報(bào)表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成的、幫助企業(yè)提高運(yùn)營(yíng)性能而采用的一系列方法、技術(shù)和軟件。從技術(shù)層面上講，商務(wù)智能采用的技術(shù)是ETL（抽取、轉(zhuǎn)換和裝載）、數(shù)據(jù)倉(cāng)庫(kù)、OLAP、數(shù)據(jù)挖掘、數(shù)據(jù)展現(xiàn)等技術(shù)的綜合運(yùn)用。

2.商務(wù)智能的數(shù)據(jù)處理關(guān)鍵流程分析

商務(wù)智能的關(guān)鍵，是對(duì)企業(yè)相關(guān)的各種數(shù)據(jù)進(jìn)行ETL過(guò)程處理，即提取出有用的數(shù)據(jù)并進(jìn)行清理，以保證數(shù)據(jù)的正確性，然后進(jìn)行格式轉(zhuǎn)換，以企業(yè)預(yù)定的數(shù)據(jù)倉(cāng)庫(kù)模型加載到企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)里。這里的數(shù)據(jù)是指企業(yè)業(yè)務(wù)系統(tǒng)的訂單、庫(kù)存、交易賬目、客戶(hù)和供應(yīng)商資料，以及來(lái)自企業(yè)所處行業(yè)、競(jìng)爭(zhēng)對(duì)手以及來(lái)自其他外部環(huán)境中的各種數(shù)據(jù)，通常是結(jié)構(gòu)化數(shù)據(jù)。

為了將數(shù)據(jù)轉(zhuǎn)化為知識(shí)，系統(tǒng)從數(shù)據(jù)倉(cāng)庫(kù)中取出數(shù)據(jù)，需要利用合適的查詢(xún)和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對(duì)這些數(shù)據(jù)進(jìn)行分析和處理，得出處理的結(jié)果即知識(shí)，然后利用可視化工具將這些知識(shí)以圖表的形式呈現(xiàn)給管理者，為管理者的決策過(guò)程提供支持。

二、大數(shù)據(jù)

1.大數(shù)據(jù)概念

現(xiàn)在的人們似乎都習(xí)慣了將自己的生活和工作通過(guò)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)化，方便分享、記錄和回憶，因此互聯(lián)網(wǎng)上產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長(zhǎng)，如何管理和使用這些數(shù)據(jù)，逐漸成為人們關(guān)注的問(wèn)題。很多企業(yè)為了提高運(yùn)營(yíng)性能，紛紛使用商務(wù)智能進(jìn)行數(shù)據(jù)分析統(tǒng)計(jì)，但是隨著數(shù)據(jù)的爆炸性增長(zhǎng)，海量數(shù)據(jù)（尤其是非結(jié)構(gòu)化數(shù)據(jù)）分析處理超出了傳統(tǒng)商務(wù)智能的處理能力，于是企業(yè)界又希望有一個(gè)能處理分析海量數(shù)據(jù)的工具，這時(shí)大數(shù)據(jù)的概念應(yīng)運(yùn)而生。

著名未來(lái)學(xué)家阿爾文·托夫勒早在1980年的《第三次浪潮》一書(shū)中，將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂(lè)章”。最早提出“大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)”的機(jī)構(gòu)是全球知名咨詢(xún)公司麥肯錫。2011年，麥肯錫在題為《海量數(shù)據(jù)，創(chuàng)新、競(jìng)爭(zhēng)和提高生成率的下一個(gè)新領(lǐng)域》的研究報(bào)告中指出，數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)要素，而人們對(duì)于海量數(shù)據(jù)的應(yīng)用將預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。

大數(shù)據(jù)目前已逐漸成為社會(huì)基礎(chǔ)設(shè)施的一部分。

在以云計(jì)算、物聯(lián)網(wǎng)為代表的技術(shù)創(chuàng)新條件下，原本很難收集和使用的商品和服務(wù)交易數(shù)據(jù)開(kāi)始容易被收集利用起來(lái)了，通過(guò)各行各業(yè)對(duì)大數(shù)據(jù)應(yīng)用的不斷創(chuàng)新，大數(shù)據(jù)應(yīng)用必將為企業(yè)和普通消費(fèi)者創(chuàng)造更多的價(jià)值。

大數(shù)據(jù)在國(guó)內(nèi)外尚沒(méi)有統(tǒng)一的定義，不同廠商和不同用戶(hù)站的角度不同，對(duì)大數(shù)據(jù)的理解也不一樣。大數(shù)據(jù)（Big data）研究機(jī)構(gòu)Gartner給出了這樣的定義：大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。也就是說(shuō)，大數(shù)據(jù)（big data）指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。

2.大數(shù)據(jù)的特征和技術(shù)特點(diǎn)分析

信息社會(huì)產(chǎn)生的數(shù)據(jù)來(lái)源很多，比如搜索、新聞、博客等等，這些海量的類(lèi)型復(fù)雜的數(shù)據(jù)統(tǒng)稱(chēng)大數(shù)據(jù)，可以分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)是可以用二維表結(jié)構(gòu)的邏輯表來(lái)表現(xiàn)的數(shù)據(jù)。不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)即稱(chēng)為非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類(lèi)報(bào)表、圖像和音頻/視頻信息等等。一般認(rèn)為，大數(shù)據(jù)主要具有四個(gè)方面的典型特征（4V），即規(guī)模性（Volume）、多樣性（Varity）、高速性（Velocity）和價(jià)值性（Value），此外還有數(shù)據(jù)的真實(shí)性（Veracity）。

（1）規(guī)模性（Volume）：數(shù)據(jù)量大，TB，PB，乃至EB等數(shù)據(jù)量的數(shù)據(jù)需要分析處理；（2）多樣性（Variety）：數(shù)據(jù)有很多種類(lèi)，非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越多，需要進(jìn)行清洗，整理，篩選等操作，變?yōu)榻Y(jié)構(gòu)數(shù)據(jù)；（3）高速性（Velocity）：要求快速響應(yīng)，由于市場(chǎng)數(shù)據(jù)變化快，在性能上也有更高要求，所以及時(shí)快速的響應(yīng)變化，快速分析處理數(shù)據(jù)；（4）價(jià)值性（value）：價(jià)值密度低，當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模，可以通過(guò)全量的數(shù)據(jù)達(dá)到更真實(shí)全面的反饋。endprint

從技術(shù)層面上，大數(shù)據(jù)系統(tǒng)的技術(shù)除了包括先進(jìn)的商務(wù)智能技術(shù)，還要利用云計(jì)算技術(shù)和Hadoop平臺(tái)等。云計(jì)算技術(shù)的特點(diǎn)是通過(guò)廉價(jià)的計(jì)算機(jī)節(jié)點(diǎn)集群，改寫(xiě)軟件，使之能夠在集群上并行執(zhí)行，實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)和分布式處理，解決海量數(shù)據(jù)的存儲(chǔ)和檢索功能。2006年Google首先提出了云計(jì)算的概念，并首次將云計(jì)算技術(shù)應(yīng)用于各種大數(shù)據(jù)的處理。

三、大數(shù)據(jù)的關(guān)鍵技術(shù)分析

Google公司的大數(shù)據(jù)處理關(guān)鍵技術(shù)為GFS、MapReduce和Bigtable。隨后其他各大IT巨頭公司紛紛提出了自己的大數(shù)據(jù)處理平臺(tái)，采用的技術(shù)也都大同小異。下面將從大數(shù)據(jù)系統(tǒng)的開(kāi)源實(shí)現(xiàn)平臺(tái)Hadoop入手介紹大數(shù)據(jù)的關(guān)鍵技術(shù)。

Hadoop是MapReduce計(jì)算機(jī)模型的載體，軟件開(kāi)發(fā)者在Hadoop平臺(tái)上編出分布式并行程序，這些程序在計(jì)算機(jī)集群上完成海量數(shù)據(jù)的計(jì)算。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算，編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。大數(shù)據(jù)系統(tǒng)中HDFS是分布式文件系統(tǒng)，可以構(gòu)建幾千臺(tái)常規(guī)服務(wù)器組成的集群，實(shí)現(xiàn)文件的輸入輸出和訪(fǎng)問(wèn)。HBase是分布式、按列存儲(chǔ)的、多維表結(jié)構(gòu)的實(shí)時(shí)分布式數(shù)據(jù)庫(kù)，可以提供大數(shù)據(jù)量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的高度讀寫(xiě)操作。Hive是基于Hadoop的大數(shù)據(jù)分布式數(shù)據(jù)倉(cāng)庫(kù)引擎，可以將數(shù)據(jù)存放在分布式文件系統(tǒng)或分布式數(shù)據(jù)庫(kù)中，并使用SQL語(yǔ)言進(jìn)行海量信息的統(tǒng)計(jì)、查詢(xún)和分析操作。ZooKeeper是針對(duì)大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，可以維護(hù)系統(tǒng)配置、群組用戶(hù)和命名等信息。Sqoop是在Hadoop和結(jié)構(gòu)化數(shù)據(jù)源之間提供高效雙向傳送數(shù)據(jù)的連接器組件，可將數(shù)據(jù)傳輸任務(wù)轉(zhuǎn)換為分布式Map任務(wù)實(shí)現(xiàn)，在傳輸過(guò)程中還可以實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換等功能。Flume是分布式、高可靠的和高可用的日志采集系統(tǒng)，它用來(lái)從不同源的系統(tǒng)中采集、匯總和搬移大量日志數(shù)據(jù)到一個(gè)集中式的數(shù)據(jù)存儲(chǔ)中。

四、商務(wù)智能與大數(shù)據(jù)的區(qū)別

商務(wù)智能與大數(shù)據(jù)的區(qū)別主要表現(xiàn)在以下幾個(gè)方面：

（1）數(shù)據(jù)量。大數(shù)據(jù)系統(tǒng)處理的數(shù)據(jù)量是PB級(jí)別以上的，商務(wù)智能系統(tǒng)出來(lái)的數(shù)據(jù)量是TB級(jí)別的，相對(duì)大數(shù)據(jù)來(lái)說(shuō)不太大。（2）數(shù)據(jù)特征。智能商務(wù)處理的大部分是結(jié)構(gòu)化數(shù)據(jù)，而大數(shù)據(jù)處理的數(shù)據(jù)中85%是非結(jié)構(gòu)化數(shù)據(jù)。（3）信息來(lái)源。商務(wù)智能數(shù)據(jù)的來(lái)源主要是企業(yè)交易數(shù)據(jù)，而大數(shù)據(jù)的信息來(lái)源除了企業(yè)交易數(shù)據(jù)，還有更多的社會(huì)日常運(yùn)作和各種服務(wù)中實(shí)施產(chǎn)生的數(shù)據(jù)。（4）涉及技術(shù)。商務(wù)智能使用了ETL、OLTP、數(shù)據(jù)倉(cāng)庫(kù)、OLAP、數(shù)據(jù)挖掘和可視化報(bào)表技術(shù)。大數(shù)據(jù)采樣的技術(shù)是在BI技術(shù)基礎(chǔ)上，再利用云計(jì)算技術(shù)、Hadoop、HBase、Hive、HDFS、MapReduce、ZooKeeper、Sqoop、Flume等。（5）數(shù)據(jù)來(lái)源。商務(wù)智能的數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)中隨機(jī)抽取，而大數(shù)據(jù)的數(shù)據(jù)更傾向于從Web、社交網(wǎng)絡(luò)、RFID傳感器等獲取非結(jié)構(gòu)化海量數(shù)據(jù)，數(shù)據(jù)不是隨機(jī)抽取，而是全量數(shù)據(jù)。（6）因果與關(guān)聯(lián)。商務(wù)智能強(qiáng)調(diào)數(shù)據(jù)的因果分析，而大數(shù)據(jù)則是采用關(guān)聯(lián)分析。比如沃爾瑪公司的啤酒與尿布案例就是典型的大數(shù)據(jù)案例。（7）個(gè)性化。商務(wù)智能基于群體共性，幫助決策者掌握宏觀統(tǒng)計(jì)趨勢(shì)，適合運(yùn)營(yíng)指標(biāo)支撐類(lèi)問(wèn)題。而大數(shù)據(jù)則強(qiáng)調(diào)個(gè)體刻畫(huà)，精準(zhǔn)分析每一個(gè)用戶(hù)，適合于精準(zhǔn)推薦類(lèi)的營(yíng)銷(xiāo)類(lèi)問(wèn)題。

雖然商務(wù)智能能處理的數(shù)據(jù)類(lèi)型較少，處理的數(shù)據(jù)量級(jí)別不如大數(shù)據(jù)技術(shù)，但是也不能被大數(shù)據(jù)所取代?，F(xiàn)代企業(yè)主要還是分析處理企業(yè)自身的內(nèi)部數(shù)據(jù)和網(wǎng)上一些相關(guān)企業(yè)的數(shù)據(jù)，希望得到對(duì)管理者的宏觀決策有幫助的分析結(jié)果。

五、結(jié)束語(yǔ)

本文介紹了商務(wù)智能和大數(shù)據(jù)的社會(huì)背景和特點(diǎn)，分析了云計(jì)算技術(shù)對(duì)大數(shù)據(jù)的影響，大數(shù)據(jù)系統(tǒng)的一些關(guān)鍵技術(shù)，描述了商務(wù)智能和大數(shù)據(jù)的主要區(qū)別。通過(guò)這些分析介紹可以看到大數(shù)據(jù)是商務(wù)智能概念的擴(kuò)展和手段的擴(kuò)充。智能商務(wù)和大數(shù)據(jù)應(yīng)用已經(jīng)成為社會(huì)的基礎(chǔ)設(shè)施，必將幫助使用先進(jìn)商務(wù)智能和大數(shù)據(jù)應(yīng)用的企業(yè)有效提高運(yùn)營(yíng)性能和經(jīng)濟(jì)效益。

參考文獻(xiàn)：

[1]劉鵬.大數(shù)據(jù). 電子工業(yè)出版社出版，2017.01.

[2]林子雨.大數(shù)據(jù)技術(shù)原理與應(yīng)用（第2版）.人民郵電出版社出版， 2017.02.

[3]孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn) [J]. 計(jì)算機(jī)研究與發(fā)展， 2013，50（1）：146-169.

[4]朱潔.大數(shù)據(jù)架構(gòu)詳解：從數(shù)據(jù)獲取到深度學(xué)習(xí)，2016.10.

作者簡(jiǎn)介：

陳煒（1969.2-），女，湖北武漢人，浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院，副教授，研究方向?yàn)橛?jì)算機(jī)技術(shù)應(yīng)用。endprint