Samuel Greengard

通常，企業(yè)里面到處都充斥著數(shù)據(jù)。事實上各行各業(yè)的數(shù)據(jù)量均經歷了幾何級數(shù)的增長，無論是醫(yī)療衛(wèi)生還是金融，抑或是零售業(yè)還是制造業(yè)。

在此類海量數(shù)據(jù)庫中，隱藏著無數(shù)商業(yè)秘密，也孕育著很多機遇以及潛在的成功，但將這些信息（除了由媒體和視頻生成的非結構化信息之外，還包括歷史數(shù)據(jù)）利用起來卻是一項令人望而生畏的工程。

“許多組織會累積30 年或30 年以上的交易數(shù)據(jù)，此外還有大量多媒體數(shù)據(jù)。”埃森哲咨詢公司首席技術策略官兼總經理柯蒂斯（Gary Curtis）說，“綜合所有信息并理出頭緒是企業(yè)在數(shù)碼時代面臨的挑戰(zhàn)。目前很少有組織能夠充分發(fā)揮其數(shù)據(jù)的潛力。”

不可否認的是，這是一項艱巨的挑戰(zhàn)。Corporate Executive Board 咨詢公司在對5000 家公司進行了一項研究后發(fā)現(xiàn)，盡管對數(shù)據(jù)進行分析并獲得有效信息的能力已成為全球各組織的頭等大事，但是真正在這方面取得顯著成績的公司并不多見。

根據(jù)CEB 的研究結果，僅有38% 的員工和50% 的高級經理有能力根據(jù)數(shù)據(jù)進行合理決策。在許多組織中，最大的風險來自過度分析。超過40% 的員工更愿意相信分析結果而非自己的判斷力，只有近20% 的員工會依直覺行事。

CEB 認為，有能力做出優(yōu)秀決策的員工——“知情懷疑論者”能夠有效地在直覺判斷力與分析結果之間取得平衡。這些人擁有強大的分析技能，并且肯傾聽他人對于分析結果的意見，同時他們也敢于發(fā)表不同意見。

在今天這樣一個數(shù)字驅動的大環(huán)境下，企業(yè)必須能夠制定周密計劃并且實施可行的解決方案以管理大數(shù)據(jù)?！斑@是無法回避的—數(shù)據(jù)涉及各行各業(yè)?！庇《人稍兎展荆═ata Consultancy Services）的全球顧問實踐信息管理總監(jiān)維斯瓦納桑（Kalyan Viswanathan）強調說，“大數(shù)據(jù)正在改變業(yè)務，并且創(chuàng)造新的風險以及機遇。明智的組織都在尋找對其進行有效利用的方式。”

新時代的數(shù)據(jù)管理

從計算機應用誕生之日起，各公司就一直在尋找對不斷增長的數(shù)據(jù)加以管理和利用的方法。包含更多信息和更多關聯(lián)點的大數(shù)據(jù)正處在這一潮流的核心。據(jù)麥肯錫咨詢公司估計，普通大型企業(yè)目前儲存的數(shù)據(jù)量已達到200TB。

各公司必須設法處理急速增長的非系統(tǒng)化數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)庫或數(shù)據(jù)倉庫并不適合管理這類數(shù)據(jù)。埃森哲的柯蒂斯表示，“公司在過去數(shù)年間，數(shù)據(jù)來源的種類變得極為繁多?！?/p>

大數(shù)據(jù)可釋放數(shù)據(jù)背后潛藏的價值。它能讓數(shù)據(jù)更加透明，更多地被應用于日常業(yè)務；它能借助更多更廣泛的數(shù)據(jù)組給企業(yè)提供諸多洞見；它能創(chuàng)建更多的細分市場，以便公司制定更具針對性的營銷活動和銷售技巧；它能幫助公司匯總所有信息，設計出本來可能會被忽略的新產品和服務。有效運用大數(shù)據(jù)的組織往往能夠獲得顯著的競爭優(yōu)勢，并挖掘出新的商機。

但是處理大數(shù)據(jù)并不等于只是安裝一套系統(tǒng)，然后就能自動獲得結果。企業(yè)需要使用正確的技術和工具，制定合適的工作流程和政策，物色善于使用分析法和預測分析軟件的人才，從而打造產品和服務以滿足瞬息萬變的市場需求。

“大數(shù)據(jù)的處理需要企業(yè)在數(shù)據(jù)倉庫、數(shù)據(jù)整合、商業(yè)智能、數(shù)據(jù)可視化工具、商業(yè)分析法和預測建模上大量投入?！彼稍兊木S斯瓦納桑如是說，“此外還需要應用運算法則從而能夠發(fā)現(xiàn)其中的各種規(guī)律、關聯(lián)和關系?！?/p>

向先驅公司學習

互聯(lián)網零售商和服務供應商亞馬遜（Amazon）是在管理大數(shù)據(jù)方面處于領先的公司之一。很顯然，公司面對無窮龐大的數(shù)據(jù)量，非常需要利用這些數(shù)據(jù)去了解客戶行為，改善運營質量和成本，推出創(chuàng)新性的產品功能，并最終提高公司收益。

亞馬遜Elastic Map Reduce（EMR）計劃的總經理西羅塔（PeterSirota）表示，亞馬遜依靠其可擴展的環(huán)境（包括云資源），只需數(shù)分鐘或數(shù)小時（而非數(shù)天或數(shù)周）即可得出結論和答案。

“Amazon.com 采用多種數(shù)據(jù)源，包括來自多個應用服務器上的非結構化或者半結構化的記錄文件，以及來自多種數(shù)據(jù)庫系統(tǒng)的結構化數(shù)據(jù)?！蔽髁_塔說。這一環(huán)境同樣也允許亞馬遜及其客戶“存儲和處理各種類型的數(shù)據(jù)，包括圖像、視頻、DNA 序列和天氣傳感器數(shù)據(jù)以及從第三方來源（例如Twitter 、Facebook 和Salesforce）采集的數(shù)據(jù)，以更妥善地管理產品數(shù)據(jù)庫，并且分析有助于提高運營業(yè)績的指標”。

這家觸角遍及全球的在線巨頭依靠開源的Apache Hadoop 進行分布式處理（包括非結構化數(shù)據(jù)）。

此外，關系型數(shù)據(jù)庫管理系統(tǒng)（RDBMS）能夠讓亞馬遜制作各種報告，并針對既定的問題對結構化數(shù)據(jù)進行優(yōu)化查詢。

“Hadoop 和RDBMS 是互補性的技術。”西羅塔說。此外，通過亞馬遜的簡單存儲服務（Amazon S3）存儲超大量的數(shù)據(jù)，再加上內嵌的數(shù)據(jù)處理、分析和搜索工具，亞馬遜為其內部運營和使用其服務的外圍公司改寫了大數(shù)據(jù)技術的應用領域。

西羅塔指出，云技術大大改變了大數(shù)據(jù)技術的應用前景?！澳憧梢愿斓貜臄?shù)據(jù)中得出有用的結果，而所付出的成本是如此之低，這讓傳統(tǒng)技術望塵莫及?！彼f道。

“云技術提供了即時擴展性和彈性。該技術能讓你更快地就所關注的數(shù)據(jù)問題提出疑問，并迅速獲得有意義的解答。定期、全面地對大數(shù)據(jù)進行分析將有可能轉變你與客戶互動并做出反應的方式?！?/p>

重新設計業(yè)務模式

越來越多的公司和政府機構正轉而采用大數(shù)據(jù)技術來重新設計其業(yè)務模式。塔塔咨詢的維斯瓦納桑表示，廣告商正從堆積如山的數(shù)據(jù)中篩選出有效信息，以便更透徹地認識顧客的購買行為以及提升業(yè)績的方式。零售商則綜合客戶行為、心理圖表和客戶生命周期事件以創(chuàng)建更精確的檔案。

金融服務公司在多種數(shù)據(jù)點之間找到關聯(lián)，以便推出新服務和更有效地銷售現(xiàn)有服務。醫(yī)療衛(wèi)生服務的提供商則使用大數(shù)據(jù)技術改善業(yè)績和成本結構。

在已經接納該概念的公司中包括風能技術企業(yè)維斯塔斯（Vestas Wind Systems） 。這家來自丹麥蘭訥斯的公司在全球67 個國家和地區(qū)部署了44000 多個渦輪發(fā)電機，它使用大量數(shù)據(jù)集以便更好地發(fā)現(xiàn)在哪里安放渦輪發(fā)電機才能達到最佳效果。

據(jù)維斯塔斯負責工廠選址和預測的副總裁克里斯滕森（Lars Christian Christensen）說，他們分析了178 個參數(shù)，包括云量、濕度、太陽輻射、衛(wèi)星圖像、毀林圖和大氣壓。除此之外，研究人員還必須以小時為單位查看過去12 年間的參數(shù)?！澳鞘且粋€巨大的多維信息體系。”他說。

維斯塔斯采用了IBM 提供的大數(shù)據(jù)分析系統(tǒng)來解析數(shù)據(jù)庫，該數(shù)據(jù)庫存儲的數(shù)據(jù)量預期將在四年之內突破20PB。以前，分析師可能要花數(shù)周時間，消耗大量資源才能梳理完這些堆積如山的數(shù)據(jù)。

如今，維斯塔斯擁有了一臺名為Firestorm 的超級計算機，它由1222 臺工作負載優(yōu)化的System x iDataPlex 聯(lián)機服務器組成，公司便在Firestorm 上運行IBM BigInsights 軟件。這臺超級計算機每秒可進行150 萬億次運算，不到一個小時就能通過對數(shù)據(jù)組的分析確定安放渦輪發(fā)電機的最佳地點。

“我們能夠更快地向客戶提供答案，以更有效地幫助他們進行決策并制定創(chuàng)收方案?！?克里斯滕森說， “該系統(tǒng)大大降低了規(guī)劃流程的復雜度。我們處理數(shù)據(jù)的方式和整個分析流程都發(fā)生了變化?！?/p>

應對獨特挑戰(zhàn)

埃森哲的柯蒂斯指出，大數(shù)據(jù)給企業(yè)帶來了一些獨特的挑戰(zhàn)。舉例來說，企業(yè)必須決定如何將多種不同的數(shù)據(jù)集聯(lián)系在一起從而獲得新的認識。這需要分析師和業(yè)務專家發(fā)揮創(chuàng)造性思維。

另一方面，組織必須采集不同形式的非結構化數(shù)據(jù)，包括視頻片段、音頻文件和媒體源?！氨仨氂幸环N方式找到這些文件，了解它們提供了哪些數(shù)據(jù)，以及如何對這些數(shù)據(jù)進行有效利用?！笨碌偎拐f。盡管與之相關的技術已經存在——其中包括元數(shù)據(jù)的應用——不過這一領域仍在不斷發(fā)展演變。

企業(yè)還必須解決數(shù)據(jù)管理方面的問題，尤其是哪些業(yè)務部門應當擁有和管理數(shù)據(jù)以及誰有權獲取數(shù)據(jù)。旗下有不同業(yè)務部門（例如零售銀行、商業(yè)銀行、理財、經紀和其他服務）的金融公司更容易遇到這方面的挑戰(zhàn)。

在某些情況下，要進行清楚地劃分會不太容易，因為數(shù)據(jù)可能存在于某個業(yè)務合作伙伴或服務提供商運營的服務器上。“關鍵是數(shù)據(jù)要得到有效管理，并得到很好的保存?！笨碌偎拐f，“數(shù)據(jù)管理問題必須得到解決?！?/p>

整合社交媒體

公司也在尋求將社交媒體整合到大數(shù)據(jù)模型中。位于意大利米蘭的互聯(lián)網在線商業(yè)服務提供商Matrix 主要幫助各類公司制定數(shù)字化戰(zhàn)略，以用于品牌塑造和形象管理。其客戶從汽車制造商到餐廳都有。

Matrix 銷售總監(jiān)派特萊拉（Alessandro Petrella）表示，使用SAS Content Categorization 和SAS Text Miner 后，公司能夠精密監(jiān)控和分析網絡信息、社交媒體交流和其他活動。Matrix 不斷從500 多個新聞源和在線來源采集數(shù)據(jù)，并將信息輸入Netezza 數(shù)據(jù)庫。公司隨后將數(shù)據(jù)輸入SAS 軟件，借助標準的業(yè)務分類法對其進行清理和歸類。它還對其運算規(guī)則進行不斷改進，并定期加入新的數(shù)據(jù)元素。

該數(shù)據(jù)庫的總量目前已超過2TB ，它也越來越能夠有效地了解公眾對一個公司的認知和看法。派特萊拉說，“我們有能力高速且有效地處理數(shù)據(jù)?！?/p>

根據(jù)Ovum 咨詢公司針對企業(yè)高管進行的一份最新調查，多達三分之二的受訪者提到，利用大數(shù)據(jù)技術最重要的商業(yè)收益體現(xiàn)在運營和戰(zhàn)略決策流程的改善，以及客戶服務的改善。該調查還得出了同樣重要的的另一個發(fā)現(xiàn)：現(xiàn)在對大數(shù)據(jù)技術有興趣的已經不只是大企業(yè)。Ovum 發(fā)現(xiàn)，在數(shù)據(jù)倉庫容量達到1TB 甚至更大規(guī)模的公司中，有38% 的公司的年收入低于5 000 萬美元。

Ovum 預測，由于各組織都在不斷尋求更好的辦法去分析客戶細分市場，防止客戶流失，管理公共交通網絡和處理大量其他的任務，在未來兩年內對大數(shù)據(jù)的需求將變得更普遍。

埃森哲的柯蒂斯表示，所有組織（尤其是IT 部門）必須了解大數(shù)據(jù)的運作規(guī)律，然后制定出未來利用和管理此類數(shù)據(jù)的清晰戰(zhàn)略。他建議以亞馬遜、谷歌和雅虎這些公司為模型建立數(shù)據(jù)戰(zhàn)略。這些公司擁有世界上最大的數(shù)據(jù)中心，從它們那里可以“窺探未來計算技術的前景”。

柯蒂斯還建議技術部門和業(yè)務部門的領導者進行合作，對大數(shù)據(jù)技術獲得全面的認知。“這里必然存在一個相互學習的過程，”他指出，“要推動一個大數(shù)據(jù)項目，他們必須一起協(xié)作?！?/p>

塔塔咨詢的維斯瓦納桑表示，盡管大數(shù)據(jù)技術還處于早期發(fā)展階段，但是它必將成為長遠的趨勢?！半S著消費者轉而使用智能手機、平板電腦以及其他數(shù)字化設備，各公司累積的數(shù)據(jù)將越來越多。引入大數(shù)據(jù)技術并加以有效運用的公司將獲得更明顯的競爭優(yōu)勢，與幾年前不同，它們現(xiàn)在能夠更好地認識問題、把握趨勢?！保ū疚霓D自《世界經理人》，秦嶺譯。作者Samuel Greengard 為Baseline 特約的自由作家）