隨著企業(yè)轉(zhuǎn)型成為數(shù)據(jù)驅(qū)動(dòng)型企業(yè)，數(shù)據(jù)技術(shù)和戰(zhàn)略需要開始實(shí)現(xiàn)其價(jià)值。你將在未來幾個(gè)月看到以下四個(gè)數(shù)據(jù)分析發(fā)展趨勢(shì)。

包括社交媒體、移動(dòng)端和云計(jì)算在內(nèi)，數(shù)據(jù)分析和相關(guān)數(shù)據(jù)技術(shù)已扮演著數(shù)字時(shí)代顛覆核心業(yè)務(wù)的角色。隨著企業(yè)在2017年開始從生成數(shù)據(jù)的組織轉(zhuǎn)型為數(shù)據(jù)驅(qū)動(dòng)的組織，數(shù)據(jù)和分析已成為許多企業(yè)的重要工作。2018年，這些技術(shù)需要開始實(shí)現(xiàn)其價(jià)值。以下是將在未來一年推動(dòng)數(shù)據(jù)分析戰(zhàn)略發(fā)展的一些方法、崗位角色和關(guān)注點(diǎn)。

數(shù)據(jù)湖需要證明其商業(yè)價(jià)值，否則將會(huì)消亡

多年來，數(shù)據(jù)已經(jīng)在企業(yè)中不斷快速積累。物聯(lián)網(wǎng)（IoT）只會(huì)隨著數(shù)據(jù)源從網(wǎng)絡(luò)端遷移到移動(dòng)端和設(shè)備端過程中加速數(shù)據(jù)的生成。

實(shí)時(shí)流數(shù)據(jù)平臺(tái)供應(yīng)商—DataTorrent的首席執(zhí)行官蓋伊·喬治瓦特（Guy Churchward）說：“這就迫切需要以一種經(jīng)濟(jì)高效的方式來擴(kuò)展數(shù)據(jù)管道。”

對(duì)于許多企業(yè)來說，利用像Apache Hadoop這樣的技術(shù)為其提供支持，其解決方案就是創(chuàng)建數(shù)據(jù)湖，即創(chuàng)建整個(gè)企業(yè)的數(shù)據(jù)管理平臺(tái)，用于以本機(jī)格式存儲(chǔ)企業(yè)的所有數(shù)據(jù)。數(shù)據(jù)湖將通過提供一個(gè)單一的數(shù)據(jù)存儲(chǔ)庫(kù)來消除信息孤島，整個(gè)組織都可以使用該存儲(chǔ)庫(kù)來進(jìn)行業(yè)務(wù)分析、數(shù)據(jù)挖掘等各種應(yīng)用。原始的和無人管理的數(shù)據(jù)湖已被視為一個(gè)全方位和萬能的大數(shù)據(jù)集。

但是，雖然數(shù)據(jù)湖已被證明可以成功存儲(chǔ)大量數(shù)據(jù)，但從數(shù)據(jù)中獲取可指導(dǎo)行動(dòng)的見解已被證明是困難的。

“數(shù)據(jù)湖通過‘非活動(dòng)’和‘批處理’時(shí)代的數(shù)據(jù)為公司提供了非常好的服務(wù)，”喬治瓦特說?！霸缭?015年，人們開始清楚地認(rèn)識(shí)到，這個(gè)架構(gòu)已被過度使用，但它現(xiàn)在已成為實(shí)時(shí)數(shù)據(jù)分析的致命弱點(diǎn)。首先要將數(shù)據(jù)寄存，然后進(jìn)行分析，這會(huì)使公司處于極大的劣勢(shì)。當(dāng)要獲得洞察力并盡可能快地采取行動(dòng)時(shí)，那些依賴過時(shí)事件數(shù)據(jù)的公司會(huì)無法看清事態(tài)，無法采取適當(dāng)?shù)男袆?dòng)和任何可能的即時(shí)補(bǔ)救措施，這一點(diǎn)就“足夠”證明其具有戰(zhàn)略性致命弱點(diǎn)。

Splice Machine公司首席執(zhí)行官蒙特·茲韋本（Monte Zweben）表示贊同。

茲韋本預(yù)測(cè)，到2018年，“Hadoop時(shí)代的破滅將全面展開，許多公司在數(shù)據(jù)湖中滅亡。由于對(duì)Hadoop計(jì)算引擎進(jìn)行管道錄制具有一定的復(fù)雜性，使許多企業(yè)無法獲得投資回報(bào)?！?/p>

數(shù)據(jù)目錄專業(yè)公司－－Alation的戰(zhàn)略和聯(lián)盟副總裁肯·黃（Ken Hoang）說，為了在2018年能生存下去，數(shù)據(jù)湖必須要證明其商業(yè)價(jià)值。

“在過去幾年中經(jīng)歷了實(shí)驗(yàn)性部署，數(shù)據(jù)湖（即新的數(shù)據(jù)傾倒場(chǎng)）即將走向終點(diǎn)，除非它能證明其自身價(jià)值”，肯·黃說道。“數(shù)據(jù)湖成功的一個(gè)標(biāo)志是擁有一個(gè)企業(yè)目錄，它可進(jìn)行信息發(fā)掘、人工智能和信息管理，從而為業(yè)務(wù)提供新見解?！?/p>

然而，肯·黃并不認(rèn)為數(shù)據(jù)湖是完全失敗的。他預(yù)測(cè)數(shù)據(jù)湖和其他大型數(shù)據(jù)中心可以通過他所謂的“超級(jí)樞紐”找到新的契機(jī)，這些“超級(jí)樞紐”可通過機(jī)器學(xué)習(xí)提供“環(huán)境即服務(wù)”。

“過去25年里，部署的大型數(shù)據(jù)中心（例如數(shù)據(jù)倉(cāng)庫(kù)、主數(shù)據(jù)管理、數(shù)據(jù)湖、Salesforce和ERP）導(dǎo)致形成了更多的數(shù)據(jù)孤島，這些孤島難以被讀懂、關(guān)聯(lián)或共享?！?肯·黃說道?！皹屑~中心能夠使各個(gè)數(shù)據(jù)中心的資源相互關(guān)聯(lián)，從而實(shí)現(xiàn)環(huán)境即服務(wù)，這反過來將帶來更相關(guān)和更有力的預(yù)測(cè)性洞察力，從而實(shí)現(xiàn)更快更好的運(yùn)營(yíng)業(yè)務(wù)成果。”

MapR公司首席應(yīng)用程序設(shè)計(jì)師特德·鄧寧（Ted Dunning）預(yù)測(cè)，將會(huì)出現(xiàn)類似的轉(zhuǎn)變：隨著大數(shù)據(jù)系統(tǒng)成為存儲(chǔ)、訪問和運(yùn)營(yíng)工作的重心，企業(yè)將著眼于構(gòu)建全局?jǐn)?shù)據(jù)結(jié)構(gòu)，從而可以全面訪問來自多個(gè)來源的數(shù)據(jù)，并為真正的多租戶系統(tǒng)進(jìn)行計(jì)算。

“我們將看到越來越多的企業(yè)用數(shù)據(jù)流進(jìn)行計(jì)算，而不是僅僅利用經(jīng)處理并存入數(shù)據(jù)庫(kù)的數(shù)據(jù)，”鄧寧說?！斑@些數(shù)據(jù)流收集了關(guān)鍵業(yè)務(wù)事件并可反映業(yè)務(wù)結(jié)構(gòu)，而統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)將成為構(gòu)建這些大規(guī)模數(shù)據(jù)流系統(tǒng)的基礎(chǔ)。”

鄧寧說，這些數(shù)據(jù)結(jié)構(gòu)將支持在不同環(huán)境下進(jìn)行的多種計(jì)算。“一個(gè)新趨勢(shì)是建立一個(gè)數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)結(jié)構(gòu)可提供（由Kubernetes等公司支持的）多云計(jì)算所需的活動(dòng)數(shù)據(jù)和非活動(dòng)數(shù)據(jù)?！?/p>

自助服務(wù)數(shù)據(jù)分析專業(yè)公司－－Alteryx的首席戰(zhàn)略官蘭利·艾德（Langley Eide）表示，在數(shù)據(jù)湖實(shí)現(xiàn)其價(jià)值的過程中，IT部門不會(huì)孤軍作戰(zhàn)：業(yè)務(wù)范圍（LOB）分析師和首席數(shù)字官（ CDO）也必須在2018年擔(dān)負(fù)責(zé)任。

“大多數(shù)分析師并沒有利用大量的非結(jié)構(gòu)化資源，例如點(diǎn)擊流數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、日志數(shù)據(jù)等，這些數(shù)據(jù)在數(shù)據(jù)湖中已泛濫成災(zāi)，這主要是因?yàn)檫@些數(shù)據(jù)很難處理，”艾德說。“但事實(shí)上，如果分析師不去處理這些數(shù)據(jù)的話，那么他們就并未盡職。人們普遍認(rèn)為，許多數(shù)據(jù)湖是表現(xiàn)不佳的資源，人們不知道其中存儲(chǔ)著什么內(nèi)容，如何進(jìn)行訪問，或者如何從這些數(shù)據(jù)中獲取洞察力。這一現(xiàn)實(shí)將在2018年發(fā)生改變，因?yàn)楦嗟氖紫瘮?shù)字官和企業(yè)希望從他們的數(shù)據(jù)湖中獲得更好的投資回報(bào)率。”

艾德預(yù)測(cè)，2018年我們將會(huì)看到分析師用更多諸如數(shù)據(jù)編目之類的編程方法和技術(shù)來替代像Excel和SQL這樣“強(qiáng)大”的工具，以從數(shù)據(jù)中發(fā)掘并獲取更多價(jià)值。

首席數(shù)字官將變得日益成熟

由于技術(shù)發(fā)展促使我們可以更好地從數(shù)據(jù)中獲得洞察力，艾德還預(yù)測(cè)首席數(shù)字官的角色將在2018年變得日益成熟。

“數(shù)據(jù)基本上就像新的石油資源，而首席數(shù)字官開始被認(rèn)為是解決當(dāng)今企業(yè)最重要問題的關(guān)鍵角色：從數(shù)據(jù)中獲取價(jià)值，”艾德說?！巴ǔｎA(yù)算不到1000萬美元，首席數(shù)字官面臨的最大挑戰(zhàn)和機(jī)遇之一就是通過使公司數(shù)據(jù)資產(chǎn)更貼近業(yè)務(wù)用戶，從而使備受追捧的自助服務(wù)可能成為現(xiàn)實(shí)。2018年，那些努力在集中化功能和業(yè)務(wù)范圍內(nèi)置功能之間尋求平衡的首席數(shù)字官最終將陷入更大的預(yù)算中。”

艾德認(rèn)為，那些能夠使資源、技能和功能在精英中心和業(yè)務(wù)范圍之間迅速轉(zhuǎn)移的首席數(shù)字官，將取得最大的成功。對(duì)此，艾德認(rèn)為，敏捷式平臺(tái)和方法是關(guān)鍵。

數(shù)據(jù)管理員角色的崛起？

數(shù)據(jù)分析創(chuàng)業(yè)公司Dremio的首席執(zhí)行官兼共同創(chuàng)始人Tomer Shiran，他是開源Apache Arrow項(xiàng)目的主要技術(shù)人員，預(yù)測(cè)到企業(yè)將看到對(duì)一個(gè)新崗位角色的需求，即數(shù)據(jù)管理員。

Shiran說，數(shù)據(jù)管理員處于數(shù)據(jù)使用者（那些使用Tableau和Python等工具，并且用數(shù)據(jù)來解答重要問題的分析師和數(shù)據(jù)科學(xué)家）和數(shù)據(jù)工程師（是那些將數(shù)據(jù)在使用各種腳本語言的系統(tǒng)間移動(dòng)和轉(zhuǎn)換的人員，其中這些腳本語言包括Spark、Hive和MapReduce）之間。為了取得成功，數(shù)據(jù)管理員必須了解數(shù)據(jù)的含義以及掌握應(yīng)用于數(shù)據(jù)中的一些技術(shù)。

“數(shù)據(jù)管理員需要清楚整個(gè)組織內(nèi)需要執(zhí)行的數(shù)據(jù)分析類型，清楚哪些數(shù)據(jù)集非常適用于這項(xiàng)工作，以及清楚如何將數(shù)據(jù)從原始狀態(tài)轉(zhuǎn)換為數(shù)據(jù)使用者執(zhí)行這項(xiàng)工作所需的形態(tài)和形式，”Shiran說?！皵?shù)據(jù)管理員應(yīng)使用像自助服務(wù)數(shù)據(jù)平臺(tái)這樣的系統(tǒng)來加快數(shù)據(jù)使用者訪問基本數(shù)據(jù)集的端到端流程，而無需制作無數(shù)的數(shù)據(jù)副本。”

數(shù)據(jù)治理戰(zhàn)略將成為所有高管的重要課題

歐盟的“通用數(shù)據(jù)保護(hù)條例”（GDPR）將于2018年5月25日生效，它像陰霾一樣籠罩在數(shù)據(jù)分析領(lǐng)域，然而并非所有企業(yè)都為此做好了準(zhǔn)備。

“通用數(shù)據(jù)保護(hù)條例”將直接適用于所有歐盟成員國(guó)，它徹底改變了企業(yè)處理個(gè)人數(shù)據(jù)的方式，企業(yè)必須征得歐盟公民的同意才能收集和處理其相關(guān)數(shù)據(jù)，美富律師事務(wù)所（Morrison＆Foerster）全球隱私及數(shù)據(jù)安全工作組的律師解釋道，其中包括：全球隱私工作組聯(lián)合主席Miriam Wugmeister、歐洲隱私專家Lokke Moerel和全球風(fēng)險(xiǎn)與危機(jī)管理集團(tuán)主席（美國(guó)司法部國(guó)家安全司前助理總檢察長(zhǎng)）約翰·卡林。

“那些依賴于獲得相關(guān)人同意才能進(jìn)行所有業(yè)務(wù)處理的公司將不能以這種方式繼續(xù)下去，而是需要具備其他法律依據(jù)（即必要的合同和合法權(quán)益），”他們解釋說。“公司將需要實(shí)施一套全新的制度來進(jìn)行通知并獲得同意。”

盡管“通用數(shù)據(jù)保護(hù)條例”處罰金額可能會(huì)很高－－行政處罰金額可高達(dá)2000萬歐元或全年總營(yíng)業(yè)額的4%（以金額較高者為準(zhǔn)），但許多企業(yè)（特別是美國(guó)企業(yè)）尚未對(duì)此有充分的準(zhǔn)備。

“當(dāng)千年蟲問題來臨時(shí)，每個(gè)人都在為他們可能會(huì)或可能不會(huì)面臨的問題進(jìn)行準(zhǔn)備，”Hortonworks公司的首席技術(shù)官斯科特·格瑙 （Scott Gnau）說道。“今天，似乎沒有多少人為2018年5月即將實(shí)施的‘通用數(shù)據(jù)保護(hù)條例’做好準(zhǔn)備。為什么會(huì)這樣呢？我們目前正處于這樣一個(gè)階段，每個(gè)組織都不僅要處理‘接下來的工作’，而且他們還要努力維持目前的工作和處理現(xiàn)在要解決的問題。許多組織可能都依賴首席安全官來制定規(guī)則、制度和指標(biāo)等，以幫助他們的全球系統(tǒng)集成商找出最佳的行動(dòng)方案。但這項(xiàng)工作讓一個(gè)人來承擔(dān)，這種期望是不現(xiàn)實(shí)的?！?/p>

格瑙說，為了正確執(zhí)行“通用數(shù)據(jù)保護(hù)條例”，這就要求高管們要對(duì)此充分了解，做好準(zhǔn)備并與組織內(nèi)各個(gè)方面進(jìn)行溝通。組織需要對(duì)其數(shù)據(jù)資產(chǎn)的整體治理工作進(jìn)行更好地處理。但是大規(guī)模的數(shù)據(jù)泄漏問題，例如2017年發(fā)生的Equifax公司泄漏事件，這意味著他們要努力進(jìn)行平衡，既要為員工提供服務(wù)，可以自助訪問數(shù)據(jù)，同時(shí)還要保護(hù)這些數(shù)據(jù)免受潛在威脅。

因此，格瑙預(yù)測(cè)數(shù)據(jù)治理將成為2018年所有組織的重點(diǎn)工作。

“一個(gè)關(guān)鍵的目標(biāo)應(yīng)該是建立一種機(jī)制，它可以平衡數(shù)據(jù)、訪問、自助服務(wù)分析和監(jiān)管民主化，”格瑙說?！拔覀円园踩姆绞綐?gòu)建數(shù)據(jù)，這將會(huì)對(duì)每個(gè)人產(chǎn)生影響，包括美國(guó)和海外的客戶、媒體、合作伙伴等等?！?/p>

多云數(shù)據(jù)管理專家Veritas Technologies公司的解決方案營(yíng)銷總監(jiān)Zachary Bosin預(yù)測(cè)，美國(guó)某家公司將成為第一個(gè)依據(jù)“通用數(shù)據(jù)保護(hù)條例”受到處罰的企業(yè)。

“盡管截止日期日益臨近，但Veritas公司在全球范圍調(diào)查的公司中，只有31%的公司認(rèn)為他們符合“通用數(shù)據(jù)保護(hù)條例”標(biāo)準(zhǔn)，”Bosin說?！皩?duì)違規(guī)行為的處罰是非常嚴(yán)重的，而且這一規(guī)定將影響到任何與歐盟公民打交道的公司?！?/p>