陳啟崧

【摘要】 本文通過分析“互聯(lián)網(wǎng)+”時(shí)代傳統(tǒng)企業(yè)互聯(lián)網(wǎng)化轉(zhuǎn)型，企業(yè)大數(shù)據(jù)在“存”、“管”、“用”技術(shù)支撐上面臨的問題，比較關(guān)系型數(shù)據(jù)庫系統(tǒng)與大數(shù)據(jù)技術(shù)平臺(tái)的應(yīng)用特點(diǎn)，提出了企業(yè)大數(shù)據(jù)的存儲(chǔ)混搭架構(gòu)思路。

【關(guān)鍵詞】 大數(shù)據(jù) 關(guān)系型數(shù)據(jù)庫 NoSQL 存儲(chǔ)架構(gòu)

一、引言

“互聯(lián)網(wǎng)+”時(shí)代越來越多的企業(yè)認(rèn)識(shí)到數(shù)據(jù)是企業(yè)很重要的核心資產(chǎn)，并開始通過信息應(yīng)用來改造傳統(tǒng)行業(yè)。許多傳統(tǒng)企業(yè)開始探索互聯(lián)網(wǎng)化轉(zhuǎn)型之路，企業(yè)數(shù)據(jù)爆炸性增長，隨之而來出現(xiàn)了“存”、“管”、“用”這三個(gè)方面的難題：“存”——如何解決PB 級(jí)別海量數(shù)據(jù)的存儲(chǔ)問題？“管”——如何解決結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)并存的管理問題？“用”——如何解決這種大規(guī)模復(fù)雜結(jié)構(gòu)下的實(shí)時(shí)應(yīng)用問題？

傳統(tǒng)關(guān)系型數(shù)據(jù)庫系統(tǒng)與新興的大數(shù)據(jù)技術(shù)平臺(tái)是兩條技術(shù)解決路線，本文將通過對(duì)比這兩種技術(shù)，為企業(yè)大數(shù)據(jù)的存儲(chǔ)與應(yīng)用提供一個(gè)技術(shù)解決思路。

二、企業(yè)大數(shù)據(jù)的組成與技術(shù)支持

企業(yè)的傳統(tǒng)數(shù)據(jù)主要來自于業(yè)務(wù)運(yùn)營支撐系統(tǒng)、企業(yè)管理系統(tǒng)等，主要是結(jié)構(gòu)化數(shù)據(jù)；企業(yè)當(dāng)前爆炸式增長的新數(shù)據(jù)主要來源于互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)上的圖片、文本、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)；結(jié)構(gòu)化傳統(tǒng)數(shù)據(jù)和非結(jié)構(gòu)化新數(shù)據(jù)一起構(gòu)成了企業(yè)的大數(shù)據(jù)。目前業(yè)界對(duì)大數(shù)據(jù)還沒有統(tǒng)一的定義，但各大研究機(jī)構(gòu)與國際組織對(duì)大數(shù)據(jù)的定義都至少包含這2層意思：一是要能對(duì)大體量、多類型的數(shù)據(jù)進(jìn)行快速的處理，二是在成本可接受的前提下從大數(shù)據(jù)中提取有用的價(jià)值。概括的說，企業(yè)的大數(shù)據(jù)具備“4V”的特征：超量（Volume），需要存儲(chǔ)的數(shù)據(jù)量越來越大；多樣（Variety），存儲(chǔ)的數(shù)據(jù)類型種類越來越多；高速（Velocity），數(shù)據(jù)處理速度與應(yīng)用速度要求越來越快；價(jià)值（Value），從低密度的數(shù)據(jù)中提取有價(jià)值的信息。因此，在技術(shù)層面上面臨3大挑戰(zhàn)：（1）海量數(shù)據(jù)存哪里，才能既滿足高效率存儲(chǔ)和訪問的需求，又使存儲(chǔ)成本可控制？（2）如何滿足海量數(shù)據(jù)的高并發(fā)、實(shí)時(shí)動(dòng)態(tài)獲取和更新數(shù)據(jù)？（3）如何保障數(shù)據(jù)庫系統(tǒng)的高可擴(kuò)展性和7*24小時(shí)不間斷服務(wù)的高可用性需求？目前有兩條技術(shù)解決路線：一是將傳統(tǒng)關(guān)系型數(shù)據(jù)庫系統(tǒng)進(jìn)行整合升級(jí)，如Oracle、EMC等企業(yè)設(shè)計(jì)了采用Shared-Nothing與MPP體系架構(gòu)的數(shù)據(jù)庫一體機(jī)作為解決方案；二是專門設(shè)計(jì)了NoSQL數(shù)據(jù)庫系統(tǒng)，以Apache的Hadoop、IBM PureData為代表的大數(shù)據(jù)平臺(tái)為主要的解決方案。

三、關(guān)系型數(shù)據(jù)庫系統(tǒng)與大數(shù)據(jù)技術(shù)平臺(tái)的比較

3.1關(guān)系型數(shù)據(jù)庫如何應(yīng)對(duì)大數(shù)據(jù)

工程師們對(duì)關(guān)系型數(shù)據(jù)庫系統(tǒng)進(jìn)行升級(jí)與優(yōu)化，通過分庫、分表，緩解數(shù)據(jù)增長壓力；采用主從數(shù)據(jù)庫分離、讀寫分離思路，緩解寫壓力，增強(qiáng)讀庫的可擴(kuò)展性；采用主從結(jié)構(gòu)Master-Slave，增強(qiáng)讀庫的可擴(kuò)展性，并采用MMM（Master-Master Replication Manager for MySQL）技術(shù)來解決分布式存儲(chǔ)問題。在產(chǎn)品支持上主流數(shù)據(jù)庫廠商紛紛推出數(shù)據(jù)庫一體機(jī)產(chǎn)品，如Oracle Exadata、IBM Netezza、EMC GreenPlum等。

數(shù)據(jù)庫一體機(jī)的核心是SQL體系，可以兼顧企業(yè)中OLTP和OLAP兩類系統(tǒng)的應(yīng)用要求，但這條技術(shù)路線仍有瑕疵：如分庫、分表受業(yè)務(wù)規(guī)則影響，維護(hù)變得十分復(fù)雜，系統(tǒng)數(shù)據(jù)訪問層代碼需要大量修改；Master-Slave架構(gòu)在實(shí)時(shí)性很高的場合Slave實(shí)時(shí)性保障存在瓶頸，在高可用性上Master容易產(chǎn)生單點(diǎn)故障；MMM本身擴(kuò)展性差，一次只能允許一個(gè)Master寫入，只能解決有限數(shù)據(jù)量下的可用性。

3.2大數(shù)據(jù)技術(shù)如何應(yīng)對(duì)大數(shù)據(jù)

相對(duì)于傳統(tǒng)關(guān)系型數(shù)據(jù)庫的行存儲(chǔ)模式，大數(shù)據(jù)技術(shù)采用列存儲(chǔ)模式滿足海量數(shù)據(jù)的高效存儲(chǔ)和訪問要求，以NoSQL體系的非關(guān)系型數(shù)據(jù)庫服務(wù)器架構(gòu)應(yīng)用而生。其中Hadoop是一個(gè)典型代表，海量的數(shù)據(jù)交給Hadoop處理后，Hadoop提供一個(gè)分布式文件系統(tǒng)（HDFS）及分布式數(shù)據(jù)庫（Hbase）用來存儲(chǔ)或部署到各個(gè)計(jì)算點(diǎn)上，最終在內(nèi)部采取MapReduce的模式對(duì)其數(shù)據(jù)進(jìn)行分布式并行計(jì)算與合并處理，然后輸出處理結(jié)果。

NoSQL數(shù)據(jù)庫大都只是提供了海量數(shù)據(jù)的分布式存儲(chǔ)與基于索引的快速讀取機(jī)制，對(duì)復(fù)雜Join的操作性能低下，因此對(duì)OLTP系統(tǒng)的支持成為它的短板。

3.3兩種技術(shù)的異同點(diǎn)比較

從硬件集成角度上看，大數(shù)據(jù)技術(shù)與數(shù)據(jù)庫一體機(jī)基本相同。兩種技術(shù)最核心的區(qū)別在軟件體系上，具體比較如下表：

四、企業(yè)大數(shù)據(jù)的存儲(chǔ)架構(gòu)建設(shè)思路

針對(duì)企業(yè)大數(shù)據(jù)的存儲(chǔ)與應(yīng)用需求，大數(shù)據(jù)技術(shù)與關(guān)系型數(shù)據(jù)庫架構(gòu)技術(shù)是相輔相成的，而不是互相替代的。它們針對(duì)不同的應(yīng)用場景設(shè)計(jì)，可以相互補(bǔ)充與合作。

數(shù)據(jù)庫一體機(jī)較適用于存儲(chǔ)關(guān)系復(fù)雜的數(shù)據(jù)模型，如企業(yè)核心業(yè)務(wù)數(shù)據(jù)，并且需要限制為基于二維表的關(guān)系模型；同時(shí)適合進(jìn)行一致性與事務(wù)性要求高的計(jì)算，以及復(fù)雜的BI計(jì)算。大數(shù)據(jù)技術(shù)則更適合于存儲(chǔ)較簡單的數(shù)據(jù)模型，并且可以不受模式的約束，因而其可存儲(chǔ)管理的數(shù)據(jù)類型更豐富。大數(shù)據(jù)技術(shù)同時(shí)適合進(jìn)行一致性與事務(wù)性要求不高的計(jì)算，如NoSQL的查詢操作等，以及對(duì)超大規(guī)模海量數(shù)據(jù)的、批量的分布式并行計(jì)算。

因此，在“互聯(lián)網(wǎng)+”時(shí)代，當(dāng)前企業(yè)的大數(shù)據(jù)存儲(chǔ)架構(gòu)建設(shè)思路是采用大數(shù)據(jù)平臺(tái)與關(guān)系型數(shù)據(jù)庫系統(tǒng)混搭的架構(gòu)。具體來講：業(yè)務(wù)支撐系統(tǒng)仍然部署在關(guān)系型數(shù)據(jù)庫上，傳統(tǒng)關(guān)系型數(shù)據(jù)庫技術(shù)還是作為企業(yè)數(shù)據(jù)倉庫的主流技術(shù)，它存儲(chǔ)與計(jì)算最主要的、有重大價(jià)值的企業(yè)關(guān)鍵業(yè)務(wù)數(shù)據(jù)。大數(shù)據(jù)技術(shù)可以處理企業(yè)內(nèi)海量的、模型簡單、類型多樣的非結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)，其處理結(jié)果可以被直接使用，也同時(shí)可以被當(dāng)成是新的輸入存儲(chǔ)到企業(yè)級(jí)數(shù)據(jù)倉庫中，這時(shí)大數(shù)據(jù)技術(shù)相當(dāng)于是面向大數(shù)據(jù)源的新的ETL手段。

五、結(jié)束語

進(jìn)入“互聯(lián)網(wǎng)+”時(shí)代，在一個(gè)信息爆炸的環(huán)境下，企業(yè)更需要搭建合適的企業(yè)大數(shù)據(jù)存儲(chǔ)架構(gòu)來存儲(chǔ)好、管理好和使用好這些數(shù)據(jù)，以真正將企業(yè)的數(shù)據(jù)資產(chǎn)變成企業(yè)的核心競爭力。