周潤(rùn)松

為了對(duì)大數(shù)據(jù)產(chǎn)品做深入了解，我們選擇了其中一個(gè)模塊MPP的數(shù)據(jù)庫(kù)產(chǎn)品做了測(cè)試。

為何選擇MPP數(shù)據(jù)庫(kù)

MPP數(shù)據(jù)庫(kù)有什么好處呢？過(guò)去我們更多的是結(jié)構(gòu)化的數(shù)據(jù)，現(xiàn)在數(shù)據(jù)傳感設(shè)備采集成本越來(lái)越低，視頻、傳感器非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越多，通常又分為高密度數(shù)據(jù)和低密度數(shù)據(jù)，我們的傳感器持續(xù)采集，但大多時(shí)候沒(méi)有太大價(jià)值，只有在某些突變的時(shí)候會(huì)產(chǎn)生比較有價(jià)值的數(shù)據(jù)。對(duì)于傳統(tǒng)的高密度數(shù)據(jù)，我們以前是用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)來(lái)管理，現(xiàn)在隨著數(shù)據(jù)容量的增大，到了TB級(jí)和PB級(jí)的話，傳統(tǒng)數(shù)據(jù)庫(kù)不一定能應(yīng)付。

MPP數(shù)據(jù)庫(kù)產(chǎn)品有哪些特色？他能做到大運(yùn)維處理，他是一種Shared Nothing Cluster方式，存儲(chǔ)使用統(tǒng)一存儲(chǔ)，我們把這些信息存儲(chǔ)在不同的主機(jī)節(jié)點(diǎn)上。現(xiàn)在我們看到大的MPP的部署模式，可以支撐到數(shù)百臺(tái)的節(jié)點(diǎn)規(guī)模，同時(shí)他能夠支持到TB或者PB的處理，他的處理手段保證了我們系統(tǒng)的可擴(kuò)展性和可用性，還有對(duì)于ACID的要求，MPP也做相應(yīng)的支持。

指標(biāo)體系的研究

我們的測(cè)試和研究得到國(guó)內(nèi)很多廠商的支持，對(duì)于MPP測(cè)試指標(biāo)，我們聯(lián)合了華為、武漢達(dá)夢(mèng)、人大金倉(cāng)、神州通用、南大通用五家企業(yè)，做了大量工作。我們的測(cè)試主要關(guān)注功能性指標(biāo)，包括安全性、兼容性、容錯(cuò)性、可擴(kuò)展性、效率。

我們?cè)趥鹘y(tǒng)上會(huì)把數(shù)據(jù)處理分析分成兩個(gè)類型，一種是OLTP面向事務(wù)處理；另一種是OLAP連接事務(wù)分析。在TPC國(guó)際標(biāo)準(zhǔn)組織發(fā)布一系列的基準(zhǔn)測(cè)試模型或者標(biāo)準(zhǔn)，大家經(jīng)常會(huì)聽(tīng)到TPC-C，-E、-H，-C，-E是事務(wù)性，-H是數(shù)據(jù)庫(kù)OLAP的業(yè)務(wù)，大量的統(tǒng)計(jì)分析或者實(shí)時(shí)查詢的內(nèi)容。TPC推出了-DS和-DI的標(biāo)準(zhǔn)，我們對(duì)-C、-E、-H做測(cè)試。后續(xù)對(duì)多數(shù)據(jù)融合業(yè)務(wù)類型會(huì)采用TPC-DI的標(biāo)準(zhǔn)做檢測(cè)，TPC-DS的模型模擬了大型的企業(yè)系統(tǒng)，它的商店銷售或者庫(kù)存等相應(yīng)的一些業(yè)務(wù)系統(tǒng)，有14個(gè)維度表，這樣組成了一個(gè)相應(yīng)的數(shù)據(jù)庫(kù)模型。

我們的測(cè)試有一個(gè)很重要原則，能夠模擬到實(shí)際的應(yīng)用系統(tǒng)，人們經(jīng)常會(huì)問(wèn)我們測(cè)出來(lái)一個(gè)數(shù)據(jù)，到底對(duì)我們現(xiàn)行的行業(yè)業(yè)務(wù)系統(tǒng)有多大參考價(jià)值？這就是業(yè)務(wù)模型存在的重要性，通過(guò)TPC-DS對(duì)MPP的數(shù)據(jù)庫(kù)或者對(duì)數(shù)據(jù)查詢系統(tǒng)做相應(yīng)的性能測(cè)試評(píng)價(jià)。

相對(duì)于傳統(tǒng)的TPC-H有很多拓展，真正模擬大型的商業(yè)系統(tǒng)，其中有很多查詢的業(yè)務(wù)類型，我們提到傳統(tǒng)的分析報(bào)告類型，或者迭代的OLAP型查詢，相對(duì)TPC+DS更加增強(qiáng)高性能的支持，對(duì)標(biāo)準(zhǔn)規(guī)范也有相應(yīng)的支持，在表的容量和SQL語(yǔ)句進(jìn)行增長(zhǎng)，更加公正反映出真實(shí)的使用情況。

這個(gè)測(cè)試，前面提到的幾家企業(yè)都參與了三個(gè)輪次智能規(guī)范的編審。在安全性測(cè)試方面，有三個(gè)主要部分：身份鑒別、訪問(wèn)控制、安全審計(jì)。身份鑒別里，數(shù)據(jù)庫(kù)基本上支持傳統(tǒng)的身份標(biāo)識(shí)，有對(duì)口令的要求，對(duì)登錄次數(shù)沒(méi)有限制，在安全上有考慮，你重復(fù)用三次不允許你用一個(gè)號(hào)或者一定時(shí)間。有相應(yīng)的角色劃分和權(quán)限控制。

可以看到，基本上數(shù)據(jù)庫(kù)是支持訪問(wèn)控制的，部分廠商在用戶權(quán)限和授權(quán)方面是通過(guò)授權(quán)方式實(shí)現(xiàn)的，另外隔離沒(méi)有超出用戶的限制。

安全審計(jì)方面也是一樣，對(duì)于一個(gè)數(shù)據(jù)庫(kù)，他的訪問(wèn)日志從安全角度來(lái)說(shuō)是比較重要的，從訪問(wèn)日志里會(huì)詳細(xì)記錄某一個(gè)人對(duì)一個(gè)系統(tǒng)做了怎樣的操作和變更。

兼容性方面，我們也做了很多探索。以符合我國(guó)推進(jìn)安全可靠、自主可控的方式。目前硬件兼容方面，兼容龍芯CPU、飛騰CUP、軟件兼容方面，兼容中標(biāo)麒麟操作系統(tǒng)、中科方德操作系統(tǒng)、普華操作系統(tǒng)等，

在容錯(cuò)性方面，我們的節(jié)點(diǎn)恢復(fù)時(shí)效也是作為重點(diǎn)考量測(cè)定的，實(shí)際我們的節(jié)點(diǎn)能夠自動(dòng)切換過(guò)來(lái)，有些廠商能做到主節(jié)點(diǎn)回來(lái)以后能再次切換回來(lái)備份。

擴(kuò)展性相對(duì)來(lái)說(shuō)是非常重要的環(huán)節(jié)，在這個(gè)系統(tǒng)里，可以動(dòng)態(tài)添加一個(gè)節(jié)點(diǎn)或者刪除一個(gè)節(jié)點(diǎn)，刪除的節(jié)點(diǎn)對(duì)我們的意義不是很重要，添加節(jié)點(diǎn)時(shí)有些廠商需要手動(dòng)將數(shù)據(jù)重新做一次分配，對(duì)數(shù)據(jù)部分廠商能知道做到增量的數(shù)據(jù)平均分布，這是我們的指標(biāo)測(cè)試。

數(shù)據(jù)庫(kù)測(cè)試結(jié)果

國(guó)產(chǎn)MPP數(shù)據(jù)庫(kù)安全性層面上還需加強(qiáng)，可參照GB/T20273-2006《數(shù)據(jù)庫(kù)管理系統(tǒng)安全基本要求》

國(guó)產(chǎn)MPP數(shù)據(jù)庫(kù)對(duì)國(guó)產(chǎn)主流芯片和操作系統(tǒng)兼容，產(chǎn)品本身具有自主知識(shí)產(chǎn)權(quán)，為大數(shù)據(jù)基礎(chǔ)軟件的安全可控奠定基礎(chǔ)

國(guó)產(chǎn)MPP數(shù)據(jù)庫(kù)在大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)、集市、分析決策系統(tǒng)中已投入使用，效益良好

國(guó)產(chǎn)MPP數(shù)據(jù)庫(kù)是大數(shù)據(jù)系統(tǒng)混合模式（關(guān)系數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)和新型大數(shù)據(jù)技術(shù)）下優(yōu)選策略

國(guó)產(chǎn)MPP數(shù)據(jù)庫(kù)在性能表現(xiàn)上還有進(jìn)一步優(yōu)化的空間

未來(lái)，仍希望繼續(xù)推動(dòng)行業(yè)的應(yīng)用基準(zhǔn)的測(cè)試，且測(cè)試更加貼近行業(yè)應(yīng)用，具體來(lái)看，可能在這幾方面：

行業(yè)大數(shù)據(jù)應(yīng)用基準(zhǔn)測(cè)試模型研究

大數(shù)據(jù)平臺(tái)類產(chǎn)品比對(duì)測(cè)評(píng)

服務(wù)于行業(yè)用戶第三方產(chǎn)品與原型系統(tǒng)選型測(cè)試

大數(shù)據(jù)分析算法驗(yàn)證測(cè)試

大數(shù)據(jù)可視化驗(yàn)證測(cè)評(píng)

大數(shù)據(jù)行業(yè)示范應(yīng)用系統(tǒng)測(cè)評(píng)

大數(shù)據(jù)系統(tǒng)安全測(cè)評(píng)（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）