“大數(shù)據(jù)管理技術(shù)與系統(tǒng)實(shí)現(xiàn)”專輯導(dǎo)讀

2015年3月5日第十二屆全國(guó)人民代表大會(huì)第三次會(huì)議開幕會(huì)，國(guó)務(wù)院總理李克強(qiáng)在政府工作報(bào)告中提出“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃，提出:“推動(dòng)移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等與現(xiàn)代制造業(yè)結(jié)合，促進(jìn)電子商務(wù)、工業(yè)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)金融健康發(fā)展，引導(dǎo)互聯(lián)網(wǎng)企業(yè)拓展國(guó)際市場(chǎng).”此后，11月，黨的十八屆五中全會(huì)將“大數(shù)據(jù)”上升為國(guó)家戰(zhàn)略.

隨著“互聯(lián)網(wǎng)+”的發(fā)展和普及，在互聯(lián)網(wǎng)企業(yè)向零售、訂票、電信、交通運(yùn)輸物流、金融等傳統(tǒng)領(lǐng)域延伸的同時(shí)，傳統(tǒng)領(lǐng)域也藉由互聯(lián)網(wǎng)實(shí)現(xiàn)反向O2O(線下到線上).在這一過程中，海量、分布、多元、異構(gòu)的數(shù)據(jù)的生成、收集、傳輸、管理、交換、展示、分析，成為商業(yè)界、工業(yè)界和學(xué)術(shù)界共同關(guān)注的熱點(diǎn).在數(shù)據(jù)的整個(gè)生命周期內(nèi)，數(shù)據(jù)管理是承接數(shù)據(jù)資源獲取和綜合利用的關(guān)鍵，也是保障所有大數(shù)據(jù)應(yīng)用正常運(yùn)行、持續(xù)發(fā)展的基礎(chǔ).

數(shù)據(jù)庫(kù)和數(shù)據(jù)管理技術(shù)經(jīng)過三四十年的發(fā)展，已經(jīng)成為現(xiàn)代信息系統(tǒng)的重要支柱.數(shù)據(jù)庫(kù)系統(tǒng)是各行業(yè)信息基礎(chǔ)設(shè)施的重要組成部分，在銀行存貸、電信和能源記賬、商業(yè)買賣等等日常生活行為的背后，扮演著不可或缺的角色.傳統(tǒng)數(shù)據(jù)管理系統(tǒng)依賴于高端主機(jī)和小型機(jī)，采用集中式架構(gòu)，通過“向上擴(kuò)展”的方式進(jìn)行系統(tǒng)升級(jí)應(yīng)對(duì)應(yīng)用擴(kuò)展服務(wù)的需求.然而，隨著應(yīng)用的互聯(lián)網(wǎng)化，瀏覽器和移動(dòng)終端數(shù)量呈爆炸式增長(zhǎng)，“搶票”、“秒殺”等銷售方式的普及，數(shù)據(jù)庫(kù)系統(tǒng)面臨著前所未有的挑戰(zhàn):從用戶規(guī)?？?，這樣的應(yīng)用是“互聯(lián)網(wǎng)級(jí)”的;從應(yīng)用特征看，它們是核心或關(guān)鍵任務(wù)應(yīng)用;從負(fù)載特征看，它們所面臨的是“現(xiàn)象級(jí)”(Pheno menal)的，即極為顯著的.

另一方面，多核CPU、通用圖形處理器、大容量?jī)?nèi)存、固態(tài)存儲(chǔ)、新型存儲(chǔ)介質(zhì)、高速網(wǎng)絡(luò)等硬件，以及集群構(gòu)建技術(shù)的快速發(fā)展，為數(shù)據(jù)管理提供了新的平臺(tái)選擇，也為數(shù)據(jù)管理技術(shù)提供了新的優(yōu)化選項(xiàng).配以大容量?jī)?nèi)存、高速網(wǎng)絡(luò)的集群，由于具有良好的平行擴(kuò)展能力，尤其適宜于具有可伸縮性要求的數(shù)據(jù)管理環(huán)境.

2003年開始，谷歌公司陸續(xù)發(fā)表了介紹Google File System、MapReduce、BigTable等系統(tǒng)的論文，促進(jìn)了以Hadoop生態(tài)圈為代表的開源大數(shù)據(jù)處理系統(tǒng)的出現(xiàn)和快速發(fā)展.基于H adoop的H Base、Hive、Pig，以及Cassandra、SparkSQL等開源系統(tǒng)，能夠充分利用集群硬件平臺(tái)，實(shí)現(xiàn)了具有良好平行擴(kuò)展能力的高性能數(shù)據(jù)管理，常被稱為N oSQL系統(tǒng).但這些系統(tǒng)在事務(wù)的功能和性能方面較為薄弱，無(wú)法滿足核心或關(guān)鍵任務(wù)應(yīng)用的事務(wù)處理的需要.而以VoltDB、微軟Hekaton等系統(tǒng)為代表的系統(tǒng)則致力于利用海量?jī)?nèi)存，避免了不必要的緩存和并發(fā)控制代價(jià)，提供高性能、高通量的事務(wù)處理能力，常被稱為New SQL系統(tǒng).Oracle、微軟、SAP、EMC等傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)軟件和解決方案廠商通過自主研發(fā)或收購(gòu)的方式，發(fā)布了一批具有良好擴(kuò)展能力的新型數(shù)據(jù)庫(kù)管理系統(tǒng)，以滿足高性能事務(wù)型和分析型處理的需要.在應(yīng)用需求發(fā)展、硬件平臺(tái)發(fā)展、系統(tǒng)架構(gòu)和實(shí)現(xiàn)技術(shù)發(fā)展這三重力量的推動(dòng)下，在學(xué)術(shù)界和工業(yè)界，在技術(shù)初創(chuàng)企業(yè)和傳統(tǒng)系統(tǒng)軟件巨頭，在系統(tǒng)和解決方案提供商和應(yīng)用企業(yè)，新型大數(shù)據(jù)管理系統(tǒng)都已成為研發(fā)和應(yīng)用的熱點(diǎn).

華東師范大學(xué)數(shù)據(jù)科學(xué)與工程研究院自2013年9月成立以來(lái)，一直致力于建設(shè)國(guó)際性的大數(shù)據(jù)相關(guān)研究的協(xié)作創(chuàng)新平臺(tái)和研發(fā)基地.研究院秉承和踐行協(xié)同創(chuàng)新理念，立足中國(guó)市場(chǎng)的大數(shù)據(jù)應(yīng)用需求，依托華東師范大學(xué)，通過學(xué)術(shù)伙伴、企業(yè)贊助和訪問學(xué)者等機(jī)制積聚各類創(chuàng)新要素，全面提升研發(fā)能力和應(yīng)用推廣能力，發(fā)展有中國(guó)特色的大數(shù)據(jù)技術(shù)和系統(tǒng).

華東師范大學(xué)與西北工業(yè)大學(xué)、中國(guó)人民大學(xué)、交通銀行共同承擔(dān)了國(guó)家863課題“基于內(nèi)存計(jì)算的數(shù)據(jù)管理系統(tǒng)研究與開發(fā)”;與西北工業(yè)大學(xué)和東北大學(xué)共同承擔(dān)了國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目“集群環(huán)境下基于內(nèi)存的高性能數(shù)據(jù)管理與分析”;與中國(guó)人民大學(xué)和中科院計(jì)算所共同承擔(dān)了國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目“大數(shù)據(jù)管理系統(tǒng)評(píng)測(cè)基準(zhǔn)的理論與方法”;參與了武漢大學(xué)牽頭承擔(dān)的國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目“支持技術(shù)創(chuàng)新的海量數(shù)據(jù)管理基礎(chǔ)理論與關(guān)鍵技術(shù)”.在這些科研項(xiàng)目的支持下，經(jīng)過多年研發(fā)，形成了一批研究結(jié)果.為了更好地總結(jié)成果，同時(shí)促進(jìn)國(guó)內(nèi)相關(guān)研發(fā)人員的交流，特此組織《華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版)》“大數(shù)據(jù)管理技術(shù)與系統(tǒng)實(shí)現(xiàn)”專輯.專輯采用邀稿和征稿相結(jié)合的方式組織稿件.所有收到的稿件通過通訊評(píng)審，最終確定錄用稿件18篇，分為事務(wù)與可用性、存儲(chǔ)與索引、查詢處理、數(shù)據(jù)分析、系統(tǒng)工具等5個(gè)專欄.

事務(wù)與可用性是分布式數(shù)據(jù)管理系統(tǒng)實(shí)現(xiàn)中的難點(diǎn)問題.該專欄共有4篇論文.論文《高可用數(shù)據(jù)庫(kù)系統(tǒng)中的分布式一致性協(xié)議》系統(tǒng)梳理了新型數(shù)據(jù)管理系統(tǒng)中常用的分布式一致性協(xié)議，并分析了協(xié)議在實(shí)現(xiàn)和使用過程中的局限性.論文《面向高通量事務(wù)處理的事務(wù)編譯技術(shù)》和《內(nèi)存數(shù)據(jù)庫(kù)事務(wù)提交的關(guān)鍵技術(shù)與挑戰(zhàn)》介紹了事務(wù)編譯和事務(wù)提交這兩個(gè)影響事務(wù)處理性能的關(guān)鍵技術(shù)的發(fā)展和最新研究進(jìn)展.論文《分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)的容錯(cuò)管理》則介紹了新型內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)的容錯(cuò)方法.

存儲(chǔ)與索引是數(shù)據(jù)管理系統(tǒng)的基礎(chǔ)，在集群和分布式環(huán)境下遇到了新的技術(shù)挑戰(zhàn).該專欄共有2篇論文.論文《基于LSM Tree的分布式索引實(shí)現(xiàn)》介紹了一種以LSM Tree結(jié)構(gòu)組織和存儲(chǔ)的數(shù)據(jù)的分布式索引技術(shù).論文《基于數(shù)據(jù)關(guān)聯(lián)的分布式對(duì)象代理數(shù)據(jù)庫(kù)劃分方法》介紹了一種利用聚簇進(jìn)行數(shù)據(jù)庫(kù)劃分以提高分布式對(duì)象代理數(shù)據(jù)庫(kù)查詢處理性能的技術(shù).

查詢處理專欄共有4篇論文，專注于分布式查詢優(yōu)化和分布式連接操作的實(shí)現(xiàn).論文《面向分布式數(shù)據(jù)庫(kù)的相關(guān)子查詢優(yōu)化策略》介紹了一種分布式數(shù)據(jù)庫(kù)中相關(guān)子查詢優(yōu)化這一難點(diǎn)問題的解決技術(shù).而后，論文《OceanBase中基于布隆過濾器的連接算法》、《分布式系統(tǒng)中Semi-Join算法的實(shí)現(xiàn)》和《分布式可擴(kuò)展數(shù)據(jù)流連接算法》則分別介紹了3種連接操作的實(shí)現(xiàn)技術(shù).

數(shù)據(jù)分析專欄共有4篇論文.論文《不對(duì)稱內(nèi)存計(jì)算平臺(tái)OLAP查詢處理技術(shù)研究》系統(tǒng)介紹了中國(guó)人民大學(xué)在不對(duì)稱內(nèi)存計(jì)算平臺(tái)上的OLAP查詢處理技術(shù)上的研究進(jìn)展.論文《一種基于關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)的圖計(jì)算平臺(tái)》和《Graph H P:一個(gè)圖迭代處理的混合平臺(tái)》則分別介紹了兩個(gè)面向圖數(shù)據(jù)處理的系統(tǒng).論文《基于Map/Reduce的分布式數(shù)據(jù)排序算法分析》介紹了基于Map/Reduce編程模型的數(shù)據(jù)排序算法.

系統(tǒng)工具對(duì)數(shù)據(jù)管理系統(tǒng)的開發(fā)、部署和使用至關(guān)重要.該專欄共有4篇論文.論文《非阻塞事務(wù)型實(shí)時(shí)數(shù)據(jù)注入技術(shù)研究與實(shí)現(xiàn)》介紹了新型數(shù)據(jù)管理系統(tǒng)應(yīng)用中所遇到的實(shí)時(shí)數(shù)據(jù)注入這一具有挑戰(zhàn)性的問題的解決技術(shù).論文《面向OceanBase的存儲(chǔ)過程設(shè)計(jì)與實(shí)現(xiàn)》介紹了開源OceanBase系統(tǒng)上的存儲(chǔ)過程實(shí)現(xiàn)技術(shù).論文《DBug Helper:分布式系統(tǒng)Debug協(xié)助工具》介紹了一個(gè)輔助分布式數(shù)據(jù)庫(kù)開發(fā)的調(diào)試工具的設(shè)計(jì)與實(shí)現(xiàn).論文《可擴(kuò)展數(shù)據(jù)管理系統(tǒng)中的網(wǎng)絡(luò)請(qǐng)求服務(wù)機(jī)制》則系統(tǒng)梳理了支持分布式數(shù)據(jù)庫(kù)系統(tǒng)中各類數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)傳輸方法和實(shí)現(xiàn)技術(shù).

專家和學(xué)者分別從各自的角度，對(duì)各自正在研發(fā)的新型大數(shù)據(jù)管理系統(tǒng)的系統(tǒng)架構(gòu)、實(shí)現(xiàn)技術(shù)、應(yīng)用整合和運(yùn)維工具等核心技術(shù)和最新研究進(jìn)展進(jìn)行了介紹;對(duì)新型大數(shù)據(jù)管理系統(tǒng)研發(fā)的難點(diǎn)與挑戰(zhàn)以及技術(shù)發(fā)展趨勢(shì)進(jìn)行了分析與展望.

在專輯出版之際，謹(jǐn)在此衷心感謝在短時(shí)間內(nèi)提供高質(zhì)量稿件的作者以及參與稿件評(píng)審的各位專家學(xué)者，并對(duì)學(xué)報(bào)編輯部的信任表示感謝.特別感謝《華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版)》的李藝?yán)蠋煹?，正是他們的及時(shí)幫助和嚴(yán)格把關(guān)才使得本專輯得以高質(zhì)量順利完成.希望本專輯能為我國(guó)從事相關(guān)領(lǐng)域研究開發(fā)和應(yīng)用的科研人員，及時(shí)了解大數(shù)據(jù)管理系統(tǒng)這一快速發(fā)展的研究方向的最新進(jìn)展提供一個(gè)窗口.