顧 勤

(景德鎮(zhèn)學(xué)院，江西 景德鎮(zhèn) 333400)

大數(shù)據(jù)時(shí)代下，人們的生活和社會(huì)各類產(chǎn)業(yè)的發(fā)展都離不開(kāi)不斷發(fā)展的計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)，云計(jì)算也因?yàn)楹Ａ繑?shù)據(jù)而不斷完善與發(fā)展，與此同時(shí)，傳統(tǒng)的存儲(chǔ)信息技術(shù)逐漸跟不上時(shí)代發(fā)展的步伐，不能很好地滿足人們?cè)谌粘Ｉ詈透黝I(lǐng)域生產(chǎn)中的要求，分布式存儲(chǔ)技術(shù)應(yīng)運(yùn)而生，為解決這一問(wèn)題做出了巨大貢獻(xiàn)。分布式存儲(chǔ)技術(shù)包括軟件和硬件，二者各自發(fā)揮作用，共同促進(jìn)了分布式存儲(chǔ)技術(shù)的發(fā)展[1]。

1 大數(shù)據(jù)分布式存儲(chǔ)技術(shù)的研究現(xiàn)狀

1.1 分布式存儲(chǔ)技術(shù)的相關(guān)研究背景

近年來(lái)，互聯(lián)網(wǎng)的發(fā)展迎來(lái)了新高峰，相關(guān)的網(wǎng)絡(luò)技術(shù)在不斷革新、進(jìn)步，互聯(lián)網(wǎng)中不斷有移動(dòng)終端、傳感設(shè)備等設(shè)備進(jìn)入，相關(guān)數(shù)據(jù)量越來(lái)越大，數(shù)據(jù)值只增不減。云計(jì)算在我國(guó)許多領(lǐng)域都被廣泛應(yīng)用，據(jù)相關(guān)調(diào)查顯示，阿里云應(yīng)用了分布式存儲(chǔ)技術(shù)，促使業(yè)績(jī)飛速增長(zhǎng)；國(guó)家對(duì)云計(jì)算也越來(lái)越重視，甚至出臺(tái)了許多與分布式存儲(chǔ)技術(shù)相關(guān)的戰(zhàn)略。一直以來(lái)，云計(jì)算之所以能夠有快速發(fā)展，核心在于分布式存儲(chǔ)技術(shù)，它一直都是云計(jì)算系統(tǒng)平穩(wěn)和安全運(yùn)行的“保護(hù)傘”，但是云計(jì)算在發(fā)展中還是暴露了一些問(wèn)題，需要相關(guān)人員去研究和解決[2]。

1.2 國(guó)內(nèi)外對(duì)分布式存儲(chǔ)技術(shù)的研究現(xiàn)狀

1.2.1 對(duì)分布式存儲(chǔ)系統(tǒng)數(shù)據(jù)安全性技術(shù)的研究

分布式存儲(chǔ)系統(tǒng)因?yàn)榈统杀镜膬?yōu)勢(shì)被許多領(lǐng)域的企業(yè)青睞，但缺點(diǎn)是在安全性方面存在重要問(wèn)題。因?yàn)榉植际酱鎯?chǔ)系統(tǒng)對(duì)數(shù)據(jù)的機(jī)密性和完整性有比較高的要求，同時(shí)也有強(qiáng)烈的需求，但其大多是在云端部署自己的一些基礎(chǔ)設(shè)備，所以安全程度較低。傳統(tǒng)的密碼學(xué)對(duì)于保證分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)的機(jī)密性有著十分重要的作用，想要確保數(shù)據(jù)的完整性，主要是通過(guò)在分布式存儲(chǔ)系統(tǒng)中引入安全技術(shù)實(shí)現(xiàn)的[3]。

1.2.2 對(duì)分布式存儲(chǔ)系統(tǒng)容納錯(cuò)誤技術(shù)的研究

容錯(cuò)技術(shù)并不是單一的，而是有很多種類型，不同容錯(cuò)技術(shù)的基礎(chǔ)不同?；谘芯楷F(xiàn)狀發(fā)現(xiàn)，容錯(cuò)技術(shù)主要有3種：(1)以復(fù)制為基礎(chǔ)的容錯(cuò)技術(shù)，比較簡(jiǎn)單，在實(shí)現(xiàn)過(guò)程中也很簡(jiǎn)單，但是也有致命的缺點(diǎn)——存儲(chǔ)開(kāi)銷過(guò)大，如果多臺(tái)服務(wù)器同時(shí)發(fā)生故障，可能會(huì)使大量信息丟失。(2)以糾刪碼為基礎(chǔ)的容錯(cuò)技術(shù)，要同時(shí)對(duì)多個(gè)數(shù)據(jù)編碼產(chǎn)生編碼現(xiàn)象，可以很好地解決對(duì)于以復(fù)制為基礎(chǔ)的容錯(cuò)技術(shù)產(chǎn)生開(kāi)銷過(guò)大的問(wèn)題；缺陷在于，如果某一節(jié)點(diǎn)發(fā)生了問(wèn)題，需要連接多個(gè)節(jié)點(diǎn)才能恢復(fù)數(shù)據(jù)，對(duì)寬帶是十分耗費(fèi)的。(3)以網(wǎng)絡(luò)編碼為基礎(chǔ)的容錯(cuò)技術(shù)，保留了以糾刪碼為基礎(chǔ)容錯(cuò)技術(shù)的優(yōu)勢(shì)，同時(shí)，引進(jìn)了與網(wǎng)絡(luò)編碼有關(guān)的先進(jìn)思想，對(duì)分布式存儲(chǔ)系統(tǒng)有很大的作用[4]。

2 面向大數(shù)據(jù)的分布式存儲(chǔ)技術(shù)在發(fā)展中存在的問(wèn)題

2.1 設(shè)計(jì)與實(shí)施中的差異化

文件系統(tǒng)和數(shù)據(jù)庫(kù)是面向大數(shù)據(jù)存儲(chǔ)的信息數(shù)據(jù)的主要內(nèi)容，但是一般需要彈性很強(qiáng)的擴(kuò)展能力進(jìn)行支撐，而分布式的存儲(chǔ)技術(shù)能夠滿足各種需要。分布式存儲(chǔ)技術(shù)容易在設(shè)計(jì)與具體實(shí)施過(guò)程中產(chǎn)生差異，主要原因是數(shù)據(jù)庫(kù)對(duì)分布式存儲(chǔ)技術(shù)系統(tǒng)的要求過(guò)高，但是文件系統(tǒng)主要是要求氣存儲(chǔ)空間的質(zhì)量能夠更高。

2.2 存儲(chǔ)技術(shù)的成本在不斷增加

“雙十一”瘋狂購(gòu)物、春運(yùn)搶票等事件，會(huì)導(dǎo)致數(shù)據(jù)總量十分龐大，而且各網(wǎng)絡(luò)用戶也會(huì)對(duì)數(shù)據(jù)頻繁操作，但是并不是所有的數(shù)據(jù)都有人訪問(wèn)的，有的數(shù)據(jù)訪問(wèn)量過(guò)大，有的數(shù)據(jù)幾乎無(wú)人問(wèn)津，幾乎沒(méi)有被訪問(wèn)的數(shù)據(jù)占據(jù)很大的存儲(chǔ)空間，會(huì)大大提高存儲(chǔ)技術(shù)的成本，降低性價(jià)比，使許多企業(yè)望而卻步。另外，傳統(tǒng)存儲(chǔ)技術(shù)過(guò)于復(fù)雜，新的分布式存儲(chǔ)技術(shù)要克服傳統(tǒng)存儲(chǔ)技術(shù)的復(fù)雜以及擴(kuò)展度低的問(wèn)題。

3 面向大數(shù)據(jù)的分布式存儲(chǔ)技術(shù)的更好發(fā)展

在大數(shù)據(jù)時(shí)代，分布式存儲(chǔ)技術(shù)如果想要獲得更好的發(fā)展，就必須要積極改革和創(chuàng)新，技術(shù)人員要分析當(dāng)下在傳統(tǒng)存儲(chǔ)技術(shù)和新的分布式存儲(chǔ)技術(shù)中各自存在的問(wèn)題，然后盡力在解決問(wèn)題的基礎(chǔ)上發(fā)展自身。接下來(lái)，本文將詳細(xì)分析面向大數(shù)據(jù)時(shí)代實(shí)現(xiàn)分布式存儲(chǔ)技術(shù)更好發(fā)展的策略。

3.1 完善極限數(shù)據(jù)分布式存儲(chǔ)技術(shù)

完善極限數(shù)據(jù)分布式存儲(chǔ)技術(shù)是指通過(guò)業(yè)務(wù)邏輯和復(fù)雜查詢來(lái)對(duì)總量龐雜的數(shù)據(jù)進(jìn)行操作，此外，還要分析處理數(shù)據(jù)訪問(wèn)量，其很關(guān)鍵的作用是提高信息訪問(wèn)的速度。所以，極限數(shù)據(jù)分布式存儲(chǔ)技術(shù)要實(shí)現(xiàn)大力度的架構(gòu)作用調(diào)整。NoSQL與NewSQL是極限數(shù)據(jù)分布式存儲(chǔ)的兩大主要架構(gòu)技術(shù)，兩者共同點(diǎn)在于都是面向極限數(shù)據(jù)分布式存儲(chǔ)技術(shù)，各有優(yōu)勢(shì)，但也有很多不同點(diǎn)；最關(guān)鍵的是兩大主要架構(gòu)技術(shù)都有不足之處，且都是關(guān)于極限性能方面的。所以，極限數(shù)據(jù)分布式存儲(chǔ)技術(shù)不僅要注重外存方面的改變，也要注重內(nèi)存方面的改變，尤其是內(nèi)存方面的改變，主要可以通過(guò)改變節(jié)點(diǎn)來(lái)實(shí)現(xiàn)。

3.2 完善低成本分布式存儲(chǔ)技術(shù)

存儲(chǔ)技術(shù)一直在努力控制成本，但是當(dāng)下數(shù)據(jù)信息量的極速增長(zhǎng)導(dǎo)致成本控制越來(lái)越難。低成本分布式存儲(chǔ)技術(shù)與極限數(shù)據(jù)分布存儲(chǔ)技術(shù)有所不同，主要體現(xiàn)在對(duì)訪問(wèn)量較低的數(shù)據(jù)信息的分析和處理上。低成本分布式存儲(chǔ)技術(shù)對(duì)低訪問(wèn)數(shù)據(jù)信息的實(shí)時(shí)性要求并不高，但是成本控制問(wèn)題卻給相關(guān)人員提出了一個(gè)大難題。許多相關(guān)技術(shù)企業(yè)都注重使用對(duì)象存儲(chǔ)方法，目的就是控制成本。對(duì)象存儲(chǔ)主要就是一個(gè)相應(yīng)的對(duì)象為一個(gè)訪問(wèn)單元，主要以對(duì)象存儲(chǔ)設(shè)備為基礎(chǔ)去構(gòu)建存儲(chǔ)系統(tǒng)，能夠?qū)崿F(xiàn)對(duì)相關(guān)數(shù)據(jù)的自動(dòng)化管理及保存。對(duì)象存儲(chǔ)系統(tǒng)在當(dāng)下已經(jīng)發(fā)展得比較完備，Swift就是一種比較典型的對(duì)象存儲(chǔ)系統(tǒng)。

3.3 完善軟件自定義分布式存儲(chǔ)技術(shù)

軟件自定義分布式存儲(chǔ)技術(shù)能夠?qū)Υ鎯?chǔ)系統(tǒng)進(jìn)行分布式的統(tǒng)一存儲(chǔ)，在統(tǒng)一存儲(chǔ)的過(guò)程中，主要通過(guò)軟件應(yīng)用的方式進(jìn)行。Ceph是比較典型的自定義分布式存儲(chǔ)技術(shù)，一個(gè)十分顯著的特點(diǎn)是訪問(wèn)接口多樣化，對(duì)具體的數(shù)據(jù)塊能夠通過(guò)算法定位，使其使用性和擴(kuò)展性不斷得到提高。Ceph的分布式存儲(chǔ)方法具有強(qiáng)一致性，所以，如果是跨地區(qū)甚至是跨機(jī)房使用，都可能會(huì)引起一些不適用的問(wèn)題。另外，技術(shù)人員要注意不斷將Ceph系統(tǒng)中納入更多的存儲(chǔ)模式，以滿足更多客戶的數(shù)據(jù)需求，而且其設(shè)計(jì)要能夠滿足不同客戶的需求，為客戶提供高質(zhì)量、高效率的存儲(chǔ)管理服務(wù)。

3.4 完善大數(shù)據(jù)空間管理系統(tǒng)

大數(shù)據(jù)空間管理系統(tǒng)主要是4層架構(gòu)：(1)數(shù)據(jù)資源層。負(fù)責(zé)存儲(chǔ)和管理各類數(shù)據(jù)，可以說(shuō)是整個(gè)系統(tǒng)的比較數(shù)據(jù)資源層。特點(diǎn)是能夠快速讀取和高效計(jì)算空間大數(shù)據(jù)，滿足空間信息瀏覽過(guò)程中的各種需求，例如，進(jìn)行高效分析處理和應(yīng)用。(2)基礎(chǔ)設(shè)施層。是整個(gè)系統(tǒng)的支持基礎(chǔ)，功能是對(duì)各種資源進(jìn)行計(jì)算、存儲(chǔ)，此外，還包括安全設(shè)備和網(wǎng)絡(luò)資源，因此十分豐富。(3)系統(tǒng)應(yīng)用層。以組件服務(wù)層提供的服務(wù)接口和功能組件為基礎(chǔ)，對(duì)Web端、桌面端等模式進(jìn)行應(yīng)用構(gòu)建。Web應(yīng)用和桌面應(yīng)用包括的數(shù)據(jù)種類都很多，Web端包括對(duì)信息的查詢檢索、展示成果數(shù)據(jù)等；而桌面應(yīng)用包括更新維護(hù)數(shù)據(jù)、管理好系統(tǒng)安全等。(4)組件服務(wù)層。體現(xiàn)著整個(gè)系統(tǒng)的基本服務(wù)能力，不僅能夠?qū)?yīng)用層的應(yīng)用構(gòu)件進(jìn)行支撐，還能夠?qū)?shù)據(jù)層的數(shù)據(jù)資源進(jìn)行操作，既可以向上也可以向下，當(dāng)然，相關(guān)操作都是通過(guò)服務(wù)接口和功能組件完成的。

3.5 完善分布式文件系統(tǒng)存儲(chǔ)技術(shù)

分布式文件系統(tǒng)是指在文件系統(tǒng)管理中，物理存儲(chǔ)資源的連接點(diǎn)不確定，既有可能連接在本地的節(jié)點(diǎn)上，也有可能通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)媒介與節(jié)點(diǎn)相連。對(duì)于分布在網(wǎng)絡(luò)任何位置的資源數(shù)據(jù)，分布式文件系統(tǒng)都能夠?yàn)槠涮峁?shù)形文件系統(tǒng)結(jié)構(gòu)。分布式文件系統(tǒng)存儲(chǔ)技術(shù)能夠在不同節(jié)點(diǎn)上存儲(chǔ)數(shù)據(jù)，因此，有一個(gè)十分明顯的優(yōu)勢(shì)：能夠保證數(shù)據(jù)安全，減少丟失數(shù)據(jù)的可能性。

4 結(jié)語(yǔ)

我國(guó)社會(huì)與經(jīng)濟(jì)的不斷發(fā)展、進(jìn)步，促使互聯(lián)網(wǎng)以及計(jì)算機(jī)的各類技術(shù)在不斷改革，許多新型數(shù)據(jù)模式誕生，存儲(chǔ)信息數(shù)據(jù)的技術(shù)也在不斷進(jìn)步，力求能夠滿足用戶各種各樣的需求。從分布式數(shù)據(jù)存儲(chǔ)技術(shù)的研究現(xiàn)狀來(lái)看，該技術(shù)目前受到各領(lǐng)域的青睞，其優(yōu)勢(shì)決定了它還有很大的發(fā)展空間；但是對(duì)于分布式數(shù)據(jù)存儲(chǔ)技術(shù)中存在的問(wèn)題，相關(guān)技術(shù)人員也不能忽視，而是要從各方面去解決，促進(jìn)該技術(shù)更加完善、先進(jìn)。