劉靜

摘要：在新的時代背景下，信息技術(shù)在不斷的發(fā)展和進步。隨著數(shù)據(jù)量的不斷增多，人們對計算機計算能力的要求也逐漸提高，而云計算是一個十分熱門的研究方向，面對海量數(shù)據(jù)，云計算可以充分發(fā)揮自身的優(yōu)勢，實現(xiàn)對數(shù)據(jù)的有效管理。云數(shù)據(jù)管理屬于云計算的一個分支，是一個全新的研究領域。本文以云數(shù)據(jù)管理技術(shù)為研究對象，主要探討了云數(shù)據(jù)管理中的一些關(guān)鍵技術(shù)。

關(guān)鍵詞：云計算 云數(shù)據(jù)管理 GFS技術(shù)

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9416（2016）12-0103-01

在本次研究中，筆者關(guān)注的是云計算和云數(shù)據(jù)管理技術(shù)，首先介紹了和云計算相關(guān)的概念，接下來系統(tǒng)的闡述了一些云數(shù)據(jù)管理技術(shù)，最后對云數(shù)據(jù)管理進行了透徹的分析，并提出了云數(shù)據(jù)管理的未來發(fā)展趨勢。

1 云計算

云計算的理論基礎主要有三個，分別是分布式處理、并行處理以及網(wǎng)格計算。云計算的最大特點就是將計算資源配置到分布式的計算機中，使用者可以按照自己的實際需求對相關(guān)資源進行訪問處理。通俗的講，傳統(tǒng)的計算方式就相當于單臺發(fā)電機供電方式，而云計算則相當于現(xiàn)代的集中供電方式。云計算從出現(xiàn)開始就受到了人們的重視，好多企業(yè)將云計算作為重點研究的項目。經(jīng)過一段時間的發(fā)展，現(xiàn)在市面上已經(jīng)有很多以云計算為基礎的應用，如Google Apps等。但是，總的說來，云計算還處于發(fā)展期，很多與此相關(guān)的技術(shù)還需要進一步完善。

2 云數(shù)據(jù)管理技術(shù)

對云數(shù)據(jù)的管理是十分重要的，云數(shù)據(jù)一般都是海量的，如何更加有效的管理云數(shù)據(jù)是非常值得研究的一個問題?，F(xiàn)階段，比較常見的云數(shù)據(jù)管理技術(shù)主要有GFS、Dynamo技術(shù)、BigTable技術(shù)以及MapReduce技術(shù)。

2.1 云數(shù)據(jù)管理數(shù)據(jù)特點

云數(shù)據(jù)管理主要具有下述特點：

第一，數(shù)據(jù)量十分巨大。在信息時代，隨著各種信息技術(shù)的不斷發(fā)展，人們可以采集到的數(shù)據(jù)越來越多，數(shù)據(jù)量也越來越大。如何更好的處理海量數(shù)據(jù)是人們十分關(guān)心的問題。

第二，異構(gòu)性。不同行業(yè)產(chǎn)生的數(shù)據(jù)所有區(qū)別，主要體現(xiàn)在兩個方面：一方面，數(shù)據(jù)的形態(tài)是不一樣的；另一方面，數(shù)據(jù)的結(jié)構(gòu)也有所不同。一般來講，人們會利用傳感器采集數(shù)據(jù)，然而傳感器的種類有很多，如溫度傳感器、振動傳感器等，不同類型傳感器采集到的數(shù)據(jù)格式是不一樣的，這就帶來了數(shù)據(jù)的異構(gòu)性問題。

第三，非確定性。云數(shù)據(jù)具有一定的不確定性，因此，研究人員需要對云數(shù)據(jù)進行一定的處理，以得到數(shù)據(jù)中的有效信息。

2.2 GFS技術(shù)

GFS技術(shù)的本質(zhì)是一個分布式文件系統(tǒng)，GFS的主要作用是支持云數(shù)據(jù)的存儲。GFS系統(tǒng)中一共包括三個部分，分別是客戶端、主服務器以及數(shù)據(jù)塊服務器。其中，客戶端的本質(zhì)是訪問接口。而GFS系統(tǒng)中最為關(guān)鍵的一部分則是主服務器，它相當于整個GFS系統(tǒng)的大腦。數(shù)據(jù)塊服務器的主要作用就是對系統(tǒng)中的信息進行儲存操作。

2.3 MapReduce技術(shù)

MapReduce技術(shù)的本質(zhì)是一個編程模型，該模型中主要有兩個函數(shù)，第一個是map函數(shù)；第二個是reduce函數(shù)。map函數(shù)的主要作用是對接收的任務開展分解操作，將完整的大任務劃分成幾個小任務，從而利用節(jié)點對其進行操作。而reduce函數(shù)的主要作用是對map函數(shù)的處理結(jié)果—“值/對”開展進一步的處理，主要指的就是歸并處理。

2.4 BigTable技術(shù)

BigTable技術(shù)的提出者是Google，該技術(shù)的理論基礎是MapReduce技術(shù)和GFS技術(shù)。BigTable技術(shù)實際上就是一個分布式的數(shù)據(jù)庫，結(jié)束展數(shù)據(jù)處理之后，會得到一個大大的表格。目前，BigTable技術(shù)的應用相對比較廣泛，好多模型都使用了BigTable技術(shù)，如Google Earth等。

2.5 Dynamo技術(shù)

Dynamo技術(shù)實質(zhì)上是一個結(jié)構(gòu)化存儲系統(tǒng)，該系統(tǒng)的最大特點體現(xiàn)在將數(shù)據(jù)庫和分布式Hash表的特點結(jié)合起來?，F(xiàn)階段，Dynamo技術(shù)已經(jīng)在一些應用中得到了實現(xiàn)，比較典型的代表是Project Voldemort等。

3 云數(shù)據(jù)管理技術(shù)分析

目前，云數(shù)據(jù)管理技術(shù)正處于關(guān)鍵的發(fā)展時期?，F(xiàn)有的云數(shù)據(jù)管理技術(shù)主要將管理過程劃分成了四個層次，包括數(shù)據(jù)組織和管理、數(shù)據(jù)集成和管理、分布式并行處理以及數(shù)據(jù)分析。下面分別介紹一下：

第一，數(shù)據(jù)組織和管理。在此過程中主要借助的是一些分布存儲技術(shù)，從而可以實現(xiàn)對海量數(shù)據(jù)的并行管理。

第二，數(shù)據(jù)集成和管理。在此過程主要借助的是分布式數(shù)據(jù)管理方法，主要是為了解決數(shù)據(jù)的不確定性問題。

第三，分布式并行處理。在此過程主要借助的是云計算的并行編程方式，將完整的任務劃分成多個小的任務，從而更好的實現(xiàn)對節(jié)點的配置。

第四，數(shù)據(jù)分析。開展云數(shù)據(jù)管理的主要目的就是方便后續(xù)數(shù)據(jù)分析工作的開展，在數(shù)據(jù)分析時主要使用的是一些數(shù)據(jù)挖掘方法，從海量的數(shù)據(jù)中挖掘有用的信息。

4 云數(shù)據(jù)管理展望

隨著時代的不斷發(fā)展，云計算要面對的挑戰(zhàn)逐漸增多。同樣的，云數(shù)據(jù)管理也會迎來新的挑戰(zhàn)，同時這也是云數(shù)據(jù)管理的發(fā)展機遇。具體的挑戰(zhàn)有：第一，如何處理預載海量數(shù)據(jù)集的問題；第二，如何從結(jié)構(gòu)化的數(shù)據(jù)中獲取信息，或者是如何從半機構(gòu)化的數(shù)據(jù)中獲得信息等。云數(shù)據(jù)管理具有巨大的發(fā)展?jié)摿?，相關(guān)人員應該緊抓發(fā)展機遇，不斷迎接挑戰(zhàn)。

5 結(jié)語

在本次研究中，筆者主要關(guān)注的是云計算和云數(shù)據(jù)管理問題。主要探討了云數(shù)據(jù)管理中的一些關(guān)鍵技術(shù)，并對云數(shù)據(jù)管理技術(shù)進行了分析，希望可以為相關(guān)人員帶來一定的參考。

參考文獻

[1]周治宇.云計算和云數(shù)據(jù)管理技術(shù)分析與探討[J].信息通信，2015，03：134-135.

[2]高偉.淺淡云計算和云數(shù)據(jù)管理技術(shù)[J].無線互聯(lián)科技，2013，02：29.

[3]李海秋.關(guān)于云數(shù)據(jù)管理系統(tǒng)中查詢技術(shù)研究[J].電腦知識與技術(shù)，2013，12：2761-2763.

[4]張旭輝.關(guān)于云計算數(shù)據(jù)中心大數(shù)據(jù)安全技術(shù)分析[J].中國新通信，2016，17：48.