唐永軍

摘? ?要：計(jì)算機(jī)技術(shù)在近年來(lái)發(fā)展十分迅速，各種大數(shù)據(jù)、物聯(lián)網(wǎng)也在不斷生長(zhǎng)。大數(shù)據(jù)的出現(xiàn)，能夠?qū)Υ罅康臄?shù)據(jù)進(jìn)行存儲(chǔ)，并對(duì)大量的數(shù)據(jù)進(jìn)行處理。傳統(tǒng)模式下出現(xiàn)的數(shù)據(jù)庫(kù)根本滿足不了當(dāng)下大數(shù)據(jù)的應(yīng)用，在大數(shù)據(jù)的支持下，分布式數(shù)據(jù)庫(kù)也得到較大化發(fā)展。但是，實(shí)際中對(duì)大數(shù)據(jù)展開(kāi)應(yīng)用的時(shí)候存在一些難題。因此，設(shè)計(jì)一款分布式大數(shù)據(jù)管理系統(tǒng)十分必要，這可以給大數(shù)據(jù)的采集提供無(wú)限可能，還能夠增強(qiáng)數(shù)據(jù)的處理能力。

關(guān)鍵詞：分布式? 大數(shù)據(jù)? 管理系統(tǒng)

中圖分類(lèi)號(hào)：TP311.13? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)：1674-098X（2019）11（c）-0152-02

利用大數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行檢索的時(shí)候，需要重點(diǎn)解決效率方面的問(wèn)題，對(duì)分布式大數(shù)據(jù)管理系統(tǒng)加大設(shè)計(jì)，讓其成為新的系統(tǒng)，讓大數(shù)據(jù)能夠具有較高的檢索效率，讓其能夠?qū)Ａ康娜罩緦?shí)施相應(yīng)的檢索，并分析大量的數(shù)據(jù)，讓大數(shù)據(jù)能夠具備實(shí)時(shí)處理方面的功能。

1? 大數(shù)據(jù)和云計(jì)算之間的關(guān)系

大數(shù)據(jù)技術(shù)不單單代表的是海量的數(shù)據(jù)信息，還需要對(duì)這些數(shù)據(jù)信息做好相應(yīng)的處理。如果大數(shù)據(jù)是一種領(lǐng)域，對(duì)數(shù)據(jù)實(shí)施處理的能力就能夠展開(kāi)這個(gè)區(qū)域具體的盈利關(guān)鍵，通過(guò)加工讓數(shù)據(jù)產(chǎn)生相應(yīng)的價(jià)值。對(duì)大數(shù)據(jù)進(jìn)行處理的時(shí)候，單臺(tái)的計(jì)算機(jī)根本發(fā)揮不出具體的作用，需要使用分布式的架構(gòu)[1]。但是，這種架構(gòu)具有一種強(qiáng)大的功能，就是可以對(duì)大量的數(shù)據(jù)展開(kāi)分布式的挖掘，但是必須依托云計(jì)算的分布式數(shù)據(jù)庫(kù)展開(kāi)存儲(chǔ)技術(shù)。云時(shí)代的發(fā)展，讓人們對(duì)大數(shù)據(jù)有了過(guò)多的關(guān)注。對(duì)大數(shù)據(jù)展開(kāi)分析的時(shí)候需要將其和云計(jì)算有機(jī)地聯(lián)系在一起。對(duì)大數(shù)據(jù)展開(kāi)分析的過(guò)程中，更需要使用相應(yīng)的框架對(duì)整個(gè)電腦的工作展開(kāi)支配，這樣花費(fèi)的時(shí)間會(huì)更加多也會(huì)花費(fèi)更多的金錢(qián)。

2? 分布式大數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)組成

系統(tǒng)在運(yùn)行的過(guò)程中，中央控制集群會(huì)發(fā)揮出相應(yīng)的控制信號(hào)，從而接收到關(guān)于用戶(hù)的檢索請(qǐng)求，檢索工作的開(kāi)展需要建立在用戶(hù)的需求之上。對(duì)系統(tǒng)的所有狀態(tài)展開(kāi)實(shí)時(shí)的監(jiān)控，將系統(tǒng)中存在的異常及時(shí)的處理。將特定的集群方面的任務(wù)取消，優(yōu)化整個(gè)網(wǎng)絡(luò)中存在的連接資源，讓整個(gè)系統(tǒng)可以安全的運(yùn)行，從而具有一定的穩(wěn)定性。

對(duì)于整個(gè)系統(tǒng)來(lái)說(shuō)，入口就是大數(shù)據(jù)采集集群，大數(shù)據(jù)在實(shí)施采集的時(shí)候主要的過(guò)程是主要是執(zhí)行單元。需要在多臺(tái)機(jī)器上將數(shù)據(jù)采集功能開(kāi)啟，從而收到較高的采集效率。具體的操作需要多臺(tái)機(jī)器的配合，打開(kāi)緩存模式，在中央控制集群的輔助下緩存周期性的文件，保存永久的存儲(chǔ)集群[2]。

大數(shù)據(jù)檢索集群主要是用戶(hù)和系統(tǒng)交互的一個(gè)接口，可以通過(guò)自定義的命令發(fā)送中央控制集群的指示。中央控制集群更是需要利用大數(shù)據(jù)完成檢索，對(duì)系統(tǒng)的運(yùn)行狀態(tài)實(shí)施相應(yīng)的檢索，查詢(xún)具體的存儲(chǔ)集群。匯總結(jié)果，然后將結(jié)果反饋給數(shù)據(jù)檢索集群。利用視圖這樣的方式將最終的信息展現(xiàn)出來(lái)。

大數(shù)據(jù)永久存儲(chǔ)集群相當(dāng)于一個(gè)倉(cāng)庫(kù)，庫(kù)存量十分大，可以將數(shù)據(jù)永久的保留下來(lái)。將數(shù)據(jù)采集集群存在的周期特點(diǎn)有效發(fā)揮出來(lái)，做好數(shù)據(jù)的更新。采集好數(shù)據(jù)后并將其存儲(chǔ)，這樣可以讓提高工作效率。

其他的功能集群能夠打造編程的拓展窗口，這樣可以滿足更多的用戶(hù)需求，讓新的集群有更加強(qiáng)大的功能。

3? 分布式文件系統(tǒng)

3.1 分布式文件系統(tǒng)的組成架構(gòu)

分布式文件系統(tǒng)可以對(duì)數(shù)據(jù)實(shí)施存儲(chǔ)，并管理系統(tǒng)的目錄和日志。同時(shí)，還需要完成通信工作，讓指令能夠順利的發(fā)出，對(duì)整個(gè)狀態(tài)能夠進(jìn)行搜集，讓數(shù)據(jù)塊具有較高的完整性，對(duì)整個(gè)狀態(tài)做好相應(yīng)的維護(hù)[3]。對(duì)數(shù)據(jù)塊做好創(chuàng)建，讓整個(gè)負(fù)載處于一個(gè)均衡的狀態(tài)。針對(duì)訪問(wèn)要求的數(shù)據(jù)讓其能夠處于一個(gè)負(fù)載均衡的狀態(tài)，并對(duì)其中存在的數(shù)據(jù)做好調(diào)整工作。在數(shù)據(jù)庫(kù)存較小的時(shí)候，需要對(duì)其中存在的一些文件進(jìn)行復(fù)制，并將日志記錄全部刪除，對(duì)隱藏的文件進(jìn)行回收，檢測(cè)陳舊的數(shù)據(jù)，刪除不重要的信息。這樣存在的數(shù)據(jù)就會(huì)更加清晰，分類(lèi)也會(huì)更加明確。

3.2 設(shè)計(jì)思路

對(duì)文件做好相應(yīng)的劃分，存儲(chǔ)的過(guò)程中更是需要將其劃分成若干塊。每個(gè)文件塊的大小相對(duì)來(lái)說(shuō)都是比較固定的，配置的時(shí)候可以十分隨意。為了讓系統(tǒng)具有較高的可靠性，可以采用冗余的方式，每個(gè)數(shù)據(jù)塊上面存在的服務(wù)器十分多，至少會(huì)有三臺(tái)以上的服務(wù)器，這樣可以讓系統(tǒng)具有較高的可靠性。對(duì)數(shù)據(jù)的訪問(wèn)環(huán)節(jié)實(shí)施相應(yīng)的調(diào)整和協(xié)調(diào)，需要讓數(shù)據(jù)具有良好的統(tǒng)一性。設(shè)置的過(guò)程中不可過(guò)于集中的設(shè)置，文件操作中大部分會(huì)是流式讀寫(xiě)的方法，不能多次重復(fù)的讀寫(xiě)，利用Data Node完成數(shù)據(jù)存儲(chǔ)的過(guò)程中，通過(guò)本地文件展開(kāi)存儲(chǔ)。

4? 分布式大數(shù)據(jù)管理系統(tǒng)的算法分析

4.1 分布式大數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)

分布式大數(shù)據(jù)管理系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)的時(shí)候，主要采取的方式是列的方式。所有字段必須遵循相應(yīng)的順序進(jìn)行排列，按照不同的類(lèi)型來(lái)保存，如果系統(tǒng)容量過(guò)于大的時(shí)候，需要利用存儲(chǔ)單元來(lái)保存文件，這個(gè)文件也就是所說(shuō)的數(shù)據(jù)塊。利用數(shù)據(jù)塊能夠?qū)?shù)據(jù)進(jìn)行采集和檢索，對(duì)數(shù)據(jù)做好相應(yīng)的存儲(chǔ)。系統(tǒng)在實(shí)施分類(lèi)整理的時(shí)候通常采取的是分塊方式，利用中央控制集群將數(shù)據(jù)塊存儲(chǔ)起來(lái)，可以利用較短的時(shí)間完成數(shù)據(jù)的查詢(xún)工作。

4.2 分布式大數(shù)據(jù)管理系統(tǒng)的核心算法

4.2.1 系統(tǒng)數(shù)據(jù)查詢(xún)算法

系統(tǒng)數(shù)據(jù)查詢(xún)算法的流程通過(guò)圖1可以表現(xiàn)出來(lái)，主要分為5個(gè)步驟。第一，用戶(hù)完成對(duì)檢索工作的請(qǐng)求進(jìn)行提交，然后由數(shù)據(jù)檢索集群接收檢索請(qǐng)求。第二，通過(guò)中央控制集群接收數(shù)據(jù)檢索集群中的信息。然后，針對(duì)用戶(hù)提出的信息迅速完成定位。第三，利用中央控制集群通過(guò)索引然后完成目標(biāo)的查找工作。一旦檢測(cè)到索引方面存在的信息就不需要向查詢(xún)命令進(jìn)行發(fā)送。第四，數(shù)據(jù)永久存儲(chǔ)集群進(jìn)行查詢(xún)的時(shí)候需要遵循相應(yīng)的條件，根據(jù)相關(guān)需求，對(duì)結(jié)構(gòu)進(jìn)行反饋[5]。在沒(méi)有找到的情況下，可以利用廣播完成查找，直到找到結(jié)果的出現(xiàn)，對(duì)查詢(xún)結(jié)果完成反饋的時(shí)候需要對(duì)中央控制集群加大應(yīng)用。

4.2.2 塊索引查詢(xún)算法

中央控制集群將用戶(hù)的請(qǐng)求接收之后就需要對(duì)數(shù)據(jù)做好剖析，優(yōu)化查詢(xún)的具體條件，對(duì)數(shù)據(jù)實(shí)施相應(yīng)的優(yōu)化之后再對(duì)目標(biāo)展開(kāi)檢索，對(duì)整個(gè)算法流程實(shí)施相應(yīng)的查詢(xún)。

對(duì)查詢(xún)條件實(shí)施相應(yīng)的解析，然后讓模塊能夠重新組合在一起。如果分類(lèi)信息中存在塊索引分類(lèi)信息，就可以在緩存中將塊索引找出來(lái)，將查詢(xún)出來(lái)的信息發(fā)送給數(shù)據(jù)永久存儲(chǔ)集群，然后繼續(xù)等候，確保目標(biāo)數(shù)據(jù)順利歸來(lái)[6]。當(dāng)信息中不存在塊索引信息的時(shí)候，就需要利用常規(guī)模式對(duì)條件做好查詢(xún)，利用編程完成的接口給數(shù)據(jù)提供更多的查詢(xún)條件。對(duì)塊索引查詢(xún)算法進(jìn)行引用，不斷提升查詢(xún)效率。

5? 結(jié)語(yǔ)

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析，對(duì)數(shù)據(jù)進(jìn)行檢索的時(shí)候采用分布式數(shù)據(jù)管理系統(tǒng)，會(huì)充分展現(xiàn)出利用該系統(tǒng)的優(yōu)勢(shì)。選擇合適的時(shí)間段，并選擇合理的檢索條件，就會(huì)大大提升檢索效率，這樣可以對(duì)海量的數(shù)據(jù)做好相應(yīng)的處理。

參考文獻(xiàn)

[1] 王偉，廖正宇，張輝，等.基于大數(shù)據(jù)的鐵路信號(hào)系統(tǒng)數(shù)據(jù)存儲(chǔ)與分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].信息網(wǎng)絡(luò)安全，2017（1）：29-37.

[2] 孫小滿，劉春.基于大數(shù)據(jù)的分布式網(wǎng)絡(luò)安全管理平臺(tái)設(shè)計(jì)與研究[J].信息與電腦：理論版，2017（19）：128-130.

[3] 佚名.基于Spark的分布式大數(shù)據(jù)分析算法研究[J].計(jì)算機(jī)應(yīng)用與軟件，2019（1）：39-44.

[4] 佚名.基于大數(shù)據(jù)的計(jì)算機(jī)數(shù)據(jù)挖掘技術(shù)在檔案管理系統(tǒng)中的研究應(yīng)用[J].激光雜志，2017（2）：142-145.

[5] 佚名.分布式大數(shù)據(jù)下多條件快速檢索的設(shè)計(jì)與實(shí)現(xiàn)[J].科學(xué)技術(shù)創(chuàng)新，2018（28）：77-78.

[6] 王艷.淺談交通管理大數(shù)據(jù)分布式管理應(yīng)用平臺(tái)的架構(gòu)設(shè)計(jì)方案[J].科技與創(chuàng)新，2017（23）：76-77.