田麗華

（吉林工程技術(shù)師范學(xué)院應(yīng)用理學(xué)院 吉林省長春市 130052）

云計(jì)算技術(shù)是互聯(lián)網(wǎng)技術(shù)推出的全新計(jì)算方式，采用這樣的計(jì)算方式能夠根據(jù)網(wǎng)絡(luò)平臺不同的需求來實(shí)現(xiàn)資源信息的完全共享。共享資源可以包含服務(wù)器、儲存器或者應(yīng)用程序，在這樣的大環(huán)境下不需要管理員就可以做到輕松快捷地將共享資源進(jìn)行配置。結(jié)合大數(shù)據(jù)處理技術(shù)能夠?qū)Ａ康男畔⑦M(jìn)行處理、儲存和管理，能夠隨時查找有效信息。

1 云計(jì)算技術(shù)概述

云計(jì)算的概念較為廣泛，涉及到的內(nèi)容也較多，但主要提到的還是網(wǎng)絡(luò)計(jì)算這一部分技術(shù)。通過云計(jì)算的形式來將數(shù)據(jù)以及信息進(jìn)行處理加工之后廣泛地傳播出去。云計(jì)算具有其他技術(shù)所不具備的優(yōu)秀的資源池，可以保存海量信息和數(shù)據(jù)，具有十分遼闊的空間范圍，能夠?yàn)橛脩籼峁﹥?yōu)質(zhì)的服務(wù)，滿足人們的任何需求。對網(wǎng)絡(luò)平臺上的信息以及各項(xiàng)資源都能夠進(jìn)行系統(tǒng)的調(diào)整和不斷地完善。云計(jì)算的內(nèi)部同樣也包含了許多的服務(wù)項(xiàng)目設(shè)施，能夠結(jié)合大數(shù)據(jù)的特點(diǎn)對數(shù)據(jù)信息進(jìn)行有效的處理，也可以通過虛擬技術(shù)來對數(shù)據(jù)進(jìn)行保存，進(jìn)而達(dá)到對數(shù)據(jù)有效管理的最終目的。

2 云技術(shù)與大數(shù)據(jù)處理技術(shù)的交匯點(diǎn)

新時代背景下，云計(jì)算已經(jīng)逐漸發(fā)展成熟，通過優(yōu)質(zhì)的互聯(lián)網(wǎng)技術(shù)能夠?qū)⒕W(wǎng)絡(luò)上的資源進(jìn)行計(jì)算、整合、存儲，進(jìn)而形成豐富的數(shù)據(jù)資源庫，隨時為用戶提供便捷精準(zhǔn)的服務(wù)。云計(jì)算自身具備了無限性、便捷靈活以及透明化的特點(diǎn)，通過采用云計(jì)算技術(shù)能夠有效對動態(tài)數(shù)據(jù)信息進(jìn)行處理和分析，操作透明化的同時也能夠保障準(zhǔn)確性避免人為失誤。云計(jì)算的應(yīng)用范圍廣泛，不受地域、空間、時間、行業(yè)的限制，各行各業(yè)都可以根據(jù)企業(yè)的實(shí)際情況來選用適合自身企業(yè)的云計(jì)算模式。云計(jì)算能夠高效快捷地處理數(shù)據(jù)資源，更能夠結(jié)合用戶的實(shí)際需求來進(jìn)行計(jì)算，更有針對性地為客戶提供服務(wù)。在云計(jì)算的基礎(chǔ)上運(yùn)用大數(shù)據(jù)處理技術(shù)能夠起到強(qiáng)強(qiáng)聯(lián)手的作用。云計(jì)算借助網(wǎng)絡(luò)快速遞收集信息，大數(shù)據(jù)處理技術(shù)則設(shè)立用戶所需的平臺來處理收集到的信息，這樣的互相輔助能夠有效地密目大數(shù)據(jù)處理技術(shù)中所存在的缺陷，在提供給用戶有效數(shù)據(jù)的同時也能夠提供數(shù)據(jù)存儲以及數(shù)據(jù)處理的服務(wù)?？梢哉f云計(jì)算能夠充分地發(fā)揮大數(shù)據(jù)處理技術(shù)的效果，云計(jì)算可以作為大數(shù)據(jù)處理技術(shù)的優(yōu)秀載體，將大數(shù)據(jù)處理技術(shù)推廣到更多的行業(yè)當(dāng)中。

3 云計(jì)算在大數(shù)據(jù)處理技術(shù)中的關(guān)鍵技術(shù)

3.1 對數(shù)據(jù)隱私的保護(hù)

圖1：大數(shù)據(jù)可視化技術(shù)在企業(yè)核心業(yè)務(wù)中的展現(xiàn)

就網(wǎng)絡(luò)技術(shù)而言，任何數(shù)據(jù)處理技術(shù)在安全保護(hù)方面都存在著一定的風(fēng)險性。任何供應(yīng)商在提供數(shù)據(jù)計(jì)算服務(wù)時都會存在著數(shù)據(jù)安全以及數(shù)據(jù)隱私保護(hù)風(fēng)險的問題。云計(jì)算平臺采用隱式機(jī)制的數(shù)據(jù)存儲方案能夠有效避免了管理密鑰等復(fù)雜的數(shù)據(jù)加密過程。雖然不能完全杜絕信息泄露的情況，但極大程度杜絕了因操作失誤以及云服務(wù)器自身原因而造成的數(shù)據(jù)泄露情況，采用多個云服務(wù)器的聯(lián)合數(shù)據(jù)存儲方案將用戶數(shù)據(jù)分別存儲與不同的云服務(wù)器中最后經(jīng)過一個云服務(wù)器來統(tǒng)一進(jìn)行數(shù)據(jù)計(jì)算就能夠最大限度抑制數(shù)據(jù)泄露的風(fēng)險。用戶得到加密數(shù)據(jù)之后只需要解密數(shù)據(jù)就能夠得到有效數(shù)據(jù)。這種數(shù)據(jù)保密存儲方案能夠有效降低投入成本，同時也能夠提升云計(jì)算技術(shù)當(dāng)中的數(shù)據(jù)處理效率，有效地提升了用戶數(shù)據(jù)的安全系數(shù)。這種方案的優(yōu)勢在于能夠?qū)?shù)據(jù)計(jì)算結(jié)果安全隱私徹底保護(hù)起來，在保障數(shù)據(jù)計(jì)算準(zhǔn)確性的同時也能夠保障計(jì)算條目數(shù)體積條目內(nèi)容的安全隱私。

3.2 數(shù)據(jù)的海量存儲

云計(jì)算大數(shù)據(jù)處理技術(shù)對數(shù)據(jù)存儲的安全可靠和讀寫效率是這項(xiàng)關(guān)鍵技術(shù)的基礎(chǔ)內(nèi)容。云計(jì)算存儲通常會采用分布的存儲方式，即將海量的數(shù)據(jù)分別存儲在集群的服務(wù)期當(dāng)中，同時對數(shù)據(jù)進(jìn)行備份，采用數(shù)據(jù)加密的技術(shù)來確保數(shù)據(jù)存儲能夠安全可靠。云計(jì)算采用HDFS 存儲系統(tǒng)，HDFS 的容錯功能較高，即使是性能較差的硬件中也能夠使用，具備較大的數(shù)據(jù)吞吐量，能夠應(yīng)用在任何領(lǐng)域的數(shù)據(jù)收集方面。HDFS 系統(tǒng)能夠采用流式的方法來讀取文件系統(tǒng)中的所有數(shù)據(jù)。在大數(shù)據(jù)處理技術(shù)方面經(jīng)常用HDFS 來作為平臺之間遷徙數(shù)據(jù)的系統(tǒng)，這樣讓大數(shù)據(jù)的應(yīng)用能夠更加方便快捷。

3.3 對數(shù)據(jù)的有效管理

在大數(shù)據(jù)技術(shù)的關(guān)鍵技術(shù)中，存儲是所有數(shù)據(jù)管理的基礎(chǔ)。當(dāng)數(shù)據(jù)能夠進(jìn)行妥善存儲之后就能夠?qū)?shù)據(jù)進(jìn)行統(tǒng)一的管理。在管理方面，主要分為兩個部分，一個是對大數(shù)據(jù)的相關(guān)內(nèi)容進(jìn)行管理，另一個則是對大數(shù)據(jù)的具體存儲來進(jìn)行管理。大數(shù)據(jù)處理技術(shù)可以根據(jù)內(nèi)容來分門別類對數(shù)據(jù)進(jìn)行管理，要點(diǎn)在于確保數(shù)據(jù)的真實(shí)可靠并且完整，這樣的管理才有意義也方便之后對數(shù)據(jù)進(jìn)行分析。而在數(shù)據(jù)的存儲方面需要采用更容易識別以及更加科學(xué)的存儲方式，這樣能夠方便系統(tǒng)在對數(shù)據(jù)內(nèi)容進(jìn)行識別時的工作效率，有效提升信息資源的利用率。

3.4 軟硬件環(huán)境的搭建

云計(jì)算大數(shù)據(jù)處理技術(shù)的算法首先要搭建軟硬件，在云計(jì)算的環(huán)境下采用HDFS 作為開源分布的整體框架，采用分布編程模型MapReduce 來進(jìn)行運(yùn)行。搭建環(huán)境前，需要安裝Linux 系統(tǒng)作為計(jì)算機(jī)的集群，在虛擬機(jī)組上安裝vim 以及ssh。對主機(jī)的名稱和網(wǎng)絡(luò)配置進(jìn)行更改，其中包括了子網(wǎng)的掩碼以及DNS 服務(wù)器等，同時也要對計(jì)算機(jī)群組上的所有etc，hosts 文件進(jìn)行更改，更改后配置了ssh 就無須登錄密碼了。采用分布式密度峰值聚類算法能夠進(jìn)行大規(guī)模的高維度數(shù)據(jù)性能的檢測，從檢測結(jié)果能夠看出這種算法所得的數(shù)據(jù)點(diǎn)副本個數(shù)的增長較為緩慢，副本的數(shù)量會漸漸變少，這樣就能夠有效地縮短數(shù)據(jù)點(diǎn)之間的距離計(jì)算次數(shù)，極大程度地減少了程序執(zhí)行的時間。

3.5 對數(shù)據(jù)的采集

云計(jì)算大數(shù)據(jù)處理系統(tǒng)能夠根據(jù)對數(shù)據(jù)采用集中式采集以及分布式采集兩種采集方法。通常會結(jié)合實(shí)際的數(shù)據(jù)環(huán)境來選擇更加適合更加科學(xué)的采集方式。在不同的行業(yè)中，大數(shù)據(jù)采集的過程各有不同，通過對數(shù)據(jù)資源的采集來對信息技術(shù)進(jìn)行精準(zhǔn)的計(jì)算，這兩種采集方式一方面能夠有效地對數(shù)據(jù)資源進(jìn)行統(tǒng)一，另一方面也可以十分靈活地對不同的數(shù)據(jù)資源進(jìn)行采集。采用獨(dú)立服務(wù)器來對數(shù)據(jù)進(jìn)行處理，極大程度地提升了數(shù)據(jù)的采集和處理效率，通過云計(jì)算來對數(shù)據(jù)進(jìn)行分門別類的存儲，有效提升了大數(shù)據(jù)的整體處理效率。我國現(xiàn)階段廣泛使用此技術(shù)的企業(yè)有國家電網(wǎng)、醫(yī)院等，在系統(tǒng)運(yùn)行過程中能夠?qū)崟r監(jiān)控?cái)?shù)據(jù)的運(yùn)行情況，及時發(fā)現(xiàn)數(shù)據(jù)運(yùn)行過程中出現(xiàn)的問題，最大限度地保障了企業(yè)數(shù)據(jù)能夠安全存儲，通過計(jì)算機(jī)系統(tǒng)來設(shè)置數(shù)據(jù)群組有效限制了數(shù)據(jù)的訪問權(quán)限，對企業(yè)的計(jì)算機(jī)系統(tǒng)設(shè)計(jì)流程也能夠起到優(yōu)化的作用。

3.6 大數(shù)據(jù)可視化技術(shù)

云計(jì)算大數(shù)據(jù)處理技術(shù)還擁有可視化的特點(diǎn)，能夠以圖形或者圖表等直觀的方式來讓用戶對數(shù)據(jù)進(jìn)行查閱或者瀏覽。用戶通過更加直觀的數(shù)據(jù)圖表能夠更加容易地理解信息中的內(nèi)容?？梢暬夹g(shù)能夠清晰地將數(shù)據(jù)運(yùn)行的規(guī)律展現(xiàn)給用戶，讓用戶有更直觀的概念，如在銀行金融行業(yè)方面能夠展現(xiàn)出階段性的數(shù)據(jù)報表信息，財(cái)務(wù)人員能夠更加直觀地對數(shù)據(jù)進(jìn)行對比并且對數(shù)據(jù)進(jìn)行分析。同時可視化技術(shù)也能夠?qū)L(fēng)險性數(shù)據(jù)信息進(jìn)行單獨(dú)標(biāo)識，形成更加具體化的視覺結(jié)構(gòu)，便于工作人員加大對風(fēng)險的關(guān)注。通過可視化圖表用戶能夠掌握數(shù)據(jù)的運(yùn)行規(guī)律制定相應(yīng)的風(fēng)險對應(yīng)措施，降低企業(yè)的經(jīng)濟(jì)損失。另外，大數(shù)據(jù)的可視化技術(shù)近幾年也應(yīng)用在建筑行業(yè)的施工過程和管理當(dāng)中，通過可視化的界面能夠隨時掌握施工的進(jìn)度和過程，并且對倉庫的材料存儲實(shí)現(xiàn)可視化數(shù)據(jù)管理，能夠更加優(yōu)化材料的資源配置，對工程相關(guān)數(shù)據(jù)能夠進(jìn)行精準(zhǔn)的判斷，為后期的建設(shè)施工打下良好的基礎(chǔ)。單一數(shù)據(jù)的呈現(xiàn)已經(jīng)無法滿足現(xiàn)代人們的需求，相比于對繁瑣、復(fù)雜、毫無規(guī)律可尋的數(shù)據(jù)進(jìn)行閱讀，人們更喜歡對可視化的數(shù)據(jù)圖表行性閱讀，應(yīng)為人類是視覺動物，對視覺圖像的捕捉能力要絕對優(yōu)于對數(shù)字的閱讀與理解，當(dāng)前云計(jì)算與大數(shù)據(jù)處理技術(shù)已經(jīng)逐漸趨于成熟，云計(jì)算與大數(shù)據(jù)處理技術(shù)的發(fā)展能夠?qū)?shù)據(jù)可視化的問題完美的解決，通過一系列的技術(shù)處理，可以在后臺通過相關(guān)技術(shù)手段將數(shù)據(jù)從數(shù)據(jù)庫中鉆取后，分門別類的對數(shù)據(jù)進(jìn)行特定的加工處理，而后將數(shù)據(jù)通過前臺傳送至屏幕最終展現(xiàn)給觀眾，觀眾能夠從例如：圖1 大數(shù)據(jù)可視化技術(shù)在企業(yè)核心業(yè)務(wù)中的展現(xiàn)中，直觀的感受到當(dāng)前企業(yè)的業(yè)務(wù)具體發(fā)展情況，為企業(yè)的進(jìn)一步擴(kuò)張與發(fā)展提供詳細(xì)的數(shù)據(jù)支持。

3.7 大數(shù)據(jù)挖掘技術(shù)

云計(jì)算大數(shù)據(jù)技術(shù)能夠采用聯(lián)機(jī)分析的技術(shù)對不同層次的數(shù)據(jù)信息進(jìn)行分析和掌握。云計(jì)算模式下的大數(shù)據(jù)技術(shù)能夠?qū)?shù)據(jù)的本質(zhì)進(jìn)行深層挖掘，通過對數(shù)據(jù)的分析來挖掘出不同數(shù)據(jù)之間的關(guān)聯(lián)，采用概念模式報表等形式將關(guān)聯(lián)性體現(xiàn)出來。當(dāng)前我國大數(shù)據(jù)在海量數(shù)據(jù)中的采用的挖掘方法通常是并行的方式，傳統(tǒng)的串行數(shù)據(jù)區(qū)域不足，同時也會消耗過多的時間，工作效率不高。采用分布式的挖掘方法能夠有效地采用多樣綜合的方式來拆分集群，有效減少數(shù)據(jù)的計(jì)算時間，同時也能夠提升數(shù)據(jù)計(jì)算的準(zhǔn)確率。采用云計(jì)算大數(shù)據(jù)的挖掘技術(shù)比較其他的串行挖掘方式能夠有效對供給系統(tǒng)來進(jìn)行集群拆分，能夠同時使用多機(jī)來進(jìn)行計(jì)算，極大程度降低了數(shù)據(jù)處理的成本投入，有效提升了處理的效率和水平。

4 結(jié)束語

綜上所述，大數(shù)據(jù)利用云計(jì)算這一有效平臺能夠在進(jìn)行海量數(shù)據(jù)處理的同時深入挖掘數(shù)據(jù)中的核心內(nèi)容。采用密度峰值聚類算法來進(jìn)行分析能夠加大大數(shù)據(jù)處理相關(guān)技術(shù)的研發(fā)深度，同時，云計(jì)算具備強(qiáng)大的存儲能力，能夠讓大數(shù)據(jù)處理技術(shù)對海量信息高效處理的同時保障數(shù)據(jù)的安全存儲。社會各個行業(yè)都在廣泛采用云計(jì)算大數(shù)據(jù)處理技術(shù)，我國的科學(xué)技術(shù)人員應(yīng)當(dāng)充分掌握大數(shù)據(jù)的關(guān)鍵技術(shù)特點(diǎn)以及其充分的功能優(yōu)勢，更加深層地挖掘大數(shù)據(jù)處理技術(shù)在各個行業(yè)的應(yīng)用價值，在現(xiàn)有技術(shù)的基礎(chǔ)上不斷地進(jìn)行改善和革新，通過開發(fā)更多的新技術(shù)來為大數(shù)據(jù)處理服務(wù)提供更為高效的服務(wù)，這樣才能夠推動大數(shù)據(jù)處理技術(shù)的健康可持續(xù)性發(fā)展，進(jìn)而推動社會和經(jīng)濟(jì)的發(fā)展，為國家的建設(shè)添磚加瓦。