開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

DOI：10.16661/j.cnki.1672-3791.2311-5042-3966作者簡介：汪虎（1979—），男，本科，講師，研究方向為計算機(jī)。

摘要：互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展，大量的數(shù)據(jù)被產(chǎn)生和積累，這些數(shù)據(jù)往往具有高維、高速和多樣的特點，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已無法有效處理和分析這些海量數(shù)據(jù)，因此大數(shù)據(jù)分析技術(shù)應(yīng)運而生?；谠朴嬎慵夹g(shù)的彈性計算能力、高效的儲存和數(shù)據(jù)管理功能、實現(xiàn)分布式計算和并行處理，提出云計算技術(shù)在計算機(jī)大數(shù)據(jù)分析中的具體應(yīng)用，分別是構(gòu)建高效的數(shù)據(jù)處理模型、創(chuàng)建計算機(jī)網(wǎng)絡(luò)分析模塊、打造易于讀取的數(shù)據(jù)儲存平臺、實現(xiàn)安全掃描和鏈路加密，進(jìn)而保證大數(shù)據(jù)的收集、處理和分析都能更高效。

關(guān)鍵詞：云計算技術(shù) ?大數(shù)據(jù)分析 ?數(shù)據(jù)儲存??分布式計算

中圖分類號：TP311.13

大數(shù)據(jù)是指數(shù)據(jù)量大、速度快、種類多、價值密度低的數(shù)據(jù)集合，對大數(shù)據(jù)進(jìn)行分析，可以采用云計算技術(shù)，通過網(wǎng)絡(luò)提供計算資源、存儲資源和應(yīng)用服務(wù)。云計算基于虛擬化技術(shù)，將計算和存儲等資源集中管理，云計算技術(shù)為計算機(jī)大數(shù)據(jù)分析提供了靈活、高效、可擴(kuò)展的計算和存儲資源，幫助用戶更好的處理和利用大數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)中蘊含的價值和見解。

1云計算技術(shù)應(yīng)用在計算機(jī)大數(shù)據(jù)中的作用

1.1提供彈性計算能力

大數(shù)據(jù)分析通常需要大量的計算資源來處理海量數(shù)據(jù)，而云計算平臺可以根據(jù)用戶需求動態(tài)分配和釋放計算資源的能力，這種彈性計算能力使用戶能夠根據(jù)實際需求靈活地調(diào)整計算資源，而無需關(guān)注硬件設(shè)備的細(xì)節(jié)。云計算平臺可以根據(jù)用戶的需求自動擴(kuò)展或縮減計算資源，以滿足不同規(guī)模和復(fù)雜度的計算任務(wù)，這意味著用戶可以在需要更多計算資源時快速擴(kuò)展，而在需求減少時可以釋放多余的資源，從而實現(xiàn)成本的優(yōu)化和資源的高效利用。彈性計算能力的優(yōu)勢在于用戶可以根據(jù)需求實時調(diào)整計算資源，無需預(yù)先安排或購買額外的硬件設(shè)備。這種按需分配的計算模式可以幫助用戶避免資源的浪費，并且能夠應(yīng)對不確定的計算需求[1]。

1.2高效的儲存和數(shù)據(jù)管理功能

大數(shù)據(jù)分析需要處理和存儲海量的數(shù)據(jù)，而云計算平臺提供了高可用性、可擴(kuò)展性和安全性的存儲服務(wù)，可以幫助用戶存儲和管理大規(guī)模的數(shù)據(jù)，云存儲服務(wù)可以根據(jù)需求進(jìn)行彈性擴(kuò)展，滿足不同規(guī)模數(shù)據(jù)的存儲需求。而且，云存儲提供了高可靠性和數(shù)據(jù)冗余的機(jī)制，確保數(shù)據(jù)的安全性和可靠性。此外，云計算平臺還支持?jǐn)?shù)據(jù)管理功能，例如數(shù)據(jù)備份、數(shù)據(jù)遷移、數(shù)據(jù)復(fù)制和數(shù)據(jù)歸檔等，這些功能可以幫助用戶有效地管理和維護(hù)大數(shù)據(jù)，確保數(shù)據(jù)的完整性和可用性。通過云計算平臺提供的高效的存儲和數(shù)據(jù)管理功能，用戶可以更好地處理和利用大數(shù)據(jù)，從中獲取有價值的信息和見解。同時，云計算平臺的彈性存儲和數(shù)據(jù)管理能力，可以根據(jù)實際需求進(jìn)行靈活調(diào)整，避免了資源浪費和成本的浪費。

1.3實現(xiàn)分布式計算和并行處理

大數(shù)據(jù)分析任務(wù)通常需要處理龐大的數(shù)據(jù)集，并進(jìn)行復(fù)雜的計算和分析操作。云計算平臺的應(yīng)用，則為其提供了分布式計算和并行處理的能力，將大數(shù)據(jù)分析任務(wù)分解為多個子任務(wù)，并在多臺計算機(jī)上同時進(jìn)行處理。通過分布式計算，可以將大數(shù)據(jù)集劃分為小的數(shù)據(jù)塊，并在多個計算節(jié)點上同時進(jìn)行處理，以提高數(shù)據(jù)處理的效率和速度。每個計算節(jié)點可以獨立處理分配給它的數(shù)據(jù)塊，并將處理結(jié)果進(jìn)行合并，以得到最終的分析結(jié)果。并行處理則是指多個計算節(jié)點同時執(zhí)行相同的操作，以加速數(shù)據(jù)分析的過程。通過并行處理，可以充分利用云計算平臺提供的計算資源，快速處理大規(guī)模的數(shù)據(jù)集。分布式計算和并行處理的結(jié)合，可以充分發(fā)揮云計算平臺的計算能力，提高大數(shù)據(jù)分析的效率和速度。同時，云計算平臺還提供了任務(wù)調(diào)度和資源管理的功能，可以自動分配和管理計算資源，提供更好的性能和可擴(kuò)展性。通過應(yīng)用云計算技術(shù)，用戶可以更快地進(jìn)行大數(shù)據(jù)分析，并處理更復(fù)雜的任務(wù)，這有助于提高數(shù)據(jù)分析的效果，并發(fā)現(xiàn)數(shù)據(jù)中的隱藏信息和趨勢[2]。

2計算機(jī)大數(shù)據(jù)分析中云計算技術(shù)的具體應(yīng)用

2.1構(gòu)建高效的數(shù)據(jù)處理模型

在計算機(jī)大數(shù)據(jù)分析中，云計算技術(shù)可以幫助構(gòu)建高效的數(shù)據(jù)處理模型，以提高數(shù)據(jù)處理的效率和準(zhǔn)確性。首先需要采集數(shù)據(jù)，并將數(shù)據(jù)存儲到云計算平臺上?？梢允褂酶鞣N數(shù)據(jù)采集工具、傳感器、API等方式來獲取數(shù)據(jù)，將其存儲到云存儲服務(wù)中。在進(jìn)行數(shù)據(jù)分析之前，需要對數(shù)據(jù)進(jìn)行預(yù)處理和清洗，以去除無效數(shù)據(jù)、處理缺失數(shù)據(jù)、處理異常數(shù)據(jù)等，可以使用數(shù)據(jù)預(yù)處理工具，如Pandas、NumPy、Scikit-learn等對數(shù)據(jù)進(jìn)行清洗和處理。使用云計算平臺提供的數(shù)據(jù)處理和分析工具，如MapReduce、Spark、Hadoop等對數(shù)據(jù)進(jìn)行分析和處理，可以選擇合適的分析算法，如聚類分析、分類分析、關(guān)聯(lián)規(guī)則挖掘等方法，對數(shù)據(jù)進(jìn)行分析和挖掘。通過云計算平臺的分布式計算和并行處理能力，將數(shù)據(jù)分解為多個子任務(wù)，并在多個計算節(jié)點上同時進(jìn)行處理，例如：利用云計算平臺提供的計算資源，充分發(fā)揮計算能力和速度，并提高數(shù)據(jù)處理的效率。最后，使用數(shù)據(jù)可視化工具，如Tableau、D3.js等將分析結(jié)果可視化，以便于用戶更好地理解和利用數(shù)據(jù)。也可以使用報告生成工具，如Jupyter Notebook等生成數(shù)據(jù)分析報告，以便于分享和傳播分析結(jié)果。此外，需要對數(shù)據(jù)處理模型進(jìn)行評估和迭代，以進(jìn)一步提高數(shù)據(jù)分析的準(zhǔn)確性和效率，例如，使用交叉驗證、誤差分析等方法對模型進(jìn)行評估，找到模型的不足之處，并進(jìn)行改進(jìn)和優(yōu)化?？偟膩碚f，構(gòu)建高效的數(shù)據(jù)處理模型需要經(jīng)過數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、分布式計算和并行處理、數(shù)據(jù)可視化和報告生成、模型評估和迭代等多個步驟。通過云計算平臺提供的各種工具和服務(wù)，可以更好地處理和利用大數(shù)據(jù)，并挖掘出有價值的信息和見解。

2.2創(chuàng)建計算機(jī)網(wǎng)絡(luò)分析模塊

在應(yīng)用云計算技術(shù)來創(chuàng)建計算機(jī)網(wǎng)絡(luò)分析模塊的時候，需要先采集計算機(jī)網(wǎng)絡(luò)數(shù)據(jù)，包括網(wǎng)絡(luò)流量數(shù)據(jù)、日志數(shù)據(jù)、性能指標(biāo)數(shù)據(jù)等，會使用網(wǎng)絡(luò)監(jiān)控工具、日志采集器等方式來獲取網(wǎng)絡(luò)數(shù)據(jù)，并將數(shù)據(jù)存儲到云計算平臺上。在進(jìn)行網(wǎng)絡(luò)分析之前，需要對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行預(yù)處理和清洗，以去除無效數(shù)據(jù)、處理異常數(shù)據(jù)等[3]。例如：可以使用數(shù)據(jù)預(yù)處理工具（如Pandas、NumPy、Spark等）對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行清洗和處理。通過云計算平臺提供的數(shù)據(jù)處理和分析工具（如Spark、Hadoop、Elasticsearch等）對網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行分析?？梢苑治鼍W(wǎng)絡(luò)流量的來源、目的、流量模式、異常流量等，以發(fā)現(xiàn)網(wǎng)絡(luò)性能問題、安全隱患等。對網(wǎng)絡(luò)安全日志進(jìn)行分析，以檢測潛在的安全威脅、異常行為等。可以使用日志分析工具、安全信息與事件管理系統(tǒng)（SIEM）等進(jìn)行安全日志分析，發(fā)現(xiàn)網(wǎng)絡(luò)安全事件和威脅。

此外，也要對網(wǎng)絡(luò)設(shè)備的性能指標(biāo)進(jìn)行分析，如帶寬利用率、延遲、丟包率等，例如：可以使用性能監(jiān)控工具、網(wǎng)絡(luò)管理系統(tǒng)（NMS）等進(jìn)行性能指標(biāo)分析，進(jìn)而發(fā)現(xiàn)網(wǎng)絡(luò)性能問題和瓶頸。使用Kibana、Grafana等數(shù)據(jù)可視化工具，將網(wǎng)絡(luò)分析結(jié)果進(jìn)行可視化，以便于用戶更好地理解和利用分析結(jié)果。也可以使用報告生成工具，如Jupyter Notebook等生成網(wǎng)絡(luò)分析報告，以便于分享和傳播分析結(jié)果。最后需要對網(wǎng)絡(luò)分析模塊進(jìn)行評估和優(yōu)化，以提高分析的準(zhǔn)確性和效率，利用統(tǒng)計分析、機(jī)器學(xué)習(xí)算法等對模型進(jìn)行評估和優(yōu)化，找到模型的不足之處，并進(jìn)行改進(jìn)和優(yōu)化。通過云計算平臺提供的各種工具和服務(wù)，可以更好地分析和管理計算機(jī)網(wǎng)絡(luò)，發(fā)現(xiàn)網(wǎng)絡(luò)問題、提高網(wǎng)絡(luò)性能和安全性。

2.3打造易于讀取的數(shù)據(jù)儲存平臺

在計算機(jī)大數(shù)據(jù)分析應(yīng)用中，打造易于讀取的數(shù)據(jù)存儲平臺，需要考慮數(shù)據(jù)的可靠性、可擴(kuò)展性和易讀性。選擇適合大數(shù)據(jù)存儲的云存儲服務(wù)，如亞馬遜S3、Azure Blob Storage、Google Cloud Storage等，這些云存儲服務(wù)提供了高可靠性、高擴(kuò)展性和低成本的存儲解決方案。在將數(shù)據(jù)存儲到云平臺之前，需要設(shè)計合適的數(shù)據(jù)結(jié)構(gòu)，以便于后續(xù)的讀取和分析。這可能涉及到選擇合適的數(shù)據(jù)格式，如JSON、Parquet、Avro等，以及設(shè)計合適的數(shù)據(jù)存儲層次結(jié)構(gòu)。接下來就要進(jìn)行數(shù)據(jù)采集和上傳，將需要分析的數(shù)據(jù)采集并上傳至云存儲平臺，可以通過各種數(shù)據(jù)傳輸工具、API或者直接將數(shù)據(jù)集成到云計算平臺中實現(xiàn)[4]。

另外，要對上傳的數(shù)據(jù)進(jìn)行索引和元數(shù)據(jù)管理，以便于后續(xù)的快速檢索和讀取，可以通過云存儲平臺提供的元數(shù)據(jù)管理服務(wù)或者自定義索引服務(wù)實現(xiàn)。確保數(shù)據(jù)的安全性和可靠性，設(shè)置數(shù)據(jù)備份策略并定期進(jìn)行數(shù)據(jù)備份，可以通過云存儲平臺提供的備份服務(wù)或者自動化備份腳本實現(xiàn)。對數(shù)據(jù)存儲平臺進(jìn)行性能優(yōu)化，以提高數(shù)據(jù)讀取的速度和效率，選擇合適的存儲類型、數(shù)據(jù)分區(qū)、數(shù)據(jù)壓縮、緩存等。設(shè)置數(shù)據(jù)的訪問權(quán)限和安全策略，以保護(hù)數(shù)據(jù)的隱私和安全，可以通過云存儲平臺提供的訪問控制服務(wù)或者自定義權(quán)限管理模塊實現(xiàn)。最后，通過云計算平臺提供的數(shù)據(jù)可視化和分析工具，如Power BI、Tableau、QuickSight等，對存儲在云平臺上的數(shù)據(jù)進(jìn)行可視化和分析，以發(fā)現(xiàn)數(shù)據(jù)中的見解和價值。通過以上步驟，可以打造易于讀取的數(shù)據(jù)存儲平臺，為大數(shù)據(jù)分析應(yīng)用提供高效、可靠的數(shù)據(jù)存儲和管理解決方案。

3結(jié)語

綜上所述，在計算機(jī)大數(shù)據(jù)分析中應(yīng)用云計算技術(shù)，可以讓大數(shù)據(jù)處理更加高效，滿足大數(shù)據(jù)分析的各項需求。在進(jìn)行應(yīng)用時，主要是從數(shù)據(jù)處理、網(wǎng)絡(luò)分析、數(shù)據(jù)儲存、安全加密等方面入手，使得計算機(jī)大數(shù)據(jù)分析更加全面、安全，提高數(shù)據(jù)處理的效率和速度。

參考文獻(xiàn)

[1]趙琳.云計算技術(shù)在計算機(jī)大數(shù)據(jù)分析中的應(yīng)用探析[J].現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化，2023，13（2）：175-177.

[2]魏鏡酈.云計算技術(shù)在計算機(jī)大數(shù)據(jù)分析中的應(yīng)用思考[J].現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化，2022，12（9）：76-78.

[3]米杰.云計算技術(shù)在計算機(jī)大數(shù)據(jù)分析中的應(yīng)用研究[J].河南科技，2022，41（6）：16-19.

[4]梁昊.云計算技術(shù)在計算機(jī)大數(shù)據(jù)分析中的運用：評《云計算與大數(shù)據(jù)》[J].科技管理研究，2020，40（16）：267.

[5]黨瑾雯.媒介環(huán)境學(xué)視角下“云計算”技術(shù)研究[D].蘭州：蘭州大學(xué)，2022.

[6]余慶輝.基于云計算技術(shù)的微電網(wǎng)大數(shù)據(jù)平臺設(shè)計與開發(fā)[D].杭州：浙江工業(yè)大學(xué)，2020.