侯璇 劉慶慶

摘要：本文針對(duì)網(wǎng)絡(luò)流量元數(shù)據(jù)背景下的信息安全問題，基于流量分析對(duì)大數(shù)據(jù)安全平臺(tái)進(jìn)行了設(shè)計(jì)，分析網(wǎng)絡(luò)流量元數(shù)據(jù)分發(fā)平臺(tái)，設(shè)計(jì)元數(shù)據(jù)管理模型;構(gòu)建大數(shù)據(jù)服務(wù)平臺(tái)，對(duì)大數(shù)據(jù)進(jìn)行分析，識(shí)別活動(dòng)數(shù)據(jù)，并檢測(cè)網(wǎng)絡(luò)攻擊和異常流量。在實(shí)踐中，可以使用元數(shù)據(jù)來實(shí)現(xiàn)標(biāo)準(zhǔn)化的數(shù)據(jù)操作，并滿足合適的粒度數(shù)據(jù)服務(wù)的需求，從而實(shí)現(xiàn)大數(shù)據(jù)安全平臺(tái)，并對(duì)其進(jìn)行推廣，實(shí)現(xiàn)信息安全共享。

關(guān)鍵詞：數(shù)據(jù)安全;大數(shù)據(jù);網(wǎng)絡(luò)流量元數(shù)據(jù)

一、引言

在諸如大數(shù)據(jù)和物聯(lián)網(wǎng)之類的IT技術(shù)不斷發(fā)展的過程中，許多行業(yè)都沉迷于數(shù)據(jù)，其存儲(chǔ)消耗大量資源。在受數(shù)據(jù)限制的未來發(fā)展中，數(shù)據(jù)總量不斷增加，大數(shù)據(jù)時(shí)代已掀起一場(chǎng)空前的革命。大數(shù)據(jù)被廣泛用于互聯(lián)網(wǎng)和傳統(tǒng)商業(yè)領(lǐng)域，并且可以執(zhí)行諸如預(yù)測(cè)購(gòu)物行為和挖掘客戶等功能。2013年，美國(guó)的Prism事件引起了世界各國(guó)的關(guān)注。美國(guó)政府的機(jī)密信息是通過網(wǎng)絡(luò)通信傳遞的，盡管美國(guó)政府表示，這種行為主要是為了確保國(guó)家網(wǎng)絡(luò)的安全和采取反恐行動(dòng)的需要，但是全世界的人們都迫切想要了解大數(shù)據(jù)技術(shù)中的網(wǎng)絡(luò)流量元數(shù)據(jù)機(jī)密性漏洞。這樣，每個(gè)國(guó)家逐步加強(qiáng)自己的信息安全保護(hù)體系。大型數(shù)據(jù)目錄的管理是通過元數(shù)據(jù)開發(fā)數(shù)據(jù)服務(wù)來實(shí)現(xiàn)的，該技術(shù)解決了傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理問題。這樣，可以更好地共享和存儲(chǔ)信息。

二、網(wǎng)絡(luò)流量元數(shù)據(jù)的過濾平臺(tái)

大數(shù)據(jù)是現(xiàn)代社會(huì)發(fā)展的核心技術(shù)，大數(shù)據(jù)的來源是高價(jià)值的，太小的大數(shù)據(jù)集無法充分反映網(wǎng)絡(luò)數(shù)據(jù)分析的情況，這是不可能的。使用驗(yàn)證獲得良好的反饋在專業(yè)分析的基礎(chǔ)上，網(wǎng)絡(luò)流量傳輸平臺(tái)具有靈活性，可以在交換機(jī)端口級(jí)實(shí)現(xiàn)網(wǎng)絡(luò)流量的仿真，并符合傳輸源監(jiān)控系統(tǒng)的要求。網(wǎng)絡(luò)數(shù)據(jù)，例如緩存加速器，病毒入侵檢測(cè)系統(tǒng)和應(yīng)用程序?qū)颖O(jiān)視系統(tǒng)，例如不同的業(yè)務(wù)系統(tǒng)進(jìn)程。在網(wǎng)絡(luò)流量仿真過程中，根據(jù)ACL訪問控制列表實(shí)現(xiàn)簡(jiǎn)單的協(xié)議流量過濾過程，以加載流量傳輸平臺(tái)業(yè)務(wù)系統(tǒng)。網(wǎng)絡(luò)掉線這樣，網(wǎng)絡(luò)可以實(shí)現(xiàn)高負(fù)荷和低負(fù)荷鏈路流量的多次轉(zhuǎn)換，從而可以多次均衡負(fù)荷，提高數(shù)據(jù)傳輸平臺(tái)數(shù)據(jù)的整體處理能力。網(wǎng)絡(luò)另外，利用開關(guān)堆疊技術(shù)來改善上述工作效果，可以擴(kuò)大斷裂的數(shù)量。

骨干節(jié)點(diǎn)路由器為傳統(tǒng)的骨干網(wǎng)安全審計(jì)提供NeteFlow輸出數(shù)據(jù)。監(jiān)視系統(tǒng)識(shí)別全職歷史數(shù)據(jù)和挖掘數(shù)據(jù)，檢測(cè)網(wǎng)絡(luò)流系統(tǒng)中的異常并查找問題。元數(shù)據(jù)的安全性是通過數(shù)據(jù)的統(tǒng)計(jì)效果來實(shí)現(xiàn)的，例如DDoS類型的泛洪攻擊。這樣，在存儲(chǔ)和收集元數(shù)據(jù)之前，需要對(duì)給定端口和DNS進(jìn)行大型網(wǎng)絡(luò)掃描，并開放遞歸NTP來查詢網(wǎng)絡(luò)流量分發(fā)平臺(tái)中流量放大攻擊的不良事件，并與流數(shù)據(jù)源結(jié)合以及時(shí)接收警告。那就對(duì)了為了滿足網(wǎng)絡(luò)流量目標(biāo)的需求，使用分布式網(wǎng)絡(luò)體系結(jié)構(gòu)來創(chuàng)建開源庫(kù)和開源軟件，從而可以實(shí)現(xiàn)元數(shù)據(jù)提取過程。通過高速網(wǎng)絡(luò)傳輸數(shù)據(jù)時(shí)，元數(shù)據(jù)將被提取并存儲(chǔ)在文件中。例如，來自“安全性分析”模型的HTTP類型元數(shù)據(jù)文件為實(shí)際用戶生成網(wǎng)絡(luò)流量元數(shù)據(jù)。

今天有大量的網(wǎng)絡(luò)流量元數(shù)據(jù)可供使用。如果將所有網(wǎng)絡(luò)流量都用作元數(shù)據(jù)，那么總共就有五種記錄和計(jì)算網(wǎng)絡(luò)流量的信息。每月的流量將超過數(shù)百億個(gè)序列，從而收集元數(shù)據(jù)。安全的開采和儲(chǔ)存受到一定壓力。

三、大數(shù)據(jù)交流平臺(tái)

幾個(gè)不同的信息源就像孤島，集中化和確保數(shù)據(jù)安全性是研究的重點(diǎn)。為了打破數(shù)據(jù)障礙并釋放數(shù)據(jù)的價(jià)值，請(qǐng)使用元數(shù)據(jù)管理技術(shù)構(gòu)建元數(shù)據(jù)管理平臺(tái)，收集元數(shù)據(jù)并還原、更改和檢索，實(shí)現(xiàn)數(shù)據(jù)提取、轉(zhuǎn)換和加載?；谠獢?shù)據(jù)共同驅(qū)動(dòng)數(shù)據(jù)模型管理、質(zhì)量管理和標(biāo)準(zhǔn)管理可實(shí)現(xiàn)電子數(shù)據(jù)目錄的創(chuàng)建，從而創(chuàng)建統(tǒng)一的外部數(shù)據(jù)服務(wù)。

數(shù)據(jù)中心資源存儲(chǔ)在集成的ETL過程中，例如企業(yè)管理系統(tǒng)和盡??職調(diào)查。在此過程中收集元數(shù)據(jù)，并檢查元數(shù)據(jù)以實(shí)現(xiàn)目錄生成。第三方應(yīng)用程序可以使用元數(shù)據(jù)管理平臺(tái)檢索元數(shù)據(jù)和數(shù)據(jù)服務(wù)，以實(shí)現(xiàn)數(shù)據(jù)服務(wù)請(qǐng)求的創(chuàng)建和對(duì)數(shù)據(jù)的訪問。應(yīng)用程序使用自助服務(wù)和自動(dòng)數(shù)據(jù)。獲取數(shù)據(jù)可以打破數(shù)據(jù)障礙，并使數(shù)據(jù)服務(wù)器成為真正的大數(shù)據(jù)環(huán)境。它充分展示了信息的價(jià)值。

四、基于挖掘和關(guān)聯(lián)的大數(shù)據(jù)分析

初始統(tǒng)計(jì)分析的目標(biāo)是將混合的大數(shù)據(jù)轉(zhuǎn)換為小數(shù)據(jù)，以用于以后的安全分析。在此分析階段，重要的是盡快在IP上創(chuàng)建和創(chuàng)建黑名單。使用白名單機(jī)制，您可以在早期階段優(yōu)化網(wǎng)絡(luò)流量，選擇對(duì)安全分析沒有意義的大量數(shù)據(jù)，以減少存儲(chǔ)壓力和以后的分析;使用黑名單機(jī)制，您可以專注于區(qū)域定位，跟蹤更改和發(fā)展趨勢(shì)進(jìn)行更詳細(xì)、更深入的安全審核。

對(duì)于嚴(yán)重的安全漏洞，大數(shù)據(jù)分析可以快速提供安全警告和大規(guī)模安全評(píng)估。近年來，一波漏洞。 ApacheStruts2它具有廣泛的影響，在大學(xué)網(wǎng)絡(luò)上有數(shù)十個(gè)使用此Java框架的應(yīng)用程序信息系統(tǒng)。如何從數(shù)以千計(jì)的網(wǎng)站中快速找到Struts2開發(fā)框架的用法，在元數(shù)據(jù)中搜索某些URL特征字段，通過HIVE訪問HTTP并使用shell腳本進(jìn)行分析，您將在半小時(shí)內(nèi)得到正確的響應(yīng)。通過將Python腳本與一系列與POC相關(guān)的漏洞結(jié)合使用，您可以快速掃描這些網(wǎng)站并確定有多少受返回結(jié)果的影響。

對(duì)于許多使用網(wǎng)站進(jìn)行DDoS的Web后門和DDoS特洛伊木馬，觸發(fā)元數(shù)據(jù)的某些字段中的特征也很明顯，可以通過一組算法及時(shí)進(jìn)行檢索。挖掘通過相關(guān)性分析，我們可以找出哪些人以及何時(shí)插入了這些特洛伊木馬，以及網(wǎng)站上可能存在哪些類型的漏洞導(dǎo)致被利用，并給出了答案。深入分析安全事件發(fā)生后，攻擊者有意刪除了主機(jī)上的許多入侵痕跡。但是網(wǎng)絡(luò)流量元數(shù)據(jù)仍會(huì)記錄當(dāng)時(shí)發(fā)生的每個(gè)細(xì)節(jié)。成功的滲透必須伴隨著大規(guī)模爬網(wǎng)行為，并且元數(shù)據(jù)數(shù)據(jù)集中顯示了多次失敗的掃描和攻擊嘗試。無論您走到哪里，都將留下不同類型的元數(shù)據(jù)的痕跡，從而提供直接，完整和準(zhǔn)確的信息以跟蹤所有安全事件的詳細(xì)信息。盡管攻擊者經(jīng)常更改其IP地址，但這會(huì)增加跟蹤的難度，只要他們的行為保持不變，就仍可以通過長(zhǎng)期分析來發(fā)現(xiàn)它。即使事件修復(fù)后安全應(yīng)急響應(yīng)處于活動(dòng)狀態(tài)，它也會(huì)實(shí)時(shí)阻止所有攻擊。但這也是非常有價(jià)值的，如果沒有積累足夠的元數(shù)據(jù)，用戶可能仍然對(duì)以前的攻擊一無所知，很難避免再次發(fā)生。

當(dāng)今高度可持續(xù)的威脅攻擊不只是不僅使用HTTP協(xié)議，而且使用SSL加密和其他類型的隱藏隧道進(jìn)行通信。盡管高校以強(qiáng)大的進(jìn)攻資源和不對(duì)稱的防御能力面對(duì)APT攻擊的能力有限。但是，基于存儲(chǔ)在IP流中的長(zhǎng)期元數(shù)據(jù)和一些核心應(yīng)用程序?qū)訁f(xié)議的深入分析，在最初的攻擊中沒有遺漏任何線索。發(fā)現(xiàn)成為可能，協(xié)調(diào)資源以減少損失并跟蹤和恢復(fù)攻擊歷史，處理APT是當(dāng)前業(yè)界的共識(shí)。

五、基于大數(shù)據(jù)的網(wǎng)絡(luò)流量元數(shù)據(jù)分析

數(shù)據(jù)分析使用大數(shù)據(jù)分析和數(shù)據(jù)挖掘技術(shù)從根本上聚合收集的流數(shù)據(jù)，并與專家知識(shí)庫(kù)集成以創(chuàng)建針對(duì)目標(biāo)問題的分析模型。

（一）活躍數(shù)據(jù)判斷

資產(chǎn)數(shù)據(jù)是風(fēng)險(xiǎn)管理過程的基礎(chǔ)。管理者提供的資產(chǎn)列表目前還不是最及時(shí)，最準(zhǔn)確的，需要流量來識(shí)別網(wǎng)絡(luò)中的活動(dòng)資產(chǎn)并使其成為管理資產(chǎn)的一種手段。性能分析五個(gè)部分，確定哪些設(shè)備打開了高風(fēng)險(xiǎn)的遠(yuǎn)程桌面端口和端口80，并將它們與管理器的資產(chǎn)列表結(jié)合在一起，以了解哪些設(shè)備是新添加到網(wǎng)絡(luò)中的，哪些是原本有的用于監(jiān)視和識(shí)別未來風(fēng)險(xiǎn)。

（二）攻擊檢測(cè)

網(wǎng)絡(luò)攻擊是通過在攻擊過程中隱藏的網(wǎng)絡(luò)漏洞和安全漏洞對(duì)網(wǎng)絡(luò)數(shù)據(jù)的攻擊。傳統(tǒng)的網(wǎng)絡(luò)攻擊檢測(cè)工具在網(wǎng)絡(luò)攻擊復(fù)雜度不斷提高的過程中，使用改進(jìn)的特征庫(kù)來識(shí)別網(wǎng)絡(luò)攻擊，傳統(tǒng)的網(wǎng)絡(luò)攻擊檢測(cè)工具無法滿足攻擊者的需求。有使用大數(shù)據(jù)流量分析和識(shí)別攻擊，以提高對(duì)新型網(wǎng)絡(luò)攻擊的檢測(cè)能力;使用聚類分析，從檢測(cè)模型分類中檢測(cè)異常。異常情況下，相對(duì)較高的特征限制能力是有監(jiān)督的機(jī)器學(xué)習(xí)過程，而監(jiān)管信息是抽象的特征維度。分類通過其指導(dǎo)作用來控制數(shù)據(jù)，并在攻擊過程中起重要作用。

隨機(jī)森林算法是一種經(jīng)典的分類方案，它是基于大數(shù)據(jù)環(huán)境的優(yōu)秀分類器，該算法本身評(píng)估變量在分類過程中的重要性。該算法沒有太多的數(shù)據(jù)相關(guān)性，它避免了過多的問題并為不平衡的采樣點(diǎn)平衡了誤差。因此，根據(jù)分類，使用隨機(jī)森林算法進(jìn)行異常檢測(cè)。生成具有多個(gè)決策樹的隨機(jī)森林。森林中的所有決策樹都做出決策后，隨機(jī)森林算法會(huì)對(duì)所有決策結(jié)果進(jìn)行計(jì)數(shù)和求和，以得出最終決策。

（三）流量異常監(jiān)測(cè)

由于網(wǎng)絡(luò)流量幾乎相同，因此隨著時(shí)間的推移它將遵循該功能。即使網(wǎng)絡(luò)流量隨時(shí)間增加，曲線仍是自相似的，有關(guān)流量的長(zhǎng)期統(tǒng)計(jì)數(shù)據(jù)也可以顯示自相似。在正常情況下，使用理想的網(wǎng)絡(luò)流量描述曲線描述，可以使用統(tǒng)計(jì)方法對(duì)大型網(wǎng)絡(luò)流量進(jìn)行數(shù)學(xué)建模。在任何時(shí)候都可以使用流量曲線與正常流量曲線進(jìn)行比較，以分析流量是否異常，當(dāng)異常流量達(dá)到指定標(biāo)準(zhǔn)時(shí)，將成為異常模式。

六、結(jié)語

在數(shù)據(jù)時(shí)代的背景下，基于網(wǎng)絡(luò)流量元數(shù)據(jù)分析安全大數(shù)據(jù)是一個(gè)非常重要的主題，如何合理地使用大數(shù)據(jù)分析平臺(tái)來提高分析的質(zhì)量和效率。數(shù)據(jù)是相關(guān)技術(shù)人員的關(guān)注重點(diǎn)，對(duì)于確保重要數(shù)據(jù)的安全性至關(guān)重要。如何使用大型數(shù)據(jù)平臺(tái)自動(dòng)檢測(cè)漏洞并分析不同類型數(shù)據(jù)的相關(guān)性需要進(jìn)行分析。深入本文的研究表明，使用有針對(duì)性的策略可以維護(hù)網(wǎng)絡(luò)空間的公正性和公平性，減少手動(dòng)分析干預(yù)的水平，并實(shí)現(xiàn)可視化。

參考文獻(xiàn)：

[1]劉皓天，陳楓，吳振勇，等.基于DTU的充電樁電氣安全大數(shù)據(jù)管控平臺(tái)研究[J].微處理機(jī)，2020（4）：53-56.

[2]汪偉忠，張國(guó)寶.基于Fuzzy-ISM的生產(chǎn)安全大數(shù)據(jù)共享行為模型構(gòu)建[J].情報(bào)雜志，2018（9）：167-172，147.

[3]江欣國(guó).關(guān)于中國(guó)道路交通安全大數(shù)據(jù)發(fā)展與應(yīng)用的若干建議[J].中國(guó)發(fā)展，2018（1）：88-89.

[4]張丁.試析基于網(wǎng)絡(luò)流量元數(shù)據(jù)的安全大數(shù)據(jù)分析[J].數(shù)字通信世界，2016（11）：263-264.

武漢商貿(mào)職業(yè)學(xué)院侯璇劉慶慶