管孝振

(齊魯醫(yī)藥學(xué)院,山東 淄博 255300)

0 引言

在網(wǎng)絡(luò)中,每天都會產(chǎn)生大量的數(shù)據(jù)。隨著數(shù)據(jù)的積累,大數(shù)據(jù)分析技術(shù)獲得了迅速的發(fā)展,挖掘出了這些數(shù)據(jù)背后所蘊含的價值。運營商通過對這些數(shù)據(jù)的應(yīng)用來實現(xiàn)對網(wǎng)絡(luò)性能的優(yōu)化,從而獲得更多的網(wǎng)絡(luò)收益。相比于傳統(tǒng)的數(shù)據(jù)分析,大數(shù)據(jù)分析技術(shù)具備更強的洞察力,能夠?qū)α闵⑿畔⑦M行有效的整合,并對各個網(wǎng)絡(luò)要素之間的聯(lián)系進行研究,在網(wǎng)絡(luò)安全保障和流量控制中發(fā)揮著十分重要的作用。本文對網(wǎng)絡(luò)領(lǐng)域中的大數(shù)據(jù)分析技術(shù)進行研究,目的在于提升網(wǎng)絡(luò)應(yīng)用的安全性和可靠性。

1 大數(shù)據(jù)分析技術(shù)的概念闡述

從目前的情況來看,大數(shù)據(jù)分析技術(shù)的應(yīng)用已經(jīng)獲得了人們的關(guān)注和研究。所謂網(wǎng)絡(luò)大數(shù)據(jù)就是指無法在一定時間內(nèi)通過網(wǎng)絡(luò)通信系統(tǒng)進行訪問和傳輸?shù)臄?shù)據(jù)集合。大數(shù)據(jù)的特點在于波動性、體量大、生產(chǎn)速度快以及模態(tài)多樣化[1]。數(shù)據(jù)體量的增加產(chǎn)生了更大的數(shù)據(jù)流量,且數(shù)據(jù)的產(chǎn)生有著很強的時效性,大數(shù)據(jù)的種類包括了非結(jié)構(gòu)化、結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),其中往往包含著巨大的價值,因為網(wǎng)絡(luò)有著很強的突發(fā)性,所以具備了波動性的特點。從科技企業(yè)的角度上來看,因為對于大數(shù)據(jù)的關(guān)注點不同,所以會產(chǎn)生多種分類問題。例如:從電信運營商的角度上來看,網(wǎng)絡(luò)大數(shù)據(jù)主要包括了IT系統(tǒng)數(shù)據(jù)、接入網(wǎng)和核心網(wǎng)數(shù)據(jù)以及運營商網(wǎng)絡(luò)應(yīng)用數(shù)據(jù)[2]。其中,IT系統(tǒng)數(shù)據(jù)包含了業(yè)務(wù)消費信息、終端注冊平臺和客戶關(guān)系管理系統(tǒng)。接入核心網(wǎng)中的信息包括網(wǎng)絡(luò)數(shù)據(jù)包和移動信令等。運營商網(wǎng)絡(luò)應(yīng)用數(shù)據(jù)包括了翼支付數(shù)據(jù)、網(wǎng)上營業(yè)廳數(shù)據(jù)等。

大數(shù)據(jù)能夠從內(nèi)外兩個方面進行收集。其中,外部數(shù)據(jù)主要源自于市場研究機構(gòu)和國家統(tǒng)計局等;內(nèi)部數(shù)據(jù)主要源自于業(yè)務(wù)系統(tǒng)和運營系統(tǒng)等。對于數(shù)據(jù)進行收集的方法包括數(shù)據(jù)源收集和輔助工具收集等。其中,移動設(shè)備可以被作為收集數(shù)據(jù)的工具。

因為出現(xiàn)了海量的數(shù)據(jù)信息,所以應(yīng)用的分析手段要具備更強的功能,一般來說經(jīng)常應(yīng)用的技術(shù)手段包括時間序列分析和機器學(xué)習(xí)等。大數(shù)據(jù)分析技術(shù)有著時空維度這一特點,因此采用時間序列來進行分量分析,并對流量模式進行預(yù)測,整體的預(yù)測性較強[3]。機器學(xué)習(xí)在很多領(lǐng)域中的應(yīng)用都顯著提升了預(yù)測的性能,針對高級數(shù)據(jù)通過非線性變化來進行建模,從而實現(xiàn)大數(shù)據(jù)分析。在研究網(wǎng)絡(luò)控制管理時,無論是哪種節(jié)點,都能夠通過博弈論來進行對象之間的交互性分析,這對于大數(shù)據(jù)分析技術(shù)而言是非常有效的一種工具類型。

2 網(wǎng)絡(luò)領(lǐng)域中大數(shù)據(jù)分析技術(shù)的研究

2.1 在無線網(wǎng)絡(luò)中的應(yīng)用

(1)故障監(jiān)測。通過大數(shù)據(jù)分析技術(shù)來進行故障監(jiān)測,主要是分析通話記錄、測量報告和帶寬趨勢等數(shù)據(jù)來對設(shè)備故障和用戶異常等網(wǎng)絡(luò)故障問題進行解決。例如:當用戶在通話過程中突然發(fā)生中斷的問題,解決這種問題時一般會采用網(wǎng)絡(luò)仿真或者路測等方法,路測需要消耗大量的時間和費用,網(wǎng)絡(luò)仿真所獲得的結(jié)果并不可靠,所以可利用大數(shù)據(jù)分析的方法,通過對運營商儲存的網(wǎng)絡(luò)測試數(shù)據(jù)來對網(wǎng)絡(luò)覆蓋進行優(yōu)化[4]。實踐過程證明了網(wǎng)絡(luò)覆蓋分析的方法具備更強的精確程度,通過運營支撐系統(tǒng)來獲取網(wǎng)絡(luò)測量數(shù)據(jù),通過大數(shù)據(jù)來處理OSS數(shù)據(jù),從而實現(xiàn)更加高效率的網(wǎng)絡(luò)優(yōu)化。通過下行覆蓋自優(yōu)化算法來分析數(shù)據(jù),對網(wǎng)絡(luò)性能進行記錄,對異常區(qū)域進行定位,以此為前提來對天線參數(shù)進行調(diào)整,從而有效提升下行覆蓋性能。這種方法對于運營商而言是更加高效的,且投入的成本和時間較少。

蜂窩網(wǎng)絡(luò)所具備的自愈能力,能夠?qū)W(wǎng)絡(luò)性能的故障進行精確定位,并能夠自動恢復(fù),確保實現(xiàn)高質(zhì)量的通信。這種自愈功能能夠及時地調(diào)整相關(guān)參數(shù),從而避免出現(xiàn)較大的系統(tǒng)性能損失,避免過多的人力、物力投入。為了提升服務(wù)質(zhì)量,應(yīng)該在規(guī)定的時間段內(nèi)實現(xiàn)系統(tǒng)自愈,因為在數(shù)據(jù)上有著一定的限制,所以可利用大數(shù)據(jù)分析技術(shù)來妥善解決系統(tǒng)問題[5]。

(2)流量監(jiān)控。蜂窩網(wǎng)絡(luò)的速率較高,能夠滿足人們的媒體業(yè)務(wù)需求,并能夠通過更大容量和更高性能的服務(wù)器來對流量進行分析和監(jiān)視。近些年,人們對數(shù)據(jù)分析的需求持續(xù)增加,所以這種方法的局限性較大。將網(wǎng)絡(luò)流量監(jiān)控分析系統(tǒng)設(shè)置在蜂窩網(wǎng)絡(luò)中心,實現(xiàn)數(shù)據(jù)量的有效處理,不但有著較高的性能且花費的成本較低[6]。同時,通過流量框架的設(shè)立來達到流處理和批處理的效果,流處理可實現(xiàn)對端口寬帶相關(guān)參數(shù)分析,從而更加有利于網(wǎng)絡(luò)監(jiān)視活動的開展。批處理是對用戶進行批量的流量處理,并能夠?qū)Ξ惓Ｇ闆r進行有效監(jiān)測,及時地識別出異常行為。

(3)緩存處理。在緩存中,對于大數(shù)據(jù)分析技術(shù)的應(yīng)用主要包括帶寬分配優(yōu)化、熱點內(nèi)容跟蹤以及5G網(wǎng)主動緩存等。5G網(wǎng)主動緩存是以大數(shù)據(jù)分析技術(shù)為基礎(chǔ)來建立的緩存機制,主要功能在于對5G內(nèi)容流行程度進行預(yù)測。在對用戶流量進行收集后,對其中的有用信息進行提取,接著采用評估前收集的原始數(shù)據(jù)流行程度,以基站獲取的真實數(shù)據(jù)為基礎(chǔ)來進行實驗。這一機制具備了優(yōu)化用戶體驗和提升緩存性能的效果。社交網(wǎng)絡(luò)包含了大量的用戶。用戶一般會在具備共同愛好的群體當中進行多媒體的分享。一些熱點新聞會吸引很多人的關(guān)注,所以會在網(wǎng)絡(luò)中獲得迅速的傳播,這時會增加網(wǎng)絡(luò)負載,請求內(nèi)容需要通過服務(wù)器來按照網(wǎng)絡(luò)路徑傳播[7]?？赏ㄟ^對社交媒體以及熱點新聞的監(jiān)控來對數(shù)據(jù)進行分析,了解人們對哪些內(nèi)容感興趣,并按照類別來進行熱點數(shù)據(jù)緩存,通過大數(shù)據(jù)分析技術(shù)來讓用戶更加迅速地緩存內(nèi)容,減少網(wǎng)絡(luò)的負載。隨著用戶量的增加,對于帶寬的分配以及服務(wù)質(zhì)量的提升是非常重要的。蜂窩網(wǎng)絡(luò)能夠為用戶帶來隨時連接互聯(lián)網(wǎng)的服務(wù),利用動態(tài)帶寬分配算法來讓用戶對基站的無線信道進行共享,通過分析用戶數(shù)據(jù)網(wǎng)絡(luò)來將其劃分到多個集群中,從而實現(xiàn)帶寬的共享,讓網(wǎng)絡(luò)的資源利用效率得到提升,使得內(nèi)容的分發(fā)速度獲得提升。

(4)網(wǎng)絡(luò)優(yōu)化。在如今的網(wǎng)絡(luò)融合時代中,網(wǎng)絡(luò)之間的操作更加頻繁,且相互之間的協(xié)調(diào)部署更加復(fù)雜。網(wǎng)絡(luò)管理對于各項數(shù)據(jù)處理的能力有著更高的要求。與此同時,入網(wǎng)設(shè)備的增加和業(yè)務(wù)類型的豐富等方面為網(wǎng)絡(luò)的規(guī)劃帶來了更大的挑戰(zhàn)。對網(wǎng)絡(luò)質(zhì)量和規(guī)劃形成影響的因素有很多,這些因素與網(wǎng)絡(luò)性能之間有著復(fù)雜的關(guān)系。大數(shù)據(jù)分析技術(shù)能夠?qū)?shù)據(jù)之間的潛在關(guān)系進行挖掘。其應(yīng)用到網(wǎng)絡(luò)規(guī)劃中有著重要的優(yōu)勢。

2.2 在光纖網(wǎng)絡(luò)中的應(yīng)用

(1)網(wǎng)絡(luò)優(yōu)化。路由和波長分配算法在光纖網(wǎng)絡(luò)中有著十分重要的作用,這種算法的應(yīng)用主要以線性規(guī)劃模型和分層圖模型為基礎(chǔ),通過大數(shù)據(jù)分析技術(shù)的應(yīng)用來對該算法中存在的問題進行解決[8]。在計算機中進行路由和波長分配算法的獨立運行,對需求序列進行處理,從而在較短的時間對更多數(shù)量的需求序列進行評估,選擇一個更好的解決方案。

(2)流量預(yù)測。因為出現(xiàn)了更多的新服務(wù),所以對網(wǎng)絡(luò)有著更高的要求,那么對于運營商而言就需要通過動態(tài)的方式來應(yīng)對預(yù)期流量。如果采用網(wǎng)絡(luò)超供應(yīng)來處理,則會增加總成本。如果基于閾值來進行重新配置,則有利于節(jié)約功耗。缺點在于需要安裝的光轉(zhuǎn)發(fā)器數(shù)量沒有減少。通過大數(shù)據(jù)分析技術(shù)來進行的方案重構(gòu),就是在路由器中進行流量監(jiān)控數(shù)據(jù)的定期收集,所有的邊際路由器都是為了其他路由器來進行流量樣本的收集,并儲存到數(shù)據(jù)庫中。按照預(yù)定時間來對監(jiān)控數(shù)據(jù)進行定期檢索,并執(zhí)行數(shù)據(jù)流挖掘[9]。相比于靜態(tài)方法,通過應(yīng)用大數(shù)據(jù)分析技術(shù),虛擬網(wǎng)絡(luò)拓撲方案能夠減少光轉(zhuǎn)發(fā)器安裝數(shù)量,并能夠在低流量時停用轉(zhuǎn)發(fā)器,達到節(jié)能的效果,通過釋放光路來有效降低成本。

2.3 在SDN網(wǎng)絡(luò)中的應(yīng)用

SDN網(wǎng)絡(luò)具備應(yīng)用集中控制裝置來對網(wǎng)絡(luò)進行編程的能力,能夠通過開放接口來對多個數(shù)據(jù)面進行編程,從而帶來更加靈活的結(jié)構(gòu)支撐。

(1)流量預(yù)測。隨著網(wǎng)絡(luò)中應(yīng)用程序的增加,尤其是實時應(yīng)用程序有著很大的體積和計算復(fù)雜性,少不了網(wǎng)絡(luò)的支持。作為新的網(wǎng)絡(luò)樣式,SDN網(wǎng)絡(luò)引起了多方面的重視和關(guān)注,主要是在轉(zhuǎn)發(fā)面當中將控制面分離出來,轉(zhuǎn)變傳統(tǒng)的垂直統(tǒng)一管理模式,實現(xiàn)了網(wǎng)絡(luò)編程。通過大數(shù)據(jù)分析技術(shù)的應(yīng)用實現(xiàn)了SDN的資源感知路由架構(gòu),具體包括用戶偏好分析、SDN控制器與數(shù)據(jù)庫接口設(shè)計和SDN控制器路由幾個部分。利用偏好分析能力能夠在對用戶所應(yīng)用的程序進行分析后,發(fā)現(xiàn)其中所包含的分布規(guī)律,接著以此為基礎(chǔ)來進行預(yù)測模型的開發(fā),從而對于各個領(lǐng)域中所存在的具體情況進行合理應(yīng)對。大數(shù)據(jù)分析技術(shù)能夠結(jié)合用戶的具體需求來對網(wǎng)絡(luò)資源進行動態(tài)化的分配,從而實現(xiàn)有效的均衡負載,利用交換設(shè)備進行動態(tài)的流量發(fā)布,來對方案是否具備足夠的流量適應(yīng)能力進行驗證,使得資源的使用效率獲得提升,以最終達到均衡負載的效果。處理應(yīng)用程序的過程中,可能會因為數(shù)據(jù)而受到一定的影響,所以應(yīng)該通過實時通信預(yù)測來優(yōu)化中心網(wǎng)絡(luò)數(shù)據(jù),運用SDN網(wǎng)絡(luò)所具備的可編程特點來達到網(wǎng)絡(luò)資源分配優(yōu)化的效果。

(2)跨層設(shè)計對大數(shù)據(jù)分析技術(shù)的應(yīng)用。網(wǎng)絡(luò)分層包含了相鄰層和非相鄰層,前者通過協(xié)議來通信,后者則不能夠直接通信,通過跨層設(shè)計能夠在后者中建立信息共享,并有效改善整個網(wǎng)絡(luò)的性能。后者達到了信息共享的效果,卻導(dǎo)致傳統(tǒng)的模塊化原則受到了影響,提升了網(wǎng)絡(luò)的復(fù)雜性,已經(jīng)不再適合應(yīng)用過去的優(yōu)化策略及設(shè)計方法[10]。利用大數(shù)據(jù)分析技術(shù),達到了全局網(wǎng)絡(luò)的視圖效果,從所有層中獲取信息以實現(xiàn)更好的網(wǎng)絡(luò)控制管理。

2.4 在網(wǎng)絡(luò)安全中的應(yīng)用

在網(wǎng)絡(luò)運行中,離不開網(wǎng)絡(luò)安全的支持,這同時也是網(wǎng)絡(luò)可靠運行的重要前提條件,網(wǎng)絡(luò)活動的開展需要通過網(wǎng)絡(luò)安全檢測來提供安全通信保障。

(1)APT攻擊檢測。隨著網(wǎng)絡(luò)信息發(fā)展,APT攻擊變得更多,其具備了一定的滲透性和隱蔽性,常常讓國家網(wǎng)絡(luò)信息系統(tǒng)面臨威脅。對于APT攻擊進行檢測的主要困難在于對異常進行檢測時需要對大量的數(shù)據(jù)進行篩選,這讓檢測任務(wù)變得更加困難。因為網(wǎng)絡(luò)數(shù)據(jù)增長的速度非?？?所以外圍防御系統(tǒng)在對目標進行檢測時可能會無法發(fā)揮效果。大數(shù)據(jù)分析技術(shù)能夠?qū)PT攻擊進行有效的檢測,并分析網(wǎng)絡(luò)安全數(shù)據(jù)的關(guān)聯(lián),對APT攻擊進行檢測有著很大的優(yōu)勢。

(2)網(wǎng)絡(luò)安全檢測。在網(wǎng)絡(luò)安全領(lǐng)域中,網(wǎng)絡(luò)安全檢測一直都是十分活躍的研究內(nèi)容,具體是對網(wǎng)絡(luò)所面臨的風(fēng)險以及所處的安全狀態(tài)進行分析,并對不同接入網(wǎng)絡(luò)的行為進行控制,從而及時發(fā)現(xiàn)一些潛在的威脅,甚至是一些攻擊。例如DDOS檢測,隨著網(wǎng)絡(luò)流量的增加,過去的檢測方法難以從網(wǎng)絡(luò)流量中有效地檢測到攻擊行為。然而,大數(shù)據(jù)分析技術(shù)能夠進一步提升DDOS檢測的水平。例如:入侵檢測是根據(jù)主機數(shù)據(jù)和網(wǎng)絡(luò)流量來對系統(tǒng)行為進行判斷,通過大數(shù)據(jù)分析技術(shù)能夠?qū)崿F(xiàn)多個信息源的連接,實現(xiàn)對異常活動的有效識別,從而提升入侵檢測的效率。很多網(wǎng)絡(luò)安全問題都是因為僵尸網(wǎng)絡(luò)而造成的,具體是指被惡意軟件所感染的機器組合成為的網(wǎng)絡(luò),這種攻擊可能會造成財務(wù)上的損失[11]。為了對這種攻擊進行檢測,獲取數(shù)據(jù)包和網(wǎng)絡(luò)跟蹤是較為有效的措施。對于如今的計算機而言,分析大型數(shù)據(jù)集并不簡單。為了解決這個問題,技術(shù)人員可以通過大數(shù)據(jù)分析技術(shù)來建立僵尸網(wǎng)絡(luò)檢測系統(tǒng)框架。

(3)網(wǎng)絡(luò)安全態(tài)勢。面對大量的網(wǎng)絡(luò)安全風(fēng)險,從企業(yè)的角度上來看,要及時發(fā)現(xiàn)網(wǎng)絡(luò)中存在的異常情況,并對網(wǎng)絡(luò)安全狀態(tài)進行實時掌握,而不是采用過去那種亡羊補牢的方式,減少網(wǎng)絡(luò)面臨的安全風(fēng)險,讓網(wǎng)絡(luò)安全防護能力獲得有效的提升。網(wǎng)絡(luò)安全態(tài)勢感知能夠獲取造成網(wǎng)絡(luò)態(tài)勢變化的要素,并對未來的安全趨勢進行有效的預(yù)測。大數(shù)據(jù)分析技術(shù)能夠?qū)⒏黝惏踩珨?shù)據(jù)變?yōu)楦又庇^的可視化信息。網(wǎng)絡(luò)安全態(tài)勢感知已經(jīng)變?yōu)榱水斍熬W(wǎng)絡(luò)安全研究工作中的重點內(nèi)容。

3 結(jié)語

總而言之,大數(shù)據(jù)分析技術(shù)的應(yīng)用途徑十分豐富。網(wǎng)絡(luò)包含了系統(tǒng)信號和網(wǎng)絡(luò)流量等多種類型的數(shù)據(jù)。設(shè)計者收集數(shù)據(jù)信息并和用戶的服務(wù)需求建立聯(lián)系,從而設(shè)計出更加符合用戶需求的自適應(yīng)網(wǎng)絡(luò)。如今,大數(shù)據(jù)分析技術(shù)的應(yīng)用變得更加直接,數(shù)據(jù)采集更加靈活有效。終端設(shè)備具備了很強的移動性和便捷性,徹底對資本流動方式和人們的行為進行了改變。該技術(shù)目前已經(jīng)在醫(yī)療、金融和商業(yè)等方面得到了廣泛的應(yīng)用,并獲得了不錯的成果,吸引了各方的關(guān)注。本文分別對大數(shù)據(jù)分析技術(shù)在無線網(wǎng)絡(luò)、光纖網(wǎng)絡(luò)、SDN網(wǎng)絡(luò)以及網(wǎng)絡(luò)安全中的應(yīng)用進行了研究。