管凱云

摘 要

隨著社會的發(fā)展，移動通信網(wǎng)絡也在不斷進步，并且受到的廣大群眾的歡迎。但是與此同時也產(chǎn)生了大量的數(shù)據(jù)，那么如何對這些數(shù)據(jù)進行處理，這也成為了一大難題。本文主要是介紹大數(shù)據(jù)的相關(guān)概念以及發(fā)展歷程，分析其所用的關(guān)鍵技術(shù)，并對“云計算”的現(xiàn)狀進行深入解析。

【關(guān)鍵詞】移動通信網(wǎng)絡 大數(shù)據(jù) 關(guān)鍵技術(shù) 處理

1 大數(shù)據(jù)概念與特點

通常情況下，數(shù)據(jù)的產(chǎn)生可以分為三個階段：

1.1 被動產(chǎn)生階段

數(shù)據(jù)量出現(xiàn)第一次飛躍是在數(shù)據(jù)庫剛剛產(chǎn)生的時候。在這個階段，數(shù)據(jù)庫還沒有得到廣泛使用，通常只是應用在政府或者是一些比較大型的企業(yè)中，比如用來處理大超市的銷售記錄、用來處理銀行的大量交易數(shù)據(jù)等，一般都是為了運營活動而使用，所以這個時候的數(shù)據(jù)處于被動產(chǎn)生的狀態(tài)。

1.2 主動產(chǎn)生階段

數(shù)據(jù)量出現(xiàn)第二次飛躍是在互聯(lián)網(wǎng)產(chǎn)生的時候，互聯(lián)網(wǎng)用戶量很多，每天都有很多人使用微博、QQ等聊天工具進行聊天，加上手機和電腦越來越智能化，越來越方便用戶的使用，而在這個過程中，數(shù)據(jù)的產(chǎn)生是通過用戶自愿完成的，此時的數(shù)據(jù)處于主動產(chǎn)生的狀態(tài)。

1.3 自動產(chǎn)生階段

數(shù)據(jù)量出現(xiàn)第三次飛躍是在數(shù)據(jù)能夠自動產(chǎn)生的時候。在這個階段，物聯(lián)網(wǎng)與移動通信網(wǎng)絡相互結(jié)合在一起，產(chǎn)生了很多傳感設(shè)備，并且得到全球的廣泛使用，數(shù)據(jù)是通過自動的方式來產(chǎn)生的，于是就迎來的大數(shù)據(jù)時代。

大數(shù)據(jù)通常有以下幾個特點：

（1）大數(shù)據(jù)所包含的數(shù)據(jù)量很大。

（2）大數(shù)據(jù)并沒有固定的結(jié)構(gòu)，非結(jié)構(gòu)化較強。

（3）大數(shù)據(jù)的來源很多，可以通過不同設(shè)備來進行采集。

（4）大數(shù)據(jù)可以在短時間內(nèi)獲得，具有實時性。

2 大數(shù)據(jù)處理的關(guān)鍵技術(shù)

在移動通信網(wǎng)絡中， 特別是在物聯(lián)網(wǎng)中，很多終端設(shè)備通常都是處于無人監(jiān)控的狀態(tài)，加上其所工作的環(huán)境大都是比較惡劣的，所以就使得物聯(lián)網(wǎng)對這些數(shù)據(jù)進行采集時，會出現(xiàn)很多錯誤的數(shù)據(jù)，收集到的原始數(shù)據(jù)并沒有很強的可靠性，比如一些數(shù)據(jù)與實際存在誤差、一些數(shù)據(jù)收集不完整等，并且還有很多數(shù)據(jù)是多余的。所以，就應該通過各種方式來提取大量數(shù)據(jù)中比較有價值的數(shù)據(jù)。就目前而言，也產(chǎn)生了很多數(shù)據(jù)清洗技術(shù)，但是這些數(shù)據(jù)只適用于具有較強結(jié)構(gòu)化的數(shù)據(jù)，大數(shù)據(jù)又是屬于非結(jié)構(gòu)性，所以并沒有起到很好的作用。并且通過這種技術(shù)，也不能處理大量的數(shù)據(jù)，就使得大數(shù)據(jù)的實時性不能得到體現(xiàn)。所以，對于大數(shù)據(jù)的清洗技術(shù)還需要繼續(xù)深入研究。

大數(shù)據(jù)的來源很多，把收集到的各方面數(shù)據(jù)融合在一起，這對于數(shù)據(jù)的分析很重要。數(shù)據(jù)融合也就是所收集到的數(shù)據(jù)源是不一樣的，這些數(shù)據(jù)通過不同的表象來對實體進行表達，那么就要把這些數(shù)據(jù)轉(zhuǎn)換成對同一個表象的表達，減少相關(guān)數(shù)據(jù)產(chǎn)生沖突的過程。而在移動通信網(wǎng)絡中，很多數(shù)據(jù)都是具有多源性，所以就很有必要對其進行統(tǒng)一，使得各個數(shù)據(jù)之間產(chǎn)生關(guān)聯(lián)性。那么就要具有結(jié)構(gòu)化和非結(jié)構(gòu)化兩種數(shù)據(jù)關(guān)聯(lián)在一起，然后再通過數(shù)據(jù)融合的方式來提取其中比較關(guān)鍵的數(shù)據(jù)。

經(jīng)過對數(shù)據(jù)進行一系列的處理之后，包括清洗、提取和融合等，還應該分析從移動通信網(wǎng)絡中所獲得的大數(shù)據(jù)，并能夠挖掘一些新的數(shù)據(jù)。想要分析并挖掘移動通信網(wǎng)絡中的大數(shù)據(jù)，通常都要考慮到數(shù)據(jù)的表示以及數(shù)據(jù)儲存兩個方面。其中，還需要具有比較先進的挖掘工具，并且也要改善數(shù)據(jù)的開發(fā)環(huán)境，這對于大數(shù)據(jù)的處理來說非常重要。

對大數(shù)據(jù)進行處理的另一個關(guān)鍵技術(shù)就是通過可視化來分析數(shù)據(jù)。移動通信網(wǎng)絡的數(shù)據(jù)量非常龐大，并且對其進行挖掘的結(jié)果也是一個大數(shù)據(jù)，而把這些數(shù)據(jù)進行可視化分析，就能夠讓人們更加容易理解這些數(shù)據(jù)，并能夠?qū)ζ溥M行更加深入的分析；同時，對這些數(shù)據(jù)進行可視化分析，可以促進人機交互的進行，通過人機交互的方式來對大數(shù)據(jù)進行處理，就能夠大大的提高處理的能力，工作效率也明顯增強。這對于大數(shù)據(jù)處理來說，具有比較實際的意義。

當然，移動通信網(wǎng)絡中的大數(shù)據(jù)所要面臨的挑戰(zhàn)不僅僅包括以上這些，還包括大數(shù)據(jù)的安全問題，并且可能會涉及到一些隱私問題，所以就要加強數(shù)據(jù)管理手段，努力提高數(shù)據(jù)處理技術(shù)，實現(xiàn)大數(shù)據(jù)的有效管理。

3 “云計算”

通過以上的分析，我們很容易就可以看出，目前移動通信網(wǎng)絡中的數(shù)據(jù)量越來越大，并且需要對大數(shù)據(jù)的分析也要求更加深入。所以這就給移動通信網(wǎng)絡帶來的更多的挑戰(zhàn)，既要保證大數(shù)據(jù)的有效性，又要求其具有實時性。云計算也因此而產(chǎn)生了，它給移動通信網(wǎng)絡中大數(shù)據(jù)提供了新的處理方法。

早在2004年的時候，谷歌公司就提出了MapReduce技術(shù)，這也成為了一個比較典型的云計算模型。這個模型主要就是針對大數(shù)據(jù)處理而產(chǎn)生，它可以對移動通信網(wǎng)絡中的數(shù)據(jù)進行分析，于是就受到了各界人士的青睞。MapReduce主要包括三個技術(shù)框架：

（1）分布式文件系統(tǒng)；

（2）分析和處理并行編輯模型；

（3）分析和處理并行執(zhí)行引擎。

雖然在MapReduce推出之后，得到了各界人士的青睞，但是在運用MapReduce的過程中，還是出現(xiàn)的很多不足之處，比如MapReduce在使用過程中不支持圖表功能，并且不能對數(shù)據(jù)進行存取優(yōu)化等很多問題。遇到問題就要找出解決的辦法，所以相關(guān)研究人員又對MapReduce作進一步的改進工作，使得其性能得到了更多的改善，并且也更加容易使用，具有更大的實用價值。

目前MapReduce在很多方面都得到了應用，并且也得到了各界的認可，承認它是一個能夠有效地對大數(shù)據(jù)進行處理的工具。但是，它還是不夠完善，在進行大數(shù)據(jù)處理的時候，還是出現(xiàn)一些缺陷，利用MapReduce來進行大數(shù)據(jù)處理時，它只能分批來完成；對于在線數(shù)據(jù)，MapReduce還無法實現(xiàn)處理功能。

4 總結(jié)

移動通信網(wǎng)絡的出現(xiàn)，產(chǎn)生了越來越多的數(shù)據(jù)量，并且還在不斷地增多。這些數(shù)據(jù)給各界帶來了很多便利，但是同時也要面臨大數(shù)據(jù)的處理的難題。目前對大數(shù)據(jù)處理的關(guān)鍵技術(shù)就是通過“云計算”來解決，但其還存在許多不足，希望能夠得到進一步改善。

參考文獻

[1]張錚.淺析網(wǎng)絡大數(shù)據(jù)的采集和處理方法[J].信息系統(tǒng)工程，2015（10）.

[2]劉智慧，張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J]. 浙江大學學報（工學版），2014（06）.

[3]王秀磊，劉鵬.大數(shù)據(jù)關(guān)鍵技術(shù)[J].中興通訊技術(shù)，2013（04）.

[4]李晨暉，催建明，陳超泉.大數(shù)據(jù)知識服務平臺構(gòu)建關(guān)鍵技術(shù)研究[J].情報資料工作，2013（22）：29-44.

作者單位

山西省通信管理局 山西省太原市 030002