趙青

摘要：現(xiàn)階段我國(guó)的科學(xué)技術(shù)得到了迅速發(fā)展，一些新技術(shù)在生產(chǎn)工作當(dāng)中也得到了廣泛應(yīng)用，其中的大數(shù)據(jù)挖掘技術(shù)就是重要應(yīng)用技術(shù)。通信企業(yè)的發(fā)展中，對(duì)大數(shù)據(jù)挖掘技術(shù)的應(yīng)用需求也有著加強(qiáng)，但是大數(shù)據(jù)挖掘技術(shù)也面臨著一些挑戰(zhàn)。本文主要就大數(shù)據(jù)挖掘的功能和主要技術(shù)加以闡述，然后對(duì)大數(shù)據(jù)挖掘面臨的挑戰(zhàn)和發(fā)展趨勢(shì)詳細(xì)探究。

關(guān)鍵詞：大數(shù)據(jù)；挑戰(zhàn)；發(fā)展趨勢(shì)

中圖分類(lèi)號(hào)：TP311.13 文獻(xiàn)識(shí)別碼：A 文章編號(hào)：1001-828X（2017）013-0-01

引言

大數(shù)據(jù)能夠分成科學(xué)大數(shù)據(jù)以及決策大數(shù)據(jù)等，大數(shù)據(jù)挖掘技術(shù)的應(yīng)用，呈現(xiàn)的是倒金字塔型，底部是通過(guò)IT計(jì)算系統(tǒng)以及平臺(tái)層，中間算法以及模型層，頂層應(yīng)用層所構(gòu)成的完善系統(tǒng)。當(dāng)前的大數(shù)據(jù)挖掘技術(shù)在通信企業(yè)當(dāng)中的應(yīng)用發(fā)揮著重要作用，注重對(duì)技術(shù)的理論深化研究對(duì)通信企業(yè)的良好發(fā)展就有著積極意義。

一、大數(shù)據(jù)挖掘的功能和主要技術(shù)分析

1.大數(shù)據(jù)挖掘的功能體現(xiàn)

大數(shù)據(jù)挖掘的功能比較多，在自動(dòng)預(yù)測(cè)趨勢(shì)以及行為的功能上較為突出，數(shù)據(jù)挖掘自動(dòng)在大型的數(shù)據(jù)庫(kù)當(dāng)中尋找預(yù)測(cè)性信息的作用比較突出，這樣就大大提高了查詢(xún)數(shù)據(jù)的效率。而在大數(shù)據(jù)挖掘功能中的關(guān)聯(lián)分析的功能上也比較突出，關(guān)聯(lián)分析的主要功能就是找到數(shù)據(jù)庫(kù)當(dāng)中隱藏的關(guān)聯(lián)網(wǎng)，在關(guān)聯(lián)分析生成的規(guī)則的可信度就比較突出[1]。大數(shù)據(jù)挖掘功能當(dāng)中的聚類(lèi)功能也比較突出，其中就有著傳統(tǒng)模式識(shí)別法以及數(shù)學(xué)分類(lèi)學(xué)。功能中的偏差檢測(cè)功能比較突出，在數(shù)據(jù)庫(kù)當(dāng)中數(shù)據(jù)常有的異常記錄當(dāng)中，偏差所包含的潛在知識(shí)比較多，有不滿(mǎn)足規(guī)則的特例以及觀測(cè)結(jié)果等偏差。

2.大數(shù)據(jù)挖掘主要技術(shù)

其一，神經(jīng)元網(wǎng)絡(luò)技術(shù)。大數(shù)據(jù)挖掘技術(shù)當(dāng)中的神經(jīng)元網(wǎng)絡(luò)技術(shù)是比較重要的應(yīng)用技術(shù)，其中用于分類(lèi)以及聚類(lèi)和特征采掘的作用發(fā)揮比較突出。神經(jīng)網(wǎng)絡(luò)模仿生物神經(jīng)網(wǎng)絡(luò)，就是分布矩陣結(jié)構(gòu)。神經(jīng)元網(wǎng)絡(luò)技術(shù)當(dāng)中前饋式網(wǎng)絡(luò)以及反饋式網(wǎng)絡(luò)和自組織網(wǎng)絡(luò)是比較重要類(lèi)型[2]。其中前饋式網(wǎng)絡(luò)是以感知機(jī)以及反向傳播模型等作為代表的，能用在預(yù)測(cè)以及模式識(shí)別上。在自組織網(wǎng)絡(luò)類(lèi)型方面，主要是以ARI模型等為代表的，在聚類(lèi)的應(yīng)用上比較突出，在神經(jīng)元網(wǎng)絡(luò)的技術(shù)應(yīng)用下，就能大大提高實(shí)際問(wèn)題的解決效率。

其二，線性回歸分析技術(shù)。大數(shù)據(jù)挖掘技術(shù)中的線性回歸分析技術(shù)的作用也比較重要，其包含著預(yù)測(cè)目標(biāo)以及預(yù)測(cè)屬性，兩者關(guān)系能繪制二維空間。在具體實(shí)施中，沿著軸繪制預(yù)測(cè)屬性值，在這一回歸模型方面就能視為一條曲線，曲線用于最小化實(shí)際預(yù)測(cè)值以及線上點(diǎn)間錯(cuò)誤發(fā)生率。

其三，決策樹(shù)技術(shù)。大數(shù)據(jù)挖掘技術(shù)中決策樹(shù)技術(shù)的應(yīng)用也比較重要，決策樹(shù)是在數(shù)據(jù)屬性值基礎(chǔ)上實(shí)施的歸納分類(lèi)，其主要的優(yōu)勢(shì)是可理解性和直觀性。其和神經(jīng)網(wǎng)絡(luò)最大卻別就是決策樹(shù)能解釋得出結(jié)果的決策過(guò)程。

二、大數(shù)據(jù)挖掘面臨的挑戰(zhàn)和發(fā)展趨勢(shì)

1.大數(shù)據(jù)挖掘面臨的挑戰(zhàn)

大數(shù)據(jù)挖掘所面臨的挑戰(zhàn)比較多，在數(shù)據(jù)挖掘?qū)ο蠓矫?，更大型的?shù)據(jù)可以及更高維數(shù)以及屬性間更復(fù)雜的關(guān)系，諸多的因素就會(huì)使得搜索知識(shí)的代價(jià)比較高。大數(shù)據(jù)挖掘技術(shù)的應(yīng)用下，在多種形式輸入數(shù)據(jù)上就面臨著比較大的挑戰(zhàn)，在當(dāng)前的數(shù)據(jù)挖掘工具處理數(shù)據(jù)的形式上是比較有限的，能處理數(shù)值型的結(jié)構(gòu)化數(shù)據(jù)，但是對(duì)文本以及數(shù)學(xué)公式等進(jìn)行挖掘，還有事數(shù)據(jù)自身的缺損以及噪聲，在商業(yè)數(shù)據(jù)庫(kù)當(dāng)中的應(yīng)用也有著很大挑戰(zhàn)。

大數(shù)據(jù)挖掘技術(shù)應(yīng)用所面臨的挑戰(zhàn)當(dāng)中，驗(yàn)證技術(shù)的局限性也比較突出，在技術(shù)應(yīng)用中是通過(guò)特定分析方法以及邏輯形式發(fā)現(xiàn)知識(shí)的。在這一過(guò)程當(dāng)中，系統(tǒng)就可能沒(méi)有能力交互證實(shí)發(fā)現(xiàn)的知識(shí)，這就會(huì)造成發(fā)現(xiàn)的知識(shí)沒(méi)有普遍實(shí)用性[3]。還有事待挖掘的數(shù)據(jù)自身可能是錯(cuò)誤的，這樣在數(shù)據(jù)挖掘的有效性方面就受到了相應(yīng)影響。大數(shù)據(jù)挖掘所面臨的問(wèn)題中，在知識(shí)的表達(dá)以及解釋機(jī)制和知識(shí)的維護(hù)更新方面也比較突出，在支持的局限和其他系統(tǒng)的集成方面也面臨著很大挑戰(zhàn)。

大數(shù)據(jù)挖掘技術(shù)的應(yīng)用中，所得到的預(yù)言模型不會(huì)告訴一個(gè)人為什么會(huì)做一件事和采取某個(gè)行動(dòng)，為保障數(shù)據(jù)挖掘結(jié)構(gòu)的價(jià)值，用戶(hù)就要能對(duì)自身的數(shù)據(jù)進(jìn)行了解。輸入數(shù)據(jù)庫(kù)當(dāng)中的異常數(shù)據(jù)以及不相關(guān)字段等對(duì)數(shù)據(jù)挖掘輸出結(jié)果質(zhì)量就有著影響。數(shù)據(jù)挖掘不會(huì)在缺少指導(dǎo)下自動(dòng)發(fā)現(xiàn)模型，數(shù)據(jù)挖掘不會(huì)替代有經(jīng)驗(yàn)的商業(yè)分析師以及管理人員所起的作用。

2.大數(shù)據(jù)挖掘技術(shù)發(fā)展趨勢(shì)

大數(shù)據(jù)挖掘技術(shù)的進(jìn)一步升級(jí)下，在應(yīng)用的范圍上也進(jìn)一步擴(kuò)大化，其中將大數(shù)據(jù)挖掘技術(shù)在通信企業(yè)領(lǐng)域的應(yīng)用就能發(fā)揮積極作用，當(dāng)前大數(shù)據(jù)挖掘的技術(shù)發(fā)展趨勢(shì)就是開(kāi)發(fā)針對(duì)特定應(yīng)用的數(shù)據(jù)挖掘系統(tǒng)。在未來(lái)的發(fā)展過(guò)程中，大數(shù)據(jù)挖掘技術(shù)就會(huì)實(shí)現(xiàn)可伸縮的數(shù)據(jù)挖掘方法目標(biāo)[4]。數(shù)據(jù)挖掘技術(shù)的重要發(fā)展方向就是基于結(jié)束挖掘的發(fā)展方向，增加用戶(hù)交互同時(shí)來(lái)改進(jìn)挖掘處理的總體效率，能夠有效提供額外控制方法，能允許用戶(hù)說(shuō)明以及使用約束。

大數(shù)據(jù)挖掘技術(shù)的應(yīng)用發(fā)展中，數(shù)據(jù)挖掘語(yǔ)言標(biāo)準(zhǔn)化的目標(biāo)將會(huì)實(shí)現(xiàn)，標(biāo)準(zhǔn)的數(shù)據(jù)挖掘語(yǔ)言以及其他方面標(biāo)準(zhǔn)化工作對(duì)數(shù)據(jù)挖掘系統(tǒng)化的開(kāi)發(fā)就有著積極作用，能有效優(yōu)化多數(shù)據(jù)挖掘系統(tǒng)以及功能間互操作。大數(shù)據(jù)挖掘技術(shù)的應(yīng)用過(guò)程中，可視化數(shù)據(jù)挖掘的技術(shù)將會(huì)進(jìn)一步發(fā)展，復(fù)雜數(shù)據(jù)類(lèi)型挖掘新方法的發(fā)展應(yīng)用目標(biāo)將會(huì)實(shí)現(xiàn)。

三、結(jié)語(yǔ)

綜上所述，大數(shù)據(jù)挖掘技術(shù)自身的優(yōu)勢(shì)使其在實(shí)際工作當(dāng)中得到了廣泛應(yīng)用，在將大數(shù)據(jù)挖掘技術(shù)在通信企業(yè)當(dāng)中加以科學(xué)化的應(yīng)用下，就能提高企業(yè)的運(yùn)行管理效率。希望能通過(guò)此次的理論研究，對(duì)大數(shù)據(jù)技術(shù)在生產(chǎn)工作當(dāng)中的廣泛應(yīng)用起到一定促進(jìn)作用。

參考文獻(xiàn)：

[1]丁華.面向用戶(hù)體驗(yàn)的大數(shù)據(jù)服務(wù)架構(gòu)研究現(xiàn)狀和存在問(wèn)題[J].河南科技，2016（12）.

[2]向志軍.數(shù)據(jù)挖掘技術(shù)在高職單片機(jī)課程評(píng)價(jià)分析中的應(yīng)用[J].河南科技，2016（15）.

[3]邵德偉.大數(shù)據(jù)量數(shù)據(jù)庫(kù)集群技術(shù)在政務(wù)云平臺(tái)中應(yīng)用[J].機(jī)電工程技術(shù)，2016（Z2）.

[4]蔡澤鋒.數(shù)據(jù)挖掘在高校教學(xué)及學(xué)習(xí)評(píng)價(jià)中的應(yīng)用[J].機(jī)電工程技術(shù)，2016（Z2）.

作者簡(jiǎn)介：趙 青（1972-），女，漢族，寧夏中衛(wèi)人，本科，工作單位：中國(guó)電信股份有限公司寧夏分公司，主要從事企業(yè)信息化、數(shù)據(jù)挖掘研究。