劉陽(yáng)

哈爾濱職業(yè)技術(shù)學(xué)院

?

基于網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)

劉陽(yáng)

哈爾濱職業(yè)技術(shù)學(xué)院

摘要：數(shù)據(jù)挖掘技術(shù)是對(duì)數(shù)據(jù)的有效的隱性的提取。數(shù)據(jù)挖掘技術(shù)與網(wǎng)絡(luò)息息相關(guān)。很多數(shù)據(jù)信息都是保存在網(wǎng)絡(luò)當(dāng)中，而數(shù)據(jù)挖掘技術(shù)，就是在眾多的數(shù)據(jù)集合當(dāng)中進(jìn)行發(fā)現(xiàn)與搜集。本文就數(shù)據(jù)挖掘如何在網(wǎng)絡(luò)中進(jìn)行工作、數(shù)據(jù)挖掘的常用技術(shù)、以及設(shè)計(jì)的應(yīng)用領(lǐng)域進(jìn)行了詳細(xì)的闡述。

1　數(shù)據(jù)挖掘概念簡(jiǎn)介

在網(wǎng)絡(luò)中的數(shù)據(jù)挖掘，是通過(guò)對(duì)網(wǎng)絡(luò)中共享的信息，存放的海量數(shù)據(jù)，進(jìn)行模式探索。把一些具有預(yù)測(cè)效果和規(guī)律性的描述效果的數(shù)據(jù)信息進(jìn)行分類(lèi)總結(jié)。把這些重要的數(shù)據(jù)應(yīng)用在統(tǒng)計(jì)學(xué)、分類(lèi)、預(yù)測(cè)、描述等等各個(gè)方面。數(shù)據(jù)是網(wǎng)絡(luò)中存放的基本單位。網(wǎng)絡(luò)中存在海量數(shù)據(jù)是不爭(zhēng)的事實(shí)。但這些數(shù)據(jù)的收集和有效利用，就是通過(guò)數(shù)據(jù)挖掘來(lái)實(shí)現(xiàn)的。嚴(yán)謹(jǐn)?shù)恼f(shuō)數(shù)據(jù)挖掘是在尋找數(shù)據(jù)模型。首先獲得數(shù)據(jù)源，這是網(wǎng)絡(luò)的作用。其次進(jìn)行數(shù)據(jù)識(shí)別與匹配。利用一些專(zhuān)業(yè)領(lǐng)域知識(shí)將數(shù)據(jù)轉(zhuǎn)化為可用

2　數(shù)據(jù)挖掘技術(shù)種類(lèi)

數(shù)據(jù)挖掘技術(shù)總結(jié)為十三大類(lèi)。篇幅有限這里不意義贅述。舉例進(jìn)行說(shuō)明。

首先，遺傳算法是其中重要一類(lèi)。遺傳算法借鑒的是生物學(xué)中，對(duì)于路徑的尋找、生物的遺傳和變異來(lái)進(jìn)行的規(guī)律變化。通過(guò)這些變化可以應(yīng)用于優(yōu)先級(jí)別、權(quán)值分配、路徑選擇等多種方面。比如在網(wǎng)絡(luò)考試系統(tǒng)中，螞蟻算法就是經(jīng)常使用的遺傳算法的一種?？梢酝ㄟ^(guò)它實(shí)現(xiàn)試卷難度數(shù)值的測(cè)定。對(duì)于數(shù)據(jù)挖掘來(lái)說(shuō)，它適用于樣本采集中分類(lèi)是否準(zhǔn)確的判斷。其次關(guān)聯(lián)規(guī)則。熟悉數(shù)據(jù)庫(kù)相關(guān)技術(shù)的對(duì)這一概念應(yīng)該并不陌生。在網(wǎng)絡(luò)數(shù)據(jù)庫(kù)當(dāng)中，在不同的庫(kù)與庫(kù)表當(dāng)中，某個(gè)關(guān)鍵的字段，在不同的庫(kù)與庫(kù)表中都可以以產(chǎn)生某種作用。從而產(chǎn)生了相應(yīng)的規(guī)律性。這就是我們所說(shuō)的關(guān)聯(lián)。詳細(xì)的又可以根據(jù)關(guān)聯(lián)性劃分出不同種類(lèi)的關(guān)聯(lián)。在數(shù)據(jù)挖掘中用于分析數(shù)據(jù)之間規(guī)則的可信程度。再次，粗糙集與模糊集：兩者在概念上好似容易混淆。但二者還是有分別的。粗糙集一般是針對(duì)對(duì)象或者數(shù)據(jù)的相關(guān)屬性而言。在我們?nèi)粘？偨Y(jié)的屬性中，種類(lèi)是有限度的，不可能適用于每種數(shù)據(jù)。因此一些特殊的數(shù)據(jù)在沒(méi)有規(guī)范的屬性進(jìn)行描述的時(shí)候采用粗糙集的方式。而對(duì)于模糊集來(lái)說(shuō)，主要是針對(duì)數(shù)據(jù)的邊界值。利用某個(gè)域值的范圍來(lái)進(jìn)行判讀與預(yù)估。

3　網(wǎng)絡(luò)數(shù)據(jù)挖掘的具體應(yīng)用：

一方面航天應(yīng)用舉例：在天文學(xué)研究以及航天數(shù)據(jù)分析中，人們遇到了一個(gè)很大的難題，即人工對(duì)大批量數(shù)據(jù)分析的無(wú)能為力。SKICAT不僅提供對(duì)數(shù)據(jù)庫(kù)的管理，并且通過(guò)訓(xùn)練可以對(duì)天體進(jìn)行辨識(shí)。它采用了模塊化設(shè)計(jì)，共有三個(gè)主要功能模塊:分類(lèi)建立、分類(lèi)管理及統(tǒng)計(jì)分析。其中，分類(lèi)建立是通過(guò)有示范的訓(xùn)練建立對(duì)天體的辨識(shí)機(jī)制。對(duì)天體的辨識(shí)是進(jìn)行其它數(shù)據(jù)分析的前提，只有將天體識(shí)別出來(lái)以后，如是星系還是星球，才能進(jìn)行相應(yīng)的研究。使用SKICAT對(duì)天體數(shù)據(jù)進(jìn)行分析，一方面是通過(guò)機(jī)器學(xué)習(xí)將知識(shí)提取過(guò)程由學(xué)習(xí)算法完成，從而可以實(shí)現(xiàn)對(duì)大批量數(shù)據(jù)的分析，另一方面是辨識(shí)那些亮度很低、人工難以判讀的天體圖像，以進(jìn)行后續(xù)分析。另一方面，Bayesian網(wǎng)是由變量及其關(guān)聯(lián)組成的有向圖。它主要用于處理實(shí)際應(yīng)用中遇到的不確定信息。圖中還帶有各變量的概率分布，定量的概率信息被表示為條件概率表中在決策前對(duì)實(shí)際問(wèn)題的先驗(yàn)的理解與把握。然而，針對(duì)實(shí)際問(wèn)題建立一個(gè)應(yīng)用于決策的Bayesian網(wǎng)絡(luò)時(shí)存在兩個(gè)問(wèn)題。首先，我們常常是憑個(gè)人對(duì)問(wèn)題的經(jīng)驗(yàn)與理解來(lái)建立模型的，因此建立的模型很難反映問(wèn)題的客觀實(shí)際。其二，在確定Bayesian網(wǎng)中的條件概率表時(shí)，我們需要用定量的數(shù)值以支持計(jì)算，但實(shí)際中，人們很難給出一個(gè)具體概率值，一般的應(yīng)用往往是根據(jù)經(jīng)驗(yàn)，而數(shù)據(jù)挖掘技術(shù)恰恰為我們提供了一系列有效的方法來(lái)尋找隱藏于大規(guī)模數(shù)據(jù)之中的有用數(shù)據(jù)，以解決以上兩個(gè)問(wèn)題。最后，數(shù)據(jù)挖掘技術(shù)還常常應(yīng)用于商業(yè)領(lǐng)域。一個(gè)企業(yè)對(duì)未來(lái)的產(chǎn)品的預(yù)估，可以通過(guò)數(shù)據(jù)挖掘進(jìn)行分析。當(dāng)產(chǎn)品的銷(xiāo)售預(yù)測(cè)度較高時(shí)，可以加大產(chǎn)品開(kāi)發(fā)與生產(chǎn)量。商品銷(xiāo)售企業(yè)，也可以根絕用戶(hù)習(xí)慣數(shù)據(jù)，進(jìn)行分析。找出哪些商品是會(huì)收到用戶(hù)喜歡，或者擁有類(lèi)似屬性的。這類(lèi)產(chǎn)品就可以集中采購(gòu)，而相反情況，就應(yīng)該減少貨品的采購(gòu)。保證企業(yè)穩(wěn)速發(fā)展。

總之，基于網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)，作用是從網(wǎng)絡(luò)海量數(shù)據(jù)中進(jìn)行搜集、分類(lèi)、總結(jié)，從而把這些數(shù)據(jù)通過(guò)科學(xué)的方法轉(zhuǎn)化為具有價(jià)值的信息和寶貴的知識(shí)經(jīng)驗(yàn)。數(shù)據(jù)挖掘不是簡(jiǎn)單的搜集、分類(lèi)那么簡(jiǎn)單。在這過(guò)程中，它需要使用大量的科學(xué)方法與算法來(lái)實(shí)現(xiàn)。例如文中介紹的遺傳算法、關(guān)聯(lián)規(guī)則、模糊集、粗糙集。當(dāng)然還不止這些。一些統(tǒng)計(jì)技術(shù)、人工智能的相關(guān)方法也經(jīng)常使用。通過(guò)挖掘技術(shù)分類(lèi)提取后。這些技術(shù)可以應(yīng)用于各個(gè)領(lǐng)域。在商業(yè)領(lǐng)域判斷企業(yè)發(fā)展、在航天領(lǐng)域進(jìn)行大數(shù)據(jù)分析。在網(wǎng)絡(luò)計(jì)算領(lǐng)域提出更優(yōu)方案。綜上所述，基于網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)，發(fā)揮了巨大作用。在未來(lái)仍然有廣闊打發(fā)展空間。

參考文獻(xiàn)

[1]曹秀英.基于粗集的數(shù)據(jù)挖掘技術(shù)及其應(yīng)用研究[D].哈爾濱工程大學(xué) 2003

[2]劉剛.數(shù)據(jù)挖掘技術(shù)與分類(lèi)算法研究[D].中國(guó)人民解放軍信息工程大學(xué) 2004

關(guān)鍵字：數(shù)據(jù)挖掘 預(yù)測(cè)性 相關(guān)算法 模式識(shí)別 應(yīng)用領(lǐng)域