于祥茹

[摘要]數(shù)據(jù)挖掘是數(shù)據(jù)庫領(lǐng)域中報有應用價值的課題，支持決鐿系統(tǒng)，人工智能等領(lǐng)域。簡要介紹數(shù)據(jù)挖掘的概念以及分類。另外。重點介紹數(shù)據(jù)挖掘的兩種主要技術(shù)。

[關(guān)鍵詞]數(shù)據(jù)挖掘人工神經(jīng)網(wǎng)絡決策樹

中圖分類號：TP3文獻標識碼：A文章編號：1671—7597(2009)1020081—01

隨著數(shù)據(jù)庫技術(shù)的迅速發(fā)展以及數(shù)據(jù)庫管理系統(tǒng)的廣泛應用，人們積累的數(shù)據(jù)越來越多。激增的數(shù)據(jù)背后隱藏著許多重要的信息，人們希望能夠?qū)ζ溥M行更高層次的分析，以便更好地利用這些數(shù)據(jù)。目前的數(shù)據(jù)庫系統(tǒng)雖然可以高效地實現(xiàn)數(shù)據(jù)的錄入、查詢、統(tǒng)計等功能，但無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)聯(lián)和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預測未來的發(fā)展趨勢。缺乏挖掘數(shù)據(jù)背后隱藏的知識的手段，導致了“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象，應用的需求促使一門新的技術(shù)誕生數(shù)據(jù)挖掘。

一、數(shù)據(jù)挖掘的概念

數(shù)據(jù)挖掘的概念有多種的描述，其中常見的概念描述有如下的兩種：

第一種，GPi atetsky Shapior，w.J.Frawley等定義數(shù)據(jù)挖掘為從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示出隱含的、先進未知的、潛在有用的信急的非平凡過程。

第二種，數(shù)據(jù)挖掘的廣義觀點：數(shù)據(jù)挖掘是從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中的大量數(shù)據(jù)中挖掘有趣知識的過程。

二、數(shù)據(jù)挖掘的分類

從不同的視角看，數(shù)據(jù)挖掘技術(shù)有一下三種分類方法：

1、根據(jù)發(fā)現(xiàn)知識的種類分類。2、根據(jù)挖掘的數(shù)據(jù)庫的種類分類。3、根據(jù)采用的技術(shù)分類。

三、數(shù)據(jù)挖掘的主要技術(shù)介紹

數(shù)據(jù)挖掘的技術(shù)主要分為兩類：一類是預言，用歷史來預測未來；另一類是描述，目的是了解數(shù)據(jù)中的潛在規(guī)律。具體來說主要可以分為人工神經(jīng)網(wǎng)絡技術(shù)、決策樹、遺傳算法、近鄰算法、規(guī)則推導等。下面說一下人工神經(jīng)網(wǎng)絡與決策樹[2]。

(一)人工神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡最早是由心理學家和神經(jīng)生物學家提出的，旨在尋求開發(fā)和測試神經(jīng)的計算模擬。粗略的說，神經(jīng)網(wǎng)絡是一組連接的輸入／輸出單元，其中每個連接都與一個權(quán)相相聯(lián)。在學習階段，通過調(diào)整神經(jīng)網(wǎng)絡的權(quán)，使得能夠；預測輸入樣本的正確類標號來學習。由于單元之間的連接，神經(jīng)網(wǎng)絡學習又稱連接者學習[3]。

(二)決策樹。決策樹提供了一種展示類似在什么條件下會得到什么值這類規(guī)則的方法。比如，在貸款申請中，要對申請的風險太小做出判斷，圖1是為了解決這個問題而建立的一棵決策樹，從中我們可以看到?jīng)Q策樹的基本組成部分：決策節(jié)點、分支和葉子。

決策樹的每個節(jié)點子節(jié)點的個數(shù)與決策樹在用的算法有關(guān)。如CART算法得到的決策樹每個節(jié)點有兩個分支，這種樹稱為X樹。允許節(jié)點含有多于兩個子節(jié)點的樹稱為多叉樹。

數(shù)據(jù)挖掘中決策樹是一種經(jīng)常要用到的技術(shù)，可以用于分析數(shù)據(jù)，同樣也可以用來作預測(就像上面的銀行官員用他來預測貸款風險)。常用的算法有CHAID、CART、Quest~C5，0[4]。

四、數(shù)據(jù)挖掘的功能

數(shù)據(jù)挖掘通過預測未來趨勢及行為，做出前攝的、基于知識的決策。數(shù)據(jù)挖掘的目標是從數(shù)據(jù)庫中發(fā)現(xiàn)隱含的、有意義的知識，主要有以下五類功能。

(一)自動預測趨勢和行為。數(shù)據(jù)挖掘自動在大型數(shù)據(jù)庫中尋找預測性信息，以往需要進行大量手工分析的問題如今可以迅速直接由數(shù)據(jù)本身得出結(jié)論。一個典型的例子是市場預測問題，數(shù)據(jù)挖掘使用過去有關(guān)促銷的數(shù)據(jù)來尋找未來投資中回報最大的用戶，其它可預測的問題包括預報破產(chǎn)以及認定對指定事件最可能作出反應的群體。

(二)關(guān)聯(lián)分析。數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類重要的可被發(fā)現(xiàn)的知識。若兩個或多個變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡單關(guān)聯(lián)、時序關(guān)聯(lián)、因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。有時并不知道數(shù)據(jù)庫中數(shù)據(jù)的關(guān)聯(lián)函數(shù)，即使知道也是不確定的，因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。

(三)聚類。數(shù)據(jù)庫中的記錄可被化分為一系列有意義的子集，即聚類。聚類增強了人們對客觀現(xiàn)實的認識，是概念描述和偏差分析的先決條件。聚類技術(shù)主要包括傳統(tǒng)的模式識別方法和數(shù)學分類學。

(四)概念描述。概念描述就是對某類對象的內(nèi)涵進行描述，并概括這類對象的有關(guān)特征。概念描述分為特征性描述和區(qū)別性描述，前者描述某類對象的共同特征，后者描述不同類對象之間的區(qū)別。生成一個類的特征性描述只涉及該類對象中所有對象的共性。生成區(qū)別性描述的方法很多，如決策樹方法、遺傳算法等。

(五)偏差檢測。數(shù)據(jù)庫中的數(shù)據(jù)常有一些異常記錄，從數(shù)據(jù)庫中檢測這些偏差很有意義。偏差包括很多潛在的知識，如分類中的反常實例、不滿足規(guī)則的特例、觀測結(jié)果與模型預測值的偏差、量值隨時間的變化等。偏差檢測的基本方法是，尋找觀測結(jié)果與參照值之間有意義的差別。

五、數(shù)據(jù)挖掘熱點

就目前來看，將來的幾個熱點包括網(wǎng)站的數(shù)據(jù)挖掘、生物信息或基因的數(shù)據(jù)挖掘及其文本的數(shù)據(jù)挖掘。下面就這幾個方面加以簡單介紹。

(一)網(wǎng)站的數(shù)據(jù)挖掘。電子商務業(yè)務的競爭比傳統(tǒng)的業(yè)務競爭更加激烈，原因有很多方面，其中一個因素是客戶從一個電子商務網(wǎng)站轉(zhuǎn)換到競爭對手那邊，只需點擊幾下鼠標即可。目前，有很多廠商正在致力于開發(fā)專門用于網(wǎng)站挖掘的軟件。

(二)生物信息或基因的數(shù)據(jù)挖掘。生物信息或基因數(shù)據(jù)挖掘則完全屬于另外一個領(lǐng)域，在商業(yè)上很難講有多大的價值，但對于人類卻受益匪淺。

(三)文本的數(shù)據(jù)挖掘。人們很關(guān)心的另外一個話題是文本數(shù)據(jù)挖掘。舉個例子，在客戶服務中心，把同客戶的談話轉(zhuǎn)化為文本數(shù)據(jù)，再對這些數(shù)據(jù)進行挖掘，進而了解客戶對服務的滿意程度和客戶的需求以及客戶之間的相互關(guān)系等信息。

六、結(jié)束語

越來越多的例子可以證明數(shù)據(jù)挖掘在科學和商業(yè)領(lǐng)域中有越來越多的應用。從原來的概念，到數(shù)據(jù)挖掘應用的實現(xiàn)，而數(shù)據(jù)挖掘的靈活性也表現(xiàn)在，針對各種具體的案例，可以通過數(shù)據(jù)挖掘的不同側(cè)面的功能去實現(xiàn)數(shù)據(jù)的挖掘。相信在不久的將來，會有更加的數(shù)據(jù)挖掘的實例出現(xiàn)在人們生活的各個需要處理數(shù)據(jù)信息的方面。但是由于它是一門綜合性強的新興領(lǐng)域，它的發(fā)展還會有很多的困難和需要進一步發(fā)展的地方?？梢哉J為，它的應用會更加廣泛，它的算法也會更加優(yōu)化。