周 俊

[摘要]以數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則為基礎(chǔ),從篩選數(shù)據(jù)入手,按照數(shù)據(jù)挖掘的步驟,對(duì)每個(gè)環(huán)節(jié)進(jìn)行詳細(xì)展開(kāi),分析故障數(shù)據(jù)的組成、模型以及存儲(chǔ)方式,并在關(guān)系數(shù)據(jù)庫(kù)中對(duì)提供的數(shù)據(jù)進(jìn)行建模,建立基于多維關(guān)聯(lián)規(guī)則的傳輸故障分析模型。

[關(guān)鍵詞]傳輸故障數(shù)據(jù)挖掘關(guān)聯(lián)規(guī)則

中圖分類(lèi)號(hào):TN91文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1671-7597(2009)0820021-01

目前傳輸維護(hù)部門(mén)每個(gè)月都會(huì)對(duì)上月的傳輸故障進(jìn)行統(tǒng)計(jì)和分析,以便對(duì)下月的工作做出針對(duì)性的調(diào)整。故障統(tǒng)計(jì)涵蓋的內(nèi)容有故障歷時(shí),故障段落,原因,是否超時(shí)等相關(guān)信息,這些數(shù)據(jù)之間到底有些什么聯(lián)系,這些聯(lián)系是否能對(duì)傳輸維護(hù)工作起到積極的促進(jìn)作用單憑一眼無(wú)法做出判斷,需要經(jīng)過(guò)數(shù)據(jù)分析和挖掘,并通過(guò)一系列方法發(fā)掘出其中的關(guān)系才能下結(jié)論。本文中所用到的就是數(shù)據(jù)挖掘技術(shù)當(dāng)中的關(guān)聯(lián)規(guī)則挖掘,也就是從大量的數(shù)據(jù)中挖掘出有價(jià)值描述數(shù)據(jù)項(xiàng)之間相互聯(lián)系的有關(guān)知識(shí)。希望通過(guò)關(guān)聯(lián)規(guī)則挖掘的應(yīng)用解決一些維護(hù)工作中的問(wèn)題。

一、數(shù)據(jù)挖掘技術(shù)概述

數(shù)據(jù)挖掘是一個(gè)利用各種分析工具在海量數(shù)據(jù)中發(fā)現(xiàn)模型和數(shù)據(jù)之間關(guān)系的過(guò)程,這些模型和關(guān)系可以被企業(yè)用來(lái)分析風(fēng)險(xiǎn)、進(jìn)行預(yù)測(cè)。同時(shí)數(shù)據(jù)挖掘還是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。數(shù)據(jù)挖掘過(guò)程一般由確定挖掘?qū)ο蟆?shù)據(jù)準(zhǔn)備、模型建立、數(shù)據(jù)挖掘、結(jié)果分析表述和挖掘應(yīng)用這幾個(gè)主要階段組成,數(shù)據(jù)挖掘可以描述為這幾個(gè)階段的反復(fù)過(guò)程。待挖掘的數(shù)據(jù)的模式有很多種,按功能分有兩類(lèi)預(yù)測(cè)型模式和描述型模式。

二、關(guān)聯(lián)規(guī)則

關(guān)聯(lián)規(guī)則挖掘發(fā)現(xiàn)大量數(shù)據(jù)中項(xiàng)集之間有趣的關(guān)聯(lián)或相關(guān)聯(lián)系。它在數(shù)據(jù)挖掘中是一個(gè)重要的課題,最近幾年已被業(yè)界所廣泛研究。關(guān)聯(lián)規(guī)則研究有助于發(fā)現(xiàn)交易數(shù)據(jù)庫(kù)中不同商品項(xiàng)之間的聯(lián)系,找出顧客購(gòu)買(mǎi)行為模式,如購(gòu)買(mǎi)了某一商品對(duì)購(gòu)買(mǎi)其他商品的影響。分析結(jié)果可以應(yīng)用于商品貨架布局、貨存安排以及根據(jù)購(gòu)買(mǎi)模式對(duì)用戶進(jìn)行分類(lèi)。

(一)APRIORI算法

APRIORI算法是挖掘產(chǎn)生布爾關(guān)聯(lián)規(guī)則所需頻繁項(xiàng)集的基本算法;它也是一個(gè)很有影響的關(guān)聯(lián)規(guī)則挖掘算法。APRIORI算法就是根據(jù)有關(guān)頻繁項(xiàng)集特性的先驗(yàn)知識(shí)(prior knowledge)而命名的。該算法利用了一個(gè)層次順序搜索的循環(huán)方法來(lái)完成頻繁項(xiàng)集的挖掘工作。這一循環(huán)方法就是利用k-項(xiàng)集來(lái)產(chǎn)生(k+1)-項(xiàng)集。具體做法就是,首先找出頻繁1-項(xiàng)集,記為L(zhǎng)1;然后利用L1來(lái)挖掘L2,即頻繁2-項(xiàng)集;不斷如此循環(huán)下去知道無(wú)法發(fā)現(xiàn)更過(guò)的頻繁K-項(xiàng)集為止。每挖掘一層Lk就需要掃描整個(gè)數(shù)據(jù)庫(kù)一遍。為提高按層次搜索并產(chǎn)生相應(yīng)頻繁項(xiàng)集的處理效率。APRIORI算法利用了一個(gè)重要性質(zhì),又稱(chēng)為APRIORI性質(zhì)來(lái)幫助有效縮小頻繁項(xiàng)集的搜索空間。APRIORI性質(zhì):一個(gè)頻繁項(xiàng)集中任一子集也應(yīng)是頻繁項(xiàng)集。

(二)多維關(guān)聯(lián)規(guī)則的挖掘

如果不是對(duì)交易數(shù)據(jù)庫(kù)而是對(duì)存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)或其它數(shù)據(jù)進(jìn)行挖掘,這時(shí)的數(shù)據(jù)是以多維形式定義存儲(chǔ)的。如為了分析故障原因。一個(gè)關(guān)系數(shù)據(jù)庫(kù)可能記錄了有關(guān)這些故障的其它屬性,諸如故障類(lèi)型、發(fā)生時(shí)間、故障歷時(shí),故障段落等如果將數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中這些屬性看成謂詞,那么挖掘包含多個(gè)謂詞的關(guān)聯(lián)規(guī)則可能就是很有價(jià)值的。包含兩個(gè)或更多的謂詞的關(guān)聯(lián)規(guī)則就稱(chēng)為多維關(guān)聯(lián)規(guī)則。

(三)關(guān)聯(lián)挖掘中的相關(guān)分析

一個(gè)規(guī)則是否有意義取決于主觀與客觀兩方面的判斷,但最終還是由用戶來(lái)確定一個(gè)規(guī)則是否有意義。利用支持度-信任度基本結(jié)構(gòu)挖掘出的關(guān)聯(lián)規(guī)則在許多應(yīng)用場(chǎng)合都是有價(jià)值。但是但是支持度-信任度基本結(jié)構(gòu)在描述一個(gè)AB規(guī)則是否有意義時(shí),可能會(huì)提供一個(gè)錯(cuò)誤知識(shí)。因?yàn)橛袝r(shí)的發(fā)生實(shí)際并不一定蘊(yùn)含B的發(fā)生。這里就將討論基于相關(guān)分析的描述數(shù)據(jù)項(xiàng)集之間是否存在有意義聯(lián)系的有關(guān)方法,該方法構(gòu)成了對(duì)支持度一信任度基本結(jié)構(gòu)的補(bǔ)充。若有,則項(xiàng)集A的發(fā)生就獨(dú)立于項(xiàng)集B的發(fā)生;否則項(xiàng)集A和B就是相互依賴(lài)或相關(guān)的。該定義可以很容易地?cái)U(kuò)展到多于兩個(gè)項(xiàng)集的情況。利用相關(guān)分析的一個(gè)好處就是它是向上封閉的,也就是說(shuō)若項(xiàng)集中的各項(xiàng)是相關(guān)的,那的每一個(gè)超集也都是相關(guān)的這也就意味著向相關(guān)項(xiàng)的集合中添加一個(gè)項(xiàng)并不能改變或消除現(xiàn)有的相關(guān)性。

三、基于多維關(guān)聯(lián)規(guī)則的傳輸故障分析

通信傳輸維護(hù)部門(mén)每個(gè)月都會(huì)對(duì)上月的傳輸故障進(jìn)行統(tǒng)計(jì)和分析,以便對(duì)下月的工作做出針對(duì)性的調(diào)整。故障統(tǒng)計(jì)涵蓋的內(nèi)容有故障歷時(shí),故障段落,原因,是否超時(shí)等相關(guān)信息,這些數(shù)據(jù)之間到底有些什么聯(lián)系,這些聯(lián)系是否能對(duì)傳輸維護(hù)工作起到積極的促進(jìn)作用單憑一眼無(wú)法作出判斷,需要經(jīng)過(guò)數(shù)據(jù)分析和挖掘,希望通過(guò)關(guān)聯(lián)規(guī)則挖掘的應(yīng)用解決一些維護(hù)工作中的問(wèn)題。

初始數(shù)據(jù)是原始數(shù)據(jù),未經(jīng)處理過(guò)。首先選擇有針對(duì)性的數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,主要包括數(shù)據(jù)清理、集成和歸約。預(yù)處理是為了克服目前數(shù)據(jù)挖掘工具的局限性。數(shù)據(jù)將原來(lái)不必要的部分去掉,并且合并相同時(shí)間的故障,因?yàn)橄嗤瑫r(shí)間故障一般是由于干線發(fā)生問(wèn)題引起,所以算做一次故障,否則會(huì)出現(xiàn)許多相同原因引起故障的重復(fù)計(jì)算,而造成結(jié)果偏離。

(一)利用靜態(tài)離散挖掘傳輸故障關(guān)聯(lián)規(guī)則

在這種方法中,定量屬性在關(guān)聯(lián)知識(shí)挖掘之前,就利用概念層次樹(shù)進(jìn)行離散化,其中就是將屬性的取值替換為區(qū)間范圍。符號(hào)屬性則可以根據(jù)需要被泛化到更高的概念層次。此外與挖掘任務(wù)相關(guān)的數(shù)據(jù)可能會(huì)存放在數(shù)據(jù)立方中,由于數(shù)據(jù)立方是按照(多維)屬性進(jìn)行定義的,因此它非常適合挖掘多維關(guān)聯(lián)規(guī)則。

(二)挖掘傳輸故障中的定量關(guān)聯(lián)規(guī)則

定量關(guān)聯(lián)規(guī)則就是關(guān)聯(lián)規(guī)則所涉及的數(shù)值屬性是在數(shù)據(jù)挖掘過(guò)程中,根據(jù)一定的挖掘標(biāo)準(zhǔn),諸如使信任度最大或使挖掘的規(guī)則最簡(jiǎn)潔,而進(jìn)行動(dòng)態(tài)離散化。這里所需要的是基于圖像處理基本思想所提出的關(guān)聯(lián)規(guī)則聚類(lèi)方法。該方法就是將一對(duì)定量屬性映射到滿足給定符號(hào)屬性的二維方格然后搜索產(chǎn)生相應(yīng)關(guān)聯(lián)規(guī)則的點(diǎn)的聚類(lèi)。目前已經(jīng)提出了一個(gè)基于非方格的方法來(lái)幫助發(fā)現(xiàn)更一般的定量規(guī)則而在規(guī)則兩邊均可以出現(xiàn)無(wú)數(shù)目限制的符號(hào)屬性和定量屬性。

參考文獻(xiàn):

[1]欽臻文,通信傳輸系統(tǒng)在城市軌道交通中的應(yīng)用發(fā)展[J].城市軌道交通研究,2009,03.

[2]迪麗拜爾·艾海提、庫(kù)德來(lái)提·熱西提,數(shù)據(jù)挖掘技術(shù)的應(yīng)用[J].電腦編程技巧與維護(hù),2009,06.

作者簡(jiǎn)介:

周俊(1978-),男,漢族,湖北省人,工學(xué)學(xué)士,工程師,計(jì)算機(jī)專(zhuān)業(yè)。