李平榮
(隴南師范高等專科學(xué)校,甘肅成縣 742500)
2011年5月,麥肯錫全球研究院在《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個(gè)新領(lǐng)域》中指出,數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域,逐漸成為重要的生產(chǎn)要素;而人們對于大數(shù)據(jù)的運(yùn)用預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來.2012年3月29日,美國政府在白宮網(wǎng)站上發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》,表示將投資 2億美元啟動“大數(shù)據(jù)研究和發(fā)展計(jì)劃”[1],增強(qiáng)從大數(shù)據(jù)中分析提取信息.“大數(shù)據(jù)”到底有多大?根據(jù)統(tǒng)計(jì),僅在2011年,全球數(shù)據(jù)增量就達(dá)到了1.8 ZB,相當(dāng)于全世界的每個(gè)人產(chǎn)生200 GB以上的數(shù)據(jù).而且這種增長趨勢仍在快速增長,據(jù)估計(jì),在未來,數(shù)據(jù)將至少保持每年50%的增長速度.
數(shù)據(jù)挖掘是一門新興的學(xué)科,它誕生于20世紀(jì)80年代,主要面向商業(yè)應(yīng)用的人工智能研究領(lǐng)域.從技術(shù)角度看,數(shù)據(jù)挖掘就是從大量的、復(fù)雜的、不規(guī)則的、隨機(jī)的、模糊的數(shù)據(jù)中獲取隱含的、人們事先沒有發(fā)覺的、有潛在價(jià)值的信息和知識的過程.從商業(yè)角度來說,數(shù)據(jù)挖掘就是從龐大的數(shù)據(jù)庫中抽取、轉(zhuǎn)換、分析一些潛在規(guī)律和價(jià)值,從中獲取輔助商業(yè)決策的關(guān)鍵信息和有用知識.
分析方法是數(shù)據(jù)挖掘的核心工作,通過科學(xué)可靠的算法才能實(shí)現(xiàn)數(shù)據(jù)的挖掘,找出數(shù)據(jù)中潛在的規(guī)律.通過不同的分析方法,將解決不同類型的問題,在現(xiàn)實(shí)中針對不同的分析目標(biāo),找出相對應(yīng)的方法.目前常用的分析方法主要有聚類分析、分類和預(yù)測、關(guān)聯(lián)分析等.
聚類分析就是將物理或抽象對象的集合進(jìn)行分組,然后組成為由類似或相似的對象組成的多個(gè)分類的分析過程,其目的就是通過相似的方法來收集數(shù)據(jù)分類.它是一種無先前知識,無監(jiān)督的學(xué)習(xí)過程,從數(shù)據(jù)對象中找出有意義的數(shù)據(jù),然后將其劃分在一個(gè)未知的類.這不同于分類,因?yàn)樗鼰o法獲知對象的屬性.“物以類聚,人以群分”,通過聚類來分析事物之間類聚的潛在規(guī)律.聚類分析廣泛運(yùn)用于心理學(xué)、統(tǒng)計(jì)學(xué)、醫(yī)學(xué)、生物學(xué)、市場銷售、數(shù)據(jù)識別、機(jī)器智能學(xué)習(xí)等領(lǐng)域.
聚類分析根據(jù)隸屬度的取值范圍可分為硬聚類和模糊聚類兩種方法.硬聚類就是將對象劃分到距離最近聚類的類,非此即彼,也就是說屬于一類,就必然不屬于另一類.模糊聚類就是根據(jù)隸屬度的取值范圍的大小差異來劃分類.一個(gè)樣本可能屬于多個(gè)類.常見的聚類算法主要有密度聚類算法、層次聚類算法、劃分聚類算法、網(wǎng)格聚類算法、模型聚類算法等.
分類和數(shù)值預(yù)測是問題預(yù)測的兩種主要類型.分類是預(yù)測分類(離散、無序的)標(biāo)號,而預(yù)測則是建立連續(xù)值函數(shù)模型.分類是數(shù)據(jù)挖掘的重要基礎(chǔ),它是對已知的訓(xùn)練數(shù)據(jù)集表現(xiàn)出來的特性,獲得每個(gè)類別的描述或?qū)傩詠順?gòu)造相應(yīng)的分類器或者分類.分類是一種有監(jiān)督的學(xué)習(xí)過程,它是根據(jù)訓(xùn)練數(shù)據(jù)集發(fā)現(xiàn)準(zhǔn)確描述來劃分類別.常見的分類算法主要有決策樹、粗糙集、貝葉斯、遺傳算法、神經(jīng)網(wǎng)路等.預(yù)測就是根據(jù)分類和回歸來預(yù)測將來的規(guī)律.常見的預(yù)測方法主要有局勢外推法、時(shí)間序列法和回歸分析法[2].
在自然界,事物之間存在著千絲萬縷的聯(lián)系,當(dāng)某一事件發(fā)生時(shí),可能會帶動其它事件的發(fā)生.關(guān)聯(lián)分析就是利用事物之間存在的依賴或關(guān)聯(lián)知識來發(fā)現(xiàn)事物之間存在的規(guī)律性,然后通過這種規(guī)律性進(jìn)行預(yù)測.如經(jīng)典實(shí)例購物籃分析,就是通過分析顧客購物籃中物品的管理規(guī)律,來分析顧客的購物心理和習(xí)慣,然后根據(jù)這種規(guī)律來幫助營銷人員制定營銷策略.
神經(jīng)網(wǎng)絡(luò)通過復(fù)雜的大批量數(shù)據(jù)進(jìn)行分析,實(shí)現(xiàn)對于計(jì)算機(jī)或人腦而言非常復(fù)雜的模式抽取及趨勢分析,它是建立在自學(xué)習(xí)的數(shù)學(xué)模型基礎(chǔ)之上的,神經(jīng)網(wǎng)絡(luò)既可以是有指導(dǎo)的學(xué)習(xí),也可以是無指導(dǎo)聚類,但無論哪種,輸入到神經(jīng)網(wǎng)絡(luò)中的值都是數(shù)值型的.目前在數(shù)據(jù)挖掘中,最常使用的是BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)兩種神經(jīng)網(wǎng)絡(luò)[3].
在數(shù)據(jù)挖掘中,遺傳算法經(jīng)常被用作評估其他算法的適合度.它是一種由生物進(jìn)化而啟發(fā)的一種學(xué)習(xí)方法,通過對當(dāng)前已知的最好假設(shè)變異和重組來生成后續(xù)的假設(shè).每一步,用目前適應(yīng)性最高的假設(shè)的后代來代替群體的某個(gè)部分,來更新當(dāng)前群體的一組假設(shè),以便實(shí)現(xiàn)各個(gè)個(gè)體的適應(yīng)性的提高.遺傳算法由三個(gè)基本過程組成:繁殖(選擇)、交叉(重組)、變異(突變).
可視化技術(shù)是數(shù)據(jù)挖掘中應(yīng)用非常廣泛的一種輔助技術(shù).它借助圖形、圖像、動畫等手段形象地指導(dǎo)操作、引導(dǎo)挖掘和表達(dá)結(jié)果等.這種手段很好地解決了數(shù)據(jù)挖掘中涉及的比較復(fù)雜的數(shù)學(xué)方法和信息技術(shù)的表現(xiàn)形式,方便了用戶理解和使用技術(shù),為數(shù)據(jù)挖掘技術(shù)的推廣普及起到很大的作用.
數(shù)據(jù)挖掘的基本過程如下:
圖3-1 數(shù)據(jù)挖掘的基本過程圖
數(shù)據(jù)準(zhǔn)備,是從海量的原始數(shù)據(jù)中準(zhǔn)備要據(jù)挖掘的數(shù)據(jù),它是長期的、無規(guī)律的數(shù)據(jù)積累的結(jié)果.由于原始數(shù)據(jù)不適合數(shù)據(jù)挖掘,所以要先進(jìn)行預(yù)處理,包括數(shù)據(jù)選擇、清洗、推測、轉(zhuǎn)換等操作.數(shù)據(jù)準(zhǔn)備的好壞直接決定著數(shù)據(jù)挖掘的質(zhì)量和效率.
數(shù)據(jù)挖掘是整個(gè)程序的關(guān)鍵過程,按照數(shù)據(jù)挖掘的目標(biāo)要求,選擇合適的算法,來挖掘數(shù)據(jù)規(guī)律,常見的算法有決策樹、分類、神經(jīng)網(wǎng)絡(luò)、Apriori算法等.
對挖掘過的數(shù)據(jù)結(jié)果進(jìn)行解釋、分析、提取有意義或有使用價(jià)值的規(guī)律,還原成人們能夠理解的數(shù)據(jù)語言.
知識運(yùn)用就是對挖掘的評估結(jié)果在現(xiàn)實(shí)決策中的運(yùn)用,這是一個(gè)非常重要的過程,也是數(shù)據(jù)挖掘的最終目標(biāo),價(jià)值的體現(xiàn).
市場營銷是數(shù)據(jù)挖掘技術(shù)應(yīng)用最早和最多的領(lǐng)域.通過分析和挖掘用戶的消費(fèi)習(xí)慣和消費(fèi)特點(diǎn),來提高商品的銷售業(yè)績.目前,數(shù)據(jù)挖掘在市場營銷方面已經(jīng)不僅僅限于超市購物等方面,已經(jīng)普及到各個(gè)金融領(lǐng)域,如保險(xiǎn)、電子商務(wù)、銀行、電信零售等行業(yè).利用數(shù)據(jù)挖掘技術(shù)來分析顧客的消費(fèi)行為,為本行業(yè)帶來潛在的客戶和效益.
在科學(xué)研究中,經(jīng)常需要分析各種大量的實(shí)驗(yàn)和觀測數(shù)據(jù),并找出相關(guān)的規(guī)律和知識.這些數(shù)據(jù)分析和挖掘都需要一定的算法,利用數(shù)據(jù)挖掘技術(shù)能科學(xué)的找出數(shù)據(jù)之間的規(guī)律以及找出我們未發(fā)現(xiàn)的知識.例如,對外空星體的探索、對 DNA數(shù)據(jù)的分析等等.
在制造業(yè)領(lǐng)域,通過對零部件生產(chǎn)的各種數(shù)據(jù)分析,來提高生產(chǎn)效率和提高良品率,如分析造成產(chǎn)品缺陷的環(huán)節(jié)及數(shù)據(jù),找出生產(chǎn)過程影響生產(chǎn)率的因素,暴露制造和裝配操作過程中變化情況等各種因素,從而通過重點(diǎn)改進(jìn)相關(guān)環(huán)節(jié)及工藝,來提高企業(yè)的生產(chǎn)效率及利益.
近些年,隨著電信業(yè)的蓬勃發(fā)展,電信業(yè)的技術(shù)和服務(wù)已經(jīng)成為一個(gè)非常龐大的混合載體,它不僅關(guān)系市場,也關(guān)系到技術(shù)及服務(wù).在將企業(yè)有效資源整合,實(shí)現(xiàn)無縫連接的過程中,將產(chǎn)生大量的復(fù)雜數(shù)據(jù)集合,如何從龐雜的數(shù)據(jù)中找尋出規(guī)律和知識,已成為電信業(yè)的重要問題.通過數(shù)據(jù)挖掘的運(yùn)用,能很好的解決上述問題,為行業(yè)的發(fā)展起到很好的作用,如系統(tǒng)負(fù)載、數(shù)據(jù)通信速率和容量、用戶行為、利潤率等;采用孤立點(diǎn)分析和聚類方法,查找出盜用模式和異常狀態(tài);利用關(guān)聯(lián)和序列模式,找出影響電信發(fā)展的相關(guān)因素,更好的推動電信業(yè)務(wù)的發(fā)展[4].
目前這方面的應(yīng)用比較多,如搜索引擎、電子商務(wù)等.通過數(shù)據(jù)挖掘技術(shù)在海量的數(shù)據(jù)中,找到符合用戶需求的信息,例如利用預(yù)測分類算法來預(yù)知用戶可能需要搜索的信息等.
在教學(xué)管理過程中,如何全面掌握學(xué)生的學(xué)習(xí)狀況、心理狀況、選課情況以及教學(xué)評價(jià)等信息以及教學(xué)資源的最優(yōu)化配置等,都可以使用數(shù)據(jù)挖掘技術(shù)來解決.
伴隨著大數(shù)據(jù)的數(shù)據(jù)管理,檢索技術(shù)研究的進(jìn)步,數(shù)據(jù)挖掘技術(shù)將迎來巨大的發(fā)展機(jī)遇,數(shù)據(jù)挖掘技術(shù)的應(yīng)用也將更加廣泛,數(shù)據(jù)挖掘的工具也將更加強(qiáng)大.
[1]胡天狀.數(shù)據(jù)挖掘技術(shù)在教育決策支持系統(tǒng)中的應(yīng)用[D].杭州:浙江師范大學(xué),2002.
[2]吳文紹.甘肅省教育管理信息決策支持系統(tǒng)[D].蘭州:蘭州理工大學(xué),2006.
[3]丁守哲.基于云計(jì)算的建筑設(shè)計(jì)行業(yè)信息系統(tǒng)開發(fā)模式與實(shí)現(xiàn)技術(shù)研究[D].合肥:合肥工業(yè)大學(xué),2012.
[4]劉華婷,郭仁祥,姜浩.關(guān)聯(lián)規(guī)則挖掘 Apriori算法的研究與改進(jìn)[J].計(jì)算機(jī)應(yīng)用與軟件,2009(1):146-149.
[5]程軍鋒.Web數(shù)據(jù)挖掘研究[J].重慶三峽學(xué)院學(xué)報(bào),2013(3):43-45.