管　剛　楊　濤

【摘要】 簡(jiǎn)要闡述理數(shù)據(jù)挖掘的概念、發(fā)展及基本技術(shù),并著重闡述了其在金融領(lǐng)域的應(yīng)用。

【關(guān)鍵詞】 數(shù)據(jù)挖掘;金融領(lǐng)域

一、數(shù)據(jù)挖掘技術(shù)簡(jiǎn)介

1.數(shù)據(jù)挖掘技術(shù)的定義

數(shù)據(jù)挖掘就是從大型數(shù)據(jù)庫(kù)的數(shù)據(jù)中提取人們感興趣的知識(shí)、這些知識(shí)是隱含的、事先未知的、潛在有用的信息,提取的知識(shí)表示為概念(Concepts),規(guī)則(Rules)、規(guī)律(Regularities)、模式(Patterns)等形式。這個(gè)定義把數(shù)據(jù)挖掘的對(duì)象定義為數(shù)據(jù)庫(kù)。

2.常用的數(shù)據(jù)挖掘技術(shù)和過(guò)程

在數(shù)據(jù)挖掘中最常用的建模技術(shù)有:

(1)統(tǒng)計(jì):統(tǒng)計(jì)是涉及數(shù)據(jù)和描述的一個(gè)數(shù)學(xué)分支,其主要任務(wù)就是了解已經(jīng)收集到的有限數(shù)據(jù),并根據(jù)這些數(shù)據(jù)作出關(guān)于潛在數(shù)據(jù)分布是什么的預(yù)測(cè)。

(2)K近鄰:近鄰技術(shù)是指為了預(yù)測(cè)在一個(gè)記錄中的預(yù)測(cè)值是什么,在歷史數(shù)據(jù)庫(kù)中尋找有相似預(yù)測(cè)值的記錄,并使用未分類(lèi)記錄中最接近的記錄值作為預(yù)測(cè)值。對(duì)基礎(chǔ)最近鄰算法常常作的改進(jìn)是從K個(gè)最近的鄰居中進(jìn)行投票選擇,而不是僅僅取決于距未知記錄最近的鄰居。

(3)聚類(lèi):聚類(lèi)方法用于將記錄聚集在一起,從而給出數(shù)據(jù)庫(kù)的一個(gè)高層視圖。

(4)決策樹(shù):決策樹(shù)是指采取樹(shù)形式的預(yù)測(cè)模型,樹(shù)的每個(gè)分支都是一個(gè)分類(lèi)方法,樹(shù)葉是帶有分類(lèi)的數(shù)據(jù)分割。

(5)人工神經(jīng)網(wǎng)絡(luò)是仿照生理神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的非線形預(yù)測(cè)模型,通過(guò)學(xué)習(xí)進(jìn)行模式識(shí)別。

(6)規(guī)則歸納:從統(tǒng)計(jì)意義上對(duì)數(shù)據(jù)中的“if……then… …”規(guī)則進(jìn)行尋找和推導(dǎo)。

3.數(shù)據(jù)挖掘的過(guò)程

(1)數(shù)據(jù)準(zhǔn)備。數(shù)據(jù)的準(zhǔn)備階段可分為數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)轉(zhuǎn)換三個(gè)步驟。數(shù)據(jù)的選取是根據(jù)用戶(hù)的需要從原始數(shù)據(jù)庫(kù)中抽取的一部分?jǐn)?shù)據(jù);數(shù)據(jù)預(yù)處理是消除噪聲、推導(dǎo)計(jì)算缺值數(shù)據(jù)、消除重復(fù)記錄、完成數(shù)據(jù)類(lèi)型轉(zhuǎn)換;數(shù)據(jù)轉(zhuǎn)換的主要目的是削減數(shù)維數(shù)或降維。

(2)數(shù)據(jù)挖掘。對(duì)準(zhǔn)備好的數(shù)據(jù)進(jìn)行分類(lèi)、聚類(lèi),找出關(guān)聯(lián)規(guī)則,之后根據(jù)具體目標(biāo),確定數(shù)據(jù)挖掘的算法,在選擇算法的時(shí)候,重要的是根據(jù)用戶(hù)需求來(lái)決定具體的算法,然后確定具體的挖掘模型。

(3)結(jié)果評(píng)估。對(duì)數(shù)據(jù)挖掘階段確定的模型,進(jìn)行評(píng)價(jià),消除冗余,使得模型滿足用戶(hù)的需求。在評(píng)價(jià)時(shí)要及時(shí)反饋,不符合的就要重新返回到以上兩個(gè)步驟,直到滿足要求。

二、數(shù)據(jù)挖掘技術(shù)在金融領(lǐng)域的應(yīng)用

1.數(shù)據(jù)挖掘技術(shù)在證券行業(yè)的應(yīng)用

數(shù)據(jù)挖掘在此過(guò)程中將發(fā)揮重要作用,其技術(shù)應(yīng)用的方向主要有:

(1)客戶(hù)分析。建立數(shù)據(jù)倉(cāng)庫(kù)來(lái)存放對(duì)全體客戶(hù)、預(yù)定義客戶(hù)群、某個(gè)客戶(hù)的信息和交易數(shù)據(jù),并通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行挖掘和關(guān)聯(lián)分析,實(shí)現(xiàn)面向主題的信息抽取。

(2)咨詢(xún)服務(wù)。根據(jù)采集行情和交易數(shù)據(jù),結(jié)合行情分析,預(yù)測(cè)未來(lái)大盤(pán)走勢(shì),并發(fā)現(xiàn)交易情況隨著大盤(pán)變化的規(guī)律,并根據(jù)這些規(guī)律做出趨勢(shì)分析,對(duì)客戶(hù)針對(duì)性進(jìn)行咨詢(xún)。

(3)風(fēng)險(xiǎn)防范。通過(guò)對(duì)資金數(shù)據(jù)的分析,可以控制營(yíng)業(yè)風(fēng)險(xiǎn),可以改變公司總部原來(lái)的資金控制模式,并通過(guò)橫向比較及時(shí)了解資金情況,起到風(fēng)險(xiǎn)預(yù)警的作用。

(4)經(jīng)營(yíng)狀況分析。通過(guò)數(shù)據(jù)挖掘,可以及時(shí)了解營(yíng)業(yè)狀況、資金情況、利潤(rùn)情況、客戶(hù)群分布等重要的信息,并結(jié)合大盤(pán)走勢(shì),提供不同行情條件下的最大收益經(jīng)營(yíng)方式。通過(guò)對(duì)各營(yíng)業(yè)部經(jīng)營(yíng)情況的橫向比較,以及對(duì)本營(yíng)業(yè)部歷史數(shù)據(jù)的縱向比較,對(duì)營(yíng)業(yè)部的經(jīng)營(yíng)狀況作出分析,提出經(jīng)營(yíng)建議。

2.數(shù)據(jù)挖掘在銀行CRM(客戶(hù)關(guān)系關(guān)系管理)中的應(yīng)用

客戶(hù)關(guān)系管理(以下簡(jiǎn)稱(chēng)CRM,Customer Relationship Management)是現(xiàn)代商業(yè)銀行的重要業(yè)務(wù)之一。商業(yè)銀行實(shí)施CRM的目標(biāo)是了解客戶(hù)需求,找出能盈利客戶(hù),提高針對(duì)性服務(wù)。要實(shí)現(xiàn)以上目標(biāo),可以借助層次信息處理技術(shù),它能夠充分利用客戶(hù)資料,發(fā)現(xiàn)潛在的,有用的規(guī)則和模式。

數(shù)據(jù)挖掘技術(shù)在商業(yè)銀行CRM 中具有廣泛用途主要有:

(1)加載客戶(hù)信息。這一階段主要是進(jìn)行數(shù)據(jù)清理,消除現(xiàn)有業(yè)務(wù)系統(tǒng)中有關(guān)客戶(hù)賬戶(hù)數(shù)據(jù)不一致的現(xiàn)象,將其整合到中央市場(chǎng)客戶(hù)信息庫(kù),建立以客戶(hù)為中心的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)環(huán)境。銀行各業(yè)務(wù)部門(mén)對(duì)客戶(hù)有統(tǒng)一的視圖,可以進(jìn)行相關(guān)的客戶(hù)分析。

(2)加載客戶(hù)交易信息。這一階段主要是把客戶(hù)與銀行分銷(xiāo)渠道的所有歷史交易數(shù)據(jù)加載到中央市場(chǎng)客戶(hù)信息庫(kù)。這一階段完成后,銀行可以分析客戶(hù)使用分銷(xiāo)渠道的情況和分銷(xiāo)渠道的容量,了解客戶(hù)、渠道、服務(wù)三者之間的關(guān)系。

(3)模型評(píng)測(cè)。為客戶(hù)的每一個(gè)賬號(hào)建立利潤(rùn)評(píng)測(cè)模型,以便了解客戶(hù)對(duì)銀行的總利潤(rùn)貢獻(xiàn)度。要建立利潤(rùn)評(píng)測(cè)模型,需要加載會(huì)計(jì)系統(tǒng)的財(cái)務(wù)數(shù)據(jù)到中央數(shù)據(jù)倉(cāng)庫(kù)。這一階段完成后,銀行可以從組織、客戶(hù)和產(chǎn)品三個(gè)方面分析利潤(rùn)貢獻(xiàn)度。

(4)優(yōu)化客戶(hù)關(guān)系。銀行應(yīng)該掌握客戶(hù)在生活、職業(yè)等方面的變化及外部環(huán)境的變化,抓住推銷(xiāo)新產(chǎn)品和服務(wù)的時(shí)機(jī)。這需要將賬號(hào)每次發(fā)生的交易明細(xì)數(shù)據(jù),加載到中央數(shù)據(jù)倉(cāng)庫(kù),核對(duì)客戶(hù)行為的變化。

(5)風(fēng)險(xiǎn)評(píng)估和管理。銀行風(fēng)險(xiǎn)管理的對(duì)象主要是與資產(chǎn)和負(fù)債有關(guān)的風(fēng)險(xiǎn),與資產(chǎn)負(fù)債有關(guān)的業(yè)務(wù)系統(tǒng)的交易數(shù)據(jù)要加載到中央數(shù)據(jù)倉(cāng)庫(kù);然后,銀行可以依照不同的期間,以數(shù)學(xué)模型分析和模擬計(jì)算利率敏感性資產(chǎn)和負(fù)債之間的缺口,了解銀行在不同期間資本比率、資產(chǎn)負(fù)責(zé)結(jié)構(gòu)、資金情況和凈利息收人的變化。

三、數(shù)據(jù)挖掘技術(shù)在金融領(lǐng)域應(yīng)用存在的問(wèn)題和挑戰(zhàn)

1.選擇合適的數(shù)據(jù)挖掘方法和參數(shù)

在金融數(shù)據(jù)挖掘的應(yīng)用中,選擇合適的影響變量(特征),合適的數(shù)據(jù)挖掘算法,和合適的模型評(píng)估是數(shù)據(jù)挖掘過(guò)程中的關(guān)鍵。盡管現(xiàn)在很多的應(yīng)用轉(zhuǎn)向用神經(jīng)網(wǎng)絡(luò)等工具來(lái)解決問(wèn)題,問(wèn)題依然存在,如合適的訓(xùn)練數(shù)據(jù)集合的大小與選擇,怎樣處理過(guò)時(shí)的數(shù)據(jù)等等。

2.可擴(kuò)展性和性能的要求

有些金融數(shù)據(jù)的增長(zhǎng)速度是爆炸式的,金融數(shù)據(jù)挖掘必須考慮到算法的可擴(kuò)展性和算法的效率,所以模型在建立時(shí)就必須要考慮到新數(shù)據(jù)的更新和整合,至于性能的要求,如果把數(shù)據(jù)集合分成若干小集合,再使用并行的數(shù)據(jù)挖掘技術(shù)可能會(huì)有較好的表現(xiàn)。

3.文本數(shù)據(jù)挖掘

隨著互聯(lián)網(wǎng)的普及,網(wǎng)頁(yè)信息為資源的提取提供了一個(gè)絕佳的“礦藏”,很多現(xiàn)存的金融數(shù)據(jù)挖掘模型很依賴(lài)于政府的政策,市場(chǎng)的反饋信息等等,顯然現(xiàn)存的金融數(shù)據(jù)挖掘方法還沒(méi)有充分利用到比如一些時(shí)報(bào)提供的資訊來(lái)輔助決策,如銀行如果聲稱(chēng)下月將調(diào)整利率,那么股市肯定有相應(yīng)的變化。當(dāng)然數(shù)據(jù)挖掘涉及到很多領(lǐng)域,如自然語(yǔ)言處理,信息檢索等,具有很大的挑戰(zhàn)。

4.多種數(shù)據(jù)挖掘技術(shù)的整合

由討論可以看出,每種數(shù)據(jù)挖掘技術(shù)都有它的優(yōu)點(diǎn)和局限,為了改進(jìn)數(shù)據(jù)挖掘技術(shù)在金融領(lǐng)域的應(yīng)用效果,現(xiàn)在很多研究者考慮將多種數(shù)據(jù)挖掘技術(shù)融合,如金融數(shù)據(jù)挖掘中用得較多的分類(lèi)技術(shù),就有多分類(lèi)器系統(tǒng)

(multiple classify system, MCS),在很多情況下會(huì)有上佳的表現(xiàn)。

參考文獻(xiàn)

[1]張玉春.數(shù)據(jù)挖掘在金融分析中的應(yīng)用.華南金融電腦.2004

[2]張嫻.數(shù)據(jù)挖掘技術(shù)及其在金融領(lǐng)域的應(yīng)用.金融教學(xué)與研究.2005