杜聰慧，崔永偉，李子奈

0 引言

由于計量經(jīng)濟學(xué)是利用樣本建立、估計、檢驗?zāi)Ｐ偷模瑯颖緮?shù)據(jù)質(zhì)量好壞是決定模型質(zhì)量的關(guān)鍵因素，所以，拿到數(shù)據(jù)后，首先要檢查數(shù)據(jù)質(zhì)量。針對時間序列數(shù)據(jù)的診斷很多學(xué)者對此已做了研究，并找到了好的方法進行鑒別，而對截面數(shù)據(jù)的診斷研究甚少，因為一批發(fā)生在同一時間截面上的截面數(shù)據(jù)大多是通過調(diào)查而得到的，能夠得到數(shù)據(jù)已經(jīng)不易，很少有人對數(shù)據(jù)的質(zhì)量進行診斷。而在利用截面數(shù)據(jù)進行計量分析中，只有當(dāng)數(shù)據(jù)是在截面總體中由隨機抽樣得到的樣本觀測值，并且被解釋變量具有連續(xù)的隨機分布時，才能夠?qū)⒛Ｐ皖愋驮O(shè)定為經(jīng)典的計量經(jīng)濟學(xué)模型，由此可見，經(jīng)典計量經(jīng)濟學(xué)模型對截面數(shù)據(jù)存在著很強的依賴性。根據(jù)近代回歸分析中的數(shù)據(jù)診斷理論，探索對統(tǒng)計推斷（如參數(shù)估計、預(yù)測）有較大影響的觀測數(shù)據(jù)稱為是數(shù)據(jù)統(tǒng)計診斷[1]?；诖耍疚臄M從數(shù)據(jù)統(tǒng)計診斷角度嘗試探討診斷截面數(shù)據(jù)的方法，以期將混擬在其中的異常數(shù)據(jù)尋找出來，從而增加計量經(jīng)濟分析結(jié)果的可靠性。

1 反常結(jié)果判別法

反常結(jié)果是數(shù)理統(tǒng)計學(xué)中的概念。它是指某一變量的觀測數(shù)據(jù)中有時出現(xiàn)個別相對特別大或特別小的數(shù)據(jù)，這些數(shù)據(jù)稱為反常結(jié)果。一個反常結(jié)果可能只是數(shù)據(jù)中內(nèi)在的隨機變異性的一個極端表現(xiàn)，也可能是因為觀測錯誤、記錄錯誤等非隨機因素造成的。如果是前一種情況，它就必須保留下來與其它數(shù)據(jù)接受同樣的處理；如果是后一種情況，在分析問題時就必須舍棄這些數(shù)據(jù)。保留或舍棄一個反常數(shù)據(jù)都需要經(jīng)過檢驗來決定。其檢驗方法稱為反常結(jié)果判斷法。

反常結(jié)果判斷法包括方差比法、極值偏差法和極差比法(即Dixon準則)等三種基本方法。通常的數(shù)據(jù)統(tǒng)計整理方法往往都對樣本數(shù)據(jù)有一個前提假設(shè)，即樣本數(shù)據(jù)來自同一個總體。這里假設(shè)總體分布為正態(tài)分布N(μ,σ2)，樣本容量大小為n，先將數(shù)據(jù)按從小到大的次序排序，記成

1.1 方差比法[2]

1.2 極值偏差法[2]

首先構(gòu)造統(tǒng)計量

其中En（或E1）是n個數(shù)據(jù)結(jié)果中，剔除可疑數(shù)據(jù)x(n)（或x(1)）后所得的總體中間誤差E的估計，即

對于n個數(shù)據(jù)結(jié)果，給定顯著水平α，由Q分布臨界表中查出Qα，若Q＞Qα，則可認為 x(n)（或 x(1)）為異常值。

1.3 極差比法[3]

（1）半極差型

如果x(n)（或x(1)）是異常數(shù)據(jù)，則它們應(yīng)遠離其均值，于是利用統(tǒng)計量或，其中，這兩種情形下的統(tǒng)計量均為單側(cè)檢驗統(tǒng)計量，若不知異常數(shù)據(jù)在上側(cè)還是在下側(cè)，則需進行雙側(cè)檢驗，其統(tǒng)計量為

（2）極差型

如果樣本數(shù)據(jù)存在異常數(shù)據(jù)，則極差x(n)-x(1)比起σ或S來，會過分的偏大，于是可用統(tǒng)計量來檢驗數(shù)據(jù)中是否存在異常數(shù)據(jù)。但這種方法的缺點在于當(dāng)判斷出樣本中存在異常數(shù)據(jù)時，卻沒能判別出x(1)和x(n)中到底是哪一個為異常數(shù)據(jù)。

（3）鄰差型（狄克遜準則）

在樣本中，若x(n)是異常數(shù)據(jù)，那么以其標準差σ（當(dāng)σ未知時以σ的估計S）為刻度，它應(yīng)離鄰近的數(shù)據(jù)x(n-1)較

由于當(dāng)樣本數(shù)n較大時，極差x(n)-x(1)中包含的σ的信息較少，使得檢驗功效降低，于是可用擬極差x(n)-x(2)，x(n)-x(3)來代替。一般認為當(dāng)3≤n≤7時，以，當(dāng) σ未為佳；當(dāng)8≤n≤10時，以為佳；當(dāng)11≤n≤13時，以為佳；當(dāng)14≤n≤30時，以為佳。

具體檢驗時，當(dāng)Tn大于某個常數(shù)C2n時，就判斷x(n)是異常數(shù)據(jù)，其中C2n滿足P{Tn＞C2n}=α，當(dāng)概率值小于給定的α?xí)r，就認為x(n)是異常數(shù)據(jù)；否則認為不是。

在實際應(yīng)用中，半極差模型和鄰差模型檢驗法用的較多，鄰差模型檢驗法是一種較好的方法。

2 利用跳躍度來檢驗異常值

先引入跳躍度的概念。設(shè)X(1),X(2),…,X(n)為來自總體分布F(X;θ)的樣本容量為n的次序統(tǒng)計量，為僅依賴于X(1),X(2),…,X(k)的期望μ的點估計，則稱為在點k的跳躍度（簡稱k點的跳躍度）[4]。

任何一組n個數(shù)據(jù)都可以看作是來自某一總體樣本容量為n的樣本觀察值，將它們進行由小到大的排序后異常值必居于數(shù)據(jù)所組成的數(shù)列兩端。且異常值的存在必使期望的點估計產(chǎn)生跳躍，因而期望點估計的最大跳躍點(跳躍度最大的點)最有可能是異常數(shù)據(jù)的起始點。具體做法如下：

（1）將各數(shù)據(jù)按由小到大的次序進行排列，并計算出各點的跳躍度；

（2）找出兩端跳躍度的最大值點；

（3）進行比較分析，若跳躍度的最大值與相鄰跳躍度確有明顯差異，那以左側(cè)對應(yīng)的統(tǒng)計數(shù)據(jù)為最大的異常小值，右側(cè)對應(yīng)的統(tǒng)計數(shù)據(jù)為最小的異常大值。這樣，就可較方便地把混雜在數(shù)據(jù)中的異常值剔去。

利用跳躍度來檢驗出異常值后，即可利用剩余下的正常數(shù)據(jù)由經(jīng)典統(tǒng)計的方法進行統(tǒng)計分析，但值得注意的是，在理論上被剔除的異常值是相對于一定的精度而言的，畢竟這些異常數(shù)據(jù)和其它數(shù)據(jù)一樣也來自于同一總體，因此或多或少的會帶來一些總體的信息。為提高統(tǒng)計分析的可靠性，如果有先驗信息可用的話，在進行統(tǒng)計分析時用貝葉斯方法效果會更好些。

3 預(yù)測區(qū)間判斷法與羅曼諾夫斯基準則

3.1 預(yù)測區(qū)間判斷法[5]

對同一變量對不同的對象進行測量，測量數(shù)據(jù)一般符合正態(tài)分布，設(shè)x1,x2,…,xn是來自X的一個樣本值，并且它們獨立同分布，且X～N(μ,σ2)，根據(jù)期望與方差的點估計理論，構(gòu)造統(tǒng)計量，對于給定的α，查t分布表，的的值，得 μ的置信度是1-α的置信區(qū)間，而μ落在該區(qū)間之外的概率很小，屬于小概率事件，在正常的測量過程中不會發(fā)生。因此取為 臨 界 值 ，若 xi(i=1,2,…n)滿 足，則xi可判斷為是異常數(shù)據(jù)。

3.2 羅曼諾夫斯基準則

一般處理數(shù)據(jù)前，認為數(shù)據(jù)服從正態(tài)分布，但是數(shù)理統(tǒng)計學(xué)可以證明，在測量次數(shù)較少的情況下，t分布更符合實際分布，在吳天鵬（1995）提出了一個新的準則，該準則就是以t分布為依據(jù)建立的，在一定測量次數(shù)n下，設(shè)獨立測得的一組x1,x2,…,xn，若對某一數(shù)據(jù)xk有懷疑，可按照以下步驟判別[11]：

（1）先將懷疑數(shù)據(jù)xk去掉，計算出不包含xk的數(shù)據(jù)的算術(shù)平均值

（2）計算出不包含xk的殘差在內(nèi)的標準差

（3）根據(jù)選定的顯著性水平α和數(shù)據(jù)的個數(shù)n，在t分布表中查出檢驗系數(shù) K(α,n)，δ=K(α,n)s′；

文獻[11]將預(yù)測區(qū)間判斷法與羅曼諾夫斯基準則剔除異常數(shù)據(jù)做了比較，發(fā)現(xiàn)預(yù)測區(qū)間判別法診斷出的異常數(shù)據(jù)多于羅曼諾夫斯基準則。羅曼諾夫斯基準則是比較成熟的判斷準則，它建立的基礎(chǔ)符合數(shù)理統(tǒng)計理論的有關(guān)的結(jié)論，剔除異常數(shù)據(jù)時比較謹慎，在測量次數(shù)較少（n≤10）時，使用此準則比較可靠。

4 結(jié)束語

基于數(shù)據(jù)統(tǒng)計的診斷方法是對給定的數(shù)據(jù)集合假設(shè)一個分布或概率模型（例如一個正態(tài)分布），然后根據(jù)模型采用不一致檢驗來確定異常。而在大多數(shù)情況下，數(shù)據(jù)集合參數(shù)分布可能是未知的，所以，當(dāng)沒有特定的檢驗時，基于統(tǒng)計的這些檢驗方法不能確保發(fā)現(xiàn)所有的異常，或者觀測到的分布不能恰當(dāng)?shù)乇蝗魏螛藴实姆植紒砟M。

在診斷出異常點以后，不要簡單地將異常數(shù)據(jù)刪除，因為這樣做可能將異常點攜帶的一些有用的信息丟失，如在經(jīng)濟領(lǐng)域，異常值的出現(xiàn)可能是某種預(yù)警信息的表現(xiàn)等，所以應(yīng)該對不同情況的異常點給予不同處理。如果證實是數(shù)據(jù)錄入錯誤，可以刪除。保留或舍棄刪除一個異常數(shù)據(jù)都需要經(jīng)過檢驗來決定。

[1] 石磊.多水平模型及其統(tǒng)計診斷[M].北京：科學(xué)出版社，2008.

[2] 趙崮巍.異常數(shù)據(jù)的判定方法及結(jié)果處理[J].現(xiàn)代商檢科技，1993，（3）.

[3] 杭愛明.如何處理統(tǒng)計數(shù)據(jù)中的異常值問題[J].上海統(tǒng)計，1994.

[4] 張德然.統(tǒng)計數(shù)據(jù)中異常值的檢驗方法[J].統(tǒng)計研究，2003,(5).

[5] 邵婷婷等.兩種剔除異常數(shù)據(jù)的方法比較[J].現(xiàn)代電子技術(shù)，2008,(24).