王天營(yíng)

（南京審計(jì)學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，南京 210029）

一元線性回歸分析中三種檢驗(yàn)的等價(jià)性研究

王天營(yíng)

（南京審計(jì)學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，南京 210029）

在研究?jī)蓚€(gè)變量是否線性相關(guān)時(shí)，要對(duì)線性相關(guān)系數(shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn)；在建立線性回歸模型時(shí)，既要對(duì)回歸模型中的參數(shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn)，又要對(duì)模型本身進(jìn)行統(tǒng)計(jì)檢驗(yàn)。然而，在一元線性回歸分析中，盡管對(duì)變量線性相關(guān)性的檢驗(yàn)、模型參數(shù)和模型本身檢驗(yàn)的目的各不相同，所選統(tǒng)計(jì)量也不同，但是，三種檢驗(yàn)卻具有檢驗(yàn)效果的等價(jià)性。文章將對(duì)此進(jìn)行研究、證明。

統(tǒng)計(jì)量；統(tǒng)計(jì)檢驗(yàn)；線性相關(guān)

在對(duì)社會(huì)、經(jīng)濟(jì)、科技等相關(guān)問(wèn)題進(jìn)行定量研究的過(guò)程中，經(jīng)常要考察兩個(gè)變量聯(lián)系的密切程度及其聯(lián)系的具體形式，以便通過(guò)改變其中一個(gè)變量的取值而測(cè)定另一個(gè)變量的變動(dòng)，即對(duì)兩個(gè)變量進(jìn)行相關(guān)和回歸分析。另一方面，從理論上說(shuō)，不僅所有非線性回歸問(wèn)題均可以轉(zhuǎn)化為線性回歸問(wèn)題，而且多元線性回歸分析的基本機(jī)理也與一元線性回歸分析的基本機(jī)理完全相同。因此，在回歸分析中研究最多、最基本的是一元線性回歸問(wèn)題。

1 一元線性回歸分析中的三種統(tǒng)計(jì)檢驗(yàn)

1.1 兩變量間線性相關(guān)性統(tǒng)計(jì)檢驗(yàn)

從兩變量線性相關(guān)及其與回歸分析關(guān)系看，確立兩個(gè)變量相關(guān)的方向及其聯(lián)系的密切程度是建立一元線性回歸模型的前提，即只有當(dāng)兩個(gè)變量存在線性相關(guān)關(guān)系，或者只有存在高度線性相關(guān)關(guān)系時(shí)，考慮建立兩個(gè)變量的一元線性回歸模型才有意義。所以，當(dāng)通過(guò)樣本數(shù)據(jù)計(jì)算出兩變量間的線性相關(guān)系數(shù)之后，通常要對(duì)其線性相關(guān)程度進(jìn)行統(tǒng)計(jì)檢驗(yàn)，即選取適當(dāng)?shù)慕y(tǒng)計(jì)量，在給定顯著性水平下，檢驗(yàn)統(tǒng)計(jì)量取值的顯著性。由此產(chǎn)生了一元回歸模型分析中的第一種統(tǒng)計(jì)檢驗(yàn)——相關(guān)系數(shù)檢驗(yàn)。

假定變量X與變量Y之間的線性相關(guān)系數(shù)為ρ，-1≤ρ≤1。 通過(guò)樣本數(shù)據(jù)(x1，y1)，(x2，y2)，…，(xn，yn)計(jì)算變量 X 與變量Y的樣本相關(guān)系數(shù)（即Pearson系數(shù)）為

1.2 一元線性回歸方程回歸系數(shù)的統(tǒng)計(jì)檢驗(yàn)

從一元線性回歸方程的建立看，當(dāng)變量X與變量Y之間存在高度線性相關(guān)關(guān)系，且進(jìn)行回歸分析時(shí)，必須先通過(guò)定性分析，在變量X與變量Y之間區(qū)分出自變量和因變量。不妨以變量X為自變量、變量Y為因變量，并設(shè)它們之間的線性表達(dá)式為y=a+bx+ε（為表述方便起見(jiàn)，后文中均用y替代變量 Y，以 x替代變量 X），并假定 ε~N(0，δ2)。 再通過(guò)統(tǒng)計(jì)調(diào)查獲得相應(yīng)的樣本數(shù)據(jù)(x1，y1)，(x2，y2)，…，(xn，yn)，且假定滿足條件:

在此假定下，可以推出 yi~N(a+bxi，δ2)，以及 y1，y2，…，yn相互獨(dú)立。再利用普通最小二乘法（OLS）或極大似然估計(jì)法，均可求得線性表達(dá)式y(tǒng)=a+bx+ε中參數(shù)a，b的點(diǎn)估計(jì)為

從而，根據(jù)樣本數(shù)據(jù)(x1，y1)，(x2，y2)，…，(xn，yn)求出一元線性回歸方程

顯然，只要y=a+bx+ε中變量x的系數(shù)b≠0，就表明變量x和變量y線性相關(guān)。然而，從實(shí)際調(diào)查的數(shù)據(jù)來(lái)看，對(duì)于變量x和變量y的任意一組取值，甚至當(dāng)變量x和變量y不存在任何關(guān)系時(shí)，利用式（1）求出參數(shù)b的點(diǎn)估計(jì)值b贊=0的可能性也非常小。也就是說(shuō)，一旦通過(guò)樣本計(jì)算出參數(shù)b的點(diǎn)估計(jì)值b贊≠0，還不能由此推出變量x和變量y真的線性相關(guān)，還必須對(duì)其作進(jìn)一步的統(tǒng)計(jì)檢驗(yàn)。由此產(chǎn)生了一元線性回歸模型分析中的第二種統(tǒng)計(jì)檢——對(duì)一元線性回歸模型中變量系數(shù)（參數(shù)）的統(tǒng)計(jì)檢驗(yàn)。

根據(jù)假設(shè)檢驗(yàn)的基本理論，設(shè)原假設(shè)與備擇假設(shè)分別為H0：b=0；H1：b≠0。

1.3 一元回歸模型整體統(tǒng)計(jì)顯著性檢驗(yàn)

從多元線性回歸模型，不妨設(shè)為y=β0+β1x1+β2x2+…+βkxk+ε，k≥2，對(duì)于任意一組樣本數(shù)據(jù)(x11，x21，…，xk1)，（x12，x22，…，xk2），…，(x1n，x2n，…，xkn)，采用普通最小二乘法或極大似然估計(jì)法，同樣可以分別求得模型中參數(shù) β0，β1，β2，…，βk的點(diǎn)而且它們都幾乎不會(huì)為零。 也就是說(shuō)，同一元線性回歸一樣，必須對(duì)模型中每一個(gè)變量xi（i=1，2，…，k）的系數(shù)（參數(shù)）βi進(jìn)行統(tǒng)計(jì)檢驗(yàn)。

即假定其它變量取值不變， 檢驗(yàn) H0：βi=0；H1：βi≠0，i=1，2，…，k，并以為統(tǒng)計(jì)量，且在 H0：βi=0 為真時(shí)，統(tǒng)計(jì)量其中，δ贊為多元線性回歸分析中的估計(jì)標(biāo)準(zhǔn)誤差。

但是，在多元線性回歸分析中，僅對(duì)回歸方程中的參數(shù)進(jìn)行獨(dú)立的統(tǒng)計(jì)檢驗(yàn)是不夠的，還必須對(duì)方程本身（或者說(shuō)把所有自變量看作一個(gè)整體）進(jìn)行統(tǒng)計(jì)檢驗(yàn)。這是因?yàn)榧词苟嘣€性回歸方程中的每一個(gè)自變量均與因變量線性相關(guān)，即均能通過(guò)單個(gè)參數(shù)的檢驗(yàn)，也并不能保證所選自變量整體對(duì)因變量的解釋程度顯著（或者說(shuō)也不能保證所選自變量的整體能對(duì)因變量作出較為全面的解釋?zhuān)Ｒ虼?，還必須對(duì)因變量與所選自變量的整體間的關(guān)系進(jìn)行檢驗(yàn)，并由此產(chǎn)生了第三種檢驗(yàn)——一元回歸模型整體顯著性檢驗(yàn)

根據(jù)假設(shè)檢驗(yàn)的基本理論，設(shè)原假設(shè)與備擇假設(shè)分別為

選取F=(n-k-1)Sr/Se為檢驗(yàn)統(tǒng)計(jì)量， 且在H0：β1=β2=…=βk=0 為真時(shí)，可以證明：F=(n-k-1)Sr/Se~F(k，n-k-1)。

事實(shí)上，對(duì)于一元線性回歸方程y=a+bx+ε也必須對(duì)方程的整體顯著性進(jìn)行統(tǒng)計(jì)檢驗(yàn)，檢驗(yàn)自變量x對(duì)因變量y的解釋程度如何，它們之間僅僅存在線性相關(guān)只是問(wèn)題的一個(gè)方面。為此設(shè)原假設(shè)與備擇假設(shè)分別為H0:b=0；H1:b≠0。

選取F=(n-2)Sr/Se為檢驗(yàn)統(tǒng)計(jì)量，可以證明：在 H0：b=0為真時(shí)，F(xiàn)=(n-2)Sr/Se~F(1，n-2)。

由以上不難看出，一元線性回歸分析中的三種統(tǒng)計(jì)檢驗(yàn)，其檢驗(yàn)的出發(fā)點(diǎn)有著質(zhì)的區(qū)別：相關(guān)系數(shù)檢驗(yàn)是為了檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系，回歸方程中變量系數(shù)的檢驗(yàn)是為了檢驗(yàn)單個(gè)自變量與因變量間是否存在線性相關(guān)關(guān)系，方程整體顯著性檢驗(yàn)是為了檢驗(yàn)所選定的自變量作為一個(gè)整體對(duì)因變量的解釋程度。但是，這三種統(tǒng)計(jì)檢驗(yàn)不僅都與線性相關(guān)有關(guān)，而且這三個(gè)統(tǒng)計(jì)量之間還具有相應(yīng)的數(shù)量相等或轉(zhuǎn)化關(guān)系。因此，在一元線性回歸分析中，它們僅是從不同的角度解決同一個(gè)問(wèn)題，具有檢驗(yàn)效果的等價(jià)性。但是，對(duì)于多元線性回歸分析而言，這三種統(tǒng)計(jì)檢驗(yàn)的效果并不完全相同。

2 一元線性回歸分析中三種統(tǒng)計(jì)檢驗(yàn)的等價(jià)性

2.1 線性相關(guān)系數(shù)與回歸系數(shù)統(tǒng)計(jì)檢驗(yàn)的等價(jià)性

線性相關(guān)系數(shù)統(tǒng)計(jì)檢驗(yàn)與回歸系數(shù)統(tǒng)計(jì)檢驗(yàn)的等價(jià)性主要體現(xiàn)在如兩方面：

（1）在 H0:ρ=0 與 H0:b=0 為真時(shí)，統(tǒng)計(jì)量與 統(tǒng) 計(jì) 量都服從自由度為n-2的t分布。這是這兩個(gè)檢驗(yàn)具有等價(jià)性的一個(gè)方面，即檢驗(yàn)統(tǒng)計(jì)量分布的等價(jià)性。

（2）可以證明兩變量間線性相關(guān)和回歸系數(shù)檢驗(yàn)統(tǒng)計(jì)量，對(duì)于同一樣本數(shù)據(jù)，具有取值上的等同性，即

事實(shí)上，對(duì)于樣本數(shù)據(jù)(x1，y1)，(x2，y2)，…，(xn，yn)，根據(jù)式（1）、（2）及一元線性回歸方程y贊=a贊+b贊x，并在 H0:ρ=0 與 H0:b=0都為真時(shí)，可得證畢。

由此可見(jiàn)，對(duì)于同一樣本數(shù)據(jù)(x1，y1)，(x2，y2)，…，(xn，yn)，統(tǒng)計(jì)量的值相同，且均服從自由度為的分布，因此，對(duì)兩變量線性相關(guān)系數(shù)的統(tǒng)計(jì)檢驗(yàn)與對(duì)一元回歸方程回歸系數(shù)的統(tǒng)計(jì)檢驗(yàn)效果完全相同。也就是說(shuō)，如果兩變量線性相關(guān)系數(shù)能通過(guò)統(tǒng)計(jì)檢驗(yàn)，則相應(yīng)的回歸系數(shù)也能通過(guò)統(tǒng)計(jì)檢驗(yàn)；如果兩變量線性相關(guān)系數(shù)不能通過(guò)統(tǒng)計(jì)檢驗(yàn)，則相應(yīng)的回歸系數(shù)也不能通過(guò)統(tǒng)計(jì)檢驗(yàn)，反之亦然。由此表明，在解決實(shí)際問(wèn)題時(shí)，并不需要既對(duì)變量線性相關(guān)系數(shù)進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)，又對(duì)相應(yīng)的回歸系數(shù)進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)，只需選擇其一進(jìn)行檢驗(yàn)即可。

2.2 回歸系數(shù)及線性相關(guān)系數(shù)統(tǒng)計(jì)檢驗(yàn)與一元線性回歸方程整體顯著性檢驗(yàn)的等價(jià)性

（1）可以證明，若隨機(jī)變量X~t(n)，則隨機(jī)變量函數(shù)Y=X2~F(1，n)。

因?yàn)楫?dāng)隨機(jī)變量X~t(n)時(shí)，其概率函數(shù)為

將其與隨機(jī)變量X~F(m，n)的概率函數(shù)相比較可知，Y=X2~F（1，n）。這表明自由度為n的t分布可以轉(zhuǎn)化為相應(yīng)的F分布。證畢。

（2）在一元線性回歸分析中，對(duì)于同一樣本數(shù)據(jù)有如下數(shù)量關(guān)系

由此可見(jiàn)，對(duì)于同一樣本數(shù)據(jù)(x1，y1)，(x2，y2)，…，(xn，yn)有因此，盡管線性相關(guān)系數(shù)與回歸系數(shù)的檢驗(yàn)統(tǒng)計(jì)量，在相應(yīng)原假設(shè)為真時(shí)，所服從的分布與檢驗(yàn)方程整體顯著性性的統(tǒng)計(jì)量所服從的分布不同，但是，如果兩變量線性相關(guān)系數(shù)能通過(guò)統(tǒng)計(jì)檢驗(yàn)，或相應(yīng)回歸系數(shù)能通過(guò)統(tǒng)計(jì)檢驗(yàn)，則相應(yīng)方程整體顯著性也能通過(guò)統(tǒng)計(jì)檢驗(yàn)；如果兩變量相關(guān)系數(shù)不能通過(guò)統(tǒng)計(jì)檢驗(yàn)，或相應(yīng)回歸系數(shù)不能通過(guò)統(tǒng)計(jì)檢驗(yàn)，則相應(yīng)方程整體顯著性也不能通過(guò)統(tǒng)計(jì)檢驗(yàn)，反之亦然。由此表明，在解決一元線性回歸的實(shí)際問(wèn)題中，并不需要既對(duì)線性相關(guān)系數(shù)或相應(yīng)回歸系數(shù)進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)，又對(duì)相應(yīng)方程整體進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)，只要在三種統(tǒng)計(jì)檢驗(yàn)中，任選其一進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)就可達(dá)到三種檢驗(yàn)的不同目的。

但是，值得注意的是，在多元線性回歸分析中，對(duì)方程各變量系數(shù)（偏回歸系數(shù)）的統(tǒng)計(jì)檢驗(yàn)并不能代替對(duì)方程整體顯著性的統(tǒng)計(jì)檢驗(yàn)，反之亦然。也就是說(shuō)，對(duì)多元線性回歸方程各變量系數(shù)（偏回歸系數(shù)）與方程整體線性分別進(jìn)行相應(yīng)的統(tǒng)計(jì)檢驗(yàn)才能達(dá)到不同的目的。

3 驗(yàn)證案例

按照凱恩斯絕對(duì)收入消費(fèi)理論，消費(fèi)是居民可支配收入水平的函數(shù)。消費(fèi)函數(shù)最簡(jiǎn)單形式為y=a+bx+ε，其中y為居民消費(fèi)支出；a為居民自發(fā)性消費(fèi)支出，即在收入為0時(shí)的消費(fèi)支出；x為居民可支配收入；b為居民邊際消費(fèi)傾向，即居民可支配收入每改變1個(gè)單位所引起居民消費(fèi)支出的平均改變量。

為研究中國(guó)農(nóng)村居民家庭人均生活消費(fèi)支出與農(nóng)村居民家庭人均純收入之間的關(guān)系，本案例收集了1993~2007年中國(guó)農(nóng)村居民家庭人均生活消費(fèi)支出與其人均純收入的數(shù)據(jù)（見(jiàn)表1），并以中國(guó)農(nóng)村居民家庭人均純收入為自變量、以農(nóng)村居民家庭人均生活消費(fèi)支出為因變量，建立1993~2007年中國(guó)農(nóng)村居民生活消費(fèi)支出一元回歸模型。

將上述數(shù)據(jù)分別代入式（1）、（2）可以求出 1993~2007年中國(guó)農(nóng)村居民家庭人均消費(fèi)支出對(duì)家庭人均純收入的一元線性回歸方程贊=24.5902+0.7575x，以及用于一元線性回歸方程系數(shù)檢驗(yàn)和方程整體顯著性檢驗(yàn)的統(tǒng)計(jì)量t=30.5629，F(xiàn)=934.0876。同樣可以求相應(yīng)時(shí)期中國(guó)農(nóng)村居民家庭人均消費(fèi)支出與其相應(yīng)人均純收入之間的相關(guān)系數(shù)r=0.993113，以及用于變量線性相關(guān)性檢驗(yàn)的統(tǒng)計(jì)量，由此可見(jiàn)

表1 1993~2007年中國(guó)農(nóng)村居民家庭人均生活消費(fèi)支出與其人均純收入及計(jì)算

而且變量線性相關(guān)性與方程回歸系數(shù)檢驗(yàn)的p值為

因此，三種檢驗(yàn)的p值相等再一次表明，在一元線性回歸分析中，對(duì)于同一樣本數(shù)據(jù)和同一顯著性水平，三種統(tǒng)計(jì)檢驗(yàn)的效果具有等價(jià)性。其實(shí)踐意義在于：在有關(guān)一元線性回歸模型統(tǒng)計(jì)檢驗(yàn)中，完全不必拘泥于選擇哪一種統(tǒng)計(jì)檢驗(yàn)，任選三種統(tǒng)計(jì)檢驗(yàn)中的一種均可以做出相同的統(tǒng)計(jì)判斷。

[1]雷奧奇·卡塞拉（George Casella）(美)，羅杰 L.貝耶（Roger L.Berger）(美).統(tǒng)計(jì)推斷（英文版·原書(shū)第二版）[M].北京：機(jī)械工業(yè)出版社,2005.

[2]華伯泉.簡(jiǎn)明數(shù)理統(tǒng)計(jì)學(xué)[M].天津：天津人民出版社，1988.

[3]莊楚強(qiáng)，何春雄.應(yīng)用數(shù)理統(tǒng)計(jì)（第三版）[M].廣州：華南理工大學(xué)出版社，2006.

[4]何燦芝，羅漢.應(yīng)用統(tǒng)計(jì)學(xué)[M].長(zhǎng)沙：湖南大學(xué)出版社，2004.

（責(zé)任編輯/亦 民）

O212

A

1002-6487（2011）03-0008-04

王天營(yíng)（1963-），男，安徽固鎮(zhèn)人，博士，副教授，研究方向：統(tǒng)計(jì)理論和方法。