郭三剛, 張 琳
(陜西理工大學(xué) 數(shù)學(xué)與計算機科學(xué)學(xué)院, 陜西 漢中 723000)
假設(shè)檢驗是基于小概率事件推理原理,以在總體上的兩個相互對立假設(shè)之間做出統(tǒng)計抉擇的理論和方法。小概率事件推理原理必須與假設(shè)檢驗結(jié)合起來才能正確使用,否則將會產(chǎn)生錯誤[1]。
假設(shè)檢驗中有兩個假設(shè):零假設(shè)H0(Null Hypothesis)和備擇假設(shè)H1(Alternative Hypothesis),后者是檢驗者需要證實的假設(shè),前者是檢驗中需要被檢驗的假設(shè),是與備擇假設(shè)對立的假設(shè)。通常,零假設(shè)和備擇假設(shè)由單個總體或多個總體某個或某些參數(shù)(數(shù)學(xué)期望或者方差)等之間的大小關(guān)系表示。令θ是上述參數(shù)構(gòu)成的標量或向量,Θ0和Θ1分別表示零假設(shè)H0和備擇假設(shè)H1為真時所對應(yīng)的參數(shù)θ的取值集合[2]。
零假設(shè)和備擇假設(shè)都有兩種類型:簡單假設(shè)和復(fù)合假設(shè)。為了正確使用小概率事件推理原理,零假設(shè)和備擇假設(shè)必須是互為對立的假設(shè)。但是,現(xiàn)行的教科書[2-4]有時使用不是互為對立的零假設(shè)和備擇假設(shè),在邏輯上是錯誤的。
假設(shè)檢驗中,首先要有一個區(qū)分零假設(shè)和備擇假設(shè)差異性的數(shù)值指標T,它是來自于總體的簡單隨機樣本的函數(shù),稱為檢驗統(tǒng)計量。檢驗統(tǒng)計量應(yīng)當是零假設(shè)是否為真的靈敏標記。在零假設(shè)為真時,檢驗統(tǒng)計量的概率分布或近似分布是可知的,稱為零分布[5]。
假設(shè)檢驗是基于小概率事件推理原理的,即在一次隨機試驗中,小概率事件幾乎是不可能發(fā)生的,如果發(fā)生了則它很可能不是小概率事件。假設(shè)檢驗是如何利用小概率事件推理原理呢?首先,構(gòu)造小概率事件,即給定小概率α(也稱為顯著性水平),在零假設(shè)H0為真時構(gòu)造小概率事件Aα,使得對于任意的θ∈Θ0,有[3]
P(Aα)≤α。
通常,在零假設(shè)為真時求檢驗統(tǒng)計量T的數(shù)學(xué)期望(假定T的方差也存在),根據(jù)切比雪夫不等式,可以證明T的值不可能遠離其數(shù)學(xué)期望太多,遠離太多的概率是很小的。這是我們確定小概率事件Aα的結(jié)構(gòu)和最終形式的理論基礎(chǔ)。小概率事件Aα對應(yīng)的檢驗統(tǒng)計量T的取值區(qū)域稱為零假設(shè)為真時零假設(shè)的拒絕域,記為R(lbα1,ubα2),其中α1、α2分別稱為左、右側(cè)顯著性水平。
下面根據(jù)前面對小概率事件結(jié)構(gòu)的分析介紹拒絕域的結(jié)構(gòu)和系統(tǒng)化求解方法。
(i)雙側(cè)假設(shè)檢驗的拒絕域:如果零假設(shè)H0為真時T的值不能太大也不能太小,則零假設(shè)H0的拒絕域具有形式:
R(lbα1,ubα2)=(-∞,lbα1]∪[ubα2,+∞),
其中α1≤α/2,α2≤α/2,相應(yīng)的檢驗稱為雙側(cè)假設(shè)檢驗,且P(T≤lbα1)≤α1,P(T≥ubα2)≤α2。
(ii)左側(cè)假設(shè)檢驗的拒絕域:如果零假設(shè)H0為真時,T的值不能太小,則拒絕域具有形式(-∞,lbα1],其中α1≤α,相應(yīng)的檢驗稱為左側(cè)假設(shè)檢驗,且P(T≤lbα1)≤α1。
(iii)右側(cè)假設(shè)檢驗的拒絕域:如果零假設(shè)H0為真時,T的值不能太大,則拒絕域具有形式[ubα2,+∞),其中α2≤α,相應(yīng)的檢驗稱為右側(cè)假設(shè)檢驗,且P(T≥ubα2)≤α2。
特別地,當假設(shè)檢驗為雙側(cè)、且檢驗統(tǒng)計量T為連續(xù)型時,取α1=α2=α/2,否則當檢驗統(tǒng)計量T為離散型時,取α1≤α/2,α2≤α/2,且α1、α2盡可能接近α/2;當假設(shè)檢驗為左側(cè)、且檢驗統(tǒng)計量T為連續(xù)型時,取α1=α,否則當檢驗統(tǒng)計量T為離散型時,取α1≤α,且α1盡可能接近α;當假設(shè)檢驗為右側(cè)、且檢驗統(tǒng)計量T為連續(xù)型時,取α2=α,否則當檢驗統(tǒng)計量T為離散型時,取α2≤α,且α2盡可能接近α。
根據(jù)拒絕域的上述定義,小概率事件Aα可以表示為
Aα={T|T∈R(lbα1,ubα2)}。
在假設(shè)檢驗中,勢必會犯兩類錯誤:零假設(shè)H0為真卻被拒絕,其概率不大于給定的顯著性水平α;零假設(shè)H0為假而卻被接受,其概率記為β,計算公式為
通常一個好的假設(shè)檢驗方法,犯第一類錯的概率P(Aα)要較小,即小于預(yù)先給定的顯著性水平α,另外,犯第二類錯誤的概率β也要較小。但是,簡單的分析發(fā)現(xiàn)這兩者不能都小,關(guān)于如何計算和控制犯兩類錯誤的概率有較多的文獻討論[8-11]。
檢驗統(tǒng)計量T選好以后,關(guān)鍵的步驟是如何獲得小概率事件,即零假設(shè)H0為真時零假設(shè)的拒絕域所對應(yīng)的事件。文獻[2,3,5]都沒有給出拒絕域的系統(tǒng)化求解方法。為了求拒絕域,文獻都是將可能是復(fù)合假設(shè)的零假設(shè)變成簡單假設(shè)來做,這破壞了利用小概率事件推理原理的邏輯基礎(chǔ)。再如馬世榮[12]給出零假設(shè)拒絕域的一種模式化求解方法,但也同樣破壞了零假設(shè)可能是復(fù)合假設(shè)的現(xiàn)實。姜淑美[13]利用Neyman K. Pearson定理推導(dǎo)出單個正態(tài)總體均值或方差的單側(cè)假設(shè)檢驗中拒絕域的一種方法,但在求解過程中也將復(fù)合的零假設(shè)簡化為簡單假設(shè)處理,且方法過于復(fù)雜。馮予等[14]給出了二點總體中未知參數(shù)p的雙側(cè)假設(shè)檢驗的基本方法和泊松總體參數(shù)λ的單側(cè)假設(shè)檢驗,但仍將單側(cè)假設(shè)檢驗中復(fù)合的零假設(shè)改為簡單假設(shè)求解拒絕域。曹曉剛等[15]給出了單個正態(tài)總體均值的假設(shè)檢驗拒絕域一種分析求解方法,但沒有給出一般、可推廣性的系統(tǒng)化方法。羅榮華等[16]從抽樣誤差極限的角度提出了假設(shè)檢驗的一種新思維,僅考慮正態(tài)總體均值的三種假設(shè)檢驗,用觀察法給出零假設(shè)為真時其拒絕域的形式,沒有給出系統(tǒng)化求解方法。
本文給出了一種基于最優(yōu)化方法求解零假設(shè)為真時其拒絕域和計算p-值的系統(tǒng)化求解方法。這種方法對零假設(shè)中的任意參數(shù)θ∈Θ0,使得事件Aα={T|T∈R(lbα1,ubα2)}總是小概率事件,且滿足:
P(Aα)=P(T∈R(lbα1,ubα2))≤α。
通常,要將文字描述的零假設(shè)和備擇假設(shè)抽象成用總體參數(shù)表達的等式或不等式的形式,一般地,有三種形式的零假設(shè)和備擇假設(shè)
H0:θ=θ0,H1:θ≠θ0;H0:θ≤θ0,H1:θ>θ0;H0:θ≥θ0,H1:θ<θ0;
通常,雙側(cè)假設(shè)檢驗的檢驗統(tǒng)計量T的分布不依賴于任何未知參數(shù),即T的分布類型和分布函數(shù)是確定的。假定檢驗統(tǒng)計量T的數(shù)學(xué)期望ET和方差DT都存在。假定三種零假設(shè)為真時,檢驗統(tǒng)計量T的數(shù)學(xué)期望依次滿足:ET=m0,ET≥m0,ET≤m0,這里m0為常數(shù)。然后,依此條件得到零假設(shè)為真時零假設(shè)的拒絕域的結(jié)構(gòu)類型。
知道了零假設(shè)為真時其拒絕域的結(jié)構(gòu)類型,那么給定顯著性水平α,以及左右側(cè)顯著性水平α1和α2,就可以給出拒絕域R(lbα1,ubα2)的一種系統(tǒng)化求解方法。
分別就雙側(cè)、左側(cè)和右側(cè)假設(shè)檢驗討論零假設(shè)為真時其拒絕域的系統(tǒng)化求解方法。
2.1.1 雙側(cè)假設(shè)檢驗
根據(jù)假定:雙側(cè)假設(shè)檢驗零假設(shè)為真時,檢驗統(tǒng)計量T的概率分布不依賴于任何未知參數(shù),故?(θ,θ0)∈Θ0,T的分布是相同的。于是,有
P(T∈R(lbα1,ubα2))=α,
即P(T≤lbα1)=α1,P(T≥ubα2)=α2,
查檢驗統(tǒng)計量T的概率分位數(shù)表或者設(shè)法計算,協(xié)調(diào)地找到臨界值lbα1和ubα2,且lbα1要盡可能地大,ubα2要盡可能地小。
2.1.2 左側(cè)假設(shè)檢驗
選擇α1=α,按照下式求解零假設(shè)H0的拒絕域:
(1)
2.1.3 右側(cè)假設(shè)檢驗
選擇α2=α,按照下式求解零假設(shè)H0的拒絕域:
(2)
分別就雙側(cè)、左側(cè)和右側(cè)假設(shè)檢驗討論零假設(shè)H0為真時其拒絕域的系統(tǒng)化求解方法。
2.2.1 雙側(cè)假設(shè)檢驗
根據(jù)假定:雙側(cè)假設(shè)檢驗的檢驗統(tǒng)計量T的分布不依賴于任何參數(shù),故?(θ,θ0)∈Θ0,T的分布是相同的。于是,有
P(T≤lbα1)=α1,P(T≥ubα2)=α2,
查檢驗統(tǒng)計量T的概率分位數(shù)表或者設(shè)法計算,協(xié)調(diào)地找到臨界值lbα1和α1,ubα2和α2,使得lbα1要盡可能地大,ubα2要盡可能地小。
2.2.2 左側(cè)假設(shè)檢驗
選擇α1≤α,且α1盡可能接近α,按照下式求解零假設(shè)H0的拒絕域:
(3)
2.2.3 右側(cè)假設(shè)檢驗
選擇α2≤α,且α2盡可能接近α,按照下式求解零假設(shè)H0的拒絕域:
(4)
2.1—2.2節(jié)的系統(tǒng)化方法求解的拒絕域保證了零假設(shè)H0為真時所有參數(shù)(θ,θ0)∈Θ0對應(yīng)的事Aα={T|T∈R(lbα1,ubα2)}都是小概率事件。
事實上,無論檢驗統(tǒng)計量是連續(xù)型還是離散型,都有:
(1)對雙側(cè)假設(shè)檢驗,?(θ,θ0)∈Θ0,有
(5)
(2)對左側(cè)假設(shè)檢驗,?(θ,θ0)∈Θ0,有
(6)
(3)對右側(cè)假設(shè)檢驗,?(θ,θ0)∈Θ0,有
(7)
上述計算p-值的系統(tǒng)化方法能夠保證p-值檢驗的完備性,下面以定理給出并證明之。
定理上述計算p-值的系統(tǒng)化方法能夠保證p-值檢驗的完備性,即根據(jù)p-值和給定的顯著性水平α的相對大小,可以在零假設(shè)H0和備擇假設(shè)H1之間做出抉擇,即如果p-值大于α,則接受零假設(shè)H0;如果p-值小于或等于α,則拒絕零假設(shè)H0而接受備擇假設(shè)H1。
證明下面就雙側(cè)、左側(cè)和右側(cè)假設(shè)檢驗分別證明。
(I)雙側(cè)假設(shè)檢驗。再分兩種情況討論。
(i)如果P(T≥tobs)=min{P(T≥tobs),P(T≤tobs)},則p=2P(T≥tobs)。
如果p≤α,我們要證明tobs∈R(lbα1,ubα2)。不然,設(shè)lbα1 (8) (ii)如果P(T≤tobs)=min{P(T≥tobs),P(T≤tobs)},則p=2P(T≤tobs)。 如果p≤α,我們要證明tobs∈R(lbα1,ubα2)。不然,設(shè)lbα1 (9) (II)左側(cè)假設(shè)檢驗。如果 且零假設(shè)為真時其拒絕域為R(lbα1,ubα2)=(-∞,lbα1]。那么,根據(jù)小概率事件推理原理以及p-值與給定的顯著性水平α之間的相對大小,在零假設(shè)H0和備擇假設(shè)H1之間做出統(tǒng)計推斷。 事實上,如果p>α,即 故tobs>lbα1,即檢驗統(tǒng)計量T的觀察值tobs落入了零假設(shè)H0為真時的接受域,故接受零假設(shè)H0而拒絕備擇假設(shè)H1。 如果p≤α,則如果tobs>lbα1,則 (III)右側(cè)假設(shè)檢驗。如果 且零假設(shè)為真時其拒絕域為[ubα2,+∞)。那么,根據(jù)小概率事件推理原理以及p-值與給定的顯著性水平α之間的相對大小,在零假設(shè)H0和備擇假設(shè)H1之間做出統(tǒng)計推斷。 事實上,如果p>α,則 故tobs 如果p≤α,則如果tobs 證畢。 定理表明:按照本文所提出的計算p-值的系統(tǒng)化方法保證了p-值決策的完備性。p-值決策的完備性蘊含著一種假設(shè)檢驗方法,即給定顯著性水平α,依據(jù)p-值與顯著性水平α的相對大小對零假設(shè)和備擇假設(shè)做出統(tǒng)計推斷。 限于篇幅,關(guān)于拒絕域和p-值的系統(tǒng)化求解方法的應(yīng)用將另文介紹。 本文詳細介紹了假設(shè)檢驗的基本理論與方法,將求解零假設(shè)拒絕域的問題轉(zhuǎn)化為一個最優(yōu)化問題,提出了一種求解零假設(shè)拒絕域和計算p-值的系統(tǒng)化方法,該方法能夠保證所得到的拒絕域?qū)α慵僭O(shè)為真時的所有參數(shù)對應(yīng)的事件都是小概率事件;另外,證明了p-值的系統(tǒng)化計算方法保證了p-值檢驗的完備性。4 小 結(jié)