劉 玥 徐 雷 劉紅云 韓雨婷 游曉鋒 萬志林
(1 四川師范大學(xué)腦與心理科學(xué)研究院, 成都 610066)(2 應(yīng)用實(shí)驗(yàn)心理北京市重點(diǎn)實(shí)驗(yàn)室; 3 北京師范大學(xué)心理學(xué)部, 北京 100875)(4 北京語言大學(xué)心理學(xué)院, 北京 100083) (5 南昌師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院, 南昌 360111)
近年來, 心理學(xué)研究者對(duì)學(xué)術(shù)不端和研究可重復(fù)性問題的討論日趨激烈。國(guó)內(nèi)外越來越多的學(xué)術(shù)期刊推行預(yù)注冊(cè)(pre-register)制度, 能夠有效避免根據(jù)結(jié)果決定是否繼續(xù)收集數(shù)據(jù)的不良行為(例如p-hacking), 促進(jìn)科研過程和結(jié)果的公開透明, 提高研究的可重復(fù)性(Nosek et al., 2022)。預(yù)注冊(cè)時(shí),對(duì)被試量、試次數(shù)等與研究設(shè)計(jì)相關(guān)的要素需有明確規(guī)劃和充分理由。如何針對(duì)特定的統(tǒng)計(jì)模型開展樣本量規(guī)劃, 是心理學(xué)研究者關(guān)心的問題。本研究基于線性混合效應(yīng)模型, 探索使用模擬方法結(jié)合檢驗(yàn)力和效應(yīng)量準(zhǔn)確性開展樣本量規(guī)劃的范式, 并通過開發(fā)直觀的置信區(qū)間寬度等高線圖, 方便應(yīng)用研究者確定符合要求的被試量和試次數(shù), 為開展研究設(shè)計(jì)、保證研究質(zhì)量提供方法支持。
隨著研究問題的深入和數(shù)據(jù)收集手段的進(jìn)步,含有隨機(jī)效應(yīng)的刺激和嵌套結(jié)構(gòu)的設(shè)計(jì)越來越普遍。例如, 心理語言學(xué)實(shí)驗(yàn)研究通常會(huì)使用詞語作為刺激, 但不同詞語誘發(fā)的反應(yīng)速度不同, 會(huì)造成觀察到的實(shí)驗(yàn)效應(yīng)有一部分是由不同的詞語刺激引起的(Barr et al., 2013)。此時(shí), 以傳統(tǒng)方差分析為代表的方法由于混淆了實(shí)驗(yàn)效應(yīng)與隨機(jī)效應(yīng), 會(huì)導(dǎo)致第I 類錯(cuò)誤和檢驗(yàn)力的估計(jì)偏差(Barr et al., 2013;Judd et al., 2017)。線性混合效應(yīng)模型(Linear Mixed-Effects Models, LMEMs)可以避免由于對(duì)被試接受的同一條件下所有刺激求均值等方式(如,重復(fù)測(cè)量方差分析)造成的信息損失, 且同時(shí)靈活考慮不同原因(如, 刺激隨機(jī)取樣、被試嵌套結(jié)構(gòu)等)造成的隨機(jī)效應(yīng)。因此, LMEMs 在心理學(xué)實(shí)驗(yàn)中的應(yīng)用越來越廣泛(Barr et al., 2013; Brauer & Curtin,2018; Judd et al., 2017; Lee, 2018)。在web of science中檢索近5 年的心理學(xué)實(shí)驗(yàn)類論文, 使用LMEMs約是使用方差分析的1.5 倍。
然而, 目前國(guó)內(nèi)LMEMs 的應(yīng)用還很少。例如,2020~2022 年我國(guó)心理學(xué)頂刊《心理學(xué)報(bào)》上發(fā)表的181 篇實(shí)驗(yàn)類文章中, 僅9 篇使用了LMEMs, 且其中的5 篇沒有闡述確定樣本量的理由, 3 篇應(yīng)用G*power 近似得到所需樣本量, 僅有1 篇應(yīng)用simr軟件包采用模擬方法基于檢驗(yàn)力分析確定樣本量。制約該模型廣泛應(yīng)用的一個(gè)重要原因是, 設(shè)計(jì)中隨機(jī)效應(yīng)的增加帶來了模型復(fù)雜程度的增加, 導(dǎo)致常用的樣本量規(guī)劃軟件(例如G*power 等)不再適用,研究者對(duì)基于LMEMs 如何科學(xué)地規(guī)劃實(shí)驗(yàn)設(shè)計(jì),設(shè)置合理的被試量和試次數(shù)感到無所適從, 急需方便易用的程序或圖示, 指導(dǎo)樣本量規(guī)劃。
傳統(tǒng)樣本量規(guī)劃主要基于虛無假設(shè)顯著性檢驗(yàn)(Null Hypothesis Significance Test, NHST)的檢驗(yàn)力分析, 要求樣本量必須使檢驗(yàn)力達(dá)到預(yù)設(shè)標(biāo)準(zhǔn)。檢驗(yàn)力分析可分為公式推導(dǎo)方法和基于蒙特卡洛模擬方法(例如Arend & Sch?fer, 2019)。公式推導(dǎo)方法含有關(guān)于分布的強(qiáng)假設(shè), 當(dāng)數(shù)據(jù)不符合時(shí)可能得到有偏差的結(jié)果(Judd et al., 2017)?;诿商乜迥M的方法是在預(yù)設(shè)的參數(shù)下基于特定模型重復(fù)生成數(shù)據(jù), 再基于模擬數(shù)據(jù)估計(jì)參數(shù), 統(tǒng)計(jì)所有重復(fù)中得到顯著性結(jié)果的比例。其優(yōu)勢(shì)在于不需要推導(dǎo)參數(shù)分布, 能夠處理非正態(tài)分布的數(shù)據(jù), 并且可以靈活定義模型。一些學(xué)者已經(jīng)開發(fā)了成熟的R 軟件包(如 simr)應(yīng)用蒙特卡洛模擬的方式計(jì)算LMEMs 的檢驗(yàn)力(Green & MacLeod, 2016)。
為了方便應(yīng)用研究者基于檢驗(yàn)力分析確定適用于嵌套數(shù)據(jù)分析的合適樣本量, 一些研究者在模擬方法的基礎(chǔ)上, 開發(fā)了直觀的圖示以及配套程序,展示不同樣本量情況下的檢驗(yàn)力, 為樣本量規(guī)劃提供參考。應(yīng)用最廣的是以樣本量為橫坐標(biāo), 檢驗(yàn)力為縱坐標(biāo)的折線圖(例如Kumle et al., 2021)。研究者根據(jù)預(yù)設(shè)檢驗(yàn)力做出水平線, 與折線交點(diǎn)所對(duì)應(yīng)的橫坐標(biāo)就是滿足要求的最小樣本量。Murayama等(2022)還開發(fā)了生成檢驗(yàn)力折線圖的在線程序。但是, 嵌套結(jié)構(gòu)的數(shù)據(jù)需要確定兩個(gè)水平樣本量,不同實(shí)驗(yàn)設(shè)計(jì)下增加不同水平樣本量的成本不同。折線圖僅能固定某個(gè)水平樣本量, 以另一個(gè)水平樣本量為橫坐標(biāo)生成, 無法同時(shí)呈現(xiàn)兩個(gè)水平樣本量與檢驗(yàn)力的關(guān)系。Schultzberg 和Muthén (2018)將水平1、2 樣本量分別作為橫、縱坐標(biāo), 用陰影區(qū)域表示符合檢驗(yàn)力要求的兩個(gè)水平樣本量組合范圍。Baker 等(2021)提出了檢驗(yàn)力等高線圖, 將相同檢驗(yàn)力的兩個(gè)水平樣本量組合的點(diǎn)連成等高線, 用多條等高線表示不同檢驗(yàn)力水平。綜上, 對(duì)于嵌套數(shù)據(jù), 研究者需要在同一個(gè)圖內(nèi)觀察到兩個(gè)水平樣本量在檢驗(yàn)力上的補(bǔ)償關(guān)系, 并在考慮實(shí)驗(yàn)成本的基礎(chǔ)上綜合權(quán)衡, 得到合適的各水平樣本量。
以上總結(jié)的樣本量規(guī)劃圖示僅考慮了檢驗(yàn)力。但是, 隨著學(xué)術(shù)界對(duì)NHST 的批判, 美國(guó)統(tǒng)計(jì)協(xié)會(huì)發(fā)表了關(guān)于謹(jǐn)慎使用NHST 的聲明, 強(qiáng)調(diào)應(yīng)避免僅報(bào)告顯著性, 而應(yīng)同時(shí)報(bào)告效應(yīng)量(Wasserstein &Lazar, 2016)及其區(qū)間估計(jì)的結(jié)果。因此, 一些學(xué)者提出應(yīng)基于效應(yīng)量準(zhǔn)確性分析開展樣本量規(guī)劃。
效應(yīng)量準(zhǔn)確性分析的核心是控制效應(yīng)量置信區(qū)間(Confidence Interval, CI)的寬度, 越窄表明其估計(jì)越準(zhǔn)確(Maxwell et al., 2008)。有研究根據(jù)期望的CI 上下限, 倒推可接受的最大CI 寬度(Usami,2020)。例如, 在效應(yīng)量的點(diǎn)估計(jì)值為0.5 的情況下,計(jì)算得到其95%置信區(qū)間(以下簡(jiǎn)稱“95% CI”)寬度為0.6, 則95% CI 約為[0.2, 0.8]。根據(jù)Cohen (1988)的標(biāo)準(zhǔn), 該區(qū)間涵蓋了效應(yīng)量小、中、大的條件(0.2,0.5, 0.8), 估計(jì)精確性差(Maxwell et al., 2008;Usami, 2020)。有的研究直接根據(jù)不同CI 寬度計(jì)算對(duì)應(yīng)的最小樣本量(例如Kelley & Rausch, 2006)??傊? 目前關(guān)于如何確定可接受的最寬CI 寬度仍未形成一致結(jié)論(例如Kelley et al., 2018)。
為了方便應(yīng)用研究者基于效應(yīng)量準(zhǔn)確性分析確定適用于嵌套數(shù)據(jù)分析的樣本量, Hecht 和Zitzmann (2021)提出了基于被試數(shù)和時(shí)間點(diǎn)的總體表現(xiàn)圖, 分別以二者作為橫、縱坐標(biāo), 通過收斂比例, 參數(shù)估計(jì)偏差等指標(biāo)計(jì)算模型擬合的綜合表現(xiàn)得分, 并以色塊區(qū)分不同得分。研究者可以根據(jù)色塊, 權(quán)衡得到合適的樣本量組合。但該圖并未考慮檢驗(yàn)力, 并且色塊僅表示綜合得分, 具有一定的主觀性, 研究者無法從圖中清晰了解所關(guān)心的參數(shù)估計(jì)的準(zhǔn)確性。
綜上, 針對(duì)嵌套數(shù)據(jù)的樣本量規(guī)劃需同時(shí)保證檢驗(yàn)力和效應(yīng)量準(zhǔn)確性達(dá)到要求。然而, 已有的方法、程序或圖示大多只基于其中一個(gè)目的展開(例如Arend & Sch?fer, 2019; Kumle et al., 2021; Usami,2020), 尚沒有圖示能夠方便研究者同時(shí)考慮兩方面要求規(guī)劃樣本量。因此, 本研究提出CI 寬度等高線圖, 采用蒙特卡洛模擬方法進(jìn)行檢驗(yàn)力和效應(yīng)量準(zhǔn)確性分析, 在圖中同時(shí)呈現(xiàn)兩個(gè)水平樣本量不同組合下的檢驗(yàn)力和CI 寬度情況。由于CI 寬度尚沒有統(tǒng)一標(biāo)準(zhǔn), 本研究結(jié)合已有研究的兩種思路, 提供不同CI 寬度下的樣本量, 建議研究者結(jié)合期望的CI 上下限推出可接受的最寬CI 寬度, 進(jìn)而綜合檢驗(yàn)力分析結(jié)果確定被試量和試次數(shù)的理想結(jié)合點(diǎn)。
此外, 在以心理學(xué)實(shí)驗(yàn)研究為背景的樣本量規(guī)劃中, 研究者普遍關(guān)注基于實(shí)驗(yàn)效應(yīng)中固定效應(yīng)的樣本量規(guī)劃(Lee, 2018), 未關(guān)注基于被試變量對(duì)實(shí)驗(yàn)效應(yīng)的調(diào)節(jié)效應(yīng)的樣本量規(guī)劃。然而, 隨著心理學(xué)個(gè)體差異視角研究的深入, 越來越多的研究開始探索不同類型個(gè)體間的實(shí)驗(yàn)效應(yīng)是否存在差異。例如, 蔣元萍等(2022)發(fā)現(xiàn), 積極情緒和消極情緒狀態(tài)下被試(被試調(diào)節(jié)變量)的跨期決策行為(實(shí)驗(yàn)效應(yīng))存在顯著差異。這類研究需要樣本量規(guī)劃滿足被試變量調(diào)節(jié)效應(yīng)估計(jì)準(zhǔn)確性的要求。因此, 本研究以典型的被試內(nèi)重復(fù)實(shí)驗(yàn)設(shè)計(jì)為背景, 基于LMEMs, 分別探討基于被試內(nèi)變量的實(shí)驗(yàn)效應(yīng)和被試間變量的調(diào)節(jié)效應(yīng)的樣本量規(guī)劃問題。
本文首先在多層線性模型框架下重構(gòu)模型, 以更好適應(yīng)實(shí)驗(yàn)設(shè)計(jì)在不同層級(jí)加入自變量(控制變量)的需要。然后, 說明生成CI 寬度等高線圖的流程及其函數(shù)。最后, 分別基于被試內(nèi)變量的實(shí)驗(yàn)效應(yīng)和被試間變量的調(diào)節(jié)效應(yīng)進(jìn)行模擬研究, 考察實(shí)驗(yàn)效應(yīng)、隨機(jī)斜率、被試變量類型如何影響評(píng)價(jià)指標(biāo)結(jié)果和CI 寬度等高線圖, 并說明如何根據(jù)結(jié)果推薦合適的樣本量。
LMEMs 的一般形式可見Williams 等(2021)的文章。在多層線性模型的框架下, 可對(duì)其重新定義。以刺激嵌套于實(shí)驗(yàn)條件的被試內(nèi)實(shí)驗(yàn)設(shè)計(jì)為例, 假設(shè)刺激沒有重復(fù)(Barr et al., 2013; Lee, 2018)。水平1 表示試次(trial)水平, 水平2 表示被試水平, 試次嵌套于被試。隨機(jī)斜率模型(模型1)可表示為
其中,Yji表示連續(xù)的結(jié)果變量(j= 1,…,J表示試次,i= 1, …,I表示被試),Xji表示實(shí)驗(yàn)效應(yīng)的虛無編碼,β0i和β1i分別表示被試的隨機(jī)截距和隨機(jī)斜率,即不同被試基線水平和實(shí)驗(yàn)效應(yīng)的不同,I0j表示刺激的隨機(jī)截距(不同刺激的效應(yīng)不同)。γ00和γ10分別表示被試隨機(jī)截距的均值和隨機(jī)斜率的均值,其中γ10是實(shí)驗(yàn)效應(yīng)的固定部分, 是重點(diǎn)考察的效應(yīng)量指標(biāo)。u0i,u1i,rji分別表示水平2 截距、斜率的隨機(jī)部分和水平1 的殘差。模型假設(shè),刺激的隨機(jī)截距I0j~N(0,ω002)。
多層線性模型的優(yōu)勢(shì)在于能夠方便地在不同水平加入解釋變量。例如, 可在水平2 加入自變量Wi, 用于解釋隨機(jī)截距和隨機(jī)斜率存在個(gè)體間差異的原因(模型2)。
其中,Wi表示被試變量,γ01表示被試變量對(duì)隨機(jī)截距的影響,γ11表示被試變量對(duì)隨機(jī)斜率的影響,也可看作水平1 和水平2 變量的跨水平交互作用,是重點(diǎn)考察的效應(yīng)量指標(biāo)。
基于模擬的方法生成置信區(qū)間寬度等高線圖實(shí)現(xiàn)樣本量規(guī)劃包含以下步驟。
第一, 設(shè)置參數(shù)。在實(shí)驗(yàn)研究背景下, 選用特定的LMEM, 設(shè)置水平1、水平2 樣本量1當(dāng)水平1、水平2 自變量為分類變量時(shí), 可設(shè)定不同類別的樣本量。, 固定效應(yīng)取值, 以及隨機(jī)效應(yīng)分布。
第二, 生成數(shù)據(jù)?;诓襟E一中定義的模型重復(fù)生成數(shù)據(jù)N次(如,N= 1000)。
第三, 參數(shù)估計(jì)。對(duì)于每次重復(fù), 使用產(chǎn)生模型與數(shù)據(jù)擬合。應(yīng)用R 軟件包lme4(Bates et al.,2023)基于限制性極大似然(restricted maximum likelihood, REML)方法估計(jì)參數(shù)。采用默認(rèn)的Wald方法計(jì)算效應(yīng)量參數(shù)的CI。
第四, 變化水平1、水平2 樣本量, 重復(fù)步驟一到三。
第六, 根據(jù)標(biāo)準(zhǔn)對(duì)評(píng)價(jià)指標(biāo)作出判斷, 畫出CI寬度等高線圖, 推薦合適的樣本量。本研究建議采用效應(yīng)量標(biāo)準(zhǔn)的最高水平減去最低水平作為可接受的最大CI 寬度。
本研究基于R 語言(R Development Core Team,2020)編寫了適用于 LMEMs 樣本量規(guī)劃的函數(shù)samplesize_LMEM.R (見在線補(bǔ)充材料2)。調(diào)用函數(shù), 并輸入相應(yīng)的參數(shù)運(yùn)行程序, 可以得到評(píng)價(jià)指標(biāo)結(jié)果和CI 寬度等高線圖。應(yīng)用流程如圖1 所示。調(diào)用語句及其說明請(qǐng)參考在線補(bǔ)充材料3。本函數(shù)具有一定的靈活性, 例如設(shè)置ω002= 0時(shí), 數(shù)據(jù)生成模型簡(jiǎn)化為不含刺激隨機(jī)效應(yīng)的模型; 設(shè)置ω002= 0,τ112= 0時(shí), 簡(jiǎn)化為隨機(jī)截距模型; 設(shè)置ω002= 0,τ112= 0,ICC= 0時(shí), 簡(jiǎn)化為一般線性模型。
圖1 CI 寬度等高線圖生成流程圖
調(diào)用線性混合效應(yīng)模型樣本量規(guī)劃R 函數(shù)的語句見附圖5。
附圖5 調(diào)用線性混合效應(yīng)模型進(jìn)行樣本量規(guī)劃函數(shù)語句
如上圖所示, 第1 行表示調(diào)用附件2 中的R 函數(shù)。第2 行輸入模擬的重復(fù)次數(shù)。第3、4 行分別輸入水平2 和水平1 樣本量的向量, 假設(shè)長(zhǎng)度分別為M 和P, 這些設(shè)定值完全交叉, 共形成M×P 種處理水平的組合。第5、6 行分別表示水平1 分類自變量?jī)蓚€(gè)水平樣本量占總體的比例。第7、8 分別表示模型2 水平2 分類自變量?jī)蓚€(gè)水平樣本量占總體的比例。第10 行表示CI 等高線圖中的等高線刻度, 研究者可根據(jù)可接受的最寬CI 寬度結(jié)合實(shí)際情況自行定義。第12 行表示運(yùn)行基于模型1 (水平1 自變量為2 個(gè)類別的分類變量)的模擬程序并輸出結(jié)果, 括號(hào)內(nèi)輸入的參數(shù)在N 之后依次為γ10.std,γ00, ICC,τ11.std2,σ2,ω002。第15行表示運(yùn)行基于模型2 且水平2 自變量為2 個(gè)類別的分類變量(水平1 自變量為2 個(gè)類別的分類變量)的模擬程序并輸出結(jié)果, 括號(hào)內(nèi)輸入的參數(shù)在N 之后依次為表示水平2 自變量類型的指標(biāo)變量(0 表示分類變量,1 表示連續(xù)變量),γ10.std,γ11.std,γ01.std,γ00, ICC,τ11.std2,σ2,ω002。第18 行表示運(yùn)行基于模型2 且水平2 自變量為連續(xù)變量(水平1 自變量為2 個(gè)類別的分類變量)的模擬程序并輸出結(jié)果, 括號(hào)內(nèi)輸入的參數(shù)與第15 行相同。第13、16 和19 行表示調(diào)用結(jié)果繪制CI 寬度等高線圖。
研究者運(yùn)行附圖5 中的第1——10 行, 以及第12-13、15-16、18-19 任一行代碼, 即可得到模擬生成的數(shù)據(jù)、真值、擬合結(jié)果、整合后的評(píng)價(jià)指標(biāo)結(jié)果(模型1 為“modelOne_evaluation_accuracy.csv”, 模型2 為“modelTwo_evaluation_accuracy.csv”)和兩種CI 寬度等高線圖。注意, 如果有時(shí)得不到某種CI 等高線圖, 可能是因?yàn)闆]有符合要求的樣本量組合以形成圖中的陰影區(qū)域。即, 對(duì)于檢驗(yàn)力+CI 寬度等高線圖, 在輸入的水平1、水平2 樣本量的所有組合下, 沒有滿足檢驗(yàn)力大于等于0.8 的情況;對(duì)于檢驗(yàn)力+隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性+CI 寬度等高線圖, 在輸入的水平1、水平2 樣本量的所有組合下, 沒有同時(shí)滿足檢驗(yàn)力大于等于0.8 并且所有隨機(jī)效應(yīng)估計(jì)值rbias 小于0.1 的情況。此時(shí)研究者可以檢查評(píng)價(jià)指標(biāo)結(jié)果文檔進(jìn)一步確認(rèn)。
下面通過兩個(gè)模擬研究, 考察不同因素對(duì)檢驗(yàn)力和效應(yīng)量估計(jì)準(zhǔn)確性的影響, 說明CI (本研究為95% CI)寬度等高線圖在樣本量規(guī)劃中的應(yīng)用。
研究1 在模型1 的框架下, 針對(duì)實(shí)驗(yàn)效應(yīng)γ10,即水平1 自變量的固定效應(yīng), 考察γ10大小對(duì)模型估計(jì)結(jié)果的影響, 并通過CI 寬度等高線圖提供樣本量建議。
在H社區(qū)調(diào)查時(shí),人力問題成為了我們調(diào)研期間的一個(gè)關(guān)鍵詞,H社區(qū)負(fù)責(zé)人提到了基層編制不足,工作量大,給社區(qū)帶來了巨大的壓力。 根據(jù)公安部的標(biāo)準(zhǔn),微型消防站人員配備應(yīng)不少于六人。 微型消防站應(yīng)設(shè)站長(zhǎng)、副站長(zhǎng)、消防員、控制室值班員等崗位,配有消防車輛的微型消防站應(yīng)設(shè)駕駛員崗位。
4.1.1 固定參數(shù)設(shè)置
基于模型 1 模擬生成數(shù)據(jù)。參照 Arend 和Sch?fer (2019)的參數(shù)設(shè)置, 隨機(jī)截距的固定效應(yīng)γ00固定為0, 殘差rij~N( 0,1)。預(yù)研究發(fā)現(xiàn), 組內(nèi)相關(guān)2在多水平模型中, 組內(nèi)相關(guān)ICC 用于表示零模型(不含任何預(yù)測(cè)變量的模型)中水平2 變異占總變異的比例, 值越大組間變異越大。一般而言, 被試嵌套于組的設(shè)計(jì)所得到的ICC 要小于測(cè)量嵌套于被試的ICC。(intraclass correlation coefficient, ICC)大小對(duì)γ10的檢驗(yàn)力和參數(shù)估計(jì)準(zhǔn)確性都沒有顯著影響,因此固定為中等水平0.3 (Arend & Sch?fer, 2019),已知?dú)埐罘讲瞀?= 1, 根據(jù)下式, 計(jì)算得到τ002的值。
標(biāo)準(zhǔn)化的隨機(jī)斜率方差3預(yù)研究發(fā)現(xiàn), 標(biāo)準(zhǔn)化的隨機(jī)斜率方差 τ11.std2對(duì) γ10的檢驗(yàn)力和參數(shù)估計(jì)偏差影響不大。固定為中等水平(τ11.std2= 0.09)。為簡(jiǎn)化研究, 隨機(jī)截距和隨機(jī)斜率的協(xié)方差固定為 0 (ρ= 0, Arend & Sch?fer,2019)。刺激的隨機(jī)效應(yīng)4本研究暫不考察刺激隨機(jī)效應(yīng)大小對(duì)樣本量規(guī)劃結(jié)果的影響,因此參考Cho 等(2017)的實(shí)證調(diào)查, 將刺激的隨機(jī)效應(yīng)固定為較小水平0.2。固定為較小水平ω002=0.2(Cho et al., 2017) 。最后, 根據(jù)殘差方差, 得到用于產(chǎn)生數(shù)據(jù)的總體模型的隨機(jī)斜率方差。
Xji設(shè)定為二分類變量(如, 控制組和實(shí)驗(yàn)組)。采用偏差編碼(deviation coding, Barr et al., 2013;Lee, 2018)的形式, 編碼為-0.5 和0.5。每種條件下重復(fù)模擬1000 次(例如Zhang, 2014)。
4.1.2 變化參數(shù)設(shè)置
參考Arend 和Sch?fer (2019)的研究, 實(shí)驗(yàn)效應(yīng)的大小(γ10.std5在多水平模型中, γ10. std=γ10*SDpredictor /SDoutcome。當(dāng)自變量為分類變量時(shí), γ10.std為部分標(biāo)準(zhǔn)化的回歸系數(shù), 即只對(duì)因變量標(biāo)準(zhǔn)化(SDo utcome =σ ,γ1 0.s td =γ10/σ)。該系數(shù)代表了自變量?jī)蓚€(gè)類別在因變量上的標(biāo)準(zhǔn)化均值差異(Cohen’s d)。。)設(shè)為3 個(gè)水平:0.2 (小)、0.5 (中)、0.8(大)。在每種條件下分別進(jìn)行樣本量規(guī)劃。
水平1 樣本量(J, 試次數(shù)), 包含10 個(gè)水平:10,20, 30, 50, 70, 100, 150, 200, 250, 300。水平2 樣本量(I, 被試量), 包含9 個(gè)水平:10, 30, 50, 70, 100,200, 400, 600, 800。共形成10 × 9 = 90種樣本量組合6水平1 樣本量中, J = 10 的水平代表了Lee (2018)的研究中使用Laplace 接近方法沒有收斂問題的條件, J = 300 的水平代表了Schultzberg 和Muthén (2018)關(guān)于動(dòng)態(tài)結(jié)構(gòu)方程模型樣本量規(guī)劃研究中測(cè)試時(shí)間點(diǎn)設(shè)置的最大水平。水平2 樣本量中, I =10 的水平接近Lee (2018)總結(jié)的類似實(shí)驗(yàn)設(shè)計(jì)所使用的被試量最小值(16), I = 800 的水平接近Lee (2018)模擬研究中設(shè)置的1000 名被試的水平, 目的是為了探索大樣本條件對(duì)效應(yīng)量估計(jì)準(zhǔn)確性提高的作用。最小到最大樣本量水平之間的變化參考了同類樣本量規(guī)劃研究(例如Schultzberg & Muthén, 2018)。。
此外, 有研究證明, 當(dāng)不同條件下試次數(shù)不等時(shí)(非平衡設(shè)計(jì)), 同等樣本量條件下的檢驗(yàn)力較小(Kumle et al., 2021)。因此, 為考察非平衡設(shè)計(jì)對(duì)樣本量規(guī)劃的影響, 在效應(yīng)量中等的水平下, 增加自變量?jī)蓚€(gè)類別樣本量不等的情況。參考Kumle 等(2021)的研究, 設(shè)兩個(gè)水平的樣本量比例為1 : 4。
綜上, 完成參數(shù)設(shè)置, 調(diào)用samplesize_LMEM.R 函數(shù)運(yùn)行得到結(jié)果。
評(píng)價(jià)指標(biāo)包括5 個(gè)方面。(1)收斂率。即參數(shù)估計(jì)收斂次數(shù)占總重復(fù)次數(shù)的比例。是否收斂采用lme4默認(rèn)的Hessian 檢驗(yàn)評(píng)價(jià)(Bates et al., 2023)。后面的所有評(píng)價(jià)指標(biāo)均基于收斂的情況計(jì)算。(2)檢驗(yàn)力。γ10的CI 不包括0 的次數(shù)占所有收斂次數(shù)的比例。預(yù)設(shè)的檢驗(yàn)力標(biāo)準(zhǔn)為大于等于0.8。(3)效應(yīng)量(固定效應(yīng))估計(jì)的準(zhǔn)確性。包括估計(jì)偏差(bias),相對(duì)估計(jì)偏差(relative parameter estimation bias,rbias), 誤差均方根(root mean squared error, RMSE),CI 寬度(width), CI 對(duì)真值的覆蓋率(CP)。以γ10為例:
其中,γ10表示真值,N表示模擬重復(fù)次數(shù)。對(duì)于第n次重復(fù),為γ10估計(jì)值,H(n)為估計(jì)結(jié)果是否收斂的指標(biāo)變量,H(n)= 0 表示不收斂,H(n)= 1 表示收斂。width(n)表示的CI 寬度,coverage(n)為的CI是否覆蓋真值γ10的指標(biāo)變量,coverage(n)= 0表示沒有覆蓋真值,coverage(n)=1表示覆蓋真值。如果效應(yīng)量γ10估計(jì)準(zhǔn)確, 則bias 應(yīng)在0 附近, rbias 應(yīng)小于其臨界值0.1 (Koch et al.,2014), RMSE 應(yīng)較小, width 應(yīng)較窄, CP 應(yīng)在0.925到0.975 之間(Bradley, 1978)。(4)效應(yīng)量標(biāo)準(zhǔn)誤估計(jì)的準(zhǔn)確性。為評(píng)價(jià)效應(yīng)量標(biāo)準(zhǔn)誤估計(jì)的準(zhǔn)確性, 計(jì)算了效應(yīng)量的估計(jì)標(biāo)準(zhǔn)誤相對(duì)于其估計(jì)值標(biāo)準(zhǔn)差的偏差(SE-SD bias)。以γ10為例,
4.3.1 收斂情況
附表1 和2 (在線補(bǔ)充材料1)分別呈現(xiàn)了平衡和非平衡樣本量分配條件下, 隨機(jī)斜率模型(模型1)的收斂率。各條件下基本不存在收斂問題, 收斂率均在0.7 以上, 兩個(gè)水平樣本量均小于200 時(shí),收斂率均超過0.9。另外, 效應(yīng)量大小和是否為平衡設(shè)計(jì)對(duì)收斂率幾乎沒有影響。
附表1 研究一平衡設(shè)計(jì)各條件下線性混合效應(yīng)模型收斂率
附表2 研究一非平衡設(shè)計(jì)各條件下線性混合效應(yīng)模型收斂率
4.3.2 檢驗(yàn)力結(jié)果
平衡設(shè)計(jì)各條件下檢驗(yàn)力結(jié)果如表1 所示。從表中可以看出, 效應(yīng)量越大, 檢驗(yàn)力越大, 滿足0.8標(biāo)準(zhǔn)需要的樣本量越小。例如, 被試量為中等水平(200 人), 當(dāng)效應(yīng)量為0.2 時(shí), 需要200 個(gè)試次才能保證檢驗(yàn)力達(dá)到0.8 及以上; 而當(dāng)效應(yīng)量為0.8 時(shí),只需要20 個(gè)試次就能保證檢驗(yàn)力達(dá)到0.8 及以上。非平衡設(shè)計(jì)的檢驗(yàn)力結(jié)果見附表3 (在線補(bǔ)充材料1)。對(duì)比發(fā)現(xiàn), 非平衡設(shè)計(jì)的檢驗(yàn)力普遍小于平衡設(shè)計(jì)的結(jié)果。例如, 當(dāng)被試量為10 人, 檢驗(yàn)力達(dá)到0.8 時(shí), 平衡設(shè)計(jì)下需要50 個(gè)試次, 而非平衡設(shè)計(jì)下則需要100 個(gè)試次。
表1 研究1 平衡設(shè)計(jì)各條件下線性混合效應(yīng)模型水平1 自變量效應(yīng)的檢驗(yàn)力
附表3 研究一非平衡設(shè)計(jì)效應(yīng)量為0.5 時(shí)線性混合效應(yīng)模型水平1 自變量效應(yīng)的檢驗(yàn)力
4.3.3 效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性結(jié)果
效應(yīng)量大小對(duì)效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性結(jié)果沒有顯著影響。表2 呈現(xiàn)了平衡設(shè)計(jì)效應(yīng)量為0.5 (中等)情況下效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性結(jié)果(只呈現(xiàn)rbias, width 和SE-SD bias 的結(jié)果, 其他評(píng)價(jià)指標(biāo)結(jié)果見附表4, 效應(yīng)量為0.2 和0.8 的結(jié)果見附表5、6, 在線補(bǔ)充材料1)。表2 結(jié)果顯示所有條件下rbias 都小于0.1。此外, 附表4 顯示在所有條件下, bias 都在0 附近波動(dòng); RMSE 較小, 基本在0.3 以下, 且隨著水平1 和水平2 樣本量增加, 尤其是水平1 樣本量增加, RMSE 減小; 最后, 除了水平1 樣本量為10 的條件外, 其他條件下的覆蓋率都大于0.925。以上結(jié)果說明各條件下, 水平1 自變量的固定效應(yīng)估計(jì)準(zhǔn)確。
表2 研究1 平衡設(shè)計(jì)效應(yīng)量為0.5 時(shí)水平1 自變量固定效應(yīng)及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
附表4 研究一平衡設(shè)計(jì)效應(yīng)量為0.5 時(shí)線性混合效應(yīng)模型水平1 自變量固定效應(yīng)估計(jì)準(zhǔn)確性
附表5 研究一平衡設(shè)計(jì)效應(yīng)量為0.2 時(shí)線性混合效應(yīng)模型水平1 自變量固定效應(yīng)及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
續(xù)附表5
附表6 研究一平衡設(shè)計(jì)效應(yīng)量為0.8 時(shí)線性混合效應(yīng)模型水平1 自變量固定效應(yīng)及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
續(xù)附表6
根據(jù)效應(yīng)量小和大的標(biāo)準(zhǔn)值0.2 和0.8, 定義可接受的最寬95% CI 寬度為0.8 - 0.2 = 0.6。從表3看出, 當(dāng)水平1 樣本量為30 及以下時(shí), 95% CI 寬度均超過了0.6。說明在這些情況下效應(yīng)量估計(jì)的標(biāo)準(zhǔn)誤較大, 導(dǎo)致其95% CI 較寬。
最后, 各種條件下SE-SD bias 都在0 附近波動(dòng),說明效應(yīng)量標(biāo)準(zhǔn)誤估計(jì)較準(zhǔn)確。
此外, 附表7 (在線補(bǔ)充材料1)呈現(xiàn)了非平衡設(shè)計(jì)下的固定效應(yīng)及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性結(jié)果。與平衡設(shè)計(jì)下的結(jié)果相比, 非平衡設(shè)計(jì)下的RMSE 更大, 95% CI 更寬。
附表7 研究一非平衡設(shè)計(jì)效應(yīng)量為0.5 時(shí)線性混合效應(yīng)模型水平1 自變量固定效應(yīng)及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
4.3.4 隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性結(jié)果
效應(yīng)量大小基本不會(huì)影響隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性(附表8~11, 在線補(bǔ)充材料1)。從附表9 看出, 平衡設(shè)計(jì)水平1 自變量效應(yīng)量為0.5 情況下,σ2估計(jì)值的rbias 均小于0.1,τ002的估計(jì)準(zhǔn)確性略優(yōu)于ω002,τ112的估計(jì)準(zhǔn)確性相對(duì)最低。附表11 顯示,與平衡設(shè)計(jì)下的結(jié)果相比, 非平衡設(shè)計(jì)下τ002和τ112的估計(jì)偏差更大。
附表8 研究一平衡設(shè)計(jì)效應(yīng)量為0.2 時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
附表9 研究一平衡設(shè)計(jì)效應(yīng)量為0.5 時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
附表10 研究一平衡設(shè)計(jì)效應(yīng)量為0.8 時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
附表11 研究一非平衡設(shè)計(jì)效應(yīng)量為0.5 時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
4.3.5 樣本量規(guī)劃建議
本研究提出了應(yīng)用CI 寬度等高線圖給出樣本量規(guī)劃建議。效應(yīng)量準(zhǔn)確性主要通過CI 寬度來反映。此外, 考慮到隨機(jī)效應(yīng)方差也可以作為效應(yīng)量指標(biāo)(Hox et al., 2017), 因此也可以同時(shí)結(jié)合檢驗(yàn)力、隨機(jī)效應(yīng)方差估計(jì)準(zhǔn)確性和CI 寬度來規(guī)劃樣本量。以水平1 自變量效應(yīng)量為0.5 的情況為例, 圖2(a)為檢驗(yàn)力+CI 寬度等高線圖, 陰影區(qū)域表示符合檢驗(yàn)力大于等于0.8 標(biāo)準(zhǔn)的條件; 圖2(b)為檢驗(yàn)力+隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性+CI 寬度等高線圖, 陰影區(qū)域表示符合檢驗(yàn)力大于等于0.8 且所有隨機(jī)效應(yīng)估計(jì)值rbias 小于0.1 的條件。不同顏色對(duì)應(yīng)于不同的CI 寬度。
圖2 研究1 平衡設(shè)計(jì)水平1 自變量效應(yīng)量中情況下的CI 寬度等高線圖
從圖2 可看出, 首先, 對(duì)于檢驗(yàn)力, 或檢驗(yàn)力+隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性, 兩個(gè)水平樣本量具有相互補(bǔ)償?shù)淖饔?。但? 當(dāng)水平1 (試次)的樣本量過小時(shí)(例如, 小于30), 無論怎樣增加水平2 (被試)樣本量, 也無法使得檢驗(yàn)力或檢驗(yàn)力+隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性達(dá)到要求。其次, 95% CI 寬度受水平1 樣本量影響更大。當(dāng)水平1 樣本量較小時(shí)(如10), 即使增大水平2 樣本量, 也很難減小95% CI 寬度。最后,與圖a 相比, 圖b 的陰影區(qū)域向右上移動(dòng), 說明增加考慮隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性的要求更加嚴(yán)格。水平1 自變量效應(yīng)量為小、中和大情況下的等高線圖見附圖1~3 (在線補(bǔ)充材料1)。隨著效應(yīng)量增大, 陰影區(qū)域向下方移動(dòng), 滿足要求的水平1 樣本量減小。
附圖1 研究一平衡設(shè)計(jì)水平1 自變量效應(yīng)量小情況下的CI 寬度等高線圖
附圖2 研究一平衡設(shè)計(jì)水平1 自變量效應(yīng)量大情況下的CI 寬度等高線圖
附圖3 研究一非平衡設(shè)計(jì)水平1 自變量效應(yīng)量中情況下的CI 寬度等高線圖
應(yīng)用CI 寬度等高線圖時(shí), 首先根據(jù)陰影區(qū)域找出符合要求(檢驗(yàn)力大于等于0.8, 或檢驗(yàn)力大于等于0.8 且所有隨機(jī)效應(yīng)估計(jì)值rbias 小于0.1)的范圍。然后, 在陰影區(qū)域中, 通過與可接受的最寬CI寬度比較, 得到合適的樣本量組合。例如, 根據(jù)圖2, 滿足檢驗(yàn)力大于等于0.8 的標(biāo)準(zhǔn), 95% CI 寬度小于等于0.6, 則推薦水平1 樣本量 = 50, 水平2 樣本量 = 30。滿足檢驗(yàn)力大于等于0.8 且所有隨機(jī)效應(yīng)估計(jì)值rbias 小于0.1, 95% CI 寬度小于等于0.6,則推薦水平1 樣本量 = 50, 水平2 樣本量 = 400。
從附圖3 看出, 與平衡設(shè)計(jì)相比, 非平衡設(shè)計(jì)下的陰影區(qū)域向上方移動(dòng), 滿足要求的水平1 樣本量增大, 至少為50 才能保證檢驗(yàn)力符合要求。
研究2 在模型2 的框架下, 針對(duì)被試變量的調(diào)節(jié)效應(yīng)(γ11, 跨水平交互作用), 考察τ211大小和被試變量類型對(duì)模型估計(jì)結(jié)果的影響, 并通過CI 寬度等高線圖提供樣本量建議。
5.1.1 固定參數(shù)設(shè)置
考慮到實(shí)際中被試變量iW可能為分類變量(如,性別)或連續(xù)變量(如, 情緒喚醒度), 研究2 分為兩種情境:情境1 中,iW為二分變量, 采用偏差編碼(-0.5 和0.5); 情境2 中,iW為連續(xù)變量, 服從標(biāo)準(zhǔn)正態(tài)分布。
與研究1 類似, 隨機(jī)截距的固定效應(yīng)γ00固定為0。研究2 主要關(guān)注γ11, 因此, 將Xji和Wi的主效應(yīng)固定為中等水平, 即:γ10.std=0.5,γ01.std=0.5(情境1),γ01.std= 0.3(情境2)。為簡(jiǎn)化研究, 參考檢驗(yàn)力分析研究的普遍設(shè)計(jì)(例如Arend & Sch?fer,2019), 將γ11.std也固定為中等水平, 即:γ11.std=0.5(情境1),γ11.std=0.3(情境2)(Cohen,1988)。
與研究1類似,殘差方差設(shè)定為σ2= 1。情境1中, 在τ11.std2= 0.01 (小), 0.09 (中)和0.25 (大)三種水平下(Arend & Sch?fer, 2019), 根據(jù)公式(14), 可得到三種水平下的τ112=0.01, 0.09 和0.25。
利用τ11對(duì)標(biāo)準(zhǔn)化的跨水平交互效應(yīng)進(jìn)行調(diào)整,得到用于產(chǎn)生數(shù)據(jù)的總體模型的固定效應(yīng)參數(shù)(Arend & Sch?fer, 2019)7在多水平模型中, γ1 1 . s td =γ11 * SD p redictor /SDoutcome。當(dāng) Wi 為分類變量時(shí), γ11.std為部分標(biāo)準(zhǔn)化的回歸系數(shù), 即只對(duì)因變量標(biāo)準(zhǔn)化( SDo utcome = τ11 , γ1 1 . s td=γ11 /τ11; 當(dāng) Wi 為連續(xù)變量時(shí), 由于自變量已經(jīng)標(biāo)準(zhǔn)化( SD p redictor = 1), 則 γ1 1 .s td=γ11/τ11為完全標(biāo)準(zhǔn)化的回歸系數(shù)。。
因此, 在情境1 中, 隨機(jī)斜率方差的三種水平下γ11= 0.05, 0.15 和0.25; 在情境2 中, 固定τ11.std2為中等水平(0.09), 可得到γ11= 0.09。γ11表示被試變量對(duì)實(shí)驗(yàn)效應(yīng)的調(diào)節(jié)效應(yīng)。在情境1 中,γ11表示W(wǎng)i=- 0.5的被試和Wi= 0.5的被試在兩個(gè)實(shí)驗(yàn)水平上結(jié)果差異的差異。在情境2 中,γ11表示W(wǎng)i越高/越低的被試, 在兩個(gè)實(shí)驗(yàn)水平上結(jié)果的差異越大/越小。ICC 固定為中等水平。ω002固定為0.2。每種條件下數(shù)據(jù)重復(fù)模擬N= 1000 次。
5.1.2 變化參數(shù)設(shè)置
情境1 中, 在τ11.std2分別為0.01, 0.09 和0.25(公式(14))時(shí)分別進(jìn)行樣本量規(guī)劃。同時(shí), 為考察非平衡設(shè)計(jì)對(duì)樣本量規(guī)劃的影響, 增加被試變量?jī)蓚€(gè)類別樣本量不等的情況(1 : 4)。樣本量設(shè)置與研究1相同。調(diào)用samplesize_LMEM.R 函數(shù)運(yùn)行得到結(jié)果。
與研究1 相同。
5.3.1 收斂情況
研究2 中LMEMs 的收斂率見附表12、13 (在線補(bǔ)充材料1)??梢钥闯? 當(dāng)τ112小,Wi為分類變量時(shí), 在部分條件下, 收斂率低于0.7。甚至在有些條件下(I= 800,J= 250 或300), 僅有不到一半的重復(fù)收斂。說明當(dāng)較小時(shí), 采用隨機(jī)斜率模型可能會(huì)帶來不收斂的問題。其余各條件下基本不存在收斂問題, 收斂率普遍在0.7 以上。Wi為分類變量或連續(xù)變量、是否為平衡設(shè)計(jì)對(duì)收斂率幾乎沒有影響。
附表12 研究二平衡設(shè)計(jì)各條件下線性混合效應(yīng)模型收斂率
附表13 研究二非平衡設(shè)計(jì)為中等時(shí)線性混合效應(yīng)模型收斂率
附表13 研究二非平衡設(shè)計(jì)為中等時(shí)線性混合效應(yīng)模型收斂率
注:J 表示水平1 樣本量,I 表示水平2 樣本量。表中加粗的為收斂率大于等于0.7 的結(jié)果。
I J 10 20 30 50 70 100 150 200 250 300 10 0.979 0.991 0.992 0.993 0.994 0.997 0.994 0.986 0.988 0.980 30 0.992 0.992 0.994 0.996 0.997 0.995 0.993 0.983 0.982 0.976 50 0.992 0.996 0.993 0.996 0.991 0.989 0.976 0.970 0.959 0.956 70 0.983 0.992 0.994 0.995 0.992 0.984 0.978 0.965 0.950 0.942 100 0.982 0.989 0.997 0.996 0.995 0.992 0.977 0.966 0.942 0.933 200 0.978 0.990 0.975 0.977 0.975 0.967 0.955 0.925 0.921 0.908 400 0.960 0.967 0.959 0.960 0.951 0.947 0.924 0.895 0.880 0.879 600 0.932 0.949 0.924 0.930 0.916 0.918 0.897 0.848 0.861 0.809 800 0.930 0.934 0.925 0.908 0.883 0.883 0.854 0.802 0.809 0.775
5.3.2 檢驗(yàn)力結(jié)果
各條件下γ11檢驗(yàn)力結(jié)果如附表14、15 (在線補(bǔ)充材料1)所示??梢钥闯?越大, 檢驗(yàn)力越大。Wi為連續(xù)變量得到的檢驗(yàn)力普遍大于Wi為分類變量的情況, 這可能與連續(xù)變量提供的信息量更多有關(guān)。隨著兩個(gè)水平樣本量增加, 尤其是水平2 樣本量增加, 檢驗(yàn)力增加。與研究1 不同, 研究2 中的檢驗(yàn)力受水平2 樣本量影響更大, 這是因?yàn)檠芯?中的檢驗(yàn)力是針對(duì)水平2 自變量計(jì)算的, 受被試量影響更大, 而研究1 中的檢驗(yàn)力針對(duì)水平1 自變量計(jì)算, 受試次數(shù)影響更大。此外, 非平衡設(shè)計(jì)的檢驗(yàn)力普遍小于平衡設(shè)計(jì)的結(jié)果。
附表14 研究二平衡設(shè)計(jì)各條件下線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)的檢驗(yàn)力
附表15 研究二非平衡設(shè)計(jì)為中等時(shí)線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)的檢驗(yàn)力
附表15 研究二非平衡設(shè)計(jì)為中等時(shí)線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)的檢驗(yàn)力
注:J 表示水平1 樣本量,I 表示水平2 樣本量。表中加粗的為檢驗(yàn)力大于等于0.8 的結(jié)果。
I J 10 20 30 50 70 100 150 200 250 300 10 0.067 0.077 0.084 0.081 0.097 0.100 0.105 0.104 0.105 0.135 30 0.076 0.102 0.110 0.141 0.152 0.134 0.157 0.179 0.175 0.176 50 0.089 0.148 0.151 0.178 0.223 0.230 0.268 0.252 0.253 0.271 70 0.121 0.161 0.181 0.230 0.255 0.275 0.321 0.317 0.354 0.304 100 0.136 0.196 0.241 0.301 0.362 0.402 0.427 0.431 0.425 0.442 200 0.220 0.340 0.424 0.504 0.599 0.631 0.691 0.710 0.727 0.750 400 0.413 0.631 0.736 0.838 0.865 0.925 0.947 0.951 0.956 0.968 600 0.550 0.777 0.869 0.953 0.972 0.981 0.988 0.992 0.992 0.995 800 0.676 0.876 0.947 0.979 0.994 0.995 0.998 0.999 1.000 1.000
5.3.3 效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性結(jié)果
調(diào)節(jié)效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性結(jié)果見附表16~20 (在線補(bǔ)充材料1)??梢钥闯?不同的條件下, bias, rbias, 95%CP 和SE-SD bias 的結(jié)果非常一致, 都較小。隨著增加, RMSE 增大, 95% CI變寬。
附表16 研究二平衡設(shè)計(jì)小且 W i 為分類變量時(shí)線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
附表16 研究二平衡設(shè)計(jì)小且 W i 為分類變量時(shí)線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
注:J 表示水平1 樣本量,I 表示水平2 樣本量,criteria 表示各評(píng)價(jià)指標(biāo)。rbias 中加粗的為其值小于0.1 的結(jié)果,width 中加粗的為其值小于0.06 的結(jié)果,CP 中加粗的為其值大于0.925 的結(jié)果。
criteria I J 10 20 30 50 70 100 150 200 250 300 10 0.016 0.000 0.002 -0.003 -0.006 0.002 0.000 -0.003 -0.003 -0.003 bias 30 -0.002 -0.005 -0.003 0.009 -0.003 0.001 -0.002 0.000 0.001 0.002 50 0.000 0.003 -0.002 0.001 -0.001 -0.001 -0.003 0.000 0.000 0.000 70 0.000 0.003 -0.002 0.000 -0.002 -0.002 -0.002 0.001 0.000 -0.002 100 -0.005 -0.004 0.001 -0.001 0.001 -0.002 0.001 -0.001 0.002 0.000 200 0.000 -0.002 -0.001 -0.001 -0.001 -0.001 0.001 0.000 0.000 0.000 400 0.005 0.001 0.001 0.000 -0.001 0.001 -0.001 0.001 -0.001 0.000 600 0.000 -0.002 -0.001 0.000 0.000 -0.001 0.000 0.000 0.000 -0.001 800 -0.001 -0.001 -0.002 0.001 0.000 0.001 0.001 0.001 0.000 0.000 10 0.032 0.000 0.005 0.007 0.013 0.005 0.001 0.006 0.006 0.005 rbias 30 0.003 0.011 0.006 0.017 0.006 0.003 0.004 0.001 0.001 0.004 50 0.000 0.007 0.004 0.002 0.003 0.002 0.005 0.001 0.001 0.001 70 0.001 0.005 0.005 0.000 0.005 0.004 0.005 0.002 0.000 0.004 100 0.010 0.008 0.002 0.003 0.001 0.003 0.002 0.003 0.004 0.000 200 0.001 0.004 0.003 0.002 0.002 0.002 0.002 0.001 0.001 0.000 400 0.009 0.002 0.001 0.001 0.002 0.002 0.002 0.001 0.002 0.000 600 0.001 0.004 0.002 0.001 0.001 0.002 0.001 0.001 0.000 0.001 800 0.002 0.003 0.004 0.002 0.001 0.002 0.001 0.003 0.001 0.001 10 0.398 0.284 0.236 0.189 0.162 0.141 0.121 0.111 0.098 0.094 RMSE 30 0.235 0.176 0.140 0.109 0.094 0.082 0.068 0.065 0.060 0.054 50 0.181 0.128 0.106 0.085 0.073 0.066 0.055 0.047 0.043 0.043 70 0.149 0.108 0.091 0.073 0.062 0.052 0.046 0.042 0.039 0.037 100 0.133 0.093 0.076 0.062 0.052 0.045 0.039 0.034 0.032 0.031 200 0.092 0.064 0.054 0.042 0.035 0.033 0.027 0.026 0.023 0.022 400 0.064 0.045 0.038 0.032 0.028 0.022 0.018 0.017 0.017 0.016 600 0.054 0.038 0.031 0.025 0.022 0.018 0.015 0.014 0.013 0.012 800 0.045 0.032 0.027 0.022 0.019 0.016 0.014 0.012 0.012 0.011 10 1.818 1.353 1.187 1.007 0.939 0.880 0.836 0.816 0.798 0.789 width 30 1.020 0.771 0.667 0.585 0.548 0.512 0.485 0.474 0.465 0.458 50 0.783 0.595 0.522 0.454 0.423 0.397 0.378 0.367 0.361 0.355 70 0.660 0.503 0.442 0.386 0.358 0.338 0.319 0.310 0.305 0.301 100 0.549 0.421 0.368 0.323 0.300 0.282 0.267 0.260 0.255 0.252 200 0.388 0.299 0.262 0.228 0.212 0.200 0.189 0.184 0.181 0.178 400 0.274 0.211 0.185 0.161 0.150 0.141 0.134 0.130 0.128 0.126 600 0.224 0.172 0.152 0.132 0.123 0.115 0.109 0.106 0.104 0.103 800 0.194 0.149 0.131 0.114 0.106 0.100 0.095 0.092 0.090 0.089 10 0.957 0.963 0.959 0.957 0.956 0.963 0.949 0.935 0.951 0.936 CP 30 0.963 0.949 0.944 0.959 0.955 0.953 0.957 0.948 0.938 0.946 50 0.949 0.960 0.953 0.954 0.957 0.940 0.943 0.964 0.953 0.943 70 0.957 0.959 0.947 0.948 0.947 0.964 0.943 0.939 0.938 0.939 100 0.953 0.941 0.963 0.933 0.956 0.945 0.948 0.956 0.958 0.949 200 0.949 0.962 0.950 0.951 0.955 0.940 0.946 0.937 0.952 0.960 400 0.951 0.950 0.945 0.942 0.932 0.957 0.957 0.962 0.944 0.937 600 0.946 0.963 0.956 0.950 0.933 0.953 0.964 0.953 0.957 0.958 800 0.948 0.962 0.950 0.945 0.944 0.929 0.923 0.951 0.945 0.953 10 0.049 0.033 0.026 0.015 0.013 0.006 0.005 0.000 0.005 0.002 SE-SD bias 30 0.009 -0.002 0.004 0.004 0.003 0.000 0.002 -0.002 -0.002 0.001 50 0.006 0.006 0.004 0.002 0.002 -0.003 -0.001 0.003 0.002 0.000 70 0.009 0.004 0.002 0.000 0.000 0.002 0.000 -0.001 -0.001 0.000 100 -0.002 0.000 0.001 -0.002 0.001 0.000 0.000 0.001 0.000 0.000 200 0.000 0.002 0.000 0.000 0.002 -0.001 0.000 -0.001 0.000 0.000 400 0.001 0.001 0.000 -0.002 -0.002 0.001 0.001 0.000 0.000 -0.001 600 -0.001 0.000 0.000 0.000 -0.001 0.000 0.001 0.000 0.000 0.000 800 0.001 0.001 0.000 0.000 0.000 0.000 -0.001 0.000 0.000 0.000
附表17 研究二平衡設(shè)計(jì)中且 W i為分類變量時(shí)線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
注:J 表示水平1 樣本量,I 表示水平2 樣本量,criteria 表示各評(píng)價(jià)指標(biāo)。rbias 中加粗的為其值小于0.1 的結(jié)果,width 中加粗的為其值小于0.18 的結(jié)果,CP 中加粗的為其值大于0.925 的結(jié)果。
criteria I J 10 20 30 50 70 100 150 200 250 300 10 0.014 -0.012 0.001 0.001 -0.015 -0.012 -0.015 -0.010 -0.010 -0.008 bias 30 -0.002 0.001 -0.002 -0.003 0.005 -0.002 -0.007 0.001 0.003 -0.002 50 -0.005 0.000 -0.003 0.000 0.001 -0.003 -0.005 0.001 -0.002 0.000 70 0.004 -0.002 -0.001 -0.001 0.003 0.003 -0.001 0.003 -0.002 0.003 100 -0.005 -0.001 -0.006 0.001 -0.002 -0.003 -0.001 0.000 -0.001 0.001 200 -0.004 -0.002 0.000 0.002 0.000 0.003 -0.002 -0.002 0.000 0.000 400 -0.003 0.000 0.001 -0.001 -0.001 -0.002 -0.001 0.000 0.001 0.000 600 -0.002 -0.001 -0.001 -0.002 0.000 0.001 0.000 0.001 0.001 0.001 800 -0.001 -0.001 0.000 0.000 0.000 0.000 0.001 0.000 0.000 0.001 10 0.028 0.025 0.002 0.002 0.030 0.025 0.029 0.020 0.019 0.015 rbias 30 0.004 0.001 0.003 0.005 0.011 0.005 0.015 0.001 0.006 0.005 50 0.010 0.000 0.005 0.000 0.003 0.005 0.011 0.003 0.003 0.001 70 0.009 0.003 0.003 0.002 0.007 0.006 0.003 0.006 0.004 0.006 100 0.010 0.003 0.011 0.003 0.005 0.006 0.002 0.001 0.001 0.001 200 0.008 0.004 0.001 0.003 0.000 0.006 0.004 0.003 0.001 0.000 400 0.006 0.001 0.002 0.003 0.001 0.004 0.001 0.001 0.001 0.000 600 0.003 0.003 0.003 0.004 0.001 0.001 0.001 0.002 0.003 0.003 800 0.003 0.002 0.000 0.000 0.000 0.000 0.003 0.001 0.000 0.002 10 0.426 0.337 0.300 0.253 0.240 0.229 0.215 0.215 0.206 0.204 RMSE 30 0.262 0.193 0.169 0.149 0.141 0.132 0.123 0.118 0.118 0.117 50 0.200 0.149 0.134 0.113 0.109 0.104 0.097 0.093 0.090 0.089 70 0.165 0.127 0.112 0.099 0.092 0.084 0.080 0.079 0.078 0.078 100 0.141 0.106 0.096 0.082 0.076 0.071 0.068 0.062 0.067 0.062 200 0.097 0.076 0.067 0.058 0.052 0.051 0.048 0.046 0.044 0.044 400 0.072 0.054 0.048 0.041 0.039 0.035 0.036 0.033 0.033 0.033 600 0.056 0.043 0.038 0.033 0.033 0.028 0.027 0.026 0.026 0.026 800 0.048 0.039 0.033 0.029 0.027 0.025 0.024 0.025 0.023 0.023 10 1.818 1.353 1.187 1.007 0.939 0.880 0.836 0.816 0.798 0.789 width 30 1.020 0.771 0.667 0.585 0.548 0.512 0.485 0.474 0.465 0.458 50 0.783 0.595 0.522 0.454 0.423 0.397 0.378 0.367 0.361 0.355 70 0.660 0.503 0.442 0.386 0.358 0.338 0.319 0.310 0.305 0.301 100 0.549 0.421 0.368 0.323 0.300 0.282 0.267 0.260 0.255 0.252 200 0.388 0.299 0.262 0.228 0.212 0.200 0.189 0.184 0.181 0.178 400 0.274 0.211 0.185 0.161 0.150 0.141 0.134 0.130 0.128 0.126 600 0.224 0.172 0.152 0.132 0.123 0.115 0.109 0.106 0.104 0.103 800 0.194 0.149 0.131 0.114 0.106 0.100 0.095 0.092 0.090 0.089 10 0.952 0.938 0.933 0.927 0.926 0.912 0.913 0.919 0.924 0.911 CP 30 0.951 0.957 0.950 0.944 0.949 0.940 0.942 0.944 0.933 0.940 50 0.945 0.936 0.948 0.959 0.952 0.933 0.939 0.940 0.953 0.945 70 0.959 0.949 0.946 0.946 0.947 0.944 0.949 0.939 0.948 0.935 100 0.945 0.953 0.935 0.940 0.950 0.944 0.943 0.963 0.944 0.957 200 0.960 0.957 0.954 0.952 0.958 0.938 0.949 0.959 0.951 0.951 400 0.946 0.952 0.942 0.945 0.949 0.949 0.940 0.962 0.950 0.941 600 0.951 0.952 0.963 0.958 0.946 0.959 0.953 0.953 0.949 0.960 800 0.954 0.940 0.950 0.951 0.948 0.948 0.944 0.933 0.949 0.947 10 0.038 0.008 0.003 0.004 0.000 -0.004 -0.001 -0.006 -0.002 -0.003 SE-SD bias 30 -0.002 0.004 0.001 0.000 -0.001 -0.001 0.000 0.003 0.000 -0.001 50 0.000 0.003 -0.001 0.003 -0.001 -0.003 -0.001 0.001 0.002 0.001 70 0.004 0.002 0.001 -0.001 -0.001 0.002 0.001 0.000 0.000 -0.001 100 -0.001 0.001 -0.002 0.000 0.000 0.001 0.000 0.004 -0.002 0.002 200 0.002 0.000 0.000 0.001 0.002 0.000 0.000 0.001 0.002 0.001 400 -0.002 0.000 -0.001 0.000 0.000 0.001 -0.002 0.000 0.000 -0.001 600 0.001 0.001 0.001 0.000 -0.002 0.001 0.000 0.001 0.000 0.001 800 0.001 -0.001 0.000 0.000 0.000 0.000 0.000 -0.001 0.000 0.000
附表18 研究二平衡設(shè)計(jì)中且 W i為連續(xù)變量時(shí)線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
附表18 研究二平衡設(shè)計(jì)中且 W i為連續(xù)變量時(shí)線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
注:J 表示水平1 樣本量,I 表示水平2 樣本量,criteria 表示各評(píng)價(jià)指標(biāo)。rbias 中加粗的為其值小于0.1 的結(jié)果,width 中加粗的為其值小于0.12 的結(jié)果,CP 中加粗的為其值大于0.925 的結(jié)果。
criteria I J 10 20 30 50 70 100 150 200 250 300 10 0.031 -0.006 0.001 0.000 -0.003 0.013 0.003 0.000 -0.004 0.001 bias 30 0.001 -0.004 0.000 0.003 0.000 -0.001 0.002 0.001 0.001 0.002 50 0.001 0.004 -0.005 0.004 -0.001 0.000 0.000 -0.003 0.001 0.002 70 -0.001 0.002 0.002 -0.001 0.000 0.001 0.000 0.000 0.000 0.001 100 0.000 0.002 -0.001 0.002 0.001 0.001 0.002 0.001 0.001 0.001 200 0.002 0.002 0.000 0.001 -0.001 -0.002 0.000 0.000 0.000 0.001 400 0.001 0.001 0.000 0.000 0.000 0.000 -0.001 0.000 0.001 0.000 600 0.001 0.000 0.000 0.000 0.000 0.002 0.000 0.000 0.000 0.000 800 0.001 0.000 -0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 10 0.061 0.012 0.002 0.001 0.007 0.026 0.005 0.001 0.009 0.003 rbias 30 0.003 0.008 0.000 0.006 0.000 0.002 0.005 0.003 0.002 0.003 50 0.001 0.008 0.011 0.009 0.001 0.000 0.001 0.005 0.003 0.003 70 0.002 0.003 0.004 0.003 0.000 0.003 0.001 0.000 0.001 0.002 100 0.001 0.004 0.002 0.003 0.002 0.001 0.004 0.002 0.003 0.003 200 0.004 0.005 0.000 0.001 0.002 0.003 0.001 0.001 0.000 0.001 400 0.002 0.002 0.000 0.001 0.001 0.000 0.002 0.000 0.002 0.001 600 0.002 0.000 0.000 0.001 0.001 0.003 0.001 0.001 0.001 0.001 800 0.001 0.001 0.001 0.000 0.001 0.000 0.000 0.000 0.000 0.001 10 0.264 0.201 0.174 0.164 0.147 0.135 0.132 0.120 0.123 0.119 RMSE 30 0.139 0.099 0.089 0.080 0.072 0.071 0.065 0.063 0.064 0.062 50 0.104 0.079 0.069 0.059 0.057 0.052 0.050 0.050 0.047 0.047 70 0.089 0.067 0.056 0.050 0.047 0.044 0.041 0.040 0.039 0.039 100 0.071 0.054 0.049 0.043 0.040 0.037 0.034 0.035 0.032 0.032 200 0.049 0.039 0.033 0.028 0.027 0.026 0.023 0.024 0.023 0.023 400 0.036 0.026 0.024 0.020 0.020 0.018 0.018 0.017 0.017 0.016 600 0.028 0.022 0.020 0.017 0.016 0.015 0.014 0.013 0.014 0.013 800 0.025 0.019 0.016 0.014 0.014 0.013 0.013 0.012 0.012 0.012 10 1.053 0.784 0.677 0.592 0.537 0.508 0.485 0.468 0.465 0.453 width 30 0.533 0.400 0.351 0.307 0.284 0.268 0.255 0.251 0.242 0.240 50 0.401 0.306 0.266 0.234 0.217 0.203 0.194 0.189 0.184 0.182 70 0.334 0.255 0.224 0.196 0.184 0.172 0.162 0.158 0.154 0.154 100 0.278 0.213 0.188 0.164 0.151 0.143 0.136 0.132 0.129 0.127 200 0.195 0.150 0.133 0.114 0.107 0.100 0.095 0.093 0.091 0.090 400 0.138 0.106 0.093 0.081 0.075 0.071 0.067 0.065 0.064 0.063 600 0.112 0.086 0.076 0.066 0.062 0.058 0.055 0.053 0.052 0.052 800 0.097 0.075 0.066 0.057 0.053 0.050 0.047 0.046 0.045 0.045 10 0.949 0.940 0.942 0.930 0.927 0.911 0.916 0.929 0.932 0.921 CP 30 0.936 0.949 0.947 0.951 0.939 0.932 0.938 0.939 0.938 0.937 50 0.948 0.941 0.949 0.947 0.938 0.944 0.946 0.942 0.954 0.947 70 0.934 0.936 0.946 0.951 0.945 0.947 0.943 0.947 0.949 0.949 100 0.951 0.943 0.949 0.944 0.944 0.952 0.950 0.944 0.950 0.944 200 0.945 0.950 0.964 0.959 0.950 0.947 0.958 0.952 0.957 0.948 400 0.939 0.955 0.959 0.954 0.942 0.949 0.948 0.953 0.946 0.956 600 0.958 0.946 0.937 0.947 0.948 0.932 0.958 0.947 0.939 0.945 800 0.952 0.956 0.947 0.956 0.953 0.945 0.936 0.951 0.948 0.949 10 0.007 -0.001 -0.001 -0.013 -0.010 -0.005 -0.008 -0.001 -0.004 -0.004 SE-SD bias 30 -0.003 0.003 0.000 -0.001 0.001 -0.003 0.000 0.001 -0.002 0.000 50 -0.002 -0.001 -0.001 0.001 -0.001 0.000 -0.001 -0.001 0.000 -0.001 70 -0.004 -0.002 0.001 0.000 0.000 0.000 0.001 0.000 0.000 0.001 100 0.000 0.001 -0.001 -0.001 -0.001 0.000 0.000 -0.002 0.001 0.000 200 0.000 0.000 0.001 0.001 0.000 0.000 0.001 0.000 0.001 0.000 400 -0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 600 0.001 0.000 -0.001 0.000 0.000 0.000 0.000 0.000 0.000 0.000 800 0.000 0.000 0.000 0.000 0.000 0.000 -0.001 0.000 0.000 0.000
附表19 研究二非平衡設(shè)計(jì)中且 Wi 為分類變量時(shí)線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
附表19 研究二非平衡設(shè)計(jì)中且 Wi 為分類變量時(shí)線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
注:J 表示水平1 樣本量,I 表示水平2 樣本量,criteria 表示各評(píng)價(jià)指標(biāo)。rbias 中加粗的為其值小于0.1 的結(jié)果,width 中加粗的為其值小于0.18 的結(jié)果,CP 中加粗的為其值大于0.925 的結(jié)果。
criteria I J 10 20 30 50 70 100 150 200 250 300 10 -0.003 0.010 -0.008 -0.019 -0.018 -0.037 -0.025 -0.020 -0.017 -0.012 bias 30 -0.016 0.002 -0.012 -0.002 0.006 -0.013 0.000 0.006 -0.003 -0.007 50 -0.001 0.001 -0.005 -0.005 0.007 0.001 0.008 0.003 -0.001 0.000 70 0.002 0.003 -0.008 0.003 0.004 -0.004 0.000 -0.003 0.001 -0.006 100 0.001 -0.007 0.001 0.000 0.002 0.001 -0.001 -0.001 -0.005 0.000 200 -0.002 -0.004 -0.001 -0.002 0.000 -0.002 0.002 -0.001 -0.002 0.000 400 0.003 0.000 0.001 0.002 0.000 0.003 0.001 -0.001 0.001 0.001 600 0.001 0.002 0.000 -0.001 -0.001 0.001 -0.001 0.000 -0.001 0.000 800 -0.001 -0.002 0.000 0.000 -0.001 0.002 -0.001 0.001 0.001 -0.001 10 0.006 0.020 0.016 0.039 0.035 0.074 0.051 0.040 0.035 0.024 rbias 30 0.032 0.003 0.023 0.005 0.012 0.025 0.001 0.012 0.006 0.014 50 0.002 0.003 0.010 0.009 0.014 0.001 0.015 0.005 0.001 0.000 70 0.004 0.005 0.017 0.006 0.007 0.009 0.001 0.005 0.002 0.012 100 0.002 0.014 0.001 0.000 0.003 0.002 0.003 0.002 0.009 0.001 200 0.005 0.007 0.002 0.004 0.000 0.004 0.003 0.001 0.004 0.000 400 0.006 0.000 0.002 0.004 0.001 0.005 0.002 0.003 0.001 0.002 600 0.002 0.004 0.000 0.001 0.002 0.003 0.002 0.000 0.002 0.001 800 0.002 0.004 0.001 0.001 0.002 0.003 0.002 0.002 0.001 0.002 10 0.557 0.430 0.369 0.312 0.295 0.278 0.272 0.262 0.258 0.264 RMSE 30 0.329 0.244 0.217 0.185 0.178 0.164 0.153 0.148 0.149 0.148 50 0.252 0.194 0.168 0.148 0.136 0.127 0.123 0.116 0.114 0.117 70 0.211 0.164 0.147 0.123 0.112 0.107 0.106 0.099 0.099 0.093 100 0.174 0.135 0.114 0.103 0.098 0.087 0.087 0.083 0.082 0.078 200 0.122 0.093 0.083 0.076 0.068 0.065 0.062 0.060 0.056 0.055 400 0.086 0.066 0.058 0.050 0.049 0.044 0.042 0.041 0.040 0.039 600 0.071 0.055 0.050 0.040 0.040 0.037 0.034 0.034 0.034 0.032 800 0.061 0.048 0.041 0.038 0.033 0.033 0.030 0.028 0.029 0.029 10 2.267 1.680 1.477 1.251 1.177 1.098 1.047 1.017 0.999 0.981 width 30 1.259 0.960 0.836 0.738 0.682 0.643 0.610 0.592 0.582 0.574 50 0.977 0.744 0.654 0.568 0.529 0.497 0.472 0.460 0.450 0.443 70 0.824 0.627 0.555 0.483 0.447 0.421 0.400 0.388 0.380 0.376 100 0.686 0.528 0.464 0.404 0.376 0.352 0.334 0.324 0.319 0.315 200 0.485 0.372 0.328 0.286 0.265 0.249 0.237 0.230 0.226 0.223 400 0.343 0.263 0.231 0.202 0.188 0.177 0.167 0.162 0.159 0.158 600 0.280 0.216 0.189 0.165 0.153 0.144 0.137 0.133 0.130 0.129 800 0.243 0.186 0.164 0.143 0.133 0.125 0.118 0.115 0.113 0.111 10 0.948 0.933 0.931 0.933 0.927 0.919 0.915 0.918 0.913 0.902 CP 30 0.941 0.945 0.937 0.950 0.939 0.936 0.940 0.948 0.938 0.928 50 0.939 0.944 0.949 0.941 0.942 0.946 0.945 0.940 0.943 0.936 70 0.943 0.942 0.940 0.949 0.955 0.943 0.936 0.951 0.942 0.951 100 0.960 0.948 0.953 0.946 0.945 0.959 0.947 0.950 0.951 0.957 200 0.955 0.957 0.957 0.944 0.948 0.945 0.947 0.937 0.951 0.954 400 0.954 0.948 0.953 0.951 0.951 0.948 0.955 0.966 0.952 0.959 600 0.950 0.952 0.943 0.955 0.947 0.941 0.957 0.942 0.948 0.956 800 0.948 0.941 0.958 0.948 0.954 0.942 0.953 0.956 0.951 0.952 10 0.021 -0.002 0.008 0.008 0.005 0.004 -0.004 -0.002 -0.003 -0.013 SE-SD bias 30 -0.008 0.001 -0.004 0.003 -0.004 0.000 0.003 0.003 -0.001 -0.001 50 -0.003 -0.004 -0.001 -0.003 -0.001 -0.001 -0.003 0.001 0.000 -0.004 70 -0.001 -0.004 -0.006 0.000 0.003 0.000 -0.004 0.000 -0.002 0.003 100 0.001 0.000 0.005 0.000 -0.002 0.003 -0.002 0.000 -0.001 0.003 200 0.002 0.002 0.001 -0.003 -0.001 -0.002 -0.002 -0.002 0.002 0.002 400 0.002 0.001 0.001 0.001 -0.001 0.001 0.000 0.000 0.000 0.001 600 0.000 0.000 -0.002 0.002 -0.001 0.000 0.001 0.000 -0.001 0.001 800 0.001 -0.001 0.001 -0.001 0.000 -0.001 0.000 0.001 0.000 0.000
附表20 研究二平衡設(shè)計(jì)大且 W i為分類變量時(shí)線性混合效應(yīng)模型水平2 自變量調(diào)節(jié)效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性
注:J 表示水平1 樣本量,I 表示水平2 樣本量,criteria 表示各評(píng)價(jià)指標(biāo)。rbias 中加粗的為其值小于0.1 的結(jié)果,width 中加粗的為其值小于0.3 的結(jié)果,CP 中加粗的為其值大于0.925 的結(jié)果。
criteria I J 10 20 30 50 70 100 150 200 250 300 10 -0.009 -0.044 -0.033 -0.009 -0.007 -0.028 -0.015 -0.016 -0.034 -0.014 bias 30 -0.015 -0.011 -0.013 0.003 -0.015 -0.010 -0.010 -0.004 -0.013 0.003 50 0.005 -0.001 -0.002 0.005 0.001 0.006 0.003 -0.002 -0.005 0.005 70 -0.002 -0.003 -0.002 -0.002 0.001 0.001 -0.008 -0.007 -0.005 0.001 100 0.001 -0.004 -0.002 -0.005 0.003 -0.008 0.001 -0.002 -0.009 0.001 200 0.003 0.000 -0.008 0.000 0.000 0.002 -0.001 0.003 0.000 -0.001 400 0.001 0.001 0.001 -0.002 0.001 -0.002 -0.005 -0.001 -0.002 0.000 600 -0.001 0.000 0.000 0.001 -0.001 -0.001 0.000 -0.001 0.000 0.000 800 0.001 0.000 0.003 0.001 0.000 -0.001 0.004 -0.001 -0.001 0.000 10 0.018 0.088 0.066 0.019 0.013 0.057 0.031 0.033 0.068 0.029 rbias 30 0.029 0.021 0.026 0.007 0.030 0.020 0.021 0.007 0.025 0.006 50 0.010 0.003 0.003 0.010 0.001 0.012 0.006 0.005 0.011 0.010 70 0.004 0.006 0.003 0.004 0.001 0.002 0.016 0.014 0.010 0.002 100 0.002 0.007 0.004 0.010 0.006 0.015 0.002 0.004 0.018 0.002 200 0.005 0.000 0.016 0.000 0.000 0.004 0.001 0.007 0.000 0.002 400 0.001 0.001 0.001 0.005 0.001 0.003 0.010 0.002 0.003 0.000 600 0.003 0.000 0.001 0.002 0.002 0.003 0.000 0.002 0.000 0.001 800 0.003 0.000 0.005 0.001 0.000 0.003 0.007 0.002 0.003 0.000 10 0.493 0.432 0.393 0.366 0.356 0.334 0.334 0.329 0.323 0.332 RMSE 30 0.291 0.239 0.225 0.209 0.203 0.201 0.191 0.179 0.186 0.181 50 0.226 0.190 0.171 0.165 0.156 0.150 0.152 0.146 0.149 0.142 70 0.199 0.159 0.149 0.135 0.131 0.131 0.127 0.124 0.126 0.122 100 0.163 0.134 0.121 0.109 0.108 0.109 0.102 0.103 0.104 0.104 200 0.113 0.094 0.090 0.082 0.077 0.073 0.074 0.074 0.075 0.071 400 0.080 0.066 0.062 0.057 0.059 0.055 0.052 0.053 0.051 0.049 600 0.063 0.056 0.053 0.046 0.044 0.042 0.043 0.043 0.043 0.041 800 0.058 0.047 0.044 0.039 0.039 0.038 0.037 0.036 0.036 0.036 10 2.025 1.661 1.494 1.400 1.354 1.323 1.286 1.279 1.270 1.260 width 30 1.152 0.951 0.884 0.819 0.787 0.767 0.750 0.744 0.738 0.736 50 0.890 0.747 0.683 0.634 0.615 0.596 0.583 0.576 0.571 0.569 70 0.754 0.629 0.579 0.538 0.519 0.504 0.492 0.486 0.483 0.481 100 0.635 0.526 0.484 0.449 0.434 0.422 0.413 0.407 0.404 0.402 200 0.446 0.371 0.343 0.318 0.307 0.298 0.292 0.288 0.286 0.284 400 0.316 0.263 0.243 0.225 0.217 0.211 0.206 0.204 0.202 0.201 600 0.258 0.215 0.198 0.184 0.177 0.172 0.168 0.166 0.165 0.164 800 0.224 0.186 0.172 0.159 0.154 0.149 0.146 0.144 0.143 0.142 10 0.940 0.920 0.927 0.913 0.912 0.917 0.911 0.925 0.908 0.908 CP SE-SD bias 30 0.931 0.948 0.946 0.940 0.939 0.933 0.941 0.959 0.940 0.949 50 0.935 0.952 0.948 0.940 0.952 0.946 0.940 0.935 0.937 0.955 70 0.940 0.949 0.945 0.952 0.948 0.940 0.945 0.953 0.945 0.948 100 0.949 0.950 0.955 0.948 0.958 0.942 0.961 0.959 0.943 0.940 200 0.947 0.952 0.937 0.946 0.953 0.958 0.949 0.960 0.933 0.952 400 0.955 0.950 0.944 0.944 0.945 0.941 0.946 0.942 0.954 0.954 600 0.961 0.939 0.933 0.958 0.955 0.951 0.953 0.944 0.943 0.943 800 0.944 0.957 0.953 0.960 0.956 0.953 0.954 0.961 0.959 0.952 10 0.023 -0.006 -0.011 -0.009 -0.011 0.004 -0.006 -0.002 0.002 -0.010 30 0.003 0.004 0.001 0.000 -0.002 -0.006 0.001 0.010 0.003 0.006 50 0.001 0.000 0.003 -0.003 0.001 0.002 -0.004 0.001 -0.003 0.003 70 -0.007 0.002 -0.002 0.002 0.001 -0.002 -0.001 0.001 -0.003 0.001 100 -0.001 0.000 0.003 0.006 0.003 -0.001 0.003 0.001 -0.001 -0.002 200 0.001 0.000 -0.003 -0.001 0.002 0.003 0.001 -0.001 -0.002 0.001 400 0.000 0.001 0.000 0.000 -0.003 -0.002 0.001 -0.001 0.000 0.002 600 0.003 -0.001 -0.002 0.001 0.001 0.001 0.000 -0.001 -0.001 0.000 800 -0.001 0.000 0.000 0.002 0.001 0.000 0.000 0.001 0.000 0.000
與研究1 不同, 研究1 中水平1 自變量(實(shí)驗(yàn)效應(yīng))估計(jì)準(zhǔn)確性更受水平1 樣本量影響, 而研究2 中跨水平交互效應(yīng)估計(jì)準(zhǔn)確性更受水平2 樣本量影響。在Wi為分類變量且為中等()的情況下, 根據(jù)公式(15), 計(jì)算效應(yīng)量小和大條件的標(biāo)準(zhǔn)值分別為0.06 (0.2 ×0.3)和0.24 (0.8 ×0.3)。則定義可接受的最寬95% CI 寬度為0.24 - 0.06 =0.18。從附表17 看出, 部分條件下95% CI 過寬。只有當(dāng)水平2 樣本量為400, 且水平1 樣本量在50及以上, 或者水平2 樣本量在600 及以上, 且水平1樣本量在20 及以上時(shí), 能夠滿足95% CI 寬度小于0.18。
Wi為分類變量和連續(xù)變量得到的bias, rbias,95%CP 和SE-SD bias 的結(jié)果非常一致, 都較小。Wi為連續(xù)變量時(shí)得到的RMSE 較小(見附表18), 95%CI 較窄。根據(jù)公式(15), 效應(yīng)量為小和大時(shí)γ11分別為0.03 (0.1 ×0.3)和0.15 (0.5 ×0.1)。定義可接受的最寬95% CI 寬度為0.15 - 0.03 = 0.12。
此外, 與平衡設(shè)計(jì)下的結(jié)果相比, 非平衡設(shè)計(jì)下的RMSE 更大, 95% CI 更寬。
5.3.4 隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性結(jié)果
附表21~25 (在線補(bǔ)充材料1)呈現(xiàn)了隨機(jī)效應(yīng)估計(jì)rbias 結(jié)果。從表中看出, 首先, 與研究1 類似,大小、Wi類型和是否為平衡設(shè)計(jì)基本不會(huì)影響σ2和估計(jì)的準(zhǔn)確性。σ2估計(jì)值的rbias 在各樣本量條件下均達(dá)到小于0.1 的標(biāo)準(zhǔn)。其次, 當(dāng)Wi為分類變量時(shí), 隨著增加,的估計(jì)準(zhǔn)確性降低,的估計(jì)準(zhǔn)確性增加。具體來看, 當(dāng)小時(shí), 幾乎所有樣本量條件下估計(jì)值的rbias 都大于0.1。進(jìn)一步計(jì)算其bias 發(fā)現(xiàn), 此時(shí)大部分情況下會(huì)存在高估的問題。當(dāng)大時(shí), 所有樣本量條件下估計(jì)值的rbias 都大于0.1。進(jìn)一步計(jì)算其bias 發(fā)現(xiàn), 此時(shí)大部分情況下存在高估的問題。最后, 當(dāng)Wi為連續(xù)變量時(shí),的估計(jì)準(zhǔn)確性略高于分類變量的情況。
附表21 研究二平衡設(shè)計(jì)小且 Wi 為分類變量時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
注:J 表示水平1 樣本量,I 表示水平2 樣本量,parameter 表示各隨機(jī)效應(yīng)。表中加粗的為其值小于0.1 的結(jié)果。
Parameter I J 10 20 30 50 70 100 150 200 250 300 10 0.065 0.035 0.027 0.020 0.016 0.014 0.010 0.009 0.008 0.007 2σ 30 0.031 0.015 0.012 0.007 0.006 0.005 0.004 0.003 0.003 0.002 50 0.022 0.012 0.008 0.006 0.004 0.003 0.002 0.002 0.002 0.002 70 0.019 0.010 0.006 0.004 0.003 0.002 0.002 0.001 0.001 0.001 100 0.016 0.008 0.006 0.004 0.003 0.002 0.001 0.001 0.001 0.001 200 0.011 0.005 0.004 0.002 0.002 0.001 0.001 0.001 0.001 0.001 400 0.008 0.004 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 600 0.007 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 0.000 800 0.006 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 0.000 10 0.421 0.319 0.266 0.215 0.191 0.170 0.153 0.148 0.134 0.138 2 τ 00 2 11τ 30 0.232 0.157 0.124 0.101 0.088 0.074 0.066 0.063 0.054 0.052 50 0.164 0.121 0.100 0.072 0.065 0.053 0.045 0.041 0.039 0.037 70 0.145 0.102 0.079 0.062 0.056 0.045 0.037 0.033 0.032 0.030 100 0.120 0.082 0.067 0.053 0.046 0.037 0.031 0.028 0.026 0.023 200 0.083 0.059 0.045 0.036 0.031 0.025 0.021 0.018 0.018 0.015 400 0.060 0.041 0.034 0.026 0.022 0.019 0.015 0.013 0.013 0.012 600 0.050 0.033 0.027 0.021 0.018 0.015 0.013 0.011 0.010 0.010 800 0.045 0.029 0.022 0.018 0.017 0.013 0.011 0.010 0.009 0.009 10 11.006 5.236 3.678 2.229 1.795 1.308 1.106 0.886 0.838 0.752 30 5.432 2.613 2.046 1.392 1.054 0.851 0.667 0.603 0.525 0.450 50 4.032 1.983 1.514 1.142 0.905 0.723 0.556 0.452 0.371 0.333 70 3.324 1.805 1.369 0.984 0.796 0.641 0.482 0.377 0.325 0.287 100 2.906 1.632 1.247 0.854 0.711 0.534 0.399 0.320 0.274 0.243 200 2.142 1.316 0.933 0.644 0.544 0.395 0.284 0.220 0.194 0.169 400 1.707 0.999 0.727 0.510 0.368 0.286 0.209 0.162 0.138 0.122 600 1.503 0.825 0.590 0.419 0.300 0.230 0.172 0.136 0.108 0.102 800 1.325 0.751 0.571 0.354 0.272 0.198 0.137 0.111 0.102 0.086 10 0.559 0.328 0.259 0.194 0.156 0.130 0.109 0.088 0.081 0.073 2 00ω 30 0.283 0.166 0.139 0.106 0.086 0.070 0.058 0.050 0.044 0.040 50 0.238 0.138 0.113 0.083 0.065 0.054 0.044 0.038 0.033 0.029 70 0.209 0.121 0.089 0.068 0.054 0.046 0.036 0.033 0.029 0.026 100 0.184 0.107 0.079 0.056 0.048 0.039 0.029 0.027 0.023 0.021 200 0.158 0.082 0.062 0.043 0.034 0.028 0.023 0.018 0.017 0.015 400 0.134 0.065 0.048 0.033 0.027 0.021 0.016 0.014 0.012 0.011 600 0.126 0.063 0.041 0.032 0.022 0.018 0.014 0.012 0.010 0.010 800 0.128 0.063 0.042 0.027 0.021 0.016 0.013 0.010 0.009 0.008
附表22 研究二平衡設(shè)計(jì)中且 Wi 為分類變量時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
附表22 研究二平衡設(shè)計(jì)中且 Wi 為分類變量時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
注:J 表示水平1 樣本量,I 表示水平2 樣本量,parameter 表示各隨機(jī)效應(yīng)。表中加粗的為其值小于0.1 的結(jié)果。
Parameter I J 10 20 30 50 70 100 150 200 250 300 10 0.065 0.038 0.028 0.020 0.015 0.013 0.010 0.009 0.008 0.007 2σ 2 τ 00 2 τ 11 2 00ω 30 0.032 0.018 0.012 0.008 0.006 0.005 0.004 0.003 0.003 0.002 50 0.025 0.013 0.009 0.006 0.004 0.003 0.002 0.002 0.002 0.001 70 0.021 0.010 0.007 0.004 0.003 0.003 0.002 0.001 0.001 0.001 100 0.017 0.009 0.006 0.004 0.003 0.002 0.001 0.001 0.001 0.001 200 0.013 0.006 0.004 0.002 0.002 0.001 0.001 0.001 0.001 0.000 400 0.008 0.004 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 600 0.008 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 0.000 800 0.006 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 0.000 10 0.434 0.323 0.267 0.222 0.199 0.181 0.163 0.153 0.158 0.149 30 0.249 0.161 0.136 0.112 0.097 0.090 0.080 0.076 0.076 0.072 50 0.183 0.126 0.109 0.087 0.077 0.073 0.065 0.066 0.060 0.063 70 0.157 0.111 0.092 0.074 0.066 0.065 0.058 0.057 0.057 0.057 100 0.135 0.095 0.080 0.070 0.062 0.060 0.057 0.056 0.054 0.054 200 0.099 0.071 0.065 0.058 0.054 0.053 0.054 0.053 0.052 0.053 400 0.078 0.062 0.058 0.054 0.053 0.052 0.051 0.053 0.053 0.052 600 0.068 0.056 0.054 0.053 0.053 0.054 0.051 0.053 0.053 0.052 800 0.063 0.057 0.054 0.053 0.053 0.053 0.053 0.053 0.053 0.053 10 1.434 0.942 0.776 0.594 0.502 0.430 0.358 0.302 0.265 0.262 30 0.940 0.639 0.467 0.335 0.288 0.229 0.176 0.156 0.139 0.126 50 0.816 0.510 0.362 0.252 0.214 0.172 0.131 0.122 0.106 0.092 70 0.685 0.435 0.301 0.226 0.179 0.140 0.114 0.097 0.084 0.079 100 0.589 0.345 0.268 0.179 0.150 0.122 0.100 0.082 0.072 0.066 200 0.443 0.258 0.185 0.126 0.105 0.088 0.066 0.059 0.051 0.045 400 0.328 0.176 0.130 0.096 0.071 0.059 0.047 0.039 0.034 0.032 600 0.270 0.143 0.105 0.074 0.062 0.047 0.038 0.033 0.029 0.026 800 0.226 0.123 0.088 0.060 0.052 0.043 0.033 0.029 0.025 0.024 10 0.498 0.310 0.249 0.196 0.159 0.133 0.110 0.090 0.082 0.070 30 0.306 0.184 0.146 0.102 0.085 0.071 0.058 0.050 0.043 0.039 50 0.238 0.139 0.109 0.080 0.065 0.054 0.043 0.037 0.034 0.030 70 0.210 0.118 0.093 0.068 0.056 0.046 0.037 0.032 0.028 0.026 100 0.189 0.101 0.078 0.055 0.049 0.039 0.030 0.027 0.022 0.021 200 0.157 0.083 0.062 0.043 0.035 0.028 0.023 0.019 0.017 0.016 400 0.128 0.066 0.049 0.034 0.026 0.022 0.016 0.013 0.012 0.011 600 0.128 0.063 0.045 0.029 0.024 0.018 0.014 0.011 0.010 0.009 800 0.119 0.061 0.041 0.028 0.022 0.016 0.013 0.010 0.009 0.008
附表23 研究二平衡設(shè)計(jì)中等且 Wi 為連續(xù)變量時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
附表23 研究二平衡設(shè)計(jì)中等且 Wi 為連續(xù)變量時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
注:J 表示水平1 樣本量,I 表示水平2 樣本量,parameter 表示各隨機(jī)效應(yīng)。表中加粗的為其值小于0.1 的結(jié)果。
Parameter I J 10 20 30 50 70 100 150 200 250 300 10 0.066 0.038 0.028 0.020 0.016 0.013 0.010 0.009 0.008 0.007 2σ 30 0.031 0.018 0.012 0.008 0.006 0.005 0.004 0.003 0.003 0.002 50 0.024 0.012 0.009 0.006 0.004 0.003 0.002 0.002 0.002 0.001 70 0.021 0.011 0.007 0.005 0.003 0.002 0.002 0.001 0.001 0.001 100 0.018 0.009 0.006 0.004 0.003 0.002 0.001 0.001 0.001 0.001 200 0.013 0.006 0.004 0.002 0.002 0.001 0.001 0.001 0.001 0.000 400 0.009 0.004 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 600 0.007 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 0.000 800 0.006 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 0.000 10 0.309 0.234 0.199 0.172 0.154 0.146 0.135 0.128 0.119 0.121 2 τ 00 30 0.162 0.110 0.094 0.075 0.068 0.057 0.050 0.047 0.045 0.045 50 0.123 0.085 0.066 0.054 0.048 0.042 0.035 0.032 0.029 0.030 70 0.100 0.068 0.057 0.046 0.039 0.033 0.028 0.026 0.024 0.022 100 0.081 0.059 0.045 0.037 0.031 0.026 0.023 0.020 0.019 0.018 200 0.058 0.040 0.033 0.025 0.023 0.018 0.016 0.014 0.012 0.011 400 0.042 0.028 0.022 0.018 0.015 0.012 0.010 0.009 0.008 0.008 600 0.033 0.024 0.018 0.015 0.011 0.010 0.008 0.007 0.007 0.006 800 0.030 0.020 0.017 0.013 0.011 0.009 0.007 0.006 0.006 0.005 10 1.439 0.982 0.779 0.611 0.520 0.443 0.350 0.301 0.268 0.252 2 11τ 30 0.919 0.602 0.497 0.344 0.283 0.221 0.185 0.155 0.135 0.122 50 0.761 0.494 0.386 0.262 0.206 0.172 0.139 0.122 0.100 0.095 70 0.674 0.408 0.302 0.217 0.171 0.149 0.110 0.097 0.088 0.080 100 0.610 0.350 0.260 0.185 0.147 0.116 0.095 0.077 0.073 0.063 200 0.440 0.256 0.178 0.128 0.103 0.086 0.067 0.057 0.051 0.045 400 0.316 0.173 0.131 0.092 0.075 0.057 0.045 0.041 0.035 0.033 600 0.252 0.141 0.107 0.075 0.059 0.046 0.038 0.032 0.029 0.027 800 0.231 0.122 0.093 0.064 0.052 0.041 0.035 0.028 0.025 0.022 10 0.507 0.324 0.243 0.187 0.153 0.128 0.104 0.096 0.083 0.076 2 00ω 30 0.293 0.187 0.136 0.104 0.087 0.069 0.056 0.049 0.044 0.039 50 0.234 0.142 0.110 0.078 0.062 0.056 0.045 0.037 0.033 0.029 70 0.200 0.126 0.092 0.068 0.055 0.046 0.037 0.031 0.027 0.026 100 0.179 0.103 0.081 0.058 0.047 0.039 0.030 0.025 0.024 0.021 200 0.156 0.082 0.062 0.043 0.034 0.027 0.022 0.019 0.017 0.015 400 0.135 0.067 0.047 0.034 0.027 0.020 0.016 0.014 0.011 0.012 600 0.131 0.066 0.045 0.030 0.023 0.018 0.014 0.012 0.010 0.009 800 0.123 0.061 0.042 0.028 0.020 0.016 0.013 0.010 0.009 0.008
附表24 研究二非平衡設(shè)計(jì) 中且 Wi 為分類變量時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
附表24 研究二非平衡設(shè)計(jì) 中且 Wi 為分類變量時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
注:J 表示水平1 樣本量,I 表示水平2 樣本量,parameter 表示各隨機(jī)效應(yīng)。表中加粗的為其值小于0.1 的結(jié)果。
Parameter I J 10 20 30 50 70 100 150 200 250 300 10 0.063 0.036 0.027 0.019 0.016 0.014 0.011 0.008 0.008 0.007 2σ 30 0.032 0.018 0.012 0.008 0.007 0.005 0.004 0.003 0.003 0.002 50 0.024 0.013 0.009 0.006 0.004 0.003 0.002 0.002 0.002 0.001 70 0.021 0.010 0.007 0.004 0.003 0.002 0.002 0.001 0.001 0.001 100 0.018 0.009 0.006 0.003 0.003 0.002 0.001 0.001 0.001 0.001 200 0.013 0.006 0.004 0.002 0.002 0.001 0.001 0.001 0.001 0.000 400 0.009 0.004 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 600 0.007 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 0.000 800 0.006 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 0.000 10 0.418 0.310 0.273 0.227 0.194 0.183 0.160 0.159 0.163 0.148 2 τ 00 30 0.239 0.164 0.137 0.113 0.101 0.088 0.081 0.080 0.072 0.071 50 0.187 0.127 0.109 0.089 0.080 0.070 0.066 0.064 0.061 0.061 70 0.155 0.109 0.092 0.076 0.066 0.064 0.061 0.058 0.058 0.056 100 0.134 0.098 0.084 0.069 0.063 0.058 0.057 0.054 0.055 0.053 200 0.095 0.071 0.065 0.061 0.056 0.055 0.050 0.053 0.054 0.053 400 0.073 0.061 0.056 0.053 0.054 0.053 0.053 0.052 0.052 0.052 600 0.069 0.057 0.055 0.053 0.053 0.052 0.052 0.053 0.053 0.053 800 0.062 0.055 0.053 0.053 0.052 0.053 0.053 0.052 0.053 0.053 10 1.428 0.915 0.786 0.630 0.530 0.424 0.350 0.315 0.269 0.256 2 11τ 30 0.885 0.624 0.481 0.346 0.279 0.227 0.183 0.153 0.140 0.134 50 0.776 0.476 0.360 0.260 0.214 0.177 0.137 0.114 0.105 0.096 70 0.681 0.413 0.310 0.225 0.180 0.138 0.118 0.097 0.086 0.078 100 0.599 0.365 0.264 0.189 0.147 0.124 0.092 0.081 0.071 0.065 200 0.445 0.244 0.181 0.122 0.108 0.086 0.068 0.059 0.050 0.044 400 0.310 0.178 0.129 0.093 0.071 0.058 0.048 0.040 0.036 0.031 600 0.254 0.144 0.108 0.078 0.059 0.046 0.038 0.033 0.028 0.025 800 0.225 0.125 0.089 0.063 0.051 0.042 0.033 0.027 0.025 0.023 10 0.494 0.310 0.256 0.194 0.150 0.138 0.101 0.089 0.082 0.073 2 00ω 30 0.294 0.177 0.143 0.106 0.086 0.067 0.058 0.048 0.043 0.042 50 0.252 0.137 0.102 0.081 0.064 0.052 0.043 0.038 0.035 0.030 70 0.208 0.120 0.092 0.070 0.055 0.045 0.037 0.033 0.029 0.025 100 0.189 0.107 0.080 0.057 0.047 0.039 0.033 0.026 0.023 0.021 200 0.151 0.078 0.058 0.044 0.034 0.028 0.022 0.019 0.017 0.015 400 0.130 0.068 0.047 0.033 0.027 0.022 0.016 0.014 0.012 0.011 600 0.124 0.061 0.044 0.029 0.023 0.018 0.014 0.012 0.010 0.010 800 0.121 0.061 0.041 0.026 0.022 0.017 0.013 0.011 0.009 0.008
附表25 研究二平衡設(shè)計(jì)大且 Wi 為分類變量時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
附表25 研究二平衡設(shè)計(jì)大且 Wi 為分類變量時(shí)線性混合效應(yīng)模型隨機(jī)效應(yīng)估計(jì)rbias
注:J 表示水平1 樣本量,I 表示水平2 樣本量,parameter 表示各隨機(jī)效應(yīng)。表中加粗的為其值小于0.1 的結(jié)果。
Parameter I J 10 20 30 50 70 100 150 200 250 300 10 0.065 0.038 0.028 0.019 0.016 0.013 0.010 0.009 0.008 0.007 2σ 30 0.035 0.018 0.012 0.008 0.006 0.005 0.004 0.003 0.003 0.002 50 0.026 0.013 0.009 0.005 0.004 0.003 0.002 0.002 0.002 0.002 70 0.021 0.010 0.007 0.005 0.003 0.003 0.002 0.002 0.001 0.001 100 0.018 0.009 0.006 0.004 0.003 0.002 0.001 0.001 0.001 0.001 200 0.013 0.006 0.004 0.002 0.002 0.001 0.001 0.001 0.001 0.001 400 0.009 0.004 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 600 0.007 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 0.000 800 0.006 0.003 0.002 0.001 0.001 0.001 0.000 0.000 0.000 0.000 10 0.458 0.345 0.296 0.262 0.237 0.229 0.223 0.212 0.215 0.216 2 τ 00 30 0.273 0.204 0.179 0.166 0.157 0.151 0.152 0.153 0.153 0.152 50 0.214 0.182 0.162 0.156 0.145 0.146 0.151 0.149 0.147 0.147 70 0.194 0.161 0.158 0.148 0.148 0.144 0.149 0.145 0.148 0.148 100 0.184 0.159 0.150 0.148 0.143 0.145 0.146 0.145 0.146 0.144 200 0.150 0.147 0.147 0.148 0.148 0.143 0.148 0.146 0.148 0.145 400 0.148 0.144 0.149 0.148 0.147 0.144 0.145 0.145 0.146 0.146 600 0.146 0.145 0.148 0.145 0.146 0.146 0.146 0.146 0.146 0.146 800 0.148 0.145 0.145 0.144 0.145 0.146 0.145 0.146 0.146 0.146 10 0.851 0.588 0.470 0.359 0.308 0.263 0.218 0.198 0.185 0.182 2 11τ 30 0.504 0.316 0.256 0.176 0.157 0.131 0.106 0.089 0.088 0.079 50 0.394 0.249 0.194 0.141 0.115 0.097 0.083 0.068 0.062 0.056 70 0.324 0.208 0.157 0.120 0.097 0.081 0.067 0.056 0.052 0.047 100 0.275 0.171 0.132 0.094 0.083 0.068 0.054 0.047 0.045 0.040 200 0.195 0.124 0.090 0.072 0.057 0.047 0.038 0.033 0.030 0.028 400 0.148 0.085 0.068 0.051 0.041 0.033 0.028 0.023 0.020 0.018 600 0.113 0.068 0.056 0.040 0.034 0.026 0.023 0.019 0.017 0.015 800 0.097 0.059 0.047 0.034 0.028 0.024 0.019 0.016 0.015 0.013 10 0.537 0.323 0.254 0.193 0.157 0.123 0.107 0.087 0.084 0.073 2 00ω 30 0.291 0.185 0.137 0.106 0.087 0.072 0.059 0.051 0.043 0.041 50 0.226 0.144 0.107 0.079 0.065 0.055 0.047 0.037 0.035 0.031 70 0.205 0.122 0.090 0.068 0.057 0.044 0.035 0.031 0.028 0.026 100 0.182 0.101 0.083 0.057 0.047 0.040 0.032 0.027 0.024 0.022 200 0.152 0.078 0.062 0.044 0.035 0.027 0.023 0.018 0.016 0.015 400 0.137 0.070 0.050 0.033 0.027 0.021 0.017 0.014 0.012 0.010 600 0.131 0.060 0.045 0.029 0.023 0.018 0.014 0.012 0.010 0.009 800 0.121 0.060 0.040 0.029 0.021 0.017 0.013 0.011 0.009 0.008
5.3.5 樣本量規(guī)劃建議
圖3 研究2 平衡設(shè)計(jì)中等且 Wi 為分類變量時(shí)的CI 寬度等高線圖
圖4 研究1 平衡設(shè)計(jì)中等且 Wi 為連續(xù)變量時(shí)的CI 寬度等高線圖
根據(jù)圖3, 在滿足檢驗(yàn)力大于等于0.8 的標(biāo)準(zhǔn)的情況下, 如果95% CI 寬度小于等于0.18, 則推薦水平1 樣本量 = 50, 水平2 樣本量 = 400。在滿足檢驗(yàn)力大于等于0.8 且所有隨機(jī)效應(yīng)估計(jì)值rbias小于0.1 的情況下, 如果95% CI 寬度小于等于0.18,則推薦水平1 樣本量 = 50, 水平2 樣本量 = 400。根據(jù)圖4, 在滿足檢驗(yàn)力大于等于0.8 的標(biāo)準(zhǔn)的情況下, 如果95% CI 寬度小于等于0.12, 則推薦水平1 樣本量 = 50, 水平2 樣本量 = 200。在滿足檢驗(yàn)力大于等于0.8 且所有隨機(jī)效應(yīng)估計(jì)值rbias 小于0.1 的情況下, 如果95% CI 寬度小于等于0.12, 則推薦水平1 樣本量 = 100, 水平2 樣本量 = 200, 或者水平1 樣本量 = 50, 水平2 樣本量 = 400。
平衡設(shè)計(jì)Wi為分類變量情況下,小和大的CI 寬度等高線圖見附圖4 和5 (在線補(bǔ)充材料1)。當(dāng)小時(shí), 陰影區(qū)域向右上移動(dòng), 滿足要求的樣本量增大; 當(dāng)大時(shí), 滿足檢驗(yàn)力要求的陰影區(qū)域略向下移動(dòng), 滿足要求的水平1 樣本量略減小,此時(shí)沒有同時(shí)滿足檢驗(yàn)力大于等于0.8 且所有隨機(jī)效應(yīng)估計(jì)值rbias 小于0.1 的條件。
附圖4 研究二平衡設(shè)計(jì)小且 Wi 為分類變量時(shí)的檢驗(yàn)力 + CI 寬度等高線圖
附圖5 研究二平衡設(shè)計(jì)大且 Wi 為分類變量時(shí)的檢驗(yàn)力 + CI 寬度等高線圖
從附圖6 (在線補(bǔ)充材料1)可以看出, 與平衡設(shè)計(jì)相比, 非平衡設(shè)計(jì)下的陰影區(qū)域向右方移動(dòng),說明滿足要求的水平2 樣本量增大, 至少為400 才能保證檢驗(yàn)力符合要求。
附圖6 研究二非平衡設(shè)計(jì)中且 Wi 為分類變量時(shí)的CI 寬度等高線圖
本部分將通過一個(gè)例子, 說明在實(shí)際中如何運(yùn)用本研究開發(fā)的函數(shù)生成CI 寬度等高線圖, 指導(dǎo)樣本量規(guī)劃。
假設(shè)研究者想考察某些人格特征(如誠(chéng)實(shí)、道德、幽默等)是否會(huì)影響其對(duì)異性的吸引力??蓞⒖家豁?xiàng)關(guān)于忠誠(chéng)對(duì)異性吸引力影響的類似研究(Xu et al., 2020)。該研究采用刺激不重復(fù)的單因素被試內(nèi)實(shí)驗(yàn)設(shè)計(jì), 給被試依次呈現(xiàn)異性的頭像, 同時(shí)附上描述他們?cè)谝酝鶓賽坳P(guān)系中是否忠誠(chéng)的句子, 讓被試對(duì)每個(gè)異性的吸引力程度等進(jìn)行評(píng)分, 其中忠誠(chéng)與否(忠誠(chéng)、不忠誠(chéng))為被試內(nèi)因素, 每個(gè)條件下有20 個(gè)不重復(fù)的刺激。研究結(jié)果顯示, 表現(xiàn)出忠誠(chéng)行為的潛在伴侶的吸引力評(píng)分顯著高于不忠誠(chéng)的潛在伴侶。研究者可以參考本文提出的方法開展樣本量規(guī)劃。
首先, 選取用于生成模擬數(shù)據(jù)的參數(shù)。采用借鑒前人類似研究結(jié)果設(shè)置參數(shù)。對(duì)于Xu 等(2020)的原始數(shù)據(jù), 以是否忠誠(chéng)為自變量, 以面孔吸引力評(píng)分為因變量(需標(biāo)準(zhǔn)化), 將數(shù)據(jù)與本研究模型1擬合, 估計(jì)參數(shù)。具體語句和結(jié)果請(qǐng)參見在線補(bǔ)充材料4。根據(jù)結(jié)果, 計(jì)算可得:。
然后, 設(shè)置參數(shù), 調(diào)用函數(shù), 生成評(píng)價(jià)指標(biāo)結(jié)果和CI 等高線圖。設(shè)定重復(fù)次數(shù)為N= 1000, 水平1 樣本量包含6 個(gè)水平:40, 80, 120, 200, 300, 400。水平2 樣本量包含6 個(gè)水平:10, 30, 50, 70, 100,200。自變量?jī)蓚€(gè)條件試次數(shù)相等??山邮艿淖顚?5% CI 寬度為0.8 - 0.2 = 0.6。預(yù)設(shè)圖中95% CI寬度的刻度為kd <- c (0.3, 0.4, 0.5, 0.6, 0.7, 0.8)。調(diào)用函數(shù)的語句如圖5 所示。
最后, 運(yùn)行程序得到評(píng)價(jià)結(jié)果文件“modelOne_evaluation_accuracy.csv”, 和檢驗(yàn)力+CI 寬度等高線圖(見圖6)8由于本例中沒有同時(shí)滿足檢驗(yàn)力大于等于0.8 并且所有隨機(jī)效應(yīng)估計(jì)值rbias 小于0.1 的條件, 因此無法生成檢驗(yàn)力+隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性+CI 寬度等高線圖。。根據(jù)圖中所示, 在滿足檢驗(yàn)力大于等于0.8 的標(biāo)準(zhǔn)的情況下, 95% CI 寬度均小于等于0.6, 則最小的推薦樣本量為:被試量為20 時(shí), 共需要80 個(gè)試次; 被試量為30 時(shí), 共需要60 個(gè)試次;被試量為70 時(shí), 共需要40 個(gè)試次。
圖6 實(shí)例演示檢驗(yàn)力 + CI 寬度等高線圖
本研究針對(duì)線性混合效應(yīng)模型, 采用模擬方法,以被試內(nèi)實(shí)驗(yàn)效應(yīng)和被試間變量的調(diào)節(jié)效應(yīng)為例,實(shí)現(xiàn)基于檢驗(yàn)力與效應(yīng)量準(zhǔn)確性分析的樣本量規(guī)劃。并通過兩個(gè)模擬研究, 考察實(shí)驗(yàn)效應(yīng)、隨機(jī)斜率大小、被試變量類型和是否為平衡設(shè)計(jì)對(duì)樣本量推薦結(jié)果的影響, 說明CI 寬度等高線圖在樣本量規(guī)劃中應(yīng)用。旨在為實(shí)踐研究者基于具體研究實(shí)現(xiàn)樣本量規(guī)劃提供方法指導(dǎo)和便利工具。研究得到的主要結(jié)果如下。
第一, 從收斂情況來看, 對(duì)于模型1 來說, 基本不存在收斂問題。對(duì)于模型2 來說, 當(dāng)隨機(jī)斜率方差小時(shí), 部分條件下會(huì)存在一定程度的不收斂問題。
第二, 從檢驗(yàn)力來看, 效應(yīng)量越大, 檢驗(yàn)力越大。變量類型為分類變量時(shí)的檢驗(yàn)力低于連續(xù)變量。平衡設(shè)計(jì)下的檢驗(yàn)力普遍大于非平衡設(shè)計(jì)下的結(jié)果。此外, 檢驗(yàn)力與樣本量的關(guān)系還受所考察效應(yīng)所屬水平的影響。水平1 自變量效應(yīng)的檢驗(yàn)力主要受水平1 樣本量影響, 水平2 自變量效應(yīng)的檢驗(yàn)力主要受水平2 樣本量影響。兩個(gè)水平的樣本量具有一定程度的補(bǔ)償作用, 增加關(guān)注效應(yīng)所在水平的樣本量能更好地補(bǔ)償另一水平小樣本量的問題。
第三, 從效應(yīng)量及其標(biāo)準(zhǔn)誤估計(jì)準(zhǔn)確性來看,在擬合模型定義準(zhǔn)確的情況下, 固定效應(yīng)點(diǎn)估計(jì)值都較準(zhǔn)確。但是, 其CI 寬度會(huì)受到是否為平衡設(shè)計(jì)和隨機(jī)效應(yīng)的影響。非平衡設(shè)計(jì)下的CI 普遍更寬。對(duì)于水平2 變量的調(diào)節(jié)效應(yīng), 隨機(jī)斜率方差越大,CI 越寬, 效應(yīng)量估計(jì)的標(biāo)準(zhǔn)誤越大。各條件下效應(yīng)量估計(jì)標(biāo)準(zhǔn)誤的準(zhǔn)確性都較高。
第四, 從隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性來看, 殘差方差估計(jì)準(zhǔn)確性都較高。隨機(jī)截距和隨機(jī)斜率方差估計(jì)準(zhǔn)確性會(huì)受是否為平衡設(shè)計(jì)和隨機(jī)斜率方差大小的影響。對(duì)于僅含被試內(nèi)自變量的模型, 非平衡設(shè)計(jì)下隨機(jī)截距方差和隨機(jī)斜率方差的估計(jì)準(zhǔn)確性更低。隨機(jī)斜率方差越大, 隨機(jī)截距方差的估計(jì)準(zhǔn)確性越低, 隨機(jī)斜率方差的估計(jì)準(zhǔn)確性越高。隨機(jī)斜率方差小時(shí), 會(huì)高估隨機(jī)斜率方差, 隨機(jī)斜率方差大時(shí), 會(huì)高估隨機(jī)截距方差。
本研究期望以兩種較典型的線性混合效應(yīng)模型為例, 說明規(guī)劃樣本量的方法。基于研究過程和結(jié)果, 提出以下建議。
首先, 樣本量規(guī)劃需同時(shí)結(jié)合檢驗(yàn)力與效應(yīng)量準(zhǔn)確性分析結(jié)果。傳統(tǒng)的樣本量規(guī)劃主要基于檢驗(yàn)力分析展開(例如Schultzberg & Muthén, 2018), 確保推薦樣本量能夠滿足檢驗(yàn)力要求(0.8 及以上)。但是, 隨著目前越來越多的學(xué)術(shù)期刊和研究機(jī)構(gòu)呼吁在報(bào)告顯著性的基礎(chǔ)上, 報(bào)告效應(yīng)量及其CI, 對(duì)效應(yīng)量估計(jì)準(zhǔn)確性的要求也日益受到重視(Maxwell et al., 2008)。其實(shí), 基于檢驗(yàn)力與基于CI 寬度規(guī)劃樣本量既有聯(lián)系, 又有區(qū)別。兩種方法的聯(lián)系在于,無論是基于檢驗(yàn)力還是CI 寬度規(guī)劃樣本量, 都與效應(yīng)量的標(biāo)準(zhǔn)誤有關(guān)。在固定效應(yīng)模型下, CI 可以定義為[T- 1.96SE,T+ 1.96SE] (T表示效應(yīng)量估計(jì)值,SE表示標(biāo)準(zhǔn)誤)。在隨機(jī)效應(yīng)模型下, 隨機(jī)效應(yīng)的方差部分會(huì)加入到標(biāo)準(zhǔn)誤的計(jì)算中, 因此, 與固定效應(yīng)模型相比, 會(huì)得到更大的標(biāo)準(zhǔn)誤(SE*), 此時(shí)效應(yīng)量的CI [T-1.96SE*,T+ 1.96SE*]會(huì)更寬。無論是固定效應(yīng)模型還是隨機(jī)效應(yīng)模型, 效應(yīng)量的標(biāo)準(zhǔn)誤越小, 效應(yīng)量估計(jì)值的CI 就越窄, 效應(yīng)量的估計(jì)值就越準(zhǔn)確。在假設(shè)效應(yīng)量不為0 的情況下, 越窄的 CI 就越不可能包括 0, 會(huì)得到更大的檢驗(yàn)力(Cohn & Becker, 2003)。兩種方法的區(qū)別在于, 真實(shí)的總體效應(yīng)量越大, 其CI 就越不可能包括0, 因此檢驗(yàn)力越大; 但CI 寬度不受影響。因此, 效應(yīng)量越大, 基于檢驗(yàn)力規(guī)劃的樣本量越小, 而基于CI 寬度規(guī)劃的樣本量不變, 這也與本研究結(jié)果一致。本研究發(fā)現(xiàn), 基于檢驗(yàn)力分析與效應(yīng)量估計(jì)準(zhǔn)確性推薦的樣本量不一定相等。例如, 從研究1 的圖2(b)中發(fā)現(xiàn), 在水平1 自變量效應(yīng)量中等的情況下, 當(dāng)水平2 樣本量為50 時(shí), 水平1 只需要30 個(gè)試次, 就能保證檢驗(yàn)力大于0.8。但此時(shí)實(shí)驗(yàn)效應(yīng)的效應(yīng)量估計(jì)值CI 寬度為0.7 左右, 大于可接受的最寬CI寬度。因此, 應(yīng)當(dāng)同時(shí)結(jié)合二者結(jié)果確定推薦的樣本量。
其次, 在基于模擬方法進(jìn)行樣本量規(guī)劃時(shí), 應(yīng)當(dāng)謹(jǐn)慎確定產(chǎn)生數(shù)據(jù)模型的參數(shù)。通過檢驗(yàn)力與效應(yīng)量準(zhǔn)確性分析開展樣本量規(guī)劃需要研究者預(yù)先設(shè)定一些模型參數(shù)(如預(yù)期效應(yīng)量, ICC 等), 以便基于特定模型產(chǎn)生數(shù)據(jù)。特別說明的是, 本研究主要目的是說明樣本量規(guī)劃的方法及CI 等高線圖的使用, 參數(shù)設(shè)置不一定代表實(shí)際中的大多數(shù)情況。在實(shí)際研究中, 研究者可以從前人已發(fā)表的類似研究,自己的預(yù)研究, 相關(guān)主題的元分析結(jié)果, 或者由同領(lǐng)域?qū)<掖_定最小的重要效應(yīng)來獲得這些參數(shù)值(Pek & Park, 2019)。然而, 也有研究者指出, 這種直接使用效應(yīng)量點(diǎn)估計(jì)值代替其真值(預(yù)期效應(yīng)量)的方式忽略了其不確定性(uncertainty with regard to the unknown population effect size, Pek & Park,2019), 會(huì)得到有偏差的結(jié)果。因此, 一些研究者提倡使用考慮了不確定性問題的方法(如貝葉斯混合方法, Pek & Park, 2019)開展樣本量規(guī)劃。
然后, 實(shí)踐研究者可以根據(jù)具體研究需要, 結(jié)合本研究提出的兩種CI 寬度等高線圖確定推薦的樣本量。本研究參考Baker 等(2021)檢驗(yàn)力等高線圖的思路, 提出CI 寬度等高線圖, 能夠便于研究者同時(shí)參考多種要求, 找到最合適的樣本量。研究者可根據(jù)實(shí)際研究對(duì)結(jié)果的要求, 確定選用某種CI寬度等高線圖。如果研究者僅關(guān)注檢驗(yàn)力和效應(yīng)量估計(jì)的準(zhǔn)確性, 可選用檢驗(yàn)力+CI 寬度等高線圖。如果研究者在此基礎(chǔ)上, 還關(guān)注隨機(jī)效應(yīng)估計(jì)的準(zhǔn)確性, 以便對(duì)個(gè)體差異的原因進(jìn)行進(jìn)一步分析(如應(yīng)用混合效應(yīng)均值——方差模型, Williams et al.,2021), 或者進(jìn)一步準(zhǔn)確計(jì)算包含隨機(jī)效應(yīng)的2R指標(biāo)(例如Rights & Sterba, 2019), 可以選用檢驗(yàn)力+隨機(jī)效應(yīng)估計(jì)準(zhǔn)確性+CI 寬度等高線圖。對(duì)于CI寬度, 研究者可以參考本研究的做法, 也可以參考前人研究中效應(yīng)量的CI 寬度, 或結(jié)合自己研究中效應(yīng)量報(bào)告精度的需要確定臨界值。
最后, 在實(shí)際研究中, 樣本量規(guī)劃是結(jié)合檢驗(yàn)力、效應(yīng)量準(zhǔn)確性與研究成本等的綜合考慮。如果僅考慮檢驗(yàn)力和效應(yīng)量準(zhǔn)確性, 往往會(huì)導(dǎo)致規(guī)劃的樣本量很大。較大的樣本量會(huì)帶來研究成本的顯著增加。尤其是對(duì)于一些人力、物力成本較大的研究(例如, 應(yīng)用功能性磁共振成像的研究等), 大幅增加被試量往往不現(xiàn)實(shí)。因此, 一些研究者提出了結(jié)合研究成本函數(shù)綜合得到推薦樣本量的方法(例如Baker et al., 2021), 以保證樣本量既能夠滿足檢驗(yàn)力等要求, 又使得研究成本盡可能最小。例如, 在Baker 等(2021)開發(fā)的網(wǎng)頁中, 就結(jié)合了每名被試的成本, 計(jì)算推薦樣本量。該網(wǎng)頁中得到的推薦樣本量是檢驗(yàn)力達(dá)到80%且I× (J+成本 )最小的點(diǎn)。除了研究成本, 在實(shí)際中不同研究確定樣本量會(huì)結(jié)合不同的研究限制, 并有優(yōu)先考慮的要求順序等級(jí)。應(yīng)用研究者可結(jié)合具體研究需求, 在本研究提供的方法基礎(chǔ)上開展樣本量規(guī)劃。
本研究具有一定的局限性, 未來研究可以從三個(gè)方面加以改進(jìn)。首先, 本研究的模擬研究只考察了實(shí)驗(yàn)效應(yīng)、隨機(jī)斜率大小、被試變量類型、是否為平衡設(shè)計(jì)的影響, 很多因素設(shè)置為固定水平。未來研究可考察隨機(jī)截距和隨機(jī)斜率的協(xié)方差, 刺激的隨機(jī)效應(yīng)方差等因素對(duì)檢驗(yàn)力和效應(yīng)量準(zhǔn)確性的影響, 獲得更加豐富的結(jié)果。其次, 本研究以刺激嵌套于實(shí)驗(yàn)條件, 并且刺激和實(shí)驗(yàn)效應(yīng)沒有交互的被試內(nèi)實(shí)驗(yàn)設(shè)計(jì)為例探討樣本量規(guī)劃的問題, 并假設(shè)實(shí)驗(yàn)條件是含有兩個(gè)類別的分類變量, 因變量是連續(xù)變量。未來研究可以拓展到其他類型的實(shí)驗(yàn)設(shè)計(jì), 或者自變量為連續(xù)變量, 因變量為分類變量等情境, 探討基于線性混合效應(yīng)模型的樣本量規(guī)劃,豐富函數(shù)功能。最后, 本研究沒有考慮預(yù)期效應(yīng)量的不確定性問題, 不能反映實(shí)踐中研究設(shè)計(jì)面臨的現(xiàn)實(shí)困境。未來研究可以借鑒Pek 和Park(2019,2023)的思路, 通過檢驗(yàn)力和效應(yīng)量準(zhǔn)確性的分布實(shí)現(xiàn)樣本量規(guī)劃。