徐宏亮，韋青婷，王慧敏

□語言學(xué)研究

應(yīng)用語言學(xué)復(fù)制性研究的現(xiàn)實挑戰(zhàn)與對策

徐宏亮，韋青婷，王慧敏

（阜陽師范大學(xué) 外國語學(xué)院, 安徽 阜陽 236037）

復(fù)制性研究是學(xué)科發(fā)展與個人學(xué)術(shù)成長的重要手段，其學(xué)術(shù)價值曾一度受到忽視。為厘清有關(guān)復(fù)制性研究的認(rèn)知偏見，發(fā)揮其應(yīng)有作用，本文追溯應(yīng)用語言學(xué)領(lǐng)域中復(fù)制性研究的興起與發(fā)展?fàn)顩r，區(qū)分它的不同類型及特點，分析當(dāng)前復(fù)制性研究面臨的主要挑戰(zhàn)，并且針對性地提出對策建議。

復(fù)制；原創(chuàng)性；發(fā)表偏倚；開放科學(xué)；數(shù)據(jù)透明

復(fù)制（replication）是自然科學(xué)中一種常見的研究方法，利用某項研究的數(shù)據(jù)和計算機程序代碼，重復(fù)其研究全過程，對研究結(jié)論進行校驗、糾正或強化，以提高研究結(jié)論的可推廣性和外部效度[1-3]。在應(yīng)用語言學(xué)和一般社會科學(xué)領(lǐng)域開展復(fù)制性研究，必須考慮環(huán)境、受試、研究工具、任務(wù)等變量的可復(fù)制性問題。長期以來，對復(fù)制性研究存在誤解，導(dǎo)致復(fù)制性研究的成果很少。近年來，應(yīng)用語言學(xué)領(lǐng)域產(chǎn)生了一些新變化，研究者在看重成果的原創(chuàng)性、嚴(yán)謹(jǐn)性和重要性的同時，逐漸意識到復(fù)制性研究對學(xué)科發(fā)展和個人學(xué)術(shù)成長的獨特作用，復(fù)制性研究成果日漸增多。本文旨在回顧應(yīng)用語言學(xué)領(lǐng)域中復(fù)制性研究的興起與進展情況，區(qū)分它們的不同類型，詳細(xì)分析當(dāng)前面臨的現(xiàn)實挑戰(zhàn)，并就如何迎接挑戰(zhàn)、促進未來可持續(xù)發(fā)展提出對策建議。

一、應(yīng)用語言學(xué)復(fù)制性研究的興起

在應(yīng)用語言學(xué)短暫的發(fā)展歷程中，學(xué)術(shù)界優(yōu)先考慮的是研究的創(chuàng)新性。這極大地拓展了學(xué)科研究的深度和廣度，促進了學(xué)科的發(fā)展。早期Santos[4]、Valdman[5]、Polio 和 Gass[6]等人呼吁加強復(fù)制性研究，但在應(yīng)用語言學(xué)中復(fù)制性研究仍很罕見。Polio發(fā)現(xiàn)1990-2009年間6種應(yīng)用語言學(xué)期刊只刊登了24篇復(fù)制性研究[7]。Language and Linguistic Behavior Abstracts數(shù)據(jù)庫在1973至2013年間也只發(fā)表了40項復(fù)制性研究[8]。McManus[9]8調(diào)查發(fā)現(xiàn)，56.5%的二語研究者認(rèn)為實證研究被復(fù)制的比例非常低，不到10%。原因是多方面的。復(fù)制性研究與原研究的結(jié)果如果一致，那么就被認(rèn)為毫無價值，不能產(chǎn)生學(xué)術(shù)貢獻；研究結(jié)果如果不一致，人們就會懷疑是否是復(fù)制性研究的研究方法存在缺陷。這就使得研究者主觀上不愿意開展復(fù)制性研究，而把有限的時間、精力和資源投入到他們認(rèn)為最有回報的原創(chuàng)研究中去。另外，由于版面限制，論文作者無法交代研究方法細(xì)節(jié)，這在一定程度上也導(dǎo)致可復(fù)制的研究較少，復(fù)制性研究的稿源不足；學(xué)術(shù)期刊編輯就算是意識到了復(fù)制性研究的意義，也會為了吸引更多讀者，轉(zhuǎn)而傾向于選擇發(fā)表原創(chuàng)性的研究論文，使得很多復(fù)制性研究不能見刊。

近年來，應(yīng)用語言學(xué)復(fù)制性研究不斷受到重視。2007年，國際學(xué)術(shù)期刊《語言教學(xué)》（）開辟專欄討論復(fù)制性研究，成為應(yīng)用語言學(xué)領(lǐng)域中的首創(chuàng)；該刊主編Graeme Porte于2009年組織了一次研討會，涵蓋了復(fù)制性研究的操作方法、結(jié)果解釋和技能教學(xué)等議題，并于2012年出版了第一本關(guān)于復(fù)制性研究的長篇著作。從此以后，人們對復(fù)制性研究的關(guān)注與日俱增。究其原因，主要包括兩個方面：一是應(yīng)用語言學(xué)日趨成熟。年輕的研究領(lǐng)域往往看重新的發(fā)現(xiàn)，但對于日趨成熟的領(lǐng)域而言，結(jié)果的校驗也同樣重要[10]。應(yīng)用語言學(xué)研究越來越成熟地使用統(tǒng)計數(shù)據(jù)，提升了人們對復(fù)制性研究的興趣。二是社會科學(xué)（如心理學(xué)）目前面臨可復(fù)制性危機。學(xué)術(shù)界出現(xiàn)了一些學(xué)術(shù)欺詐和有問題的研究實踐[11-13]。主要問題包括：不提及所有的因變量；選擇性地報告具有統(tǒng)計學(xué)意義的結(jié)果（并省略那些不具有統(tǒng)計學(xué)意義的結(jié)果）；歪曲P值（例如，報告P≥0.05，而實際上P≤0.05）；聲稱意外的發(fā)現(xiàn)從一開始就已被預(yù)測到；在獲得希望的結(jié)果時就停止數(shù)據(jù)收集；為了獲得希望的結(jié)果而排除某些數(shù)據(jù)；偽造數(shù)據(jù)等。在John等人[14]524所調(diào)查的2000多名心理學(xué)家中，大多數(shù)人承認(rèn)有過一種或多種上述做法，“這些做法可能已成為事實上的科學(xué)規(guī)范”。有些研究者不相信發(fā)表的研究成果，認(rèn)為大多數(shù)是虛假的[15]。在社會科學(xué)中有一個“文件抽屜”問題[16]638，即有統(tǒng)計學(xué)意義的結(jié)果比沒有統(tǒng)計學(xué)意義的結(jié)果更有可能被發(fā)表。如果具有統(tǒng)計學(xué)意義的研究結(jié)果發(fā)表的可能性更大，并且如果職業(yè)發(fā)展（如留任、任期、晉升）與論文發(fā)表掛起鉤來，那么就不難理解上面提到的這些學(xué)術(shù)不端做法了。為此，研究人員普遍呼吁使用復(fù)制作為保障機制，鼓勵更多的復(fù)制性研究，這客觀上促進了復(fù)制性研究的蓬勃發(fā)展。

二、復(fù)制性研究的分類

復(fù)制性研究可分為兩大類：內(nèi)部復(fù)制和外部復(fù)制。內(nèi)部復(fù)制（internal replication）是對原研究的“再回訪”、再分析和檢驗，使用卡方檢驗、T檢驗、相關(guān)性檢驗或方差齊性檢驗等方式，來考察研究結(jié)果能否充分滿足研究假設(shè)以及研究結(jié)果的效應(yīng)值問題，采用交叉驗證、刀切法或自助法來驗證原研究的結(jié)果是否具有可復(fù)制意義[17,18]，但不進行新的實驗。外部復(fù)制（external replication）是對原研究的進一步拓展，主要分為三類：精確復(fù)制（exact replication）、近似復(fù)制（close/approximate replication）和概念性復(fù)制（conceptual replication）[19-23]。這三種類型是一個連續(xù)體，從最忠實于原研究，到最不忠實于原研究，存在程度上的差異。

精確復(fù)制也叫直接復(fù)制（direct replication）或字面復(fù)制（literal replication），它需要全面準(zhǔn)確地復(fù)制原研究的整個程序與環(huán)節(jié)，如使用相同的任務(wù)、相同的環(huán)境、相同類型的參與者、相同的研究問題與數(shù)據(jù)分析方法等，以校驗原研究的發(fā)現(xiàn)。很顯然，這是最難實現(xiàn)的了，因為就算是盡一切努力來忠實于原研究，仍會有一些小的變化是不可避免的，如時間上的差距等[24]1-11。所以說，精確復(fù)制只能是應(yīng)用語言學(xué)研究的一種理想狀態(tài)，是一項不能完成的目標(biāo)[17]92。Nosek 和 Errington[25]3甚至認(rèn)為根本就不存在所謂精確復(fù)制，因為復(fù)制研究與原研究之間總是存在差異。他們認(rèn)為在應(yīng)用語言學(xué)領(lǐng)域，唯一可能存在的精確復(fù)制是，使用原研究同樣的語料庫數(shù)據(jù)，且其他方面完全一致，沒有任何改變。

比精確復(fù)制更常見的是近似復(fù)制，也叫系統(tǒng)復(fù)制（systematic replication），不改變原研究的總體方法，只改變一兩個不太重要的變量，如改變被試人數(shù)、水平、語言背景、年齡組或任務(wù)等，以確定原研究結(jié)果的可推廣性。也就是說，為了校驗原研究的結(jié)果在新的受試、環(huán)境、語言等方面是否成立，而有意地加以變化。這樣的例子不少，如Booth[26]關(guān)于詞匯知識、Johnson 和 Nicodemus[27]關(guān)于臨界值的近似復(fù)制性研究。近似復(fù)制考察的是故意改變1-2個變量后對研究結(jié)果的影響情況，這是增進學(xué)科知識、提高認(rèn)識水平的最為明了直接的途徑。

最不忠實于原研究的是概念性復(fù)制，也叫構(gòu)念復(fù)制（constructive replication），它檢驗原研究的假設(shè)和結(jié)論，但采用的是全新的研究設(shè)計，如改變自變量和/或因變量，或者對實驗環(huán)境或受試予以控制，使用相關(guān)但不同的數(shù)據(jù)采集方法，如用觀察法替代自我陳述、在原研究使用的定量方法基礎(chǔ)上增加定性方法等。也就是說，概念性復(fù)制提出與原研究一樣的研究問題或檢驗與原研究相同的假設(shè)，但使用的是不同的研究設(shè)計（如樣本不同、方法不同、分析不同）。它的目的有兩種：要么是檢驗在一個更大的模型中新的變量關(guān)系是否具有普遍性，要么是確定原研究的結(jié)果在多大程度上是其自身方法的產(chǎn)物。概念性復(fù)制與原研究之間的不同之處更多，研究結(jié)果比較起來也更加困難。但這并不是說概念性復(fù)制就不重要，只是它的目的是不同的，它不是通過系統(tǒng)地操控研究方法來驗證或鞏固原研究的主張或發(fā)現(xiàn)，而是努力構(gòu)建一些新的理論主張和概念，兩個研究之間的可比性是有限的。從這個意義上說，概念性復(fù)制更像是拓展研究（extension studies），提出的是與原研究一樣的問題，但使用不同方法來開展研究、回答問題。這樣的實例有Leow[28]關(guān)于二語習(xí)得中的注意與意識、Lim 和 Godfiroid[29]關(guān)于句法加工自動化的概念性復(fù)制研究等。

與原研究的結(jié)論是否一致，這不是復(fù)制性研究的關(guān)鍵。復(fù)制性研究所關(guān)注的是兩個研究結(jié)論之間是否存在可比性[6]502。

三、復(fù)制性研究面臨的挑戰(zhàn)

開展復(fù)制性研究，學(xué)界需要面對各種挑戰(zhàn)，需要解決如何消除對復(fù)制性研究的偏見，如何對研究結(jié)果進行解釋，如何報告研究結(jié)果和解決數(shù)據(jù)共享問題，以及探索定性研究的復(fù)制可能性問題等。

（一）如何消除對復(fù)制性研究的偏見

復(fù)制性研究在學(xué)界一直以來聲望較低，不受推崇，被認(rèn)為是缺乏創(chuàng)造性，甚至與對抗性人格聯(lián)系在一起[30]532-542。Makel和Plucker[31]158曾明確指出：“復(fù)制性研究對本領(lǐng)域有好處，但對研究者個人卻未必有好處”。主客觀上存在的編輯偏見、基金資助問題和對職業(yè)發(fā)展的擔(dān)憂，有可能會澆滅研究人員開展復(fù)制性研究的熱情[24,32,33]。有無統(tǒng)計學(xué)意義是衡量研究結(jié)果可推廣性的重要依據(jù)，任何研究結(jié)果都需要通過外部復(fù)制來驗證它的可推廣性[34]。期刊編輯傾向于發(fā)表有統(tǒng)計意義的研究成果，如果研究的結(jié)果沒有統(tǒng)計意義，論文就被擱置在“抽屜”里而不能見刊。最近在心理學(xué)領(lǐng)域里，有復(fù)制性研究的作者在社交媒體上受到了原作者的攻擊和威脅，這也表明復(fù)制他人的研究具有一定的風(fēng)險[35]。學(xué)術(shù)界要正確認(rèn)識復(fù)制性研究的本質(zhì)，正視它的學(xué)術(shù)價值和對學(xué)科發(fā)展的貢獻，消除現(xiàn)有偏見，提高復(fù)制性研究的數(shù)量和質(zhì)量。已有一些學(xué)術(shù)期刊為此作出了努力，如《第二語言習(xí)得研究》（）在積極呼吁學(xué)界開展復(fù)制性研究，《語言教學(xué)》甚至還發(fā)表文章，就哪些文章應(yīng)該被復(fù)制以及如何復(fù)制提出建議和指導(dǎo)[36-38]。目前對復(fù)制性研究重要性的認(rèn)知已有改觀，Mu和Matsuda[39]在對二語寫作研究者進行調(diào)查時，沒有發(fā)現(xiàn)對復(fù)制性研究的偏見，這似乎表明情況正在好轉(zhuǎn)。但如果說，復(fù)制性研究和原創(chuàng)研究已處于平等地位，似乎還為時過早。

（二）如何解釋復(fù)制性研究的結(jié)果

開展復(fù)制性研究，最常見的問題是如何對結(jié)果進行解釋。根據(jù)是否報告了與原研究相同的結(jié)果，復(fù)制性研究常被劃分為“成功”的或“失敗”的研究。如果是“成功”的精確復(fù)制，研究者可以對原研究的內(nèi)部效度和外部效度有更大的信心。但也有人認(rèn)為，這樣的研究結(jié)果缺乏新意，只是證明了已經(jīng)知道的東西[32]71-81。另一方面，如果是“失敗”的精確復(fù)制，人們會認(rèn)為原研究的結(jié)果可能本身就是錯誤的，需要被推翻。其實，復(fù)制“失敗”的可能原因有很多，如存在未發(fā)現(xiàn)的調(diào)節(jié)變量，存在人為的錯誤，或者是復(fù)制中的統(tǒng)計功效偏低等[31][40]。復(fù)制性研究應(yīng)該是信息性的，而不是結(jié)論性的[24]1-11。沒有哪一項復(fù)制性研究可以證實或證偽原研究。如果一項精確復(fù)制得到了與原研究相同的發(fā)現(xiàn)，它應(yīng)該被看作是一份額外的證據(jù)，證明原研究是有效的；如果沒有得到相同的發(fā)現(xiàn)，說明有必要進行再研究[41]93-99，而不是說它是一個失敗的復(fù)制性研究。因此，我們認(rèn)為把“成功的”和“失敗的”這兩個詞更換成“支持性的”和“非支持性的”更為合適。支持性的近似復(fù)制性研究表明原研究的結(jié)果可以被推廣，如推廣到某種新的語言、新的人群或環(huán)境；非支持性的近似復(fù)制表明原研究結(jié)果不能被推廣，需要對該主題進一步加以研究。支持性的概念性復(fù)制研究可以證明某個發(fā)現(xiàn)不是原研究方法的產(chǎn)物，而非支持性的概念性復(fù)制研究則表明還有進一步研究的必要。例如，我們可以進一步考察，非支持性研究的結(jié)果是不是因為方法上的差異，有沒有未被發(fā)現(xiàn)的調(diào)節(jié)變量，如果有的話，它們是什么。解決這些問題，就有可能帶來理論上的進步[41]93-99。

（三）如何報告研究方法和解決數(shù)據(jù)共享問題

多年來，人們呼吁作者在研究中詳細(xì)全面地報告研究方法的細(xì)節(jié)，以方便日后的復(fù)制[6]499-508。打算進行精確復(fù)制的研究者需要這些細(xì)節(jié)，以使復(fù)制盡可能忠實于原研究；近似或概念性復(fù)制的研究者也需要這些信息，來解釋自己的研究與原研究之間可能存在的差異。由于期刊的版面限制，作者往往將擬發(fā)表論文的方法論信息簡化或刪除，這對復(fù)制性研究帶來極大的挑戰(zhàn)。隨著網(wǎng)絡(luò)的發(fā)展，在線補充材料和建立龐大的數(shù)據(jù)平臺已成為現(xiàn)實，版面限制問題已不成其為障礙。人們已開始為方便作者提供完整的方法論信息和數(shù)據(jù)作出努力，如《語言學(xué)習(xí)》（）雜志明確要求“方法部分必須足夠詳細(xì)，以便于研究的復(fù)制”，《語言學(xué)習(xí)》、第二語言研究工具庫IRIS（http://www.iris- database.org）要求作者將論文使用的材料或補充材料發(fā)到期刊網(wǎng)站，存入在線大型資料庫，供研究者查閱使用[42]1-21。人們還建議作者在數(shù)據(jù)分析方面增加透明度。定量研究者在報告描述性統(tǒng)計（平均值、標(biāo)準(zhǔn)差）、置信區(qū)間、效應(yīng)大小和統(tǒng)計功效時，要更加一致[43-45]；定性研究者要提供更多關(guān)于其編碼過程和分析決定的信息[46-47]。這些做法不僅有助于解釋研究結(jié)果，也有助于不同研究之間的比較，這對復(fù)制性研究和元分析都很重要。

在分享數(shù)據(jù)方面，也存在一定的困難。有些作者可能主觀上不愿意分享他們的原始資料和數(shù)據(jù)，導(dǎo)致研究不能進行復(fù)制[48]232-244。也有些研究在數(shù)據(jù)存儲失敗的情況下，無法分享數(shù)據(jù)和資料。其實，除非因為隱私問題，應(yīng)鼓勵作者公開自己的研究數(shù)據(jù)，為復(fù)制性研究提供根本性的支持條件。

（四）能否對定性研究進行復(fù)制

學(xué)界爭論的另一個焦點問題是：對定性研究進行復(fù)制是否可能，是否可行？[49-51]。傳統(tǒng)觀點認(rèn)為，想驗證定性研究的結(jié)果是徒勞的，另一個研究者不可能在相同的環(huán)境中，使用相同的方法研究相同的參與者（甚至相同類型的參與者），并得出相同的結(jié)果。

這種對定性研究結(jié)果的驗證所表示的擔(dān)憂，以及一些定性研究者對復(fù)制性研究的反感，往往是因為他們將復(fù)制與精確復(fù)制混為一談[52]。由于定性研究具有解釋性和情境性的特征，研究者對精確復(fù)制的擔(dān)憂并非沒有道理。但這并不意味著要放棄對所有的定性研究的復(fù)制，也不意味著定性研究的精確復(fù)制是不可能的。例如，我們假設(shè)對一小群英語作為第二語言（ESL）的寫作者進行工具性個案研究，確定他們在大學(xué)期間對書面糾正性反饋的看法。假設(shè)研究者充分使用了合理的定性研究手段，如豐富的描述、三角測量、觀摩跟蹤、編碼檢查、成員檢查、長期觀察等，讀者可以確定所提供的任何信息是否適用于他們自己的研究語境。但是另一位研究者可以使用相同的方法，考察略有不同的人群，如英語為外語的寫作者，看看會產(chǎn)生什么樣的研究發(fā)現(xiàn)，以及不同的語言背景會不會影響學(xué)生對書面糾正性反饋的看法。支持性的近似復(fù)制性研究會表明，語言背景在學(xué)生對書面糾正性反饋的態(tài)度中作用很小；非支持性的近似復(fù)制性研究會發(fā)現(xiàn)語言背景確實起著作用，這在理論上和教學(xué)上都非常有意義。同樣，對ESL作者的概念性復(fù)制研究可以對研究方法適當(dāng)加以改變，如用同伴引導(dǎo)的訪談取代研究者引導(dǎo)的訪談，或者用日記數(shù)據(jù)補充訪談數(shù)據(jù)。這時，支持性的概念性復(fù)制研究會表明，研究方法對學(xué)生的回答沒有不適當(dāng)?shù)挠绊?，而非支持性的概念性?fù)制研究則表明方法的改變會影響學(xué)生的反應(yīng)。如果定性研究者在相同的環(huán)境中，使用相同的方法來調(diào)查相同類型的參與者，這時支持性的精確復(fù)制將證明，研究者和參與者的特殊性不是主要影響因素；非支持性的精確復(fù)制將證明，這些因素確實可能發(fā)揮重要作用。未來的研究就可以努力確定這些因素到底發(fā)揮了多大的作用，以及在什么條件下它們會產(chǎn)生影響。如果我們不用“成功”和“失敗”這兩個術(shù)語來描述復(fù)制性研究，認(rèn)識到復(fù)制某些類型的定性研究（如工具性個案研究）可以提供有價值的信息，那么關(guān)于定性研究復(fù)制問題的爭論就可能消除。

四、對策建議

基于學(xué)者們圍繞復(fù)制性研究的學(xué)術(shù)討論和科研實踐，可以從如下幾個方面著手，充分發(fā)揮復(fù)制性研究在學(xué)科發(fā)展與個人學(xué)術(shù)成長中的應(yīng)有作用。

一是消除誤解，明確復(fù)制性研究的重要價值。應(yīng)該系統(tǒng)探究復(fù)制性研究發(fā)表率低的原因，洞察應(yīng)用語言學(xué)領(lǐng)域復(fù)制性研究發(fā)表偏倚的根源，大幅度增加復(fù)制性研究的數(shù)量，提升復(fù)制性研究產(chǎn)出的速度。McManus[9]8調(diào)查了354名二語研究者對于復(fù)制性研究的態(tài)度以及他們的研究實踐，發(fā)現(xiàn)他們普遍認(rèn)為復(fù)制性研究對于二語研究是有價值的，不認(rèn)為復(fù)制性研究就是缺乏創(chuàng)新的研究，大多數(shù)人提倡復(fù)制性研究，支持博士研究生進行復(fù)制研究，認(rèn)為本學(xué)科里復(fù)制性研究的數(shù)量應(yīng)該增加。Marsden等人[53]321-391發(fā)現(xiàn)復(fù)制性研究被引用率很高，且常常發(fā)表在影響因子高的權(quán)威期刊上。研究者在引用原研究時，應(yīng)同時引用該研究的直接復(fù)制或近似復(fù)制性研究，以提高復(fù)制性研究在學(xué)術(shù)界的地位和影響。復(fù)制性研究雖然在原創(chuàng)性方面不及原研究，但它們在重要性和嚴(yán)謹(jǐn)性方面并不遜色。各級各類研究基金在評審時應(yīng)適當(dāng)兼顧復(fù)制性研究，學(xué)術(shù)組織與團體應(yīng)將復(fù)制性研究納入會議分組議程，等同看待復(fù)制性研究的學(xué)術(shù)貢獻和重要價值。建議學(xué)術(shù)期刊在作者指南或投稿指南中明確說明接受和鼓勵復(fù)制性研究的政策，承諾發(fā)表針對本刊已發(fā)表論文的復(fù)制性研究，對未能得出與原研究一樣具有統(tǒng)計意義結(jié)果的復(fù)制性研究持歡迎與接受的態(tài)度。

二是注重總結(jié)，把握可復(fù)制研究的典型特征。值得復(fù)制的研究往往具備一些典型特征，如引用率高、學(xué)界關(guān)注度高、對現(xiàn)有理論提出挑戰(zhàn)等[54]。在應(yīng)用語言學(xué)研究中，應(yīng)重點關(guān)注如下六類研究，一是引用率高的研究。如果某項研究被引用了100次還沒有被他人進行復(fù)制，則是令人驚訝的事[30]532-542。二是學(xué)界公認(rèn)的重要研究。尋找或判斷某項研究是否重要，可以查看《語言學(xué)習(xí)》論文作者對自己研究的復(fù)制倡議，了解網(wǎng)絡(luò)平臺中公眾對值得復(fù)制的研究的投票（如PsychFileDrawer），閱讀期刊編輯對特定研究開展復(fù)制研究的征稿（如)，或者查看復(fù)制性研究的作者在文中對理論或方法論的說明。三是結(jié)果出乎意料的研究。譬如說，如果原分析發(fā)現(xiàn)效應(yīng)值較小但實際卻很大時，這樣的研究就可以進行復(fù)制。四是研究結(jié)果沒有統(tǒng)計意義或p值僅略微小于0.05的研究[55]。在對Open Science Collaboration項目中的三個結(jié)果無統(tǒng)計意義的研究進行復(fù)制時，Morgan-Short等人[56]發(fā)現(xiàn)有兩個研究結(jié)果為無統(tǒng)計意義，一個研究結(jié)果卻具有統(tǒng)計意義。對研究結(jié)果沒有統(tǒng)計意義的研究進行復(fù)制，在二語研究中尤其重要[48]232-244。有無統(tǒng)計意義不能作為評判研究是否值得復(fù)制的可靠的標(biāo)準(zhǔn)。五是研究設(shè)計相對簡單的研究。在二語研究中，歷時研究、一對一測量、使用昂貴儀器（如眼動儀）及研究對象背景特殊的研究一般難以進行復(fù)制。六是透明度高的研究。是否詳盡匯報研究方法、是否提供原始數(shù)據(jù)材料，是復(fù)制性研究開展的前提條件。

三是規(guī)范表達，使用復(fù)制性研究的特定術(shù)語。增強復(fù)制性研究在學(xué)界的影響，需要提高它們的顯示度。方法之一就是在標(biāo)題或者摘要中明示該研究為復(fù)制性研究。Marsden 等人發(fā)現(xiàn)只有21%的論文在標(biāo)題中使用了“復(fù)制”的字眼[53]321-391。McManus[9]8指出只有50%的復(fù)制性研究在標(biāo)題或者摘要中明確標(biāo)明是復(fù)制性研究。為了提高顯示度和被檢索率，建議復(fù)制性研究使用明確的表示“復(fù)制”的詞語，如replicat*、exten*或revisit*等，在標(biāo)題或摘要部分明確說明復(fù)制的具體分類，以直接復(fù)制（驗證原研究的發(fā)現(xiàn)）、近似復(fù)制（改變1-2個變量來考察研究結(jié)果的可推廣性）或者概念性復(fù)制（改變多個變量來拓展原研究）等規(guī)范表述亮明研究的身份特征，為檢索和閱讀提供便利。刻意回避使用這些詞語，復(fù)制性研究在學(xué)科領(lǐng)域里的顯示度和潛在影響力就會受到影響，這不利于文獻檢索和建立學(xué)術(shù)聯(lián)系，不利于揭示復(fù)制性研究與原研究在研究程序和數(shù)據(jù)方面的差異，也不利于開展元分析或綜合研究（research synthesis）來考察研究結(jié)果的可靠性、普遍性以及不同研究之間的可比性。

四是倡導(dǎo)開源，提高數(shù)據(jù)共享程度與方法透明度。研究方法透明，能夠促進研究的復(fù)制，提高復(fù)制的質(zhì)量與可靠性[42]1-21。自從2015年《促進透明公開指南》（TOP Guidelines）發(fā)布以來，學(xué)界更加關(guān)注研究設(shè)計、數(shù)據(jù)材料的透明與共享。復(fù)制性研究經(jīng)常在實驗對象、工具、測試手段等方面不同于原研究。在復(fù)制性研究中應(yīng)說明原研究中的材料是如何獲得的，是部分采用還是整體采用了原研究的材料[17]。如果不能獲得原研究的數(shù)據(jù)和材料，復(fù)制性研究與原研究之間的差異就不能確定。研究發(fā)現(xiàn)，獲得的原研究的材料越多，復(fù)制性研究的結(jié)果則更可能支持原研究的結(jié)果，對該研究的復(fù)制性研究也會越多[53]321-391。研究材料的透明與期刊引用率之間甚至存在正相關(guān)關(guān)系[57]。建議期刊在官網(wǎng)上明確標(biāo)出哪些研究是復(fù)制性研究，同時給出所復(fù)制的原研究的超鏈接，以提高復(fù)制性研究的“曝光率”。自《語言學(xué)習(xí)》期刊采用“開放科學(xué)徽章”（Open Science Badges）機制以來，越來越多的期刊開始重視數(shù)據(jù)的開放工作，IRIS現(xiàn)在擁有12套二語數(shù)據(jù)以及大約3600個數(shù)據(jù)與分析方案文檔，《第二語言習(xí)得研究》要求獲得徽章的論文在IRIS，OSF或www.re3data.org等平臺共享研究資料和資料收集工具，并對資料在研究中的使用情況進行詳細(xì)描述和說明，這有利于讀者全面了解該研究的具體情況，有利于開展高質(zhì)量的復(fù)制性研究。研究者在自己發(fā)表的論文中，應(yīng)該系統(tǒng)地給出對該研究進行復(fù)制研究的可能途徑或方法，同時盡可能分享研究數(shù)據(jù)，提高研究方法的透明度。

五是創(chuàng)新發(fā)表程序，鼓勵期刊接受“注冊報告”類文章。學(xué)界應(yīng)大力提倡期刊發(fā)表“注冊報告”類文章。注冊報告（registered reports）是一種新型的投稿格式，由開放科學(xué)中心（Center for Open Science）發(fā)起。在做實驗之前，研究者就向期刊提交擬研究的問題和實驗設(shè)計（研究目的、數(shù)據(jù)收集方法、分析方案等）供同行評議。通過評議的報告就可以被“原則上接受”，研究者只需依照已經(jīng)“注冊”過的實驗步驟來開展研究。研究完成后，研究者提交最終稿件進行再審核，在第二輪同行評議后論文就會被發(fā)表。這種投稿方式重視科學(xué)研究的原始推動力，鼓勵最佳的研究實踐，重點關(guān)注的不是實驗的結(jié)果，而是研究的問題和解決問題的方法，能夠最大限度地降低期刊有意無意的發(fā)表偏倚[58]。在開始收集數(shù)據(jù)前，研究者就能獲得編輯和審稿人提供的建設(shè)性意見和幫助，彌補研究設(shè)計和方法上的不足，避免實驗統(tǒng)計結(jié)果的低效、對實驗結(jié)果有選擇性地報告等問題，提高研究的可重復(fù)性，為科學(xué)的透明化、可重復(fù)化和開放共享做出貢獻。

六是加強研究方法培訓(xùn)，提高學(xué)者復(fù)制性研究能力。研究者不熟悉復(fù)制的方法設(shè)計及呈現(xiàn)形式，缺乏寫作經(jīng)驗與科研訓(xùn)練，也是導(dǎo)致復(fù)制性論文發(fā)表較少的原因之一。因為復(fù)制性研究總量較少，研究者對于復(fù)制性研究與原研究在功能、結(jié)構(gòu)及呈現(xiàn)模式等方面缺少認(rèn)知，不懂得如何向期刊編輯、審稿人及讀者展示復(fù)制性研究的獨特價值和魅力，他們需要額外的幫助來學(xué)習(xí)和提高復(fù)制性研究的能力。建議在碩士、博士階段加強復(fù)制研究方法的系統(tǒng)訓(xùn)練，或開辦一些針對復(fù)制性研究的科研講座、集訓(xùn)營，提高研究者的理論水平和實踐能力。通過使用原研究的現(xiàn)有數(shù)據(jù)，讓復(fù)制研究者深入了解原研究在變量選擇、概念操作化、模型設(shè)置及樣本處理時的具體做法；通過復(fù)制校驗，發(fā)現(xiàn)原研究的瑕疵與問題，培養(yǎng)復(fù)制研究者敏銳的學(xué)術(shù)觀察力和判斷力。當(dāng)前，與元分析相比，幫助研究者進行復(fù)制性研究的設(shè)計、實施與研究結(jié)果匯報的指導(dǎo)手冊或文章十分少見[17]。建議根據(jù)學(xué)科領(lǐng)域特點，開發(fā)一些復(fù)制性研究的指導(dǎo)書籍或指南，從研究設(shè)計、結(jié)果呈現(xiàn)、成果分享等各方面對研究者加以指導(dǎo)。

結(jié)語

復(fù)制性研究在各學(xué)術(shù)領(lǐng)域發(fā)揮著越來越重要的作用。使用相同的研究方法和材料，可以驗證原研究結(jié)果的可靠程度；改變具體的方法或研究對象特征，則可考察在不同條件下原研究結(jié)論的可推廣性。復(fù)制性研究的興起，是學(xué)科發(fā)展到成熟階段的必然產(chǎn)物。圍繞復(fù)制性研究的紛爭必將隨著學(xué)科的發(fā)展而趨向統(tǒng)一。觀念偏見、發(fā)表偏倚等在學(xué)界各方努力下將會得以糾正。定量分析技術(shù)、互聯(lián)網(wǎng)及走向透明與開放的學(xué)術(shù)文化將為復(fù)制性研究帶來巨大的發(fā)展空間。國內(nèi)外學(xué)者積極開展復(fù)制性研究，有利于個人學(xué)術(shù)進步，有利于學(xué)科長遠(yuǎn)發(fā)展。擁有高質(zhì)量的復(fù)制性研究是一個學(xué)科健康發(fā)展的前提，應(yīng)用語言學(xué)的學(xué)科特征和學(xué)術(shù)倫理呼喚復(fù)制性研究。作為對已有研究進行校驗與反思的一種研究范式，復(fù)制性研究必將成為深化學(xué)科理論、推動學(xué)科知識發(fā)展、豐富科學(xué)研究視角、拓展科研訓(xùn)練方法的重要途徑。

[1]Hendrick C. Replications, strict replications, and conceptual replications: Are they important? [J]. Journal of Social Behavior & Personality, 1990(4):41-49.

[2]陳云松，吳曉剛.走向開源的社會學(xué)：定量分析中的復(fù)制性研究[J].社會，2012(3):1-23.

[3]劉潤清.《應(yīng)用語言學(xué)中的復(fù)制性研究》述評[J].中國外語教育，2015(3):95-99.

[4]Santos, T. Replication in applied linguistics research [J]. TESOL Quarterly, 1989,(4): 699–702.

[5]Valdman, A. Replication study [J]. Studies in Second Language Acquisition, 1993(4): 505.

[6]Polio, C., & Gass, S. Replication and reporting: A commentary [J]. Studies in Second Language Acquisition, 1997(4).

[7]Polio, C. Replication in published applied linguistics research: An historical perspective [M]. In G. Porte (Ed.), Replication research in applied linguistics (pp. 47–91). Cambridge: Cambridge University Press, 2012.

[8]Marsden, E., & Mackey, A. IRIS and replication[R]. Paper presented at the 9th International Symposium on Bilingua- lism, Singapore, 2013, June.

[9]McManus K. Replication and Open Science in Applied Linguistics Research[M]. In L. Plonsky (Ed.), Open Science in Applied Linguistics. John Benjamins, 2021.

[10]Sakaluk J. K. Exploring Small, Confirming Big: An alternative system to The New Statistics for advancing cumulative and replicable psychological research [J]. Journal of Experimental Social Psychology, 2016, 66:47-54.

[11]King, K., & Mackey, A. Research methodology in second language studies:Trends, concerns, and new directions [J]. Modern Language Journal, 2016(s1): 209–227.

[12]Pashler, H., & Wagenmakers, E.J. Editors’ introduction to the special section on replicability in psychological science: A crisis of confidence? [J]. Perspectives on Psychological Science, 2012(6): 528–530.

[13]Simmons, J., Nelson, L., & Simonsohn, U. False-positive psychology undisclosed flexibility in data collection and analysis allows presenting anything as significant [J]. Psychological Science, 2011(11): 1359–1366.

[14]John, L., Loewenstein, G., & Prelec, D. Measuring the prevalence of questionable research practices with incentives for truth telling [J]. Psychological Science, 2012(5).

[15]Pashler, H., & Harris, C. Is the replicability crisis overblown? Three arguments examined [J]. Perspectives on Psychological Science, 2012(6): 531–536.

[16]Rosenthal, R. The file drawer problem and tolerance for null results [J]. Psychological Bulletin[M].New York.1979 (3).

[17]Porte, G. K., & McManus, K. Doing replication research in applied linguistics. Routledge[M].New York,2019.

[18]尹洪山，李玉佳.《復(fù)制性研究在應(yīng)用語言學(xué)中的實踐》評介[J].天津外國語大學(xué)學(xué)報，2020(4):153-157.

[19]Abbuhl, R. Practical methods for teaching replication to applied linguistics studies [M]. In G. Porte (Ed.), Replication research in applied linguistics (pp. 135–150).Cambridge: Cambridge University Press, 2012a.

[20]Abbuhl, R. When, when, and how to replicate research [M]. In A. Mackey & S. Gass (Eds.), Research methods in second language acquisition (pp. 296–312). Oxford: Wiley-Blackwell, 2012b.

[21]Abbuhl, R. Research Replication[M]. In A. Phakiti et al. (Eds.). The Palgrave Handbook of Applied Linguistics Research Methodology, 2018.

[22]Porte, G. Replication research in applied linguistics [M]. Cambridge: Cambridge University Press,2012.

[23]潘不寒，張再紅.《應(yīng)用語言學(xué)中的復(fù)制性研究》述介[J].當(dāng)代語言學(xué)，2016(3):470-473.

[24]Earp, B., & Trafimow, D. Replication, falsification, and the crisis of confidence in social psychology [J]. Frontiers in Psychology, 2015,(621).

[25]Nosek, B. A., & Errington, T. M. What is replication? [J]. PLOS Biology, 2020(3).

[26]Booth, P. Vocabulary knowledge in relation to memory and analysis: An approximate replication of Milton’s (2007) study on lexical profiles and learning style [J]. Language Teaching, 2013(3): 335–354.

[27]Johnson, M., & Nicodemus, C. Testing a threshold: An approximate replication of Johnson, Mercado & Acevedo 2012[J]. Language Teaching, 2015(2): 251–274.

[28]Leow, R. The roles of attention and (un)awareness in SLA: Conceptual replication of N.C. Ellis & Sagarra (2010) and Leung & Williams (2012) [J]. Language Teaching, 2015(1): 117–129.

[29]Lim, H., & Godfroid, A. Automatization in second language sentence processing: A partial, conceptual replication of Hulstijn, Van Gelderen, and Schoonen’s 2009 study [J]. Applied Psycholinguistics, 2015(5): 1247–1282.

[30]Makel, M., Plucker, J., & Hegarty, B. Replications in psychology research: How often do they really occur? [J]. Perspectives on Psychological Science, 2012(6).

[31]Makel, M., & Plucker, J. An introduction to replication research in gifted education: Shiny and new is not the same as useful [J]. Gifted Child Quarterly, 2015(3): 157–164.

[32]Bronstein, R. Publication politics, experimenter bias and the replication process in social science research [J]. Journal of Social Behavior and Personality,1990(4).

[33]Neuliep, J., & Crandall, R. Editorial bias against replication research [J]. Journal of Social Behavior and Personality, 1990(4): 85–90.

[34]Nassaji, H. Significance tests and generalizability of research results: A case for replication [M]. In G. Porte (Ed.), Replication research in applied linguistics (pp. 92–115). Cambridge: Cambridge University Press, 2012.

[35]LeBel, E. A new replication norm for psychology [J]. Collabra, 2015(1): 1–13.

[36]Bitchener, J., & Knoch, U. Written corrective feedback studies: Approximate replication of Bitchener & Knoch (2010) and Van Beuningen, De Jong & Kuiken (2012) [J]. Language Teaching, 2015(3): 405–414.

[37]Gass, S., & Valmori, L. Replication in interaction and working memory research: Révész (2012) and Goo (2012) [J]. Language Teaching, 2015(4): 545–555.

[38]Schmitt, N., Cobb, T., Horst, M., & Schmitt, D. How much vocabulary is needed to use English? Replication of van Zeeland & Schmitt (2012), Nation (2006) and Cobb (2007) [J]. Language Teaching, 2017(2): 212–226.

[39]Mu, C., & Matsuda, P. Replication in L2 writing research: Journal of second language writing authors’ perceptions [J]. TESOL Quarterly, 2016(1): 201–219.

[40]Maxwell, S., Lau, M., & Howard, G.Is psychology suffering from a replication crisis? What does “failure to replicate”really mean?[J].American Psychologist, 2015(6).

[41]Crandall, C., & Sherman, J. On the scientific superiority of conceptual replications for scientific progress[J]. Journal of Experimental Social Psychology, 2016, 66.

[42]Marsden, E., Mackey, A., & Plonsky, L.The IRIS repository: Advancing research practice and methodology [M]. In A. Mackey & E. Marsden (Eds.), Advancing methodology and practice: The IRIS repository for research into second languages. New York: Routledge, 2016.

[43]Larson-Hall, J., & Plonsky, L. Reporting and interpreting quantitative research findings: What gets reported and recommendations for the field [J]. Language Learning, 2015(S1): 127–159.

[44]Liu, Q., & Brown, D. Methodological synthesis of research on the effectiveness of corrective feedback in L2 writing [J]. Journal of Second Language Writing, 2015, 30: 66–81.

[45]Plonsky, L. Study quality in SLA: An assessment of designs, analyses, and reporting practices in quantitative L2 research [J]. Studies in Second Language Acquisition, 2013(4): 655–687.

[46]Moravcsik, A. Transparency: The revolution in qualitative research [J]. PS: Political Science & Politics, 2014(1): 48–53.

[47]Richards, K.Trends in qualitative research in language teaching since 2000[J]. Language Teaching, 2009(2): 147–180.

[48]Plonsky, L. Quantitative considerations for improving replicability in CALL and applied linguistics [J]. CALICO Journal, 2015(2).

[49]Casanave, Pearson C. Heading in the wrong direction? A response to Porte and Richards[J]. Journal of Second Language Writing, 2012(3): 296-297.

[50]Matsuda, P. On the nature of second language writing: Replication in a postmodern field [J]. Journal of Second Language Writing, 2012(3): 300–302.

[51]Sasaki, M. An alternative approach to replication studies in second language writing: An ecological perspective [J]. Journal of Second Language Writing, 2012(3): 303–305.

[52]Porte, G. K., & Richards, K. Replication in second language writing research [J]. Journal ofSecond Language Writing, 2012(3): 284–293.

[53]Marsden, E. et. al, Relication in Second Language Research: Narrative and Systematic Reviews and Recommendations for the Field[J]. Language Learning, 2018(2).

[54]Nosek, B.A., & Lakens, D. Call for proposals: Special issue of Social Psychology on “Replications of important results in social psychology” [J]. Social Psychology, 2013(1):59-60.

[55]Lindsay, S. Replication in psychological science [J]. Psychological Science, 2015(12): 1827–1832.

[56]Morgan-Short K., Marsden E.,Heil J., et al. Multi-site replication in SLA research: attention to form during listening and reading comprehension[J]. Language Learning, 2018.

[57]Plonsky, L., Egbert, J., & Laflair, G. Bootstrapping in applied linguistics: Assessing its potential using shared data [J]. Applied Linguistics, 2015(5): 591–610.

[58]Plonsky, L. Open Science in Applied Linguistics[M]. John Benjamins, 2021.

Replication Studies in Applied Linguistics: Challenges and Resolutions

XU Hong-liang, WEI Qing-ting, WANG Hui-min

(School of Foreign Languages, Fuyang Normal University, Fuyang 236037, Anhui)

To replicate studies is an essential way of promoting disciplinary development and personal academic progress, which has been neglected for quite a long time. In order to clarify existing epistemic biases and bring its due functions into play, the paper traced the rise of replication research in the field of applied linguistics, pinpointed its different types and respective features, analyzed the main challenges it faces, and concluded with current recommendations to facilitate replication research in applied linguistics.

replication; originality; publication bias; open science; data transparency

10.14096/j.cnki.cn34-1333/c.2022.03.09

H08

A

2096-9333（2022）03-0057-08

2022-01-14

阜陽師范大學(xué)2019年基礎(chǔ)教育研究成果培育專項重點項目（2019JCJY04）。

徐宏亮（1971- ），男，安徽宿松人，教授，博士，碩士生導(dǎo)師，研究方向：外國語言學(xué)及應(yīng)用語言學(xué)研究；韋青婷（1999- ），女，重慶南川人，在讀碩士研究生，研究方向：英語教學(xué)研究；王慧敏（1997- ），女，廣東韶關(guān)人，在讀碩士研究生，研究方向：英語教學(xué)研究。