摘要：漢語(yǔ)測(cè)試是大學(xué)對(duì)外漢語(yǔ)教學(xué)中的重要環(huán)節(jié)，而測(cè)試效度的檢驗(yàn)和提高則是保證漢語(yǔ)測(cè)試有效性的最重要的問(wèn)題。本文以HSK(漢語(yǔ)水平考試)為例，從不同角度論述了五種檢驗(yàn)效度的方法：測(cè)試內(nèi)容的檢驗(yàn)、試卷內(nèi)部結(jié)構(gòu)的檢驗(yàn)、與效標(biāo)相關(guān)的檢驗(yàn)、組間比較分析檢驗(yàn)、問(wèn)卷調(diào)查檢驗(yàn)。并從試卷的質(zhì)量、閱卷評(píng)分的質(zhì)量、考生的情緒、測(cè)試方式等方面提出了提高效度的主要途徑。

關(guān)鍵詞：語(yǔ)言測(cè)試；效度；效標(biāo)；相關(guān)；因素分析

目前，學(xué)習(xí)漢語(yǔ)的外國(guó)人越來(lái)越多，隨著各級(jí)各類大學(xué)中對(duì)外漢語(yǔ)教學(xué)工作的蓬勃發(fā)展，漢語(yǔ)水平測(cè)試種類越來(lái)越多。除了HSK，國(guó)內(nèi)還出現(xiàn)了近10種針對(duì)母語(yǔ)非漢語(yǔ)者的漢語(yǔ)水平考試。那么，這些測(cè)試能在多大程度上反映考生具備的生活和工作所需要的漢語(yǔ)能力?證書能否得到大多數(shù)人的認(rèn)可?這就需要我們花大力氣研究測(cè)試的效度。

效度(validity)即有效性，是最重要的測(cè)試質(zhì)量指標(biāo)。對(duì)于語(yǔ)言測(cè)試來(lái)說(shuō)，效度是指一個(gè)語(yǔ)言測(cè)試在多大程度上測(cè)出了它想要測(cè)的語(yǔ)言能力或者語(yǔ)言知識(shí)。一個(gè)語(yǔ)言測(cè)試只有具有較高的效度，我們才可以正確地、恰當(dāng)?shù)亟忉尯褪褂脺y(cè)試的分?jǐn)?shù)，這個(gè)測(cè)試才有意義。

檢驗(yàn)漢語(yǔ)測(cè)試的效度，主要是回答兩方面的問(wèn)題：第一，這項(xiàng)測(cè)試的測(cè)試目標(biāo)是什么，究竟測(cè)量的是考生哪方面的漢語(yǔ)能力。第二，這項(xiàng)測(cè)試在多大程度上測(cè)量了所希望測(cè)量的能力或知識(shí)，即在多大程度上達(dá)到了它的測(cè)試目標(biāo)。要回答這兩個(gè)問(wèn)題需要從多個(gè)角度用多種方法積累證據(jù)。

一、檢驗(yàn)漢語(yǔ)測(cè)試效度的角度和方法

檢驗(yàn)漢語(yǔ)測(cè)試效度的角度和方法，主要有以下五種：

1測(cè)試內(nèi)容的檢驗(yàn)

內(nèi)容合適是測(cè)試有效的一個(gè)基本前提。對(duì)于學(xué)業(yè)成績(jī)測(cè)試，測(cè)試內(nèi)容的檢驗(yàn)側(cè)重于檢驗(yàn)題目能否代表教學(xué)的內(nèi)容。對(duì)于漢語(yǔ)水平測(cè)試，主要是檢驗(yàn)測(cè)試內(nèi)容是否符合測(cè)試目標(biāo)，有些內(nèi)容是否不利于某些考生。測(cè)試內(nèi)容的檢驗(yàn)有很多方式，其中最通行的是兩種：一種是專家審查，一種是題目公平性檢驗(yàn)。

專家審查的內(nèi)容包括：評(píng)定該測(cè)驗(yàn)是否存在常識(shí)性錯(cuò)誤，是否專業(yè)性較強(qiáng)，是否有易引起某些考生敏感的內(nèi)容，以及題目是否符合測(cè)試的目標(biāo)和測(cè)試范圍。這種方法可以在實(shí)施測(cè)試之前，也可以在實(shí)施測(cè)試之后，但以在實(shí)施測(cè)試之前進(jìn)行為佳。

題目公平性檢驗(yàn)廣泛使用的方法是：按照一定條件把具有相同能力的考生分成兩組：目標(biāo)組和參照組，計(jì)算兩組考生在某個(gè)題目上的正確回答概率是否相同。如果不同，則說(shuō)明該題對(duì)某組考生群體有偏向。任杰(2002)使用這種方法對(duì)1999年參加HSK(初、中等)某試卷的國(guó)內(nèi)日本考生和國(guó)外日本考生的成績(jī)進(jìn)行了分析。結(jié)果表明中國(guó)境內(nèi)考生聽(tīng)力占優(yōu)勢(shì)，而境外考生語(yǔ)法和閱讀成績(jī)好于聽(tīng)力，有利于中國(guó)境內(nèi)考生的題目多于利于境外考生的題目，但比例很小。因此HSK(初、中等)某試卷的題目對(duì)于中國(guó)境內(nèi)與境外的考生基本公平。

專家審查帶有一定的主觀性，而題目公平性的檢驗(yàn)則具有較強(qiáng)的客觀性。所以，二者結(jié)合，結(jié)論更加可靠。

2試卷內(nèi)部結(jié)構(gòu)的檢驗(yàn)

試卷內(nèi)部結(jié)構(gòu)的檢驗(yàn)一般包括：因素分析，題型與題型之間、分測(cè)驗(yàn)與分測(cè)驗(yàn)之間相關(guān)檢驗(yàn)，以及題目與所屬分測(cè)驗(yàn)之間的相關(guān)檢驗(yàn)。

(1)因素分析

因素分析是一種統(tǒng)計(jì)技術(shù)，目前在語(yǔ)言測(cè)試的效度檢驗(yàn)中應(yīng)用十分廣泛。因素是從為數(shù)眾多的變量(例如每個(gè)題目、每個(gè)題型或每個(gè)分測(cè)驗(yàn))中概括出來(lái)的。例如對(duì)漢語(yǔ)的理解能力和使用漢語(yǔ)表達(dá)的能力，都可以看作是一種因素。通過(guò)因素分析可以找出較多變量之間的同一特性，進(jìn)而分析變量與因素相關(guān)的程度，了解測(cè)試各部分的測(cè)試目標(biāo)的集中程度、測(cè)試結(jié)果與測(cè)試目標(biāo)的一致程度。

例如，朱宏一、王小玲(2008)對(duì)2007年10月的HSK(高等)某試卷進(jìn)行的因素分析。把客觀卷三個(gè)分測(cè)驗(yàn)中的八個(gè)題型的2108名考生成績(jī)和主觀卷兩個(gè)分測(cè)驗(yàn)中的三個(gè)題型考生成績(jī)分別作為11個(gè)變量，并對(duì)它們進(jìn)行因素分析。第一次因素分析后從11個(gè)變量中抽取出了一個(gè)因素——一般的漢語(yǔ)能力。第二次因素分析發(fā)現(xiàn)，可以從這些變量中抽取出兩個(gè)因素，即從客觀卷的八個(gè)題型的成績(jī)中抽取出來(lái)一個(gè)因素——對(duì)漢語(yǔ)的理解能力，從主觀卷的三個(gè)題型的成績(jī)中抽取出另一個(gè)因素——使用漢語(yǔ)表達(dá)的能力。這兩次因素分析的結(jié)果從統(tǒng)計(jì)意義上證明：HSK(高等)某試卷各部分的測(cè)試目標(biāo)比較集中，并且實(shí)際測(cè)試出的能力與測(cè)試者設(shè)定的測(cè)試目標(biāo)是基本一致的，從而為該測(cè)試的良好效度提供了支持的證據(jù)。

(2)分測(cè)驗(yàn)之間、題型之間相關(guān)的檢驗(yàn)

語(yǔ)言能力應(yīng)該是既可以分解又相互有關(guān)的，比如考生的閱讀能力和寫作能力，既可分解又必須相關(guān)。因此如果各分測(cè)驗(yàn)和各題型既服務(wù)于這個(gè)測(cè)試整體的測(cè)試目標(biāo)又各有分工，這個(gè)測(cè)試的試卷結(jié)構(gòu)就能夠比較合理地體現(xiàn)測(cè)試目標(biāo)。相反，如果同一測(cè)試的各分測(cè)驗(yàn)和各題型的測(cè)試目標(biāo)都完全相同，那么某些題型或分測(cè)驗(yàn)就沒(méi)有存在的必要了。如果各分測(cè)驗(yàn)和各題型的測(cè)試目標(biāo)完全不同，則很難說(shuō)它們測(cè)的是同一種語(yǔ)言能力。所以，通過(guò)分測(cè)驗(yàn)之間、題型之間相關(guān)的分析，可以了解試卷的結(jié)構(gòu)是否合理，每個(gè)部分的測(cè)試目標(biāo)與整個(gè)測(cè)試的測(cè)驗(yàn)?zāi)繕?biāo)的一致程度，從而為測(cè)試的效度提供證據(jù)。

檢驗(yàn)?zāi)骋粶y(cè)試的試卷結(jié)構(gòu)是否合理，通常用皮爾森積差相關(guān)或者斯皮爾曼等級(jí)相關(guān)(參見(jiàn)張厚粲、張建平，2004TM)來(lái)統(tǒng)計(jì)分析考生分測(cè)驗(yàn)成績(jī)之間和考生題型成績(jī)之間的相關(guān)系數(shù)(取值范圍介于-1和+1之間)，如果相關(guān)程度適中(相關(guān)系數(shù)大概在0.3到0.7之間)，既不過(guò)低也不過(guò)高，就說(shuō)明測(cè)試試卷的結(jié)構(gòu)比較合理。

比如朱宏一、王小玲(2008)對(duì)HSK(高等)某試卷的2108名考生分測(cè)驗(yàn)成績(jī)的相關(guān)統(tǒng)計(jì)表明，HSK(高等)考生分測(cè)驗(yàn)成績(jī)之間的相關(guān)都在0.411(作文與聽(tīng)力理解)和0.669(閱讀理解與綜合表達(dá))之間，這樣的相關(guān)是合適的。再進(jìn)行考生題型成績(jī)之間的相關(guān)統(tǒng)計(jì)分析后，得到的相關(guān)系數(shù)都在0.318和0.585之間，也是合適的。題型成績(jī)之間的相關(guān)、分測(cè)驗(yàn)成績(jī)之間的相關(guān)都合適，表明該試卷結(jié)構(gòu)合理，從而為其效度提供了支持的證據(jù)。

(3)題目與分測(cè)驗(yàn)的相關(guān)的檢驗(yàn)

題目與分測(cè)驗(yàn)的相關(guān)的檢驗(yàn)是基于這樣一個(gè)假設(shè)：一個(gè)題目與所屬分測(cè)驗(yàn)的相關(guān)應(yīng)該高于它與其他分測(cè)驗(yàn)的相關(guān)，否則就偏離了所屬分測(cè)驗(yàn)的測(cè)試目標(biāo)，就不合格。

所以，通過(guò)題目與所屬分測(cè)驗(yàn)之間的相關(guān)分析(一般使用“點(diǎn)二列相關(guān)”分析，具體請(qǐng)參見(jiàn)張厚粲、張建平，2004TM)，可以了解有多少題目與所屬分測(cè)驗(yàn)測(cè)驗(yàn)?zāi)繕?biāo)一致：可以計(jì)算合格題目所占的比例，來(lái)觀測(cè)整個(gè)分測(cè)驗(yàn)效度。如果與所屬分測(cè)驗(yàn)相關(guān)高的題目比例較大，就能為整個(gè)測(cè)驗(yàn)效度高提供有力的證據(jù)。當(dāng)然，這個(gè)檢驗(yàn)要建立在試卷結(jié)構(gòu)合理的基礎(chǔ)上，如果分測(cè)驗(yàn)的測(cè)試目標(biāo)不明確，檢驗(yàn)的結(jié)果也就失去了題目有效性的參考價(jià)值。

3與效標(biāo)相關(guān)的檢驗(yàn)

要充分證明測(cè)試的有效性，還需要一些有力的外部證據(jù)。這個(gè)外部證據(jù)就是效度標(biāo)準(zhǔn)，簡(jiǎn)稱“效標(biāo)”，它可以是同類的語(yǔ)言測(cè)試也可以是考生實(shí)際表現(xiàn)出的水平。如果效標(biāo)是有效的、可靠的，一個(gè)新的測(cè)試跟這個(gè)效標(biāo)之間的相關(guān)程度很高，那么這個(gè)新測(cè)試也是有效的。簡(jiǎn)單地說(shuō)，如果參加作為效標(biāo)的測(cè)試不久的同一批考生，再參加同類的新測(cè)試，如果他們?cè)谶@兩個(gè)測(cè)試中所得的成績(jī)相關(guān)很高，那么這個(gè)同類的新測(cè)試也是有效的。

進(jìn)行效標(biāo)關(guān)聯(lián)效度檢驗(yàn)最重要的是要選擇一個(gè)可靠的效標(biāo)。HSK研制20多年以來(lái)，截至2006年底，已經(jīng)累計(jì)近70萬(wàn)人次參加了考試，得到了大多數(shù)留學(xué)生教學(xué)單位、用人單位的認(rèn)可，是社會(huì)公認(rèn)的衡量漢語(yǔ)能力的標(biāo)準(zhǔn)。HSK試卷里的所有題目都經(jīng)過(guò)預(yù)測(cè)和專家評(píng)審，題目質(zhì)量把關(guān)嚴(yán)格，測(cè)試分?jǐn)?shù)的穩(wěn)定性一直很好。HSK有基礎(chǔ)、初中等、高等三種試卷，經(jīng)多次多角度的檢驗(yàn)表明效度較高，并且試卷的題型豐富。所以，HSK可以作為有關(guān)漢語(yǔ)能力的測(cè)試的可靠的效標(biāo)。

統(tǒng)計(jì)分析測(cè)試與效標(biāo)的相關(guān)，一般也采用皮爾森積差相關(guān)或者斯皮爾曼等級(jí)相關(guān)來(lái)計(jì)算。要注意的是，作為效標(biāo)的測(cè)試和同類測(cè)試相隔的時(shí)間不宜太長(zhǎng)，否則考生通過(guò)一段時(shí)間的學(xué)習(xí)，水平發(fā)生了很大的變化，計(jì)算出來(lái)的相關(guān)系數(shù)不能有效說(shuō)明想要檢驗(yàn)的效度。

4組間比較分析檢驗(yàn)

根據(jù)學(xué)習(xí)時(shí)間的長(zhǎng)短或所來(lái)自地區(qū)、學(xué)校的不同，考生可劃分為不同的群體。不同群體的考生的漢語(yǔ)能力往往是有差異的。比如學(xué)習(xí)時(shí)間長(zhǎng)的考生群體總體上比學(xué)習(xí)時(shí)間短的考生群體的漢語(yǔ)水平要高，來(lái)自亞洲的考生群體往往比歐美考生群體的漢語(yǔ)讀寫能力要強(qiáng)一些。

不同群體的考生參加同一個(gè)測(cè)試，其成績(jī)的差異性也能為測(cè)試的有效性提供證據(jù)。也就是說(shuō)，本來(lái)漢語(yǔ)能力并不相同的考生參加同一個(gè)測(cè)試，如果所考成績(jī)能夠反映考生之間的能力差異，則說(shuō)明該測(cè)試效度較高；相反，則說(shuō)明該測(cè)試區(qū)分度差。效度不高。

檢驗(yàn)辦法是：分別從漢語(yǔ)能力不同的考生群體中隨機(jī)抽取出相同數(shù)量的樣本作為各自的組，參加同一測(cè)試，再計(jì)算和分析各組的總分和平均分。王芳(1995)把北京語(yǔ)言大學(xué)參加HSK(高等)某試卷測(cè)試的三年級(jí)留學(xué)生和四年級(jí)留學(xué)生的成績(jī)作了比較，結(jié)果表明三、四年級(jí)學(xué)生在聽(tīng)力、閱讀、綜合表達(dá)、口試上均有顯著差異，而且四年級(jí)學(xué)生的成績(jī)明顯高于三年級(jí)學(xué)生的成績(jī)。這為該測(cè)試能有效地區(qū)分具有不同漢語(yǔ)能力的考生提供了證據(jù)。

5問(wèn)卷調(diào)查檢驗(yàn)

除了借助專家審查和使用統(tǒng)計(jì)分析方法之外，還可以以問(wèn)卷調(diào)查的方式來(lái)為測(cè)試的有效性提供證據(jù)。調(diào)查對(duì)象可以是用人單位、一線對(duì)外漢語(yǔ)教師，也可以是考生本人。這些人對(duì)測(cè)試的評(píng)價(jià)可以為測(cè)試的有效性提供一些證據(jù)。

北京語(yǔ)言大學(xué)漢考中心曾在2006年進(jìn)行了有關(guān)HSK(初、中等)難度與效度及當(dāng)前質(zhì)量的考生評(píng)價(jià)的問(wèn)卷調(diào)查。問(wèn)卷資料的統(tǒng)計(jì)分析及其與試卷題目分析報(bào)告的比較表明，考生對(duì)HSK效度、作用、公平性的評(píng)價(jià)普遍都比較積極。

以上我們論述了檢驗(yàn)漢語(yǔ)測(cè)試效度的五種角度和方法。其中測(cè)試內(nèi)容的檢驗(yàn)、試卷內(nèi)部結(jié)構(gòu)的檢驗(yàn)是對(duì)測(cè)試試卷本身的檢驗(yàn)，旨在尋找測(cè)試效度的內(nèi)部證據(jù)：而與效標(biāo)相關(guān)的檢驗(yàn)、組間比較分析檢驗(yàn)、問(wèn)卷調(diào)查檢驗(yàn)則是旨在尋找測(cè)試效度的外部證據(jù)。

通過(guò)以上幾個(gè)角度和方法的檢驗(yàn)，測(cè)試組織者能夠較為全面深入地了解到：這種漢語(yǔ)測(cè)試到底測(cè)試了哪方面的漢語(yǔ)能力，在多大程度上實(shí)現(xiàn)了測(cè)試目標(biāo)，有哪方面的不足，哪方面需要改進(jìn)和提高。

二、提高漢語(yǔ)測(cè)試效度的主要途徑

影響效度的因素有很多，像試卷質(zhì)量、閱卷評(píng)分質(zhì)量、考生情緒、測(cè)試方式等都會(huì)對(duì)測(cè)試的效度產(chǎn)生不同程度的影響。提高測(cè)試的效度有以下主要途徑：

1提高試卷的質(zhì)量

試卷的質(zhì)量是影響測(cè)試效度的最重要的因素。提高試卷質(zhì)量要從合理安排試卷結(jié)構(gòu)、選擇同類題型中效度最高的題型、提高命題員的命題技術(shù)等方面多管齊下。

(1)合理安排試卷結(jié)構(gòu)

試卷結(jié)構(gòu)包括分測(cè)驗(yàn)的設(shè)置、每個(gè)分測(cè)驗(yàn)有幾個(gè)題型，每個(gè)題型有多少題目。試卷的各個(gè)部分配比合理，有助于體現(xiàn)測(cè)試的目標(biāo)，有利于效度的提高。

設(shè)計(jì)試卷結(jié)構(gòu)首先要明確測(cè)試目標(biāo)。有的測(cè)試要測(cè)試的是某一特定職業(yè)環(huán)境下的漢語(yǔ)能力，比如測(cè)試從事醫(yī)學(xué)工作的考生的漢語(yǔ)能力，那么有關(guān)醫(yī)學(xué)術(shù)語(yǔ)的詞匯量的測(cè)驗(yàn)肯定要占較大的比重，寫作能力可能不一定是必須考查的。而有的測(cè)試要測(cè)試的是一般社會(huì)生活和工作環(huán)境下的考生的漢語(yǔ)交際能力，則不必專門設(shè)計(jì)一個(gè)測(cè)試詞匯量的測(cè)試，而是選擇能夠直接考查考生聽(tīng)、讀、說(shuō)、寫能力的分測(cè)驗(yàn)和題型。

(2)選擇效率高、效度高的題型

題型具體體現(xiàn)了測(cè)試目標(biāo)，直接影響測(cè)試的效度，因此題型選擇很重要。

題型的選擇首先要考慮是否適合考試的等級(jí)。比如同樣是排序題，以詞組句用于初等水平的試卷比較合適，效度更高：而排列句子的順序用于高等試卷更合適，效度更高。

其次要考慮的是在同一測(cè)試目標(biāo)的不同題型中選擇效度較高的題型。比如測(cè)試目標(biāo)是考生書面表達(dá)能力，那么讓考生做一大堆選擇題就不如讓考生直接寫一篇文章效度高(參見(jiàn)張陽(yáng)(2006))；而要測(cè)試考生的口語(yǔ)能力。讓考生先朗讀文章再回答問(wèn)題就不如直接回答問(wèn)題效率高(參見(jiàn)趙琪風(fēng)(2006))。

(3)提高命題技術(shù)，建立相對(duì)穩(wěn)定的命題員隊(duì)伍

題目的測(cè)試目標(biāo)不明確，難度把握不好，設(shè)問(wèn)方式不佳，長(zhǎng)度不合適都會(huì)影響它的效度，影響題目的質(zhì)量，而題目的質(zhì)量是和命題員的技術(shù)和經(jīng)驗(yàn)息息相關(guān)的。因此提高試卷的題目質(zhì)量應(yīng)該加強(qiáng)命題技術(shù)培訓(xùn)，提高命題員命題技術(shù)，建立相對(duì)穩(wěn)定的命題員隊(duì)伍。HSK的各個(gè)等級(jí)的試卷既有穩(wěn)定的命題員也有兼職的命題員，這些命題員每年至少接受兩次命題培訓(xùn)，這就為HSK試卷題目的高信度和高效度提供了重要保障。

2提高閱卷評(píng)分的質(zhì)量

主觀性測(cè)試的評(píng)分必須有一個(gè)科學(xué)的評(píng)分標(biāo)準(zhǔn)，一支受過(guò)良好培訓(xùn)的評(píng)分員隊(duì)伍和一個(gè)優(yōu)質(zhì)高效的評(píng)分質(zhì)量監(jiān)控系統(tǒng)。否則，如果主觀性測(cè)試的評(píng)分不準(zhǔn)確，也必然會(huì)影響效度。所以，要提高閱卷評(píng)分的質(zhì)量，要做到以下幾個(gè)方面：

(1)制訂科學(xué)的評(píng)分標(biāo)準(zhǔn)

提高閱卷評(píng)分的質(zhì)量首先要制訂科學(xué)的可操作性強(qiáng)的評(píng)分標(biāo)準(zhǔn)?？茖W(xué)的評(píng)分標(biāo)準(zhǔn)設(shè)定的等級(jí)要能準(zhǔn)確地反映考生的實(shí)際水平，符合第二語(yǔ)言習(xí)得的規(guī)律。評(píng)分等級(jí)的描述應(yīng)盡量準(zhǔn)確。既有質(zhì)的標(biāo)準(zhǔn)又有量的標(biāo)準(zhǔn)，具有較強(qiáng)的可操作性，以利評(píng)分員容易把握。比如HSK(高等)的口試評(píng)分標(biāo)準(zhǔn)，共有5個(gè)等級(jí)，12個(gè)小級(jí)。小級(jí)的設(shè)立不僅利于準(zhǔn)確地區(qū)分不同水平的考生，同時(shí)也有利于對(duì)評(píng)分員之間的評(píng)分差距進(jìn)行修正。實(shí)踐證明，這是一套比較科學(xué)的評(píng)分標(biāo)準(zhǔn)。

(2)加強(qiáng)評(píng)分員的培訓(xùn)

為使主觀測(cè)試的評(píng)分盡量客觀，一般同一份試卷應(yīng)