李金波 朱玉玲

1 前言

目前，我國高考還只是報(bào)告一個(gè)分?jǐn)?shù)（或等級(jí)）來籠統(tǒng)地反映考生的知識(shí)（能力）水平。至于考生究竟掌握了哪些知識(shí)（能力），未掌握哪些知識(shí)（能力），還無法做出進(jìn)一步的分析與解釋。對(duì)具有相同得分考生之間的知識(shí)（能力）差異更是無從得知。隨著我國新一輪課程改革尤其是課程評(píng)價(jià)改革的推進(jìn)，改變傳統(tǒng)的高考評(píng)價(jià)模式，探索有效的知識(shí)（能力）考查和知識(shí)（能力）考查程度評(píng)估的方法，已為當(dāng)前之急需。

近年來，心理與教育測(cè)量理論逐漸與認(rèn)知心理學(xué)結(jié)合，形成了以認(rèn)知診斷為核心的新一代測(cè)評(píng)理論。認(rèn)知診斷理論使學(xué)生的知識(shí)（能力）診斷成為可能，國內(nèi)外學(xué)者也進(jìn)行了不少的研究。例如，Tatsuoka（1983）最早提出的規(guī)則空間模型就是基于對(duì)中小學(xué)數(shù)學(xué)加減法的分析；通過對(duì)172個(gè)被試在40道帶正負(fù)號(hào)的加減法題目上的作答反應(yīng)的分析，發(fā)現(xiàn)了30種錯(cuò)誤規(guī)則。Dogan，Tatsuoka（2008）運(yùn)用規(guī)則空間模型分析土耳其學(xué)生在TIMSS-R數(shù)學(xué)測(cè)試中的成績，并將結(jié)果與美國同類學(xué)生比較，發(fā)現(xiàn)土耳其學(xué)生在代數(shù)和概率統(tǒng)計(jì)學(xué)、代數(shù)中的規(guī)則運(yùn)用、解答開放性問題等方面比美國學(xué)生弱。Lee，Sawaki（2009）運(yùn)用一般診斷模型、融合模型和潛在分類模型三種認(rèn)知診斷模型對(duì)英語作為第二語言的學(xué)生聽力和閱讀理解能力進(jìn)行評(píng)估診斷研究。Chen（2011）對(duì)臺(tái)灣城鄉(xiāng)學(xué)生間數(shù)學(xué)成績進(jìn)行認(rèn)知診斷，發(fā)現(xiàn)城市學(xué)校的學(xué)生對(duì)高層次的數(shù)學(xué)內(nèi)容（幾何和代數(shù)）和抽象思維能力的表現(xiàn)優(yōu)于農(nóng)村學(xué)校的學(xué)生。而且城市學(xué)生大多被歸類為掌握較多知識(shí)屬性的模式，農(nóng)村學(xué)生大多被歸入掌握較少屬性的知識(shí)狀態(tài)。在大陸，余嘉元（1995）運(yùn)用規(guī)則空間模型對(duì)初中二年級(jí)學(xué)生在解不等式中存在的認(rèn)知錯(cuò)誤進(jìn)行識(shí)別，確定了學(xué)生解不等式18種典型錯(cuò)誤反應(yīng)模式，并把86%的被試歸入這18種典型認(rèn)知錯(cuò)誤反應(yīng)模式。戴海崎和張青華（2004）應(yīng)用認(rèn)知診斷中的規(guī)則空間模型對(duì)299名被試進(jìn)行診斷，判斷他們?cè)诮y(tǒng)計(jì)學(xué)習(xí)中的屬性掌握模式。劉啟亮（2008）運(yùn)用規(guī)則空間模型對(duì)初三學(xué)生化學(xué)化合物有關(guān)知識(shí)掌握情況進(jìn)行了診斷，將91.46%被試的實(shí)際作答模式判歸為21種理想屬性反應(yīng)模式，從而實(shí)現(xiàn)了對(duì)被試的屬性掌握情況的診斷，并根據(jù)診斷的結(jié)果就如何補(bǔ)救進(jìn)行了探討，從班級(jí)和個(gè)體兩個(gè)層面在理論上提出了一些補(bǔ)救設(shè)計(jì)方案。劉芳（2011）運(yùn)用規(guī)則空間模型通過對(duì)3～4年級(jí)漢語閱讀障礙兒童之快速命名及工作記憶缺陷的認(rèn)知診斷性測(cè)驗(yàn)研究，成功地將95%的被試歸類到典型掌握模式中，探討其結(jié)構(gòu)內(nèi)容和屬性掌握模型，為其診斷提供理論和實(shí)踐依據(jù)。

綜合來看，認(rèn)知診斷理論在知識(shí)技能診斷中已經(jīng)得到了一些成功的運(yùn)用，但這些應(yīng)用研究大都是基于某一具體的學(xué)科知識(shí)（能力），集中在屬性層級(jí)簡單的小規(guī)模的研究與應(yīng)用領(lǐng)域，在更具價(jià)值和影響力的大規(guī)模測(cè)驗(yàn)（如高考）中至今還未見令人興奮的實(shí)際應(yīng)用。基于此，本研究以高考為研究對(duì)象，開展高考考生能力掌握模式的認(rèn)知診斷研究，嘗試認(rèn)知診斷技術(shù)在大規(guī)?？荚囍械耐茝V應(yīng)用。

2 研究方法

2.1 被試

從參加某省2011年高考理科數(shù)學(xué)考試的全體考生中隨機(jī)抽取10 000名考生作為考生整體能力掌握模式診斷樣本。另外，從全體考生中隨機(jī)抽取男生和女生各5 000名作為男女生差異研究樣本，城市和農(nóng)村（按戶口所在地劃分）考生各5 000名作為城鄉(xiāng)考生差異研究樣本。

2.2 測(cè)驗(yàn)工具

以該省2011年高考理科數(shù)學(xué)試卷作為測(cè)驗(yàn)工具，測(cè)驗(yàn)共22個(gè)項(xiàng)目（試題）。

2.3 研究程序

運(yùn)用規(guī)則空間模型對(duì)考生在測(cè)驗(yàn)所考查的能力屬性上的掌握模式進(jìn)行診斷。

第一步，確定能力屬性及能力層級(jí)關(guān)系。根據(jù)高考考試大綱（說明）要求以及已有的研究，確定高考理科數(shù)學(xué)所考查的學(xué)科能力包括運(yùn)算求解能力（B1）、數(shù)據(jù)處理能力（B2）、空間想象能力（B3）、推理論證能力（B4）、抽象概括能力（B5）、應(yīng)用意識(shí)（B6）和創(chuàng)新意識(shí)（B7）共7種。組織學(xué)科專家組對(duì)能力之間的層級(jí)關(guān)系進(jìn)行集中分析和討論，最終確定它們之間的層級(jí)關(guān)系見圖1。

第二步，由學(xué)科專家組對(duì)項(xiàng)目所考查的學(xué)科能力進(jìn)行集中討論，確定每個(gè)項(xiàng)目所考查的主要能力結(jié)構(gòu)（見表1）。

圖1 能力屬性的層級(jí)關(guān)系

表1 項(xiàng)目能力屬性表

第三步，確定鄰接矩陣、可達(dá)矩陣、事件矩陣、縮減事件矩陣和典型屬性矩陣。根據(jù)表1和圖1標(biāo)定的7個(gè)屬性之間的層級(jí)關(guān)系，可以得到各能力屬性的鄰接矩陣和可達(dá)矩陣。根據(jù)所考查的能力屬性數(shù)量和排列組合原理，可得知考查7種能力屬性的所有可能的項(xiàng)目類型（事件矩陣Q）有27-1=127種。考慮7種屬性之間存在的層級(jí)關(guān)系，可以得到7×70的縮減事件矩陣。對(duì)縮減事件矩陣進(jìn)行轉(zhuǎn)置，得到典型能力屬性矩陣（見表2，1表示考生掌握了該能力屬性，0表示考生沒有掌握該能力屬性；加上考生屬性掌握全為0的情形，共有71種典型的考生能力掌握模式）。

表2 考生典型能力屬性矩陣

第四步，確定理想項(xiàng)目反應(yīng)模式。測(cè)驗(yàn)包括客觀題（共17題）和主觀題（共5題）兩部分，可以分別確定其理想項(xiàng)目反應(yīng)模式?？陀^題部分，根據(jù)考生所有可能的典型屬性掌握模式和項(xiàng)目屬性可得到與其相對(duì)應(yīng)的在沒有失誤情況下的71種理想項(xiàng)目反應(yīng)模式。主觀題部分為多級(jí)評(píng)分。根據(jù)羅歡,丁樹良（2009）關(guān)于屬性不等權(quán)重時(shí)的屬性分?jǐn)?shù)權(quán)重的計(jì)算方法，同樣可以確定多級(jí)評(píng)分的期望項(xiàng)目反應(yīng)模式。將兩部分理想反應(yīng)模式進(jìn)行合并，最后可得測(cè)驗(yàn)完整的理想項(xiàng)目反應(yīng)模式矩陣（見表3，第1～17列為客觀題反應(yīng)模式，第18～22列為主觀題反應(yīng)模式）。

表3 理想項(xiàng)目反應(yīng)模式

第五步，規(guī)則空間構(gòu)建和模式識(shí)別。關(guān)于認(rèn)知診斷的模式識(shí)別方法，傳統(tǒng)多通過計(jì)算馬氏距離，根據(jù)馬氏距離的大小將考生的掌握模式進(jìn)行歸類。近年來國內(nèi)外在此基礎(chǔ)上也開發(fā)了其他一些分類方法。例如，Gierl和Cui等人（2007）應(yīng)用多層感知器神經(jīng)網(wǎng)絡(luò)進(jìn)行認(rèn)知診斷分類，即將期望項(xiàng)目反應(yīng)模式和對(duì)應(yīng)的典型屬性掌握模式分別作為輸入項(xiàng)和輸出項(xiàng)，建立神經(jīng)網(wǎng)絡(luò)模型，再利用模型對(duì)實(shí)際反應(yīng)模式進(jìn)行分類識(shí)別。在國內(nèi)，曹慧媛，丁樹良（2009）則使用其他人工神經(jīng)網(wǎng)絡(luò)（BP網(wǎng)絡(luò)、Hamming網(wǎng)絡(luò)以及PNN網(wǎng)絡(luò)）進(jìn)行認(rèn)知診斷分類，通過對(duì)0-1評(píng)分的AHM模式分類仿真實(shí)驗(yàn)表明，與AHM中以往的模式分類方法相比，人工神經(jīng)網(wǎng)絡(luò)方法不僅具有較高的歸準(zhǔn)率而且更具有自適應(yīng)性和魯棒性?；诖?，本研究運(yùn)用MATLAB軟件自編程序，建立BP神經(jīng)網(wǎng)絡(luò)模型，對(duì)高考考生的能力掌握模式進(jìn)行識(shí)別。

首先，輸入/輸出項(xiàng)設(shè)計(jì)。由于共考查7種能力，因而輸出項(xiàng)神經(jīng)元個(gè)數(shù)設(shè)置為7個(gè)。輸入項(xiàng)為理想項(xiàng)目反應(yīng)模式，包括22個(gè)反應(yīng)項(xiàng)目，因而輸入項(xiàng)神經(jīng)元個(gè)數(shù)設(shè)定為22個(gè)。

其次，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)。網(wǎng)絡(luò)采用單隱含層結(jié)構(gòu)。根據(jù)實(shí)際訓(xùn)練結(jié)果確定隱含層神經(jīng)元個(gè)數(shù)為47個(gè)。隱含層的傳遞函數(shù)采用S型的正切函數(shù)（tansig）；輸出層傳遞函數(shù)采用S型的對(duì)數(shù)函數(shù)（logsig）；學(xué)習(xí)函數(shù)為Learngdm；學(xué)習(xí)速率為0.1；期望收斂精度選擇1×10-8；訓(xùn)練函數(shù)選擇trainlm算法。

第三，網(wǎng)絡(luò)訓(xùn)練與仿真。本研究共獲得有效測(cè)試樣本為71個(gè)，將其作為訓(xùn)練樣本。設(shè)計(jì)的網(wǎng)絡(luò)經(jīng)過34次訓(xùn)練后，其性能就達(dá)到了要求。

基于訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，就可以對(duì)考生的能力屬性掌握模式進(jìn)行識(shí)別。

3 研究結(jié)果

3.1 考生整體的能力掌握模式診斷

基于已訓(xùn)練的BP神經(jīng)網(wǎng)絡(luò)模型對(duì)樣本考生的典型能力屬性掌握模式進(jìn)行識(shí)別，結(jié)果見表4（只取考生比例較大的部分典型能力掌握模式）。

表4 高考考生的能力屬性掌握模式

表4顯示，在所有的10 000個(gè)考生樣本中，成功將考生進(jìn)行能力屬性歸類的有9 651個(gè)，比率為96.51%。這個(gè)比例大于一般認(rèn)為的90%成功分類比例的標(biāo)準(zhǔn)，意味著神經(jīng)網(wǎng)絡(luò)技術(shù)在能力模式識(shí)別得到了成功的運(yùn)用。

從表4可以看出，考生的能力屬性模式比例較高的有第11、33、51、56、66種等屬性模式。這幾種模式對(duì)應(yīng)的屬性模式分別為（1101000）、（1101001）、（1111001）、（1101101）、（1111101）。也就是說，屬于第11種典型能力模式的考生掌握了運(yùn)算求解能力、數(shù)據(jù)處理能力和推理論證能力，但抽象概括能力、應(yīng)用意識(shí)和創(chuàng)新意識(shí)掌握欠缺。其他模式可以依此類推。

如果按考生在各項(xiàng)能力屬性的掌握情況進(jìn)行統(tǒng)計(jì)，可以得出如表5所示的各個(gè)屬性的平均掌握情況。

表5顯示，考生在7項(xiàng)能力屬性上的掌握比例從96.58%到30.77%不等。

3.2 不同考生群體的能力掌握模式比較

3.2.1 城鄉(xiāng)考生能力掌握模式的差異

對(duì)城市和農(nóng)村考生樣本分別進(jìn)行能力掌握模式診斷，結(jié)果見表6。

表6顯示，城市、農(nóng)村考生成功歸類的比例比較接近，分別為97.32%和96.72%，均達(dá)到較高的水平。再對(duì)比各種典型能力屬性的考生數(shù)和比例，無論是城市考生還是農(nóng)村考生，考生的能力屬性模式比例較高的均為第11、33、51、56、66、71種等屬性模式。但城市考生與農(nóng)村考生在具體能力屬性上的人數(shù)和比例還是存在一定的差異。

分別對(duì)城鄉(xiāng)考生在各項(xiàng)能力屬性上的平均掌握情況進(jìn)行統(tǒng)計(jì)，結(jié)果見表7。

表7顯示，無論是城鎮(zhèn)考生還是農(nóng)村考生，掌握比例較高的有運(yùn)算求解能力、數(shù)據(jù)處理能力和推理論證能力，但應(yīng)用意識(shí)的掌握比例最低。在7種能力中，城市考生在所有能力上的掌握比例均高于農(nóng)村考生。

表5 考生在各項(xiàng)能力屬性的平均掌握情況

表6 城鄉(xiāng)考生的能力掌握模式比較

3.2.2 男女考生能力掌握模式的差異

對(duì)男女生樣本分別進(jìn)行能力掌握模式診斷，結(jié)果見表8。

表8顯示，男女考生成功歸類的比例比較接近，分別為96.64%和96.24%，均達(dá)到較高的水平。再對(duì)比各種典型能力屬性的考生數(shù)和比例，無論是男生還是女生，考生的能力掌握屬性模式比例較高的也均為第11、33、51、56、66種等屬性模式。但男生與女生在具體能力屬性模式上還是存在一定的差異。

分別對(duì)男女考生在各項(xiàng)能力屬性上的平均掌握情況進(jìn)行統(tǒng)計(jì)，結(jié)果見表9。

表9顯示，無論是男生還是女生，掌握比例較高的還是運(yùn)算求解能力、數(shù)據(jù)處理能力和推理論證能力，但應(yīng)用意識(shí)的掌握比例最低。在7種能力中，男生在所有能力上的掌握比例均高于女生。

表7 城鄉(xiāng)考生在各項(xiàng)能力屬性上的平均掌握情況

表8 男女考生的能力掌握模式比較

表9 男女考生在各項(xiàng)能力屬性上的平均掌握情況

4 分析與討論

綜合上述分析結(jié)果，可以發(fā)現(xiàn)以下一些特征：

首先，考生對(duì)各項(xiàng)能力屬性的掌握程度差異明顯。考生的典型能力掌握模式共有71種，96%以上的考生可以歸屬于相應(yīng)的典型能力掌握模式，并且不同典型能力掌握模式的人數(shù)比例從0到9.8%不等（見表4）。其中，比例最高的是第33種典型能力掌握模式，達(dá)到9.81%。該部分考生對(duì)運(yùn)算求解能力、數(shù)據(jù)處理能力和推理論證能力掌握比較好，也具有較好的創(chuàng)新意識(shí)，但在空間想象能力、抽象概括能力和應(yīng)用意識(shí)方面比較弱。第71種典型能力掌握模式的考生比例為6.37%，即全面掌握各項(xiàng)能力的考生人數(shù)占6%以上。從整體來看，考生掌握程度較高的有運(yùn)算求解能力、數(shù)據(jù)處理能力和推理論證能力（均在90%以上），掌握程度較低的有應(yīng)用意識(shí)、空間想象能力和抽象概括能力，尤其是應(yīng)用意識(shí)的掌握比例最低（不到31%）。

其次，不同考生群體的能力掌握模式存在不同程度的差異。選取城鄉(xiāng)和男女兩個(gè)不同考生群體進(jìn)行能力掌握模式差異的分析。發(fā)現(xiàn)城鄉(xiāng)考生在不同典型能力掌握模式上的考生數(shù)和比例存在差異?？傮w而言，在低端能力掌握模式上農(nóng)村考生的比例要高于城市考生，而在高端能力掌握模式上則相反。在第71種典型模式上，城市考生的比例要高于農(nóng)村考生，即全面掌握各項(xiàng)能力的考生人數(shù)城市多于農(nóng)村。在各項(xiàng)能力的平均掌握比例上也是城市考生高于農(nóng)村考生。

男生與女生在具體能力掌握模式上也存在一定的差異。例如，在全面掌握各項(xiàng)能力（第71種典型模式）的比例上，男生要高于女生（分別為7.28%和4.90%）。從各項(xiàng)能力的平均掌握比例來看，也是男生均要高于女生。其中，差異尤為明顯的有空間想象能力和抽象概括能力。

5 結(jié)論

（1）基于神經(jīng)網(wǎng)絡(luò)建模技術(shù)可以對(duì)高考考生的能力掌握模式進(jìn)行有效的識(shí)別，可以進(jìn)行推廣應(yīng)用。

（2）根據(jù)2011年某省高考測(cè)試卷對(duì)考生能力掌握模式進(jìn)行分析，顯示考生之間的能力掌握模式不同，不同的典型能力掌握模式的考生比例也不同。考生對(duì)運(yùn)算求解能力、數(shù)據(jù)處理能力和推理論證能力的掌握程度較高，對(duì)應(yīng)用意識(shí)、空間想象能力和抽象概括能力的掌握程度較低，尤其以應(yīng)用意識(shí)的掌握程度最低。

（3）不同考生群體的能力掌握模式存在明顯差異。城市考生在各項(xiàng)具體能力上的平均掌握率高于農(nóng)村考生；在高端能力掌握模式上的比例高于農(nóng)村考生，在低端能力掌握模式則相反。男考生對(duì)各項(xiàng)能力的平均掌握率要高于女考生，差異較為明顯的有空間想象能力和抽象概括能力。

（4）研究結(jié)果將考生的能力掌握模式劃歸到71種典型的能力掌握模式中，考生可以根據(jù)自己的能力掌握模式了解自己能力的具體掌握情況，教師可以根據(jù)能力掌握情況進(jìn)行有針對(duì)性的補(bǔ)救教學(xué)，從而提高教學(xué)以及學(xué)習(xí)效率。

[1] 曹慧媛，丁樹良.人工神經(jīng)網(wǎng)絡(luò)在認(rèn)知診斷中的應(yīng)用研究[D].南昌：江西師范大學(xué)，2009.

[2] 戴海崎,張青華.規(guī)則空間模型在描述統(tǒng)計(jì)學(xué)習(xí)模式識(shí)別中的應(yīng)用研究[J].心理科學(xué),2004(04):949-951.

[3] 劉芳.3～4年級(jí)漢語閱讀障礙認(rèn)知診斷測(cè)驗(yàn)初編:基于RSM的兒童快速命名和工作記憶缺陷的診斷研究[D].長沙：湖南師范大學(xué),2011.

[4] 羅歡,丁樹良.認(rèn)知診斷中屬性權(quán)重的研究——以多級(jí)評(píng)分AHM為例[D].南昌：江西師范大學(xué)，2009.

[5] 劉啟亮.規(guī)則空間模型在初中生化學(xué)知識(shí)學(xué)習(xí)診斷與補(bǔ)救中的應(yīng)用研究[D].南昌：江西師范大學(xué)，2008.

[6] 余嘉元.運(yùn)用規(guī)則空間模型識(shí)別解題中的認(rèn)知錯(cuò)誤[J].心理學(xué)報(bào)，1995（2）：196-204.

[7] Chen,Y.H.Cognitive Diagnosis of Mathematics Performance between Rural and Urban Students in Taiwan[J].Assessment in Education:Principles,Policy&Practice,2011(10):1-17.

[8] Dogan,E.,&Tatsuoka,K.K..An International Comparison Using a Diagnostic Testing Model:Turkish Students’Profile of Mathematical Skills on TIMSS-R[J].Educational Studies in Mathematics,2008(3):263-272.

[9] Gierl,M.J.,Cui,Y.,&Hunka,S.Using Connectionist Models to Evaluate Examinees’Response Pattern on Test:An Application of the Attribute Hierarchy Method to Assessment Engineering[C].Paper Presented at the Annual Meeting of the National Council On Measurement in Education.Chicago,USA,2007.

[10] Lee,Y.W.,&Sawaki,Y.Application of Three Cognitive Diagnosis Models to ESL Reading and Listening Assessments[J].Language Assessment Quarterly,2009(6):239-263.

[11] Tatsuoka,K.K.Rule space:an approach for dealing with misconceptions based on item response theory[J].Journal of Education Measurement,1983(4):345-354.