盛艷燕，喻秋山

（1.長江大學 管理學院，湖北 荊州 434023；2.長江大學 物理科學與光電學院，湖北 荊州 434023）

專家評教：一分之差的涵義分析

盛艷燕1，喻秋山2

（1.長江大學 管理學院，湖北 荊州 434023；2.長江大學 物理科學與光電學院，湖北 荊州 434023）

評教專家對不同教師給出的分數(shù)通常只有一分之差，甚至更少，卻包含了能力評價和情緒表達兩種涵義。多面Rasch模型分析發(fā)現(xiàn)：一分之差代表了不同的能力差距，在高分段，一分之差代表了更大的能力差距。訪談和編碼分析后發(fā)現(xiàn)，教師的能力水平、評委情緒和情緒表達規(guī)則是這種現(xiàn)象產(chǎn)生的原因。因此，教學能力評價應采用能力估計值劃分等級的方法、中等能力水平分數(shù)應再次劃分等級、建立評教專家的選拔、培訓制度。

專家評教；一分之差；多面Rasch模型

專家評教是目前大學教師課堂教學能力評價的重要組織形式。在大學教師課堂教學能力評價中，一種普遍的現(xiàn)象是，評教專家很少給出很低的分數(shù)，也很少給出很高的分數(shù)，大多數(shù)分數(shù)集中在一個特定的分數(shù)段，專家對不同教師給出的分數(shù)差距往往只有一分，甚至更少。這是否說明大學教師課堂教學能力得分差距為一分的教師，其能力差距是相同的呢？專家給出的一分之差究竟意味著什么？對于這些問題的回答，能夠幫助我們認識評教專家履行職責的特殊方式，揭示分數(shù)背后的心理屬性[1]，提高評價結果的應用價值。

有關大學教師教學能力評價的研究主要集中在評價指標的內(nèi)容和權重[2-3]、評價主體的選擇、評價結果反饋和評價數(shù)據(jù)的處理[4-5]，少數(shù)研究者利用多面Rasch模型研究評教主體的評分行為差異[6]，認為評分差異產(chǎn)生的原因來自評教主體、量表和外界因素的相互作用[7]，提出了矯正評教主體影響評分結果的方法[8]，但沒有從評分差異角度探討評教主體的心理行為，因而沒有揭示分數(shù)所包含的心理屬性，由此不能回答“一分之差究竟意味著什么？”

借鑒已有的研究成果，本文利用多面Rasch模型將評教分數(shù)差距轉(zhuǎn)化為能力差距，用來分析評教分數(shù)差距所代表的能力差距，并結合訪談法分析評教專家的心理行為，從而揭示分數(shù)包含的能力屬性和情緒屬性，說明專家用一種特殊的方式履行評教職責，一分之差其實包含了能力評價和情緒表達兩種涵義。

1 理論基礎與研究假設

測量理論認為個人能力是一種潛在特質(zhì)，正確做答的概率是個人潛在特質(zhì)水平的函數(shù)[9]，也會受到評委和測量題目因素的影響。[10]多面Rasch模型是目前發(fā)展最為成熟的潛在特質(zhì)理論模型，它用線性方程將做答概率、評委、考生能力和題目難度在同一尺度上，從而更加準確地測量個人的潛在特質(zhì)，也為評委評分差異分析提供了思路和方法。多面Rasch模型的表達式為：

Log(Pni,jk/Pni,j(k-1))=Bn-Di-Cj-Fk。其中，Pni,jk是考生n在項目i上被評委j評定為k等級的概率；Pni,j(k-1)是考生n在項目i上被評委j評定為k-1等級的概率；Bn是考生n的能力參數(shù)(n=1, 2……N)；Di是任務i的難度參數(shù)(i=1,2……)；Cj是評委j的寬嚴程度(j=1, 2……)；Fk是被試得分從等級k-1到k的等級難度?，F(xiàn)行的大學教師課堂教學能力評價往往采用評委獨立評分的方式，但評委評分的寬嚴程度存在顯著差異[6]，對評分標準的理解和使用往往不一致。[7]如果要準確評價大學教師的課堂教學能力，分離出評委因素對評價結果的影響是有必要的。所以，我們假設多面Rasch模型適用于評教專家的評分行為差異分析。

心理學認為情緒影響人的行為，情緒評估理論將其過程表示為“感知—評價（歸因）—產(chǎn)生情緒—情緒表達—行為”。[11]特定情景事件可以誘發(fā)多種情緒[12]，個體遵從社會或他人所接受、認可的標準來調(diào)節(jié)和控制自己的情緒，并用符合社會規(guī)則的方式來表達情緒，產(chǎn)生與社會規(guī)則相符的行為。[13]在大學教師課堂教學能力評價中，評委將教師的課堂表現(xiàn)收集、分析、解釋和歸納到相應的評分標準中，教師的課堂表現(xiàn)誘發(fā)評教專家產(chǎn)生一系列認知評價，形成情緒。但是，評教專家并沒有直接將情緒表達出來，而是對不同的對象使用了不同的情緒表達規(guī)則。[14]對于不同教學能力的教師，評教專家在內(nèi)心給定某個教師一個課堂教學能力評價分數(shù)之后，再遵從一定的情緒表達規(guī)則對分數(shù)進行調(diào)整，直到給出最終分數(shù)。因此，教師課堂教學能力、評教專家的情緒及其表達規(guī)則影響教師課堂教學能力分數(shù)，我們假設分數(shù)具有能力屬性和情緒屬性。

2 分數(shù)—能力差距的多面Rasch分析

2.1 樣本與數(shù)據(jù)來源

本次研究從某高校的一個學院收集了2014年11月至12月的107份課堂教學評價表。評委共有6位，被評價的教師共有23位。根據(jù)多面Rasch模型的要求，我們剔除了部分評分表：2位評委分別只對兩位不同的教師進行了評分，這2位評委填寫的評分表被剔除；一位教師只被一位評委評價一次，該教師的評分表也被剔除。

按照教師編號對數(shù)據(jù)分類整理。評委的編號為A、B、C、D，教師的編號為S1、S2、S3…S22。18位教師分別被4位相同的評委評分，其他4位教師被若干不同的評委評分，每個教師的最后得分用評委評分的均值表示。例如，評委A對S1教師評價兩次，評委A給S1教師的分數(shù)按照兩次評價的均值計算，評委B對S1教師評分一次，S1教師的最后得分按照評委A和評委B評分的均值計算。經(jīng)過分類整理，本次研究的樣本由 4位評委、22位教師的評分數(shù)據(jù)共77個構成。

2.2 分數(shù)—能力差距的關系分析

測量學原理認為，分數(shù)代表能力，分數(shù)越高代表能力越強，相同的分數(shù)差距代表相同的能力差距。Facets軟件將原始分數(shù)分解為能力估計值、題目難度和等級難度，用以檢驗能力是否隨分數(shù)增加而提高，并用等級間距表示能力差距，因而原始分數(shù)和能力估計值可以反映分數(shù)差距和能力差距之間的關系。

原始分數(shù)的多面Rasch分析結果見表1。先計算每個教師的能力估計值，再按能力估計值從低到高排序，再用相臨兩個能力估計值的較大數(shù)減去較小數(shù)，得到每個教師能力估計值差距，最后計算相臨兩個教師的原始分數(shù)之差得到原始分數(shù)差距。從原始分數(shù)差距來看，例如，教師S9的能力估計值為-0.51Logits、原始分數(shù)為83.36，教師S12的能力估計值-0.34 Logits、原始分數(shù)為84.36，說明增加原始分數(shù)增加1分，能力估計值增加0.17 Logits。教師S3和S15的原始分數(shù)相差為1分，而能力估計值相差為0.08 Logits，但是教師S2和S7、教師S14和S11的原始分數(shù)相差均為0.12，而能力估計值相差分別為0.03 Logits和0 Logits。教師S10和S2、教師S4和S15的原始分數(shù)相差均為0.64，而能力估計值相差分別為0.13 Logits和0.21 Logits。從能力估計值差距來看，教師S2和S7、教師S17和S16的能力估計值相差均為0.03 Logits，而原始分數(shù)相差分別為0.12分和-0.12分。教師S6和S13、教師S1和S4、教師S16和S1的能力估計值相差均為0.06 Logits，而原始分數(shù)相差分別為0.36分、0.24分和0.48分。因此，原始分數(shù)差距相同，但教師的能力差距不同，而能力估計值差距相同，原始分數(shù)差距卻不同，所以一分之差代表了不同的能力差距。

為了考察分數(shù)—能力差距的變化，本文按照表1的順序?qū)⑺薪處煹脑挤謹?shù)和能力估計值分為高、中、低3組，每組6人，結果見表2。先檢驗分組的統(tǒng)計適合程度，利用SPSS20.0軟件的方差分析得到Levene=1.074（P=0.366），說明每個組別的方差是齊性的，滿足方差分析的條件，F(xiàn)=35.055（P=0.00），說明組間差異顯著，本文的分組結果符合統(tǒng)計要求。為了原始分數(shù)差距能夠相互比較，我們分別從高分組、中等組和低分組中等距取整數(shù)，86分對應的能力估計值為-0.16 Logits至-0.03 Logits之間，88分對應的能力估計值為0.24 Logits，90分對應的能力估計值為0.74 Logits。那么，每組之間的原始分數(shù)差距都為2。分數(shù)從低分組增加到中等組，能力需要增加0.27 Logits到0.4 Logits之間，而從中等組增加到高分組，能力需要增加0.5 Logits。因此，在不同的分數(shù)段，一分之差代表了不同的能力差距，而在高分段，一分之差代表了更大的能力差距。

表1 原始分數(shù)的多面Rasch分析結果

表2 分組取值分析結果

3 情緒影響分數(shù)—能力差距的實證分析

多面Rasch模型能分析分數(shù)—能力差距的關系，但不能分析這種關系產(chǎn)生的原因，本文采用訪談編碼的方法分析其原因。

3.1 訪談設計

訪談設計的依據(jù)是情緒影響決策的文獻。檢索文獻后發(fā)現(xiàn)，教學能力評價中暫未有人研究評委情緒影響評教結果的發(fā)生機制，所以本文將文獻范圍擴展到面試評分研究。Baron將評委情緒分為正面情緒和負面情緒[15]，方差分析后發(fā)現(xiàn)被評價者的資格調(diào)節(jié)情緒和評委決策之間的關系。[16]結合情緒誘發(fā)理論和教師的情緒表達規(guī)則，我們分析教師教學能力對情緒的影響、情緒表達規(guī)則對情緒和評分的調(diào)節(jié)作用。

訪談的對象是6位多次擔任教師教學能力評價的高級職稱教師，包括本次4位評教專家中的2位。由于條件限制，本文采用多位專家進行類比的方法。如果能對4位評教專家進行訪談，分析結果更為可靠。

訪談提綱由開放式問題組成。主要包括：請您講講您打分最高的教師，您給了多少分？聽了他的課，你有何感想？您還會少給分或多給分嗎？請您講講您打分最低的教師，您給了多少分？聽了他的課，您有何感想？您還會少給分或多給分嗎？您對講課一般的老師課堂細節(jié)有印象嗎，這些老師帶給您的課堂感受是什么，您給他們評分的時候有什么想法呢？

3.2 訪談內(nèi)容整理與編碼匯總

為了方便區(qū)分正面情緒和負面情緒，我們采用了邱林修訂后的中文版PANAS。[17-18]該量表被證明適用于中國人群的情緒測量[19]，我們按照該量表的9個積極情感和9個消極情感體驗描述詞將評委的情緒按性質(zhì)歸類。

訪談結束后，我們按照扎根編碼的分析方法將訪談內(nèi)容進行編碼和匯總。部分訪談內(nèi)容和編碼摘錄如下：我給過的最高分是95分，我覺得這個老師的教學能力水平非常高，準備充分，是下了工夫的（a14）。他的課讓我也受到了鼓勵（a11），我覺得他是值得尊敬和贊賞的（a12、a13）。其實還可以多給幾分，但別的人可能不會給太高，所以95分也差不多了（c1），只要能將他和別人區(qū)別開來就行（b1）。 我給的最低分是80分，其實我覺得還應該低很多（c3），但我覺得太低了可能打擊一個人的自信心（a33），畢竟上好課不容易（a32），課程難度也有影響（a34），如果認真準備，可能也不會太差，當然也有人是沒有責任心的（a31）。但分數(shù)不會太低（c3），也是給點提示（b3）。大多數(shù)老師的能力屬于中等水平，整體上非常不錯（a21），都是認真負責的，可惜沒有特色（a22），產(chǎn)生這種現(xiàn)象的原因是多方面的（a14，a34）。他們之間的能力水平很難區(qū)分，外界影響比較大（b2），分數(shù)不確定性比較大（c2）。

將所有的編碼匯總，結果見表3。

表3 編碼匯總結果

3.3 情緒影響分數(shù)—能力差距的編碼分析

3.1 不同能力水平引發(fā)評委的不同情緒

特定情緒由多種情緒評估認知構成，不同特征的個體引發(fā)不同情緒。編碼匯總后發(fā)現(xiàn)，高能力水平的教師引發(fā)評委多種正面的、積極的情緒，例如備受鼓勵（a11）、尊敬（a12）、贊賞（a13）和內(nèi)部歸因（a14），我們將這些情緒命名為“欽佩”。[20]低能力水平的教師引發(fā)了評委多種負面情緒，但情緒效價不夠明顯，主要表現(xiàn)為批評（a31）、同情（a32）、目標導向與接納（a33）和外部歸因（a34），我們將這些情緒命名為“平靜”。中等水平的教師引發(fā)評委正面的、積極的情緒傾向，包括贊賞（a13）和肯定（a21），并同時采用了內(nèi)部歸因（a14）和外部歸因（a34），但存在輕微的負面情緒，例如遺憾（a22），我們將這些情緒命名為“認可”。[21]

3.2 情緒表達規(guī)則調(diào)節(jié)情緒與分數(shù)的關系

評委對不同對象采用了不同的情緒表達規(guī)則。對于“欽佩”情緒，評委采用了“抑制正面情緒”（b1）的情緒表達方式，在實際能力評價的基礎上設置了“評分上限”，分數(shù)可能低于實際能力（c1）。對于“平靜”情緒，評委采用了“抑制負面情緒”的情緒表達方式（b3），在實際能力評價的基礎上設置了“評分下線”，分數(shù)可能高于實際能力（c3）。對于“認可情緒”，評委采用了“不確定”（b2）的情緒表達方式，分數(shù)能否體現(xiàn)實際能力具有不確定性（c2）。

3.3 教師能力差距、評委情緒以及情緒表達規(guī)則影響分數(shù)差距

不同能力水平的教師引發(fā)評委的不同情緒，情緒表達規(guī)則調(diào)節(jié)情緒和分數(shù)之間的關系，我們將其歸納為“能力差距—情緒—情緒表達規(guī)則—分數(shù)差距”。在原始分數(shù)的高分段，由于“抑制正面情緒”（b1）的情緒表達方式，提高分數(shù)難度更大，該分數(shù)段的一分之差包含更大的實際能力差距。在原始分數(shù)的低分段，由于“抑制負面情緒”的情緒表達方式（b3），提高分數(shù)比較容易，該分數(shù)段的一分之差包含更小的實際能力差距。而在中等分數(shù)段，由于“不確定”（b2）的情緒表達方式，該分數(shù)的一分之差具有更大的能力不確定性。因此，原始分數(shù)的高、中、低三個等級體現(xiàn)了個體之間的實際能力差距，但個人具體的分數(shù)受到情緒和情緒表達規(guī)則的影響。

4 研究結論與管理建議

利用2014年11月至12月的評教分數(shù)進行多面Rasch分析分數(shù)—能力差距的關系，在利用訪談資料編碼分析情緒對分數(shù)—能力差距的影響，得到如下結論。

4.1 研究結論

1）在不同分數(shù)段，一分之差意味著不同的能力差距。原始分數(shù)與能力估計值的關系表明，一分之差代表的能力差距并不相等。在原始分數(shù)的高分段，相比低分段，一分之差代表了更大實際能力差距。這就表明低分段增長一分，個人所需實際能力比較低，而在高分段增加一分，個人所需實際能力比較高。同時，個人從低分組跨越到中等組比較容易，而要從中等組跨越到高分組是比較困難的。因此，一分之差意味著不同的能力差距，專家以一分之差來委婉表達對個體能力水平的評價。

2）分數(shù)具有能力評價和情緒表達兩種涵義。本文的研究表明，原始分數(shù)越高，整體上能力估計值越大。分組后的方差分析顯示，高、中、低三組的原始分數(shù)和能力估計值有顯著差異，說明原始分數(shù)等級越高、實際能力越強，分數(shù)能夠體現(xiàn)實際能力差異。同時，評委在評分過程中產(chǎn)生對不同能力等級的教師產(chǎn)生了“欽佩”“認可”和“平靜”三種不同的情緒，每種情緒包括4種情緒評估認知。評委的情緒基本上是正面的，正面和負面的情緒強度都有所抑制，表現(xiàn)為評委在內(nèi)心設置了評分的上限和下限，所以高分和低分比較少，大多數(shù)分數(shù)都集中在特定的分數(shù)段，分數(shù)差距非常小。因此，原始分數(shù)具有能力屬性和情緒屬性，是評委對教師能力的評價和個人情緒的表達。

3）教師實際能力、評委情緒是“分數(shù)—能力差距不相等”產(chǎn)生的原因。已有研究表明，分數(shù)是被評價者能力和評委特點的函數(shù)[10]，情緒是影響評委評分的重要因素。本文的研究表明，不同能力水平引發(fā)評委的不同情緒，情緒表達規(guī)則調(diào)節(jié)情緒與分數(shù)的關系，所以情緒發(fā)生作用的機制為“能力差距—情緒—情緒表達規(guī)則—分數(shù)差距”，原始分數(shù)不僅僅是被評價者能力的體現(xiàn)，還包含了評委的情緒和情緒表達規(guī)則，評委對不同能力水平的教師使用了不同的情緒表達規(guī)則，使不同分數(shù)等級內(nèi)相同的分數(shù)差距代表了不同的能力差距。

4.2 管理建議

1）教學能力評價應采用能力估計值劃分等級的方法。本文采用的能力估計值劃分等級的方法能夠區(qū)別個體的不同能力等級，不同等級之間具有統(tǒng)計上的顯著差異。目前，能力等級劃分方法都是依據(jù)原始分數(shù)劃分為的“優(yōu)”“良”“中”和“差”，而原始分數(shù)沒有剔除評委對分數(shù)的影響，也不能體現(xiàn)能力的相對強弱。本文的研究表明，評委情緒對評分是有影響的，而能力估計值能剔除評委情緒的影響，結合排序法或其他分組方法就能實現(xiàn)能力等級劃分。

2）中等能力水平分數(shù)應再次劃分等級。本文的研究表明，評委對中等能力組的評價具有不確定性，這可能來源于被評價個體差異小或評委對評分標準的理解和把握程度。[22]在評價過程中，評委往往能比較準確地區(qū)分高能力組和低能力組，而中等能力組的評價不確定性比較大。當處于中等組的人數(shù)比較多時，中等組的能力差距大于低分組，分組能將中等組的個體能力差異區(qū)別開來。高分組和低分組可以考慮分別使用一個等級，而中等組則可以考慮多分幾個等級。

3）建立評教專家的選拔、培訓制度。評教專家是評教活動開展的重要主體。情緒產(chǎn)生于認知，其情緒和情緒表達規(guī)則影響評教分數(shù)。因此，建立評價專家的選拔和培訓制度是有必要的，主要措施有：對現(xiàn)有的評教專家進行評分技能培訓，幫助他們克服情緒表達規(guī)則中的不確定性因素干擾；選拔認知能力強的評價專家，建立可視化的模擬培訓庫，加強對專家的培訓和反饋。[22]

[1]王文中.Rasch測量理論與其在教育和心理之應用[J].教育與心理研究，2004（4）：637-694.

[2]李長青.構建平衡計分卡理論的高校教學質(zhì)量評價指標體系[J].高教探索，2014（6）：137-141.

[3]丁家玲，葉金華.層次分析法和模糊綜合評判在教師課堂教學質(zhì)量評價中的應用[J].武漢大學學報（社會科學版），2003（3）：241-245.

[4]紀紅.課堂教學質(zhì)量評價的誤區(qū)與對策[J].中州大學學報，2004（7）：87-89.

[5]張克非.課堂教學質(zhì)量評價數(shù)據(jù)客觀性處理及反饋機制探究[J].教學與管理，2014（3）：44-47.

[6]Wang WC, Cheng Y Y. Measurement issues in screening outstanding teachers [J]. Journal of Applied Measurement, 2001（2）: 171-186.

[7]盛艷燕，喻秋山.基于多面Rasch模型的大學教師課堂教學能力評價量表優(yōu)化研究[J].高教探索，2015（9）：83-89.

[8]盛艷燕，趙映川.基于多面Rasch模型的大學教師課堂教學能力評價方法研究[J]. 高教探索，2015（2）：70-74.

[9]L·赫林，F(xiàn)·德雷斯哥，K·帕森斯著.東北師范大學教育咨詢中心譯.項目反應理論在心理測量中的應用[M].武漢：湖北教育出版社，1990：15.

[10]Cason G J, Cason C L. A deterministic theory of clinical performance rating[J]. Evaluation and the Health Professions, 1984（7）: 221-247.

[11]丁如一，周暉，林瑪.感激情緒的認知評估體系[J].心理學報，2014（10）：1463-1475.

[12]鄭璞，劉聰慧，俞國良.情緒誘發(fā)方法述評[J].心理科學進展，2012（1）：45-55.

[13]Ekman P, Friesen W V. The Repertoire of Nonverbal Behavior: Categories, Origins, Usage, and Coding [J]. Semiotica, 1969（1）: 49-98.

[14]徐長江，費純，丁聰聰，劉迎春.教師情緒表達規(guī)則的質(zhì)性研究[J].教師教育研究，2013（7）：68-73.

[15]Baron Robert A. Interviewers’ Moods and Evaluations of Job Applicants: The Role of Applicant Qualifications [J]. Journal of Applied Social Psychology, 1993（4）: 253-271.

[16]Chen Chien-Cheng, Chen Hsien-Wen, Lin Ying-Yin. The Boundaries of Effects on the Relationship between Interviewer Moods and Hiring Recommendation [J]. Applied Psychology, 2013（4）： 678-700.

[17]邱林，鄭雪，王雁飛.積極情感消極情感量表（PANAS）的修訂[J].應用心理學，2008（3）：249-254. [18]Watson D C, LA T A. Development and validation of brief measures of positive and negative affect: The PANAS scales [J]. Journal of Personality and Social Psychology, 1988（6）: 1063-1070.

[19]黃麗，楊廷忠，季忠民.正性負性情緒量表的中國人群適用性研究[J].中國心理衛(wèi)生雜志，2003（1）：54-56.

[20]陳世民.欽佩感：一種見賢思齊的積極情緒[J].心理科學進展，2011（11）：1667-1674.

[21]左衍濤，王登峰.漢語情緒詞自評維度[J].心理學動態(tài)，1996（5）：55-59.

[22]Posthuma R A, Morgeson F P，Campion Michael A. Beyond employment interview validity: A comprehensive narrative review of recent research and trends over time [J]. Personnel Psychology, 2002（1）：1-82.

（責任編輯 查明華）

An Analysis on the Meaning of One Piont Gap Given by Evaluation Experts

SHENG Yanyan1; YU Qiushan2
(1. Management School, Yangtze University, Jingzhou Hubei 434023, China; 2. School of Physics and Photo Electricity, Yangtze University, Jingzhou Hubei 434023, China )

Evaluation experts often give different teachers only one point gap, but it means capacity evaluation and emotional expression. By many-facets Rasch model analysis, we f i nd that a different point represents different capacity gaps and in the higher segment, one point gap represents a greater capacity gaps. Interview and coding analysis f i nd that the ability of teachers, judgers’ mood and emotion display rules are the cause of this phenomenon. Therefore, the ability estimation numbers should be ranked to identify teachers’ capacity grades, score in medium levels should be rated more grades, experts system of selection and training should be established.

experts′evaluation on teaching; one point gap; many-facets Rasch model

G526.3

A

1674 - 9200（2017）03 - 0090 - 6

2016 - 11 - 22

長江大學教學研究項目“過程導向的大學生創(chuàng)新創(chuàng)業(yè)訓練計劃評價體系研究”（JY2014026）的階段成果。

盛艷燕，女，湖北潛江人，長江大學管理學院講師，博士，主要從事人力資源管理研究；喻秋山，男，湖南寧鄉(xiāng)人，長江大學物理科學與光電學院講師，博士生，主要從事數(shù)據(jù)模擬與計算研究。