張路遙

(無錫職業(yè)技術(shù)學(xué)院 質(zhì)量監(jiān)督與控制部, 江蘇 無錫 214121)

黨的二十大報告指出辦好人民滿意的教育要深化教育領(lǐng)域綜合改革,完善學(xué)校管理和教育評價體系?？茖W(xué)有效的教學(xué)質(zhì)量評價是促進高職教學(xué)改革,提高高職教學(xué)質(zhì)量和水平的重要手段。多元教學(xué)質(zhì)量評價能發(fā)揮各個評價主體的優(yōu)勢,取長補短,保證評價更真實、科學(xué),同行作為教學(xué)質(zhì)量評價的一種重要方式,為分析評價教師教學(xué)水平提供了依據(jù)。其中,公平有效的同行評價可以促進教師的職業(yè)發(fā)展,便于教學(xué)質(zhì)量診斷改進,有助于提高教師教學(xué)質(zhì)量,提升學(xué)生獲得感。

教師考核破“五唯”的新政策環(huán)境,對高職教師考核評價要求“體現(xiàn)技能水平和專業(yè)教學(xué)能力的‘雙師’素質(zhì)”,使教學(xué)質(zhì)量考核的地位重新凸顯,高職教師也更加重視同行評價指標體系的合理性、科學(xué)性與公平性。有些教師擔(dān)心同行評議的結(jié)果可能會對自己的職業(yè)發(fā)展產(chǎn)生負面影響,如影響晉升和升職等;有些教師可能認為評估標準過于死板,評估方法不夠全面。因此,在教師和管理者之間進行充分的溝通和協(xié)商確保同行評議的公正性和有效性,適時構(gòu)建更符合當(dāng)下考核政策、教學(xué)方法的同行評價指標體系是保證同行評教工作順利開展的前提,具有一定的理論和實踐意義。

一、評價指標體系的初步建立

高校教學(xué)同行評議是最有資格評價教師教學(xué)質(zhì)量的方式之一,其核心理念主要包括基于數(shù)據(jù)和證據(jù)、著重教學(xué)質(zhì)量和效果、促進教師專業(yè)發(fā)展、以學(xué)生為中心。同行評教是一種量化的對教師的教學(xué)質(zhì)量和效果進行評價的同行評議方法,用于評估教師的教學(xué)表現(xiàn)。在實施同行評教時,一方面應(yīng)注重教學(xué)質(zhì)量和效果,即是否能夠達到預(yù)期的教學(xué)目標和學(xué)生學(xué)習(xí)的需要;另一方面還要關(guān)注教師專業(yè)發(fā)展,即通過評估教師的教學(xué)表現(xiàn)給予反饋和建議,幫助教師改進教學(xué)技能和知識水平。除了以教師為中心評估教師的素質(zhì)、能力、行為,同行評價還應(yīng)該要以教學(xué)為中心評估教學(xué)內(nèi)容、方法和過程。同時,以學(xué)生為中心評估學(xué)生的學(xué)習(xí)成果,這是因為高校教師教學(xué)的最終目標是促進學(xué)生的學(xué)習(xí)和發(fā)展。

本研究借鑒國外大學(xué)同行評議[1]的評價內(nèi)容和指標體系,綜合國內(nèi)大學(xué)理論類、實踐類、體育類、在線類同行評價指標,通過文本分析形成指標體系草案,經(jīng)過小組成員討論修訂后形成初步的指標體系,主要包括五個方面。一是教學(xué)素養(yǎng),包含為人師表、寓教于學(xué)、學(xué)術(shù)支持和教研反思4個二級指標。其中,“為人師表”評價教師基本素質(zhì),“寓教于學(xué)”評估教師教學(xué)育人理念,“學(xué)術(shù)支持”和“教研反思”通過教師學(xué)術(shù)素養(yǎng)成果及其對教學(xué)的反思和改進情況來評估教師能否通過學(xué)術(shù)研究不斷提高教學(xué)水平。二是教學(xué)態(tài)度,主要包括教師對待課堂、學(xué)生和教學(xué)三個方面可感知的態(tài)度。對待課堂的態(tài)度評價教師對待課堂是否能夠嚴格遵守教學(xué)計劃,認真?zhèn)湔n,組織好課堂秩序;對待學(xué)生的態(tài)度考查教師是否尊重學(xué)生、關(guān)愛學(xué)生,認真傾聽學(xué)生的問題和建議,并及時解決學(xué)生在學(xué)習(xí)中遇到的問題,關(guān)注學(xué)生的個性差異和成長需求,幫助學(xué)生實現(xiàn)自我提升和全面發(fā)展;教師對待教學(xué)的態(tài)度主要考查教師是否具有敬業(yè)精神,是否對教學(xué)工作充滿熱情和責(zé)任心。三是教學(xué)內(nèi)容,主要有教學(xué)目標、基本內(nèi)容、前沿轉(zhuǎn)化等方面。其評估教師的教學(xué)目標、內(nèi)容組織是否能夠滿足學(xué)生的學(xué)習(xí)需要并緊跟前沿。四是教學(xué)方法,主要包括方法設(shè)計、課堂表達、示范操作、技術(shù)應(yīng)用、教學(xué)引導(dǎo)、指導(dǎo)反饋、進度節(jié)奏和時間把握等方面。其評估教師是否能夠靈活運用教學(xué)方法和技巧,是否能夠有效地促進學(xué)生的學(xué)習(xí)。五是教學(xué)效果,包括教師的講授效果、課堂上的學(xué)生響應(yīng)和課堂效果、學(xué)生的學(xué)習(xí)收獲。通過學(xué)生參與度和課堂效果評估教師是否能夠鼓勵學(xué)生積極參與教學(xué)活動;通過教師反饋情況評估其是否能夠及時聽取和回應(yīng)學(xué)生的意見;通過學(xué)生學(xué)習(xí)收獲情況評估教師是否能夠有效地促進學(xué)生的學(xué)習(xí),是否能夠幫助學(xué)生提高學(xué)習(xí)能力和學(xué)習(xí)水平。

二、研究設(shè)計

(一)研究方法

本研究基于同行評教理念,通過文本分析構(gòu)建初步的同行評教指標,運用德爾菲法進行專家意見征詢達成共識來構(gòu)建科學(xué)的同行評教指標體系。德爾菲法通過多次匿名反饋,充分發(fā)揮了專家組成員的獨立主觀判斷能力和專業(yè)知識經(jīng)驗,特別適合受多種因素影響的信息分析、評價評估[2],可以將分散的意見協(xié)調(diào)一致,其結(jié)果具有統(tǒng)計學(xué)意義,因此,適用于科學(xué)化、民主化地構(gòu)建同行評價指標體系。

(二)專家選擇

在專家選擇上,德爾菲法要求專家對咨詢的問題有相關(guān)的研究或者工作背景,權(quán)威程度高,有獨到的見解、豐富的經(jīng)驗和較高的理論水平,從而提供正確的意見和有價值的判斷。專家數(shù)量一般依據(jù)研究具體的課題性質(zhì)和問題設(shè)定規(guī)模來確定,通常研究文獻中專家人數(shù)大多為8～20人[3]。本研究從高職院校邀請了13位教師作為咨詢專家,他們擔(dān)任教學(xué)院長或教學(xué)督導(dǎo),同時具有教學(xué)和管理經(jīng)驗,對本研究話題有深入了解和相關(guān)工作經(jīng)驗,在教師素養(yǎng)、教學(xué)能力、教學(xué)質(zhì)量方面具有豐富的專業(yè)知識和經(jīng)驗感知,比較有權(quán)威性。

(三)研究步驟

本研究以國內(nèi)同行評價現(xiàn)有指標體系為基礎(chǔ),借鑒國外大學(xué)同行評議理念和指標體系,通過文本分析法歸納形成初始指標體系,經(jīng)過研究小組討論和修改后進行第一輪德爾菲法調(diào)研。通過電子郵件的方式將函詢問卷一對一發(fā)送給專家,廣泛征集專家的意見和建議,對指標重要度、專家意見協(xié)調(diào)程度進行統(tǒng)計,剔除低重要度指標。根據(jù)專家建議對指標進行修改、合并后再次將征詢問卷發(fā)送給指定專家,獲得專家一致同意后調(diào)查結(jié)束。

三、評價指標體系的構(gòu)建

(一)第一輪函詢

第一輪函詢發(fā)放的問卷分為三部分。一是個人基本信息(教齡、職稱、角色等)。二是基于本研究的初始問卷要求專家按照李克特5點計分法進行認同打分并給出修改意見。本研究通過文獻研究、文本分析形成的初始指標體系,包含一級指標5項,2級指標22項,具體評價描述若干。三是專家權(quán)威程度自評。問卷反饋后匯總計算評價指標的相關(guān)統(tǒng)計量,依據(jù)統(tǒng)計結(jié)果和專家反饋意見修訂指標體系。

本研究第1輪專家函詢發(fā)放問卷17份,回收有效問卷13份,有效回收率76.5%,其中8位專家提出了共30條建議和意見,專家基本情況詳見表1。專家權(quán)威系數(shù)表示研究結(jié)果的可靠程度,是專家熟悉程度、判斷依據(jù)系數(shù)和學(xué)術(shù)水平的算術(shù)平均值,一般認為專家權(quán)威系數(shù)≥0.7即研究可靠。本次函詢專家熟悉程度均值0.908,專家判斷依據(jù)系數(shù)均值0.958,由職稱換算的學(xué)術(shù)水平均值0.915,綜合計算專家權(quán)威系數(shù)0.927,本次專家函詢可靠。

表1 專家樣本基本情況 人

以往的德爾菲研究中主要由描述性統(tǒng)計、主觀分析、推斷性統(tǒng)計這三類方法來定義專家達成一致[4]。主觀分析法,一方面規(guī)定反饋輪數(shù)(研究表明,三次迭代通常足以達成一致),另外一方面確認專家反饋的意見是否明顯減少且無強烈異議。在使用五級李克特量表重要度的德爾菲法研究中常用均值、變異系數(shù)、共識度,即重要或非常重要等描述性指標作為檢驗一致性的標準。一般認為無明顯反對意見時均值大于4較為理想;變異系數(shù)比標準差更有說服力,通常認為變異系數(shù)小于0.25是一個較好的指標;共識度的評判標準尚沒有統(tǒng)一意見,有的研究者建議共識度大于51%即可,也有建議60%、70%甚至80%的,標準越嚴格,專家組就越難達成共識,因此,本研究選取70% 作為共識度標準,即如果 70% 以上的受訪專家對該指標評分為 4(重要)或 5(非常重要),那么指標保留,否則考慮修改或刪除。推斷性統(tǒng)計主要通過肯德爾和諧系數(shù)衡量,它是計算多個等級變量相關(guān)程度的一種相關(guān)量,其數(shù)值為0～1,系數(shù)越大專家協(xié)調(diào)程度越高。一般認為肯德爾協(xié)調(diào)系數(shù)≥0.2且顯著性檢驗p<0.05意味著參與的專家在判斷問題的重要性時使用了本質(zhì)上相同的標準,結(jié)果可取,反之則表示結(jié)果不可取。

本研究利用 SPSS 軟件進行數(shù)據(jù)分析,綜合考查均值、變異系數(shù)和共識度三項指標,對第一輪德爾菲專家意見反饋結(jié)果進行整理和分析。第一輪專家函詢結(jié)果見表2。

表2 第一輪專家函詢結(jié)果

按照篩選標準,對滿足重要度均值大于4、變異系數(shù)≤0.25且共識度大于70%的指標予以保留,并結(jié)合專家意見,對初始指標進行刪除、修改、合并及增加新指標。見表2,第1輪函詢一、二級指標重要度均值均高于4,變異系數(shù)均小于0.015,共識度均大于70%,不需要刪除指標,但專家對指標體系有較多修改意見,結(jié)合專家的質(zhì)性反饋意見對各級指標進行修改,具體操作如下。一級指標由5個簡化為4個,將教學(xué)素養(yǎng)和教學(xué)態(tài)度合并為素養(yǎng)態(tài)度。二級指標刪除學(xué)術(shù)支持、教研反思;將“寓教于學(xué)”并入“為人師表”的描述中;刪除二級指標“對待課堂”以及“對待教學(xué)”中課前準備部分,“對待教學(xué)”詳細描述中的“教學(xué)嚴謹、考評嚴格公正”并入二級指標“對待學(xué)生”;前沿轉(zhuǎn)化——“教學(xué)中能緊跟最新發(fā)展,吸收新成果,反映新信息,注意介紹學(xué)科發(fā)展前沿的新動向,理論聯(lián)系實際,不斷充實新的教學(xué)內(nèi)容”——簡化為“教學(xué)中能緊跟最新發(fā)展,吸收新成果,介紹學(xué)科發(fā)展前沿的新動向,理論聯(lián)系實際,充實教學(xué)內(nèi)容”,再將其與二級指標“基本內(nèi)容”合并為“內(nèi)容組織”;“技術(shù)應(yīng)用”納入“方法設(shè)計”;“課堂表達”“示范引導(dǎo)”合并為“講解示范”;“教學(xué)引導(dǎo)”和“指導(dǎo)反饋”合并為“教學(xué)指導(dǎo)”;“進度節(jié)奏”和“時間把握”是同類問題,合并為“節(jié)奏把握”。“學(xué)生響應(yīng)”和“講授效果”并入“課堂效果” ,“學(xué)生收獲”改為“學(xué)習(xí)效果”,從課堂和學(xué)生兩個角度反映教學(xué)效果。修改后的指標體系共4個一級指標,10個二級指標。

(二)第二輪函詢

將修訂后的問卷定向一對一發(fā)送給第一輪中有效反饋的專家,請他們再次對指標重要性進行打分,如果對修改后的指標有異議可以提出修改意見。第2輪專家函詢發(fā)放問卷13份,回收有效問卷12份,有效回收率92.3%,其中僅有2位專家給出共3條關(guān)于指標詳細描述的微調(diào)建議。從表3可以看出,第二輪咨詢中兩級指標的肯德爾系數(shù)均高于第一輪,說明按照第一輪專家函詢意見對指標進行簡化修改后,專家意見的協(xié)調(diào)程度提高,且有統(tǒng)計學(xué)意義(p<0.05)。同時,表4數(shù)據(jù)顯示全體專家在第二輪問卷中對4項一級指標、10項二級指標的一致性較高,形成共識。至此結(jié)束專家意見征詢,確定本研究最終指標體系。

表3 專家意見協(xié)調(diào)程度

表4 第二輪專家函詢結(jié)果

四、結(jié)論

本研究通過德爾菲法構(gòu)建了高職院校同行評教的指標體系,體系包含4個一級指標、10個二級指標以及對應(yīng)的二級指標內(nèi)涵描述。該指標體系從“素養(yǎng)態(tài)度”“教學(xué)內(nèi)容”“教學(xué)方法”“教學(xué)效果”四個維度進行同行評教,全面覆蓋了教師、教學(xué)、學(xué)生三個評價中心。該指標體系科學(xué)合理、專家共識度高,可作為評價高職院校教師教學(xué)水平的框架,并有助于推動教師進行同行評教,促進其教學(xué)水平的提高。德爾菲方法的使用也促進了教師同行評教向民主、公正、科學(xué)化轉(zhuǎn)變。

本研究發(fā)現(xiàn)專家對同行評教“教學(xué)內(nèi)容”“教學(xué)方法”“教學(xué)效果”的意見一致性較高,而對教師教學(xué)素養(yǎng)的初始意見不一致,分歧主要集中在是否應(yīng)該將教師的學(xué)術(shù)水平納入考核范圍。教師的教學(xué)素養(yǎng)既是教師教學(xué)的前提,包括為人師表、關(guān)心學(xué)生、寓教于學(xué)等指標點,又是評價教師以身作則、教學(xué)育人的出發(fā)點。職業(yè)素養(yǎng)高的教師可以讓學(xué)生更信賴甚至當(dāng)作榜樣,而職業(yè)素養(yǎng)低的教師會讓學(xué)生產(chǎn)生厭學(xué)心理。

在我國教師評價體系中,科研評價一直是評價的重點,占據(jù)非常大的比重,在有些高校的同行評價中,學(xué)術(shù)支持、教研反思等教師學(xué)術(shù)研究水平的相關(guān)維度也納入同行評教考核。本研究的初始指標體系也包括這兩個維度。然而,通過專家函詢反饋意見可知,部分教師反對在同行評教中評價學(xué)術(shù)水平。一方面,教師認為同行對教師學(xué)術(shù)水平的評價缺乏公正統(tǒng)一的標準,不具有權(quán)威性。另一方面,同行評教主要評價教學(xué)質(zhì)量,應(yīng)以教學(xué)為主,而教師分科研型和教學(xué)型,二者的學(xué)術(shù)基礎(chǔ)和學(xué)術(shù)投入不同,在教學(xué)評價中交叉考核學(xué)術(shù)維度,對教學(xué)型教師不公平,也容易誤導(dǎo)教師重科研、輕教學(xué)。當(dāng)下“破五唯”考核制度和注重教師分類發(fā)展的環(huán)境,本研究綜合考慮專家意見,最終在指標體系中刪除了關(guān)于學(xué)術(shù)水平的評價維度,這一修改在第二輪函詢中也得到專家的認可。

高校教師評價的核心難題是公平與公正。盡管本研究通過德爾菲法提高了評價指標的民主公平性,并盡力確保德爾菲法的合理性和科學(xué)性,但該方法仍然存在主觀性和不確定性。特別是在指標篩選和重要性評定的過程中,可能存在個人偏見和專家意見的不一致。由于時間和資源限制,本研究僅選擇了部分高職院校教師作為研究對象,因此所得結(jié)論可能不適用于所有高職院校。另外,本研究未考慮不同類型課程之間的差異。在信息技術(shù)的支持下,后續(xù)研究可以基于評價系統(tǒng)研制針對不同類型課程的同行評教指標體系,更有針對性地促進教師教學(xué)質(zhì)量的提高。盡管存在這些局限性,本研究仍然為同行評教指標體系的構(gòu)建提供了一定的參考價值,并為后續(xù)相關(guān)研究提供了有益的借鑒。