国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

高校在線(xiàn)課程教學(xué)效果評(píng)價(jià)模型的構(gòu)建與應(yīng)用

2024-10-04 00:00:00杜嘉
中國(guó)電化教育 2024年9期

摘要:新冠肺炎疫情引發(fā)了大規(guī)模的在線(xiàn)教學(xué)實(shí)踐,有力地促進(jìn)了在線(xiàn)課程的建設(shè)和純線(xiàn)下傳統(tǒng)教學(xué)向混合式教學(xué)新生態(tài)的變革。疫情后,在線(xiàn)課程成為常規(guī)教學(xué)不可或缺的一部分,線(xiàn)上教學(xué)的特殊性帶來(lái)了對(duì)在線(xiàn)課程教學(xué)效果評(píng)價(jià)的新探索。然而,當(dāng)前高校線(xiàn)上教學(xué)評(píng)價(jià)在評(píng)價(jià)對(duì)象、評(píng)價(jià)指標(biāo)和評(píng)價(jià)邏輯三個(gè)方面均存在較大誤區(qū)。該文提出教學(xué)評(píng)價(jià)應(yīng)該遵循的原則,并基于這些原則構(gòu)建了一個(gè)包含課程思政的教學(xué)效果評(píng)價(jià)模型,且對(duì)模型進(jìn)行了實(shí)踐驗(yàn)證,為高校在線(xiàn)課程評(píng)價(jià)提供了一個(gè)新的方案。。

關(guān)鍵詞:在線(xiàn)課程;教學(xué)評(píng)價(jià);定性評(píng)價(jià);以學(xué)為中心;課程思政

中圖分類(lèi)號(hào):G434 文獻(xiàn)標(biāo)識(shí)碼:A

* 本文系2023年度河南省高等教育教改課題“職業(yè)院校外語(yǔ)課程質(zhì)量建設(shè)提升路徑與模式創(chuàng)新研究”(課題編號(hào):2021SJGLX785)、2024年度河南省教育科學(xué)規(guī)劃項(xiàng)目(項(xiàng)目編號(hào):2024YB0477)階段性研究成果。

一、問(wèn)題提出

在新冠肺炎疫情期間,全國(guó)各地高校響應(yīng)教育部“停課不停教、停課不停學(xué)”的號(hào)召,常態(tài)化地開(kāi)展了大量的線(xiàn)上教學(xué)。疫情過(guò)后,在線(xiàn)教學(xué)或作為獨(dú)立課程,或作為重要成分與線(xiàn)下課程一起構(gòu)建了混合式教學(xué)的新生態(tài)。在線(xiàn)教學(xué)的普遍性存在,引發(fā)了對(duì)其教學(xué)效果評(píng)價(jià)的迫切需求[1]。相關(guān)部委的一系列高校在線(xiàn)教學(xué)質(zhì)量評(píng)價(jià)相關(guān)的政策文件,如2020年1a778c25413783393d346ba5720820bfc0月中共中央、國(guó)務(wù)院印發(fā)的《深化新時(shí)代教育評(píng)價(jià)改革總體方案》,提出“充分利用信息技術(shù),提高教育評(píng)價(jià)的科學(xué)性、專(zhuān)業(yè)性、客觀(guān)性”,為評(píng)價(jià)變革提出了新的要求。

在線(xiàn)教學(xué)作為新型教學(xué)方式,需要充分利用現(xiàn)代信息技術(shù)如多媒體、網(wǎng)絡(luò)技術(shù)完成教學(xué)活動(dòng)。教師在課前可以通過(guò)網(wǎng)絡(luò)提供課程資源,給學(xué)生預(yù)先自主學(xué)習(xí)的機(jī)會(huì),課堂上,教師運(yùn)用直播軟件進(jìn)行授課,學(xué)生通過(guò)彈幕、點(diǎn)贊等方式給與及時(shí)反饋。課后作業(yè)也通過(guò)教學(xué)平臺(tái)發(fā)布、收取和批改。因?yàn)樾畔⒒慕虒W(xué)平臺(tái)可以追蹤學(xué)生的學(xué)習(xí)過(guò)程,記錄學(xué)生的學(xué)習(xí)活動(dòng),如視頻觀(guān)看、完成作業(yè)、參與討論等的頻次,很多研究關(guān)注引入在線(xiàn)教學(xué)的過(guò)程性指標(biāo)開(kāi)展評(píng)價(jià)[2][3]。

然而,線(xiàn)上和線(xiàn)下課程在實(shí)施上的差異是具體教學(xué)方式的問(wèn)題,無(wú)論線(xiàn)下和線(xiàn)上教學(xué)都指向共同的目標(biāo),對(duì)教學(xué)效果的評(píng)價(jià),主要取決于是否達(dá)成目標(biāo),不在于使用的具體方式。在線(xiàn)課程作為新生事物,其真正的價(jià)值是要通過(guò)信息技術(shù)的運(yùn)用,破解傳統(tǒng)教學(xué)的錯(cuò)誤理念,以評(píng)促改,引領(lǐng)教師跳出傳統(tǒng)教學(xué)的框架。有效的在線(xiàn)課程教學(xué)效果的評(píng)價(jià)模型應(yīng)該以先進(jìn)的以學(xué)為中心的教育理念為內(nèi)核。

本文首先分析基于傳統(tǒng)教學(xué)開(kāi)展教學(xué)評(píng)價(jià)的三個(gè)主要問(wèn)題,包括教學(xué)過(guò)程的隨意性、評(píng)價(jià)指標(biāo)與學(xué)習(xí)成果的低關(guān)聯(lián)性、定量評(píng)價(jià)表述精神性成長(zhǎng)的困難性,隨后針對(duì)每個(gè)問(wèn)題進(jìn)行理論分析,提出解決思路,進(jìn)而基于規(guī)范教學(xué)、精準(zhǔn)指標(biāo)和定性邏輯三個(gè)原則,構(gòu)建了一個(gè)在線(xiàn)教學(xué)效果評(píng)價(jià)的新模型,并以高職和本科兩門(mén)不同學(xué)科的課程對(duì)該模型進(jìn)行有效性驗(yàn)證。

二、當(dāng)前教學(xué)效果評(píng)價(jià)的誤區(qū)

有研究認(rèn)為,在線(xiàn)教學(xué)發(fā)揮互聯(lián)網(wǎng)的作用,給傳統(tǒng)教學(xué)帶來(lái)實(shí)質(zhì)性的變革,在很多方面與傳統(tǒng)線(xiàn)下教學(xué)存在本質(zhì)區(qū)別,不能照搬傳統(tǒng)課堂教學(xué)質(zhì)量的評(píng)價(jià)指標(biāo)體系。比如,魯小艷認(rèn)為,要從技術(shù)工具與網(wǎng)絡(luò)環(huán)境的前置準(zhǔn)備、網(wǎng)絡(luò)資源選取、線(xiàn)上教學(xué)的展開(kāi)和課后學(xué)生的反饋評(píng)價(jià)為四個(gè)基本考察對(duì)象,確定核心指標(biāo)納入質(zhì)量評(píng)價(jià)體系[4]。

也有學(xué)者指出,線(xiàn)上、線(xiàn)下教學(xué)都包括課前、課中、課后等環(huán)節(jié),教學(xué)流程基本一致,可以基于同樣的理論模型如CIPP模式進(jìn)行評(píng)價(jià)[5]。CIPP模型包括背景、輸入、過(guò)程、結(jié)果四個(gè)維度的評(píng)價(jià),分別是確定需求和目標(biāo)、評(píng)估可行性和效用性、對(duì)實(shí)施過(guò)程進(jìn)行檢查和反饋、評(píng)價(jià)目標(biāo)達(dá)成度,對(duì)于線(xiàn)上和線(xiàn)下課程均可適用。

線(xiàn)上教學(xué)無(wú)疑具有特殊性,相對(duì)于傳統(tǒng)教學(xué),需要教師在教學(xué)過(guò)程中給與更多考慮,采取更多措施。比如,教師要學(xué)習(xí)信息技術(shù)的運(yùn)用,保持網(wǎng)絡(luò)信息傳遞通暢,有效整合線(xiàn)上資源,應(yīng)對(duì)師生面對(duì)面深度交流的缺失。但這些措施,是為了在網(wǎng)絡(luò)環(huán)境下保證教學(xué)活動(dòng)的順利開(kāi)展,是良好教學(xué)的前提條件,不能直接預(yù)測(cè)教學(xué)效果的好壞。

適合在線(xiàn)活動(dòng)的環(huán)境設(shè)置和組織形式,是所有在線(xiàn)教學(xué)的共同特點(diǎn)。強(qiáng)調(diào)這些因素的評(píng)價(jià)方案,雖能區(qū)分線(xiàn)上和線(xiàn)下教學(xué),但不能區(qū)分不同的在線(xiàn)課程,應(yīng)用范圍有一定的局限性。線(xiàn)上和線(xiàn)下課程在實(shí)施上注定存在很多不同,但這都是教學(xué)方式層面的問(wèn)題。就教學(xué)目標(biāo)而言,它們都是為了促進(jìn)學(xué)生的學(xué)習(xí)。因而,理想的在線(xiàn)教學(xué)效果的評(píng)價(jià)模型,應(yīng)該超越在線(xiàn)課程的獨(dú)特性,反映教與學(xué)過(guò)程的一般規(guī)律,具有通用性,既能用于線(xiàn)上,也同樣適用于線(xiàn)下。從有代表性在線(xiàn)教學(xué)效果評(píng)價(jià)模型中可以看到,絕大多數(shù)指標(biāo)并不指涉在線(xiàn)特點(diǎn),明確涉及的主要在于網(wǎng)絡(luò)設(shè)施保障,更多反映了大規(guī)模在線(xiàn)教育初期啟動(dòng)的技術(shù)問(wèn)題[6]。

傳統(tǒng)教學(xué)以教師為中心,認(rèn)為教學(xué)效果主要由教師負(fù)責(zé),認(rèn)為教得好自然帶來(lái)學(xué)得好。以講授法為主的教學(xué),又把講課等同于教學(xué),產(chǎn)生了講得好等于教得好的錯(cuò)誤認(rèn)知。然而,即便教師通過(guò)豐富多彩的網(wǎng)絡(luò)資源和炫酷的信息技術(shù)手段吸引學(xué)生的注意力,呈現(xiàn)出看似先進(jìn)的在線(xiàn)教學(xué),但實(shí)質(zhì)上還是教師一手操控的表演性教學(xué)。以教為中心的傳統(tǒng)模式,從三個(gè)方面使得教學(xué)效果評(píng)價(jià)陷入了誤區(qū)。

(一)教學(xué)規(guī)范與標(biāo)準(zhǔn)的缺失

很多教師在以教為中心的理念指導(dǎo)下,教學(xué)方法主要采用講授法。對(duì)講授法場(chǎng)景下教師教學(xué)行為的評(píng)價(jià),也存在一些公認(rèn)的標(biāo)準(zhǔn),如聲音清晰、響亮,表達(dá)流暢,清楚明白等,但這些標(biāo)準(zhǔn)相對(duì)簡(jiǎn)單,絕大多數(shù)教師經(jīng)過(guò)訓(xùn)練都不難達(dá)到,遠(yuǎn)遠(yuǎn)不足以作為判別教學(xué)效果的核心內(nèi)容。

在這些基本標(biāo)準(zhǔn)之外,對(duì)講授質(zhì)量的判斷就遇到了極大的困難。講授法崇尚教無(wú)定法,同樣的內(nèi)容,可以用完全不同的風(fēng)格、方式、流程或策略呈現(xiàn)。有的教師風(fēng)格莊重嚴(yán)肅,有的活潑生動(dòng),有的喜歡組織辯論等活動(dòng),有的傾向布置課后實(shí)踐。有的喜歡用視頻增加趣味性,有的擅長(zhǎng)講故事,如此等等,不一而足。這在實(shí)踐中帶來(lái)的困局是,不同的評(píng)價(jià)者認(rèn)可不同的講法,也有的評(píng)價(jià)者認(rèn)為各種講法都有優(yōu)點(diǎn),很難區(qū)分高低,硬要區(qū)分,評(píng)價(jià)者之間無(wú)法達(dá)成共識(shí),被評(píng)價(jià)者也不會(huì)心服口服。共識(shí)的缺乏讓教師只能基于經(jīng)驗(yàn)選擇講授方法,隨意性很強(qiáng),差異性很大。

教無(wú)定法帶來(lái)“百花齊放”,看起來(lái)是尊重教師,讓每個(gè)人都可以充分發(fā)揮自己的個(gè)性,但卻把教學(xué)評(píng)價(jià)引向了誤區(qū)。如果僅僅以期末考試為指標(biāo)評(píng)價(jià)學(xué)習(xí)效果,可以教無(wú)定法,即不管教師用什么方法,只要成績(jī)好,就可認(rèn)定為學(xué)習(xí)效果好。但如果評(píng)價(jià)教師教學(xué)過(guò)程中的某個(gè)維度,比如學(xué)生的參與度,不同教師就都需要實(shí)施一個(gè)共同的教學(xué)環(huán)節(jié),一個(gè)能體現(xiàn)學(xué)生參與度的環(huán)節(jié)。如果仍然是教無(wú)定法,不同教師的教學(xué)過(guò)程缺乏統(tǒng)一的規(guī)范,沒(méi)有可以互相比較的共同內(nèi)容,這會(huì)導(dǎo)致評(píng)價(jià)對(duì)象缺位,使得評(píng)價(jià)活動(dòng)失去意義。換言之,超越教無(wú)定法,建立教學(xué)過(guò)程的規(guī)范與標(biāo)準(zhǔn),是科學(xué)評(píng)價(jià)的前提和基礎(chǔ)。

(二)評(píng)價(jià)指標(biāo)與學(xué)習(xí)成果的關(guān)聯(lián)性較弱

以教為中心的教育理念下以講授法為主的教學(xué)方法,更關(guān)注教師的教學(xué)行為,相應(yīng)的教學(xué)效果評(píng)價(jià)也更多聚焦教師,圍繞教師的行為構(gòu)建指標(biāo)體系,如講課有感染力,闡述準(zhǔn)確,重點(diǎn)突出,思路清晰,能調(diào)動(dòng)學(xué)生情緒,能利用教學(xué)媒體等。教師的授課質(zhì)量反映教師的投入,是評(píng)價(jià)教學(xué)的重要維度,但不應(yīng)該是全部。教師傳遞知識(shí)的行為優(yōu)秀并不能保證學(xué)生學(xué)習(xí)效果的良好。

在講授為主的課堂,學(xué)生的學(xué)習(xí)行為膚淺而表面化,更多反映學(xué)生的學(xué)習(xí)投入,不能反應(yīng)大腦內(nèi)部的思維活動(dòng),不是學(xué)習(xí)真實(shí)發(fā)生的依據(jù)。以教師行為作為教學(xué)效果評(píng)價(jià)指標(biāo)的主要維度,這樣的體系不全面、也不精準(zhǔn)。教的目的是學(xué),是讓學(xué)習(xí)在學(xué)生身上發(fā)生,教學(xué)評(píng)價(jià)應(yīng)該是由對(duì)“教”和“學(xué)”的評(píng)價(jià)構(gòu)成的整體,在“教”的指標(biāo)之外,納入反映學(xué)生學(xué)習(xí)行為的“學(xué)”的指標(biāo),才能更準(zhǔn)確地評(píng)估教學(xué)效果,評(píng)教需要包含評(píng)學(xué)[7]。

在線(xiàn)教學(xué)為核查和記錄學(xué)生的學(xué)習(xí)行為提供了技術(shù)支撐。比如,慕課課程中經(jīng)常讓學(xué)生就剛聽(tīng)過(guò)的內(nèi)容做選擇題,采用學(xué)習(xí)管理系統(tǒng),可以了解到學(xué)生何時(shí)提交作業(yè),是否學(xué)習(xí)了指定的視頻,是否在論壇參與了討論。有些在線(xiàn)教學(xué)把傳統(tǒng)的單向講授搬到線(xiàn)上,通過(guò)技術(shù)記錄的聽(tīng)課狀態(tài)。這些來(lái)自外部的核查督導(dǎo)能促進(jìn)學(xué)生的參與和投入,但很難判斷學(xué)生動(dòng)機(jī)的強(qiáng)弱。只有學(xué)習(xí)動(dòng)機(jī)積極的時(shí)候,學(xué)習(xí)的投入才能有效預(yù)測(cè)學(xué)習(xí)的成果。因而,當(dāng)前的教學(xué)效果的評(píng)價(jià)指標(biāo),與學(xué)習(xí)成果的關(guān)聯(lián)性比較低。要建立更全面、有效的指標(biāo)體系,走向以學(xué)生為中心的教學(xué),超越對(duì)教的關(guān)注,包含對(duì)學(xué)生學(xué)習(xí)行為的深度評(píng)價(jià),特別是反映學(xué)生主動(dòng)學(xué)習(xí)行為的評(píng)價(jià)。

(三)定量評(píng)價(jià)的邏輯誤區(qū)

以教為中心的教學(xué)模式下,一般認(rèn)為教師的投入越多,教學(xué)效果越好,教學(xué)評(píng)價(jià)以完美教師為目標(biāo),試圖建立可測(cè)量的多個(gè)指標(biāo)維度,認(rèn)為教師符合的維度越多,教學(xué)投入越大,教學(xué)效果也越好。絕大多數(shù)教學(xué)評(píng)價(jià),都是基于這種以數(shù)量為導(dǎo)向的理念,可稱(chēng)為常規(guī)定量評(píng)價(jià)[8]。

學(xué)習(xí)是豐富而復(fù)雜的精神性成長(zhǎng),無(wú)論是教或?qū)W的效果評(píng)價(jià),都涉及對(duì)抽象的精神性品質(zhì)進(jìn)行評(píng)價(jià),而這些品質(zhì)看不見(jiàn)、摸不著,都依賴(lài)于評(píng)價(jià)者的感覺(jué)。比如在一個(gè)1—10分的量表上,對(duì)教師在“教學(xué)能力”維度的“教學(xué)內(nèi)容處理能力”指標(biāo)上給與評(píng)價(jià),給定的標(biāo)準(zhǔn)是“重點(diǎn)突出,難度、深度適宜”。一旦考慮一個(gè)具體的教師,比如判斷其講授“重點(diǎn)突出”的程度,就會(huì)發(fā)現(xiàn)沒(méi)有一個(gè)可參照標(biāo)準(zhǔn)或錨定物,打5分、7分還是9分,任意性很大。同樣的原因,不同的評(píng)價(jià)者之間的打分會(huì)相差很大。課程思政涉及更為抽象的道德品質(zhì),這個(gè)問(wèn)題更為突出。在大多數(shù)評(píng)價(jià)指標(biāo)的原始賦分都存在較大任意性的情況,總體評(píng)價(jià)的信度會(huì)受到很大影響。

常規(guī)定量評(píng)價(jià)需要用加權(quán)求和整合多個(gè)維度,計(jì)算總分,根據(jù)總分區(qū)做最終評(píng)價(jià)結(jié)果。但兩個(gè)維度可以求和的邏輯前提是他們的屬性相同,可以互相比較。假如A教師講課很?chē)?yán)謹(jǐn),但課堂活躍度不高,B教師講課不夠嚴(yán)謹(jǐn),但課堂很活躍,兩個(gè)維度求和得到的總分可能一樣,但這樣的總分缺乏實(shí)質(zhì)意義,因?yàn)閲?yán)謹(jǐn)與活躍兩個(gè)維度在邏輯上具有不同的性質(zhì),很難說(shuō)1分嚴(yán)謹(jǐn)?shù)葍r(jià)于多少分的活躍度。這個(gè)等價(jià)性不能確立的情況下,定量評(píng)價(jià)的多維度匯總就存在基本的邏輯謬誤。

三、在線(xiàn)教學(xué)效果評(píng)價(jià)變革的理論基礎(chǔ)與路徑設(shè)計(jì)

傳統(tǒng)評(píng)價(jià)存在教學(xué)規(guī)范與標(biāo)準(zhǔn)缺失、評(píng)價(jià)指標(biāo)與學(xué)習(xí)成果的關(guān)聯(lián)性不強(qiáng),評(píng)價(jià)邏輯違背邏輯三方面的問(wèn)題。其中最重要的一個(gè)根源是把講等同于教、把教等同于學(xué)的錯(cuò)誤認(rèn)知。有效的教學(xué)評(píng)價(jià),需要破除以教為中心理念,走出單純講授誤區(qū),從以下三個(gè)方面針對(duì)性地破解問(wèn)題,并基于相關(guān)理論,進(jìn)行新的路徑設(shè)計(jì)。

(一)建立教學(xué)過(guò)程的基本規(guī)范,呈現(xiàn)評(píng)價(jià)對(duì)象的關(guān)鍵行為

教師的講授活動(dòng)個(gè)性化空間很大,的確很難規(guī)范統(tǒng)一,然而從以學(xué)為中心的理念出發(fā),可以看到,課堂是師生交流的場(chǎng)域,既要考慮教,還要考慮學(xué),而且要關(guān)照教與學(xué)的一致性[9]。單純的教與學(xué),都有很大的自由度,但考慮教學(xué)的一致性,即教是為了引發(fā)學(xué)的行為和效果,教與學(xué)需要相互協(xié)調(diào),這就能揭示教學(xué)過(guò)程的規(guī)范性,即超越給個(gè)體教師偏好之上的必然性和規(guī)律性。

總覽各種教學(xué)模式,可以看到規(guī)范教學(xué)需要確立對(duì)學(xué)生高質(zhì)量學(xué)習(xí)不可或缺的基本教學(xué)活動(dòng),至少包括如下三種:一是教師的精準(zhǔn)講授,反映人類(lèi)智慧的凝結(jié)和文明的積淀。二是給學(xué)生安排學(xué)習(xí)任務(wù),給與學(xué)習(xí)指導(dǎo),引發(fā)學(xué)生深入思考,并有機(jī)會(huì)就疑惑問(wèn)題向同伴輸出表達(dá)、互動(dòng)交流,開(kāi)展社會(huì)化學(xué)習(xí)。三是教師對(duì)學(xué)生交流后未能解決的問(wèn)題用經(jīng)驗(yàn)和智慧點(diǎn)撥、破解迷惑。較之于傳道、授業(yè)、解惑的傳統(tǒng)智慧,這里增加了學(xué)生之間以討論為核心的社會(huì)化學(xué)習(xí)[10]。從20世紀(jì)60年代起,西方教育界進(jìn)行了30多年的教改探索,其中最成功的成果之一是合作學(xué)習(xí),其中又以討論為最突出元素[11],說(shuō)明了討論環(huán)節(jié)的不可或缺。

以上分析表明,講授、獨(dú)學(xué)、基于討論的互幫互助、合作學(xué)習(xí)和教師的答疑解惑,對(duì)學(xué)習(xí)不可或缺,構(gòu)成有效教學(xué)的基本規(guī)范,也是良好教學(xué)的必備成分。一般情況下,教師無(wú)論科目、學(xué)生群體,其教學(xué)活動(dòng)都應(yīng)該包括這些基本成分。如果這一觀(guān)點(diǎn)得以確立,這些成分構(gòu)成了教學(xué)評(píng)價(jià)的最關(guān)鍵的評(píng)價(jià)對(duì)象。有效的講授和獨(dú)學(xué)之后,才會(huì)有課堂上生動(dòng)、自然的討論,這是很難偽裝和被迫發(fā)生的,反映了學(xué)生的主動(dòng)學(xué)習(xí)行為。在傳統(tǒng)課堂中,這一關(guān)鍵的學(xué)習(xí)行為并沒(méi)有機(jī)會(huì)發(fā)生,也使得教學(xué)評(píng)價(jià)缺乏了科學(xué)的依據(jù)。

(二)建立精準(zhǔn)指標(biāo)體系,全面刻畫(huà)學(xué)習(xí)成果

面對(duì)人工智能浪潮,教師需要從知識(shí)傳授者轉(zhuǎn)向?qū)W生學(xué)習(xí)的促進(jìn)者、支持者和組織者。教師的作用變得更復(fù)雜,也更重要,仍然需要納入教學(xué)效果評(píng)價(jià)中。

學(xué)生作為學(xué)習(xí)主體,通過(guò)閱讀、思考、實(shí)踐等途徑獲得知識(shí)和技能。教學(xué)效果評(píng)價(jià)需要考慮學(xué)生是否參與學(xué)習(xí)、完成學(xué)習(xí)任務(wù)和獲得知識(shí)和能力的增長(zhǎng)。真實(shí)的學(xué)習(xí)行為是知識(shí)和能力增長(zhǎng)的先決條件。學(xué)生在課堂不積極,就很難期望他們離開(kāi)課堂后會(huì)去學(xué)習(xí)。在課堂上看到學(xué)生參與與學(xué)習(xí)發(fā)生,是教學(xué)有效的基本指標(biāo)。如果課堂教學(xué)引入合作學(xué)習(xí),就可以在學(xué)生開(kāi)展的小組討論中,觀(guān)察到學(xué)生的輸出,看到真正反映了學(xué)習(xí)結(jié)果的學(xué)習(xí)行為。學(xué)生能夠針對(duì)教學(xué)內(nèi)容開(kāi)展專(zhuān)注的深度研討,能提供學(xué)習(xí)發(fā)生的證據(jù),構(gòu)成課堂評(píng)價(jià)的核心指標(biāo)。

比知識(shí)和能力更困難的是思政教育,即情感、態(tài)度和價(jià)值觀(guān)的塑造。課程思政要求教師以學(xué)科知識(shí)為載體去通達(dá)思想教育。當(dāng)學(xué)生體會(huì)到獲得學(xué)科知識(shí)的快樂(lè)和成就感,自然會(huì)認(rèn)同學(xué)科背后的思想、文化等精神價(jià)值,課程思政也就潤(rùn)物無(wú)聲。學(xué)生對(duì)思政元素的欣賞和贊同會(huì)外化于形,成為可觀(guān)測(cè)的行為,為課程思政的客觀(guān)、準(zhǔn)確評(píng)價(jià)提供依據(jù)[12]。課程思政的教學(xué)效果也需要通過(guò)學(xué)生主動(dòng)的學(xué)習(xí)活動(dòng)和行為體現(xiàn)。以學(xué)為中心的教學(xué)模式,能夠突出學(xué)生的主體地位,實(shí)現(xiàn)主動(dòng)學(xué)習(xí),落實(shí)課程思政。

(三)由定量邏輯轉(zhuǎn)向更適合精神性成長(zhǎng)的定性邏輯

定量邏輯不適合評(píng)價(jià)教學(xué)過(guò)程中復(fù)雜的精神性品質(zhì),常規(guī)的教學(xué)評(píng)價(jià)需要在根本理念上進(jìn)行調(diào)整,轉(zhuǎn)向定性評(píng)價(jià)。我國(guó)學(xué)者新近提出的兩極定性方法提供了一種新思路[13]。這一方法的核心原則是找兩極,分三類(lèi)。在評(píng)價(jià)維度上表現(xiàn)最好和最差各占一極,中間的群體自然構(gòu)成第三類(lèi),形成優(yōu)、中、后三個(gè)類(lèi)別,非常符合自然界和人類(lèi)社會(huì)最常見(jiàn)的正態(tài)分布。

通過(guò)找到兩極來(lái)劃分三類(lèi)的底層邏輯,是通過(guò)設(shè)置極端錨定(Extremely Anchoring)促使評(píng)價(jià)者直接把評(píng)價(jià)對(duì)象與錨定目標(biāo)進(jìn)行全面對(duì)比,判斷評(píng)價(jià)對(duì)象是否與極端錨定契合[14]這種判斷,全面調(diào)用了評(píng)價(jià)者對(duì)評(píng)價(jià)對(duì)象的整體感知,降低了認(rèn)知加工負(fù)荷。轉(zhuǎn)向定性邏輯,針對(duì)給定指標(biāo),不需要打分,只需要找出最符合和最不符合的樣例,評(píng)價(jià)就完成了。這樣評(píng)價(jià),簡(jiǎn)單明晰,穩(wěn)定準(zhǔn)確,不同評(píng)判者之間也容易形成共識(shí)。

在單一維度上確定了優(yōu)、中、后之后,對(duì)不同維度進(jìn)行結(jié)果整合時(shí),不進(jìn)行定量化的求和,而如下操作:如果一個(gè)教師在大多數(shù)維度上的評(píng)價(jià)都是優(yōu),那么其整體評(píng)價(jià)為優(yōu),如果在大多數(shù)維度上的評(píng)價(jià)都是后,其整體評(píng)價(jià)為后,不是優(yōu)秀或后進(jìn)的教師的評(píng)價(jià)為中。顯然,只有少數(shù)特別優(yōu)秀的教師,才能在很多維度上都獲得優(yōu),在大多數(shù)維度上都是后進(jìn)的教師,一定不是偶然的。兩極之外的教師,既不優(yōu)秀、也不后進(jìn),歸入中等表現(xiàn)的一類(lèi),不再做更多區(qū)分。多維度的結(jié)果整合,并不涉及分?jǐn)?shù)的直接相加,只需計(jì)數(shù)、無(wú)需復(fù)雜運(yùn)算,規(guī)避了定量評(píng)價(jià)中不同維度性質(zhì)不同不能求和的邏輯誤區(qū),簡(jiǎn)單明晰,科學(xué)合理。

四、在線(xiàn)課程教學(xué)評(píng)價(jià)模型的構(gòu)建和有效性驗(yàn)證

(一)在線(xiàn)課程教學(xué)評(píng)價(jià)模型的構(gòu)建

1.在線(xiàn)課程教學(xué)評(píng)價(jià)內(nèi)容

教學(xué)效果的評(píng)價(jià)應(yīng)該涵蓋師、生兩個(gè)方面,既包含教的行為,也要充分反映學(xué)的行為。只有變革教學(xué)模式,顯示學(xué)生的自主學(xué)習(xí)和社會(huì)化學(xué)習(xí),才能為評(píng)價(jià)提供可見(jiàn)的指標(biāo)。知識(shí)技能之外,需要增加課程思政維度。確定了合理的評(píng)價(jià)內(nèi)容和評(píng)價(jià)對(duì)象后,在各個(gè)維度的評(píng)估和多維度的結(jié)果整合上,還要摒棄定量理念,采用定性理念?;谶@些考慮,本研究建立的在線(xiàn)教學(xué)效果評(píng)價(jià)模型包含教師教學(xué)、學(xué)生學(xué)習(xí)和課程思政三個(gè)維度,共計(jì)12個(gè)二級(jí)指標(biāo),如表1所示。

2.在線(xiàn)課程教學(xué)評(píng)價(jià)內(nèi)容依據(jù)

(1)教師教學(xué)維度的評(píng)價(jià)指標(biāo)及具體依據(jù)

教師教學(xué)維度包括內(nèi)容、表達(dá)、指導(dǎo)、互動(dòng)、流程和組織6個(gè)二級(jí)指標(biāo),具體依據(jù)如下。

內(nèi)容:有效教學(xué)的基礎(chǔ)是優(yōu)質(zhì)內(nèi)容。教師需要從主題結(jié)構(gòu)、知識(shí)含量和學(xué)術(shù)深度多方面考慮,結(jié)合網(wǎng)絡(luò)資源,設(shè)立明確、合理的教學(xué)目標(biāo),在注重內(nèi)容基礎(chǔ)性的同時(shí),要強(qiáng)調(diào)知識(shí)的應(yīng)用價(jià)值,適應(yīng)學(xué)生的興趣,具有時(shí)代性和生活情境性。

表達(dá):教師的語(yǔ)言表達(dá)能力直接決定學(xué)生的聽(tīng)課效率。精心準(zhǔn)備的內(nèi)容,要用通俗易懂的語(yǔ)言進(jìn)行輸出,以合適的語(yǔ)音、語(yǔ)調(diào)和貼切的用詞進(jìn)行規(guī)范的表達(dá),邏輯清晰、主次分明,更好地保證傳播知識(shí)信息的有效性,借用信息化的教學(xué)工具提升授課的生動(dòng)性。

指導(dǎo):教是為了引導(dǎo)學(xué)的發(fā)生。教師不能滿(mǎn)足于知識(shí)傳遞,還需要引導(dǎo)學(xué)生進(jìn)入思考狀態(tài),通過(guò)設(shè)置恰當(dāng)?shù)膯?wèn)題情境和學(xué)習(xí)任務(wù),讓學(xué)生通過(guò)分析、理解,構(gòu)建自己的知識(shí)體系,學(xué)會(huì)學(xué)習(xí)。

互動(dòng):師生互動(dòng)使得教學(xué)活動(dòng)成為雙向交流,構(gòu)成了教與學(xué)的閉環(huán)。互動(dòng)應(yīng)以答疑解惑為主體目標(biāo),即鼓勵(lì)學(xué)生主動(dòng)提出問(wèn)題,教師在解答過(guò)程中注意提升學(xué)生發(fā)現(xiàn)問(wèn)題、提出問(wèn)題、解決問(wèn)題的能力。

流程:教師作為班級(jí)教學(xué)背景下學(xué)生學(xué)習(xí)活動(dòng)的組織者和支持者,需要設(shè)計(jì)清晰完整、緊湊高效的教學(xué)活動(dòng),并對(duì)整個(gè)流程進(jìn)行控制,為所有學(xué)生的積極參與提供支持。

組織:在對(duì)流程的組織過(guò)程中,要求教師營(yíng)造寬松和諧的課堂氛圍,給予身心解放、無(wú)拘無(wú)束的空間,讓學(xué)生覺(jué)得安全、舒適,樂(lè)于參與、自由表達(dá),能夠激活思維及創(chuàng)造力。

(2)學(xué)生學(xué)習(xí)維度的評(píng)價(jià)指標(biāo)及具體依據(jù)

學(xué)生學(xué)習(xí)維度包括任務(wù)、拓展、參與和收獲4個(gè)二級(jí)指標(biāo),具體依據(jù)如下。

任務(wù):從學(xué)生的角度,要判斷教師布置的學(xué)習(xí)任務(wù)是否清晰明確,適合自己,能夠?qū)ψ约簩W(xué)習(xí)和掌握知識(shí)帶來(lái)價(jià)值。

拓展:為關(guān)照學(xué)生在基礎(chǔ)、動(dòng)機(jī)和能力等方面的自然分化,為學(xué)有余力的學(xué)生提供進(jìn)階材料,提升其個(gè)性化發(fā)展的空間。也可提供面向全班的額外材料以開(kāi)闊視野,實(shí)現(xiàn)與現(xiàn)實(shí)生活的更豐富聯(lián)結(jié)。

參與:學(xué)生真正成為學(xué)習(xí)活動(dòng)的主動(dòng)發(fā)起者和深度參與者,在合作交流中以尊重、關(guān)愛(ài)的態(tài)度,能夠做到互相幫助,取長(zhǎng)補(bǔ)短,形成社會(huì)化學(xué)習(xí)共同體。

收獲:學(xué)生能感受和評(píng)價(jià)自己在能力和素養(yǎng)方面的顯著提升,包括更善于與人溝通合作,具有更強(qiáng)的自控力,對(duì)自己的學(xué)習(xí)能力更有自信。

(3)課程思政評(píng)價(jià)維度指標(biāo)及具體依據(jù)

課程思政維度包括元素和表現(xiàn)2個(gè)二級(jí)指標(biāo),具體依據(jù)如下。

元素:能夠從學(xué)科內(nèi)容中系統(tǒng)、深入、全面地挖掘思政元素,為課程思政提供充足的素材。

表現(xiàn):教師以自身的言行舉止體現(xiàn)將思想政治教育貫穿于專(zhuān)業(yè)教學(xué)全過(guò)程的努力,展示對(duì)社會(huì)主義核心價(jià)值觀(guān)的堅(jiān)定認(rèn)同。

如前所述,雖然在線(xiàn)教學(xué)中教師要熟練運(yùn)用信息技術(shù)保障教學(xué)過(guò)程順暢、記錄和掌握學(xué)生學(xué)習(xí)情況等,但這些指標(biāo)并不直接出現(xiàn)在評(píng)價(jià)體系里。在線(xiàn)教學(xué)雖有信息技術(shù)支撐,但與線(xiàn)下教學(xué)具有相同的教學(xué)目標(biāo)。針對(duì)教、學(xué)行為和課程思政設(shè)立的指標(biāo),自然涵蓋了信息技術(shù)作用后產(chǎn)生的效果。比如,無(wú)論是線(xiàn)下提供紙質(zhì)材料還是線(xiàn)上提供網(wǎng)絡(luò)資源,最后的評(píng)價(jià)都需要統(tǒng)一到教學(xué)內(nèi)容這個(gè)指標(biāo)維度。

3.在線(xiàn)課程教學(xué)評(píng)價(jià)模型運(yùn)用方法

根據(jù)定性評(píng)價(jià)邏輯,每個(gè)指標(biāo)上設(shè)立三個(gè)評(píng)價(jià)等級(jí),分別為“高、中、低”。通過(guò)各等級(jí)人數(shù)在所有調(diào)查對(duì)象的占比,來(lái)確定每個(gè)指標(biāo)的最終等級(jí)。如調(diào)查對(duì)象中絕大多數(shù)如占2/3的學(xué)生給與某位教師在“課程思政的元素”指標(biāo)評(píng)價(jià)為“高”,則該教師該項(xiàng)指標(biāo)的最終等級(jí)為“高”,若占比人數(shù)超過(guò)較大比例如1/3給出的評(píng)價(jià)為“低”,則該項(xiàng)指標(biāo)最終結(jié)果為“低”。其他情況的最終結(jié)果均為“中”。

同樣基于定性邏輯整合12個(gè)指標(biāo),形成對(duì)教師的最終整體評(píng)價(jià)。如果對(duì)某位教師12項(xiàng)指標(biāo)的評(píng)價(jià)中,絕大多數(shù)如10個(gè)或更多指標(biāo)的評(píng)價(jià)為“高”,而且沒(méi)有任何指標(biāo)評(píng)價(jià)為“低”,則該教師的最終等級(jí)為“高”;若12項(xiàng)指標(biāo)中有相當(dāng)多比如4項(xiàng)或更多項(xiàng)指標(biāo)評(píng)價(jià)為“低”,則該教師的最終等級(jí)為“低”。

簡(jiǎn)言之,一個(gè)最終評(píng)價(jià)為“高”的教師,需要在絕大多數(shù)維度的每個(gè)維度上得到絕大多數(shù)學(xué)生的“高”評(píng)價(jià),而一個(gè)最終評(píng)價(jià)為“低”的教師,必然在相當(dāng)多維度得到相當(dāng)多學(xué)生的“低”評(píng)價(jià)。這就使得“高”“低”評(píng)價(jià)不容易受到偶然因素的干擾,讓優(yōu)秀或后進(jìn)與群體其他部分清晰分離,形成穩(wěn)定可靠的評(píng)價(jià)。

(二)在線(xiàn)課程教學(xué)效果模型的應(yīng)用及有效性驗(yàn)證

1.在線(xiàn)課程教學(xué)模型實(shí)施對(duì)象及工具

2022年12月,筆者運(yùn)用該模型,通過(guò)對(duì)分易和問(wèn)卷星平臺(tái),對(duì)河南司法警官職業(yè)學(xué)院21級(jí)法律文秘專(zhuān)業(yè)的《拓展英語(yǔ)》與河南財(cái)經(jīng)政法大學(xué)21級(jí)社會(huì)學(xué)專(zhuān)業(yè)的《社會(huì)學(xué)》兩門(mén)在線(xiàn)課程的學(xué)生進(jìn)行采樣,采用數(shù)據(jù)分析軟件stata15.0對(duì)調(diào)查問(wèn)卷結(jié)果進(jìn)行信度和效度的相關(guān)檢驗(yàn)。

2.在線(xiàn)課程教學(xué)模型有效性驗(yàn)證分析

表2顯示,《拓展英語(yǔ)》課程的克隆巴赫α系數(shù)值為0.94,《社會(huì)學(xué)》課程的克隆巴赫α系數(shù)為0.92。一般問(wèn)卷的克隆巴赫α系數(shù)值在0.85以上,即說(shuō)明可信度很高。這個(gè)結(jié)果表明,對(duì)這兩門(mén)不同學(xué)科的課程,量表中各題項(xiàng)得分間的一致性很高,問(wèn)卷信度良好。

對(duì)問(wèn)卷三個(gè)維度的12個(gè)分項(xiàng)進(jìn)行信度測(cè)試,結(jié)果如表3所示。

3.在線(xiàn)課程教學(xué)模型驗(yàn)證結(jié)果

教師教學(xué)和學(xué)生學(xué)習(xí)維度的α系均等于或高于0.85,表明分項(xiàng)間內(nèi)部一致性較高;思政育人維度的α系數(shù)為0.77,內(nèi)部一致性尚可,還有提升和優(yōu)化的空間。用Stata15.0對(duì)該模型效度性進(jìn)行測(cè)量,結(jié)果表明,評(píng)價(jià)表中的三個(gè)維度的12個(gè)二級(jí)指標(biāo)的相關(guān)系數(shù)均在0.4—0.8之間,說(shuō)明量表的內(nèi)部結(jié)構(gòu)效度較高。相關(guān)系數(shù)越大,表示問(wèn)卷(量表)的效標(biāo)關(guān)聯(lián)效度越好,一般認(rèn)為相關(guān)系數(shù)在0.4—0.8之間較為理想。結(jié)果表明,《拓展英語(yǔ)》和《社會(huì)學(xué)》兩門(mén)學(xué)科在學(xué)生評(píng)教中的最終結(jié)果均為“高”,說(shuō)明兩門(mén)課程具有較高的教學(xué)質(zhì)量。在學(xué)期末的常規(guī)教學(xué)質(zhì)量測(cè)評(píng)中,這兩門(mén)在線(xiàn)課程在各自學(xué)校的評(píng)價(jià)等級(jí)均為“優(yōu)秀”,從一個(gè)方面驗(yàn)證了本次評(píng)價(jià)的有效性。

五、結(jié)語(yǔ)

在線(xiàn)課程已成為高校常規(guī)教學(xué)不可或缺的一部分,有效的在線(xiàn)教學(xué)效果評(píng)價(jià)有助于教師轉(zhuǎn)變教育理念、改善教學(xué)方法,提升教學(xué)質(zhì)量。在以教為中心的教育理念下,傳統(tǒng)教學(xué)評(píng)價(jià)存在教學(xué)規(guī)范缺失、評(píng)價(jià)指標(biāo)不精準(zhǔn)與定量評(píng)價(jià)謬誤三方面的問(wèn)題,評(píng)價(jià)改革需要以學(xué)為中心理念為前提,破解這些問(wèn)題。

在教學(xué)規(guī)范上,需要確立對(duì)高質(zhì)量學(xué)習(xí)不可或缺的三個(gè)過(guò)程:教師的精準(zhǔn)講授,學(xué)生的獨(dú)立學(xué)習(xí)、深度思考、交流合作、思維碰撞和教師的點(diǎn)撥解惑。這樣的規(guī)范既保留了教師作為知識(shí)傳授者的重要角色,又凸顯了學(xué)生的合作學(xué)習(xí)過(guò)程,提供了觀(guān)察學(xué)生輸出學(xué)習(xí)成果的關(guān)鍵性學(xué)習(xí)行為,使得教學(xué)評(píng)價(jià)聚焦學(xué)習(xí)主體,兼顧教與學(xué),更完整地涵蓋了評(píng)價(jià)對(duì)象。無(wú)論是對(duì)教還是學(xué)的過(guò)程或結(jié)果等各維度的判斷,都要基于心理上的主觀(guān)感受,不同于物理儀器的測(cè)量,不能過(guò)度量化??紤]到不同維度的不可替代性,更需要走向定性評(píng)價(jià)。自然界和人類(lèi)社會(huì)中最常見(jiàn)的分布是正態(tài)分布,即中間多,兩端少,自然分三類(lèi),定性評(píng)價(jià)符合這一科學(xué)規(guī)律,理論基礎(chǔ)堅(jiān)實(shí)。

本研究落實(shí)學(xué)習(xí)中心思想,為教學(xué)建立明確規(guī)范,以精準(zhǔn)指標(biāo)涵蓋教、學(xué)行為,引入定性評(píng)價(jià)新理念,基于規(guī)范教學(xué)、精準(zhǔn)指標(biāo)和定性邏輯三個(gè)原則,構(gòu)建了一個(gè)涵蓋課程思政的較為全面的在線(xiàn)課程教學(xué)效果評(píng)價(jià)模型,并通過(guò)在高職和本科院校不同學(xué)科在線(xiàn)課程上的應(yīng)用檢驗(yàn),顯示了模型良好的信效度。該模型適合不同學(xué)科、學(xué)段,也不限于特定的教學(xué)方法,在操作上簡(jiǎn)明易用,為高校在線(xiàn)課程評(píng)價(jià)提供了新的參考。

參考文獻(xiàn):

[1] 羅利,柳亮.高校在線(xiàn)教學(xué)質(zhì)量評(píng)價(jià)現(xiàn)狀及對(duì)策[J].教育觀(guān)察,2020,9(41): 38-40.

[2] 徐娟.職業(yè)院校在線(xiàn)教學(xué)質(zhì)量評(píng)價(jià)體系構(gòu)建研究[J].中國(guó)現(xiàn)代教育裝備,2021,357(5):147-148.

[3] 徐迎磊.在線(xiàn)教學(xué)學(xué)習(xí)效果評(píng)價(jià)指標(biāo)體系的構(gòu)建研究[J].黑龍江生態(tài)工程職業(yè)學(xué)院學(xué)報(bào),2022,35(1):136-138.

[4] 魯小艷.高校在線(xiàn)教學(xué)質(zhì)量評(píng)價(jià)體系構(gòu)建[J].中國(guó)高等教育,2021,670(10): 42-44.

[5] 李華杰,沈建剛等.高等學(xué)校線(xiàn)上教學(xué)質(zhì)量評(píng)價(jià)體系構(gòu)建與實(shí)證分析[J].高等職業(yè)教育探索,2021,20(4):46-54.

[6] 趙立瑩,趙憶桐.在線(xiàn)教學(xué)效果評(píng)價(jià)及質(zhì)量保障體系建設(shè)[J].高等工程教育研究,2021,(2):189-194.

[7] 呂冰,王冰清等.高校教學(xué)評(píng)價(jià)應(yīng)評(píng)教與評(píng)學(xué)相結(jié)合[J].揚(yáng)州大學(xué)學(xué)報(bào)(高教研版),2022,26(5):40-45.

[8] 邢紅軍,田望璇.課堂教學(xué)評(píng)價(jià)理論:反思與建構(gòu)[J].課程·教材·教法,2020,40(6):53-58.

[9] 崔允漷,夏雪梅.教-學(xué)-評(píng)一致性:意義與含義[J].中小學(xué)管理,2013,(1):4-6.

[10] 張學(xué)新.對(duì)分課堂:大學(xué)課堂教學(xué)改革的新探索[J].復(fù)旦教育論壇,2014, 12(5):5-10.

[11] 伍新春,管琳.合作學(xué)習(xí)與課堂教學(xué)[M].北京:人民教育出版社,2010.

[12] 薛紅梅,倪健等.基于CIPP模式的課程思政綜合評(píng)價(jià)體系研究[J].中國(guó)信息化,2023,347(3):91-92.

[13] 艾冬生,張學(xué)新.兩極定性評(píng)價(jià):高職院校教學(xué)質(zhì)量評(píng)價(jià)方式新探索[J].應(yīng)用型高等教育研究,2023,8(1):13-19.

[14] 周繼良.高校學(xué)生評(píng)教行為偏差影響因素的實(shí)證研究——基于制度分析的視角[J].高等教育研究,2018,39(2):59-72.

作者簡(jiǎn)介:

杜嘉:副教授,研究方向?yàn)榻逃虒W(xué)方法、外語(yǔ)教學(xué)。

Construction and Application of an Evaluation Model for the Teaching Effectiveness of Online Courses in Universities Based on the Principles of Standardization, Precision, and Qualitative Analysis

Du Jia

Basic Courses Teaching Department, Henan Judicial Police Vocational College, Zhengzhou 450016, Henan

Abstract: The COVID-19 has triggered a large-scale online teaching practice, which has effectively promoted the construction of online courses and the transformation of pure offline traditional teaching into a new ecology of hybrid teaching. After the epidemic, online courses have become an indispensable part of routine teaching, and the particularity of online teaching has brought new explorations in evaluating the effectiveness of online course teaching. However, there are significant misconceptions in the current evaluation of online teaching in universities in terms of evaluation objects, evaluation indicators, and evaluation logic. This article puts forward some principles for effective teaching evaluation, and constructs a teaching effectiveness evaluation model that includes course ideological and political education based on the principles, which is verified in practice, providing a new solution for online course evaluation in universities.

Keywords: online courses; teaching evaluation; qualitative evaluation; learning-centereness; curriculum ideology education

收稿日期:2024年5月20日

責(zé)任編輯:李雅瑄

德令哈市| 沈阳市| 门源| 西乌珠穆沁旗| 高碑店市| 历史| 湄潭县| 错那县| 含山县| 精河县| 江阴市| 琼结县| 镇沅| 锡林浩特市| 甘南县| 灵璧县| 丹阳市| 克什克腾旗| 渝中区| 清原| 密云县| 阿拉善盟| 萍乡市| 大宁县| 木里| 吴堡县| 文山县| 宁海县| 渭南市| 舒城县| 永仁县| 永安市| 通江县| 左云县| 商水县| 芒康县| 嫩江县| 彭山县| 延津县| 淮南市| 永和县|