姒依萍　邱美秀　莊艦　 黃靜茹

摘? 要： 本研究旨在闡述“高職院校網(wǎng)絡直播教學評價表”的指標、內(nèi)涵及其開發(fā)過程，該評價表包括學生學習、教師教學、課程建設和課堂文化4個維度，共12個指標，采取1-4分四級計分。39位高職教學管理人員和擁有網(wǎng)絡直播教學經(jīng)驗的一線教師及249位學生提出的建議提高了評價表的建構(gòu)效度和表面效度。3位高職院校教學督導對18個網(wǎng)絡直播教學錄像樣本進行獨立評分，評分者間一致性比例為76.23%，組內(nèi)相關(guān)系數(shù)為0.815。表明該評價表具有可接受、良好的信度。該評價表不僅能夠提供可靠一致的評分結(jié)果，保障高職院校網(wǎng)絡直播教學品質(zhì)，還能夠為開展網(wǎng)絡直播教學的高職教師提供明確的導向和有效的指導，起到教師教學發(fā)展的效果。

關(guān)鍵詞： 教師專業(yè)發(fā)展; 網(wǎng)絡直播教學; 評價表; 高職院校

中圖分類號： G712? ? ? ? ? 文獻標志碼： A? ? ? ? ? 文章編號： 1671-2153（2020）04-0034-09

一、研究背景

為了有效防控新冠肺炎疫情，我國大中小學推遲2020春季開學時間。疫情之下，各地高校積極響應“停課不停學”的國家號召，通過線上教學的方式最大限度保障原定教學計劃的實施，大批高校教師紛紛開啟網(wǎng)絡直播教學。

教育部高教司吳巖司長在2月12日的“國務院應對新型冠狀病毒肺炎疫情聯(lián)防聯(lián)控新聞發(fā)布會”上指出，“不提倡、不鼓勵、不希望、不建議每一位老師都做直播課”。在過去幾年里，我國已經(jīng)在多個線上課程平臺陸續(xù)推出了幾萬門課程，有很多是經(jīng)過精心組織、精心培育、精心遴選的好課程，為各級各類教育提供了優(yōu)質(zhì)的教學資源。然而，在高等職業(yè)教育中，大部分專業(yè)課程是基于地方經(jīng)濟發(fā)展狀況和所需的人才規(guī)格而開發(fā)的，具有鮮明的區(qū)域性和地方性特色[1]，開放平臺上的在線課程可以作為課題教學的補充，但是遠遠不能滿足各地職業(yè)技術(shù)教育的實際需要。

在此次疫情中，高職院校教師普遍選用騰訊、釘釘?shù)绒k公社交軟件，或超星、藍墨等專業(yè)的線上教學平臺，通過“屏幕分享”或“攝像”等模式與學生實時連線，開展直播教學。不少高校教師表示，網(wǎng)絡直播教學與傳統(tǒng)課堂教學相比，雖然在課堂管理、交流互動等方面有一定的局限性，但也表現(xiàn)出諸多傳統(tǒng)課堂教學不可比擬的優(yōu)越性。如學生可以通過教學錄像回放功能反復學習相關(guān)內(nèi)容;不受座位遠近的限制，可以在電腦屏幕上清楚地看到教師的演示和板書;可以緩解部分學生面對面交流的焦慮和畏懼等。

隨著產(chǎn)教融合的不斷深入，高職院校擴招規(guī)模的持續(xù)加大，以及高職院校社會培訓功能的強化，網(wǎng)絡直播教學以其在突破時空限制上的獨特優(yōu)勢，必將成為高職院校教學的重要組成部分。

目前大部分高職院校教師對網(wǎng)絡直播教學缺少充分的理論認知和技術(shù)準備，對于如何上好網(wǎng)絡直播課倍感迷茫，甚至出現(xiàn)擔心焦慮的狀況。而對于學校教學管理部門而言，傳統(tǒng)的線下教學評價標準顯然不適用于網(wǎng)絡環(huán)境下的教學。制定一套穩(wěn)定可靠的評價工具來監(jiān)督和評判網(wǎng)絡直播教學的品質(zhì)是當務之急。

教學評價表作為評判和保障教學品質(zhì)的重要工具，在教學實踐領(lǐng)域廣泛應用。而指標建構(gòu)合理、內(nèi)涵表述清晰的教學評價表，還能幫助教師理解優(yōu)質(zhì)教學的特質(zhì)，積極開展有效的教學反思，起到促進教師教學發(fā)展的作用。Allsopp、DeMarie、Alvarez-McHatton 與Doone[2]的研究表明，結(jié)構(gòu)化的課堂觀察與評分表能夠為教師架起理論與實踐之間的橋梁，是促進教師教學發(fā)展的有效工具。張志恒[3]的研究也證實，通過分析評分表所產(chǎn)生的量化和質(zhì)性數(shù)據(jù)，能夠?qū)虒W狀況作出更為準確的判斷，為制定教學改進和教師發(fā)展策略提供可靠的依據(jù)。

本研究擬開發(fā)一套適用于高職院校的網(wǎng)絡直播教學評價表，一方面，便于學校教育管理部門評判和監(jiān)督網(wǎng)絡直播教學的品質(zhì)，另一方面，增加高職院校教師對網(wǎng)絡直播教學的認知，起到促進教師教學發(fā)展的作用。

本研究包括以下兩個問題：（1）高職院校網(wǎng)絡直播教學評價表的結(jié)構(gòu)與內(nèi)涵為何？（2）高職院校網(wǎng)絡直播教學評價表表的信度與效度如何？

二、研究設計

根據(jù)Moskal與Leydens[4]的建議，本研究將分以下三個階段完成高職院校網(wǎng)絡直播教學評分表的開發(fā)和驗證，分別為：擬定初步指標與內(nèi)涵、效度驗證與信度驗證（詳見圖1）。

第一階段：初步擬定指標與內(nèi)涵。這一階段我們在廣泛的文獻回顧基礎上，逐步構(gòu)建起高職院校網(wǎng)絡直播教學評價表的框架與內(nèi)涵。首先，我們參考教學觀察評價標準的相關(guān)文獻，確定網(wǎng)絡直播教學的觀察維度和具體觀察點;其次，我們需要了解網(wǎng)絡環(huán)境下特有的教學評價指標。在2019新冠肺炎疫情之前，網(wǎng)絡直播教學在高校的應用并不普遍，相關(guān)的研究也不多。我們在萬方數(shù)據(jù)平臺上以“網(wǎng)絡直播”、“直播教學”為關(guān)鍵詞、時間跨度為近10年（2010-2019），搜索到的CSSCI期刊論文僅為31篇（搜索日期2020年3月5日），尚未查詢到關(guān)于網(wǎng)絡直播教學品質(zhì)評估的研究。不過，我國高校在線課程已有近20年的發(fā)展歷程，學術(shù)界對在線課程的質(zhì)量認定開展了多角度的研究，其中不乏對質(zhì)量認定標準的探索。這些研究成果為網(wǎng)絡直播教學評價指標的確定提供了寶貴的線索;再次，作為高等教育和職業(yè)教育結(jié)合體的高等職業(yè)教育，不僅要滿足高等教育的基本要求，更要體現(xiàn)職業(yè)教育的鮮明特色。我們進一步查閱國家關(guān)于高職院校教學改革的相關(guān)指導性文件，并提煉出高等職業(yè)教育線上教育的特有元素。

第二階段：效度驗證（validity testing）。根據(jù)Moskal與Leydens的建議，本研究從建構(gòu)效度（construct validity）和表面效度（face validity）兩方面驗證評價表的效度。建構(gòu)效度是指一個測驗實際測驗其宣稱或標榜要測驗的項目的程度。在本研究中，是指評價表能夠反映高職院校網(wǎng)絡直播教學品質(zhì)的程度;表面效度是指測試工具能否讓測量者明確需要測試的內(nèi)容[5]。在本研究中，則是指評分表的文字表述是否能夠使評分者和被評分者清楚地理解評分表的評價指標、特征內(nèi)涵和計分標準等內(nèi)容。

為了驗證和提高評價表的建構(gòu)效度和表面效度，本研究在擬定評價表初稿后，以開放式問卷的方式，征求教師和學生的意見。首先，我們向高職院校教學管理人員，教師發(fā)展專業(yè)人員及有網(wǎng)絡直播教學經(jīng)驗的一線教師征求意見。開放式問卷包含四方面問題：（1）評價表是否涵蓋了網(wǎng)絡直播教學的主要評價指標？是否有需要補充的一級或二級指標？（2）各指標下不同等級的特征描述是否清晰易懂？有哪些地方需要修改？（3）該評價表能否讓教師理解優(yōu)質(zhì)網(wǎng)絡直播教學的特征以及網(wǎng)絡直播教學中需要注意的問題？有哪些需要補充的嗎？（4）您對此評價表的內(nèi)容和使用還有哪些建議？其中3位教學管理人員被邀請依據(jù)評分表（初稿），對4個不同學科的網(wǎng)絡直播教學錄像進行嘗試性評分，就評分表架構(gòu)、文字表述及記分方式等提出更為深入細致的修改意見。

作為網(wǎng)絡直播教學的直接受眾，學生在網(wǎng)絡直播教學過程中的體驗和感受及其對網(wǎng)絡直播教學的期待，也是評分表效度驗證的重要資源。本研究繼而向高職院校學生展開網(wǎng)絡問卷調(diào)查，問卷設一個開放式問題，即“你喜歡怎樣的網(wǎng)絡直播教學？能給老師一些建議嗎？”，被調(diào)查者需要提出3條建議。

本研究在歸納整理來自教學管理人員、教師和學生的建議和意見后，對高職院校網(wǎng)絡直播教學評價表（初稿）進行了幾輪修改，最后形成高職院校網(wǎng)絡直播教學評價表（正式稿）。

第三階段：信度驗證（reliability testing）。本研究選取18段（每段40—120分鐘）高職院校教師網(wǎng)絡直播教學錄像為樣本，錄像來源于工程、商貿(mào)、藝術(shù)、語言、公共基礎等多個學科。3位有網(wǎng)絡直播經(jīng)驗的高職院校督導充當評分者，正式評分之前，3位評分者就評分表的使用，參加了1個小時的線上研討和嘗試性評分練習。隨后，3位評分者對照高職院校網(wǎng)絡直播教學評價表（正式稿）對上述18段直播教學錄像獨立給出評分，再經(jīng)由評分者間一致性比例（Percentage Agreement）和組內(nèi)相關(guān)系數(shù)（Intraclass Correlation Coefficients，簡稱ICC）兩種統(tǒng)計方法驗證評分表的信度。

三、研究結(jié)果

（一）高職院校網(wǎng)絡直播教學評價表指標及內(nèi)涵

在課堂觀察的指標方面，我國著名教育學家崔允漷[6]團隊在豐富的理論和實踐經(jīng)驗基礎上開發(fā)的《課堂觀察框架》，對各層級的教育均有指導作用。該框架以教師教學發(fā)展為出發(fā)點，通過學生學習、教師教學、課程性質(zhì)和課堂文化4個維度，20個視角，68個觀察點，回答“學生在課堂中是怎樣學習的”“是否有效”“教師是如何教的”“教學行為是否適當”等教學中的關(guān)鍵問題，是幫助教師開展教學研討和反思的有效工具。

在線上課程的品質(zhì)評價方面，楊曉宏[7]等對國內(nèi)在線課程質(zhì)量認定研究進行了回顧梳理后發(fā)現(xiàn)，課程資源質(zhì)量、課程實施質(zhì)量、用戶學習及學習平臺保障是目前在線課程質(zhì)量認定指標體系建構(gòu)的主要維度。

在職業(yè)教育的層面，國務院于2019年1月24日印發(fā)實施的《國務院關(guān)于印發(fā)國家職業(yè)教育改革實施方案的通知》[8]（簡稱“職教20條”），對我國職業(yè)教育提出了全方位的設想，是指引職業(yè)教育發(fā)展的重要文件。《通知》中指出的深化校企合作、推進產(chǎn)教融合的思想，更是為高職院校教學改革指明了方向。此外，由教育部主辦的全國職業(yè)院校教學能力比賽是高職院校教學領(lǐng)域的最高賽事，已經(jīng)連續(xù)舉辦了8年，其比賽規(guī)則與評分標準經(jīng)過幾輪修改后，已較為成熟和穩(wěn)定，體現(xiàn)了國家對高等職業(yè)教育的期望和要求。2019年全國職業(yè)院校技能大賽教學能力比賽評分指標包括5個指標，分別為：目標與學情、內(nèi)容與策略、實施與成效、教學素養(yǎng)和特色創(chuàng)新[9]。

如前所述，本研究通過對課堂觀察、高校在線課程評價標準相關(guān)文獻的回顧梳理，及對高等職業(yè)教育教學改革相關(guān)文件和教學技能比賽規(guī)則的解讀，初步擬定高職院校網(wǎng)絡直播教學評價表，包含5個維度和12個指標，每個評價指標下區(qū)分4個等級，并詳細描述了各個指標下不同等級的特征，由此生成的高職院校網(wǎng)絡直播教學設計評價表初稿。

（二）評分表效度

1. 來自管理人員及一線教師的反饋

39位教學管理人員及一線教師填寫了開放性問卷，對高職院校網(wǎng)絡直播教學評價表（初稿）提出了修改意見。多數(shù)受訪者認為此評價表（初稿）指標設置合理，基本涵蓋了直播教學的品質(zhì)標準，各指標的內(nèi)涵描述詳細清晰，有助于教師理解優(yōu)質(zhì)網(wǎng)絡直播教學的特征并據(jù)此作出相應的反思和改進。同時，受訪者也對評價表（初稿）的進一步優(yōu)化提出了許多有建設性的修改意見。本研究首先將39位受訪教師按T1—T39的序列編號，然后采用質(zhì)性資料的主題分析法[10]，對問卷資料進行開放式編碼和反復歸類后，將受訪者提出的建議歸納為以下6個主題和18個子主題（如表1）。

（1）教學設計與實施。20人次的反饋涉及教學的設計與實施，主要體現(xiàn)在教學方法（10人次）、教學目標（5人次）、教學評價（4人次）等三個方面。在教學方法方面，8人次的觀點認為線上教學不具備實踐和操作的環(huán)境，難以實現(xiàn)“做中學”，更難以將“真實的工作任務”作為知識和技能的載體。在教學目標方面，對教學目標“高階性”的質(zhì)疑相對集中。一方面，受訪者認為“高階性”的含義比較模糊，不容易形成共識;另一方面，他們認為在概論或語言等以基礎知識講授為主的課程中，很難體現(xiàn)“高階性”。在教學評價方面，受訪者認為對學生掌握程度的即時評估難以在有限的課堂教學時間中實現(xiàn)，需要利用課后時間，通過分析學生作業(yè)的完成情況或后臺的數(shù)據(jù)得出結(jié)果。

（2）直播平臺的選用。17人次的反饋涉及直播平臺的選用，主要體現(xiàn)在平臺的功能（7人次）、平臺的網(wǎng)速（7人次）和平臺的操作（3人次）等三個方面。首先，受訪者認可平臺的功能對教學效果的直接影響。目前老師們選用的直播平臺雖然都能實現(xiàn)實時音視頻傳輸，但是在教學功能上差異較大。一些以社交或辦公為主的平臺教學功能并不完備，課堂互動、學習評價和數(shù)據(jù)分析等受到很大的局限;而一些教學功能較強的平臺在此次疫情中因無法承受突然增加的直播流量，普遍出現(xiàn)服務器超載當機。因此選擇流暢而又具備強大教學功能的平臺是對教師的一個考驗。其次，網(wǎng)路傳輸速度作為直播教學重要的保障條件受到不少受訪者的關(guān)注。受訪者在肯定網(wǎng)絡通暢重要性的同時，認為，網(wǎng)絡速度受外界影響較大，不是教師本人所能決定和控制的。受訪者對于網(wǎng)速是否應納入直播教學的評價指標莫衷一是。此外，部分受訪者認為教師應在熟悉平臺功能的基礎上熟練操作直播平臺及相關(guān)的軟件，充分發(fā)揮平臺的功能，提高教學的效率和效果。

（3）評分表結(jié)構(gòu)與內(nèi)容。13人次的反饋涉及評分表的結(jié)構(gòu)與內(nèi)容，其中，4人次認為不同級別之間區(qū)分度不高，操作性不強，4人次認為評分表中應加入學生評教維度，2人次認為此評分表過于復雜，2人次認為應設定各維度的權(quán)重。

（4）課堂監(jiān)督與管理。11人次的反饋涉及課堂監(jiān)測與管理。學生的在線學習狀態(tài)直接影響學習效果，但是在網(wǎng)絡直播教學中，教師與學生無法面對面，無法直觀地掌握學生的狀態(tài)，學生是否準時進入直播間上課，是否專注于學習內(nèi)容，是否中途退堂，都需要老師采用新的手段予以監(jiān)督。受訪者一方面認為對學生學習狀態(tài)的監(jiān)督非常重要，需要列入網(wǎng)絡直播教學的評價指標，另一方面也表示實施有效的線上監(jiān)督是一個巨大的挑戰(zhàn)。一些受訪者表示大學生已是成年人，過于直接的監(jiān)督控制顯得不信任學生，可能會引起學生反感。一些有經(jīng)驗的教師表示，除了采用點名、簽到等常規(guī)的監(jiān)督手段之外，可以將經(jīng)常性地請學生答題、視頻連線、獎勵積分等互動活動自然地融入教學環(huán)節(jié)中，不僅能監(jiān)督到學生的學習狀態(tài)，還能增加與學生的互動，并及時了解學生對內(nèi)容的掌握程度，起到過程性評價的作用。

（5）課程資源建設。6人次的反饋涉及課程資源的建設。受訪者認為網(wǎng)絡直播教學的品質(zhì)有賴于課程資源的品質(zhì)，如果教師事先將優(yōu)質(zhì)的課程資源進行有序地組織或已經(jīng)搭建了較為完善的課程資源平臺，通過直播教學加深對資源的理解和應用，在線課程資源與直播教學兩者相得益彰，能夠大大提升教學的效果。相反，如果事先的資源建設不充分，只是將傳統(tǒng)的課堂教學復制到線上，則會限制教學活動的展開，對教學效果產(chǎn)生不良影響。

（6）課后學習與輔導。5人次的反饋涉及課后學習與輔導。受訪者認為直播課堂只是整個教學過程中的一個環(huán)節(jié)，其效果很大程度上取決于直播前的準備及課后的輔導，所以應該增加對直播課前后環(huán)節(jié)的評估。如果學生事先對直播內(nèi)容有充分的準備，學生在直播課上的參與度和教學效果會大大提高。另外，網(wǎng)絡直播不同于傳統(tǒng)課堂，教師難以直觀地感受到學生對內(nèi)容的理解和掌握程度，尤其需要通過課后作業(yè)或練習來確認教學效果，必要時應對個別學生開展個性化的輔導。

2. 來自學生的反饋

本研究收到學生問卷249份，其中男生155名（62.25%），女生94名（37.75%），大一學生171名（69.67%），大二學生78名（31.33%）。每位受訪學生都有參與網(wǎng)絡直播教學的體驗，問卷請他們針對網(wǎng)絡直播教學給老師提出3條建議。問卷星調(diào)查平臺（https：//www.wjx.cn/）的“關(guān)鍵詞分析”結(jié)果如表2所示。

通過對高頻關(guān)鍵詞所在語句的逐條細讀，我們發(fā)現(xiàn)學生對網(wǎng)絡直播教學的建議主要體現(xiàn)在教學過程、課堂氛圍、課程內(nèi)容和網(wǎng)絡環(huán)境4個方面。

（1）在教學過程方面，“互動”這個關(guān)鍵詞出現(xiàn)頻率最高（82次），學生非常希望網(wǎng)絡直播教學中能有更多的師生互動或生生互動。學生還希望教師能在教學中合理分配時間（27次），不要拖堂，多留一些思考和練習的時間，同時希望老師能放慢教學的節(jié)奏（26次），語速不要太快。

（2）在課堂氛圍方面，學生希望教師更加有趣幽默（60次），希望直播課堂營造出生動活潑（17次）、輕松愉快（11次）的氛圍。

（3）在課程內(nèi)容方面，學生對教學中視頻（39次）資料的使用提出了不少建議。他們一方面希望教師能多使用視頻資料，幫助學生更好地理解抽象或難度較高的內(nèi)容;另一方面，他們希望視頻的時間不要太長，因為太長的視頻不僅需要耗費很多流量，而且觀看的效果也不好。還有不少學生希望老師提供上課的PPT（15次）和可回放的教學錄像，便于課后復習和整理筆記。此外，學生希望課程內(nèi)容更加豐富和充實（12次）。

（4）在網(wǎng)絡環(huán)境方面，學生對平臺的選用（15次）和網(wǎng)絡速度（17次）表達了自己的想法，他們希望老師們能夠使用統(tǒng)一的直播平臺，避免下載多個直播軟件，最好選用有回放功能的直播平臺，并且希望直播平臺足夠流暢，不要頻繁出現(xiàn)卡頓現(xiàn)象。

3. 高職院校網(wǎng)絡直播教學評價表（正式表）

本研究結(jié)合上述來自教學管理人員、一線教師和學生的意見，對評價表初稿進行反復調(diào)整和修改，最終形成高職院校網(wǎng)絡直播教學評價表（正式稿），詳見表3。正式稿與初稿之間主要差異體現(xiàn)在以下幾個方面：

（1）評價維度的調(diào)整。為了增加評價表的表面效度，即讓評分者和教師更清楚地把握評價的觀察點和指標內(nèi)涵，本研究進一步參照沈毅力、崔允漷[11]的課堂觀察框架，將正式稿調(diào)整為學生學習、教師教學、課程建設和課堂文化四個維度。其中學生學習維度下設有學習準備、學習狀態(tài)、互動交流三個指標;教師教學維度下設有教學準備、教學過程、監(jiān)督管理和課后輔導四個指標;課程建設維度下設有教學目標、課程資源和直播平臺三個指標;課堂文化維度下設有創(chuàng)新思維和關(guān)系氛圍兩個指標。

（2）評價指標的重新歸類和增刪。根據(jù)教學管理人員、一線教師和學生的反饋意見，結(jié)合評價維度的調(diào)整，我們對部分二級指標進行了重新定位和增刪。

（3）措辭的修改。鑒于較多受訪者認為初稿教學目標維度下“高階性”指標概念模糊，不易形成共識，且在基礎課程中難以實現(xiàn)，正式表中不再將“高階性”作為一個獨立的指標，而是在課堂文化維度下以“注重培養(yǎng)學生智力和思維能力”體現(xiàn);由于較多受訪者認為直播教學中“做中學”的可行性較低，正式表中不再出現(xiàn)此字眼，而是在課堂文化維度下，以“鼓勵學生討論、探究真實問題”作為評判優(yōu)秀的標準。

（三）評分表信度

本研究邀請3位有豐富高職院校教學經(jīng)驗和網(wǎng)絡直播教學經(jīng)驗的校級教學督導作為評分者，根據(jù)評價表正式稿對18位高職院校教師提供的直播錄像進行獨立評分。

首先，我們計算3位評分者的一致性比例（percentage agreement）。以其中一個教學錄像為例，3位評分者對指標1（學習準備）的評分結(jié)果分別為2分、3分、3分，可見有1位評分者與其他2位評分者有不同意見，于是我們在這一指標下標注“不同數(shù)=1”;又如，3位評分者對上述教學錄像的指標3（交流互動）分別給出3分、3分、3分， 3位評分者意見一致，我們在此處標注“不同數(shù)=0”;如果3位評分者在某一指標上給出評分互不相同，則“不同數(shù)=2”。以此類推，如果12個指標下的不同數(shù)分別為1、1、0、0、1、1、1、0、0、0、1、0，將所有不同數(shù)加總，和為6。再利用公式（1-6/36）*100%，得出3位評分者對該教學錄像的評分者間一致性比例為83.33%。詳見表4。

根據(jù)以上計算方法，在本研究中3位評分者對18個教學錄像的評分意見一致性比例分別83.33%、75.00%、83.33%、75.00%、80.56%、75.00%、72.22%、86.11%、77.78%、80.56%、75.00%、83.33%、77.78%、69.44%、61.11%、77.78%、80.56%、58.33%，得評分者間一致性平均值位76.23%。說明評分結(jié)果具有良好的評分者間一致性。

接著，我們采用IBM SPSS 23統(tǒng)計軟件對評分結(jié)果進行組內(nèi)相關(guān)系數(shù)（ICC）分析。根據(jù)Terry K. Koo與Mae Y. Li[12]的建議，選擇“雙向混合”模型，“絕對一致”類型，置信區(qū)間為95%。分析三位評分者對18個教學錄像的平均分數(shù)，計算結(jié)果顯示三位評分者的ICC為0.815，95%置信區(qū)間的上下限分別為0.601和0.925。F值為5.62，使用真值0的F檢驗自由度df1=17，df2=34，顯著性Sig<0.001。Terry K. Koo與Mae Y. Li認為，當樣本數(shù)量大于30時，組內(nèi)相關(guān)系數(shù)低于0.5表示測量信度偏低，介于0.5～0.75之間表示測量信度中等，介于0.75～0.9之間表示測量信度良好，高于0.9表示測量信度優(yōu)秀。

以上評分者間一致性比例（76.23%）和組內(nèi)相關(guān)系數(shù)（0.815）的計算結(jié)果表明，本研究開發(fā)的高職院校網(wǎng)絡直播教學評價表具有可接受、良好的信度，可以在一定程度上保障評分結(jié)果的可靠性和一致性。

四、討論

2020春季，全國范圍內(nèi)的大規(guī)模網(wǎng)絡直播教學固然是為了防控新冠肺炎疫情而被迫催生。但是，不難想象，隨著高職院校產(chǎn)教融合的深入，對社會人士的持續(xù)擴招以及高職院校社會培訓功能的不斷增強，網(wǎng)絡直播教學以其不受地域限制的強大優(yōu)勢，必將成為高職教學中的重要組成部分。因此，建立一套網(wǎng)絡直播教學的質(zhì)量標準，保障網(wǎng)絡直播教學品質(zhì)的同時，為教師開展網(wǎng)絡直播教學提供必要的指導是當前一項重要的任務。本研究希望通過高職院校網(wǎng)絡直播教學評價表的開發(fā)在一定程度上滿足以上需求。

本研究在參考數(shù)十個線上教學評價表及回顧相關(guān)文獻和文件的基礎上，確定了高職院校網(wǎng)絡直播教學評價表初稿。在廣泛吸收高職教育專家、有網(wǎng)絡直播經(jīng)驗的教師及學生的意見，并對初稿進行了若干輪的修改后，形成有良好結(jié)構(gòu)效度和表面效度的高職院校網(wǎng)絡直播教學評價表的最終稿。最后，通過評分者間一致性計算和組內(nèi)相關(guān)系數(shù)分析，驗證該評分表具有良好的信度，可以確保評分結(jié)果的可靠性與一致性。

該評分表雖可作為網(wǎng)絡直播教學質(zhì)量監(jiān)控和評比的工具，但更希望讓高職院校教師通過此表獲得關(guān)于網(wǎng)絡直播教學的必要的認知，為其開展或改進網(wǎng)絡直播教學提供有效的參考和指導。

該評分表開發(fā)于新冠肺炎疫情暴發(fā)期間，廣大教師為了配合疫情防控而投入網(wǎng)絡直播教學，對網(wǎng)絡直播教學的準備和經(jīng)驗相對不足，平臺的選擇和設備的使用上也稍欠熟練，包括研究團隊對網(wǎng)絡直播教學的前期探索也很不充分，必將導致該評分表存在不足之處。期待在后續(xù)的使用中，得到更多的反饋意見，使之更加完善。

參考文獻：

[1] 房風文，張喜才. 我國高等職業(yè)教育與經(jīng)濟發(fā)展的匹配性分析[J]. 江蘇高教，2019（6）：99-104. DOI：10.13236/j.cnki.jshe.2019.06.017.

[2] Allsopp， D. H.， DeMarie，D.， Alvarez-McHatton，P.，& Doone，E. Bridging the gap between theory and practice：Connecting courses with field experiences[J]. Teacher Education Quarterly，2006，33（1）：19-35.

[3] 張志恒，陳旭，葉梅. 以發(fā)展為導向的高校教師綜合評價指標體系構(gòu)建[J]. 重慶工學院學報（社會科學版），2009，23（3）：159-161. DOI：10.3969/j.issn.1674-8425.2

009.03.045.

[4] Moskal，B. M.，& Leydens，J. A. Scoring rubric development：Validity and reliability[J]. Practical Assessment，Research & Evaluation，2000（7）：71-81.

[5] Strauss，Milton E.，and Gregory T. Smith. Construct validity：Advances in theory and methodology[J]. Annual review of clinical psychology，2009（5）：1-25.

[6] 沈毅，林榮湊，吳江林. 課堂觀察框架與工具[J]. 當代教育科學，2007（24）：17-21.DOI：10.3969/j.issn.1672-2221.2007.24.003.

[7] 楊曉宏，周海軍，周效章. 國內(nèi)在線課程質(zhì)量認定研究述評[J]. 電化教育研究，2019（6）：50-57. DOI：10.13811/j.cnki.eer.2019.06.007.

[8] 國務院關(guān)于印發(fā)國家職業(yè)教育改革實施方案的通知[EB/OL]. （2019-02-13）[2020-05-08]. http：//www.gov.cn/zhengce/content/2019-02/13/content_5365341.htm.

[9] 2019年全國職業(yè)院校技能大賽教學能力比賽方案[EB/OL]. （2019-08-19）[2020-05-08]. http：//www.moe.gov.cn/s78/A07/A07_gggs/s8467/201908/t20190819_395002.html.

[10] Fereday， Jennifer， and Eimear Muir-Cochrane. Demonstrating rigor using thematic analysis：A hybrid approach of inductive and deductive coding and theme development[J]. International journal of qualitative methods，2006，5（1）：80-92.

[11] 沈毅，崔允都. 課堂觀察：走向?qū)I(yè)的聽評課[M]. 上海：華東師范大學出版社，2002：104-107.

[12] Koo，Terry K.，and Mae Y. Li. A guideline of selecting and reporting intraclass correlation coefficients for reliability research[J]. Journal of chiropractic medicine，2016，15（2）：155-163.