周鵬 李環(huán) 劉佩文 吳砥

摘要：以教育云為載體向廣大基礎(chǔ)教育師生集中提供數(shù)字化教育資源和在線(xiàn)教育應(yīng)用對(duì)提升教育質(zhì)量、促進(jìn)教育公平具有重要意義。而如何構(gòu)建一套量化評(píng)價(jià)教育云服務(wù)績(jī)效的指標(biāo)和方法，用于評(píng)價(jià)教育云服務(wù)對(duì)教育教學(xué)與教育管理的應(yīng)用績(jī)效，成為我國(guó)教育云推廣中的關(guān)鍵問(wèn)題。面向教育云服務(wù)績(jī)效評(píng)價(jià)問(wèn)題，該研究設(shè)計(jì)了基于教育云平臺(tái)大數(shù)據(jù)的教育云服務(wù)績(jī)效評(píng)價(jià)指標(biāo)和方法體系，首先分析了教育云服務(wù)內(nèi)容和服務(wù)過(guò)程，其次從提升教育質(zhì)量和促進(jìn)教育公平兩個(gè)維度提出了教育云績(jī)效評(píng)價(jià)目標(biāo)和評(píng)價(jià)指標(biāo)體系，再以教育云平臺(tái)大數(shù)據(jù)為來(lái)源設(shè)計(jì)了評(píng)價(jià)指標(biāo)的加工方法，最后以W市教育云為例驗(yàn)證了本研究所提出的績(jī)效評(píng)價(jià)指標(biāo)、方法的科學(xué)性和有效性。

關(guān)鍵詞：教育云；公共服務(wù)；教育大數(shù)據(jù)；績(jī)效評(píng)價(jià)

《教育信息化“十三五”規(guī)劃》提出要“積極利用云計(jì)算、大數(shù)據(jù)等新技術(shù)，創(chuàng)新資源平臺(tái)、管理平臺(tái)的建設(shè)、應(yīng)用模式”。從2012年以來(lái)，我國(guó)各級(jí)教育行政部門(mén)開(kāi)始嘗試以教育云為載體集中提供教育資源和教育應(yīng)用，以提升教育服務(wù)質(zhì)量、降低服務(wù)成本，各地教育云平臺(tái)建設(shè)風(fēng)起云涌，為基礎(chǔ)教育提供了豐富的教育資源、多樣化的教育教學(xué)和教育管理應(yīng)用服務(wù)。隨著教育云服務(wù)范圍的不斷擴(kuò)大，政府對(duì)教育云平臺(tái)的投入也不斷增長(zhǎng)。而投入大量資源建設(shè)的教育云平臺(tái)能否為區(qū)域基礎(chǔ)教育的教育教學(xué)和教育管理提供有效的服務(wù)，產(chǎn)生顯著、可度量的績(jī)效，成為各級(jí)教育行政部門(mén)在建設(shè)和推廣教育云平臺(tái)過(guò)程中重點(diǎn)關(guān)注的熱點(diǎn)。而當(dāng)前教育云建設(shè)實(shí)踐中測(cè)算教育云服務(wù)提供的資源數(shù)量、服務(wù)種類(lèi)、師生注冊(cè)量、資源訪問(wèn)量等指標(biāo)的評(píng)價(jià)方法，既不能反映教育云平臺(tái)的實(shí)際績(jī)效，也不能成為購(gòu)買(mǎi)教育云服務(wù)決策、制定教育云平臺(tái)發(fā)展策略的依據(jù)。因此，從教育云服務(wù)的內(nèi)容和過(guò)程出發(fā)，構(gòu)建一套量化評(píng)價(jià)教育云服務(wù)績(jī)效的評(píng)價(jià)指標(biāo)和評(píng)價(jià)方法，成為擴(kuò)展我國(guó)教育云服務(wù)覆蓋面亟待解決的關(guān)鍵問(wèn)題。

“績(jī)效”的概念源于管理學(xué)，作為一項(xiàng)政府向基礎(chǔ)教育提供的公共服務(wù)，教育云服務(wù)通過(guò)支撐特定區(qū)域的師生、學(xué)校的教育教學(xué)和教育管理活動(dòng)，使師生產(chǎn)生滿(mǎn)意效果并提升學(xué)生綜合素養(yǎng)水平，從而產(chǎn)生績(jī)效。面向教育云服務(wù)績(jī)效評(píng)價(jià)問(wèn)題，本研究首先歸納了教育云評(píng)價(jià)相關(guān)的現(xiàn)有研究，其次分析了教育云服務(wù)的服務(wù)內(nèi)容、服務(wù)過(guò)程和大數(shù)據(jù)產(chǎn)生過(guò)程，并基于教育云服務(wù)的績(jī)效評(píng)價(jià)目標(biāo)和教育云平臺(tái)大數(shù)據(jù)的特征設(shè)計(jì)了教育云績(jī)效評(píng)價(jià)指標(biāo)體系，再?gòu)慕逃破脚_(tái)大數(shù)據(jù)的內(nèi)容出發(fā)設(shè)計(jì)了面向評(píng)價(jià)的大數(shù)據(jù)加工方法，最后以中部W市教育云的績(jī)效評(píng)價(jià)項(xiàng)目為實(shí)例驗(yàn)證了本研究設(shè)計(jì)的評(píng)價(jià)指標(biāo)體系和大數(shù)據(jù)加工方法的有效性。

一、研究綜述

本研究從在線(xiàn)學(xué)習(xí)的效果評(píng)價(jià)、教育信息化公共服務(wù)績(jī)效評(píng)價(jià)和信息化輔助課堂教學(xué)效果評(píng)價(jià)三個(gè)領(lǐng)域歸納教育云績(jī)效評(píng)價(jià)的理論基礎(chǔ)。

在線(xiàn)學(xué)習(xí)的效果評(píng)價(jià)領(lǐng)域，對(duì)在線(xiàn)學(xué)習(xí)的評(píng)價(jià)往往從服務(wù)和應(yīng)用效果兩方面展開(kāi)評(píng)價(jià)。從提供服務(wù)的角度，Cann設(shè)計(jì)了對(duì)內(nèi)容和鏈接評(píng)估在線(xiàn)學(xué)習(xí)資源內(nèi)容和質(zhì)量的方法以評(píng)價(jià)在線(xiàn)學(xué)習(xí)資源的使用情況，Misook等以認(rèn)知負(fù)荷理論評(píng)估不同的在線(xiàn)學(xué)習(xí)工具對(duì)學(xué)生學(xué)習(xí)成效的影響，表明較小的認(rèn)知負(fù)荷能提升學(xué)生的學(xué)習(xí)成效，Hosie等設(shè)計(jì)了基于教學(xué)法、資源和傳遞策略三方面的評(píng)價(jià)方法，用以評(píng)價(jià)高等教育在線(xiàn)教學(xué)的課件設(shè)計(jì)質(zhì)量；更多的研究從學(xué)生的應(yīng)用效果的角度展開(kāi)，Griff等從考試成績(jī)、課堂成績(jī)、作業(yè)表現(xiàn)等方面評(píng)價(jià)了學(xué)生使用在線(xiàn)平臺(tái)學(xué)習(xí)兩門(mén)課程的效果；此外，Reevesi提出了在線(xiàn)學(xué)習(xí)環(huán)境的三種評(píng)價(jià)組合策略：認(rèn)知評(píng)估、效果評(píng)估和組合評(píng)估?？梢?jiàn)，包括資源內(nèi)容、質(zhì)量在內(nèi)的在線(xiàn)學(xué)習(xí)服務(wù)的評(píng)價(jià)方法和包括學(xué)生作業(yè)表現(xiàn)、考試成績(jī)?cè)趦?nèi)的應(yīng)用效果的評(píng)價(jià)方法，是兩類(lèi)主要的在線(xiàn)學(xué)習(xí)平臺(tái)評(píng)價(jià)方法。

教育信息化公共服務(wù)的績(jī)效評(píng)價(jià)領(lǐng)域，大多是從各種視角構(gòu)建了評(píng)價(jià)概念模型。王海等從基礎(chǔ)設(shè)施建設(shè)、資源建設(shè)、應(yīng)用程度、主體發(fā)展和保障程度五個(gè)維度構(gòu)建了農(nóng)村基礎(chǔ)教育信息化EEE評(píng)價(jià)模型，用以評(píng)價(jià)農(nóng)村基礎(chǔ)教育信息化發(fā)展水平；顧小清提出的區(qū)域教育信息化績(jī)效的三維評(píng)估模型，從視角維度、發(fā)展維度和角色維度提出了區(qū)域教育信息化評(píng)估概念模型；李文光等設(shè)計(jì)了包括教育信息化建設(shè)、信息技術(shù)與教學(xué)融合、資源共建共享、教師發(fā)展、學(xué)生培養(yǎng)、政策和機(jī)制等6個(gè)一級(jí)指標(biāo)、27個(gè)二級(jí)指標(biāo)和184個(gè)三級(jí)指標(biāo)的指標(biāo)體系。雖然構(gòu)建了較為全面的評(píng)價(jià)概念模型，但是這些研究并未進(jìn)一步詳細(xì)探討作為評(píng)價(jià)證據(jù)的指標(biāo)數(shù)據(jù)的采集方法，也未能進(jìn)一步將這些概念模型具象化并通過(guò)實(shí)施評(píng)價(jià)驗(yàn)證概念模型。

教育云平臺(tái)同樣也用作支持信息化課堂教學(xué)，而在課堂教學(xué)評(píng)價(jià)領(lǐng)域，現(xiàn)有的研究往往從學(xué)生行為和應(yīng)用效果出發(fā)設(shè)計(jì)了評(píng)價(jià)方法。早在2011年，孫沛華就通過(guò)文獻(xiàn)綜述，提出了包括教師、講授、交流和實(shí)踐在內(nèi)的信息化教學(xué)評(píng)價(jià)框架；左明章等設(shè)計(jì)的基于多元智能理論的學(xué)生學(xué)習(xí)績(jī)效評(píng)價(jià)方法，以任務(wù)驅(qū)動(dòng)的方式評(píng)價(jià)課堂教學(xué)中的活動(dòng)、項(xiàng)目和學(xué)生的學(xué)習(xí)績(jī)效；余艷等基于社會(huì)交互模型將學(xué)生的課堂動(dòng)作量化為可分析的行為矩陣，從測(cè)試和觀察兩個(gè)維度開(kāi)展信息化課堂的評(píng)價(jià)。同樣，信息化課堂教學(xué)的評(píng)價(jià)研究能為教育云平臺(tái)支撐課堂教學(xué)的績(jī)效評(píng)價(jià)提供理論支持。

設(shè)計(jì)基于大數(shù)據(jù)的教育云平臺(tái)績(jī)效評(píng)價(jià)模型與方法，就要綜合在線(xiàn)學(xué)習(xí)評(píng)價(jià)理論、教育信息化評(píng)價(jià)理論和信息化課堂教學(xué)評(píng)價(jià)理論，結(jié)合教育云服務(wù)的內(nèi)容與方式，提出具體的評(píng)價(jià)理論、模型和方法。

二、教育云的服務(wù)內(nèi)容、服務(wù)過(guò)程和評(píng)價(jià)指標(biāo)

本研究通過(guò)對(duì)國(guó)內(nèi)多個(gè)教育云平臺(tái)的調(diào)查，歸納了當(dāng)前我國(guó)教育云的主要服務(wù)內(nèi)容、服務(wù)過(guò)程和平臺(tái)大數(shù)據(jù)產(chǎn)生過(guò)程。

（一）教育云服務(wù)內(nèi)容

教育云是以云技術(shù)匯聚海量教育資源和各類(lèi)教學(xué)應(yīng)用程序，通過(guò)互聯(lián)網(wǎng)提供給教師、學(xué)生和學(xué)校管理者，用于支撐課堂教學(xué)、備課教研、自主學(xué)習(xí)、學(xué)校管理等活動(dòng)，旨在提升學(xué)生的能力和素養(yǎng)的在線(xiàn)平臺(tái)。通過(guò)對(duì)國(guó)內(nèi)多個(gè)教育云平臺(tái)進(jìn)行調(diào)查，發(fā)現(xiàn)海量數(shù)字化學(xué)習(xí)資源服務(wù)、課堂教學(xué)服務(wù)、自主學(xué)習(xí)服務(wù)、教師教研服務(wù)和學(xué)校管理服務(wù)是教育云提供的主要服務(wù)，如圖1所示。

1.海量數(shù)字化學(xué)習(xí)資源服務(wù)：教育云平臺(tái)的核心服務(wù)內(nèi)容，與傳統(tǒng)的教育資源分發(fā)方式不同，教育云平臺(tái)具有海量、隨時(shí)隨地獲取的特性，這種資源服務(wù)模式能以更低的成本覆蓋更廣泛的區(qū)域；

2.課堂教學(xué)服務(wù)：支持課堂教學(xué)是教育云平臺(tái)的主要服務(wù)，基于資源服務(wù)和工具支持教師備課、上課、分組討論、隨堂測(cè)試和課后作業(yè)等教學(xué)活動(dòng)，旨在提升課堂教學(xué)質(zhì)量；

3.自主學(xué)習(xí)服務(wù)：支持學(xué)生自主學(xué)習(xí)也是教育云平臺(tái)的主要服務(wù)，同樣是基于資源服務(wù)和工具支持學(xué)生根據(jù)自身的需求獲取、訪問(wèn)學(xué)習(xí)資源，并開(kāi)展在線(xiàn)學(xué)習(xí)交互；

4.教師教研服務(wù)：旨在支持教師備課、提升教師能力和水平的服務(wù)，基于教育云平臺(tái)上的教師交互和資源分享，為教師提供備課、教學(xué)的同儕建議、示范課程、資源共享和協(xié)同研究等服務(wù)；

5.學(xué)校管理服務(wù)：基于師生基礎(chǔ)數(shù)據(jù)和師生日常教學(xué)活動(dòng)，為學(xué)校日常管理流程和學(xué)校管理決策提供支持。

當(dāng)前，各區(qū)域教育云為中小學(xué)師生、學(xué)校提供了這五類(lèi)服務(wù)，旨在提升學(xué)生能力素養(yǎng)和學(xué)校管理水平；另一方面，師生和學(xué)校應(yīng)用這五類(lèi)服務(wù)的過(guò)程也是教育云服務(wù)產(chǎn)生績(jī)效的過(guò)程。

（二）教育云服務(wù)過(guò)程和平臺(tái)大數(shù)據(jù)產(chǎn)生過(guò)程

各地教育云平臺(tái)在投入資源、建設(shè)運(yùn)營(yíng)方式、師生應(yīng)用模式等方面存在較大的差異，本研究通過(guò)對(duì)多個(gè)教育云平臺(tái)的調(diào)查，總結(jié)出教育云平臺(tái)“服務(wù)一應(yīng)用一產(chǎn)出”過(guò)程和大數(shù)據(jù)產(chǎn)生過(guò)程，如圖2所示。

從提供教育云服務(wù)到服務(wù)績(jī)效產(chǎn)出，教育云服務(wù)包含從教育云服務(wù)內(nèi)容供給、師生應(yīng)用教育云服務(wù)過(guò)程和教育云服務(wù)績(jī)效產(chǎn)出三個(gè)過(guò)程：

1.教育云服務(wù)內(nèi)容：指直接向區(qū)域師生提供教育云服務(wù)的硬件、軟件、網(wǎng)絡(luò)帶寬、數(shù)字化學(xué)習(xí)資源等，這些是師生提供服務(wù)的對(duì)象；

2.服務(wù)應(yīng)用過(guò)程：指以教育云服務(wù)支持課堂教學(xué)、自主學(xué)習(xí)、備課教研和學(xué)校管理等活動(dòng)，用以滿(mǎn)足師生的應(yīng)用需求、提升學(xué)生的綜合素養(yǎng)和學(xué)校的管理水平；

3.教育云服務(wù)產(chǎn)出：指區(qū)域師生接受教育云服務(wù)后產(chǎn)生的效果，直接地體現(xiàn)在師生的滿(mǎn)意度上，間接地體現(xiàn)在包括知識(shí)、技能、情感和價(jià)值觀等在內(nèi)的綜合素養(yǎng)的提升上。

教育云平臺(tái)服務(wù)過(guò)程既是服務(wù)績(jī)效的實(shí)現(xiàn)過(guò)程，也是教育云平臺(tái)大數(shù)據(jù)的產(chǎn)生過(guò)程。在教育云“服務(wù)—用—產(chǎn)出”過(guò)程中，教育云平臺(tái)不但存儲(chǔ)了關(guān)于資源、工具等服務(wù)內(nèi)容數(shù)據(jù)，還跟蹤采集以師生等用戶(hù)的行為軌跡為主的服務(wù)應(yīng)用過(guò)程數(shù)據(jù)。而要采集教育云服務(wù)效果產(chǎn)出數(shù)據(jù)，一方面可以用抽樣調(diào)查的方式采集師生對(duì)教育云服務(wù)的滿(mǎn)意度，另一方面可以用教育評(píng)價(jià)方法評(píng)價(jià)學(xué)生應(yīng)用教育云平臺(tái)后在技能和素養(yǎng)上的提升。

（三）教育云績(jī)效評(píng)價(jià)目標(biāo)

Bredrup提出績(jī)效評(píng)價(jià)是在服務(wù)預(yù)期和戰(zhàn)略目標(biāo)范疇內(nèi)，通過(guò)對(duì)服務(wù)過(guò)程和效果的量化評(píng)價(jià)，支持對(duì)服務(wù)過(guò)程的重整和持續(xù)改進(jìn)?？?jī)效是一種多維構(gòu)建，測(cè)量的目標(biāo)和因素不同，其結(jié)果也不同。因此要評(píng)價(jià)教育云服務(wù)的績(jī)效，首先要確定教育云服務(wù)績(jī)效評(píng)價(jià)的目標(biāo)。而教育云服務(wù)績(jī)效評(píng)價(jià)目標(biāo)一是來(lái)源于教育云服務(wù)的戰(zhàn)略目標(biāo)，一是來(lái)源于對(duì)績(jī)效本身的界定。

《教育信息化十年發(fā)展規(guī)劃（2011-2020年）》中提出，“促進(jìn)教育公平、提高教育質(zhì)量”是教育信息化的兩大戰(zhàn)略目標(biāo)，而教育云是實(shí)現(xiàn)“資源配置與服務(wù)的集約化發(fā)展途徑”。教育云服務(wù)的戰(zhàn)略目標(biāo)一方面是要以海量資源和支撐服務(wù)提升教育質(zhì)量，另一方面是要以云服務(wù)的泛在性促進(jìn)教育公平。要評(píng)價(jià)教育云服務(wù)的績(jī)效，既要評(píng)價(jià)教育云服務(wù)對(duì)教育質(zhì)量的提升作用，又要評(píng)價(jià)教育云服務(wù)對(duì)教育公平的促進(jìn)作用。

對(duì)績(jī)效的界定也影響教育云服務(wù)績(jī)效評(píng)價(jià)目標(biāo)的設(shè)定。當(dāng)前對(duì)績(jī)效的界定存在兩種不同的觀點(diǎn)，一種是“結(jié)果的績(jī)效觀”，Bemardin認(rèn)為績(jī)效是“在特定的時(shí)間里，由特定的工作職能或活動(dòng)產(chǎn)生的產(chǎn)出記錄”；一種是“過(guò)程的績(jī)效觀”，Campbell認(rèn)為績(jī)效是“與組織目標(biāo)有關(guān)的行動(dòng)或行為，能夠用個(gè)人的熟練程度來(lái)測(cè)量”。從這兩種不同的績(jī)效觀出發(fā)，既要評(píng)價(jià)師生應(yīng)用教育云服務(wù)開(kāi)展教育教學(xué)的過(guò)程，又要評(píng)價(jià)師生應(yīng)用教育云服務(wù)的結(jié)果。

從教育云服務(wù)的戰(zhàn)略目標(biāo)和績(jī)效觀這兩個(gè)維度構(gòu)建教育云績(jī)效評(píng)價(jià)的目標(biāo)矩陣，如表1所示。從過(guò)程的績(jī)效觀看，績(jī)效是教育云服務(wù)于師生各類(lèi)教育教學(xué)活動(dòng)的數(shù)量；從結(jié)果的績(jī)效觀看，績(jī)效是教育云應(yīng)用于教育教學(xué)后產(chǎn)生的效果，直接的體現(xiàn)是師生等用戶(hù)對(duì)教育云服務(wù)的主觀滿(mǎn)意度，間接的體現(xiàn)是學(xué)生知識(shí)、能力、素養(yǎng)的提升。在學(xué)生知識(shí)、能力、素養(yǎng)的提升中，教育云服務(wù)只是其中的一個(gè)因素，本研究以師生的用戶(hù)滿(mǎn)意度作為評(píng)價(jià)教育云服務(wù)效果的目標(biāo)。

（四）教育云服務(wù)績(jī)效評(píng)價(jià)指標(biāo)

為表1中的四個(gè)象限分別設(shè)置一級(jí)指標(biāo)，包括：教育云平臺(tái)活動(dòng)量（I₁）、教育云平臺(tái)活動(dòng)均衡性（I₂）、教育云平臺(tái)應(yīng)用滿(mǎn)意度（I₃）、教育云平臺(tái)應(yīng)用滿(mǎn)意度均衡性（I₄）。針對(duì)教育云平臺(tái)活動(dòng)量（I₁），對(duì)圖1中的5類(lèi)教育云服務(wù)的活動(dòng)設(shè)置二級(jí)指標(biāo)，分別測(cè)量教育云服務(wù)中資源（I₁₁）、課堂教學(xué)（I₁₂）、自主學(xué)習(xí)（I₁₃）、協(xié)同教研（I₁₄）和教學(xué)管理（I₁₅）的活動(dòng)量。針對(duì)教育云平臺(tái)活動(dòng)均衡性（I₂），同樣對(duì)5類(lèi)教育云服務(wù)的活動(dòng)設(shè)置相應(yīng)的均衡性評(píng)價(jià)指標(biāo)（I₂-I₂₅），用于測(cè)量各區(qū)各校應(yīng)用各類(lèi)教育云服務(wù)的差異。針對(duì)教育云平臺(tái)應(yīng)用滿(mǎn)意度一級(jí)指標(biāo)（I₃），分別測(cè)量學(xué)生（I₃₁）、教師（I₃₂）、管理者（I₃₃）和家長(zhǎng)（I₃₄）對(duì)教育云服務(wù)的滿(mǎn)意度。而針對(duì)教育云平臺(tái)應(yīng)用滿(mǎn)意度均衡性（I₄），同樣測(cè)量4類(lèi)用戶(hù)的滿(mǎn)意度均衡性評(píng)價(jià)指標(biāo)（I₁₄-I₄₄）。教育云服務(wù)績(jī)效評(píng)價(jià)的指標(biāo)體系如圖3所示，共包含4個(gè)一級(jí)指標(biāo)、18個(gè)二級(jí)指標(biāo)。

從評(píng)價(jià)指標(biāo)數(shù)據(jù)采集和加工的視角，二級(jí)指標(biāo)（I₁₁-I₁₅）和（I₂₁-I₂₅）均采用教育云平臺(tái)數(shù)據(jù)采集和加工的方式評(píng)價(jià)，一旦數(shù)據(jù)輸人和數(shù)據(jù)加工方法確定，同一個(gè)區(qū)域內(nèi)的評(píng)價(jià)結(jié)果就具有穩(wěn)定性和區(qū)分度，也就具有較好的信度和效度；二級(jí)指標(biāo)（I₃₁-I₃₄）和（I₄₁-I₄₄）則采用抽樣問(wèn)卷調(diào)查的心理學(xué)測(cè)量方式評(píng)價(jià)，通過(guò)選擇驗(yàn)證過(guò)的滿(mǎn)意度量表和選擇具有代表性的教師、學(xué)生、家長(zhǎng)和管理者作為樣本來(lái)保障指標(biāo)的信度和效度。

三、教育云平臺(tái)大數(shù)據(jù)加工方法

（一）教育云平臺(tái)大數(shù)據(jù)

為克服傳統(tǒng)方法難以精準(zhǔn)評(píng)價(jià)教育云服務(wù)過(guò)程績(jī)效的問(wèn)題，本研究選擇教育云平臺(tái)數(shù)據(jù)作為教育云過(guò)程績(jī)效評(píng)價(jià)的數(shù)據(jù)來(lái)源。教育云平臺(tái)蘊(yùn)含了海量的過(guò)程數(shù)據(jù)，包括：師生的教學(xué)過(guò)程數(shù)據(jù)、學(xué)生的自學(xué)過(guò)程數(shù)據(jù)、教師的備課和協(xié)同教研過(guò)程數(shù)據(jù)、學(xué)校管理流程數(shù)據(jù)和“師一生一家一?！敝g的交互過(guò)程數(shù)據(jù)，這些異構(gòu)數(shù)據(jù)具備“海量、多樣化、真實(shí)性、高速增長(zhǎng)、價(jià)值稀疏”的“5V”特性。同時(shí)，教育云平臺(tái)數(shù)據(jù)還是師生在教育云上開(kāi)展各類(lèi)教育教學(xué)和教育管理活動(dòng)的數(shù)據(jù)再現(xiàn)，是教育云服務(wù)績(jī)效評(píng)價(jià)的理想評(píng)價(jià)證據(jù)和數(shù)據(jù)來(lái)源。教育云平臺(tái)數(shù)據(jù)包括基礎(chǔ)數(shù)據(jù)和行為數(shù)據(jù)兩大類(lèi)，如表2所示。

（二）教育云平臺(tái)大數(shù)據(jù)加工方法

以教育云平臺(tái)數(shù)據(jù)為對(duì)象，面向教育云績(jī)效評(píng)價(jià)指標(biāo)，本研究設(shè)計(jì)了面向評(píng)價(jià)的大數(shù)據(jù)加工方法體系，主要包括平臺(tái)活動(dòng)識(shí)別和交互網(wǎng)絡(luò)測(cè)算兩類(lèi)加工方法。

1.教育云平臺(tái)教學(xué)活動(dòng)識(shí)別

在圖3提出的教育云績(jī)效評(píng)價(jià)指標(biāo)體系中，二級(jí)指標(biāo)（I₁₁-I₁₄）和（I₂₁-I₂₄）是評(píng)價(jià)師生在教育云中的教與學(xué)活動(dòng)量與分布，因此要從表2所采集的云平臺(tái)大數(shù)據(jù)中包含的操作和動(dòng)作中識(shí)別出課堂教學(xué)、自主學(xué)習(xí)、備課教研等活動(dòng)。對(duì)具體教學(xué)活動(dòng)的識(shí)別需要以教育云上該活動(dòng)的模式和規(guī)律為基礎(chǔ)，設(shè)計(jì)專(zhuān)門(mén)的識(shí)別算法。教育云平臺(tái)課堂教學(xué)活動(dòng)識(shí)別算法識(shí)別出的一個(gè)課堂教學(xué)活動(dòng)過(guò)程如下頁(yè)表3所示，其中包含了教師的課前準(zhǔn)備活動(dòng)、錄課準(zhǔn)備活動(dòng)、作業(yè)講解、教師板書(shū)講解、學(xué)生搶答、學(xué)生應(yīng)用移動(dòng)終端參與隨堂測(cè)試等操作。

2.教育云平臺(tái)交互網(wǎng)絡(luò)測(cè)算

教育云不僅通過(guò)資源和工具支持開(kāi)展教學(xué)和學(xué)習(xí)活動(dòng)，還支持教師和學(xué)生在線(xiàn)開(kāi)展學(xué)習(xí)交互、教研交互，而簡(jiǎn)單判斷用戶(hù)間的交互量并不能完全體現(xiàn)教育云上自主學(xué)習(xí)水平和協(xié)同教研水平，應(yīng)從社會(huì)網(wǎng)絡(luò)的視角計(jì)算教育云平臺(tái)的交互水平。一是以師生、生生間的話(huà)題回復(fù)，構(gòu)造自主學(xué)習(xí)的關(guān)系網(wǎng)絡(luò)；二是以師師間的話(huà)題討論，構(gòu)造協(xié)同教研的關(guān)系網(wǎng)絡(luò)。以教育云平臺(tái)協(xié)同教研交互網(wǎng)絡(luò)為例，本研究通過(guò)交互網(wǎng)絡(luò)測(cè)算方法繪制的師生交互關(guān)系網(wǎng)絡(luò)如圖4所示，其中平均度為3.446，而網(wǎng)絡(luò)密度僅為0.0016，表明在該實(shí)例中，師生的交互水平較低。

四、基于大數(shù)據(jù)的教育云平臺(tái)績(jī)效評(píng)價(jià)實(shí)例

從2017年9月到12月，研究者作為獨(dú)立第三方對(duì)W市的教育云平臺(tái)開(kāi)展了績(jī)效評(píng)價(jià)。通過(guò)對(duì)本次評(píng)價(jià)的背景、數(shù)據(jù)采集過(guò)程、數(shù)據(jù)加工過(guò)程和評(píng)價(jià)結(jié)論的描述，驗(yàn)證本研究提出的基于大數(shù)據(jù)的教育云平臺(tái)績(jī)效評(píng)價(jià)模型、指標(biāo)與方法的科學(xué)性與可行性。

（一）實(shí)例背景

W市是國(guó)家數(shù)字教育資源公共服務(wù)平臺(tái)規(guī)?；瘧?yīng)用專(zhuān)項(xiàng)的試點(diǎn)城市，W市通過(guò)購(gòu)買(mǎi)服務(wù)的方式向全市基礎(chǔ)教育師生提供免費(fèi)服務(wù)，旨在通過(guò)中小學(xué)師生的規(guī)模化教育云應(yīng)用，促進(jìn)教育教學(xué)和教育管理方式的變革，提升教師專(zhuān)業(yè)能力和學(xué)生綜合素養(yǎng)。為推廣教育云服務(wù)，W市發(fā)布了《教育云示范工程實(shí)施方案》等政策文件，還成立了教育云專(zhuān)班，專(zhuān)門(mén)推進(jìn)教育云。W市教育云平臺(tái)提供了包括海量教育資源、課堂教學(xué)、自主學(xué)習(xí)、協(xié)同教研和學(xué)校管理5大類(lèi)服務(wù)，提供服務(wù)的資源總量超過(guò)450萬(wàn)條，還提供了包括集成授課服務(wù)、自主學(xué)習(xí)服務(wù)、備課教研服務(wù)和學(xué)校管理服務(wù)在內(nèi)的教育教學(xué)和教育管理支持服務(wù)。為了掌握當(dāng)前W市教育云服務(wù)應(yīng)用及效果，W市教育局引入獨(dú)立評(píng)價(jià)第三方對(duì)W市教育云服務(wù)開(kāi)展績(jī)效評(píng)價(jià)。

（二）W市教育云評(píng)價(jià)大數(shù)據(jù)采集

為開(kāi)展W市教育云平臺(tái)的績(jī)效評(píng)價(jià)，本研究共采集了包括10大類(lèi)、139個(gè)數(shù)據(jù)表（含Nosql數(shù)據(jù)集），共126199265條數(shù)據(jù)。還通過(guò)抽樣問(wèn)卷調(diào)查的方式，采集了涵蓋全市各區(qū)域中小學(xué)校長(zhǎng)、教師、學(xué)生和家長(zhǎng)共31749個(gè)樣本的調(diào)查數(shù)據(jù)，其中有效問(wèn)卷31670份，有效率為99.75%，如下頁(yè)表4所示。

（三）W市教育云評(píng)價(jià)數(shù)據(jù)加工

通過(guò)對(duì)表4描述的教育云平臺(tái)評(píng)價(jià)大數(shù)據(jù)的加工，得到W市教育云平臺(tái)的評(píng)價(jià)指標(biāo)如表5所示。其中，用各區(qū)分布的基尼系數(shù)表示W(wǎng)市教育云分布的均衡性。

（四）W市教育云評(píng)價(jià)結(jié)論

面向如前面表1的教育云評(píng)價(jià)的目標(biāo)矩陣，對(duì)W市教育云的評(píng)價(jià)從教育云提升教育質(zhì)量、促進(jìn)教育公平以及W市教育云的應(yīng)用過(guò)程和應(yīng)用結(jié)果這四個(gè)維度得出評(píng)價(jià)結(jié)論。教育云提升區(qū)域教育質(zhì)量的過(guò)程指標(biāo)如圖5（a）所示，W市教育云應(yīng)用量以資源服務(wù)活動(dòng)最為突出，接近人均1次；而教育云支持課堂教學(xué)和自主學(xué)習(xí)的活動(dòng)水平較為接近，均超過(guò)人均0.5次；而教育云支持協(xié)同教研和教學(xué)管理的活動(dòng)水平都較低。教育云促進(jìn)教育公平的過(guò)程指標(biāo)（基尼系數(shù)）如圖5（b）所示，由于基尼系數(shù)介于0-1之間，基尼系數(shù)越大，表示不平等程度越高，表明W市各區(qū)教育云應(yīng)用活動(dòng)差距都較大（>0.4），而教育云服務(wù)課堂教學(xué)、自主學(xué)習(xí)、協(xié)同教研和管理服務(wù)更是差距懸殊（>0.5）。從教育云提升教育質(zhì)量來(lái)看，W市教育云服務(wù)的績(jī)效主要體現(xiàn)在資源服務(wù)、課堂教學(xué)服務(wù)和自主學(xué)習(xí)服務(wù)等在教與學(xué)中的應(yīng)用；而從教育云促進(jìn)教育公平來(lái)看，各區(qū)域間應(yīng)用差異較大，說(shuō)明教育云服務(wù)不僅沒(méi)有促進(jìn)教育公平，反而擴(kuò)大了各區(qū)間的差距。

通過(guò)對(duì)W市全部區(qū)域內(nèi)學(xué)生、教師、家長(zhǎng)和管理者的大范圍抽樣調(diào)查，可以得出教育云服務(wù)績(jī)效的結(jié)果滿(mǎn)意度評(píng)價(jià)指標(biāo)，如圖6所示。其中教育云提升區(qū)域教育質(zhì)量的結(jié)果指標(biāo)如圖6（a）所示，學(xué)生和教師的平均滿(mǎn)意度均高于80%，而管理者和家長(zhǎng)的平均滿(mǎn)意度均高于70%，表明在教育云推廣的階段，師生切實(shí)感受到教育云帶來(lái)的變革，從而產(chǎn)生了較高的滿(mǎn)意度評(píng)價(jià)，而管理者和家長(zhǎng)參與教育云的程度較低，滿(mǎn)意度也相對(duì)較低。教育云促進(jìn)教育公平的結(jié)果指標(biāo)（基尼系數(shù)）如圖6（b）所示，表明W市各區(qū)學(xué)生、教師、家長(zhǎng)、管理者對(duì)教育云的滿(mǎn)意度非常平均（<0.1）。結(jié)果表明，W市學(xué)生、教師、家長(zhǎng)和管理者越多接受教育云服務(wù)就能產(chǎn)生越高的滿(mǎn)意度，而各區(qū)學(xué)生、教師、家長(zhǎng)和管理者的滿(mǎn)意度幾乎沒(méi)有差異。

通過(guò)對(duì)W市教育云服務(wù)的績(jī)效評(píng)價(jià)發(fā)現(xiàn)，W市教育云服務(wù)在部分服務(wù)內(nèi)容上（資源服務(wù)、課堂教學(xué)、自主學(xué)習(xí)）已經(jīng)形成了規(guī)?；瘧?yīng)用，產(chǎn)生了顯著的過(guò)程績(jī)效，而且用戶(hù)對(duì)教育云服務(wù)的滿(mǎn)意度超過(guò)70%，取得了較好的滿(mǎn)意度效果。但在教研服務(wù)和管理服務(wù)上應(yīng)用績(jī)效還不高，加之各類(lèi)應(yīng)用在各區(qū)域間應(yīng)用不均衡，表明W市教育云服務(wù)的應(yīng)用績(jī)效仍有提升的空間。從對(duì)W市的評(píng)價(jià)結(jié)果看，由教育行政部門(mén)主導(dǎo)的教育云應(yīng)用績(jī)效取決于教育行政部門(mén)的推進(jìn)力度，在某些區(qū)域、某些應(yīng)用上推進(jìn)力度較大，其應(yīng)用績(jī)效就高；在某些區(qū)域、某些應(yīng)用上推進(jìn)力度不夠，其應(yīng)用績(jī)效就較低。但不論是應(yīng)用績(jī)效高還是應(yīng)用績(jī)效較低的區(qū)域，由于教育行政部門(mén)的政策驅(qū)動(dòng)，用戶(hù)滿(mǎn)意度都普遍較高。教育云服務(wù)的應(yīng)用績(jī)效不僅應(yīng)來(lái)源于教育行政部門(mén)的推動(dòng)，還應(yīng)來(lái)源于師生和管理者對(duì)教育云服務(wù)產(chǎn)生的應(yīng)用黏性。此外，從評(píng)價(jià)目標(biāo)、評(píng)價(jià)指標(biāo)和評(píng)價(jià)方法設(shè)計(jì)上看，教育云服務(wù)的過(guò)程績(jī)效能較好地反映教育云服務(wù)的應(yīng)用水平，而主觀滿(mǎn)意度很難在外部因素的影響下有效反映教育云服務(wù)的應(yīng)用結(jié)果和均衡性。

五、總結(jié)與展望

面向教育云平臺(tái)的績(jī)效評(píng)價(jià)問(wèn)題，本研究以教育云平臺(tái)大數(shù)據(jù)為主要評(píng)價(jià)證據(jù)，設(shè)計(jì)了一套教育云服務(wù)績(jī)效評(píng)價(jià)的指標(biāo)體系和數(shù)據(jù)加工方法，并用實(shí)例驗(yàn)證了本研究所提出的教育云平臺(tái)績(jī)效評(píng)價(jià)指標(biāo)體系的科學(xué)性和可行性。一方面，本研究旨在為我國(guó)各區(qū)域教育云的績(jī)效評(píng)價(jià)提供一種可行的解決方案，為各區(qū)域教育云服務(wù)的購(gòu)買(mǎi)決策提供有效的支持；另一方面，本研究還率先把教育云作為一項(xiàng)教育公共服務(wù)，對(duì)教育云服務(wù)的績(jī)效評(píng)價(jià)問(wèn)題開(kāi)展專(zhuān)門(mén)的研究。受篇幅的限制，本研究在教育云平臺(tái)大數(shù)據(jù)的加工算法方面未能展開(kāi)描述。在后續(xù)的研究中，筆者將從教育云服務(wù)數(shù)據(jù)的清洗、加工、挖掘方法等方面開(kāi)展進(jìn)一步的研究。