劉麗蓉，劉愛(ài)玲，張麗麗，于麗萍，韋欣捷，康京麗

（1.中國(guó)動(dòng)物衛(wèi)生與流行病學(xué)中心，山東青島 266032；2.煙臺(tái)市牟平區(qū)動(dòng)物疫病預(yù)防與控制中心，山東煙臺(tái) 264100）

中國(guó)獸醫(yī)現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)項(xiàng)目（以下稱(chēng)，CFETPV 項(xiàng)目）是在農(nóng)業(yè)農(nóng)村部和聯(lián)合國(guó)糧食及農(nóng)業(yè)組織（FAO）、美國(guó)國(guó)際發(fā)展署合作框架下，由農(nóng)業(yè)農(nóng)村部畜牧獸醫(yī)局、FAO 跨境動(dòng)物疫病應(yīng)急中心中國(guó)辦公室與中國(guó)動(dòng)物衛(wèi)生與流行病學(xué)中心聯(lián)合舉辦的，面向全國(guó)各省、自治區(qū)、直轄市、計(jì)劃單列市和重點(diǎn)地區(qū)動(dòng)物疫病預(yù)防控制機(jī)構(gòu)、國(guó)家級(jí)獸醫(yī)技術(shù)支撐機(jī)構(gòu)優(yōu)秀業(yè)務(wù)骨干及獸醫(yī)重點(diǎn)院校老師，開(kāi)展為期2年的獸醫(yī)流行病學(xué)培訓(xùn)。該項(xiàng)目致力于培養(yǎng)具備專(zhuān)業(yè)知識(shí)和實(shí)戰(zhàn)經(jīng)驗(yàn)的高級(jí)獸醫(yī)現(xiàn)場(chǎng)流行病學(xué)人才。截至目前，培訓(xùn)班累計(jì)舉辦5期，培養(yǎng)了來(lái)自29個(gè)省區(qū)的101名流行病學(xué)技術(shù)骨干（包括正在培訓(xùn)的第五期學(xué)員20人）。隨著項(xiàng)目的擴(kuò)大發(fā)展，培訓(xùn)課程能否滿(mǎn)足實(shí)際需要，如何保證學(xué)員學(xué)習(xí)質(zhì)量，如何提升教學(xué)水平，是項(xiàng)目管理方需要深入思考的問(wèn)題。因此，研究構(gòu)建一套科學(xué)合理的培訓(xùn)效果評(píng)估模型，對(duì)優(yōu)化完善獸醫(yī)流行病學(xué)人才培訓(xùn)項(xiàng)目具有重要意義。

1 國(guó)內(nèi)外研究概況

1.1 國(guó)外評(píng)估模型

目前，國(guó)外提出的評(píng)估模型主要有2大類(lèi)：分層次評(píng)估模型和分階段評(píng)估模型。分層次評(píng)估模型側(cè)重分析培訓(xùn)的效果，主要有柯式四級(jí)評(píng)估模型、五級(jí)投資回報(bào)模型和五級(jí)評(píng)估模型等。其中，柯式四級(jí)評(píng)估模型是柯克帕特里克（Kirkpatrick）于1959年首次提出的[1]，目前成為管理界研究培訓(xùn)評(píng)估問(wèn)題的經(jīng)典理論，并在各領(lǐng)域廣泛應(yīng)用。該模型分為4個(gè)層次：反應(yīng)層、學(xué)習(xí)層、行為層、效果層。五級(jí)投資回報(bào)模型是1991年由菲利普斯（Phillips）提出的，在柯式四級(jí)評(píng)估模型的基礎(chǔ)上，增加了第5層級(jí)——投資回報(bào)率[2]。五級(jí)評(píng)估模型是1994年由考夫曼（Kaufman）提出的，在柯式四級(jí)評(píng)估模型的基礎(chǔ)上，在反應(yīng)層中增加了對(duì)培訓(xùn)前投入資源要素的評(píng)估，并增加了第5個(gè)層級(jí)——社會(huì)效益層級(jí)[3]。分階段評(píng)估模型側(cè)重對(duì)培訓(xùn)項(xiàng)目的全流程評(píng)估，主要有CIPP評(píng)估模型和CIRO 四級(jí)評(píng)估模型等。CIPP 評(píng)估模型是1965年由Daniel Stufflebeam 提出的，評(píng)估流程包括背景評(píng)估、輸入評(píng)估、過(guò)程評(píng)估、成果評(píng)估4個(gè)階段[4]。CIRO 四級(jí)評(píng)估模型是1970年由Warr、Bird 和Rackham 提出的，評(píng)估流程包括背景評(píng)估、輸入評(píng)估、反應(yīng)評(píng)估和輸出評(píng)估4個(gè)階段[5]。2012年，全球流行病學(xué)培訓(xùn)與公共衛(wèi)生干預(yù)網(wǎng)絡(luò)（Training Programs in Epidemiology and Public Health Interventions Network，以下簡(jiǎn)稱(chēng)TEPHINET）對(duì)其57個(gè)成員國(guó)的FETPs 項(xiàng)目通過(guò)問(wèn)卷調(diào)查的方式對(duì)課程設(shè)置、組織機(jī)構(gòu)、學(xué)員錄用與培養(yǎng)、項(xiàng)目活動(dòng)與成果等方面進(jìn)行了評(píng)估[6]。印度NIE FETP 團(tuán)隊(duì)對(duì)項(xiàng)目7年來(lái)從投入、發(fā)展、成效、產(chǎn)出四個(gè)方面以問(wèn)卷調(diào)查的方式對(duì)培訓(xùn)前后培訓(xùn)能力、學(xué)習(xí)活動(dòng)、田間調(diào)查、項(xiàng)目管理、課程管理、與工作相關(guān)性、項(xiàng)目?jī)?yōu)劣勢(shì)等內(nèi)容進(jìn)行了內(nèi)部評(píng)估[7]。

1.2 國(guó)內(nèi)評(píng)估模型

行業(yè)培訓(xùn)效果評(píng)估方面，賀龍[8]基于柯式四級(jí)評(píng)估模型建立企業(yè)安全生產(chǎn)培訓(xùn)的效果評(píng)估模型，將萬(wàn)人違章率、20萬(wàn)工時(shí)停工再培訓(xùn)的損工日比、培訓(xùn)不合格事件比、萬(wàn)人死亡率、20萬(wàn)工時(shí)事件率、20萬(wàn)工時(shí)可記錄傷害事件率作為結(jié)果層的評(píng)估指標(biāo)。2010年饒艷華和曹梅娟[9]以柯式四級(jí)評(píng)估模型和CIPP 模型為基礎(chǔ)，對(duì)我國(guó)社區(qū)護(hù)士崗位培訓(xùn)評(píng)估模型的構(gòu)建和應(yīng)用進(jìn)行了初步探討，提出社區(qū)護(hù)士培訓(xùn)評(píng)估可以分為培訓(xùn)前評(píng)估、培訓(xùn)過(guò)程評(píng)估和培訓(xùn)后評(píng)估3個(gè)層次，并在2011年采用專(zhuān)家函詢(xún)法構(gòu)建了社區(qū)護(hù)士崗位培訓(xùn)工作評(píng)估指標(biāo)體系[10]。FETP 培訓(xùn)效果評(píng)估方面，劉慧慧等[11]通過(guò)訪談和問(wèn)卷調(diào)查的形式，開(kāi)展了地方現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)項(xiàng)目實(shí)施效果定性調(diào)查。王安娜等[12]和姚蘭等[13]從反應(yīng)層和學(xué)習(xí)層開(kāi)展了北京市順義區(qū)和貴州省現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)項(xiàng)目效果評(píng)價(jià)。李東悅等[14]通過(guò)問(wèn)卷調(diào)查學(xué)員、學(xué)員單位領(lǐng)導(dǎo)及專(zhuān)家對(duì)項(xiàng)目的整體評(píng)價(jià)、培訓(xùn)后技術(shù)能力提升情況、結(jié)業(yè)后工作成績(jī)和工作表現(xiàn)滿(mǎn)意度及結(jié)業(yè)前后工作業(yè)績(jī)等內(nèi)容進(jìn)行了廣東省現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)項(xiàng)目培訓(xùn)效果評(píng)估。CFETPV 項(xiàng)目培訓(xùn)效果評(píng)估工作尚處在探索階段，僅通過(guò)簡(jiǎn)單的問(wèn)卷調(diào)查了解學(xué)員對(duì)教學(xué)及會(huì)務(wù)管理等的反饋。項(xiàng)目管理方曾基于柯氏四級(jí)培訓(xùn)效果評(píng)估理論，構(gòu)建了CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)效果評(píng)估方法，并以第五期CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)為例，從反應(yīng)層和學(xué)習(xí)層進(jìn)行短期評(píng)估[15]。

2 CFETPV 項(xiàng)目培訓(xùn)效果評(píng)估模型的構(gòu)建

2.1 模型構(gòu)建的原則

2.1.1 定性評(píng)估與定量評(píng)估相結(jié)合定性評(píng)估是指運(yùn)用經(jīng)驗(yàn)和專(zhuān)業(yè)知識(shí)，對(duì)培訓(xùn)活動(dòng)進(jìn)行主觀評(píng)價(jià)，繼而做出不同等級(jí)結(jié)果的評(píng)估。例如對(duì)知識(shí)技能的掌握程度進(jìn)行自我評(píng)分，分為5分精通、4分熟悉、3分一般了解、2分不太了解、1分不了解5個(gè)等級(jí)。定量評(píng)估是將培訓(xùn)活動(dòng)中各相關(guān)要素進(jìn)行量化，根據(jù)實(shí)際數(shù)據(jù)測(cè)評(píng)培訓(xùn)項(xiàng)目實(shí)施的基本情況。例如對(duì)參加培訓(xùn)以來(lái)的流行病學(xué)相關(guān)成果：發(fā)表文章數(shù)量、開(kāi)展流行病學(xué)研究/監(jiān)測(cè)數(shù)量、開(kāi)展流行病學(xué)培訓(xùn)和授課次數(shù)等指標(biāo)進(jìn)行量化評(píng)估。

2.1.2 即時(shí)評(píng)估與跟蹤評(píng)估相結(jié)合培訓(xùn)效果評(píng)估具有一定的滯后性，尤其是反應(yīng)層和結(jié)果層的滯后效應(yīng)更加明顯。因此，在進(jìn)行培訓(xùn)效果評(píng)估時(shí)，既要重視即時(shí)評(píng)估，又要重視跟蹤評(píng)估。培訓(xùn)項(xiàng)目結(jié)束后，及時(shí)對(duì)培訓(xùn)設(shè)計(jì)、授課老師、組織管理的滿(mǎn)意度及知識(shí)技能的掌握情況等進(jìn)行即時(shí)評(píng)估；6個(gè)月后繼續(xù)對(duì)學(xué)員行為態(tài)度改變、工作業(yè)績(jī)以及單位改進(jìn)程度進(jìn)行跟蹤評(píng)估。

2.1.3 內(nèi)部評(píng)估與外部評(píng)估相結(jié)合在培訓(xùn)效果評(píng)估主體中，既有執(zhí)委會(huì)、項(xiàng)目辦這樣的內(nèi)部評(píng)估者，又有學(xué)員、學(xué)員單位領(lǐng)導(dǎo)或同事、國(guó)際國(guó)內(nèi)導(dǎo)師這樣的外部評(píng)估者。內(nèi)部評(píng)估者更了解培訓(xùn)項(xiàng)目，但屬于自我評(píng)估，其客觀性和真實(shí)性易被質(zhì)疑。而外部評(píng)估者不太了解培訓(xùn)項(xiàng)目，但其評(píng)估的客觀性和真實(shí)性較強(qiáng)。因此，將內(nèi)部評(píng)估和外部評(píng)估、自我評(píng)估和其他主體評(píng)估互補(bǔ)結(jié)合，充分發(fā)揮內(nèi)、外評(píng)估的優(yōu)勢(shì)，有助于保證培訓(xùn)項(xiàng)目評(píng)估的客觀、真實(shí)、有效。

2.2 評(píng)估模型的構(gòu)建

基于柯氏四級(jí)評(píng)估理論，通過(guò)分析CFETPV培訓(xùn)項(xiàng)目特點(diǎn)，通過(guò)查閱大量文獻(xiàn)，在廣泛吸收和借鑒國(guó)內(nèi)外各領(lǐng)域?qū)＜?、學(xué)者對(duì)培訓(xùn)效果評(píng)估有關(guān)研究的基礎(chǔ)上，借鑒TEPHINET 培訓(xùn)項(xiàng)目質(zhì)量評(píng)估方法，本研究從管理層、反應(yīng)層、學(xué)習(xí)層、行為層、結(jié)果層五個(gè)層級(jí)構(gòu)建了CFETPV 項(xiàng)目培訓(xùn)效果評(píng)估模型。該模型由5個(gè)一級(jí)指標(biāo)和13個(gè)二級(jí)指標(biāo)構(gòu)成，經(jīng)多次征求項(xiàng)目執(zhí)委會(huì)、FAO 跨境動(dòng)物疫病應(yīng)急中心中國(guó)辦公室、CFETPV 國(guó)內(nèi)導(dǎo)師及有關(guān)獸醫(yī)流行病學(xué)專(zhuān)家的意見(jiàn)，對(duì)二級(jí)指標(biāo)進(jìn)一步篩選，得到75個(gè)三級(jí)指標(biāo)。不同評(píng)估層級(jí)在應(yīng)用時(shí)的評(píng)估主體、評(píng)估方法、評(píng)估時(shí)間和評(píng)估指標(biāo)見(jiàn)表1。

2.2.1 管理層評(píng)估即項(xiàng)目辦對(duì)培訓(xùn)質(zhì)量的評(píng)估主要包括項(xiàng)目管理和教學(xué)質(zhì)量2個(gè)二級(jí)指標(biāo)，課程管理、人力資源和物質(zhì)資源等11個(gè)三級(jí)指標(biāo)，見(jiàn)表2。通過(guò)問(wèn)卷調(diào)查掌握培訓(xùn)項(xiàng)目實(shí)施情況，及時(shí)發(fā)現(xiàn)問(wèn)題，提高培訓(xùn)質(zhì)量。可通過(guò)達(dá)標(biāo)率來(lái)評(píng)估培訓(xùn)項(xiàng)目質(zhì)量，包括單項(xiàng)達(dá)標(biāo)率（Qj）和綜合達(dá)標(biāo)率（QTi），分別見(jiàn)公式1～2。

表1 CFETPV 項(xiàng)目培訓(xùn)效果評(píng)估模型的建立

表2 CFETPV 項(xiàng)目管理層培訓(xùn)效果評(píng)估指標(biāo)體系

其中：

Qj：第j項(xiàng)評(píng)估內(nèi)容達(dá)標(biāo)率，j=1，2，……11，分別代表課程管理、人力資源、物質(zhì)資源等11個(gè)三級(jí)指標(biāo)；

nj：第j項(xiàng)評(píng)估內(nèi)容包含的四級(jí)指標(biāo)總數(shù)量；

xj：第j項(xiàng)評(píng)估內(nèi)容中四級(jí)指標(biāo)回答“是”的數(shù)量。如，課程管理包含6個(gè)四級(jí)指標(biāo)，其中5項(xiàng)回答“是”，則課程管理的達(dá)標(biāo)率為。

其中：

QTi：第i項(xiàng)評(píng)估內(nèi)容綜合達(dá)標(biāo)率，i=1，2，分別代表項(xiàng)目管理和教學(xué)質(zhì)量；

Qj：?jiǎn)雾?xiàng)達(dá)標(biāo)率；

m：?jiǎn)雾?xiàng)評(píng)估內(nèi)容的數(shù)量，這里m=7或4。

如，項(xiàng)目辦對(duì)課程管理、人力資源、物質(zhì)資源、資金來(lái)源、學(xué)員選拔、監(jiān)督評(píng)價(jià)、畢業(yè)生管理的達(dá)標(biāo)率分別為96%、98%、99%、100%、98%、97%和100%，則項(xiàng)目管理綜合達(dá)標(biāo)率為。

2.2.2 反應(yīng)層評(píng)估反應(yīng)層評(píng)估即項(xiàng)目辦和學(xué)員對(duì)培訓(xùn)項(xiàng)目的反應(yīng)和評(píng)價(jià)。主要包括培訓(xùn)課程、現(xiàn)場(chǎng)實(shí)踐、培訓(xùn)導(dǎo)師、組織管理的滿(mǎn)意度及期望建議5個(gè)二級(jí)指標(biāo)，培訓(xùn)目標(biāo)明確性、課程內(nèi)容完整性和課程安排恰當(dāng)性等24個(gè)三級(jí)指標(biāo)（表3）。滿(mǎn)意度用于衡量學(xué)員對(duì)培訓(xùn)項(xiàng)目的主觀喜好程度，包括單項(xiàng)滿(mǎn)意度（Sj）和綜合滿(mǎn)意度（ST），分別見(jiàn)公式3～4。期望建議是指學(xué)員結(jié)合個(gè)人體驗(yàn)對(duì)項(xiàng)目后期發(fā)展提出的意見(jiàn)建議。

表3 CFETPV 項(xiàng)目反應(yīng)層培訓(xùn)效果評(píng)估指標(biāo)體系

其中：

Sj：第j項(xiàng)評(píng)估內(nèi)容滿(mǎn)意度，j=1，2，……24，分別代表培訓(xùn)目標(biāo)明確性、課程內(nèi)容完整性和課程安排恰當(dāng)性等24個(gè)三級(jí)指標(biāo)；

n：參與調(diào)查的學(xué)員數(shù)量；

xi：第i位學(xué)員對(duì)第j項(xiàng)評(píng)估內(nèi)容的滿(mǎn)意度評(píng)分；

Ss：滿(mǎn)意度評(píng)分滿(mǎn)分值。

如，滿(mǎn)意度評(píng)分設(shè)置為1～5分，滿(mǎn)分為5分，4位學(xué)員對(duì)培訓(xùn)目標(biāo)明確性的滿(mǎn)意度評(píng)分分別為4、4、5、5分，則課程內(nèi)容的滿(mǎn)意度為

其中：

STi：第i項(xiàng)評(píng)估內(nèi)容綜合滿(mǎn)意度，i=1，2，……4，分別代表培訓(xùn)課程、現(xiàn)場(chǎng)實(shí)踐、培訓(xùn)導(dǎo)師、組織管理；

Sj：?jiǎn)雾?xiàng)滿(mǎn)意度；

m：?jiǎn)雾?xiàng)評(píng)估內(nèi)容的數(shù)量，這里m=2或4或5或8。如，學(xué)員對(duì)培訓(xùn)組織、培訓(xùn)場(chǎng)地、培訓(xùn)輔助設(shè)備及資料、項(xiàng)目管理的滿(mǎn)意度分別為90%、92%、95%、和91%，則對(duì)組織管理的綜合滿(mǎn)意度為

2.2.3 學(xué)習(xí)層評(píng)估學(xué)習(xí)層評(píng)估即學(xué)員參加培訓(xùn)后知識(shí)技能的掌握情況，是反映學(xué)習(xí)效果最直接的層級(jí)。主要包括項(xiàng)目辦評(píng)估和學(xué)員自我評(píng)估2個(gè)二級(jí)指標(biāo)和畢業(yè)答辯、流行病學(xué)研究和緊急流行病學(xué)調(diào)查等17個(gè)三級(jí)指標(biāo)，見(jiàn)表4。項(xiàng)目辦評(píng)估可通過(guò)畢業(yè)評(píng)分（Gs）來(lái)考察學(xué)員學(xué)習(xí)期間的態(tài)度、出勤、互動(dòng)等綜合表現(xiàn)情況，見(jiàn)公式5。學(xué)員自評(píng)估指學(xué)員對(duì)流行病學(xué)基礎(chǔ)理論、緊急流行病學(xué)調(diào)查、監(jiān)測(cè)等“八項(xiàng)能力”的掌握度，包括單項(xiàng)掌握度（Mj）評(píng)估和綜合掌握度（MT）評(píng)估，分別詳見(jiàn)公式6和公式7。

表4 CFETPV 項(xiàng)目學(xué)習(xí)層培訓(xùn)效果評(píng)估指標(biāo)體系

xi：第i項(xiàng)指標(biāo)得分情況，i=1，2，……9，分別代表畢業(yè)答辯（總分60分）、流行病學(xué)研究（總分10分）、緊急流行病學(xué)調(diào)查（總分10分）、開(kāi)展培訓(xùn)（總分5分）、發(fā)表文章（總分5分）、文獻(xiàn)批判性閱讀（總分4分）、出勤（6分），共100分；另有附加分：其他實(shí)踐（總分3分）和擔(dān)任班委（總分2分），總分105分。

Mj：第j項(xiàng)知識(shí)技能掌握度，j=1，2……8，分別代表流行病學(xué)基礎(chǔ)理論、緊急流行病學(xué)調(diào)查、監(jiān)測(cè)、風(fēng)險(xiǎn)分析、空間流行病學(xué)分析、流行病學(xué)研究設(shè)計(jì)及現(xiàn)場(chǎng)調(diào)查、疫情數(shù)據(jù)整理及分析、英語(yǔ)溝通及報(bào)告；

n：參與調(diào)查的學(xué)員數(shù)量；

xij：第i位學(xué)員對(duì)第j項(xiàng)知識(shí)技能的掌握度自評(píng)分；

Sm：掌握度評(píng)分滿(mǎn)分值。

如，掌握度自我評(píng)分設(shè)置為1～5分，滿(mǎn)分為5分，3位學(xué)員對(duì)緊急流行病學(xué)調(diào)查的自我評(píng)分分別為3、4、5分，則掌握度為

其中：

MT：綜合掌握度；

Mj：?jiǎn)雾?xiàng)知識(shí)技能的掌握度；

m：?jiǎn)雾?xiàng)知識(shí)技能的數(shù)量，這里m=8。

例如，學(xué)員對(duì)流行病學(xué)基礎(chǔ)理論、緊急流行病學(xué)調(diào)查、監(jiān)測(cè)、風(fēng)險(xiǎn)分析、空間流行病學(xué)分析、流行病學(xué)研究設(shè)計(jì)及現(xiàn)場(chǎng)調(diào)查、疫情數(shù)據(jù)整理及分析、英語(yǔ)溝通及報(bào)告的掌握度分別為91%、86%、88%、90%、92%、87%、90%和93%，則綜合掌握度為

2.2.4 行為層評(píng)估行為層評(píng)估即學(xué)員將學(xué)習(xí)內(nèi)容轉(zhuǎn)化為工作實(shí)際的情況。主要包括行為變化和。知識(shí)技能的應(yīng)用2個(gè)二級(jí)指標(biāo)，工作態(tài)度、工作積極性、和溝通交流能力等11個(gè)三級(jí)指標(biāo)。對(duì)學(xué)員、學(xué)員單位領(lǐng)導(dǎo)或同事、執(zhí)委會(huì)、國(guó)際國(guó)內(nèi)導(dǎo)師進(jìn)行問(wèn)卷調(diào)查或?qū)嵉卣{(diào)研，了解學(xué)員培訓(xùn)前后工作行為的變化，及其在工作中運(yùn)用學(xué)習(xí)的知識(shí)技能情況，可通過(guò)行為變化率來(lái)評(píng)估，包括單項(xiàng)變化率（Aj）和綜合變化率（ATi），分別見(jiàn)公式8～9。行為的改變一般需要3～12個(gè)月的轉(zhuǎn)化時(shí)間，因此多在培訓(xùn)后半年進(jìn)行評(píng)估。

表5 CFETPV 項(xiàng)目行為層培訓(xùn)效果評(píng)估指標(biāo)體系

其中：

Aj：第j項(xiàng)行為變化率，j=1，2……11，分別代表工作態(tài)度、工作積極性、和溝通交流能力等11個(gè)三級(jí)指標(biāo)；

xj：第j項(xiàng)評(píng)估內(nèi)容中選擇“是”的數(shù)量；

n：參與調(diào)查的學(xué)員數(shù)量。

如，6位學(xué)員對(duì)“工作態(tài)度是否有變化”中有5位選擇“是”，則工作態(tài)度的變化率為

其中：

ATi：第i項(xiàng)評(píng)估內(nèi)容綜合變化率，i=1，2，分別代表行為變化和知識(shí)技能的應(yīng)用；

Sj：?jiǎn)雾?xiàng)變化率；

m：?jiǎn)雾?xiàng)評(píng)估內(nèi)容的數(shù)量，這里m=6或5。

如，對(duì)培訓(xùn)是否達(dá)到預(yù)期、是否運(yùn)用所學(xué)知識(shí)及技能、工作能力是否有所提高、外語(yǔ)水平是否有所提高、單位是否支持培訓(xùn)所學(xué)的達(dá)標(biāo)率分別為96%、98%、99%、100%和98%，則知識(shí)技能的應(yīng)用的綜合變化率為

2.2.5 結(jié)果層評(píng)估結(jié)果層評(píng)估即培訓(xùn)對(duì)個(gè)人和單位帶來(lái)的可預(yù)見(jiàn)的積極作用。主要包括個(gè)人業(yè)績(jī)和單位效益2個(gè)二級(jí)指標(biāo)，流行病學(xué)研究/監(jiān)測(cè)、緊急流行病學(xué)調(diào)查和風(fēng)險(xiǎn)分析等12個(gè)三級(jí)指標(biāo)。個(gè)人業(yè)績(jī)主要從工作質(zhì)量方面考慮，如實(shí)施科研項(xiàng)目、發(fā)表文章、成果獎(jiǎng)勵(lì)、學(xué)術(shù)研討等工作成果。單位效益可通過(guò)對(duì)學(xué)員所在部門(mén)的領(lǐng)導(dǎo)及其上級(jí)領(lǐng)導(dǎo)進(jìn)行調(diào)查，評(píng)估學(xué)員培訓(xùn)后對(duì)本單位獸醫(yī)流行病學(xué)工作的貢獻(xiàn)。成果的產(chǎn)出需要一定的累計(jì)時(shí)間，因此也在培訓(xùn)結(jié)束后定期開(kāi)展結(jié)果層評(píng)估，一般要在半年以后開(kāi)展。

表6 CFETPV 項(xiàng)目結(jié)果層培訓(xùn)效果評(píng)估指標(biāo)體系

3 CFETPV 項(xiàng)目培訓(xùn)效果評(píng)估模型實(shí)施建議

3.1 注意評(píng)估層級(jí)的整合

Kirkpatrick 培訓(xùn)效果評(píng)估理論最大的特點(diǎn)是具備較強(qiáng)的系統(tǒng)性、整體性和持續(xù)性[13]。在此評(píng)估模型中，五個(gè)評(píng)估層級(jí)逐層遞進(jìn)、相輔相成。管理層是對(duì)培訓(xùn)質(zhì)量的評(píng)估，便于掌握培訓(xùn)實(shí)施情況，及時(shí)發(fā)現(xiàn)問(wèn)題，提高培訓(xùn)質(zhì)量。反應(yīng)層是對(duì)培訓(xùn)的滿(mǎn)意度和期望建議，是學(xué)員根據(jù)自己的培訓(xùn)需求和活動(dòng)狀況進(jìn)行的直觀反饋。管理層和反應(yīng)層的評(píng)估結(jié)果和學(xué)習(xí)層緊密相連，由于學(xué)員對(duì)培訓(xùn)的直觀感受不同，會(huì)出現(xiàn)不同的學(xué)習(xí)表現(xiàn)，從而導(dǎo)致對(duì)知識(shí)技能的掌握程度不同。行為層是學(xué)員培訓(xùn)后日常工作的表現(xiàn)，雖經(jīng)過(guò)培訓(xùn)，并不一定所有的收獲都能夠轉(zhuǎn)化為實(shí)踐能力，但總體上，學(xué)習(xí)層對(duì)行為層有巨大影響。此外，學(xué)習(xí)層和行為層會(huì)共同作用于單位和個(gè)人總體利益的產(chǎn)出，影響結(jié)果層。而根據(jù)單位和學(xué)員是否受益及受益程度，會(huì)導(dǎo)致學(xué)員單位產(chǎn)生新的培訓(xùn)需求，從而影響對(duì)下一次培訓(xùn)的反應(yīng)。使用本模型時(shí)可以從以下幾方面入手：首先，引入系統(tǒng)思維，關(guān)注不同層級(jí)對(duì)總體產(chǎn)出的影響，將培訓(xùn)效果放在首要位置。其次，加強(qiáng)項(xiàng)目辦和學(xué)員單位的交流，綜合考慮不同評(píng)估主體的評(píng)估結(jié)果，進(jìn)行匯總分析。再次，注重結(jié)果反饋，及時(shí)將評(píng)估結(jié)果上報(bào)至管理層，從而為項(xiàng)目未來(lái)發(fā)展提供決策依據(jù)。

3.2 重視數(shù)據(jù)的長(zhǎng)期追蹤

本評(píng)估模型注重評(píng)估結(jié)果對(duì)項(xiàng)目未來(lái)發(fā)展的指導(dǎo)作用，以及學(xué)員所在單位通過(guò)培訓(xùn)獲得的長(zhǎng)期收益。因此，項(xiàng)目辦在用該評(píng)估模型進(jìn)行效果評(píng)估時(shí)，應(yīng)當(dāng)注意數(shù)據(jù)的收集和長(zhǎng)期追蹤?？梢越?shù)據(jù)庫(kù)，詳細(xì)記錄所有學(xué)員培訓(xùn)前的個(gè)人基本信息、學(xué)術(shù)水平，及培訓(xùn)期間的實(shí)踐、日常表現(xiàn)、答辯等考核數(shù)據(jù)。其次，定期進(jìn)行數(shù)據(jù)對(duì)比。將學(xué)員某段時(shí)間前后的有關(guān)數(shù)據(jù)進(jìn)行對(duì)比分析，了解學(xué)員在該時(shí)間段的能力變化情況。

3.3 加強(qiáng)評(píng)估指標(biāo)的量化分析

在實(shí)施評(píng)估過(guò)程中，很有可能出現(xiàn)有的指標(biāo)不能量化的情況。因此，對(duì)評(píng)估指標(biāo)的描述應(yīng)當(dāng)盡可能規(guī)范、清楚，避免模棱兩可。例如，在反應(yīng)層中，應(yīng)當(dāng)對(duì)培訓(xùn)教師的授課表現(xiàn)進(jìn)行清晰的界定，并且賦予分值。此外，還可對(duì)教師團(tuán)隊(duì)的整體表現(xiàn)和每位教師的授課表現(xiàn)分別打分，從而可以更加全面地評(píng)價(jià)教師的授課情況。

4 小結(jié)

定期開(kāi)展CFETPV 項(xiàng)目培訓(xùn)對(duì)提升我國(guó)獸醫(yī)流行病學(xué)隊(duì)伍建設(shè)能力，提升動(dòng)物疫病防治科學(xué)化水平具有重要意義，但如果缺乏對(duì)培訓(xùn)效果的評(píng)估，將難以發(fā)現(xiàn)培訓(xùn)過(guò)程中存在的問(wèn)題。因此，本研究基于Kirkpatrick 培訓(xùn)效果評(píng)估理論和全球流行病學(xué)培訓(xùn)與公共衛(wèi)生干預(yù)網(wǎng)絡(luò)培訓(xùn)項(xiàng)目質(zhì)量評(píng)估方法，構(gòu)建了CFETPV 項(xiàng)目培訓(xùn)效果評(píng)估模型。從管理層、反應(yīng)層、學(xué)習(xí)層、行為層、結(jié)果層五個(gè)層級(jí)建立培訓(xùn)效果評(píng)估指標(biāo)體系，包含5個(gè)一級(jí)指標(biāo)、13個(gè)二級(jí)指標(biāo)和75個(gè)三級(jí)指標(biāo)。通過(guò)管理層了解項(xiàng)目的培訓(xùn)質(zhì)量，反應(yīng)層掌握項(xiàng)目辦和學(xué)員對(duì)培訓(xùn)項(xiàng)目的反應(yīng)和評(píng)價(jià)，學(xué)習(xí)層測(cè)定學(xué)員對(duì)知識(shí)技能的掌握程度，行為層考察學(xué)員行為變化及知識(shí)運(yùn)用程度，結(jié)果層計(jì)算培訓(xùn)帶來(lái)的效益，科學(xué)評(píng)估CFETPV 項(xiàng)目取得的成效和存在的不足，完善項(xiàng)目培訓(xùn)框架，合理優(yōu)化項(xiàng)目管理流程，推進(jìn)項(xiàng)目科學(xué)化、規(guī)范化、持續(xù)化發(fā)展。