劉徐迪

摘 要：構(gòu)建科學(xué)實(shí)用的職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)指標(biāo)體系，對(duì)高質(zhì)量職業(yè)培訓(xùn)的進(jìn)行具有重要的實(shí)踐指導(dǎo)意義。以國(guó)內(nèi)外企業(yè)培訓(xùn)中廣泛采用的柯氏評(píng)價(jià)模型為基本評(píng)價(jià)框架，采用德?tīng)柗品?gòu)建了職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)指標(biāo)體系。該體系的評(píng)價(jià)指標(biāo)包括4個(gè)一級(jí)指標(biāo)，14個(gè)二級(jí)指標(biāo)以及26個(gè)三級(jí)指標(biāo)，并采用層次分析法確定了各個(gè)指標(biāo)項(xiàng)的權(quán)重。該體系的構(gòu)建能夠?yàn)槁殬I(yè)培訓(xùn)的質(zhì)量評(píng)價(jià)提供依據(jù)，對(duì)職業(yè)培訓(xùn)領(lǐng)域的發(fā)展意義重大。

關(guān)鍵詞：職業(yè)培訓(xùn);質(zhì)量測(cè)評(píng)指標(biāo);體系構(gòu)建;德?tīng)柗品?層次分析法

職業(yè)培訓(xùn)是一種按照不同職業(yè)崗位要求，對(duì)受培訓(xùn)者進(jìn)行職業(yè)知識(shí)與實(shí)際技能培養(yǎng)和訓(xùn)練的社會(huì)活動(dòng)[1]。近年來(lái)，國(guó)家高度重視職業(yè)培訓(xùn)。黨的十九大報(bào)告指出，要“大規(guī)模開(kāi)展職業(yè)技能培訓(xùn)，注重解決結(jié)構(gòu)性就業(yè)矛盾，鼓勵(lì)創(chuàng)業(yè)帶動(dòng)就業(yè)”。國(guó)務(wù)院于2019年頒布的《國(guó)家職業(yè)教育改革實(shí)施方案》提出，要“開(kāi)展高質(zhì)量職業(yè)培訓(xùn)”，鼓勵(lì)職業(yè)院?！懊嫦蛟谛W(xué)生和全體社會(huì)成員開(kāi)展職業(yè)培訓(xùn)”。在職業(yè)培訓(xùn)快速發(fā)展的背景下，職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)作為培訓(xùn)過(guò)程中重要的一環(huán)，有助于發(fā)現(xiàn)培訓(xùn)過(guò)程中的問(wèn)題與不足，有助于完善職業(yè)培訓(xùn)制度，提高培訓(xùn)質(zhì)量。目前，國(guó)內(nèi)對(duì)職業(yè)培訓(xùn)具有普適性的質(zhì)量測(cè)評(píng)研究較少，多為針對(duì)特定職業(yè)培訓(xùn)的質(zhì)量評(píng)估，缺乏統(tǒng)一的比較基礎(chǔ)。因此，研究職業(yè)培訓(xùn)質(zhì)量指標(biāo)體系的構(gòu)建，對(duì)于職業(yè)培訓(xùn)領(lǐng)域的發(fā)展意義重大。

一、職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)指標(biāo)建構(gòu)的模型選取

國(guó)外對(duì)培訓(xùn)質(zhì)量測(cè)評(píng)的研究起步較早，其中影響最廣泛的是唐納德·L·柯克帕特里克（Donald L.Kirkpatrick）于1959年提出的“四層次評(píng)估模型”，包括反應(yīng)層評(píng)估、學(xué)習(xí)層評(píng)估、行為層評(píng)估和結(jié)果層評(píng)估。

1.反應(yīng)層評(píng)估。反映層評(píng)估是指學(xué)員對(duì)培訓(xùn)的印象與感受，包含積極肯定的反應(yīng)與消極否定的反應(yīng)。積極肯定的反應(yīng)體現(xiàn)該培訓(xùn)項(xiàng)目很有可能取得預(yù)期效果，該項(xiàng)目在未來(lái)也會(huì)受到足夠的重視;消極否定的反應(yīng)則暴露了該培訓(xùn)項(xiàng)目可能存在問(wèn)題。高層管理者通過(guò)了解參訓(xùn)人員的意見(jiàn)，對(duì)接下來(lái)的培訓(xùn)做出更合理的發(fā)展決策。如對(duì)反應(yīng)層進(jìn)行評(píng)估，為了實(shí)施起來(lái)簡(jiǎn)單有效，需要設(shè)計(jì)一份能夠量化學(xué)員反應(yīng)的表格，并盡可能多地收集學(xué)員的反饋信息。

2.學(xué)習(xí)層評(píng)估。學(xué)習(xí)層評(píng)估是指參訓(xùn)學(xué)員參加培訓(xùn)項(xiàng)目后，能夠在多大程度上實(shí)現(xiàn)態(tài)度轉(zhuǎn)變、知識(shí)擴(kuò)充或技能提升等相應(yīng)結(jié)果[2]。這是培訓(xùn)項(xiàng)目要直接實(shí)現(xiàn)的三個(gè)目標(biāo)，是衡量培訓(xùn)質(zhì)量高低的重要指標(biāo)。對(duì)這一層級(jí)可以采用標(biāo)準(zhǔn)化測(cè)試的方式評(píng)估學(xué)員獲得的知識(shí);采取演示的方式考察其實(shí)際操作能力;根據(jù)觀察或訪談了解學(xué)員的態(tài)度轉(zhuǎn)變。

3.行為層評(píng)估。行為層評(píng)估指學(xué)員接受培訓(xùn)后，在工作中表現(xiàn)出的態(tài)度以及對(duì)知識(shí)、技能的運(yùn)用情況。對(duì)這一層級(jí)進(jìn)行評(píng)估要比前兩個(gè)層級(jí)更為復(fù)雜，通常要選取適當(dāng)?shù)臅r(shí)間，借助觀察、面談、調(diào)查問(wèn)卷或綜合這幾種方式來(lái)弄清培訓(xùn)的基本情況。

4.結(jié)果層評(píng)估。結(jié)果層評(píng)估是指企業(yè)目標(biāo)包括增加利潤(rùn)、改善經(jīng)營(yíng)環(huán)境、提升品牌知名度等目標(biāo)的實(shí)現(xiàn)程度。這一層級(jí)關(guān)乎培訓(xùn)的根本目的，同時(shí)也是整個(gè)評(píng)估程序中最難處理的環(huán)節(jié)。在培訓(xùn)項(xiàng)目開(kāi)始前需要找到大量數(shù)據(jù)資料，如產(chǎn)品質(zhì)量、員工離職率、客戶投訴率等，并將開(kāi)始數(shù)據(jù)與項(xiàng)目結(jié)束后的相應(yīng)數(shù)據(jù)進(jìn)行對(duì)比。此外，對(duì)于一些無(wú)法量化的指標(biāo)，還應(yīng)在培訓(xùn)結(jié)束后找到一些實(shí)實(shí)在在的證據(jù)，以證明培訓(xùn)項(xiàng)目是否取得了預(yù)期的效果。

“反應(yīng)”“學(xué)習(xí)”“行為”和“結(jié)果”四個(gè)層次，每一個(gè)層次都是后一個(gè)層次的必要條件[3]。每一層都是極為重要的，并且對(duì)下一層具有重要影響。當(dāng)評(píng)估從一層進(jìn)入到下一層，程序會(huì)逐漸復(fù)雜，實(shí)施困難也會(huì)增大?？率显u(píng)估理論的形成對(duì)促進(jìn)培訓(xùn)事業(yè)的交流與發(fā)展產(chǎn)生了很大的影響。在國(guó)外，威廉·H·漢姆布林（William H.Hamblin）、杰克·菲利普斯（Jack Philips）、羅杰·考夫曼（Roger Kaufman）在多年以后分別對(duì)該模型進(jìn)行了修正，但總體上仍延續(xù)了柯氏“四層次評(píng)估模型”的思路與方法。柯氏評(píng)估模型被引入中國(guó)以后，在教育和衛(wèi)生等眾多領(lǐng)域得到廣泛應(yīng)用。宋夕平（2006）通過(guò)舉例說(shuō)明了在評(píng)估企業(yè)培訓(xùn)效果中如何更好地運(yùn)用柯氏評(píng)估模型;趙德成（2009）、馬玉慧（2011）等將柯氏評(píng)估模型運(yùn)用到教師培訓(xùn)項(xiàng)目上進(jìn)行研究;張立威（2013）、黃雪燕（2018）等以柯氏評(píng)估模型為基礎(chǔ)，建立了關(guān)于全科醫(yī)師、護(hù)士的培訓(xùn)效果評(píng)估指標(biāo)?？率显u(píng)估模型在職業(yè)培訓(xùn)評(píng)估中應(yīng)用十分廣泛，常被稱為是最著名、最經(jīng)典的培訓(xùn)評(píng)估模型，故本研究選取柯氏的“四層次評(píng)估模型”作為指標(biāo)建構(gòu)的理論基礎(chǔ)。

二、職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)指標(biāo)體系設(shè)計(jì)

（一）評(píng)價(jià)指標(biāo)體系初步設(shè)計(jì)

以柯氏模型為基本評(píng)價(jià)框架，并在廣泛查閱相關(guān)政策、文獻(xiàn)的基礎(chǔ)上，構(gòu)建了職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)的48項(xiàng)初級(jí)指標(biāo)，其中，一級(jí)指標(biāo)4項(xiàng)，二級(jí)指標(biāo)13項(xiàng)，三級(jí)指標(biāo)31項(xiàng)，具體如表1所示。

（二）評(píng)價(jià)指標(biāo)體系修訂

為了驗(yàn)證評(píng)價(jià)指標(biāo)的科學(xué)性以及可行性，研究采用了德?tīng)柗品ǎ―elphi Method）。德?tīng)柗品ㄓ址Q專家咨詢法，是一種群體決策行為，具有匿名性、反饋性和統(tǒng)計(jì)性的特點(diǎn)，本質(zhì)上是建立在眾多專家的專業(yè)知識(shí)、經(jīng)驗(yàn)和主觀判斷能力基礎(chǔ)上的[4]。研究通過(guò)發(fā)放專家意見(jiàn)征詢表的方式進(jìn)行了兩輪專家咨詢，兩輪均要求專家對(duì)每項(xiàng)指標(biāo)的“重要性”進(jìn)行打分，同時(shí)請(qǐng)專家對(duì)初步擬定的指標(biāo)體系提出意見(jiàn)和修改建議。“重要性”程度分為“很不重要”“不重要”“一般”“重要”“很重要”5個(gè)等級(jí)，賦值依次為：1、2、3、4、5。將兩次咨詢結(jié)果分別錄入SPSS 24.0與Excel 2010（專業(yè)增強(qiáng)版），計(jì)算各項(xiàng)指標(biāo)的算術(shù)均數(shù)、標(biāo)準(zhǔn)差、滿分比、變異系數(shù)，并根據(jù)界值法的計(jì)算要求修訂指標(biāo)。

1.第一輪專家意見(jiàn)征詢。第一輪共發(fā)放問(wèn)卷27份，回收26份。專家工作年限在30年以上的有6人（占比23.08%）;工作20年～30年的有6人（占比23.08%）;10年～20年的有14人（占比53.85%）。專家職稱為正高級(jí)的有7人（占比26.92%）;副高級(jí)的有12人（占比46.15%）;中級(jí)的有7人（占比26.92%）。為了確保專家咨詢結(jié)果的可靠性，研究采用專家權(quán)威程度系數(shù)（Cr），對(duì)專家評(píng)分的可靠性進(jìn)行分析，其量化值詳見(jiàn)表2。

Cr的值取決于專家熟悉程度系數(shù)值Cs和所有判斷系數(shù)和Ca，計(jì)算公式為：Cr=（Cs+Ca）/2。數(shù)值越大表明專家對(duì)咨詢內(nèi)容的權(quán)威程度越高，當(dāng)Cr≥0.70時(shí)，代表專家權(quán)威程度高，結(jié)果可靠。第一輪專家咨詢熟悉程度（Cs）=0.75，判斷依據(jù)（Ca）=0.93，故權(quán)威程度（Cr）=0.84，咨詢結(jié)果相對(duì)可靠。

匯總一輪專家修改建議，得出算術(shù)平均數(shù)、滿分比、變異系數(shù)的界值分別為：3.99、0.33、0.27。算術(shù)平均數(shù)、滿分比為正項(xiàng)指標(biāo)，數(shù)值大于界值入選。變異系數(shù)為負(fù)向指標(biāo)，數(shù)值小于界值入選。規(guī)定必須同時(shí)不符合兩個(gè)及兩個(gè)以上尺度的指標(biāo)才被剔除。通過(guò)査閱相關(guān)文獻(xiàn)、參考專家集體評(píng)判和研究者逐條分析討論，對(duì)每項(xiàng)建議給予相應(yīng)處理，處理類型可以概括為“增加或刪除指標(biāo)”“變更指標(biāo)從屬領(lǐng)域”以及“修改指標(biāo)表述”三大類。具體修改情況為：刪除“1.2.3是否對(duì)接行業(yè)前沿”“1.4.4構(gòu)建理想師生關(guān)系的能力”“1.5.1培訓(xùn)資料與設(shè)備是否齊全”等16項(xiàng)指標(biāo)。增加“1.5.1培訓(xùn)前期準(zhǔn)備充分”“1.5.2培訓(xùn)過(guò)程進(jìn)展順利”“1.5.3培訓(xùn)結(jié)束總結(jié)及時(shí)”等17項(xiàng)指標(biāo)。將行為層評(píng)估下的二級(jí)指標(biāo)“3.1參訓(xùn)人員職業(yè)態(tài)度”轉(zhuǎn)移至學(xué)習(xí)層評(píng)估，改為“2.3態(tài)度轉(zhuǎn)變”。將“2.1.1專業(yè)知識(shí)”表述改為“2.1.1專業(yè)理論知識(shí)”，將“2.2.1專業(yè)技能”表述改為“2.2.1崗位常用操作技術(shù)”。

經(jīng)過(guò)第一輪的統(tǒng)計(jì)分析，本次指標(biāo)體系包括4個(gè)一級(jí)指標(biāo)、14個(gè)二級(jí)指標(biāo)、28個(gè)三級(jí)指標(biāo)。

2.第二輪專家意見(jiàn)征詢。第二輪共發(fā)放問(wèn)卷17份，回收15份。專家工作年限在30年以上的有2人（占比13.33%）;工作20年～30年的有3人（占比20%）;10年～20年的有10人（占比66.67%）。專家職稱為正高級(jí)的有4人（占比26.67%）;副高級(jí)的有4人（占比26.67%）;中級(jí)的有7人（占比46.67%）。第二輪專家咨詢熟悉程度（Cs）=0.78，判斷依據(jù)（Ca）=0.94，故權(quán)威程度（Cr）=0.86，咨詢結(jié)果相對(duì)可靠。

匯總第二輪專家修改建議，得出算術(shù)平均數(shù)、滿分比、變異系數(shù)的界值分別為：4.30、0.46、0.18。專家指出，三級(jí)指標(biāo)“1.2.3內(nèi)容相對(duì)集中”與“3.1.1個(gè)人出勤率”設(shè)置不恰當(dāng)，且得分不符合界值法要求，故予以刪除。與此同時(shí)，對(duì)各指標(biāo)的具體表述進(jìn)行了細(xì)致的修改，使指標(biāo)的表述更加清晰且通俗易懂。最終指標(biāo)體系包括4個(gè)一級(jí)指標(biāo)、14個(gè)二級(jí)指標(biāo)、26個(gè)三級(jí)指標(biāo)，詳見(jiàn)表3。

三、職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)指標(biāo)權(quán)重計(jì)算

本研究以層次分析法對(duì)第二輪咨詢結(jié)果進(jìn)行分析整理，確定職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)各級(jí)指標(biāo)權(quán)重，為職業(yè)培訓(xùn)評(píng)價(jià)工作提供客觀依據(jù)。層次分析法（Analytic Hierarchy Process，AHP）由美國(guó)運(yùn)籌學(xué)家T.L.Saaty等人提出，是一種多目標(biāo)決策分析方法。應(yīng)用AHP法確定評(píng)價(jià)指標(biāo)的權(quán)重，就是在建立有序遞階的指標(biāo)體系基礎(chǔ)上，通過(guò)比較同一層次各指標(biāo)的相對(duì)重要性來(lái)綜合計(jì)算指標(biāo)的權(quán)重系數(shù)[5]。

1.建立目標(biāo)樹(shù)，如圖1所示。

2.建立判斷矩陣。以第二輪咨詢數(shù)據(jù)得出的各級(jí)指標(biāo)重要性均數(shù)進(jìn)行兩兩比較，以確定Saaty標(biāo)度，詳見(jiàn)表4。

以反應(yīng)層評(píng)估Ⅱ級(jí)子目標(biāo)層為例構(gòu)建判斷矩陣，詳見(jiàn)表5。

3.計(jì)算各級(jí)指標(biāo)權(quán)重。權(quán)重計(jì)算過(guò)程：計(jì)算判斷矩陣每行數(shù)值乘積并開(kāi)n次方根，得到初始權(quán)重系數(shù)W'i;對(duì)計(jì)算結(jié)果做歸一化處理，得到各級(jí)目標(biāo)權(quán)重Wi。公式如下：

4.層次單排序及一致性檢驗(yàn)。采用層次分析法計(jì)算權(quán)重時(shí)，在得出歸一化權(quán)重后，應(yīng)對(duì)其是否符合邏輯進(jìn)行檢驗(yàn)。一般采用一致性指標(biāo)CI和一致性比率CR進(jìn)行判斷檢驗(yàn)，當(dāng)CI<0.10時(shí)，表明計(jì)算所得權(quán)重系數(shù)符合邏輯，當(dāng)CR<0.10時(shí)，表明判斷矩陣具備一致性。公式如下：

RI為平均隨機(jī)一致性指標(biāo)，取值見(jiàn)表6。

5.結(jié)果。本項(xiàng)研究進(jìn)行各級(jí)指標(biāo)權(quán)重的計(jì)算分析，得出各級(jí)指標(biāo)的判斷矩陣CI、CR值均小于0.10，表明計(jì)算所得的指標(biāo)權(quán)重系數(shù)符合邏輯，指標(biāo)層次單排序具備滿意一致性，結(jié)果詳見(jiàn)表7、表8。

四、總結(jié)

本研究以改進(jìn)職業(yè)培訓(xùn)質(zhì)量為出發(fā)點(diǎn)，以國(guó)內(nèi)外企業(yè)培訓(xùn)中廣泛采用的柯氏評(píng)估模型為基本評(píng)價(jià)框架，采用德?tīng)柗品?gòu)建了職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)指標(biāo)體系，該體系的評(píng)價(jià)指標(biāo)包括4個(gè)一級(jí)指標(biāo)，14個(gè)二級(jí)指標(biāo)以及26個(gè)三級(jí)指標(biāo)。本研究采用層次分析法確定各指標(biāo)項(xiàng)的權(quán)重，通過(guò)這種方法確定的指標(biāo)體系結(jié)構(gòu)清晰、層次分明，能夠?yàn)槁殬I(yè)培訓(xùn)的質(zhì)量評(píng)價(jià)提供依據(jù)。從一級(jí)指標(biāo)的權(quán)重來(lái)看，學(xué)習(xí)層評(píng)估與行為層評(píng)估的重要性較大。在二級(jí)指標(biāo)中，技能成果、培訓(xùn)后學(xué)員工作結(jié)果、知識(shí)成果、培訓(xùn)后學(xué)員工作過(guò)程、態(tài)度轉(zhuǎn)變排在指標(biāo)項(xiàng)前五位，這是進(jìn)行職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)時(shí)應(yīng)重點(diǎn)關(guān)注的幾個(gè)方面。

整體看來(lái)，該測(cè)評(píng)工具能夠較為全面地評(píng)價(jià)職業(yè)培訓(xùn)項(xiàng)目中的各要素，同時(shí)也填補(bǔ)了我國(guó)職業(yè)培訓(xùn)在評(píng)價(jià)方面的研究缺失，對(duì)我國(guó)職業(yè)培訓(xùn)的科學(xué)評(píng)價(jià)具有重要的參考價(jià)值。同時(shí)，這種培訓(xùn)評(píng)價(jià)指標(biāo)體系不局限于某一特定職業(yè)，而是面向各種職業(yè)培訓(xùn)，具有廣泛的現(xiàn)實(shí)意義和使用價(jià)值。但本研究也存在一些不足，如專家數(shù)量有限、未能開(kāi)展職業(yè)培訓(xùn)試評(píng)等。接下來(lái)，為了更好地驗(yàn)證評(píng)價(jià)工具的信度、效度，本研究將把評(píng)價(jià)工具應(yīng)用于實(shí)際的職業(yè)培訓(xùn)項(xiàng)目中進(jìn)行測(cè)評(píng)，以實(shí)現(xiàn)對(duì)評(píng)價(jià)指標(biāo)體系的迭代優(yōu)化，最終形成完整、成熟的職業(yè)培訓(xùn)質(zhì)量測(cè)評(píng)指標(biāo)體系。

參考文獻(xiàn)：

[1]姜大源.職業(yè)教育：培訓(xùn)與教育辨[J].中國(guó)職業(yè)技術(shù)教育，2008（7）：1，24.

[2]唐納德L.柯克帕特里克，詹姆斯D.柯克帕特里克.如何做好培訓(xùn)評(píng)估：柯氏四級(jí)評(píng)估法[M].奚衛(wèi)華，林祝君，譯.北京：機(jī)械工業(yè)出版社，2007：17.

[3]李莉.培訓(xùn)效果評(píng)估模型解析[J].中國(guó)電力教育，2005（4）：25-28.

[4]劉偉濤，顧鴻，李春洪.基于德?tīng)柗品ǖ膶＜以u(píng)估方法[J]. 計(jì)算機(jī)工程，2011，37（S1）：189-191，204.

[5]曹茂林.層次分析法確定評(píng)價(jià)指標(biāo)權(quán)重及Excel計(jì)算[J]. 江蘇科技信息，2012（2）：39-40.

[責(zé)任編輯? ? 曹? ?穩(wěn)]