黃鐵牛?郭廣軍?潘建明?李鑫

摘 要 培訓(xùn)評(píng)價(jià)組織是1+X證書(shū)制度實(shí)施的關(guān)鍵主體，當(dāng)下培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)體系缺乏，有必要建立評(píng)價(jià)指標(biāo)體系來(lái)加強(qiáng)對(duì)其監(jiān)督與評(píng)估。參考CIPP理論評(píng)價(jià)模式，運(yùn)用文獻(xiàn)研究法、德?tīng)柗品皩哟畏治龇ǎ瑯?gòu)建了由基礎(chǔ)評(píng)價(jià)、資源評(píng)價(jià)、實(shí)施評(píng)價(jià)和效果評(píng)價(jià)4個(gè)一級(jí)指標(biāo)、12個(gè)二級(jí)指標(biāo)、30個(gè)三級(jí)指標(biāo)組成的培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)體系，并確定了指標(biāo)的權(quán)重。提出加強(qiáng)培訓(xùn)評(píng)價(jià)組織遴選、制訂評(píng)價(jià)指標(biāo)體系及全面開(kāi)展現(xiàn)有培訓(xùn)評(píng)價(jià)組織監(jiān)管考核的培訓(xùn)評(píng)價(jià)組織監(jiān)督管理策略，為職業(yè)教育培訓(xùn)評(píng)價(jià)組織考核及監(jiān)督管理提供參考。

關(guān)鍵詞 1+X證書(shū)制度；培訓(xùn)評(píng)價(jià)組織；評(píng)價(jià)指標(biāo)體系；德?tīng)柗品?；層次分析?/p>

中圖分類(lèi)號(hào) G717 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1008-3219（2023）11-0060-06

一、問(wèn)題的提出

2019年1月，國(guó)務(wù)院印發(fā)《國(guó)家職業(yè)教育改革實(shí)施方案》，要求做優(yōu)培訓(xùn)評(píng)價(jià)組織。隨后，教育部等四部門(mén)聯(lián)合印發(fā)的《關(guān)于在院校實(shí)施“學(xué)歷證書(shū)+若干職業(yè)技能等級(jí)證書(shū)”制度的試點(diǎn)方案》（以下簡(jiǎn)稱(chēng)《試點(diǎn)方案》）指出，培訓(xùn)評(píng)價(jià)組織對(duì)1+X證書(shū)制度有效推進(jìn)及成功實(shí)施起到關(guān)鍵作用。在1+X證書(shū)制度實(shí)施中，培訓(xùn)評(píng)價(jià)組織承擔(dān)職業(yè)技能等級(jí)標(biāo)準(zhǔn)建設(shè)、師資隊(duì)伍建設(shè)、優(yōu)質(zhì)資源建設(shè)、證書(shū)管理體系建設(shè)等職責(zé)，是職業(yè)技能等級(jí)證書(shū)和有關(guān)標(biāo)準(zhǔn)建設(shè)的主體。

本研究的職業(yè)教育培訓(xùn)評(píng)價(jià)組織是指教育部1+X證書(shū)制度試點(diǎn)的職業(yè)教育培訓(xùn)評(píng)價(jià)組織，是“集行業(yè)組織、教育機(jī)構(gòu)及評(píng)價(jià)機(jī)構(gòu)的屬性為一體，具備凝聚行業(yè)企業(yè)、院校和考核評(píng)價(jià)機(jī)構(gòu)力量的多功能社會(huì)組織”[1]。當(dāng)下培訓(xùn)評(píng)價(jià)組織已成為學(xué)者們關(guān)注的熱點(diǎn)話題，但在1+X證書(shū)制度試點(diǎn)中培訓(xùn)評(píng)價(jià)組織還存在一些問(wèn)題，如證書(shū)標(biāo)準(zhǔn)社會(huì)認(rèn)可度不高[2]、配套資源不完善[3]、組織行為不規(guī)范[4]等，究其原因是缺乏統(tǒng)一、客觀且具有針對(duì)性的培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)體系。眾多學(xué)者也提出，要加強(qiáng)培訓(xùn)評(píng)價(jià)組織監(jiān)督管理[5]、制定培訓(xùn)評(píng)價(jià)組織工作的績(jī)效評(píng)價(jià)細(xì)則[6]、健全培訓(xùn)評(píng)價(jià)組織管理評(píng)價(jià)辦法[7]等。目前國(guó)內(nèi)有關(guān)1+X證書(shū)制度培訓(xùn)評(píng)價(jià)組織的研究還存在不足：一是現(xiàn)有研究主要是采取定性研究方法，尚未對(duì)培訓(xùn)評(píng)價(jià)組織的評(píng)價(jià)指標(biāo)體系進(jìn)行深入研究[8]；二是盡管已經(jīng)有少數(shù)的研究開(kāi)始提出培訓(xùn)評(píng)價(jià)組織的監(jiān)督管理及評(píng)價(jià)，但還未涉及到指標(biāo)權(quán)重的定量研究。此外，從政策上看，截至目前，國(guó)家尚未出臺(tái)培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)體系。2020年6月，國(guó)家職業(yè)教育指導(dǎo)咨詢(xún)委員會(huì)發(fā)布的《職業(yè)教育培訓(xùn)評(píng)價(jià)組織遴選與監(jiān)督管理辦法（試行）》（簡(jiǎn)稱(chēng)《管理辦法（試行）》）明確提出，要建立培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)體系。在這一背景下，如何引導(dǎo)培訓(xùn)評(píng)價(jià)組織健康發(fā)展，如何評(píng)價(jià)培訓(xùn)評(píng)價(jià)組織，評(píng)價(jià)內(nèi)容包括哪些等，成為當(dāng)前1+X證書(shū)制度全面實(shí)施需要亟待解決的問(wèn)題?；诖?，本研究以CIPP理論為基礎(chǔ)，運(yùn)用德?tīng)柗品ê蛯哟畏治龇?，?gòu)建培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)體系框架與主要指標(biāo)，以期為1+X證書(shū)制度試點(diǎn)及正式實(shí)施提供新思路與方法。

二、研究設(shè)計(jì)與開(kāi)展

（一）研究方法

1.文獻(xiàn)研究法

本研究依據(jù)《管理辦法（試行）》和《試點(diǎn)方案》等政策文件，通過(guò)中國(guó)知網(wǎng)、維普等數(shù)據(jù)庫(kù)以及相關(guān)網(wǎng)絡(luò)資源查閱國(guó)內(nèi)有關(guān)培訓(xùn)評(píng)價(jià)組織的研究文獻(xiàn)及成果等。一方面，歸納分析相關(guān)研究文獻(xiàn)擬定了培訓(xùn)評(píng)價(jià)組織的評(píng)價(jià)指標(biāo)體系，梳理出培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)的基本維度，初步確定4個(gè)一級(jí)指標(biāo)及相關(guān)內(nèi)容；另一方面，為調(diào)查表、訪談提綱的制訂以及指標(biāo)體系的設(shè)計(jì)提供依據(jù)。

2.德?tīng)柗品?/p>

邀請(qǐng)來(lái)自教育主管部門(mén)、職業(yè)院校和培訓(xùn)評(píng)價(jià)組織的專(zhuān)家，采用電子郵件發(fā)送問(wèn)卷的形式，就評(píng)價(jià)指標(biāo)的選擇進(jìn)行專(zhuān)家咨詢(xún)，確定其評(píng)價(jià)指標(biāo)體系的各維度指標(biāo)。

3.層次分析法

首先，采用9級(jí)評(píng)分方法，專(zhuān)家對(duì)每一個(gè)指標(biāo)重要性進(jìn)行兩兩比較評(píng)分，得出相對(duì)重要性；然后，列出兩兩比較矩陣；最后，通過(guò)軟件計(jì)算矩陣的一致性指標(biāo)（CR值），如果CR<0.1，就可以判斷矩陣的層次排序有滿意的一致性[9]。本研究采用層次分析法計(jì)算指標(biāo)權(quán)重。

（二）調(diào)研專(zhuān)家選取

本研究咨詢(xún)專(zhuān)家的確定需滿足三個(gè)基本條件之一：一是從事1+X證書(shū)制度試點(diǎn)工作的專(zhuān)家學(xué)者；二是主持1+X證書(shū)制度試點(diǎn)課題或項(xiàng)目的學(xué)者；三是公開(kāi)發(fā)表過(guò)1+X證書(shū)制度主題論文的專(zhuān)家。所有專(zhuān)家不集中在一個(gè)單位，并能保證完成至少兩輪的咨詢(xún)。本研究按照三個(gè)基本條件，采用方便抽樣法，確定了來(lái)自長(zhǎng)沙民政職業(yè)技術(shù)學(xué)院、永州職業(yè)技術(shù)學(xué)院和寧波職業(yè)技術(shù)學(xué)院等1+X證書(shū)制度試點(diǎn)職業(yè)院校的專(zhuān)家，江西省和遼寧省等1+X證書(shū)制度試點(diǎn)推進(jìn)辦公室的專(zhuān)家，金職偉業(yè)集團(tuán)有限公司和泰康珞珈（北京）科學(xué)技術(shù)研究院等培訓(xùn)評(píng)價(jià)組織的負(fù)責(zé)人，共25位專(zhuān)家參加專(zhuān)家咨詢(xún)。

（三）研究過(guò)程

1.評(píng)價(jià)指標(biāo)體系初步構(gòu)建

本研究參照培訓(xùn)評(píng)價(jià)組織的前期相關(guān)研究成果，同時(shí)將相關(guān)政策文件要求作為重要參考，構(gòu)建出“1+X證書(shū)制度試點(diǎn)培訓(xùn)評(píng)價(jià)組織初步評(píng)價(jià)指標(biāo)”。評(píng)價(jià)指標(biāo)的構(gòu)建主要基于以下三個(gè)方面考慮：一是根據(jù)培訓(xùn)評(píng)價(jià)組織職能，考慮其基本要求；二是考慮培訓(xùn)評(píng)價(jià)組織職業(yè)技能標(biāo)準(zhǔn)、資源建設(shè)及證書(shū)考核管理要求；三是考慮培訓(xùn)評(píng)價(jià)組織助力職業(yè)院校人才培養(yǎng)和學(xué)生技能提升。課題組三次組織專(zhuān)家進(jìn)行討論，最終確定由4個(gè)一級(jí)指標(biāo)、14個(gè)二級(jí)指標(biāo)和37個(gè)三級(jí)指標(biāo)構(gòu)成第一輪咨詢(xún)問(wèn)卷的指標(biāo)體系。

2.專(zhuān)家咨詢(xún)

課題組問(wèn)卷編制小組由6名成員組成。具有25年以上職業(yè)教育及研究經(jīng)驗(yàn)的成員2人，有4名副教授和1名講師具有10年以上職業(yè)教育經(jīng)驗(yàn)。問(wèn)卷編制側(cè)重關(guān)注培訓(xùn)評(píng)價(jià)組織在1+X證書(shū)制度實(shí)施中的職責(zé)，形成指標(biāo)體系的專(zhuān)家咨詢(xún)問(wèn)卷。

（1）第一輪專(zhuān)家咨詢(xún)

進(jìn)行評(píng)價(jià)指標(biāo)的必要性專(zhuān)家咨詢(xún)。本研究采用微信或電子郵件方式開(kāi)展問(wèn)卷咨詢(xún)，采用5級(jí)評(píng)分，一共邀請(qǐng)20位專(zhuān)家對(duì)各指標(biāo)進(jìn)行必要性評(píng)分，同時(shí)設(shè)置了“新增”和“刪除”二級(jí)指標(biāo)項(xiàng)?；厥沼行?wèn)卷之后，對(duì)均值進(jìn)行分析，保留了評(píng)分大于3的指標(biāo)；對(duì)部分指標(biāo)的描述進(jìn)行了完善，對(duì)專(zhuān)家提出增加的指標(biāo)進(jìn)行補(bǔ)充。同時(shí)，對(duì)專(zhuān)家的熟悉程度進(jìn)行5級(jí)評(píng)分，對(duì)指標(biāo)評(píng)價(jià)的依據(jù)進(jìn)行3級(jí)評(píng)分，依據(jù)評(píng)價(jià)來(lái)自1+X證書(shū)制度試點(diǎn)的實(shí)踐經(jīng)驗(yàn)、邏輯推理、了解程度和直覺(jué)判斷四個(gè)方面。

（2）第二輪專(zhuān)家咨詢(xún)

評(píng)價(jià)指標(biāo)的重要性評(píng)價(jià)。在第一輪專(zhuān)家咨詢(xún)基礎(chǔ)上修改評(píng)價(jià)指標(biāo)，形成新的培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)體系，再次邀請(qǐng)22位專(zhuān)家，對(duì)新指標(biāo)體系進(jìn)行評(píng)分，采用5級(jí)評(píng)分對(duì)指標(biāo)的重要性進(jìn)行評(píng)價(jià)。

3.確定各級(jí)指標(biāo)權(quán)重

運(yùn)用層次分析法，邀請(qǐng)25位專(zhuān)家，采用兩兩比較9級(jí)進(jìn)行評(píng)分，對(duì)評(píng)價(jià)指標(biāo)體系的各級(jí)指標(biāo)權(quán)重進(jìn)行重要性評(píng)分，收集整理評(píng)分問(wèn)卷，將數(shù)據(jù)導(dǎo)入軟件，計(jì)算各級(jí)指標(biāo)的權(quán)重。

三、研究結(jié)果

（一）德?tīng)柗品▽?zhuān)家咨詢(xún)結(jié)果

1.專(zhuān)家基本情況

本研究的咨詢(xún)專(zhuān)家基本情況包括：性別、職稱(chēng)是否參與1+X證書(shū)制度工作、從事職業(yè)教育年限及目前從事工作等。調(diào)研顯示，這些專(zhuān)家來(lái)自職業(yè)院校、教育主管部門(mén)和培訓(xùn)評(píng)價(jià)組織，均參加了1+X證書(shū)制度試點(diǎn)工作，職稱(chēng)為副高級(jí)及以上的占80%以上，從事職業(yè)教育20年以上的占80%以上，見(jiàn)表1。

2.專(zhuān)家咨詢(xún)表回收情況

第一輪專(zhuān)家咨詢(xún)發(fā)放22份問(wèn)卷，剔除規(guī)律作答問(wèn)卷，最終得到20份有效問(wèn)卷，問(wèn)卷有效回收率為90.9%；第二輪專(zhuān)家咨詢(xún)發(fā)放25份問(wèn)卷，剔除規(guī)律作答問(wèn)卷，最終得到22份有效問(wèn)卷，問(wèn)卷有效回收率為88%。問(wèn)卷回收率可以反映出專(zhuān)家參與的積極程度高[10]。

3.專(zhuān)家權(quán)威程度

第一輪和第二輪專(zhuān)家判斷系數(shù)（Ca）分別為0.885和0.892，熟悉程度系數(shù)（Cs）分別為0.827和0.873，計(jì)算出專(zhuān)家權(quán)威系數(shù)（Cr）值是0.878和0.882，都在0.7～1.0之間，說(shuō)明兩輪咨詢(xún)專(zhuān)家的權(quán)威程度均較高，咨詢(xún)結(jié)果可靠。

4.專(zhuān)家協(xié)調(diào)程度

“通過(guò)協(xié)調(diào)系數(shù)（W）來(lái)反映專(zhuān)家協(xié)調(diào)程度，協(xié)調(diào)系數(shù)為0～1之間，說(shuō)明專(zhuān)家對(duì)指標(biāo)重要性認(rèn)知的一致性和集中程度，其值越大表示專(zhuān)家意見(jiàn)的一致性程度。”[11]本研究?jī)奢唽?zhuān)家咨詢(xún)的協(xié)調(diào)系數(shù)是0.285和0.364，檢驗(yàn)P＜0.05，差異無(wú)顯著性，說(shuō)明兩輪專(zhuān)家意見(jiàn)的協(xié)調(diào)程度都較好，意見(jiàn)趨于一致。專(zhuān)家協(xié)調(diào)程度見(jiàn)表2。

5.專(zhuān)家效度分析

參與本研究咨詢(xún)的專(zhuān)家都具有豐富的職業(yè)教育經(jīng)驗(yàn)，在職業(yè)教育領(lǐng)域工作20年以上專(zhuān)家占80%以上，專(zhuān)家都對(duì)培訓(xùn)評(píng)價(jià)組織非常熟悉，參與研究專(zhuān)家的專(zhuān)業(yè)水平和權(quán)威度都較高。

本研究有效問(wèn)卷回收率都高于80%，說(shuō)明專(zhuān)家參與咨詢(xún)的積極程度較高；權(quán)威系數(shù)Cr均值為0.875，說(shuō)明專(zhuān)家咨詢(xún)結(jié)果可靠；協(xié)調(diào)系數(shù)大于0.4，說(shuō)明專(zhuān)家意見(jiàn)趨于一致，咨詢(xún)結(jié)果可以使用。

（二）指標(biāo)體系構(gòu)建

1.第一輪專(zhuān)家咨詢(xún)結(jié)果

首先，在文獻(xiàn)研究的基礎(chǔ)上，咨詢(xún)職業(yè)教育1+X證書(shū)制度試點(diǎn)相關(guān)專(zhuān)家，初步設(shè)定三級(jí)的培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)體系：一級(jí)指標(biāo)4個(gè)、二級(jí)指標(biāo)14個(gè)和三級(jí)指標(biāo)37個(gè)。其次，邀請(qǐng)專(zhuān)家對(duì)初定的各項(xiàng)指標(biāo)的重要性進(jìn)行打分（1～5分）。最后，根據(jù)第一輪專(zhuān)家咨詢(xún)的數(shù)據(jù)統(tǒng)計(jì)對(duì)指標(biāo)體系再進(jìn)行部分修改：例如將“實(shí)訓(xùn)條件”調(diào)整到“證書(shū)配套資源”，刪除了“協(xié)同創(chuàng)新”和“合格率”；修改了“專(zhuān)家團(tuán)隊(duì)”評(píng)價(jià)內(nèi)容，“課程資源”評(píng)價(jià)內(nèi)容，增加了“職業(yè)教育師資培訓(xùn)”。

2.第二輪專(zhuān)家咨詢(xún)結(jié)果

在第一輪指標(biāo)的基礎(chǔ)上，將完善后的評(píng)價(jià)指標(biāo)體系進(jìn)行第二輪專(zhuān)家咨詢(xún)，經(jīng)過(guò)專(zhuān)家們多次溝通和修改，最終形成由4項(xiàng)一級(jí)指標(biāo)、12項(xiàng)二級(jí)指標(biāo)和30項(xiàng)三級(jí)指標(biāo)組成的評(píng)價(jià)指標(biāo)體系框架。

3.指標(biāo)體系權(quán)重的確定

（1）建立層次結(jié)構(gòu)模型

本研究12項(xiàng)二級(jí)指標(biāo)是指標(biāo)體系的中間層要素，30個(gè)三級(jí)指標(biāo)項(xiàng)指標(biāo)體系的底層要素，以AHP分析軟件構(gòu)建評(píng)價(jià)指標(biāo)的層次結(jié)構(gòu)模型，見(jiàn)圖1。

（2）構(gòu)建判斷矩形

通過(guò)AHP層次分析軟件導(dǎo)出高職院校1+X證書(shū)制度培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)的調(diào)查表，專(zhuān)家依據(jù)“1+X證書(shū)制度培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)體系關(guān)鍵要素解讀”說(shuō)明和個(gè)人經(jīng)驗(yàn)，從二級(jí)指標(biāo)起逐層對(duì)各個(gè)指標(biāo)進(jìn)行兩兩比較，依次對(duì)相同層次中的兩個(gè)指標(biāo)進(jìn)行判斷并給予相對(duì)重要性的偏向。

（3）層次單排序及一致性檢驗(yàn)

將22位專(zhuān)家的調(diào)查數(shù)據(jù)導(dǎo)入，使用AHP層次分析軟件自動(dòng)修正后計(jì)算，先求出判斷矩陣，然后做30個(gè)指標(biāo)的權(quán)重向量，矩陣CR＜0.1，符合一致性檢驗(yàn)要求。

（4）層次總排序及一致性檢驗(yàn)

首先滿足每一個(gè)一致性檢驗(yàn)的層次的單排序完成，然后根據(jù)每一層指標(biāo)的權(quán)重再計(jì)算三級(jí)指標(biāo)對(duì)應(yīng)的二級(jí)指標(biāo)組合權(quán)重，最后進(jìn)行組合一致性檢驗(yàn)。結(jié)果CR＝0.0782＜0.1，一致性檢驗(yàn)符合，見(jiàn)表3。

（5）評(píng)價(jià)指標(biāo)體系權(quán)重計(jì)算結(jié)果

通過(guò)AHP層次分析軟件計(jì)算評(píng)價(jià)指標(biāo)的重要性排序，計(jì)算分配權(quán)重比和組合權(quán)重比。本研究通過(guò)德?tīng)柗品ê蛯哟畏治龇?gòu)建1+X證書(shū)制度職業(yè)教育培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)體系，具體指標(biāo)及權(quán)重見(jiàn)表4。

四、結(jié)論與建議

（一）結(jié)論

1.評(píng)價(jià)指標(biāo)體系各級(jí)指標(biāo)的權(quán)重

從全局權(quán)重來(lái)看，在4個(gè)一級(jí)指標(biāo)中，“基礎(chǔ)評(píng)價(jià)”所占權(quán)重最高，此結(jié)果表明，專(zhuān)家一致認(rèn)為“基礎(chǔ)評(píng)價(jià)”在培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)體系中所起的作用最大，是培訓(xùn)評(píng)價(jià)組織最重要的部分?！豆芾磙k法（試行）》指出，“優(yōu)先從合乎政策要求，且具備行業(yè)認(rèn)證資質(zhì)的龍頭企業(yè)中選擇，將行業(yè)認(rèn)證資質(zhì)作為其的重要遴選依據(jù)?！盵12]培訓(xùn)評(píng)價(jià)組織具備組織資質(zhì)、培訓(xùn)和標(biāo)準(zhǔn)開(kāi)發(fā)及組織管理能力是其能否發(fā)揮職能的關(guān)鍵基礎(chǔ)。

在12個(gè)二級(jí)指標(biāo)中，全局權(quán)重排在前四位的是“組織資質(zhì)”“證書(shū)標(biāo)準(zhǔn)”“培訓(xùn)和標(biāo)準(zhǔn)開(kāi)發(fā)”和“考核站點(diǎn)建設(shè)”，其中“組織資質(zhì)”所占權(quán)重最大。《管理辦法（試行）》明確了培訓(xùn)評(píng)價(jià)組織資質(zhì)要求，即“我國(guó)境內(nèi)依法登記注冊(cè)、有規(guī)范的管理制度、有獨(dú)立法人資質(zhì)的企業(yè)等主體”[13]。培訓(xùn)評(píng)價(jià)組織必須具有相應(yīng)的資質(zhì)，得到政府授權(quán)或官方認(rèn)證[14]。本研究也說(shuō)明培訓(xùn)評(píng)價(jià)組織的資質(zhì)、規(guī)模和資金投入是非常必要的，這是培訓(xùn)評(píng)價(jià)組織開(kāi)展證書(shū)制度的重要保障和前提基礎(chǔ)，在培訓(xùn)評(píng)價(jià)組織遴選和培育中要作為重點(diǎn)基礎(chǔ)性條件考慮。其次是“證書(shū)標(biāo)準(zhǔn)”，這充分體現(xiàn)了職業(yè)技能等級(jí)標(biāo)準(zhǔn)是培訓(xùn)評(píng)價(jià)的核心，是需要重視的核心指標(biāo)。排在第三和第四位的是“培訓(xùn)和標(biāo)準(zhǔn)開(kāi)發(fā)”和“考核站點(diǎn)建設(shè)”?！芭嘤?xùn)和標(biāo)準(zhǔn)開(kāi)發(fā)”能力是培訓(xùn)評(píng)價(jià)組織的基本條件。因此，提升培訓(xùn)評(píng)價(jià)組織自身的培訓(xùn)和標(biāo)準(zhǔn)開(kāi)發(fā)能力是1+X證書(shū)制度效力發(fā)揮的重要保障。有研究認(rèn)為，“培訓(xùn)評(píng)價(jià)組織的第三個(gè)職能是考核站點(diǎn)建設(shè)，其本身不建考核站點(diǎn)，而是在全國(guó)范圍內(nèi)統(tǒng)籌規(guī)劃考核站點(diǎn)建設(shè)”[15]?？己苏军c(diǎn)建設(shè)在一定程度上體現(xiàn)了培訓(xùn)評(píng)價(jià)組織證書(shū)制度試點(diǎn)工作推進(jìn)程度。

在30個(gè)三級(jí)指標(biāo)中，從全局權(quán)重來(lái)看，排在第一位的是“登記注冊(cè)”，這與國(guó)家相關(guān)部門(mén)培訓(xùn)評(píng)價(jià)組織的遴選要求一致，說(shuō)明登記注冊(cè)的必要性。排在第二位的是“技能標(biāo)準(zhǔn)”，說(shuō)明職業(yè)技能標(biāo)準(zhǔn)的重要性。排在第三位的是“規(guī)模資質(zhì)和資金實(shí)力”，說(shuō)明規(guī)模和資金實(shí)力方面也是培訓(xùn)組織的必要條件。排在第四位的是“培訓(xùn)經(jīng)驗(yàn)”，說(shuō)明培訓(xùn)評(píng)價(jià)組織應(yīng)該具有豐富的職業(yè)教育與培訓(xùn)經(jīng)驗(yàn)。這4個(gè)指標(biāo)對(duì)應(yīng)的二級(jí)指標(biāo)是“組織資質(zhì)”“證書(shū)標(biāo)準(zhǔn)”和“培訓(xùn)和標(biāo)準(zhǔn)開(kāi)發(fā)”，與二級(jí)指標(biāo)的排序吻合。

2.評(píng)價(jià)指標(biāo)體系構(gòu)建的全面性

本研究的指標(biāo)體系選擇以專(zhuān)家訪談結(jié)果為依據(jù)，并對(duì)照《管理辦法（試行）》《試點(diǎn)方案》及《關(guān)于推進(jìn)“1+X 證書(shū)”制度試點(diǎn)工作的指導(dǎo)意見(jiàn)》等相關(guān)政策的要求，所選指標(biāo)包涵了培訓(xùn)評(píng)價(jià)組織職責(zé)內(nèi)容，并結(jié)合證書(shū)制度試點(diǎn)的實(shí)踐經(jīng)驗(yàn)，具有較好的覆蓋面。評(píng)價(jià)指標(biāo)體系適用于教育主管部門(mén)對(duì)培訓(xùn)評(píng)價(jià)組織管理和督查的綜合評(píng)價(jià)，也可用于培訓(xùn)評(píng)價(jià)組織開(kāi)展建設(shè)和自評(píng)，使用者可以通過(guò)對(duì)4個(gè)維度的取舍，分別對(duì)培訓(xùn)評(píng)價(jià)組織具體內(nèi)容進(jìn)行評(píng)價(jià)。

3.評(píng)價(jià)指標(biāo)體系構(gòu)建的科學(xué)性

本研究充分考慮專(zhuān)家的代表性和權(quán)威性，邀請(qǐng)了職業(yè)院校專(zhuān)家、教育部門(mén)專(zhuān)家和培訓(xùn)評(píng)價(jià)組織負(fù)責(zé)人，經(jīng)統(tǒng)計(jì)分析，專(zhuān)家積極系數(shù)、權(quán)威系數(shù)及協(xié)調(diào)程度均較好。在德?tīng)柗品?gòu)建指標(biāo)體系一、二級(jí)指標(biāo)中，多次討論和修改，同時(shí)也征求部分社會(huì)評(píng)價(jià)組織相關(guān)負(fù)責(zé)人意見(jiàn)，使構(gòu)建的指標(biāo)體系客觀、科學(xué)，具有可操作性。評(píng)價(jià)指標(biāo)權(quán)重系數(shù)上，通過(guò)層次分析法計(jì)算指標(biāo)權(quán)重系數(shù)，并量化處理，減少了專(zhuān)家主觀判斷。

（二）建議

一是對(duì)照標(biāo)準(zhǔn)加強(qiáng)培訓(xùn)評(píng)價(jià)組織遴選。一方面，加大培訓(xùn)評(píng)價(jià)組織征集遴選力度。采取激勵(lì)措施和相關(guān)政策，引導(dǎo)、促進(jìn)和支持優(yōu)質(zhì)企業(yè)、行業(yè)參與申報(bào)，為培訓(xùn)評(píng)價(jià)組織遴選提供更多的優(yōu)質(zhì)選擇；另一方面，精準(zhǔn)培訓(xùn)評(píng)價(jià)組織遴選標(biāo)準(zhǔn)。對(duì)照《管理辦法（試行）》，嚴(yán)格把關(guān)培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)指標(biāo)體系中的指標(biāo)，吸收行業(yè)內(nèi)資質(zhì)優(yōu)、職業(yè)技能標(biāo)準(zhǔn)領(lǐng)先、培訓(xùn)能力強(qiáng)的龍頭企業(yè)、代表性企業(yè)作為X證書(shū)的培訓(xùn)評(píng)價(jià)組織。

二是制訂科學(xué)合理的評(píng)價(jià)指標(biāo)體系。根據(jù)評(píng)價(jià)指標(biāo)體系組織開(kāi)展培訓(xùn)評(píng)價(jià)組織的全面監(jiān)督和考核，建立健全1+X證書(shū)制度職業(yè)教育培訓(xùn)評(píng)價(jià)組織定期考核制度，重點(diǎn)考核組織資質(zhì)、證書(shū)標(biāo)準(zhǔn)、資源建設(shè)、考核組織和師資培訓(xùn)等，以確保證書(shū)制度高質(zhì)量實(shí)施。一方面，培育和評(píng)選出一批典型示范培訓(xùn)評(píng)價(jià)組織，引領(lǐng)和推動(dòng)培訓(xùn)評(píng)價(jià)組織健康發(fā)展；另一方面，制訂培訓(xùn)評(píng)價(jià)組織的退出制度，及時(shí)清退違規(guī)違紀(jì)的培訓(xùn)評(píng)價(jià)組織，還要對(duì)考核不合格的培訓(xùn)評(píng)價(jià)組織給予預(yù)警通報(bào)和強(qiáng)制清退。

三是全面開(kāi)展現(xiàn)有培訓(xùn)評(píng)價(jià)組織監(jiān)管考核。教育主管部門(mén)一方面要加強(qiáng)“遴選”和“培育”，另一方面要開(kāi)展監(jiān)管和考核，規(guī)范培訓(xùn)評(píng)價(jià)組織行為。組織培訓(xùn)評(píng)價(jià)組織開(kāi)展自評(píng)，接受有關(guān)部門(mén)及第三方評(píng)價(jià)，公布評(píng)定等級(jí)，及時(shí)清退不合格的培訓(xùn)評(píng)價(jià)組織，促進(jìn)職業(yè)教育培訓(xùn)評(píng)價(jià)組織健康發(fā)展。

參 考 文 獻(xiàn)

[1]唐以志.1+X證書(shū)制度：新時(shí)代職業(yè)教育制度設(shè)計(jì)的創(chuàng)新[J].中國(guó)職業(yè)技術(shù)教育，2019（16）：5-11.

[2]張國(guó)民.1+X證書(shū)制度的價(jià)值意蘊(yùn)、現(xiàn)實(shí)困境與優(yōu)化對(duì)策——基于職業(yè)教育“三個(gè)面向”的視角[J].中國(guó)高教研究，2022（4）：103-108.

[3]于進(jìn)亮，魏光澤.技能型社會(huì)建設(shè)背景下1+X證書(shū)制度推進(jìn)價(jià)值、問(wèn)題及策略[J].職業(yè)技術(shù)教育，2021（31）：40-45.

[4]陳麗婷，李壽冰.1+X證書(shū)制度實(shí)施的意義與現(xiàn)實(shí)問(wèn)題分析[J].職業(yè)技術(shù)教育，2020（27）：13-18.

[5]李壽冰，高艷芳，等.1+X證書(shū)制度試點(diǎn)下職業(yè)教育培訓(xùn)評(píng)價(jià)組織建設(shè)與監(jiān)管[J].中國(guó)職業(yè)技術(shù)教育，2020（7）：50-53.

[6]鄧子云.1+X證書(shū)制度實(shí)施中的主要問(wèn)題與對(duì)策建議[J].教育與職業(yè)，2021（5）：20-26.

[7]張曉剛.1+X證書(shū)制度試點(diǎn)工作存在的問(wèn)題與對(duì)策[J].教育與職業(yè)，2021（15）：52-56.

[8]王偉偉，蔣世軍，等.職業(yè)教育培訓(xùn)評(píng)價(jià)組織評(píng)價(jià)機(jī)制研究[J].中國(guó)職業(yè)技術(shù)教育，2022（23）：86-91.

[9]沈綺云，歐陽(yáng)河，等.產(chǎn)教融合目標(biāo)達(dá)成度評(píng)價(jià)指標(biāo)體系構(gòu)建—基于德?tīng)柗品ê蛯哟畏治龇ǖ难芯縖J].高教探索，2021（12）：104-109.

[10]CIALKOWSKA M，ADAMOWSKI T，PIOTROWSKI P，et al. What is the Delphi method？ Strengths and shortcomings[J]. Psychiatria Polska，2008（1）：5-16.

[11]王媛.主題出版物傳播力評(píng)價(jià)指標(biāo)體系構(gòu)建研究[J].科技與出版，2022（4）：120-125.

[12]趙堅(jiān).上海高職院校1+X證書(shū)制度試點(diǎn)：特點(diǎn)、舉措與推進(jìn)思考[J].中國(guó)職業(yè)技術(shù)教育，2022（4）：75-79.

[13]劉晶，程紅艷.職業(yè)教育培訓(xùn)評(píng)價(jià)組織政策價(jià)值：意蘊(yùn)、偏離及回歸[J].職教論壇，2022（4）：5-12.

[14]彭振宇.技能型社會(huì)建設(shè)背景下我國(guó)職業(yè)資格證書(shū)制度改革前瞻——基于國(guó)際比較的視角[J].中國(guó)職業(yè)技術(shù)教育，2021（33）：11-16.

[15]鄒吉權(quán).基于1+X證書(shū)的“四方聯(lián)動(dòng)、五鏈耦合”人才培養(yǎng)機(jī)制研究[J].成人教育，2021（4）：46-52.

Abstract? The evaluation organization of vocational education and training is the key subject of the implementation of the 1+X certificate system， and the evaluation system of training evaluation organization is lacking at present， it is necessary to establish an evaluation index system to strengthen its supervision and evaluation. With reference to the CIPP theoretical evaluation model， this study applied literature research， the Delphi method and the analytic hierarchy process， this paper constructs an evaluation index system of training evaluation organization， which is composed of 4 first-level indexes， 12 second-level indexes and 30 third-level indexes， including basic evaluation， resource evaluation， implementation evaluation and effect evaluation. This paper puts forward the supervision and management strategy of the 1+X certificate system for training evaluation， which is to strengthen the selection of training evaluation organizations according to the relevant standards， to establish a scientific and reasonable evaluation index system for training evaluation organizations， and to carry out the evaluation and evaluation of existing training evaluation organizations， and which can provide a reference for the assessment and supervision of the evaluation organization of vocational education and training.

Key words? 1+X certificate system; training evaluation organization; evaluation index system; the Delphi method; the analytic hierarchy

Author? Huang Teiniu， professor of Changsha Social Work College （Changsha 410004）; Guo Guangjun， professor of Changsha Social Work College; PhD candidate of Xiamen University; Pan Jianming， Hunan Jinganweiye Mother and Child Care Co. ， Ltd.; Li Xin， Changsha Social Work College