范 明,張明齊

(1.天津海運職業(yè)學院,天津 300350;2.天津商務(wù)職業(yè)學院,天津 300350)

一、研究背景

自2019年“1+X”證書制度實施以來,《國家職業(yè)教育改革實施方案》《關(guān)于在院校實施“學歷證書+若干職業(yè)技能等級證書”制度試點方案》《關(guān)于擴大1+X證書制度試點規(guī)模有關(guān)事項的通知》《關(guān)于推進1+X證書制度試點工作的指導意見》等一系列文件相繼出臺,從制度層面對“1+X”證書制度的實踐進行規(guī)范和指導。

在近些年的實踐中,我國職業(yè)教育“1+X”證書制度已經(jīng)取得了豐碩的成果。試點規(guī)模有序擴大,證書認可度持續(xù)提升,一大批行業(yè)龍頭企業(yè)積極參與到試點項目中。職業(yè)院校通過將行業(yè)力量引入教育事業(yè),推動了人才培養(yǎng)和評價模式的改革,修訂了人才培養(yǎng)方案、進行了課程改革、教材改革等一系列變革。同時,文件也指出應(yīng)當做好培訓評價組織監(jiān)督管理工作,建立培訓評價組織行為監(jiān)督評價系統(tǒng),接受學校、教師、學生、家長及社會各方的投訴舉報,發(fā)揮社會監(jiān)督作用。建立一套完善的證書評價甄選管理辦法,不僅要嚴把培訓評價組織的入口關(guān),還要做好證書實施的事中與事后的評價和監(jiān)管工作,建立證書評價、整改、完善與退出機制。因此,做好“1+X”證書的評價工作,是保障證書甄選管理的前提,設(shè)計合理且行之有效的證書評價測量指標體系成為工作的關(guān)鍵。

二、文獻綜述

自“1+X”證書制度實施以來,大量的研究者和教育工作者在“1+X”證書人才培養(yǎng)模式、產(chǎn)教融合、課程改革、課證融通、制度保障、實施路徑等方面都進行了廣泛而深入的探討。也有部分學者嘗試從“1+X”證書評價方面進行了研究,取得了一定的成果。岑華鋒,石偉平(2021)從當前“1+X”證書質(zhì)量保障存在的主要問題出發(fā),提出應(yīng)當打造“三位一體”質(zhì)量保障框架、制定預(yù)前性保障制度、建立工作指向的評估指標體系和引入獨立客觀的外部質(zhì)量保障,并設(shè)計“1+X”證書質(zhì)量保障框架。鄒非(2021)利用層次分析法,從證書實施的必要性、證書實施過程和證書實施效果三個方面,16個指標維度對“1+X”證書制度實施效果評價體系研究,并給出了對策及建議。王偉偉等(2021)運用關(guān)鍵績效指標(KPI),從工作機制、師資培養(yǎng)、人才培養(yǎng)、經(jīng)費保障、目標等方面設(shè)計5個維度的19個評價指標,并明確了評分標準?？颠_(2020)從課程設(shè)計、培養(yǎng)環(huán)境、機構(gòu)設(shè)置和社會貢獻四個方面對技能培養(yǎng)效果進行測評,構(gòu)建了“1+X”證書制度下技能培養(yǎng)效果評測指標與權(quán)重結(jié)構(gòu)。近年來,關(guān)于評價方法的理論與應(yīng)用研究也成為焦點。

綜上所述,已經(jīng)有研究者對“1+X”證書質(zhì)量評價進行了積極的探索,但目前研究仍存在三方面不足。首先,對于“1+X”證書質(zhì)量評價方法與應(yīng)用方面的研究數(shù)量仍然較少,對“1+X”證書實施效果評價仍需進一步探討。其次,沒有針對“1+X”證書質(zhì)量評價建立完善的量化評價指標體系。最后,目前的“1+X”證書評價指標理論研究尚不能全面考慮包括學生、教師、院校在內(nèi)的多元主體的意見表達。

因此,本研究嘗試構(gòu)建一套“1+X”證書質(zhì)量評價指標體系,使學生、教師和院校能夠共同參與“1+X”證書質(zhì)量評價,將客觀指標評價與參與者的主觀感受相結(jié)合,采用定量與定性相結(jié)合的方法,通過問卷調(diào)查的方式,在充分尊重專家組意見的基礎(chǔ)上,借助科學的決策方法,提升指標體系的科學性和合理性。

三、指標體系開發(fā)

(一)基于全過程的評價理論

CIPP教育評價模型是1966年由美國學者斯塔夫比姆(D.L.Stufflebeam)提出,模型評估過程包括背景評價(Context Evaluation)、輸入評價(Input Evaluation)、過程評價(Process Evaluation)和結(jié)果評價(Product Evaluation)。CIPP評價模式具有過程性、反饋性和全覆蓋的顯著特征。其主要優(yōu)點包括:實施以決策和績效為導向的評價模式;重視評估的改進;該模型為了能夠?qū)崿F(xiàn)持續(xù)改進而注重積累性研究;CIPP教育評價模型能夠把診斷性評估、形成性評估、終結(jié)性評估完整地結(jié)合起來。綜上所述,CIPP教育評價模型能夠較好地實現(xiàn)對“1+X”證書質(zhì)量的全員、全過程評價和反饋,注重持續(xù)的評估和改進。因此,本研究采用CIPP教育評價模型進行“1+X”證書質(zhì)量評價指標框架設(shè)計。

(二)評價指標的初步選取

登錄中華人民共和國教育部官網(wǎng),以“1+X”證書作為關(guān)鍵詞,搜索范圍包括自2019年以來,職業(yè)教育與成人教育司公開文件,搜索結(jié)果包括:教育部等四部門印發(fā)《關(guān)于在院校實施“學歷證書+若干職業(yè)技能等級證書”制度試點方案》的通知,教育部辦公廳《關(guān)于推進1+X證書制度試點工作的指導意見》,教育部關(guān)于深入學習貫徹《國家職業(yè)教育改革實施方案》的通知在內(nèi)的21份文件。對文件逐句進行人工篩選整理,挑選適合作為評價指標的表達語句,整理并提煉評價指標,合并相同含義的表達,最終保留60個詞匯條目進入第一輪“1+X”證書質(zhì)量評價指標體系X(1)。

背景評價(C)指標:證書的社會知名度;依據(jù)國家/國際行業(yè)標準開發(fā);體現(xiàn)新技術(shù)、新工藝、新規(guī)范;符合產(chǎn)業(yè)需求,有一定前瞻性;符合社會及企業(yè)崗位(群)需求;職業(yè)技能綜合性評價;典型工作任務(wù)能力考核;證書內(nèi)容定位于具體工作崗位;符合目標學生學習規(guī)律;持續(xù)優(yōu)化及更新;證書的行業(yè)口碑;主要負責人牽頭制度。

輸入評價(I)指標:考核大綱;培訓教材;案例庫、習題庫等教學資源;建設(shè)?？计脚_;資源更新及時;教師培訓績效;院校預(yù)算經(jīng)費保障;考核工作科學、標準、規(guī)范;培訓評價組織建設(shè)考核保密制度;考核站點建設(shè)投入;協(xié)助試點院校師資培養(yǎng);試點院校改善實訓條件。

過程評價(P)指標:實訓資源運行情況;試點院校將證書培訓內(nèi)容有機融入專業(yè)人才培養(yǎng)方案;協(xié)助試點院校組織培訓;客服服務(wù)質(zhì)量;持續(xù)優(yōu)化及提升;考核費用定價;強制性收費培訓;捆綁銷售行為;配套資源收費合理;試點院校實施教學改革;專業(yè)與課程建設(shè);學生報考積極性;為社會人員提供培訓服務(wù);試點院校優(yōu)化課程設(shè)置與教學內(nèi)容;深化校企合作;證書檔案管理;取證標準規(guī)范;取證資格審核。

輸出評價(P)指標:證書通過率;考核內(nèi)容滿意度(學生);配套資源滿意度(學生);知識儲備提升評價;知識與技能提升滿意度;職業(yè)素養(yǎng)提升滿意度;工作能力提升評價;同類證書推薦度評價(學生);收入提升評價;就業(yè)競爭力評價;開發(fā)標準滿意度;證書內(nèi)容滿意度(教師);配套資源滿意度(教師);考點建設(shè)滿意度;師資培養(yǎng)滿意度;技術(shù)保障滿意度;同類證書推薦度評價(教師);院校報考人數(shù)比例等。

(三)評價指標的實證篩選

1.隸屬度分析

隸屬度概念源于模糊數(shù)學,是指集合中的元素屬于某個集合的程度。本文采用隸屬頻率來定義隸屬度的方法。具體而言,是把“1+X”證書質(zhì)量評價指標體系視為一個模糊集合{X},將第一輪指標設(shè)計的60個指標項目視為該集合的元素。假設(shè)在第i個評估指標Xi上,被試選擇Xi的總次數(shù)為M,即共有Mi位專家認為該指標Xi是評估“1+X”證書質(zhì)量的適當指標。則該評估指標的隸屬度為:

其中:Ri表示第i個指標屬于模糊集合的隸屬度;Mi表示認為該指標Xi是適當指標的專家數(shù)量;N表示有效問卷數(shù)量。

隸屬度Ri的值越大,則該指標在很大程度上,屬于模糊集合,即評估指標Xi在評估體系中很重要,可以保留該指標項目進入第二輪“1+X”證書質(zhì)量評價指標體系X(2)中;反之,則該評估指標應(yīng)當被刪除。

采用問卷星方式把《“1+X”證書質(zhì)量評價指標體系設(shè)計研究調(diào)查問卷》發(fā)放給熟悉“1+X”證書項目的專家和教師,要求專家和教師根據(jù)自身認識和經(jīng)驗,對初步設(shè)計的60個“1+X”證書質(zhì)量評價指標的適當程度進行評價,共收回有效問卷107份。對107份有效問卷分別計算60個評估指標的隸屬度,刪除隸屬度低于0.3的12個評價指標。保留其余48個評價指標,構(gòu)成“1+X”證書質(zhì)量評價的第二輪“1+X”證書質(zhì)量評價指標體系X(2)。

2.鑒別度分析

評估指標鑒別度分析,即題項分析,其主要目的在于檢驗量表中個別題項的適切度或可靠度。具體而言,在“1+X”證書質(zhì)量評價指標體系中,指標的鑒別度是指評估指標區(qū)分不同證書質(zhì)量的能力。出于所獲有效問卷樣本量的影響因素考慮,本研究用變異系數(shù)來代表題項的鑒別度。

變異系數(shù)Vi的值越大,說明該指標的鑒別能力越強,可以保留該指標項目進入第三輪評估體系X(3)中;反之則說明指標的鑒別度越弱,則該評估指標應(yīng)當被刪除。

根據(jù)第一輪指標體系的篩選之后保留的48個評價指標分別編制學生問卷、教師問卷和教務(wù)問卷,通過問卷星方式發(fā)放。采用分層抽樣的方法,隨機選取天津市的5所“1+X”證書試點職業(yè)院校的師生作為問卷發(fā)放對象,共收回有效學生問卷112份,有效教師問卷47份,有效教務(wù)問卷5份。運用SPSS25統(tǒng)計分析軟件,對學生問卷及教師問卷進行鑒別度分析。由于教務(wù)問卷為小樣本,教務(wù)問卷僅作定性分析。

分別計算有效問卷中,“1+X”證書質(zhì)量評估指標體系X(2)中包含的48個評估指標的變異系數(shù),根據(jù)計算結(jié)果,刪除鑒別度低于0.17的5個指標,保留其余43個指標構(gòu)成第三輪“1+X”證書質(zhì)量評價指標體系X(3)。

3.相關(guān)性分析

相關(guān)分析是通過測量評價指標之間的相關(guān)度,刪除鑒別度偏低并與其他指標高度相關(guān)的指標,以消除或降低由于某些評估指標重復(fù)反應(yīng)評價對象信息而可能帶來的不利影響。相關(guān)分析包含以下三個步驟:

(1)對評估指標進行標準化處理。通過對原始數(shù)據(jù)進行標準化處理,減少評估指標由于量綱不同而對結(jié)果的影響。標準化值為Zi。

(2)計算評估指標(Xi與Rj)之間的簡單相關(guān)系數(shù)Rij。

(3)根據(jù)研究需要,確定一個臨界值M(0M,則可以刪除其中的一個評估指標。

使用SPSS25統(tǒng)計分析軟件對第三輪“1+X”證書質(zhì)量指標體系X(3)中保留的43個指標進行相關(guān)分析。得到評價指標的相關(guān)系數(shù)矩陣,根據(jù)計算結(jié)果,給定臨界值M為0.8,刪除了其中鑒別度相對較低的4個評估指標。保留了其余39個評估指標構(gòu)成了“1+X”證書質(zhì)量評價指標體系X(4)。

通過對第一輪設(shè)計的60個評價指標體系X(1)進行隸屬度分析、鑒別度分析以及相關(guān)分析之后,最終得到了由包括39個指標在內(nèi)的第四輪“1+X”證書質(zhì)量評價指標體系X(4),具體指標見表1。

按調(diào)查對象劃分的“1+X”證書質(zhì)量評價指標體系:

學生問卷調(diào)查指標包括:職業(yè)技能綜合性評價;典型工作任務(wù)能力考核;符合目標學生學習規(guī)律;培訓教材;案例庫、習題庫等教學資源;建設(shè)?？计脚_;資源更新及時;考核工作科學、標準、規(guī)范;建立保密制度;實訓資源運行情況;無強制性收費培訓;證書檔案管理;取證標準規(guī)范;取證資格審核;考核內(nèi)容滿意度(學生);配套資源滿意度(學生);知識與技能提升滿意度;職業(yè)素養(yǎng)提升滿意度;同類證書推薦度(學生)。

教師問卷調(diào)查指標包括:依據(jù)國家/國際行業(yè)標準開發(fā);體現(xiàn)新技術(shù)、新工藝、新規(guī)范;符合社會及企業(yè)崗位(群)需求;職業(yè)技能綜合性評價;典型工作任務(wù)能力考核;符合目標學生學習規(guī)律;持續(xù)優(yōu)化及更新;考核大綱;培訓教材;案例庫、習題庫等教學資源;建設(shè)?？计脚_;資源更新及時;協(xié)助試點院校師資培養(yǎng);實訓資源運行情況;協(xié)助試點院校組織培訓;客服服務(wù)質(zhì)量;持續(xù)優(yōu)化及提升;開發(fā)標準合理性;證書內(nèi)容滿意度(教師);配套資源滿意度(教師);考點建設(shè)滿意度;師資培養(yǎng)滿意度;技術(shù)保障滿意度;同類證書推薦度(教師)。

教務(wù)問卷調(diào)查指標包括:考核工作科學、標準、規(guī)范;建立保密制度;考核站點建設(shè)投入;考核費用符合指導定價;無強制性收費培訓;無捆綁銷售行為;配套資源收費合理;證書檔案管理;取證標準規(guī)范;取證資格審核;考點建設(shè)滿意度;技術(shù)保障滿意度。

(四)評價指標信效度檢驗

根據(jù)前述經(jīng)檢驗的指標體系分別設(shè)計《“1+X”證書質(zhì)量評價調(diào)查問卷-學生問卷》《1+X證書”質(zhì)量評價調(diào)查問卷-教師問卷》和《“1+X”證書質(zhì)量評價調(diào)查問卷-教務(wù)問卷》并通過問卷星發(fā)放。共收回有效學生問卷125份,有效教師問卷98份,有效教務(wù)問卷8份。運用SPSS25統(tǒng)計分析軟件,對學生問卷及教師問卷進行信效度分析,由于教務(wù)問卷為小樣本,只做定性分析,不做信效度分析。

1.指標信度檢驗

本文采用Cronbachα系數(shù)作為內(nèi)部一致性信度檢驗的信度指標,測量“1+X”證書質(zhì)量評價指標問卷的信度。結(jié)果表明,學生問卷及教師問卷的總體α系數(shù)均超過0.9。表明該測量工具所得到結(jié)果的一致性或穩(wěn)定性較好,該評估問卷具有較好的信度。

2.指標效度檢驗

本研究使用結(jié)構(gòu)效度來說明評估問卷中設(shè)計的題目能夠驗證理論構(gòu)想的程度,使用KMO檢驗。結(jié)果表明,學生問卷KMO值為0.895,教師問卷KMO值為0.903,說明“1+X”證書質(zhì)量評價問卷具有較高的效度。

(五)評價指標權(quán)重設(shè)計

層次分析法(AHP,Analytic Hierarchy Process)是由美國佩茲堡大學教授T.L.Saaty開發(fā)的一種能夠綜合進行定性與定量分析的決策方法。其核心思想是把復(fù)雜的評價問題層次化,通過構(gòu)造判斷矩陣特征向量的辦法求得每一層的各元素對上一層某元素的權(quán)重。鑒于層次分析法具有思路清晰、方便快捷、適用性廣、系統(tǒng)性強等特點,本研究采用層次分析法構(gòu)造判斷矩陣,求出各指標相對目標層權(quán)重。

1.專家的代表性

為充分聽取不同領(lǐng)域?qū)＜乙庖?本研究選取了來自四個領(lǐng)域的專家組成25人專家團隊,其中包括:負責教學管理工作8人、一線教師8人、評價機構(gòu)5人及行業(yè)企業(yè)專家4人。專家團隊具體情況根據(jù)問卷整理所得,專家團隊經(jīng)驗豐富,人員配合合理,具有較好的代表性。

2.建立層次結(jié)構(gòu)模型

根據(jù)層次分析法的分析步驟,首先建立層次結(jié)構(gòu)模型。在前述設(shè)計的第四輪“1+X”證書質(zhì)量評價指標體系X(4)的基礎(chǔ)上,將指標體系分為目標層、準則層、次準則層及指標層。

3.構(gòu)造判斷矩陣

構(gòu)造判斷矩陣和相對權(quán)重計算是由定性過渡到定量的核心,決定綜合評估的科學性。通過向?qū)＜野l(fā)放問卷的方法,對各層級構(gòu)成要素相對于上層特定準則或目標的重要性進行兩兩比較,并構(gòu)造判斷矩陣,利用矩陣原理求解排序向量。

(1)判斷矩陣A-B

相對于目標層而言,即“1+X”證書質(zhì)量評價,準則層四個指標兩兩比較,得到判斷矩陣:A-B=(bij)4×4

(2)判斷矩陣B1-C、B2-C、B3-C、B4-C

(3)判斷矩陣C1-D、C2-D、C3-D、C4-D、C5-D、C6-D、C7-D、C8-D、C9-D

4.層次單排序及一致性檢驗

為測試評判的可靠性或一致性,建立一致性指標。一致性檢驗用隨機一致性比率CR衡量,當CR<0.1時,一般認為判斷矩陣具有比較滿意的一致性,即專家的決策者思維具有一致性。

通過對25位專家的咨詢結(jié)果進行匯總整理,使用層次分析軟件yaahp11.3計算出一、二、三級指標判斷矩陣的λmax、CI、CR最大特征值對應(yīng)的特征向量歸一化處理結(jié)果等。判斷矩陣CR值均小于0.1,通過一致性檢驗。

5.層次總排序及一致性檢驗

計算組合權(quán)向量并做組合一致性檢驗。一致性檢驗用總排序隨機一致性比率CR衡量,當CR<0.1時,認為層次總排序通過一致性檢驗,各層次單排序的加權(quán)組合即為各元素對總目標的權(quán)重。經(jīng)過計算,組合一致性通過檢驗。

(六)評價指標體系結(jié)果匯報

最終運用層次分析法對25位專家的咨詢結(jié)果分析,通過檢驗后,最終形成了評價指標的權(quán)重。結(jié)果如表2所示:

表2 “1+X”證書質(zhì)量評價指標體系

四、總結(jié)

本文的主要貢獻在于嘗試基于CIPP教育評價理論,使用層次分析法建立“1+X”證書質(zhì)量評價指標體系。利用CIPP教育評價理論把診斷性評估、形成性評估、終結(jié)性評估完整地結(jié)合起來,將整個“1+X”證書實施過程納入評價監(jiān)督體系之中。評價過程中引入了包括學生、教師及院校在內(nèi)的多元主體的意見表達,突出以學生為中心的理念。通過構(gòu)建“1+X”證書質(zhì)量評價指標體系,使得對“1+X”證書質(zhì)量進行定量評價成為可能。對于保障證書甄選管理,做好培訓評價組織監(jiān)管工作,建立提醒、通報、整改、退出機制有積極的促進作用。