袁益民

(江蘇省教育評估院，江蘇 南京 210024)

?

綜合評價卡：審核評估的新探索

袁益民

(江蘇省教育評估院，江蘇 南京 210024)

根據國家評估改革方案，地方院校的審核評估下放至省級組織實施。某省在審核評估中試用了綜合評價卡，作為寫實性評估結論意見的一種標識和呈現方式。通過對院校內部質量保障狀態(tài)的十個維度和各維度的五個達標程度的定性描述，并以坐標和曲線的形式直觀表達院校所處的位置。這一創(chuàng)新實踐既避免了以往教學水平評估的“優(yōu)良中差”分等評估的弊端，也規(guī)避了新一輪教學工作審核評估結論出現過于大而化之、無法全面客觀反映院校的整體實情的風險，受到專家的普遍肯定。未來擬幫助院校更加深入地理解和使用好綜合評價卡，為其強化內部質量保障機制打造一個切實可行的專業(yè)工具。

審核評估；綜合評價卡；內部質量保障

根據國家本科教學工作評估新一輪改革方案，地方院校的審核評估(英文中稱為Institutional Quality Audit，意思是“院校質素評審”)將由省級教育行政部門負責，相關工作由具備條件的教育評估機構實施。某省在厚實的中外比較研究的基礎上，基于國家整體方案架構下率先發(fā)展和創(chuàng)新發(fā)展的考慮，在若干方面進行了有益的探索，如：增加了材料復核及反饋的程序，現場考察中強化了師生問卷調查的作用，評后設定了改進工作進展報告和改進回訪的制度等。特別是在兩所院校的評估中試用了綜合評價卡的綜合鑒定與定性描述方法，不僅極大地方便了專家的內部分析、相互討論和整體判斷，同時使評估報告的寫實性、概括性和實效性得到更好的體現，而且可以較好地規(guī)避新一輪評估可能出現的標準把握失之過寬、狀態(tài)描述失之過偏、評估結論過虛過軟的潛在和現實風險。

一、質量原理如何支持綜合評價卡

就如質量是個十分模糊的概念一樣，對質量管理這個很少得到實證研究的課題也存在各種不同的理解。維斯特福等(Westphal,Gulati,and Shortel,1997)將顧客聚焦、持續(xù)改進、結構化的問題解決程序和雇員賦權增能作為關鍵質量維度；哈克曼和維琦曼(Hackman and Wageman,1995)則將顧客聚焦、團隊合作、供應者合作伙伴關系、過程管理和統(tǒng)計及科學工具的使用作為核心維度；加文(Garvin,1988)和特波爾(Teboul,1991)識別了質量作為競爭優(yōu)先、顧客聚焦、質量的執(zhí)行、質量主動性、組織范圍的承諾、最高管理層的領導力和進步主義的勞動力方面的實踐等7個維度；波獎(The Malcolm Baldrige National Quality Award)則使用領導力，戰(zhàn)略規(guī)劃，顧客聚焦，測量、分析與知識管理，人力聚焦，過程管理和結果等7個維度；格林(Greene,1993)更提出了24個全面質量管理維度[1]。烏波路和歐本(Isaiah O.Ugboro,Kofi Obeng,2000)將最高管理層的領導力、雇員賦權增能、工作滿意度和顧客滿意度作為組織全面質量管理最關鍵的要素。相關文獻的作者還包括博文、希爾和希內德等(Bowen,Siehl,& Schneider,1989;Brower,1994;Deming,1982;Roberts,1994;Camp,1989;Senge,1994;Mendelowitz,1991)[2]。至于院校質量管理和質量保障的標準則更加多元，每個國家都會有不同的標準，甚至是許多學校都會有自己的標準。

但是，各種研究成果也為我們認識質量及其保障提供了重要的階梯。無論是全面質量管理的PDCA循壞，還是歐洲高校內部質量保障的標準與準則、波獎卓越績效模式、澳大利亞持續(xù)質量改進環(huán)路OADRI模型、IPO投入過程產出模型、六西格瑪DMAIC環(huán)路、BSC平衡計分卡、邏輯框架方法(LFA)和ISO9004-2中的服務業(yè)通用質量環(huán)路等，都為我們探索先進的質量模型提供了借鑒。在審核評估中根據自己國情確立符合自身的院校質素評審模型既可以借鑒國外質量模型，也可以與國內標準保持較好的匹配性(見表1)。

表1 綜合評價卡與質量原理及審核項目的匹配情況

金·卡梅隆和韋斯利·塞恩(Kim Cameron，Wesley Sine,1999)對組織性質量文化做過深入的研究，提出由低到高的四種質量文化：不重質量的文化、差錯檢測文化、差錯預防文化、創(chuàng)造性質量文化[1]。在后面兩種較為先進的文化中，創(chuàng)造性質量文化重視顧客偏好的內化和顧客需要的預測，更加關注持續(xù)性、規(guī)律性、恒久性、突破性、超越性和引領性，它比差錯預防文化更為可靠。綜合評價卡的設計思路符合創(chuàng)造性質量文化的要求。

二、綜合評價卡何以評價院校質量

綜合評價卡作為審核評估中的一項評估工具，通過對院校內部質量保障狀態(tài)的十個維度和各維度的五個達標程度的定性描述，試圖刻畫出院校在質量保障體系建設方面所處的位置，并以坐標和曲線的形式直觀表達(見圖1)。綜合評價卡采用綠、藍、黃、橙、紅五種顏色分別代表五個達標程度，反映不同的質量管理風險等級，但無數字表達的刻度。

圖1 某高校A的綜合評價卡

其中，十個質量維度是根據審核評估的審核要素并結合國外院校質素評審標準而轉化過來的，而五個達標度是參照“零缺陷之父”Philip Crosby的管理成熟度方格、能力成熟度CMMI模型和組織性學習的成熟水平等相關理論并參照諸多國家的院校質素評審實踐而設置的。綜合評價卡與審核要素的對應關系及達成度定性描述見表2。

綜合評價卡的具體評價結論是根據專家的原始評價，通過將專家的定性描述等級轉換成百分制而得出的。如圖1中某高校A的綜合評價卡曲線就是由11位專家根據質量的10個維度的達成度獨立打分，然后去掉打分最高和最低的各一位，最后再將剩下的9位專家打分取平均數得出的。另一所高校B的專家組原始評價結果見表3。該高校B的綜合評價卡則嘗試了另一種等級轉換成曲線的方式：使用德菲爾專家法，通過專家組成員的多輪調查交流，在形成最大程度的共識的基礎上建立的。從高校B的專家組原始評價結果可以看出，專家在“安排有效度”上有較大的分歧，在“用戶滿意度”上也有一定的分歧，因此采用后一種方法能夠作出具有更大共識、也更為合理的判斷。

三、審核評估為何需要綜合評價卡

首先，審核評估中采用綜合評價卡是為了更好落實該項評估的功能定位。作為我國首次系統(tǒng)引進的一項院校評估模式，審核評估的根本性的定位是對院校的內部質量保障機制及整個質量工作進行評審。審核重點是學校人才培養(yǎng)目標與培養(yǎng)效果的實現狀況(實際上就是內部質量保障有效性這一核心)以及適應度、保障度、滿意度等。綜合評價卡便是根據質量保障本身的不同維度加上每個維度的若干達標程度編制而成的，它既反映了質量建設內在的規(guī)律性，又與審核評估的審核范圍具有很高的匹配度，是幫助評估者全面認識和深度理解審核范圍的一種解碼器，也是內部質量保障機制及院校質量工作評價的一個很好的參照系。

表2 綜合評價卡與審核要素的對應關系及達成度定性描述 [4]

表3 某高校B的專家組原始評價結果

根據教育部的實施方案，審核評估的結論不搞通過不通過或者評出優(yōu)良中差，而是將在評估結束后提供寫實性報告。那么，這個寫實性報告怎么去寫實呢？

我認為寫實性評估報告要真正寫實，不只是要通過實證手法呈現評估發(fā)現的事實，而且要結合實際的成績和問題作出實質性的評估結論并就評后改進作出建設性安排。具體來說，一是要依據實際證據。寫實性報告首先要嚴格按照所獲取的證據來寫，“有七分證據不說八分話”。二是認可改進實績。對于學校按照上一輪評估中專家針對問題提出的改進建議所取得進展的實際情形，要作出是否已改進或已改進到何種程度的判斷和描述。三是要具體判斷實情。根據評估實情作出具體的結論，不僅要指出已經做得很好因而值得贊揚的方面和做得還不夠因而需要改進的方面，同時還要特別強調針對學校在自評中發(fā)現的問題以及已經在自評報告中提出的解決路徑，提出同行認可性的意見以及建議繼續(xù)強化的意見。四是突出實際問題。圍繞參評院校的突出問題或者學校自己選定的特定課題，作出專題性的深度剖析，提出相應的建設性意見。五是給出實質結論。使用內外部基準比對、三角定鑒及痕跡追蹤等方法，發(fā)現并指出實際存在的學業(yè)及學術風險，作為作出總體性判斷的依據，以明確指出學校在內部質量保障以及績效表現方面實際所處的位置或階段。六是關注后續(xù)實效。針對評估后如何處理評估發(fā)現和評估結論，提出適當處置意見，使評估工作真正服務于評后的改進。

在這些寫實性的報告環(huán)節(jié)中，作出總體性的判斷并給出實質性的結論是至關重要的。教高[2013]10號文明確要求，審核評估首先要“在全面深入考察和準確把握所有審核內容基礎上，對各審核項目及其要素的審核情況進行描述，并圍繞審核重點對學校本科人才培養(yǎng)總體狀況作出判斷和評價”。這實際上是對評估內容的全面性、評估發(fā)現的深入性、評估聚焦的選擇性、事實描述的總體性和價值判斷的終結性提出了實質性的要求。那么在評估報告中又怎么才能體現這些要求呢？我認為，綜合評價卡便是可以較平衡地體現這些要求的評估結論的一種直觀呈現方式。它既能涵蓋證據收集的所有范圍，給數據的深入挖掘提供指引，又為確立評估重點理清了思路，為作出整體性結論搭建了框架。可以說，離開了這種綜合性的評價工具，審核范圍難免顯得面面俱到，數據整合難免出現支離破碎，討論分析難免偏離問題焦點，而評估結論難免陷入觀點失衡。綜合評價卡貴在綜合，它顧及從投入到教學過程和學習產出的質量生成的所有基本環(huán)節(jié)，關照從規(guī)劃、實施到檢測、行動的質量管理的整個過程，貫穿從目標、路徑到執(zhí)行、結果和改進的質量評價主線，為專家作出更加全面深入的思考、評估機構作出更加平衡準確的決定、參評院校進行更有針對性的自我剖析和后續(xù)改進，提供了一項有效工具。

其次，審核評估中采用綜合評價卡是為了能更好地幫助專家開展評估。審核評估采用專家進校前分頭準備、在校時“全面考察、各有側重、深入交流、獨立判斷”的方式介入評估工作。盡管有統(tǒng)一的審核范圍及基本的評估程序，但是專家的評估活動大多是單獨分散進行的。因此，集中的討論和同一的評審尺度就顯得尤為重要，而綜合評價卡就為專家這樣的內部分析、相互討論和整體判斷提供了一個基本的尺度。它既可以方便專家們在同一個平臺上分析證據、交流各自的觀點，還為他們尋求共識、作出判斷提供了一個便捷的工具。如果使用得當，它可以幫助專家去偽存真、克服片面性，高效地形成專家個人及專家組集體的總體評價意見。由于專家組是在現場考察后半段即將形成評估結論前使用這一工具，所以使用過程并無任何障礙，網上填寫綜合評價卡更是只需要短短的半分鐘之內的簡單點擊就可以輕松完成。綜合評價卡的使用不僅不會增加專家的工作負擔，而且是使他們的工作更加條理化、簡便化的一個輔助性手段。

第三，審核評估中采用綜合評價卡是為了能夠規(guī)避該項評估的主要風險。審核評估的順利實施仍然面臨諸多困難和挑戰(zhàn)。中國本身的院校評估的專業(yè)化之路還十分漫長。一方面在教育的管辦評分離未有落實的條件下，評估機構遠非是獨立專業(yè)的權威部門，其獨立性、專業(yè)性和權威性明顯不足，評估運作過程受到種種制約和干擾，另一方面評估者的專業(yè)素質和業(yè)務水平無法滿足發(fā)展需要，對評估工作原則、目標功能定位、評估程序以及方法與技術的認識明顯不足，甚至對于作為后啟外發(fā)的評估這一專業(yè)行當的許多基本概念還沒有很好地消化吸收。同時，由于涉及審核評估的本體性研究嚴重不足，學界及組織實施部門對于該評估模式的基本概念、關注焦點、相關程序、核心價值和技術路徑等的認識容易出現偏差，既有該評估模式的核心要件在設計上出現缺胳膊少腿的現象，又有具體實施過程中遭遇穿新鞋走老路問題的風險。有的院校甚至已經出現了完全背離審核評估初衷、督促院系購買檔案柜集中整理“完善”檔案的情況。

審核評估作為我國首次引進的一種評估模式和已經實施的一個獨立評估項目，在本土化改造后能否整合一致地服務于院校的內部質量保障與持續(xù)改進，目前來看仍然存在適切性、可行性和有效性方面的管理風險，包括評估標準與院校質量目標匹配性不夠的風險、評估方法與評估目的匹配性不夠的風險以及評估證據與評估結論匹配性不夠的風險等。審核評估實施過程中最重要的風險和挑戰(zhàn)是，由于矯枉過正，容易從上一輪本科教學評估的極其劃一性和高厲害性走上本輪評估隨意性和無利害的另一個極端，造成參評院校簡單應付和輕松過關的思想泛濫，使作為質量主體的學校師生的參與大打折扣，使完善內部質量保障機制的評估目標最終落空。從目前的審核評估實際運作機制、專家培訓內容、具體評估環(huán)節(jié)、院校自評過程和審核評估報告來看，這些困難和挑戰(zhàn)是現實的風險。

就拿審核評估報告來說，目前過于淡化整體性結論、排斥等級性描述，所謂寫實性報告不作通過或不通過的判斷、不給等第。似乎只有這樣才能克服上一輪評估的弊端，而事實是除了利害度的降低和隨意性的提高，傳統(tǒng)評估的許多做法仍然是可以一切照舊的。我們一直習慣于在肯定主流的同時指出問題，而指出的問題往往在很長的歷史階段仍然繼續(xù)存在，有些還變得更為嚴重。如果我們這輪評估最終采用沒有多少約束性的輕描淡寫和不痛不癢的文字進行所謂寫實，那么最后的結果就會與上輪評估高壓低效下的虎頭蛇尾和最終皆大歡喜的高優(yōu)秀率沒有什么實質的兩樣，只不過是一些人的弄虛作假變成了更多人的只虛不假?？此朴欣谌婵偨Y和誠實反思，但卻實際缺少了問題聚焦和評估實效。不少參評院校將審核評估看成可以不講標準、不分高低、不看結論的“簡略版”甚至“休閑版”評估，在自評中師生的參與少之又少，在評估后實質性的改進更加難以推動?？峙掠械膶W校連審核評估究竟是評什么都沒有搞清就已經皆大歡喜地完成評估任務了；而有的學校連PDCA都沒有翻譯對就在一片贊揚聲中接受評估的圓滿成功了；有的學校在用純粹的傳統(tǒng)評估手段應對完這么輕松的評估后就已經迫不及待地開始到處去介紹這種“新式”評估的參評經驗了；有的學校只是匆匆地推銷完自己的從未實際運作過的質量保障體系就已經率先通過這類評估了；而有的學校從別的學校那里隨意克隆一個質量環(huán)路也就順理成章地過關了；更不用說有的學校依靠傳統(tǒng)的購置檔案柜和整理材料的方式將之對付過去便無疑顯得十分安全和輕松了。

其實，境外的審核評估報告一般均要求給出整體性結論，對于是否通過評估或在何種程度上通過評估普遍要求作出明確判斷，不僅評估過程中要根據所獲證據作出相應的判斷，而且也要在審核評估報告中以差別化的等第描述來反映評估結論。芬蘭甚至把評估結論設為通過或不通過，2005開始的首輪評審中就有較高比例的院校沒有通過而得到了需要“重新評審”的結論；有個國家不僅給出不同等級的結論，而且確定不同的評估周期。所以，評估報告不能一味地強調低利害，只要能夠少一些人為的壓力、多一些專業(yè)的建議，學校就會對評估結果多一份理解和支持。其實，學校對那些沒有實質內容的評估報告才是最反感的。

審核評估中采用綜合評價卡可以幫助我們較好地規(guī)避掉該評估項目的上述這些主要風險，無論是對于彌補我們教育評估專業(yè)化水平的不足和對審核評估認識的欠缺，還是推動該項評估順利啟動和平穩(wěn)開展，都是有益的。特別是綜合評價卡能夠在通過定性評價手段保持較低利害度的前提下，通過寫實性呈現方式堅守了評估的有用性。每個參評學校拿到這樣的一張評價卡，不用擔心與別人比高低的壓力，而是可以看到與眾不同的、個性化的、獨一無二的、真實的自己。審核評估中采用綜合評價卡可以幫助院校更好地認識自身的優(yōu)勢與不足，特別是發(fā)現內部質量保障的實際現狀，看出目前的薄弱環(huán)節(jié)和未來的努力方向，為院校評后的持續(xù)改進提供支持。作為一項新近提出的還需要不斷完善的評估工具，綜合評價卡還需要進一步細化評審準則，為專家及參評學校更好地使用編寫出一個簡要的指導與培訓材料。同時，還可以進一步開發(fā)和完善相關的配套工具，以便更好地對院校質量建設的相關趨勢和因果關系等進行分析、描述和呈現。

[1]Cameron Kim,Wesley Sine.A framework for organizational quality culture[J].Quality Management Journal，1999，6(4):7-25.

[2]Isaiah O Ugboro,Kofi Obeng.Top management leadership,employee empowerment,job satisfaction,and customer satisfaction in TQM organizations:an empirical study[J].Journal of Quality Management,2000(5):247-272.

[3]袁益民.審核評估：如何真正做到正確認識，確保平穩(wěn)開展[J].高教發(fā)展與評估，2015(1)：1-16.

(責任編輯：沈秀)

Comprehensive Progress Report Card as a New Tool for Institutional Quality Audit in Jiangsu

Yuan Yimin

(Jiangsu Agency for Educational Evaluation,Nanjing 210024,China)

Jiangsu Agency for Educational Evaluation adopts a comprehensive progress report card as an assessment tool in its recent institutional quality audit of two institutions of the Province.The report card consists of 10 dimensions of internal quality assurance plus 5 levels of attainment for each dimension.The status of the internal quality assurance of an audited institution is interpreted by a certain attainment level of each dimension,and it can also be expressed by a coordinates curve.In the two cases of institutional quality audit,the comprehensive progress report card has served as a useful tool for helping the auditors to make their judgments about the status of the internal quality assurance system of an audited institution.It can also be used as a framework for guiding institutions in data mining and conducting follow-up activities of continuous improvement.

institutional quality audit;comprehensive progress report card;internal quality assurance

2015-10-20

袁益民(1963—)，男，江蘇江陰人，研究員，主要從事教育評估研究。

G64

A

2095-042X(2015)06-0082-05

10.3969/j.issn.2095-042X.2015.06.014