詹曉莊，沈 潔，蘇 婧，魏思萌

(北京教育考試院，北京100083)

2018年4月，國家教育部正式發(fā)布了《教育信息化2.0行動(dòng)計(jì)劃》，明確指出“教育信息化是教育現(xiàn)代化的基本內(nèi)涵和顯著特征，是‘教育現(xiàn)代化2035’的重點(diǎn)內(nèi)容和重要標(biāo)志”。自學(xué)考試既是一種考試制度，也是一種教育形式[1]，自學(xué)考試命題審校(以下簡稱“自考審?！?工作的質(zhì)量決定著自學(xué)考試質(zhì)量，也與國家選拔人才的質(zhì)量及廣大考生的切身利益密切相關(guān)。如何把信息技術(shù)手段有效應(yīng)用于自學(xué)考試命題工作中，不斷提高命題質(zhì)量，是加快自學(xué)考試現(xiàn)代化建設(shè)的抓手，也是推進(jìn)新時(shí)代繼續(xù)教育信息化發(fā)展的重要課題。

一、自考審校工作的作用

自考審校工作是對(duì)試題和試卷整體的審查和校對(duì)，是命題工作中質(zhì)量控制的重要環(huán)節(jié)。從命題工作流程角度看，不僅包括命題部門組織的命題組入闈開展的試題、試卷的審校工作，也包括在入闈結(jié)束后命題部門內(nèi)部驗(yàn)收過程中對(duì)試題、試卷進(jìn)行的審校；從審校內(nèi)容上看，是對(duì)試題和試卷的審查、研磨，既包括“校異同”，也包括“校是非”。

自考審校工作旨在通過多角度、多人次、多輪次對(duì)比考核依據(jù)、考核范圍、考核重點(diǎn)、編制規(guī)范，審查、研磨試題試卷，發(fā)現(xiàn)并修正試題和試卷中可能存在的問題，確保試題試卷質(zhì)量，因此自考審校工作是保證自學(xué)考試質(zhì)量的重要把關(guān)環(huán)節(jié)。

二、自考審校工作現(xiàn)狀和存在問題

(一)審校工作現(xiàn)狀

在三十多年的命題管理實(shí)踐中，自學(xué)考試命題管理工作已經(jīng)形成了用于指導(dǎo)自考審校工作的管理規(guī)范和管理機(jī)制。教育部考試中心制訂的《高等教育自學(xué)考試命題工作指南》對(duì)試題試卷審校工作的主要流程和內(nèi)容進(jìn)行了明確的描述，并設(shè)計(jì)了用于檢查審校工作質(zhì)量的檢查表，如《試卷校對(duì)表》《試卷審查表》等。各自學(xué)考試命題中心也依據(jù)《指南》，結(jié)合自身特點(diǎn)，在梳理審校工作流程、內(nèi)容和相關(guān)標(biāo)準(zhǔn)的基礎(chǔ)上，對(duì)自考審校工作質(zhì)量檢查表設(shè)計(jì)進(jìn)行了進(jìn)一步的細(xì)化。

目前，自考審校工作仍主要以紙質(zhì)版的試題和試卷作為載體，采用以質(zhì)量檢查表為依據(jù)，通過查閱教材、大綱等命題依據(jù)文件進(jìn)行人工校對(duì)的方式。為提高審校工作質(zhì)量，采用多人次、多輪次審校的模式，并通過自審、交叉審、合議等環(huán)節(jié)修改試題。由于自考審校工作產(chǎn)生的過程記錄紙質(zhì)稿版本多，所以在工作記錄方式方面，主要采取對(duì)紙質(zhì)審校終稿、關(guān)鍵過程稿和紙質(zhì)質(zhì)量檢查表進(jìn)行存檔留存的方式。

隨著信息技術(shù)在自考命題管理中的運(yùn)用，自考命題的信息化水平穩(wěn)步提升。目前自考命題工作中已使用的信息系統(tǒng)包括命題信息化工作平臺(tái)系統(tǒng)、命題管理信息系統(tǒng)、題庫管理系統(tǒng)等，這些信息化系統(tǒng)主要側(cè)重于整體命題工作流程管理以及試題、試卷庫的管理，專門針對(duì)命題審校工作的信息化系統(tǒng)建設(shè)尚處于探索狀態(tài)。

(二)自考審校工作中存在的問題

受客觀、個(gè)人因素影響大。由于在審校試題、試卷時(shí)，需要多人次、多輪次人工反復(fù)查閱教材和大綱等命題依據(jù)、對(duì)比試題與教材、大綱的異同，耗費(fèi)了審校人員的大量時(shí)間和精力。一方面，在審校時(shí)間有限的情況下，會(huì)壓縮用于審查試題、試卷正確性、規(guī)范性的時(shí)間和精力，影響“校是非”的實(shí)際效果。反復(fù)校對(duì)過程中出現(xiàn)的疲勞感會(huì)導(dǎo)致判斷能力減弱，產(chǎn)生閱讀盲點(diǎn)，即便是最簡單的比對(duì)，依然存在漏檢的風(fēng)險(xiǎn)。另一方面，校對(duì)人員也可能會(huì)因?yàn)橄热霝橹鞯乃季S定式、個(gè)人對(duì)于教材及大綱等命題依據(jù)文件理解掌握的局限性[2]、工作細(xì)致程度等因素導(dǎo)致審校中的誤判或漏檢。

協(xié)同工作效率不高。自考審校工作中自審、互審、合議、修改的環(huán)節(jié)是多人次、多輪次、多角度審校工作要求的具體體現(xiàn)，各環(huán)節(jié)緊密相連、環(huán)環(huán)相扣。其中，自審、互審意見的匯總是合議、修改的前提，由于這些修改意見分散在不同紙質(zhì)試卷版本上，查找和匯總意見效率低，致使審校人員協(xié)同開展工作特別是集中意見、討論修改時(shí)效率較低，不利于工作組協(xié)同優(yōu)勢的發(fā)揮，也不利于形成組內(nèi)審校工作合力。

缺少對(duì)于工作量及質(zhì)量進(jìn)行評(píng)估的依據(jù)。命題組審校過程中，存在過程記錄不完整的情況，審校記錄只有命題組的修改記錄，不能反映組內(nèi)教師個(gè)體的審校工作情況，缺少對(duì)命題組教師審校工作全面評(píng)價(jià)的基礎(chǔ)，不利于了解和記錄組內(nèi)教師個(gè)人在審校工作中發(fā)揮的作用，不利于有針對(duì)性地向命題教師個(gè)體反饋審校問題，無法發(fā)現(xiàn)教師在審校工作中存在的不足，也無法針對(duì)有關(guān)人員開展相應(yīng)的技能培訓(xùn)[3]。

三、推進(jìn)自考審校工作信息化建設(shè)的策略

針對(duì)目前自考審校工作中存在的不足，應(yīng)從以下幾個(gè)方面入手，推進(jìn)和加快自考審校工作信息化建設(shè)，促進(jìn)自考審校工作水平和命題質(zhì)量的不斷提升。

(一)構(gòu)建實(shí)時(shí)協(xié)同的審校工作系統(tǒng)

1.系統(tǒng)總體設(shè)計(jì)

命題審校工作中對(duì)試題、試卷的修改和完善是保證命題質(zhì)量的重要環(huán)節(jié)。一份質(zhì)量合格的試卷是命題組協(xié)同工作的智力成果，是審校驗(yàn)收組協(xié)同工作的智力成果，也是命題組與命題部門的協(xié)同工作的智力結(jié)果。因此，系統(tǒng)設(shè)計(jì)的出發(fā)點(diǎn)和落腳點(diǎn)是在保證命題安全的前提下，提高審校工作中的協(xié)同工作效率和效果。

自考審校工作信息化系統(tǒng)功能模塊主要包括審校工作用戶和文件管理、實(shí)時(shí)協(xié)同修改、審校輔助、溝通交流、記錄審校過程、知識(shí)共享等。

自考審校工作用戶和文件管理。系統(tǒng)可依據(jù)具體審校工作需要，創(chuàng)建并配置命題管理部門的內(nèi)設(shè)機(jī)構(gòu)、命題組等基本信息，根據(jù)命題任務(wù)注冊(cè)、審核、注銷系統(tǒng)中的用戶(命題組教師、命題部門的審校驗(yàn)收組成員)，保證只有注冊(cè)用戶才能登錄并使用系統(tǒng)。系統(tǒng)可根據(jù)命題組織架構(gòu)自動(dòng)生成結(jié)構(gòu)化的用戶私有存儲(chǔ)空間和用戶專有的共享存儲(chǔ)空間。只有屬于同一內(nèi)設(shè)機(jī)構(gòu)且同一命題組的用戶才能使用這個(gè)共享目錄，并且可依據(jù)角色配置目錄文件的增加、刪除、查看、修改等權(quán)限，以滿足審校工作的安全保密要求。

實(shí)時(shí)協(xié)同修改。用戶登錄系統(tǒng)后，可進(jìn)入自己專屬的命題管理部門的內(nèi)設(shè)機(jī)構(gòu)下的課程共享文件協(xié)作區(qū)。以命題組教師審校工作為例，可為組內(nèi)教師提供全程、實(shí)時(shí)參加修改的工作環(huán)境，多位教師可以同時(shí)編輯同一試題，并且能實(shí)時(shí)看到其他參與者所做的修改。一方面保障了審校協(xié)作中教師之間快速、流暢地進(jìn)行文檔修改的溝通與交流，提高了審校工作的質(zhì)量和效率；另一方面修改方案的探討不以某命題教師提出方案為出發(fā)點(diǎn)，而是以共同修改的創(chuàng)造方式進(jìn)行，利于思維碰撞而產(chǎn)生出更多解決問題的修改方案，使最終的修改達(dá)到最優(yōu)化。

審校輔助。從試卷整體的審視角度，系統(tǒng)可快速比對(duì)試卷結(jié)構(gòu)與預(yù)設(shè)結(jié)構(gòu)的差異性，具體包括試卷的題型、題量，考點(diǎn)覆蓋、考核重點(diǎn)等。從試題審查的角度，系統(tǒng)可依據(jù)試題考點(diǎn)關(guān)鍵詞，快速查找定位教材、大綱中對(duì)應(yīng)的考點(diǎn)及考點(diǎn)相應(yīng)的考核要求，輔助用戶高效開展審查和校對(duì)工作。

溝通交流。課程協(xié)作區(qū)用戶之間可互發(fā)消息，實(shí)時(shí)進(jìn)行交流。在使用協(xié)同批注修改模式下，也可以針對(duì)具體試題的修改實(shí)時(shí)交流修改意見。實(shí)時(shí)溝通交流是對(duì)協(xié)同審校、共同修改、編輯的補(bǔ)充和發(fā)展。

記錄審校過程。系統(tǒng)可以全面記錄自考審校工作數(shù)據(jù)，包括審校過程版本數(shù)據(jù)和審校結(jié)果數(shù)據(jù)、命題教師個(gè)體工作數(shù)據(jù)和命題組審校工作數(shù)據(jù)，作為評(píng)估命題教師個(gè)體、命題組審校工作完成質(zhì)量的依據(jù)。

知識(shí)共享。協(xié)作區(qū)成員可以共享自考審校工作相關(guān)資料，如教材、大綱、工作經(jīng)驗(yàn)等，課程命題組內(nèi)知識(shí)共享是高效、深度協(xié)同的價(jià)值體現(xiàn)。

2.系統(tǒng)建設(shè)策略

組織命題審校工作是自學(xué)考試命題管理部門的常規(guī)工作。為了能盡快發(fā)揮信息化優(yōu)勢，自學(xué)考試命題審校信息化建設(shè)應(yīng)盡量擺脫建設(shè)周期和經(jīng)費(fèi)的限制，盡量利用現(xiàn)有資源進(jìn)行建設(shè)，使自考審校工作管理更加規(guī)范化和現(xiàn)代化，提升命題管理質(zhì)量。

在硬件建設(shè)方面，應(yīng)該遵循立足現(xiàn)有、適度超前的原則。一方面，硬件建設(shè)需要與審校信息化建設(shè)投入的實(shí)際狀況相適應(yīng)，也要考慮投入產(chǎn)出比。硬件建設(shè)方面可以充分利用命題管理部門現(xiàn)有信息化建設(shè)的基礎(chǔ)設(shè)備條件，減少建設(shè)成本，提高現(xiàn)有設(shè)備使用率。另一方面，要充分考慮因信息技術(shù)高速發(fā)展帶來的硬件產(chǎn)品不斷更新?lián)Q代因素，在審校信息化建設(shè)資金投入有限的情況下，硬件建設(shè)遵循適度超前原則，有助于減少信息化技術(shù)重復(fù)建設(shè)造成的損失。

在軟件建設(shè)方面，應(yīng)該遵循適用性、經(jīng)濟(jì)性、時(shí)效性、可靠性等原則，可選用的建設(shè)模式包括自主開發(fā)模式、外購軟件模式、選用+開發(fā)模式等。不同的軟件建設(shè)模式各有優(yōu)缺點(diǎn)，具體選擇時(shí)命題管理部門需要考慮的因素有：承擔(dān)命題任務(wù)的規(guī)模(課程數(shù)量、用戶人數(shù))、命題工作的延續(xù)性(時(shí)間)、審校工作組織特點(diǎn)是否突出、資金實(shí)力、信息化基礎(chǔ)、人員整體素質(zhì)等。若承擔(dān)命題任務(wù)的規(guī)模大，審校工作組織特點(diǎn)突出，命題工作的延續(xù)性好，資金實(shí)力強(qiáng)，人員整體素質(zhì)高，具有一定的信息化基礎(chǔ)，選擇自主研發(fā)軟件模式最優(yōu)。若承擔(dān)命題任務(wù)的規(guī)模適中，審校工作組織特點(diǎn)不突出，命題工作的延續(xù)性好，資金實(shí)力一般，信息化基礎(chǔ)差，人員整體素質(zhì)不高，選擇外購軟件模式最優(yōu)。若承擔(dān)命題任務(wù)的規(guī)模不大，審校工作組織特點(diǎn)突出，命題工作的延續(xù)性好，資金實(shí)力不足，有一定的信息化基礎(chǔ)，人員素質(zhì)較好，采用選用+開發(fā)模式最優(yōu)。

(二)強(qiáng)化自考審校工作數(shù)據(jù)管理與評(píng)估反饋

促進(jìn)數(shù)據(jù)流動(dòng)和共享。在構(gòu)建實(shí)時(shí)協(xié)同的審校工作系統(tǒng)基礎(chǔ)上，可以充分利用審校工作信息化后產(chǎn)生的數(shù)據(jù)，使其成為科學(xué)、合理的工作質(zhì)量評(píng)價(jià)、教師培訓(xùn)的數(shù)據(jù)支撐。通過審校工作數(shù)據(jù)在評(píng)價(jià)和培訓(xùn)環(huán)節(jié)的流動(dòng)和共享，形成“審?！u(píng)價(jià)—培訓(xùn)”各環(huán)節(jié)相互促進(jìn)的審校工作質(zhì)量提升環(huán)路，以每次命題周期為臺(tái)階，促進(jìn)審校工作質(zhì)量階梯式提升，進(jìn)而推動(dòng)自考命題工作整體質(zhì)量水平不斷提高。

加強(qiáng)審校工作數(shù)據(jù)質(zhì)量管理。審校工作數(shù)據(jù)質(zhì)量是數(shù)據(jù)充分發(fā)揮潛在價(jià)值的關(guān)鍵因素和基本前提，強(qiáng)化數(shù)據(jù)管理有益于保障數(shù)據(jù)的正確性、完整性、有效性和及時(shí)性，提升數(shù)據(jù)分析和數(shù)據(jù)計(jì)算結(jié)果的可信度。第一要建立數(shù)據(jù)標(biāo)準(zhǔn)，確立數(shù)據(jù)質(zhì)量管理基準(zhǔn)。構(gòu)建審校工作數(shù)據(jù)標(biāo)準(zhǔn)是實(shí)現(xiàn)數(shù)據(jù)共同理解、診斷數(shù)據(jù)錯(cuò)誤的重要依據(jù)。第二要規(guī)范審校工作數(shù)據(jù)收集過程，有效規(guī)避數(shù)據(jù)收集所造成的誤差。第三要進(jìn)行數(shù)據(jù)審查，評(píng)估相應(yīng)的數(shù)據(jù)是否具備公平性和準(zhǔn)確性。第四要注重審校工作數(shù)據(jù)使用，在命題管理部門和命題教師群體中，營造運(yùn)用審校工作數(shù)據(jù)的氛圍，提高命題精細(xì)化工作水平。

設(shè)計(jì)審校工作質(zhì)量評(píng)價(jià)方案。利用關(guān)鍵績效指標(biāo)法(Key Performance Indicator，KPI)，在教育部考試中心命題質(zhì)量評(píng)估指標(biāo)體系框架下，結(jié)合審校工作自身特點(diǎn)，建立明確、切實(shí)可行的評(píng)價(jià)審校工作質(zhì)量的關(guān)鍵績效指標(biāo)體系。構(gòu)建基于一致性的審校工作質(zhì)量評(píng)估模型。以通過命題部門驗(yàn)收的審校完成試卷為標(biāo)準(zhǔn)參照，利用參照試卷文件和過程結(jié)果文件(命題教師獨(dú)立審校試卷終稿、命題組協(xié)同審校完成待驗(yàn)收的試卷終稿)進(jìn)行比對(duì)，對(duì)照關(guān)鍵績效指標(biāo)，通過兩者的一致性和差異性分析、判斷，全面、系統(tǒng)地評(píng)估命題組審校工作質(zhì)量和命題教師個(gè)體的審校工作質(zhì)量。

建立審校工作信息反饋機(jī)制。在全面分析命題組及組內(nèi)教師審校工作數(shù)據(jù)的基礎(chǔ)上，生成當(dāng)次的審校工作評(píng)估結(jié)果。通過建立信息化的安全的反饋途徑，把有針對(duì)性的分析結(jié)果及存在的問題信息，及時(shí)推送給命題組及命題教師，便于及時(shí)了解工作中發(fā)現(xiàn)的問題及原因。

(三)探索運(yùn)用新技術(shù)提高趨勢判斷和工作水平

1.運(yùn)用數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息[4]，關(guān)聯(lián)分析和自動(dòng)預(yù)測趨勢是數(shù)據(jù)挖掘的重要功能。

審校工作是一個(gè)周而復(fù)始、不斷重復(fù)的工作。命題組、命題部門在運(yùn)用審校工作系統(tǒng)協(xié)同開展試卷審校工作中會(huì)不斷產(chǎn)生大量的“增、刪、改、查”試卷內(nèi)容的數(shù)據(jù)信息。這些數(shù)據(jù)是審校工作全過程的記錄，也與審校工作結(jié)束后的試卷質(zhì)量相關(guān)聯(lián)。利用系統(tǒng)數(shù)據(jù)庫中不斷增長的審校工作數(shù)據(jù)信息，通過數(shù)據(jù)關(guān)聯(lián)分析可以發(fā)現(xiàn)存在于大量數(shù)據(jù)集中的關(guān)聯(lián)性或相關(guān)性，從而描述審校工作中某些特征、屬性同時(shí)出現(xiàn)的規(guī)律和模式。因此，通過明確挖掘需求、數(shù)據(jù)預(yù)處理、建模、預(yù)測等階段，利用數(shù)據(jù)挖掘在數(shù)據(jù)庫大量信息中尋找預(yù)測性信息的優(yōu)勢，可由數(shù)據(jù)迅速得出預(yù)測結(jié)論，提高預(yù)警水平，比如通過往年審校工作中具體類型的試題問題出現(xiàn)情況和控制情況來預(yù)測未來年份的控制水平，進(jìn)而增強(qiáng)命題單位對(duì)于試卷審校水平的預(yù)測和把控能力。

2.探索集成人工智能技術(shù)

人工智能是研究開發(fā)用于模擬、延伸和擴(kuò)展人類智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)，研究目的是促使智能機(jī)器會(huì)聽(語音識(shí)別、機(jī)器翻譯等)、會(huì)看(圖像識(shí)別、文字識(shí)別等)、會(huì)說(語音合成、人機(jī)對(duì)話等)、會(huì)思考(人機(jī)對(duì)弈、定理證明等)、會(huì)學(xué)習(xí)(機(jī)器學(xué)習(xí)、知識(shí)表示等)、會(huì)行動(dòng)(機(jī)器人、自動(dòng)駕駛汽車等)。[5]人工智能校對(duì)，是人工智能技術(shù)在自然語言處理方面應(yīng)用的一個(gè)分支。

自考試題的編寫嚴(yán)格依據(jù)命題依據(jù)(大綱、教材)，因此審校工作本身具有相對(duì)客觀化、規(guī)范化的特點(diǎn)，這意味著運(yùn)用人工智能技術(shù)成為可能，計(jì)算機(jī)在進(jìn)行數(shù)據(jù)(課程知識(shí)體系庫、知識(shí)素材庫)訓(xùn)練后，可以輔助查找和判定試題與命題要求的一致性，試題整句表達(dá)的規(guī)范性(無缺字、別字、用語規(guī)范)，試題內(nèi)容和考核知識(shí)點(diǎn)分布的科學(xué)性等，會(huì)具備比人工更快、更強(qiáng)的查錯(cuò)糾錯(cuò)能力，會(huì)使審校工作水平和效率大幅提高。

(四)加強(qiáng)制度化管理

建立命題資料管理制度。課程教材、大綱等命題資料電子化是審校工作信息化的前提和基礎(chǔ)?？紤]到出版版權(quán)問題，對(duì)紙質(zhì)版教材、大綱電子化的過程中，應(yīng)建立使用制度，注意版權(quán)保護(hù)。

建立審校信息化系統(tǒng)使用和管理制度。一方面要依據(jù)審校方式、模式變化重新構(gòu)建工作流程，規(guī)范系統(tǒng)使用流程和操作；另一方面，建立基于角色和任務(wù)的訪問控制機(jī)制，合理劃分系統(tǒng)使用者角色的訪問權(quán)限和修改使用權(quán)限，并根據(jù)業(yè)務(wù)流程的執(zhí)行動(dòng)態(tài)分配權(quán)限。此外，還要建立網(wǎng)絡(luò)安全管理制度，強(qiáng)化和運(yùn)用安全措施和手段，保障數(shù)據(jù)安全。

建立完善的人員培訓(xùn)制度。一方面，培訓(xùn)制度建設(shè)要以人為本，要對(duì)審校工作人員進(jìn)行操作使用培訓(xùn)，熟悉信息化的審校工作環(huán)境。另一方面，培訓(xùn)制度建設(shè)要體現(xiàn)前饋控制原則，要把傳統(tǒng)的“事后檢驗(yàn)”的方法轉(zhuǎn)變到“事前預(yù)防”的軌道上來，在分析審校工作質(zhì)量數(shù)據(jù)基礎(chǔ)上，事先采取對(duì)策，組織有針對(duì)性的審校工作技能培訓(xùn)，動(dòng)態(tài)調(diào)整培訓(xùn)內(nèi)容和培訓(xùn)對(duì)象，通過培訓(xùn)把可能造成審校質(zhì)量問題的因素控制在萌芽狀態(tài)。

四、結(jié)束語

自學(xué)考試命題審校工作信息化旨在通過在命題審校工作中引入現(xiàn)代信息技術(shù)，發(fā)揮技術(shù)優(yōu)勢，促進(jìn)審校工作改革，不斷提升自考命題工作整體水平。自學(xué)考試命題審校工作信息化是教育信息化的組成部分，是順應(yīng)教育信息化發(fā)展需要，深化教育改革，加快教育現(xiàn)代化建設(shè)的具體體現(xiàn)，對(duì)于保證自學(xué)考試的命題質(zhì)量，維護(hù)自學(xué)考試的公平、公正，辦好繼續(xù)教育，具有重要意義。