吳君勝

(廣州市廣播電視大學 人文與工程學院， 廣東 廣州 510091)

0 引言

開放大學不同于一般的普通高校，它是一個由總部、分部(地方開大)和分校(教學點)組成的辦學系統(tǒng)。各層級有分工，也有合作，共同組成完整的辦學整體。系統(tǒng)辦學是開放大學的辦學特色、也是辦學優(yōu)勢[1]。

廣州市廣播電視大學(下稱廣州電大)是國家開放大學(廣州分部)，就廣州電大系統(tǒng)而言，截止至2019年底，在校生規(guī)模超過25萬人，連續(xù)多年成為全市規(guī)模最大的高校。學生數(shù)超過10萬可謂巨型大學，面對規(guī)模、成本和質(zhì)量的巨大沖擊[2]。傳統(tǒng)的紙質(zhì)筆試時間不靈活、時空間成本高、評閱卷工作量大、成績發(fā)布周期長、耗費人力物力財力，很難滿足學習者和管理者的需求。因此，利用開放大學的特點和優(yōu)勢，建立一套科學的、符合開放大學特點的在線考試題庫系統(tǒng)，提高效率，保證質(zhì)量，達成“教、學、考、評”一體化目標，是開放大學考試改革的關(guān)鍵。

1 需求問題描述

目前，開放大學的在線考試系統(tǒng)分為總部網(wǎng)考系統(tǒng)和分部(地方開大)自建網(wǎng)考系統(tǒng)兩種，考試單位分別是總部和分部?？偛烤W(wǎng)考系統(tǒng)與紙質(zhì)筆試區(qū)別不大，僅僅是紙質(zhì)筆試無紙化，仍需人工參與，沿用全國統(tǒng)一總部考試模式。廣州電大系統(tǒng)自建“易考通”在線考試平臺，在功能上解決了國開總部網(wǎng)考系統(tǒng)的缺陷，實現(xiàn)一定程度的智能化，但僅適用于分部統(tǒng)考課程，比較分析情況，如表1所示。

表1 總部與分部在線考試系統(tǒng)對比

2016年，《教育部關(guān)于辦好開放大學的意見》中明確提出指出，“開放大學與學習服務中心要實現(xiàn)高速、安全的現(xiàn)代遠程教育網(wǎng)絡覆蓋、統(tǒng)一教學管理、統(tǒng)一在線平臺、統(tǒng)一考試評價、保證教育教學質(zhì)量”、“完善課程學習考試制度、建設數(shù)字化題庫、學習測評系統(tǒng)、電子試題保密機制”[3]。表1中的系統(tǒng)都僅針對終結(jié)性考核(期末考試)而開發(fā)的系統(tǒng)，仍無法達成“教、學、考、評”一體化的目標。

廣義上的網(wǎng)絡考試是指任何計算機參與的考試，可以是終結(jié)性、形成性或診斷性的考試等。筆者認為對教、學、考的全流程評價能實現(xiàn)融合統(tǒng)一是開放大學轉(zhuǎn)型發(fā)展的關(guān)鍵所在。為此，網(wǎng)考系統(tǒng)功能應在現(xiàn)有系統(tǒng)的功能上進一步拓展和創(chuàng)新，核心需求應在于題庫系統(tǒng)的功能設計，需求分析如下。

1.1 支持靈活的考核需求

在線考試系統(tǒng)假如只為終結(jié)性考核(期末考試)而開發(fā)，那么必然會出現(xiàn)施教者迫切想獲取課程復習資料或考試題庫信息的情況。然而，施教者往往不是課程題庫的建立者，施教者對課程教學文件的理解、對學習者負責任程度、對教研活動的參與度都直接影響學習者的課程最終成績。因此，課程題庫的建立目標，應既能支持形成性考試(包括課前問答、堂上小測、課后練習、常規(guī)作業(yè))，又能支持終結(jié)性考試(包括考前模擬考試、期末考試)。在課程開始到結(jié)束的全流程中，支持不同形式、不同時空、不同規(guī)模的考核需求，利用智能移動終端設備，隨時、隨地、隨測、隨練、隨考的靈活考核方式是開放大學在互聯(lián)網(wǎng)時代的重要需求。

1.2 建立層級管理題庫結(jié)構(gòu)

開放大學的題庫建設應改變課程責任教師獨立命題或委托專家命題的現(xiàn)狀，把集中式命題變?yōu)榉稚⑹矫}。發(fā)揮開放大學辦學系統(tǒng)優(yōu)勢，使分校(教學點)教師在日常教學中參與知識點考核的命題。建立層級管理題庫的功能，課程責任教師審核知識點考核命題并完成入庫，實現(xiàn)課程考題數(shù)據(jù)共享，碎片化審核有效降低集中審核的工作量壓力。同時，一定量的考題來源于面對不同生源、在不同區(qū)域教學的一線任課教師，具有更好的開放性、公平性和公正性。

1.3 支持單一考題的評析

單一考題的評價與分析除了能考量命題者的水平，還能在答題數(shù)據(jù)中反映出施教者在某些知識點的教學情況和學習者的掌握情況，正確率、答題平均時間等數(shù)據(jù)能精準分析考題對于開放大學的學習者的實際難易程度，相比當前依靠命題者和試題審核學科組專家的估算會更為準確。

1.4 支持多終端應用需求

支持PC端、移動設備等多終端應用，PC端提供全流程功能，移動設備終端提供便于施教者和學習者的操作。

1.5 支持跨系統(tǒng)數(shù)據(jù)共享

題庫系統(tǒng)應提供與終結(jié)性考核的在線考試系統(tǒng)的數(shù)據(jù)接口，實現(xiàn)課程題庫的導入導出，實現(xiàn)題庫數(shù)據(jù)共享。

2 系統(tǒng)設計

2.1 結(jié)構(gòu)設計

題庫系統(tǒng)主要面向教學過程中的在線測考，屬于形成性考核，而面向終結(jié)性考核的網(wǎng)考功能，則由現(xiàn)有的在線考試系統(tǒng)負責?？紤]微信公眾平臺的系統(tǒng)開發(fā)能同時適用于Andriod和iOS等移動操作系統(tǒng)，避免開發(fā)不同的移動應用程序所帶來的新問題，利用云服務器，針對智能移動終端設備開發(fā)基于微信公眾平臺的在線測考題庫系統(tǒng)。題庫系統(tǒng)主要由微信公眾平臺、微信客戶端(在線測考平臺)和PC端(題庫管理系統(tǒng))3個部分組成，如圖1所示。

微信公眾平臺是微信公眾號管理后臺，微信客戶端既是用戶界面又是測試界面，開發(fā)者實際面對的主要對象是微信服務器和應用程序(網(wǎng)站)服務器[4]。在線測考平臺可通過授權(quán)接口和功能權(quán)限作為公眾號第三方管理平臺，其用戶為教師或教考務管理人員。系統(tǒng)采用ASP.NET作為開發(fā)平臺，部署在云服務器。

圖1 系統(tǒng)結(jié)構(gòu)圖

2.2 功能設計

為實現(xiàn)題庫管理系統(tǒng)的核心需求，本文以廣州電大現(xiàn)有的在線考試系統(tǒng)為基礎(chǔ)，設計開發(fā)“拼題易”在線測考題庫系統(tǒng)，主要應用于教學過程中的形成性考核和課程終結(jié)性考核的考題集成。本系統(tǒng)實現(xiàn)教師對題庫考題管理、測考的發(fā)起與管理，實現(xiàn)學生隨測隨考、成績查詢與分析等功能，系統(tǒng)模塊包括學生管理、班級管理、教師管理、課程管理、試題管理和用戶管理等。功能結(jié)構(gòu)，如圖2所示。

圖2 在線考試題庫系統(tǒng)功能結(jié)構(gòu)圖

(1) 試題管理

課程責任教師可根據(jù)課程創(chuàng)建試題，并為試題分配指定命題教師，命題教師應為課程責任教師或分校(教學點)任課教師?？碱}由命題教師自行添加，既可逐條添加題目，也可根據(jù)指定模板批量導入知識點和題目。添加后的題目默認為待審狀態(tài)，題目由課程責任教師審核后入庫。已審題目可以按課程導出指定格式Excel文件，導入現(xiàn)有在線考試系統(tǒng)，可按照學科組專家審核流程完成考試發(fā)布。待審題目和已審題目都可由命題教師自行發(fā)起測考主題，如在線練習或堂上測試等，通過生成二維碼讓學習者使用終端設備掃碼答題，用于實施教學的課前、課中、課后全過程。學生答題監(jiān)查實時顯示學習者答題情況，試題成績分析在PC端和智能手機終端可查看。

(2) 教師管理

開放大學任課教師與辦學系統(tǒng)層級結(jié)構(gòu)對應，課程責任教師負責課程管理，班主任或?qū)W教師負責班級管理，任課教師可以分部(地方開大)教師，也可以是分校(教學點)教師，教學機構(gòu)管理主要是管理分校和教學點信息，并可標識教師參與命題的身份。其角色流程，如圖3所示。

(3) 課程管理

題庫題目用于教學全過程就必須關(guān)聯(lián)課程，課程信息可通過專業(yè)規(guī)則或?qū)I(yè)教學計劃導入系統(tǒng)，根據(jù)課程可創(chuàng)建試題或發(fā)起在線練習。

(4) 班級管理

班級管理主要包括班級信息管理和學生信息管理。學生信息主要來源于教學過程中的身份注冊，班主任或任課教師可以完成學生和班級的綁定，有效解決學生基礎(chǔ)信息依賴學籍系統(tǒng)的數(shù)據(jù)源問題。

圖3 角色流程圖

(5) 后臺管理

系統(tǒng)用戶主要是教師，教師信息主要來源于參與題庫建設并將題目用于教學的一線任課教師，教師信息通過身份注冊完成。后臺默認注冊為任課教師，可根據(jù)教師角色設置模塊功能權(quán)限。

2.3 防作弊設計

針對終結(jié)性考核的網(wǎng)考系統(tǒng)在防作弊機制可謂各師各法，如表1所示，主要防止偷窺、夾帶、替考、利用存儲設備或通訊設備等常見作弊行為。本文所設計的題庫系統(tǒng)主要針對形成性考核，線下面授課的堂測實質(zhì)可看作課中教學互動，線上練習實質(zhì)可看作課前、課后作業(yè)，防作弊機制與終結(jié)性考核有異有同。基本功能包括考題隨機排序和選項隨機排列的顯示方式、知識點自動組題策略、限時作答、考題答案和查詢時間后移等，其他防作弊設計如下。

(1) 地理位置信息獲取

智能移動終端設備具有豐富的傳感器功能，針對面授教學，題庫系統(tǒng)的在線測考平臺在智能移動終端設備整合了筆者開發(fā)的“基于微信公眾平臺的課程云簽到系統(tǒng)”的功能，同名論文已公開發(fā)表。因此，面授課除了考勤數(shù)據(jù)具有GPS定位數(shù)據(jù)，堂測答題數(shù)據(jù)同樣具有GPS定位數(shù)據(jù)提交，記錄并防止缺勤者通過網(wǎng)絡獲取二維碼答題的作弊行為。

(2) 身份綁定

微信賬戶在微信公眾號中具有唯一的openid，實名用戶身份綁定具有設備限數(shù)和認證機制，微信接口技術(shù)所獲取的設備信息可判斷設備更換情況，而且微信號給予他人使用的現(xiàn)象并不多見，考慮即時通訊軟件存在個人隱私不便外借的情況，在一定程度上可以防止缺勤替考問題。

(3) 命題者分配和數(shù)據(jù)隔離

防作弊對象除了被考核人外，還包括對命題者，防止集體作弊行為。命題者來自分校(教學點)教師，為防止跨校教師私下互通考題進而集體套取大量題庫考題的行為，以命題者自愿參與為原則實施隨機選擇分配，命題者賬戶隔離考題數(shù)據(jù)，隔離與共享功能并存，控制每位命題者的被審核通過考題在最終導出終結(jié)性考核題庫的占比在30%以下，結(jié)合課程期末復習資料，比率可調(diào)可控，可靈活實施。

3 系統(tǒng)應用效果

本文以筆者自主開發(fā)的“拼題易”測考系統(tǒng)為例，在廣州電大計算機專業(yè)課程中試驗運行，實現(xiàn)了省設課題庫協(xié)同共建、省校與分校平臺共享、形考與終考融通共享的目標。比較“雨課堂”無法實現(xiàn)單一課程集成題庫，本系統(tǒng)的共建共享題庫系統(tǒng)，經(jīng)過近1年的開發(fā)與運維，經(jīng)試驗運行集成建立3門課程題庫并導入廣州電大“易考通”在線考試系統(tǒng)，在分部順利實施終結(jié)性考核(期末考試)[5]。下面從技術(shù)部署、教學實施和數(shù)據(jù)融合方面分析應用效果。

3.1 系統(tǒng)開發(fā)技術(shù)應用

系統(tǒng)的開發(fā)工具使用Visual Studio 2017，在ASP.NET的開發(fā)框架下，采用C#語言編程，結(jié)合MS-SQL Server 2016進行數(shù)據(jù)庫管理，系統(tǒng)以網(wǎng)站形式部署在Windows Server 2012 R2操作系統(tǒng)的云服務器上，通過IIS發(fā)布網(wǎng)站，在完成一些列域名注冊和備案審批流程后，與微信公眾號無縫結(jié)合。Web服務和數(shù)據(jù)庫服務都在云服務器上穩(wěn)定運行，同時降低部署實施的技術(shù)難度[4]。

3.2 “教、學、考、評”一體化應用

題庫系統(tǒng)應用在教、學、考全過程，涵蓋“評題、評教、評學、評考”四評，在教師組織教學過程中獲取的數(shù)據(jù)，極大地促進教學活動由傳統(tǒng)的“經(jīng)驗驅(qū)動”向“數(shù)據(jù)驅(qū)動”轉(zhuǎn)型，實現(xiàn)全面融合的一體化應用[6]。

(1) 考題評價

題庫系統(tǒng)為一線任課教師參與題庫建設提供了機會，提交的題目首先會被課程責任教師初步審核評價，如圖4所示。

圖4 堂測數(shù)據(jù)反映教學情況

例如《.NET編程基礎(chǔ)》課程共8章，由3位不同分校(教學點)的一線任課教師共同命題，如表2所示。

表2 不同教師命題及其應用情況

由表2可知，W教師、T教師和L教師合共審核通過的命題數(shù)為365題，終結(jié)性考核題庫總量最低要求為500題，入庫占比73%。從“拼題易”題庫導出后再導入“易考通”在線考試的命題系統(tǒng)將會進行學科組和專家再次審核評價，一審錯題率為3.8%，二審錯題率為0.6%。比較另一門計算機課程直接由課程主管教師在“易考通”在線考試命題系統(tǒng)中命題，一審錯題率為7.3%，二審錯題率為2.7%。“拼題易”系統(tǒng)共建題庫并用于形考以及碎片化審核題目能有效提高終考考題的命題質(zhì)量。

任課教師在教學中參與命題的同時可將題目用于線上線下教學，每道題目的學生答題正確率可反映出題目的可用性、難易度和適用性等，一定程度上是學生參與了評價。如表2所示，W教師和L教師的生源不同，根據(jù)入庫已考題目的正確率，更適合控制及格率，個人入庫題目占比較高，分別是61.4%和55.9%，題目適用性更好，其中W教師的命題質(zhì)量較高。

可見，多元化的考題評價優(yōu)于傳統(tǒng)的考題評審。

(2) 教學評價

來自不同分校(教學點)的任課教師所出的考題，課程責任教師對題目的初步審核入庫實質(zhì)也是對分校(教學點)任課教師的教學能力評價，優(yōu)良的考題一定源自于良好的教學與備課。命題教師的題目在經(jīng)過分校學生答題后，答題數(shù)據(jù)、題目對知識點的覆蓋度也在一定程度上是教學實施情況的反饋評估，包括開課安排、教學進度、知識點把握等，如圖5所示。

圖5 查閱測考成績與考題整體正確率情況

根據(jù)課程教學大綱的各章授課學時建議，對照命題時間和學生答題時間，可得到教學進度匹配表，如表3所示。

表3 不同教師命題時間與教學大綱建議學時匹配情況

由表3可知，W教師高度匹配，開課時間和教學進度正常，并可提前進入復習階段。T教師的開課時間正常，中間教學進度較慢，最后趕教學進度。私立教學點的L教師開課時間較晚，明顯壓縮課時，結(jié)合表2數(shù)據(jù)，為求學生易于通過，參與命題難度偏低。

(3) 學習評價

開放大學的不同分校、不同區(qū)域的教學點，學生的學習水平參差不齊，任課教師所出考題的質(zhì)量和學生答題的數(shù)據(jù)，在一定程度上反映了系統(tǒng)內(nèi)學生的總體學習能力，有利于均衡化建立終結(jié)性考核題庫，避免出現(xiàn)大量考生分數(shù)過低或過高的現(xiàn)象。

不同分校的某課程各章答題正確率折線圖，如圖6所示。

圖6 不同分校的某課程各章答題正確率折線圖

學生在查閱答題情況時可得知該題目的歷史整體正確率，了解自身學習差距。通過問卷調(diào)查顯示，關(guān)心此數(shù)據(jù)的學生達81%。分別統(tǒng)計該課程各章節(jié)的學生答題正確率，共4個班級，涉及152名學生答題數(shù)據(jù)，結(jié)合表2和表3數(shù)據(jù)，W教師命題的正確率漸漸提升，教師完成命題同時并能全程應用于形考。T教師和L教師命題都出現(xiàn)缺章，正確率數(shù)據(jù)缺失，形考數(shù)據(jù)不完整。L教師的命題明顯容易，但學生答題情況并不理想。

(4) 考核評價

系統(tǒng)的考核評價可以是形成性考核，也可以是終結(jié)性考核，形成性考核成績可在教學過程中線上獲得，如圖7所示。

圖7 堂上實時展示答題情況

任課教師可根據(jù)學生的掌握程度，自主評價教學情況，動態(tài)調(diào)整教學。課程題庫的整體數(shù)據(jù)評價，也影響課程終結(jié)性考核題庫的構(gòu)成。

結(jié)合表3和圖7的數(shù)據(jù)可知，W教師和T教師在教學中都有一定程度調(diào)整教學，學生答題正確率逐步有所提升。通過省校的教學團隊管理和教研活動，教學進度基本可管可控。根據(jù)整體學習情況，不同分校、不同區(qū)域教學點的全體學生的形考答題正確率在55.4%～81.9%之間，平均正確率為72.2%。根據(jù)“易考通”系統(tǒng)導出數(shù)據(jù)，終結(jié)性考核實際報考人數(shù)為101人，實際參考人數(shù)88人，最終通過率是74%，數(shù)據(jù)顯示“拼題易”系統(tǒng)形考數(shù)據(jù)與終結(jié)性考核數(shù)據(jù)高度接近，并略有提高。

3.3 線上線下數(shù)據(jù)創(chuàng)新融合

系統(tǒng)既可應用于面授課程，又可應用于在線教學。前述該課程的命題由分?；蚪虒W點教師命題占73%，剩余占比由課程責任教師命題，最終形成終結(jié)性考核題庫。3位教師在教學過程中均實現(xiàn)線下數(shù)據(jù)線上化，涉及4個教學班，教與學的地理位置信息空間數(shù)據(jù)、教師上課時間數(shù)據(jù)、學生到課時間數(shù)據(jù)、測考答題數(shù)據(jù)、教學進度數(shù)據(jù)等線上線下時空數(shù)據(jù)高度融合，學生的答題成績完全可作為形成性考核作業(yè)成績，同時為導出終結(jié)性考核題庫提供數(shù)據(jù)依據(jù)。

按照題庫總題量要求為500題，從表2數(shù)據(jù)可知，L教師占27.4%，T教師占15.4%，L教師占30.2%。那么可預見，參與命題的教師越多，可選的命題總量將會更多，單位教師被選入庫題數(shù)越少，入庫占比必然越低，越接近“教考分離”。同時，教師參與度越低，優(yōu)質(zhì)考題入選率越低，入庫占比必然越低。課程命題總負責人命題占比越高，也會越接近“教考分離”，可調(diào)可控。

4 總結(jié)

本系統(tǒng)的設計充分發(fā)揮了開放大學系統(tǒng)辦學的特點和優(yōu)勢，以課程題庫為頂，從頂層設計出發(fā)，探索創(chuàng)新開放大學的題庫建設新模式。有效改變了任課教師的教學高度依賴于復習資料的現(xiàn)狀，充分調(diào)動了任課教師的教學積極性，將被動變?yōu)橹鲃樱膭罘e極參與命題工作。從個體走向協(xié)同，促進教師共同體協(xié)同發(fā)展。結(jié)合形成性考核和終結(jié)性考核的數(shù)字化題庫建設，在一定程度上改變了以教師為中心的課堂教學和考試命題，變?yōu)橐詫W生為中心的均衡化教學與適用性命題。創(chuàng)新的題庫建設模式推進了課程網(wǎng)絡教學團隊的組建，適度的教考不完全分離也是防止教考脫節(jié)和監(jiān)控教學的有效手段，有利于開放大學的“教、學、考、評”一體化向網(wǎng)絡化和智能化的發(fā)展。借助智能移動終端設備和微信接口功能的不斷進步和開放，在課程的全生命周期中，在課程教學過程中實現(xiàn)時空數(shù)據(jù)的全面獲取，形成了線上線下融合的教育教學大數(shù)據(jù)。本系統(tǒng)的開發(fā)設計與研究在更大規(guī)模的數(shù)據(jù)研究尚不夠，仍需要更多管理上和內(nèi)部政策上的支持，后續(xù)系統(tǒng)功能開發(fā)將在這些方面進一步拓展和完善。