焦寶臣，陳詩(shī)明，劉振昌，楊 陽(yáng)，張四海

(南開(kāi)大學(xué) 信息化建設(shè)與管理辦公室，天津 300071)

研究生管理信息系統(tǒng)應(yīng)用效果評(píng)價(jià)研究

焦寶臣，陳詩(shī)明，劉振昌，楊 陽(yáng)，張四海

(南開(kāi)大學(xué) 信息化建設(shè)與管理辦公室，天津 300071)

研究生管理信息系統(tǒng)作為高校研究生教育信息化的重要手段，備受關(guān)注.目前許多高校已經(jīng)開(kāi)展了研究生系統(tǒng)的建設(shè)，但缺乏對(duì)其應(yīng)用效果的評(píng)價(jià).筆者從實(shí)際使用角度提出了將不同種類(lèi)用戶(hù)的劃分和使用情況作為研制指標(biāo)體系的思路，并構(gòu)建了具有二層級(jí)的應(yīng)用效果評(píng)價(jià)指標(biāo).采用層次分析法，通過(guò)專(zhuān)家打分的方式，確定指標(biāo)權(quán)重；以南開(kāi)大學(xué)為例進(jìn)行了應(yīng)用效果評(píng)價(jià)，結(jié)果顯示應(yīng)用效果處于良好水平；最終形成了一整套可行的研究生管理信息系統(tǒng)應(yīng)用效果評(píng)價(jià)方案.通過(guò)應(yīng)用效果評(píng)價(jià)，不但可以直觀地判斷學(xué)校當(dāng)前研究生系統(tǒng)應(yīng)用水平，也可為系統(tǒng)升級(jí)和發(fā)展提供重要的建設(shè)性意見(jiàn).

應(yīng)用效果；層次分析法；評(píng)價(jià)指標(biāo)體系；研究生管理信息系統(tǒng)

0 引言

研究生教育是高校教育、科研工作的核心內(nèi)容，利用信息化手段來(lái)改善高校研究生教學(xué)管理水平備受各高校關(guān)注.其中建設(shè)研究生管理信息系統(tǒng)(以下簡(jiǎn)稱(chēng)為“研究生系統(tǒng)”)是重要的信息化手段.將傳統(tǒng)的研究生教學(xué)、科研和管理工作，通過(guò)構(gòu)建業(yè)務(wù)系統(tǒng)以更加規(guī)范、高效的信息化形式展現(xiàn)出來(lái)，這對(duì)于提高學(xué)校整體辦學(xué)質(zhì)量有重要的意義.

目前，國(guó)內(nèi)很多高校已經(jīng)建設(shè)了研究生管理信息系統(tǒng)，學(xué)術(shù)界也開(kāi)展了廣泛研究.這一領(lǐng)域的研究大多集中在對(duì)高校信息化水平或某一地域信息化水平進(jìn)行評(píng)價(jià)，也有從績(jī)效角度對(duì)信息系統(tǒng)或高校信息化進(jìn)行評(píng)價(jià)[1-5].這些研究往往過(guò)多地關(guān)注整體信息化水平，缺乏從應(yīng)用效果角度提出有針對(duì)性的評(píng)價(jià)或建議.因此，以研究生系統(tǒng)為突破口開(kāi)展應(yīng)用效果評(píng)價(jià)研究，能夠從實(shí)際使用的角度對(duì)信息系統(tǒng)的情況進(jìn)行綜合評(píng)價(jià)，對(duì)系統(tǒng)未來(lái)發(fā)展給出更加直接的建設(shè)性意見(jiàn).

研究生管理信息系統(tǒng)是典型的信息系統(tǒng)，對(duì)其從實(shí)際使用角度開(kāi)展應(yīng)用效果評(píng)價(jià)研究，可作為高校業(yè)務(wù)管理信息系統(tǒng)應(yīng)用效果評(píng)價(jià)研究的范例.其評(píng)價(jià)思路、評(píng)價(jià)指標(biāo)研制方法，均對(duì)其他系統(tǒng)應(yīng)用效果評(píng)價(jià)具有非常重要的借鑒價(jià)值.

1 評(píng)價(jià)思路

開(kāi)展研究生系統(tǒng)應(yīng)用效果評(píng)價(jià)，通常首先是從經(jīng)濟(jì)學(xué)的角度分析系統(tǒng)的成本和收益情況[6-7].這樣能夠獲得較為直觀的經(jīng)濟(jì)應(yīng)用效果，但并不能為系統(tǒng)進(jìn)一步發(fā)展提供重要的改進(jìn)方向.對(duì)研究生系統(tǒng)進(jìn)行應(yīng)用效果評(píng)價(jià)，應(yīng)堅(jiān)持從實(shí)際使用角度來(lái)研究評(píng)價(jià)體系和方法，這樣才能對(duì)研究生系統(tǒng)進(jìn)行更加有效的評(píng)價(jià)，為其進(jìn)一步發(fā)展和改進(jìn)提供明確的意見(jiàn)或建議.

對(duì)研究生系統(tǒng)進(jìn)行應(yīng)用效果評(píng)價(jià)的具體步驟如下：①分層級(jí)構(gòu)建評(píng)價(jià)指標(biāo).從實(shí)際使用角度對(duì)研究生系統(tǒng)進(jìn)行分析，構(gòu)建評(píng)價(jià)指標(biāo)，并進(jìn)行分層級(jí)，形成系統(tǒng)的評(píng)價(jià)指標(biāo)；②確定指標(biāo)權(quán)重值.采用數(shù)學(xué)方法對(duì)不同層級(jí)指標(biāo)進(jìn)行權(quán)重分析，形成評(píng)價(jià)指標(biāo)體系；③建立評(píng)語(yǔ)等級(jí)集.對(duì)指標(biāo)建立評(píng)語(yǔ)等級(jí)，形成問(wèn)卷調(diào)查表;④以某高校為例，進(jìn)行問(wèn)卷調(diào)查，利用已建立的評(píng)價(jià)指標(biāo)體系進(jìn)行分析，最后得出評(píng)價(jià)結(jié)果.

2 評(píng)價(jià)指標(biāo)的研制

2.1 構(gòu)建一級(jí)指標(biāo)

從實(shí)際使用角度對(duì)研究生系統(tǒng)進(jìn)行應(yīng)用效果評(píng)價(jià)研究，就是從系統(tǒng)使用者的角度來(lái)分析評(píng)價(jià)指標(biāo).系統(tǒng)的使用者包括：研究生(碩士、博士)、任課老師、導(dǎo)師、輔導(dǎo)員、研究生院從事管理的工作人員、系統(tǒng)管理員、系統(tǒng)開(kāi)發(fā)人員、系統(tǒng)維護(hù)人員.以上人員可以分為3類(lèi)，如圖1所示.

圖1 研究生系統(tǒng)相關(guān)人員示意圖

A為研究生相關(guān)工作中從事管理類(lèi)工作的人員，包括：研究生院工作人員和研究生輔導(dǎo)員.這類(lèi)人員主要從研究生院管理工作的角度來(lái)審視研究生系統(tǒng)應(yīng)用情況.

B為研究生相關(guān)工作中辦理具體事務(wù)的人員，包括：研究生、任課老師、導(dǎo)師(碩士生導(dǎo)師、博士生導(dǎo)師).相對(duì)于A類(lèi)人員來(lái)說(shuō)，這一類(lèi)人員

是被管理的對(duì)象，是研究生相關(guān)工作的主體人員.這類(lèi)人員從具體辦理研究生相關(guān)業(yè)務(wù)角度來(lái)審視研究生系統(tǒng)的應(yīng)用情況.

C為系統(tǒng)自身情況相關(guān)的人員，包括：系統(tǒng)管理員、系統(tǒng)開(kāi)發(fā)人員、系統(tǒng)維護(hù)人員等.這類(lèi)人員更多的是從系統(tǒng)軟件角度來(lái)審視研究生系統(tǒng)實(shí)際應(yīng)用情況.

結(jié)果語(yǔ)步常用詞匯：result,findings,find,result in,indicate,predict,occur,show,suggest,provide,present,demonstrate,include等

依據(jù)上述研究生系統(tǒng)實(shí)際使用人員的分類(lèi)，可以從3個(gè)方面來(lái)評(píng)價(jià)研究生系統(tǒng)應(yīng)用效果，也就是評(píng)價(jià)體系的一級(jí)指標(biāo)，分別是：

(1)“對(duì)研究生院管理工作改進(jìn)效果”.從研究生院管理工作角度來(lái)分析系統(tǒng)應(yīng)用效果.

(2)“對(duì)業(yè)務(wù)辦理工作改進(jìn)效果”.是指研究生系統(tǒng)的建設(shè)對(duì)要辦理業(yè)務(wù)的普通使用者(普通老師和學(xué)生)辦理相關(guān)業(yè)務(wù)的改進(jìn)效果，即從普通辦理業(yè)務(wù)人員角度來(lái)分析系統(tǒng)應(yīng)用效果.

(3)“研究生系統(tǒng)自身狀況”.這是從系統(tǒng)自身情況相關(guān)人員角度來(lái)分析系統(tǒng)應(yīng)用效果.

2.2 二級(jí)指標(biāo)

在得出上述3個(gè)一級(jí)指標(biāo)的基礎(chǔ)上，分別研制出其所含的二級(jí)指標(biāo)，能直接表達(dá)系統(tǒng)的應(yīng)用效果.表1為具有二層級(jí)的研究生應(yīng)用效果評(píng)價(jià)指標(biāo)，以及二級(jí)指標(biāo)的說(shuō)明.

表1 研究生系統(tǒng)應(yīng)用效果的二層級(jí)評(píng)價(jià)指標(biāo)

表2 研究生系統(tǒng)應(yīng)用效果評(píng)價(jià)指標(biāo)及其權(quán)重

3 確定指標(biāo)權(quán)重值

在分層級(jí)構(gòu)建出評(píng)價(jià)指標(biāo)后，采用合適的數(shù)學(xué)方法確定不同層級(jí)指標(biāo)的權(quán)重值，形成完整的評(píng)價(jià)體系.常用確定分層級(jí)指標(biāo)權(quán)重值的方法是層次分析法(analytic hierarchy process，AHP).AHP在決策分析、產(chǎn)業(yè)結(jié)構(gòu)研究、科技成果評(píng)價(jià)、發(fā)展戰(zhàn)略規(guī)劃、人才考核評(píng)價(jià)及發(fā)展目標(biāo)分析的許多領(lǐng)域都取得了令人滿(mǎn)意的成果[8].其在計(jì)算指標(biāo)權(quán)重值方面也有成熟的應(yīng)用[2]，具體方法步驟如下：

(1)分層次的指標(biāo)為同一指標(biāo)下同一層級(jí)的指標(biāo)，依據(jù)兩兩比較原則，構(gòu)建調(diào)查表;

(2)研究生系統(tǒng)相關(guān)專(zhuān)家做問(wèn)卷調(diào)查;

(3)依據(jù)問(wèn)卷調(diào)查結(jié)果，構(gòu)建判斷矩陣;

(4)采用特征根法計(jì)算得出指標(biāo)的權(quán)重值，具體運(yùn)算過(guò)程可用軟件Expert Choice實(shí)現(xiàn)[9].

下面以南開(kāi)大學(xué)為例，通過(guò)上述步驟構(gòu)建研究生應(yīng)用效果評(píng)價(jià)指標(biāo)體系.表2為依據(jù)AHP法采用Expert Choice軟件計(jì)算得到的南開(kāi)大學(xué)研究生系統(tǒng)應(yīng)用效果評(píng)價(jià)指標(biāo)及其權(quán)重值.從表2中的一級(jí)指標(biāo)及其權(quán)重中可以看出，“對(duì)業(yè)務(wù)辦理工作改進(jìn)效果”的權(quán)重值為0.558，要明顯大于“對(duì)研究生管理工作改進(jìn)效果”的0.320和“研究生系統(tǒng)自身狀況”的0.122.說(shuō)明從實(shí)際使用效果角度來(lái)看，“業(yè)務(wù)辦理工作改進(jìn)”對(duì)系統(tǒng)的使用具有決定性的影響,也就是說(shuō)，研究生系統(tǒng)建設(shè)應(yīng)更多地考慮辦理實(shí)際業(yè)務(wù)的普通用戶(hù)(研究生、導(dǎo)師)的切身感受.

在所有二級(jí)指標(biāo)中“無(wú)紙化程度”的權(quán)重為0.301，要明顯高于其他二級(jí)指標(biāo).因此，在研究生系統(tǒng)建設(shè)或升級(jí)改造中,應(yīng)更加注重實(shí)現(xiàn)網(wǎng)上辦公，盡量避免線(xiàn)下操作，從根本上實(shí)現(xiàn)無(wú)紙化辦公.

通過(guò)上述分析，可以明確得知，在建設(shè)或升級(jí)研究生系統(tǒng)時(shí)應(yīng)更多地從業(yè)務(wù)辦理方面來(lái)下功夫，即更多地站在普通用戶(hù)的角度來(lái)構(gòu)建系統(tǒng)，這樣才能使系統(tǒng)建成之后有更好的使用效果.此外，這種采用AHP法構(gòu)建研究生應(yīng)用效果評(píng)價(jià)指標(biāo)體系的方式也可為其他信息管理系統(tǒng)應(yīng)用效果評(píng)價(jià)研究提供可行的借鑒方案.

4 評(píng)價(jià)實(shí)例

南開(kāi)大學(xué)現(xiàn)有在校研究生1.1萬(wàn)余人，研究生系統(tǒng)自2007年開(kāi)始建設(shè)使用，至今已有近9年的時(shí)間，期間在2014年經(jīng)過(guò)了一次升級(jí).該系統(tǒng)有較廣泛的使用和較成熟的用戶(hù)，能夠?yàn)閼?yīng)用效果評(píng)價(jià)研究提供良好的實(shí)例.

以南開(kāi)大學(xué)為例確定了指標(biāo)權(quán)重基礎(chǔ)之后，通過(guò)建立評(píng)語(yǔ)等級(jí)，利用指標(biāo)形成問(wèn)卷調(diào)查表.采用四級(jí)評(píng)語(yǔ)來(lái)標(biāo)識(shí)指標(biāo)的等級(jí).分別為：“A”級(jí)對(duì)應(yīng)100分；“B”級(jí)對(duì)應(yīng)85分；“C”級(jí)對(duì)應(yīng)75分；“D”級(jí)對(duì)應(yīng)60分.將構(gòu)建評(píng)價(jià)體系中的二級(jí)指標(biāo)(如表2)按照A、B、C、D 4級(jí)評(píng)語(yǔ)來(lái)標(biāo)識(shí)，形成問(wèn)卷調(diào)查表.隨機(jī)抽取一定數(shù)量的用戶(hù)(包括：研究生、導(dǎo)師、任課老師、輔導(dǎo)員和研究生院工作人員，等等)進(jìn)行問(wèn)卷調(diào)查.對(duì)每一項(xiàng)指標(biāo)的調(diào)查結(jié)果求取平均值作為最后的結(jié)果，再與該指標(biāo)對(duì)應(yīng)的權(quán)重值作乘法，最后將結(jié)果求和作為研究生應(yīng)用效果值.表3為按照上述方式得出的南開(kāi)大學(xué)研究生系統(tǒng)應(yīng)用效果評(píng)價(jià)結(jié)果.最后得到的應(yīng)用效果值是86.184，處于B級(jí)良好水平.

表3 研究生系統(tǒng)應(yīng)用效果評(píng)價(jià)結(jié)果

5 結(jié)論

從實(shí)際應(yīng)用角度對(duì)研究生系統(tǒng)應(yīng)用效果進(jìn)行評(píng)價(jià)，構(gòu)建具有二層級(jí)的評(píng)價(jià)指標(biāo)體系，采用AHP法確定指標(biāo)權(quán)重；以南開(kāi)大學(xué)研究生系統(tǒng)為例，進(jìn)行問(wèn)卷調(diào)查，最后得出系統(tǒng)應(yīng)用效果值,從而形成了一套可行的研究生應(yīng)用效果評(píng)價(jià)方案.該方案也可為相關(guān)信息系統(tǒng)應(yīng)用效果評(píng)價(jià)研究提供借鑒，有廣闊的應(yīng)用前景.

雖然筆者對(duì)研究生系統(tǒng)應(yīng)用效果評(píng)價(jià)進(jìn)行了初步研究，在指標(biāo)體系構(gòu)建上形成了較為可行的思路方法.但是，由于AHP法本身采用專(zhuān)家打分的方式獲得指標(biāo)值，難免會(huì)受專(zhuān)家喜好的影響.因此從數(shù)學(xué)上尋找更加優(yōu)良的方法，剔除人為的感性影響，盡量以定量的方式對(duì)系統(tǒng)進(jìn)行應(yīng)用效果評(píng)價(jià)是下一步努力的方向.

[1] 謝幼如,常亞潔. 績(jī)效導(dǎo)向的教育信息化評(píng)價(jià)模型的構(gòu)建[J]. 中國(guó)電化教育, 2015(1): 56-61.

[2] 李文光,范坤,趙瑩. 深圳市基礎(chǔ)教育信息化建設(shè)與應(yīng)用評(píng)價(jià)指標(biāo)體系的探索[J].中國(guó)電化教育, 2014(1):40-44.

[3] 李玉石. 高校信息化評(píng)價(jià)指標(biāo)及應(yīng)用研究[D]. 天津: 河北工業(yè)大學(xué)經(jīng)濟(jì)管理學(xué)院, 2007.

[4] 謝忠新. 學(xué)校信息化應(yīng)用評(píng)估模型的研究[D]. 上海: 華東師范大學(xué)教育學(xué)部, 2009.

[5] 陳明選,湯巍楠.中小學(xué)數(shù)字化校園建設(shè)與應(yīng)用績(jī)效的優(yōu)化[J].中國(guó)電化教育, 2012(3):30-36.

[6] 寧東玲. 信息系統(tǒng)項(xiàng)目應(yīng)用效果的評(píng)價(jià)研究[J]. 項(xiàng)目管理技術(shù), 2012, 10(10): 52-55.

[7] 張淑娜. 制造業(yè)信息化制造技術(shù)應(yīng)用效果評(píng)價(jià)研究[D]. 哈爾濱: 哈爾濱理工大學(xué)經(jīng)濟(jì)管理學(xué)院, 2008.

[8] 張炳江. 層次分析法及其應(yīng)用案例[M].北京: 電子工業(yè)出版社, 2014.

[9] 孔令波. 制造業(yè)管理型信息系統(tǒng)評(píng)價(jià)體系的研究[D].昆明: 昆明理工大學(xué)機(jī)電工程學(xué)院, 2006.

Research on the Application Effect Evaluation of the Graduate Management Information System

JIAO Baochen, CHEN Shiming, LIU Zhenchang, YANG Yang, ZHANG Sihai

(Office of Informatization Construction and Management, Nankai University, Tianjin 300071, China)

An increasing amount of attention was widely drawn to the Graduate Management Information system, which could be considered as an important means of the college graduate educational informatization. Currently, the construction of the graduate system was promoted in most of college. Nevertheless, it was deficient in the application effect evaluation of the graduate system. From the view of the practical application, a way of building the index system was proposed, which was according to the partition and application of the user. The evaluation index of the application effect with the double levels was constructed. The weight parameters were determined by analytic hierarchy process (AHP), through the expert evaluating method. As an example, the Nankai University was taken to proceed the application effect evaluation. The result showed that the application effect of the graduate system of Nankai University reached high level. A feasible project of the application effect evaluation was proposed in the Graduate Management Information system. Through the method of application effect evaluation, the application level could be estimated effectively and directly in the graduate system. Moreover, the indispensable suggestion could be presented for updating and developing the system.

aplication effect; analytic hierarchy process; evaluation index system; graduate management information system

2016-11-08；

2017-02-18

天津市教育信息化協(xié)會(huì)資助項(xiàng)目

焦寶臣(1982— )，男，天津人，南開(kāi)大學(xué)工程師，博士，主要從事教育信息化建設(shè)研究，E-mail:bcjiao@nankai.edu.cn.

1671-6833(2017)02-0009-04

TP311

A

10.13705/j.issn.1671-6833.2017.02.003