［摘" 要］ 課程問卷調(diào)查是開展學(xué)情分析及了解課程教學(xué)效果的有效手段。課程調(diào)查問卷質(zhì)量的好壞直接決定了調(diào)查結(jié)果的全面性、針對性以及有效性。一直以來，課程調(diào)查問卷中存在問題設(shè)置缺乏理論支撐的現(xiàn)實(shí)問題，難以全面客觀地對學(xué)生課前基礎(chǔ)及課后掌握程度進(jìn)行有效分析。針對問題，提出一種基于層次分析法（AHP）的課程調(diào)查問卷設(shè)計(jì)方法。構(gòu)建課程調(diào)查問卷內(nèi)容體系，自上而下逐層分析各類問題的權(quán)重，繼而明確問卷中各類調(diào)查問題的數(shù)量。利用層次分析法對某裝備課程進(jìn)行了調(diào)查問卷設(shè)計(jì)，通過分析問卷結(jié)果驗(yàn)證方法的可行性及有效性。

［關(guān)鍵詞］ 課程調(diào)查問卷；層次分析法；學(xué)情分析；教學(xué)效果

［基金項(xiàng)目］ 2021年度國防科技大學(xué)信息通信學(xué)院教育教學(xué)研究重點(diǎn)項(xiàng)目“基于虛擬仿真的××裝備教學(xué)研究”（ZY21A007）

［作者簡介］ 林志強(qiáng)（1990—），男，吉林樺甸人，碩士，國防科技大學(xué)信息通信學(xué)院講師，主要從事裝備效能評估研究；鄢睿丞（1984—），男，湖北襄陽人，博士，國防科技大學(xué)信息通信學(xué)院講師（通信作者），主要從事智能化指揮信息系統(tǒng)研究；蘇耀峰（1982—），男，河南鞏義人，碩士，國防科技大學(xué)信息通信學(xué)院副教授，主要從事指揮信息系統(tǒng)運(yùn)維保障研究。

［中圖分類號］ G642.3 ［文獻(xiàn)標(biāo)識碼］ A ［文章編號］ 1674-9324（2024）24-0014-04 ［收稿日期］ 2023-05-17

引言

課程問卷調(diào)查是指教師通過設(shè)置關(guān)于教學(xué)主體和教學(xué)客體相關(guān)情況的問卷，要求被調(diào)查者據(jù)此進(jìn)行回答以收集教學(xué)資料的方法，主要用來進(jìn)行教情分析和學(xué)情分析。課程問卷是開展調(diào)查的基礎(chǔ)，形式為一組與課程調(diào)查目標(biāo)有關(guān)的問題表格。按照調(diào)查時(shí)間進(jìn)行分類，課程調(diào)查問卷一般分為課前調(diào)查問卷、課中調(diào)查問卷及課后調(diào)查問卷。課前調(diào)查問卷主要用來對學(xué)生的基本情況進(jìn)行摸底，從而進(jìn)行有針對性的教學(xué)；課中調(diào)查問卷主要用來分析學(xué)生某一階段的學(xué)習(xí)情況，以此調(diào)節(jié)教學(xué)難度、進(jìn)度以及方法；課后調(diào)查問卷主要用來對教學(xué)效果進(jìn)行研判，為下一輪教學(xué)優(yōu)化調(diào)整提供參考和借鑒。

從本質(zhì)上來講，問題是課程調(diào)查問卷的核心，而問題設(shè)計(jì)的好壞，直接影響調(diào)查結(jié)果的可靠性和有效性。因此，正確而恰當(dāng)?shù)卦O(shè)計(jì)問題至關(guān)重要。在進(jìn)行問題設(shè)計(jì)時(shí)通常要遵循的原則主要包括合理性原則、邏輯性原則、清晰性原則以及層次性原則［1］。合理性原則是指在問題設(shè)計(jì)時(shí)應(yīng)該秉持客觀中立的態(tài)度，設(shè)計(jì)的問題不能帶有某種傾向性或暗示性，同時(shí)應(yīng)該緊扣調(diào)查目標(biāo)，避免偏離主題。邏輯性原則是指在問題設(shè)計(jì)時(shí)應(yīng)該注意問題之間的邏輯關(guān)聯(lián)性，由淺入深，循序漸進(jìn)。清晰性原則是指在問題設(shè)計(jì)時(shí)語言描述要做到清晰規(guī)范，不能出現(xiàn)模糊的概念或者存在歧義的表述。層次性原則是指在設(shè)計(jì)問題（選擇題）答案時(shí)要有一定的梯度，可參照李克特量表（五分量表）進(jìn)行設(shè)置，便于作答和統(tǒng)計(jì)。

上述原則對課程調(diào)查問卷設(shè)計(jì)具有一定的指導(dǎo)意義，但并不能具體明確如何進(jìn)行問卷設(shè)計(jì)。目前，大部分課程調(diào)查問卷主要是教師依據(jù)教學(xué)經(jīng)驗(yàn)進(jìn)行設(shè)計(jì)，存在的主要問題是主觀性比較強(qiáng)，可能存在調(diào)查問題冗余、沖突、深度不夠等缺點(diǎn)，同時(shí)各類問題數(shù)量的確定尚無科學(xué)的方法指導(dǎo)。為解決這些問題，筆者提出了一種基于層次分析法的課程調(diào)查問卷設(shè)計(jì)方法，即先構(gòu)建具有樹狀結(jié)構(gòu)的課程調(diào)查問卷內(nèi)容體系，再通過構(gòu)造判斷矩陣求取各類調(diào)查問題的權(quán)重，最后利用權(quán)重確定問卷中各類調(diào)查問題的數(shù)量。

一、層次分析法概述

層次分析法（analytical hierarchy process， AHP）

是由美國運(yùn)籌學(xué)專家Saaty于20世紀(jì)70年代初提出的一種綜合定性與定量分析的多準(zhǔn)則決策方法［2］。這種方法條理清晰、使用方便、科學(xué)性強(qiáng)，能夠充分利用決策者的經(jīng)驗(yàn)對解決問題的方案進(jìn)行抉擇，適用于一些難以完全用定量的方法來分析的復(fù)雜問題，目前在效能評估領(lǐng)域得到了廣泛的應(yīng)用。

（一）基本思想

層次分析法的基本思想是將復(fù)雜的問題分解為若干層次，在比原問題簡單得多的層次上逐步進(jìn)行分析。主要思路是根據(jù)決策目的和研究對象，把目標(biāo)逐層分解為多個(gè)相互獨(dú)立且完備的組成因素，得到一個(gè)自上而下的層次結(jié)構(gòu)模型，下層因素隸屬于某一上層因素，上層因素對下層因素有支配作用。通過按層分析，獲得各因素的權(quán)重，最終進(jìn)行方案的優(yōu)劣性排序［3］。

（二）主要步驟

層次分析法在應(yīng)用過程中的一般流程主要包括六個(gè)步驟。其一，根據(jù)決策的目的以及研究對象對決策目標(biāo)進(jìn)行明確，梳理出影響目標(biāo)決策的全部因素；其二，分析各目標(biāo)因素之間的關(guān)系，構(gòu)建“樹狀”目標(biāo)因素層次結(jié)構(gòu)模型；其三，邀請領(lǐng)域?qū)＜覍ν粚哟胃饕蛩刂g的重要程度進(jìn)行對比，建立判斷矩陣；其四，計(jì)算判斷矩陣的最大特征值，求出判斷矩陣的一致性指標(biāo)和隨機(jī)一致性指標(biāo)，進(jìn)而得出隨機(jī)一致性比例，利用隨機(jī)一致性比例對判斷矩陣進(jìn)行一致性分析，若滿足一致性，則進(jìn)行下一步，若不滿足一致性，則返回上一步重新構(gòu)建判斷矩陣；其五，利用判斷矩陣求出各目標(biāo)因素的權(quán)重；其六，依據(jù)目標(biāo)因素權(quán)重，對目標(biāo)因素的重要程度進(jìn)行排序，完成決策。

二、課程調(diào)查問卷設(shè)計(jì)流程

利用層次分析法進(jìn)行調(diào)查問卷設(shè)計(jì)的流程主要包括構(gòu)建課程調(diào)查問卷內(nèi)容體系、調(diào)查問卷判斷矩陣求解以及調(diào)查問卷題目數(shù)量設(shè)置三個(gè)步驟。

（一）課程調(diào)查問卷內(nèi)容體系

課程調(diào)查問卷內(nèi)容體系是開展問卷設(shè)計(jì)的基礎(chǔ)，一般來說，課程調(diào)查問卷的內(nèi)容應(yīng)該包含三個(gè)板塊，分別是課程板塊、教師板塊以及學(xué)生板塊。其中，課程板塊主要指課程的教學(xué)內(nèi)容，涵蓋課程的各知識單元；教師板塊主要包括教學(xué)理念、教學(xué)方法、教學(xué)設(shè)計(jì)、教學(xué)水平等方面；學(xué)生板塊分為學(xué)生信息、學(xué)習(xí)動機(jī)、學(xué)習(xí)收獲、學(xué)習(xí)效果等幾個(gè)部分［1，4］。

（二）調(diào)查問卷判斷矩陣求解

根據(jù)課程調(diào)查問卷內(nèi)容體系可知，調(diào)查問卷判斷矩陣主要包括：對于課程調(diào)查問卷內(nèi)容而言與之有關(guān)的課程板塊、教師板塊、學(xué)生板塊等因素形成的判斷矩陣；對于課程板塊而言各知識單元形成的判斷矩陣；對于教師板塊而言教學(xué)理念、教學(xué)方法、教學(xué)設(shè)計(jì)、教學(xué)水平等因素形成的判斷矩陣；對于學(xué)生板塊而言學(xué)生信息、學(xué)習(xí)動機(jī)、學(xué)習(xí)收獲、學(xué)習(xí)效果等因素形成的判斷矩陣。由于上述四個(gè)判斷矩陣的求解方法基本相同，因此以各知識單元形成的判斷矩陣為例進(jìn)行簡要介紹。

假設(shè)課程一共有n個(gè)知識單元，分別為S1，S2，…，Sn，構(gòu)造各知識單元形成的判斷矩陣需要邀請教學(xué)專家對各知識單元之間的相對重要性進(jìn)行評判。若用bij（i=1，2，…，n；j=1，2，…，n）表示知識單元Si對知識單元Sj的相對重要性，其取值通常以數(shù)字1～9及其倒數(shù)作為標(biāo)度［5］，取值越大表示相對重要性越凸顯，則可構(gòu)造出判斷矩陣B=（bij）n×n。

判斷矩陣的一致性檢驗(yàn)以及各知識單元相對于課程板塊權(quán)重的計(jì)算，需要求解出判斷矩陣的最大特征值λmax及其對應(yīng)的特征向量W。正規(guī)化求和法是一種計(jì)算判斷矩陣最大特征值及其對應(yīng)的特征向量的常用方法［6］。先利用最大特征值計(jì)算一致性指標(biāo)CI，然后通過查表，獲取隨機(jī)一致性指標(biāo)值RI，最后計(jì)算隨機(jī)一致性比例CR=CI/RI，當(dāng)CR＜0.1時(shí)，認(rèn)為判斷矩陣具有滿意的一致性，此時(shí)各知識單元相對于課程板塊的權(quán)重即為特征向量W，否則需要對判斷矩陣進(jìn)行調(diào)整。

（三）調(diào)查問卷題目數(shù)量設(shè)置

從課程調(diào)查問卷內(nèi)容體系的層次結(jié)構(gòu)分解粒度來看，問卷中涉及的調(diào)查問題類別共有n+8個(gè)（n為課程知識單元個(gè)數(shù)）。各類調(diào)查問題的數(shù)量依賴于預(yù)設(shè)的總調(diào)查問題數(shù)量N0以及最下層各調(diào)查問卷因素對于最上層調(diào)查問卷目標(biāo)的權(quán)重αi（i=1，2，…，n，n+1，…，n+8），其中α1～αn分別為知識單元S1～Sn的權(quán)重，αn+1～αn+8分別對應(yīng)教學(xué)理念、教學(xué)方法、教學(xué)設(shè)計(jì)、教學(xué)水平、學(xué)生信息、學(xué)習(xí)動機(jī)、學(xué)習(xí)收獲、學(xué)習(xí)效果各因素的權(quán)重。

對于預(yù)設(shè)的總調(diào)查問題數(shù)量N0，若取值太小則問卷的體量不夠，造成問卷的全面性不足；若取值太大，一是造成問卷中可能出現(xiàn)問題冗余，二是造成被調(diào)查人員由于填寫耗時(shí)過長而產(chǎn)生厭煩情緒。根據(jù)專家經(jīng)驗(yàn)，一般來說，預(yù)設(shè)的總調(diào)查問題數(shù)量N0取值在20～40之間比較合適。

由于最下層各調(diào)查問卷因素權(quán)重的計(jì)算方法大同小異，在此以各知識單元對課程調(diào)查問卷內(nèi)容的權(quán)重（α1～αn）計(jì)算為例進(jìn)行介紹。假設(shè)中間層因素課程板塊、教師板塊、學(xué)生板塊對課程調(diào)查問卷內(nèi)容的權(quán)重分別為ω1、ω2、ω3，則有

αi=ω1Wi，（i=1，2，…，n）" " " " " " " " " "（1）

其中Wi為知識單元Si對于課程板塊的權(quán)重。

在課程調(diào)查問卷中，知識單元Si設(shè)置的數(shù)量Mi為

Mi=［αiN0］，（i=1，2，…，n）" " " " " " " " "（2）

（2）式中“［ ］”表示四舍五入取整。

三、課程調(diào)查問卷設(shè)計(jì)實(shí)例

本節(jié)以一門本科教育必修課“×××技術(shù)與裝備”的調(diào)查問卷設(shè)計(jì)實(shí)例進(jìn)行介紹。由于課程專業(yè)性、崗位指向性較強(qiáng)，課前為了解學(xué)生的基本信息、學(xué)生對本門課程涉及知識的了解程度，以及對教學(xué)方式的主觀偏好，設(shè)計(jì)了課前調(diào)查問卷；課后為掌握學(xué)生的學(xué)習(xí)效果、授課教師的教學(xué)效果，便于后續(xù)對課程進(jìn)行改進(jìn)，設(shè)計(jì)了課后調(diào)查問卷。

課前調(diào)查問卷的目的在于“前測”，問卷中課程板塊設(shè)置的問題主要涉及一些比較淺顯的基本概念；課后調(diào)查問卷目的在于“后測”，需要與“前測”形成閉環(huán)，問卷中課程板塊設(shè)置的問題與課前調(diào)查問卷有對應(yīng)關(guān)系，涉及內(nèi)容深度和專業(yè)性較強(qiáng)。課前調(diào)查問卷中教師板塊設(shè)置的問題主要側(cè)重于對學(xué)生喜好或傾向的教學(xué)理念、教學(xué)方式進(jìn)行了解，學(xué)生板塊設(shè)置的問題主要集中于了解學(xué)生的學(xué)習(xí)意愿，學(xué)習(xí)興趣和更高效的學(xué)習(xí)方式；課后調(diào)查問卷中教師板塊設(shè)置的問題更傾向于了解教學(xué)效果、教學(xué)設(shè)計(jì)和教學(xué)意見建議，學(xué)生板塊設(shè)置的問題偏重于了解學(xué)習(xí)收獲和學(xué)習(xí)效果。

由于利用AHP法對課前和課后調(diào)查問卷中各類問題數(shù)量進(jìn)行設(shè)計(jì)的過程基本一致，此處以“×××技術(shù)與裝備”課程的課后調(diào)查問卷設(shè)計(jì)為例。先邀請教學(xué)專家對課程板塊、教師板塊以及學(xué)生板塊兩兩進(jìn)行比較，得出判斷矩陣B0，經(jīng)計(jì)算此判斷矩陣的隨機(jī)一致性比例為0.003 2＜0.1，滿足一致性條件，得到課程板塊的權(quán)重為0.65，教師板塊的權(quán)重為0.23，學(xué)生板塊的權(quán)重為0.12。

“×××技術(shù)與裝備”課程共有5個(gè)知識單元，同樣邀請專家對這5個(gè)知識單元的重要性進(jìn)行兩兩對比，得出判斷矩陣B1。經(jīng)計(jì)算此判斷矩陣的隨機(jī)一致性比例為0.009 5＜0.1，滿足一致性條件，得到知識單元一的權(quán)重為0.11，知識單元二的權(quán)重為0.36，知識單元三的權(quán)重為0.22，知識單元四的權(quán)重為0.10，知識單元五的權(quán)重為0.21。同理可計(jì)算教師板塊和學(xué)生板塊各下層因素的權(quán)重。經(jīng)計(jì)算，教學(xué)理念對于教師板塊的權(quán)重為0.13，教學(xué)方法對于教師板塊的權(quán)重為0.18，教學(xué)設(shè)計(jì)對于教師板塊的權(quán)重為0.32，教學(xué)水平對于教師板塊的權(quán)重為0.37；學(xué)生信息對于學(xué)生板塊的權(quán)重為0.10，學(xué)習(xí)動機(jī)對于學(xué)生板塊的權(quán)重為0.21，學(xué)習(xí)收獲對于學(xué)生板塊的權(quán)重為0.40，學(xué)習(xí)效果對于學(xué)生板塊的權(quán)重為0.29。

預(yù)設(shè)的總調(diào)查問題數(shù)量N0=30，利用公式（1）（2）可計(jì)算出最底層各因素知識單元一、知識單元二、知識單元三、知識單元四、知識單元五、教學(xué)理念、教學(xué)方法、教學(xué)設(shè)計(jì)、教學(xué)水平、學(xué)生信息、學(xué)習(xí)動機(jī)、學(xué)習(xí)收獲、學(xué)習(xí)效果對于最頂層調(diào)查問卷內(nèi)容設(shè)計(jì)總目標(biāo)的權(quán)重，分別為：0.0715、0.234、0.143、0.065、0.1365、0.0299、0.0414、0.0736、0.0851、0.012、0.0252、0.048、0.0348；在問卷中設(shè)置的問題數(shù)量分別為：2、7、4、2、4、1、1、2、3、0、1、1、1。

為便于獲得學(xué)生對課程的真實(shí)評價(jià)，在課后調(diào)查時(shí)采用紙質(zhì)匿名調(diào)查問卷，共計(jì)回收76份問卷，其中有效問卷76份，問卷有效率達(dá)到100％。經(jīng)過統(tǒng)計(jì)分析，并與課前調(diào)查問卷進(jìn)行對比，得到結(jié)論：學(xué)生通過學(xué)習(xí)本課程，知識的掌握程度較好；學(xué)生更傾向于理論和實(shí)踐相結(jié)合的教學(xué)方式；學(xué)生普遍認(rèn)為交流研討及合作學(xué)習(xí)的效率較高；學(xué)生對課程教學(xué)總體水平比較認(rèn)可；多數(shù)學(xué)生認(rèn)為課程需要在增加裝備操作時(shí)間方面進(jìn)行改進(jìn)提高。

結(jié)語

課程調(diào)查問卷作為一種了解學(xué)生學(xué)習(xí)情況和教師教學(xué)效果的輔助手段，在教學(xué)評價(jià)以及教學(xué)改革中發(fā)揮了重要作用。長期以來，憑借經(jīng)驗(yàn)進(jìn)行課程調(diào)查問卷設(shè)計(jì)暴露出很多弊端，尤其是調(diào)查問卷內(nèi)容體系構(gòu)建缺乏完備的指導(dǎo)理論，問卷中各類問題數(shù)量的確定缺少行之有效的方法，導(dǎo)致調(diào)查結(jié)果的全面性、針對性以及有效性難以得到保證。為解決上述問題，本文提出了一種基于AHP的課程調(diào)查問卷設(shè)計(jì)方法。先借鑒自上而下逐層分解細(xì)化的系統(tǒng)工程思想，構(gòu)建了課程調(diào)查問卷內(nèi)容體系，使得在進(jìn)行問卷內(nèi)容設(shè)計(jì)時(shí)有了可以參考的框架，接著利用層次分析法構(gòu)造判斷矩陣求取各因素的權(quán)重，使問卷中各類問題數(shù)量的確定有了科學(xué)的方法可循，最后通過“×××技術(shù)與裝備”課程調(diào)查問卷設(shè)計(jì)實(shí)例驗(yàn)證了所提方法的可行性及有效性。

參考文獻(xiàn)

［1］甄雪燕.中外醫(yī)學(xué)史教學(xué)方法調(diào)查問卷設(shè)計(jì)的體會［J］.

中國中醫(yī)藥現(xiàn)代遠(yuǎn)程教育，2019，17（7）：15-16.

［2］李志猛，徐培德，劉進(jìn)，等.武器系統(tǒng)效能評估理論及應(yīng)用［M］.北京：國防工業(yè)出版社，2013：88-89.

［3］周華任，張晟，穆松，等.綜合評價(jià)方法及其軍事應(yīng)用［M］.北京：清華大學(xué)出版社，2015：54-58.

［4］屈正庚.基于層次分析法的精品資源共享課有效性［J］.系統(tǒng)仿真技術(shù)，2018，14（1）：68-73.

［5］楊良斌.信息分析方法與實(shí)踐［M］.長春：東北師范大學(xué)出版社，2016：75-77.

［6］譚躍進(jìn)，陳英武，羅鵬程，等.系統(tǒng)工程原理［M］.北京：科學(xué)出版社，2017：214-215.

Design of Course Questionnaire Based on Analytic Hierarchy Process

LIN Zhi-qiang， YAN Rui-cheng， SU Yao-feng， HUANG Jian-mei

（College of Information and Communication， National University of Defense Technology， Wuhan，Hubei 430010， China）

Abstract： Course questionnaire is an effective means to analyze the learning situation and to understand the effectiveness of the course teaching. The quality of the course questionnaire directly determines the comprehensiveness， pertinence and effectiveness of the survey results. For a long time， it is difficult to analyze the students’ pre-course foundation and post-course mastery in a comprehensive and objective way. To address this problem， this paper proposes a course questionnaire design method based on Analytic Hierarchy Process （AHP）. First， it constructs the content system of the course questionnaire， then analyzes the weight of various questions layer by layer from top to bottom， and then clarifies the number of various survey questions in the questionnaire. Finally， it uses this method to design the questionnaire for a course in actual teaching. The results of the questionnaire were analyzed to verify the feasibility and validity of the method.

Key words： course questionnaire; analytic hierarchy process; learning analysis; teaching effectiveness