□ [英]保羅·川內(nèi)

肖俊洪 譯

開放教育資源TIPS質(zhì)量保證框架的驗證研究

□ [英]保羅·川內(nèi)

肖俊洪 譯

本文介紹了開放教育資源TIPS質(zhì)量保證框架（http://www.open-ed.net/oer-quality/tips.pdf）的驗證結(jié)果。我們最初向世界各地60多位開放教育資源專家征集標準，共收集到205條，然后又將這些標準提交給幾次質(zhì)量保證國際研討會的與會者討論，最終形成了65條被認為是必不可少的標準，即TIPS框架。該框架包含四個層次內(nèi)容，分別是教學(xué)和學(xué)習(xí)過程（Teachingandlearningprocess，即T），信息和材料內(nèi)容（Informationandmaterialcontent，即I），呈現(xiàn)、產(chǎn)品和格式（Presentation,productandformat，即P）以及系統(tǒng)、技術(shù)性的和技術(shù)（System,technicalandtechnology，即S）。根據(jù)勞希（Lawshe，1975）的觀點，我們采用德爾菲法（Delphi）把TIPS框架發(fā)送給開放教育資源專家評審，以確定其內(nèi)容效度。我們逐條計算這65條標準的內(nèi)容效度比率（ContentValidityRatio，簡稱CVR），剔除了幾條標準之后，得出它們的內(nèi)容效度指數(shù)（ContentValidityIndex，簡稱CVI）大于0.80。我們還請世界各地目標終端用戶驗證TIPS框架。大多數(shù)開放教育資源都是由大學(xué)教師創(chuàng)建的，目的是使資源能在大學(xué)得到重新利用，相比之下，大學(xué)前教育教師創(chuàng)建的開放教育資源很少。TIPS框架是為學(xué)前、小學(xué)、中學(xué)和職業(yè)教育在校（和不在校）教師專門設(shè)計的?？偟目磥?，這些教師在開始的時候不了解開放教育資源，但是根據(jù)他們的反饋而得出的內(nèi)容效度指標相當高，他們表示個人愿意在教學(xué)中嘗試使用TIPS框架，把e-learning技術(shù)引入傳統(tǒng)教學(xué)實踐中。根據(jù)驗證研究結(jié)果，我們把TIPS框架修改版作為開放教育資源在線發(fā)布。雖然本框架的目的是服務(wù)大學(xué)前教育教師，但是我們目前還在進行最后一輪驗證，對象是學(xué)生，目的是檢驗使用開放教育資源和TIPS框架的教師對學(xué)生學(xué)習(xí)進步的影響。

質(zhì)量保證；準則；驗證；德爾菲法；教師作為開放教育資源創(chuàng)建者

導(dǎo)讀：本刊2013年第10期率先發(fā)表了保羅·川內(nèi)教授的研究成果《開放教育資源質(zhì)量保證準則TlPS框架》。該文是川內(nèi)教授受英聯(lián)邦學(xué)習(xí)共同體亞洲教育媒體中心委托所開展的一項課題的研究成果，后來又被譯成其他語言。本文是TIPS框架的驗證研究報告。驗證報告全文將提交給課題委托方英聯(lián)邦學(xué)習(xí)共同體，而這篇文章則是該報告的濃縮版，也是提交給2014年開放教育資源（亞洲）大會的材料。承蒙川內(nèi)教授的支持，我們將其譯成中文發(fā)表，以饗讀者。

本文是開放教育資源質(zhì)量保證準則框架研究的延續(xù)，介紹了TIPS框架的驗證方法、過程和結(jié)果。經(jīng)過這一輪的驗證，進一步明確TIPS框架原有的65條標準中24條是“必不可少”的核心標準。該課題一開始征集了205條標準，后來經(jīng)過多方論證、討論和合并，保留了65條標準，本次科學(xué)驗證又確定其中24條為最基本的核心標準。雖然“這樣做會在一定程度上影響效度和信度”，但是如果一個質(zhì)量保證框架包含太多標準，這勢必會影響其實用性，因此作者做了取舍，把“制作一種能用于實際工作的高效工具，而且其效度和信度在可接受的水平之上”作為目標。本刊本期發(fā)表的德國杜伊斯堡-埃森大學(xué)（UniversityofDuisburg-Essen）技術(shù)促進學(xué)習(xí)和創(chuàng)新學(xué)習(xí)與培訓(xùn)研究所兩位博士托馬斯·里克特和帕特里克·威斯的文章《論開放教育資源之適宜性質(zhì)量觀》，對川內(nèi)教授TIPS框架的實用性提出了質(zhì)疑，認為該框架過于龐雜繁瑣。其實，川內(nèi)教授也一直在追求一個簡約的框架，確保其實用性——這點我們可以從課題背景介紹中了解到。我想如果兩位德國學(xué)者看到這份驗證報告，他們會認同川內(nèi)教授的努力的。我們相信經(jīng)過不斷完善，TIPS框架2.0版本（修改版）必將更加科學(xué)，能更有效地指導(dǎo)一線教師（尤其是其目標用戶——從事大學(xué)前教育的教師）制作、分享和利用開放教育資源。

對于廣大讀者同行而言，本文另一亮點是其研究方法。模型建構(gòu)、標準制訂、框架搭建等等在學(xué)術(shù)文獻中并非鮮見，但是，毋庸諱言，不少研究缺乏嚴謹?shù)目茖W(xué)驗證手段和工具，因此，支持研究結(jié)果可信度和可行性的理據(jù)似乎不很充分。川內(nèi)教授的這項驗證研究應(yīng)該能夠在這方面給我們一些有益的啟發(fā)和指導(dǎo)。建議有興趣的讀者同行進一步閱讀完整的驗證研究報告。

最后，我們衷心感謝保羅·川內(nèi)教授對本刊的一貫支持?。ㄐた『椋?/p>

一、引言

開放教育資源為發(fā)展中世界的教師提供了一個前所未有的機會，使得他們能為自己和他人制作學(xué)習(xí)資源。自從2002年以來，人們一直嘗試給開放教育資源下定義（參見Kawachi，2013a）。根據(jù)聯(lián)合國教科文組織—英聯(lián)邦學(xué)習(xí)共同體的開放教育資源準則（CoL，2011），即促進教育資源在各種環(huán)境——從高度媒體化的面授課堂到遠程獨立學(xué)習(xí)——的重新利用，我們認為開放教育資源具有以下特點：免費，附加開放許可協(xié)議，允許被改編為其他資源或作為其他資源的補充，允許演繹，在某個階段以數(shù)字化格式呈現(xiàn)。據(jù)此，我們給出以下定義：

開放教育資源指的是數(shù)字化、可以自我測評的獨立教學(xué)單元，具有可測量的明確學(xué)習(xí)目標，它附加有開放許可協(xié)議，允許改編，通?？晒┟赓M重新利用。本研究采用德爾菲法把原先的TIPS框架提交給開放教育資源質(zhì)量保證專家評審，以驗證其內(nèi)容效度。哈維和格林（Harvey&Green，1993，p.9）認為：“要確定高等教育質(zhì)量評估標準，我們就必須了解影響利益相關(guān)者偏好的各種（潛在）不同質(zhì)量觀。”哈維和格林的這項研究區(qū)分了5種質(zhì)量觀：“例外”、“完善”、“適用性”、“合算”和“蛻變性”。TIPS框架涉及其中三個方面：開放教育資源的重新利用者覺得資源適用、作為免費資源既有效率又有效益，支持全民教育運動、培養(yǎng)現(xiàn)在和未來的學(xué)生掌握21世紀技能，實現(xiàn)蛻變。基于上述考慮，我們也調(diào)查了作為本框架目標終端用戶的發(fā)展中世界的教師，他們對質(zhì)量可能有不同看法，因此，我們希望能了解他們對本框架內(nèi)容效度的評價。

如果一種工具包括所有已知標準，那么它會有最佳的內(nèi)容和構(gòu)念效度（contentandconstructvalidi?ty）及最佳信度。但是，內(nèi)容太多意味著使用不便，因此其實用性受到影響。鑒于此，我們減少TIPS框架標準的總數(shù)，把相似標準進行合并，以提高實用性。當然，這樣做會在一定程度上影響效度和信度。我們的目標是制作一種能用于實際工作的高效工具，而且其效度和信度在可接受的水平之上。

“質(zhì)量保證”可以看成是一種橫斷面（cross-sectional）評估；TIPS框架就是涉及開放教育資源質(zhì)量保證各方面內(nèi)容的清單。但是，我們不能止于“質(zhì)量保證”，我們的目標是“質(zhì)量提高”（Kawachi，2013b）。因此，我們給TIPS框架中每一條標準都附加評分表，方便用戶說明他們在多大程度上采用各條標準（共有5個分值供選擇）。用戶下一次使用TIPS框架時再次進行打分，這樣能方便顯示用戶經(jīng)過一段時間后采用這些標準的程度是否有變化，促進他們的反思。TIPS框架修改版添加了評分表。

“內(nèi)容效度”是一個含義不甚精確的術(shù)語。菲茨帕特里克（Fitzpatrick，1983）認為內(nèi)容效度可以指：①測試項目在多大程度上反映所要測量的內(nèi)容；②用戶對測試項目的理解或反饋在多大程度上反映所要測量的內(nèi)容；③所有測試項目的整體相關(guān)性；④用戶理解的整體相關(guān)性；⑤內(nèi)容領(lǐng)域（contentdo?main）定義的清晰度；和（或）⑥每一個測試項目和所有項目的技術(shù)質(zhì)量。上述①和②涉及抽樣的充分性，因此可歸為“構(gòu)念效度”。

雖然內(nèi)容效度含義不甚精確，我們可以邀請內(nèi)容專家對每一個測試項目進行評價（“必不可少”“非必不可少但有作用”或“不必要”）以實現(xiàn)量化檢驗。專家認為“不必要”的那些項目很可能被放棄。計算每個項目內(nèi)容效度比率的公式如下（Lawshe，1975）：

公式中的N=全體專家人數(shù)，NE=認為某一個測試項目是必不可少的專家人數(shù)。如果僅有一半專家認為某個項目是必不可少的，那么這個項目的內(nèi)容效度比率（CVR）為0，如果超過一半專家認為某個項目必不可少，那么這個項目的內(nèi)容效度比率（CVR）在0-1之間，說明這個比率是正向性的。

如果專家人數(shù)相對較少，每一個測試項目的比率必須接近1才能決定該項目在p＜0.05概率水平上有內(nèi)容效度，可以保留。如果專家人數(shù)相對較多，偶然認為某一個項目是必不可少的這種可能性較小，這時，該項目的比率可以稍微低一些，但是，仍然在p＜0.05概率水平上有內(nèi)容效度。我們根據(jù)勞希（Lawshe，1975）編制表1，以說明專家人數(shù)規(guī)模與內(nèi)容效度比率的對應(yīng)關(guān)系。達到或超過最低值的項目可以保留。所有項目的平均內(nèi)容效度比率被稱為內(nèi)容效度指數(shù)（CVI）。一般說來，CVI應(yīng)該達到或超過0.80才可以認為這個調(diào)查工具有內(nèi)容效度。某些項目的數(shù)值異常，這時如果專家的評價不高，可予以刪除，而有些異常數(shù)值的項目即使專家評價不高，但是如果能夠通過其他途徑證明有必要保留，那么也可以留用。

表1 可以在p＜0.05水平上予以保留的項目的最低平均值

二、方法

我們最初征集到的205條標準涵蓋學(xué)習(xí)的五個領(lǐng)域（詳見http∶//www.open-ed.net/oer-quality/crite?ria.pdf），這是迄今最全面的開放教育資源質(zhì)量保證框架（我們曾對其他18個框架作簡要述評，詳見http∶//www.open-ed.net/oer-quality/others.pdf）。這205條標準多次提交地區(qū)性和國際性研討會討論，最終保留 65條，組成 TIPS框架 （Kawachi，2013a）。本研究把這65條標準提交給開放教育資源專家進行內(nèi)容效度驗證，根據(jù)勞希（Lawshe，1975）的觀點，每一條標準提供三個選項（“必不可少”“非必不可少但有作用”或“不必要”），專家從創(chuàng)建優(yōu)質(zhì)開放教育資源的角度對每一條標準進行評價，最終篩選出經(jīng)過驗證的核心標準。

本研究的調(diào)查在三類對象中同時展開（調(diào)查工具可登錄http∶//www.open-ed.net/oer-quality/survey. pdf查看）。第1組是開放教育資源專家，研究者以電子郵件方式向他們逐一發(fā)出邀請；第2組是開放教育資源在線社區(qū)成員，研究者在相應(yīng)的小組論壇上發(fā)帖，邀請社區(qū)成員參加調(diào)查；第3組是教學(xué)一線教師，研究者以電子郵件方式向他們逐一發(fā)出邀請。向2013年泛英聯(lián)邦開放學(xué)習(xí)論壇（the2013Seventh Pan-CommonwealthForumonOpenLearning）（http∶//pcfpapers.colfinder.org）提交開放教育資源質(zhì)量論文的作者也被邀請作為專家參加調(diào)查。第1組專家調(diào)查持續(xù)幾周時間，調(diào)查對象包括參加第一階段標準征集的專家，積極參加開放教育資源質(zhì)量保證在線討論的專家，來自幾所開放大學(xué)的專家，以及參加最近舉行的開放教育資源學(xué)術(shù)會議的專家。截至2014年5月9日，共有38名（e1～e38）專家通過在線調(diào)查網(wǎng)站提交反饋，我們逐一分析了這些反饋，發(fā)現(xiàn)其中32份反饋有效。無效反饋包括：①沒有對調(diào)查項目逐一評價，有遺漏，和②對所有調(diào)查項目做出相同評價（即認為所有項目都是“必不可少”“非必不可少但有作用”或“不必要”）。這兩種情況都會影響統(tǒng)計結(jié)果和研究結(jié)果。

抽樣的總?cè)藬?shù)必須達到要求，因此，我們把第1組32份有效反饋編成標準統(tǒng)計隨機數(shù)目表，每組10份，并采用分撥分析（waveanalysis）方法（Les?lie，1972）對每一組（e1～e10為第1撥，e11～e20為第2撥，e21～e30為第3撥）進行分析，以了解這樣的抽樣規(guī)模是否具備足夠代表性。有兩份反饋沒有被編入分組，但是上述三撥（分組）已經(jīng)滿足分撥分析要求。同樣的，我們從第2組開放教育資源在線社區(qū)的在線調(diào)查收集17份反饋并逐一分析，其中13份有效，隨機重新排序后，把第1至第10份（g1～g10）編為第4撥，并將其跟第1組的三撥進行比較。我們從第3組教學(xué)一線教師中收集了22份調(diào)查反饋，其中19份有效。我們隨機抽取一份進行復(fù)制，使總數(shù)達到20份，并把它們分為兩撥（n1～n10為第5撥，n11～n20為第6撥）進行分撥分析。

三、結(jié)果

我們在正式調(diào)查之前對調(diào)查工具進行試測并根據(jù)試測結(jié)果做了改進。我們原來還計劃在教師在線社區(qū)進行第四次調(diào)查，但因沒有收到反饋，最終放棄了。上文所述的三次調(diào)查中，研究者逐一邀請的調(diào)查對象里約50%提供了反饋，另外，38位參加調(diào)查的開放教育資源專家中有27位（約70%）與研究者進行深入的在線交流?？傮w看，三次調(diào)查的64名參與者性別比例合適（37男，26女，另有1人未表明性別），包括各個年齡階段的人，地理位置分布合理（非洲9人，美洲5人，澳大利亞3人，歐洲12人，東亞18人，南亞15人，另有2人未提供這方面信息）。圖2顯示第1～4撥，從中可以看出它們的走勢比較接近，說明數(shù)據(jù)可信，所有反饋均可用于分析“必不可少”項目的內(nèi)容效度比率（CVRE）（詳細數(shù)據(jù)和統(tǒng)計結(jié)果在完整的驗證報告中呈現(xiàn)，參見http∶//www. open-ed.net/oer-quality/validation.pdf）。

圖2 第1組（第1～3撥）和第2組（第4撥）比較

有6條標準被第1組至少27名專家認為是“必不可少的”，它們在p＜0.05概率水平上內(nèi)容效度指數(shù)（CVI） ＞0.80（見表2）。根據(jù)勞希 （Lawshe，1975）的標準，如果某個項目僅是“有作用的”，這個項目會被刪除。但是，參加本調(diào)查的多數(shù)人并不清楚這點，因此，我們把“必不可少”和“有作用”的項目加在一起，重新分析它們的內(nèi)容效度指數(shù)（CVRE+U）。重新分析的結(jié)果顯示，每一條標準的CVRE+U都很高，65條標準的平均CVRE+U達到0.86（＞0.80），說明TIPS框架在p＜0.05水平上有效。

從第2組13份有效反饋中可知，僅有CVRE值最高的18條標準的CVRE+U接近0.80（見表2）。值得注意的是，第1組認為“必不可少”的6條標準也在其中。但是加上“有作用”標準，第2組的平均CVRE+U是0.88（＞0.80），說明TIPS框架在p＜0.05水平上有效。

第3組有19份有效反饋。如上所述，我們隨機抽取一份進行復(fù)制，以便分成第5撥和第6撥兩個分組進行比較（見圖3）。

一線教師的觀點與開放教育資源專家的觀點不同，因此，圖3的分撥走勢與圖2的分撥走勢不同。經(jīng)過分撥分析后，我們刪除了復(fù)制的那一份反饋，并對19份有效反饋進行內(nèi)容效度分析，得出第2組 CVRE值最高的18條標準在第3組的平均CVRE是0.76，刪除第36條和第51條之后，第3組的平均值提高到0.79，接近第2組和第1組水平。然而，第3組CVRE值最高（0.89）的6條標準卻與第1組不同。綜上所述，共有24條質(zhì)量保證標準經(jīng)過驗證（詳見表2）。

圖3 第3組第5和第6撥比較

四、結(jié)束語

有幾位開放教育資源專家擔(dān)心上述一些標準涉及非開放教育資源成分，建議我們的框架僅包含開放教育資源質(zhì)量保證標準?？紤]到專家們的這個意見，我們在TIPS框架修改版中對嚴格針對開放教育資源的那些標準進行標注。

一線教師從實際出發(fā)認為他們必須能夠保持課堂教學(xué)的自主性，這點是可以理解的。在編制TIPS框架時我們應(yīng)該考慮作為本框架目標利益相關(guān)者的一線教師的觀點。事實上，勞希（Lawshe，1975）清楚表明，可以根據(jù)預(yù)期的實際目的考慮非核心標準的取舍。正是基于這個考慮，我們保留了第3組一線教師評價最高的標準，雖然第1組和第2組并不這樣認為。TIPS框架修改版正在完善之中，經(jīng)過本研究驗證的24條標準將被重點標注，開放教育資源作者可以把它們作為基本標準使用。

我們與開放教育資源專家和教師的在線討論還涉及TIPS框架的其他方面的問題，有些問題的討論非常深入，目的是使本框架能更有效地指導(dǎo)一線教師創(chuàng)建開放教育資源。比如，舉例說明開放許可協(xié)議的各種使用形式，對（英語）措辭做些調(diào)整，增添開放教育資源制作的演示或例子并上傳到當?shù)刭Y源庫?？傮w看，調(diào)查參與者支持本課題，認為有必要制訂質(zhì)量保證準則指導(dǎo)大學(xué)前教育一線教師制作自己的開放教育資源，促使更多來自發(fā)展中地區(qū)的一線教師加入開放教育資源建設(shè)行列。

表2 三組調(diào)查CVI＞0.80的24條標準

致謝：感謝桑佳亞·米什拉（SanjayaMishra）、印度新德里英聯(lián)邦學(xué)習(xí)共同體亞洲教育媒體中心（the CommonwealthEducationalMediaCentreforAsia）和加拿大溫哥華英聯(lián)邦學(xué)習(xí)共同體（theCommonwealthofLearning）對本研究的支持！感謝拉梅什·沙瑪（RameshSharma）在調(diào)查統(tǒng)計方面給予的技術(shù)幫助。讀者可登錄http://cemca.org.in和http://www. open-ed.net/oer-quality/validation.pdf獲取驗證報告全文和TIPS框架修改版（2.0版本），也可登錄http: //www.open-ed.net/oer-quality/validation.ppt獲取幻燈格式驗證內(nèi)容。

[1]CoL(2011).UNESCO-CoLGuidelinesforOpenEducationalRe?sources(OER)inHigherEducation:OERWorkshop,25May, Dar-es-Salaam.RetrievedApril25,2014,fromhttp://oerworkshop. weebly.com/uploads/4/1/3/4/4134458/2011.04.22.oer_guidelines_ for_higher_education.v2.pdf.

[2]Fitzpatrick,A.R.(1983).Themeaningofcontentvalidity.Applied PsychologicalMeasurement,7(1),3-13.RetrievedFebruary21, 2014,from http://conservancy.umn.edu/bitstream/11299/101621/1/ v07n1p003.pdf.

[3]保羅·川內(nèi)（2013a）.開放教育資源質(zhì)量保證準則TlPS框架.中國遠程教育,（10），11-21.[Kawachi,P.(2013a).Qualityassurance guidelinesforopeneducationalresources:TIPSframework,version 1.0.NewDelhi,India:CommonwealthEducationalMediaCentrefor Asia(CEMCA).RetrievedMarch7,2014,fromhttp://cemca.org.in/ ckfinder/userfiles/files/OERQ_TIPS_978-81-88770-07-6.pdf].

[4]Kawachi,P.(2013b).Qualitynotstatic.OERQuality,blogposting 30thJanuary.RetrievedMarch7,2014,fromhttp://oerquality.word?press.com/2013/01/30/quality-not-static/.

[5]Lawshe,C.H.(1975).Aquantitativeapproachtocontentvalidity. PersonnelPsychology,28(4),563-575.RetrievedFebruary21, 2014,fromhttp://www.bwgriffin.com/gsu/courses/edur9131/content/ Lawshe_content_valdity.pdf.

[6]Leslie,L.L.(1972).Arehighresponseratesessentialtovalidsur?veys?SocialScienceResearch,1,323-334.

譯者簡介：肖俊洪，汕頭廣播電視大學(xué)教授，《Distance Education(Taylor&Francis)》雜志副主編，《System:An InternationalJournalofEducationalTechnology and AppliedLinguistics(Elsevier)》編委。

責(zé)任編輯 池 塘

G420

B

1009—458x（2014）11—0015—05

2014－04－15

保羅·川內(nèi)（PaulKawachi）博士是教育設(shè)計教授，《亞洲遠程教育雜志》主編，英國皇家藝術(shù)學(xué)會會員，亞洲遠程開放教育學(xué)會理事，亞洲開放大學(xué)協(xié)會理事會成員和國際遠程開放教育理事會成員。