苗 壯,逯欣宇,呂正帥,王 芳,聞慶平
(大連醫(yī)科大學附屬第一醫(yī)院,遼寧 大連 116011)
客觀結(jié)構(gòu)化臨床考試(Objective Structured Clinical Examination,OSCE)又稱臨床多站考試(Multiple-station Clinical Examination,MSE),是由Harden R M等于1975年提出的一種考核模式[1],考核者可根據(jù)被考核者的專業(yè)以及考核目的自行設(shè)計考核內(nèi)容。醫(yī)學OSCE考站包括病史采集、體格檢查、臨床溝通、病例分析等,采用標準化病人(Standardized Patient,SP)模擬臨床真實場景,能更客觀評價醫(yī)學生或臨床醫(yī)生的職業(yè)技能,被認為是評價知識、技能和溝通能力等臨床綜合能力的“金標準”,被廣泛應用[2]。
大連醫(yī)科大學麻醉學專業(yè)本科臨床實習考核包括3部分:臨床實習準入考試、實習階段考核及出科考試。2018年,麻醉學系首次將OSCE引入麻醉學專業(yè)本科臨床實習考核,以期綜合評價學生臨床能力,通過以考促改的方式提升臨床教學質(zhì)量。1對象與方法
研究對象為大連醫(yī)科大學麻醉學專業(yè)四年級本科生,剛剛通過麻醉臨床技能培訓、臨床麻醉學考試及外科臨床技能OSCE。
本科臨床實習準入考試為百分制,60分為及格,通過者可進入臨床實習。OSCE內(nèi)容涉及外科及麻醉臨床技能操作和臨床麻醉學,共設(shè)5個考站,包括技能操作(3站)、臨床問診(1站)和病例分析(1站)。其中臨床問診考站為SP考站,SP由麻醉科臨床醫(yī)師扮演。病例分析考站為理論答題,內(nèi)容涉及輔助檢查報告閱讀與分析、病情分析和急診處理等。每個考站6分鐘,總考核時間為30分鐘,每站滿分100分,將各考站成績換算成百分制即為考生總成績。
共有兩個班62名學生參加考試。每個班按學號分成6組,無缺考。
考試結(jié)束后舉行考試總結(jié)會,由考官對各考站存在的問題進行分析。對所有考生進行問卷調(diào)查,獲得考生對本次考試的主觀評價,了解其對考核方法的認可度。所有問卷均由經(jīng)培訓的專業(yè)調(diào)查員現(xiàn)場調(diào)查、收回并錄入數(shù)據(jù)庫。
描述性分析:計量資料采用Kolomogorov-Simirnov進行正態(tài)分布檢驗,根據(jù)資料類型選擇均值、標準差或中位數(shù)、四分位間距、最大值和最小值進行描述;計數(shù)資料采用合格率及構(gòu)成比等描述。
信度和效度分析:各考站內(nèi)部一致性信度采用Cronbach’s α系數(shù)評價,效度采用Spearman相關(guān)分析評價。
難度和區(qū)分度分析:試卷難度以P表示:P=X/M(X為試卷平均得分,M為試卷滿分);試卷區(qū)分度(D)=2(XH-XL)/W,其中D為試卷區(qū)分度,XH為高分組(前26%的考生)平均分,XL為低分組(后26%的考生)平均分,W為試卷總分。
采用SPSS 22.0軟件進行統(tǒng)計學分析,檢驗水準α=0.05,P<0.05表示差異有顯著性。
本次考試合格率為100.0%,OSCE總成績呈正態(tài)分布(P=0.200),為(79.81±6.43)分,各考站平均成績及合格率見表1。
表1 臨床實習準入考試各考站平均成績及合格率
對各考站成績進行正態(tài)性檢驗,結(jié)果顯示,除第一站外,其余各站成績均呈非正態(tài)分布(P<0.05),故本研究用中位數(shù)描述其集中均勢,用最小值、下四分位數(shù)、上四分位數(shù)和最大值描述離散程度,見表2。
表2 臨床實習準入考試各考站成績正態(tài)性檢驗和描述性分析
2.2.1 信度 各考站內(nèi)部一致性信度Cronbach’s α系數(shù)為0.240,提示OSCE內(nèi)部一致性信度一般;技能操作類考站內(nèi)部一致性系數(shù)為0.675,說明內(nèi)部一致性信度較好。
2.2.2 效度 對考生OSCE總成績與麻醉臨床技能考試成績進行Spearman相關(guān)性分析(r=0.263,P=0.039),兩者顯著正相關(guān)。除SP臨床問診考站外,各考站成績與總成績之間均顯著相關(guān)。不同考站間Spearman相關(guān)分析結(jié)果見表3。
表3 臨床實習準入考試各考站間Spearman相關(guān)性分析結(jié)果
5個考站的難度系數(shù)為0.71~0.92,OSCE總體難度系數(shù)為0.80,說明試題偏簡單。5個考站的區(qū)分度為0.37~0.81,OSCE總體區(qū)分度為0.30,說明本次OSCE對不同能力學生的區(qū)分度較高。各考站難度系數(shù)及區(qū)分度見表4。
表4 臨床實習準入考試各考站難度及區(qū)分度
發(fā)放調(diào)查問卷62份,回收有效問卷62份,有效回收率100.0%,問卷調(diào)查結(jié)果見表5。
表5 問卷調(diào)查結(jié)果
98.4%的學生認為開展OSCE非常必要,88.72%的學生認為考站數(shù)目設(shè)置合理,91.94%的學生認為考站時間設(shè)計比較合理,96.77%的學生認為有助于了解自身薄弱環(huán)節(jié),提高對臨床技能和臨床思維的重視程度。
臨床實習是培養(yǎng)醫(yī)學生邏輯思維和實踐能力的重要階段,對學生理論知識和基本技能有一定要求[3]。實行臨床實習準入制度有利于提高學生對實習的重視程度,發(fā)現(xiàn)學生薄弱之處,使學生在實習過程中有目的和針對性地進行學習與訓練。本次研究對象剛剛通過麻醉臨床技能培訓、臨床麻醉學考試及外科臨床技能OSCE,對于臨床麻醉學的基礎(chǔ)知識和基本技能以及OSCE形式均有一定了解,不會有畏難情緒,因此本次考試時間點選擇適宜。
本次考試各考站合格率為79.00%~96.80%,說明考生臨床技能操作掌握較好,但缺乏臨床思維。
信度是指測驗結(jié)果的精確度、一致性和可重復性,是評價考試成績可靠性的一個重要指標[4],目前最常用Cronbach’s α系數(shù)判斷。Cronbach’s α系數(shù)與考試結(jié)果的關(guān)系為:α<0.3時結(jié)果不可信,0.3≤α<0.4時結(jié)果勉強可信,0.4≤α<0.5時結(jié)果可信,0.5≤α<0.7時結(jié)果較可信(最常見),0.7≤α<0.9時結(jié)果很可信(次常見),α≥0.9時結(jié)果十分可信[5]。
本次考試所有考站內(nèi)部一致性信度Cronbach’s α系數(shù)為0.240,前3站技能操作類考站內(nèi)部一致性信度Cronbach’s α系數(shù)為0.675。
OSCE的內(nèi)部一致性信度通常較低,且由于各考站側(cè)重點不同,考生技能掌握程度也不盡相同,因此信度系數(shù)范圍較大,已報道的 OSCE 的 Cronbach’s α 系數(shù)多為 0.100[6]~0.929[7],國內(nèi)相關(guān)研究認為OSCE考站信度在0.12~0.9為可接受信度[7]。2014年,一項Meta分析顯示,國內(nèi)OSCE的Cronbach’s α系數(shù)為0.648,國外為0.745,略高于國內(nèi)[8]。本次考試結(jié)果處于可接受的信度范圍。影響本次考試信度的因素主要有以下兩方面:第一,考站數(shù)目較少。為減少財務支出,減輕考生、考官負擔,本次考試僅設(shè)置5個考站,較其他研究少。第二,考站內(nèi)容涉及范圍廣,影響考試信度。影響OSCE信度的因素主要有考站設(shè)計和考生表現(xiàn)兩方面。若提高考試信度,可縮小考核范圍,適當增加考站數(shù)量或考核內(nèi)容相似的考站數(shù)量,也可通過細化評分表、延長考試時間、增加考官數(shù)量、設(shè)置書面測驗考站等手段提高OSCE的可靠性[9-12]。
效度是評價考試有效性的重要指標。本次OSCE總成績與麻醉臨床技能考試成績顯著正相關(guān)。除SP臨床問診考站,其他考站成績與總成績之間的相關(guān)系數(shù)較高,考站內(nèi)部相關(guān)系數(shù)也較高,說明本次考試結(jié)構(gòu)效度尚可。但由于OSCE各考站內(nèi)容的關(guān)聯(lián)程度不高,且考生掌握程度也不盡相同,因此OSCE結(jié)構(gòu)效度一般都不高,國內(nèi)外相關(guān)研究也較少。
難度和區(qū)分度是檢驗試題及試卷質(zhì)量的主要指標。本研究中,5個考站的難度系數(shù)為0.71~0.92,OSCE總體難度系數(shù)為0.80,難度不高,這與本次OSCE以基本知識和技能考查為主有關(guān),提示在未來應適當增加試題難度。
區(qū)分度反映考試對考生學習能力的區(qū)分情況。區(qū)分度(D)的評價標準為:D<0.2時區(qū)分不好,0.2≤D<0.3時區(qū)分尚可,0.3≤D<0.4時區(qū)分良好,D≥0.4時區(qū)分非常好[13],<0.2的試題區(qū)分度不好應被淘汰。本次考試5個考站的區(qū)分度為0.37~0.81,總體區(qū)分度為0.30,說明對不同能力考生區(qū)分度較好,適宜性尚可。
問卷調(diào)查結(jié)果顯示,大部分考生認為開展OSCE非常必要,并對考試時機選擇、考站內(nèi)容及數(shù)目設(shè)置比較滿意,對SP認可度較高,認為OSCE能夠較好地評價學生理論知識、臨床思維能力和技能水平,提高學生對臨床技能及臨床思維的重視程度。然而問卷調(diào)查也發(fā)現(xiàn)一些問題,如7名學生反映SP臨床問診考站時間太短,還有的學生建議可將OSCE應用于畢業(yè)考試等。
總之,本次研究通過分析OSCE成績以及問卷調(diào)查,證實OSCE的適宜性及有效性,即全面評價學生臨床綜合能力,反饋學習的薄弱環(huán)節(jié),可針對性地指導后續(xù)教學工作,是一項有效的測評方法。未來將優(yōu)化考試方案,逐步將OSCE應用于臨床麻醉實習階段考核、出科考試及畢業(yè)考試。
本研究也存在一些問題,比如SP臨床問診考站僅由SP一人打分,信度相對較低,未來可增設(shè)一名考官,取兩者平均值。此外,還應細化評分標準,加強考官和SP同質(zhì)化培訓,優(yōu)化考站時間和考站數(shù)目等,提高考試信度和效度。