程苗苗,翁維良**,陸 芳,耿 濤,李 睿
(1.中國(guó)中醫(yī)科學(xué)院西苑醫(yī)院 北京 100091;2.中國(guó)中醫(yī)科學(xué)院廣安門(mén)醫(yī)院 北京 100091)
5 結(jié)論
中醫(yī)臨床研究二級(jí)質(zhì)控
——監(jiān)查的實(shí)施現(xiàn)狀評(píng)估*
程苗苗1,翁維良1**,陸 芳1,耿 濤2,李 睿1
(1.中國(guó)中醫(yī)科學(xué)院西苑醫(yī)院 北京 100091;2.中國(guó)中醫(yī)科學(xué)院廣安門(mén)醫(yī)院 北京 100091)
目的:本研究調(diào)查評(píng)估中醫(yī)臨床研究二級(jí)質(zhì)控實(shí)施現(xiàn)狀。方法:對(duì)科技部“十一五”國(guó)家科技支撐計(jì)劃“重大疑難疾病中醫(yī)防治研究”項(xiàng)目42個(gè)課題“二級(jí)質(zhì)控”與課題總體執(zhí)行質(zhì)量進(jìn)行檢查、量化評(píng)估;對(duì)量化評(píng)分進(jìn)行等級(jí)劃分、圖形展示;并對(duì)“二級(jí)質(zhì)控”實(shí)施情況與量化評(píng)估方法進(jìn)行評(píng)價(jià)。結(jié)果:全部42個(gè)課題質(zhì)控評(píng)估總得分的平均分177.05,執(zhí)行情況“優(yōu)秀”、“良好”的比重較大(76.19%),執(zhí)行“中等”、“較差”的比重較少(23.81%)。二級(jí)質(zhì)控指標(biāo)的平均分14.72,執(zhí)行情況“優(yōu)秀”和“較差”的比重較大(85.72%),“良好”或“中等”比重則較少(14.28%)?,F(xiàn)有量化評(píng)估標(biāo)準(zhǔn)下,二級(jí)質(zhì)控量化得分與課題總體執(zhí)行質(zhì)量評(píng)分相關(guān)性不顯著(r=0.083,P>0.05)。結(jié)論:42個(gè)課題二級(jí)質(zhì)控與課題總體執(zhí)行質(zhì)量良好;但檢查頻次、規(guī)范性、有效性及檢查問(wèn)題的及時(shí)修正仍需進(jìn)一步改善。同時(shí),二級(jí)質(zhì)控的量化評(píng)估方法有待進(jìn)一步優(yōu)化與完善。
中醫(yī)臨床科研 監(jiān)查 質(zhì)量控制 量化評(píng)估
為規(guī)范“十一五”國(guó)家科技支撐計(jì)劃“重大疑難疾病中醫(yī)防治研究”的質(zhì)量控制與質(zhì)量保證工作,項(xiàng)目組制定了《中醫(yī)臨床研究質(zhì)量控制與質(zhì)量保證規(guī)范》,要求各課題實(shí)施四級(jí)質(zhì)量保證體系:由各課題承擔(dān)單位對(duì)本單位研究質(zhì)量自行的檢查為一級(jí)質(zhì)控;各課題負(fù)責(zé)單位對(duì)參加課題的承擔(dān)單位(分中心)進(jìn)行的監(jiān)查為二級(jí)質(zhì)控;由第三方定期對(duì)課題負(fù)責(zé)單位進(jìn)行的稽查為三級(jí)質(zhì)控;和由項(xiàng)目組織單位對(duì)課題負(fù)責(zé)單位進(jìn)行的更高級(jí)別的視察為四級(jí)質(zhì)控。通過(guò)二級(jí)質(zhì)控的監(jiān)查,課題負(fù)責(zé)人能夠全面了解課題進(jìn)展、執(zhí)行水平和存在問(wèn)題,及時(shí)協(xié)調(diào)和安排各分中心的工作,以保證課題按時(shí)、保質(zhì)、保量完成[1]。為實(shí)現(xiàn)對(duì)課題執(zhí)行質(zhì)量的科學(xué)、客觀評(píng)估,質(zhì)控課題組構(gòu)建了結(jié)題質(zhì)控量化評(píng)價(jià)體系[2],并將其應(yīng)用于課題質(zhì)量的結(jié)題評(píng)估。通過(guò)對(duì)監(jiān)查、課題執(zhí)行質(zhì)量的量化評(píng)估,分析目前中醫(yī)臨床研究監(jiān)查實(shí)施現(xiàn)狀,并對(duì)監(jiān)查量化評(píng)分方法進(jìn)行評(píng)估,并提出建議。
“重大疑難疾病中醫(yī)防治研究”項(xiàng)目組設(shè)置“中醫(yī)臨床研究的方案優(yōu)化及質(zhì)量控制研究”橫向課題組(簡(jiǎn)稱“質(zhì)控組”),負(fù)責(zé)對(duì)42個(gè)縱向課題實(shí)施第三方質(zhì)控檢查。結(jié)題前,質(zhì)控組對(duì)全部課題進(jìn)行了結(jié)題稽查;并初步探索構(gòu)建了結(jié)題質(zhì)控量化評(píng)估指標(biāo)體系[2]。該指標(biāo)體系由1個(gè)目標(biāo)(結(jié)題質(zhì)量評(píng)估)、4個(gè)要素(研究設(shè)計(jì)與執(zhí)行、研究記錄質(zhì)量、數(shù)據(jù)溯源、倫理管理與質(zhì)量控制)、12個(gè)指標(biāo)(試驗(yàn)隨機(jī)設(shè)計(jì)與執(zhí)行、盲法設(shè)計(jì)與執(zhí)行、研究藥物數(shù)量及使用記錄、研究病歷完整性、研究病歷的不合理涂改、不良事件/不良反應(yīng)的記錄、是否采用第三方數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)與研究病歷關(guān)鍵指標(biāo)一致性、研究病歷原始數(shù)據(jù)溯源、知情同意書(shū)簽署完整規(guī)范性、一級(jí)檢查、監(jiān)查)組成。其中,“X12監(jiān)查”反映課題承擔(dān)單位對(duì)各分中心的質(zhì)控管理水平;質(zhì)控評(píng)估總得分(即“結(jié)題質(zhì)量評(píng)估”)反映課題總體執(zhí)行質(zhì)量。X12指標(biāo)評(píng)分標(biāo)準(zhǔn):依據(jù)《中醫(yī)臨床研究質(zhì)量控制與質(zhì)量保證規(guī)范》(簡(jiǎn)稱《規(guī)范》)[3]要求,計(jì)算實(shí)際執(zhí)行監(jiān)查次數(shù)與要求次數(shù)之比。滿分20分,最低0分。得分=實(shí)際執(zhí)行監(jiān)查次數(shù)/《規(guī)范》規(guī)定監(jiān)查次數(shù)×20分,實(shí)際執(zhí)行次數(shù)以檢查報(bào)告文字資料記錄為準(zhǔn)。
2.1 量化評(píng)估
對(duì)監(jiān)查、課題總體執(zhí)行情況進(jìn)行評(píng)價(jià),采集量化評(píng)估指標(biāo)數(shù)據(jù),對(duì)于有多名測(cè)評(píng)者參與采集的課題取平均值為其最終數(shù)據(jù),具體量化評(píng)估數(shù)據(jù)描述見(jiàn)表1。
2.2 標(biāo)準(zhǔn)化處理
為了消除定量評(píng)價(jià)結(jié)果在各指標(biāo)間的數(shù)量差異,將各課題數(shù)據(jù)通過(guò)離差標(biāo)準(zhǔn)化法,進(jìn)行標(biāo)準(zhǔn)化處理,轉(zhuǎn)化函數(shù)為:
其中,X*為標(biāo)準(zhǔn)化后的數(shù)值,X為樣本數(shù)據(jù),Xmax為樣本數(shù)據(jù)的最大值,Xmin為樣本數(shù)據(jù)的最小值。根據(jù)標(biāo)準(zhǔn)化后的數(shù)據(jù),將“監(jiān)查”、“質(zhì)控評(píng)估總得分”進(jìn)行等級(jí)劃分(表2),從整體上描述兩個(gè)指標(biāo)的執(zhí)行情況。劃分標(biāo)準(zhǔn):優(yōu)秀:0.8≤得分≤1;良好:0.6≤得分<0.8;中等:0.4≤得分<0.6;較差:0≤得分<0.4。
2.3 數(shù)據(jù)分析
采用SPSS 17.0統(tǒng)計(jì)分析軟件,運(yùn)用Spearman相關(guān)性分析方法,分析“監(jiān)查”得分和質(zhì)控評(píng)估總得分關(guān)系,以P<0.05認(rèn)為相關(guān)性顯著。
將42個(gè)課題“監(jiān)查”、“質(zhì)控評(píng)估總得分”量化評(píng)分的標(biāo)準(zhǔn)分以雷達(dá)圖的方式進(jìn)行展示[4],分析兩指標(biāo)得分趨勢(shì)不一致的原因。
3.1 42個(gè)課題質(zhì)控量化評(píng)估數(shù)據(jù)描述
量化評(píng)估結(jié)果所檢查的全部42個(gè)課題,采用RCT設(shè)計(jì)的有39個(gè)(92.86%),其中盲法設(shè)計(jì)15個(gè)(38.46%);前瞻性隊(duì)列設(shè)計(jì)3個(gè)(7.14%)。全部課題的承擔(dān)單位中,有13家三甲中醫(yī)院、4家三甲西醫(yī)院(中醫(yī)科)、3家研究機(jī)構(gòu)、1家??泼駹I(yíng)醫(yī)院。具體質(zhì)控量化評(píng)估數(shù)據(jù)描述見(jiàn)表1。
表1 “X12監(jiān)查”、質(zhì)控評(píng)估總得分?jǐn)?shù)據(jù)描述分析(n=42)
3.2 42個(gè)課題質(zhì)控量化評(píng)估等級(jí)劃分
執(zhí)行情況等級(jí)劃分根據(jù)X12指標(biāo)得分等級(jí)劃分結(jié)果可以看出,大部分課題負(fù)責(zé)單位能夠按照《規(guī)范》要求對(duì)分中心單位進(jìn)行監(jiān)查,完成優(yōu)秀率為59.52%;其中,執(zhí)行情況所占比重較多的為“優(yōu)秀”或“較差”(85.72%),執(zhí)行“良好”或“中等”的課題比重較少(14.28%)。從課題總體執(zhí)行情況來(lái)看,“優(yōu)秀”或“良好”所占比重較大(76.9%);所占比重較少的為“中等”或“較差”(23.81%)。詳見(jiàn)表2。
3.3 X12指標(biāo)得分與質(zhì)控評(píng)估總得分(不包括X12指標(biāo)得分)相關(guān)性
根據(jù) Spearman 相關(guān)分析結(jié)果顯示,結(jié)題稽查的42個(gè)單位,“監(jiān)查”得分與質(zhì)控評(píng)估總得分無(wú)顯著相關(guān)性(r=0.083,P>0.05)。
3.4 42個(gè)課題質(zhì)控量化評(píng)估結(jié)果展示
“X12監(jiān)查”與質(zhì)控評(píng)估總得分雷達(dá)圖(見(jiàn)圖1)橫軸代表課題編號(hào),縱軸為量化評(píng)估得分。越接近最外側(cè)圓得分越高,說(shuō)明執(zhí)行越好;越接近圓心得分越低,說(shuō)明執(zhí)行越差[4]。從圖中可以看出,23個(gè)課題X12指標(biāo)得分與質(zhì)控評(píng)估總得分趨勢(shì)呈現(xiàn)一致性;12個(gè)課題X12指標(biāo)得分高,質(zhì)控評(píng)估總得分卻較低;7個(gè)課題X12指標(biāo)得分較低,質(zhì)控評(píng)估總得分卻相對(duì)較高(見(jiàn)表3)。
各縱向課題均采用了四級(jí)質(zhì)量保障體系,制定了檢查計(jì)劃,明確了檢查程序,指派了一定數(shù)量的檢查員,并在課題啟動(dòng)階段完成了對(duì)所有分中心單位的質(zhì)控檢查。通過(guò)全過(guò)程、各級(jí)質(zhì)控管理,各課題總體執(zhí)行質(zhì)量得到了相應(yīng)的保證。
4.1 監(jiān)查執(zhí)行情況分析
表2 “監(jiān)查”、質(zhì)控評(píng)估總得分等級(jí)劃分
圖1 量化評(píng)估得分雷達(dá)圖
監(jiān)查指標(biāo)評(píng)估的是,課題承擔(dān)單位是否按照《規(guī)范》要求的頻次對(duì)其分中心進(jìn)行質(zhì)控檢查。42個(gè)課題在該指標(biāo)的平均得分為14.72,但通過(guò)對(duì)各課題執(zhí)行水平進(jìn)行等級(jí)劃分,結(jié)果顯示執(zhí)行情況“優(yōu)秀”和“較差”的比重較大(85.72%),而“良好”或“中等”比重則較少(14.28%),說(shuō)明各課題在該指標(biāo)的執(zhí)行方面呈現(xiàn)兩極分化,要么能夠完全按照要求的頻次執(zhí)行,要么難以實(shí)現(xiàn)規(guī)定的頻次要求。分析原因:一方面為各課題負(fù)責(zé)人對(duì)監(jiān)查的重視程度不同;另一方面,則是由于檢查資金不足,分中心數(shù)目較多、且距離較遠(yuǎn),檢查員數(shù)目有限,研究周期長(zhǎng)等客觀原因造成部分課題檢查頻次較少。由此,為保證課題監(jiān)查頻次,需進(jìn)一步提高課題負(fù)責(zé)人質(zhì)控積極性,并針對(duì)上述客觀原因提出解決方案,如將質(zhì)控體系進(jìn)一步規(guī)范化、制度化;分配足夠的資金、檢查員用于質(zhì)控檢查;采用電話、郵件與實(shí)地檢查相結(jié)合的質(zhì)控模式。
4.2 X12指標(biāo)得分與質(zhì)控評(píng)估總得分相關(guān)性分析
監(jiān)查是課題承擔(dān)單位定期(2-3個(gè)月)對(duì)各分中心進(jìn)行的全面檢查,以保證研究的實(shí)施遵循研究方案和各項(xiàng)SOP,并保證數(shù)據(jù)準(zhǔn)確、完整,且能由源文件證實(shí)。理論上,監(jiān)查的規(guī)范實(shí)施能夠確保課題的總體執(zhí)行質(zhì)量,其執(zhí)行情況的好壞與課題總體執(zhí)行質(zhì)量應(yīng)具有一定的相關(guān)性。但實(shí)際情況X12指標(biāo)與質(zhì)控評(píng)估總得分無(wú)顯著相關(guān),且在部分課題上呈現(xiàn)出不一致性。
X12指標(biāo)得分高,質(zhì)控評(píng)估總分偏低表現(xiàn)為監(jiān)查頻次符合規(guī)定,但課題整體質(zhì)量仍不高。分析原因主要為監(jiān)查執(zhí)行不規(guī)范、不到位,效率不高;或發(fā)現(xiàn)問(wèn)題后不能及時(shí)得到修正,導(dǎo)致最終課題質(zhì)量受影響。監(jiān)查執(zhí)行不到位主要有以下幾種情況:
①工作積極性不高。課題負(fù)責(zé)人對(duì)各分中心的質(zhì)控監(jiān)管疏于管理,未指定專門(mén)的質(zhì)控負(fù)責(zé)人,檢查人員分配不足,未制定合理的檢查計(jì)劃,或未按要求執(zhí)行;檢查員權(quán)利義務(wù)不明確,熱情不高,質(zhì)控工作不夠嚴(yán)謹(jǐn)認(rèn)真執(zhí)行。
②檢查員培訓(xùn)不到位,檢查能力參差不齊。檢查員主要來(lái)自課題組內(nèi)的研究生,多數(shù)未經(jīng)過(guò)系統(tǒng)培訓(xùn)考核、資質(zhì)高低不等、責(zé)任心不強(qiáng),不能及時(shí)發(fā)現(xiàn)課題執(zhí)行過(guò)程中存在的問(wèn)題。
表3 “監(jiān)查”得分與質(zhì)控評(píng)估總得分趨勢(shì)
③檢查內(nèi)容不全面。如僅抽查部分研究病歷,未能對(duì)全部納入的研究病歷進(jìn)行檢查;未能對(duì)各中心研究者、質(zhì)控員實(shí)際操作過(guò)程進(jìn)行考核評(píng)估,不能及時(shí)發(fā)現(xiàn)操作過(guò)程中存在的問(wèn)題;或僅僅對(duì)研究記錄進(jìn)行檢查,未對(duì)研究進(jìn)度、藥物管理、原始資料與CRF或電子數(shù)據(jù)一致性、一級(jí)質(zhì)控等進(jìn)行檢查。
④發(fā)現(xiàn)問(wèn)題反饋修正不及時(shí)。檢查員對(duì)發(fā)現(xiàn)問(wèn)題不能及時(shí)梳理、記錄,并反饋給其他各中心,導(dǎo)致不同分中心反復(fù)出現(xiàn)同一問(wèn)題;或?qū)Πl(fā)現(xiàn)問(wèn)題的修正沒(méi)有做到及時(shí)追蹤,導(dǎo)致監(jiān)查疏于形式。
由此,為提高監(jiān)查的規(guī)范性、有效性,需進(jìn)一步加強(qiáng)課題承擔(dān)單位對(duì)各分中心的質(zhì)控管理意識(shí),加強(qiáng)對(duì)各檢查員的質(zhì)控培訓(xùn),明確其責(zé)任與義務(wù),并對(duì)檢查內(nèi)容、問(wèn)題記錄與反饋等進(jìn)行明確規(guī)定。
X12指標(biāo)得分低,質(zhì)控評(píng)估總分較高表現(xiàn)為監(jiān)查頻次遠(yuǎn)遠(yuǎn)低于《規(guī)范》要求,但課題整體質(zhì)量卻較高。原因可從指標(biāo)的評(píng)分標(biāo)準(zhǔn)進(jìn)行分析,目前的X12監(jiān)查評(píng)分標(biāo)準(zhǔn)僅對(duì)檢查頻次進(jìn)行了規(guī)定,未對(duì)檢查的有效性進(jìn)行評(píng)價(jià)。如個(gè)別課題根據(jù)實(shí)際情況,采用電話會(huì)議、網(wǎng)絡(luò)上報(bào)與實(shí)地檢查相結(jié)合的多種質(zhì)控方式,對(duì)各中心執(zhí)行情況有較為及時(shí)全面的掌握;然后定期組織各中心研究者進(jìn)行交流、培訓(xùn),從而亦能保障課題的總體執(zhí)行質(zhì)量。由此可見(jiàn),不能簡(jiǎn)單地通過(guò)檢查頻次是否合格來(lái)評(píng)價(jià)監(jiān)查執(zhí)行水平。
5 結(jié)論
質(zhì)量控制與保證體系是確保中醫(yī)臨研究數(shù)據(jù)真實(shí)可靠的重要措施,監(jiān)查則是四級(jí)質(zhì)量保障體系中的重要內(nèi)容,也是最關(guān)鍵的環(huán)節(jié)之一。多中心臨床研究的廣泛開(kāi)展要求監(jiān)查更加及時(shí)、到位、規(guī)范。但目前監(jiān)查執(zhí)行仍存在頻次不規(guī)范、內(nèi)容不全面等現(xiàn)象,且量化評(píng)估的評(píng)分標(biāo)準(zhǔn)僅從檢查頻次角度進(jìn)行考慮,對(duì)其執(zhí)行的有效性評(píng)估不足。因此,為確保監(jiān)查的規(guī)范實(shí)施,可通過(guò)將四級(jí)質(zhì)控保障體系進(jìn)一步制度化、規(guī)范化[5,6];加強(qiáng)對(duì)各級(jí)研究人員、質(zhì)控人員的質(zhì)控培訓(xùn)[7];設(shè)置質(zhì)控獎(jiǎng)懲措施,責(zé)任到人,以提高所有研究相關(guān)人員的質(zhì)控意識(shí)與工作積極性;同時(shí)對(duì)質(zhì)控頻次規(guī)范性、質(zhì)控內(nèi)容全面性、質(zhì)控形式多樣性及量化評(píng)價(jià)標(biāo)準(zhǔn)的全面性等進(jìn)一步完善與標(biāo)準(zhǔn)化;從而實(shí)現(xiàn)課題承擔(dān)單位對(duì)各分中心研究執(zhí)行質(zhì)量的全面、實(shí)時(shí)、準(zhǔn)確的監(jiān)督與管理,最終確保課題整體臨床研究質(zhì)量水平。
1 孫塑倫,翁維良,楊龍會(huì).中醫(yī)臨床研究實(shí)施過(guò)程質(zhì)控與管理.北京:中國(guó)中醫(yī)藥出版社,2010: 18.
2 翁維良,易丹輝.中醫(yī)臨床研究質(zhì)量控制與評(píng)估.北京:人民衛(wèi)生出版社,2015: 254-278.
3 翁維良,易丹輝.中醫(yī)臨床研究質(zhì)量控制與評(píng)估.北京:人民衛(wèi)生出版社,2015: 397-403.
4 邵希娟,杜麗萍.財(cái)務(wù)分析中雷達(dá)圖的閱讀與繪制.中國(guó)管理信息化,2006,9(2): 42-44.
5 楊志敏,耿瑩,高晨燕.對(duì)研究者發(fā)起的臨床研究的認(rèn)識(shí)和思考.中國(guó)新藥雜志,2014,23(4): 387-390..
6 陳永法,黃麗.美國(guó)FDA對(duì)藥物臨床試驗(yàn)的監(jiān)管.中國(guó)新藥雜志,2012,21(14): 1578-1582.
7 王燕芳,李會(huì)娟.美國(guó)臨床研究的現(xiàn)狀及發(fā)展方向.北京大學(xué)學(xué)報(bào)(醫(yī)學(xué)版),2010,42(6): 621-624.
Evaluation of the Current Situation and SecondaryMonitoring of Chinese Medicine Clinical Studies
Cheng Miaomiao1,Weng Weiliang1,Lu Fang1,Geng Tao2,Li Rui1
(1. Xiyuan Hospital of China Academy of Chinese Medical Sciences,Beijing 100091,China; 2. Guang’an Men Hospital of China Academy of Chinese Medical Sciences,Beijing 100091,China)
This study aimd to explore the current situation and secondary monitoring of Chinese medicine clinical studies. All the 42 projects in the “Prevention and Treatment of Difficult and Complicated Disease of TCM” plan,sponsored by the 11th Five-Year National Key Technology R & D Program,were given a concludingquantitative evaluation. The secondary monitoring scores and the total quality control were hierarchical and described with a radar map. At last,the performance of secondary monitoring and the quantitative evaluation method were reevaluated. It was found that the average score of total quality control was 177.05. The proprtion of outstanding- and good-level studies accounted for 76.19%,while the proprtion of medium- to low-grade studies accounted for 23.81%. The average score of secondary monitoring was 14.72 with the studies in outstanding and low levels accounting for 85.72%,and with those in good and medium levels accounting for 14.28%.There was no significant correlation between the secondary monitoring score and the total quality control score,using the current quantitative evaluation method (r=0.083,P>0.05). In conclusion,the secondary monitoring and the total quality control of all the 42 studies generally performed well. However,priorities of the secondary monitoring,such as frequency standardization,comprehensive monitoring content,diversity of the monitoring form and timely correction,remained to be pushed ahead. In addition,the quantitative evaluation criteria need to be modified.ava
Chinese medicine clinical study,secondary monitoring,quality control,quantitative evaluation
10.11842/wst.2016.05.006
R24
A
(責(zé)任編輯:朱黎婷,責(zé)任譯審:朱黎婷)
2015-11-04
修回日期:2016-03-18
* 2011中醫(yī)藥行業(yè)科研專項(xiàng)“中醫(yī)慢病臨床科研體系及其成果轉(zhuǎn)化應(yīng)用模式研究”項(xiàng)目(201107006):中醫(yī)慢病防治臨床科研實(shí)施質(zhì)量保證體系的研究與建立,負(fù)責(zé)人:翁維良;中國(guó)中醫(yī)科學(xué)院2015年度博士研究生創(chuàng)新人才培養(yǎng)基金資助項(xiàng)目(CX201502):中醫(yī)慢病臨床研究結(jié)題質(zhì)量評(píng)估指標(biāo)體系構(gòu)建,負(fù)責(zé)人:程苗苗。
** 通訊作者:翁維良,首都國(guó)醫(yī)名師,博士生導(dǎo)師,主要研究方向:中醫(yī)臨床科研方法、質(zhì)控管理,中西醫(yī)結(jié)合心血管內(nèi)科。
世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化2016年5期