邵光南+陳燁+李淼鑫+文世梅

摘要：目的 構(gòu)建臨床科研課題數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)體系，為評(píng)價(jià)臨床類科研課題數(shù)據(jù)質(zhì)量提供參考依據(jù)。方法 綜合文獻(xiàn)研究和研究小組意見，擬定臨床科研課題數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)體系，采用德爾菲法，開展2輪本院專家咨詢問卷調(diào)查，對(duì)專家積極程度、意見集中程度、協(xié)調(diào)程度及權(quán)威程度進(jìn)行評(píng)價(jià)。結(jié)果 共有來自本院內(nèi)外科室不同專業(yè)30名專家參加本次2輪函詢，2輪有效回收率為100%，2輪平均權(quán)威系數(shù)為0.79、0.81。第2輪問卷的5個(gè)一級(jí)指標(biāo)專家意見滿分頻率平均集中在46.67%～54.69%；均數(shù)平均集中在4.23～4.36，變異系數(shù)平均波動(dòng)于0.11～0.18，最終建立了由病例報(bào)告表（CRF）構(gòu)建、隨機(jī)對(duì)照、知情同意、數(shù)據(jù)采集、數(shù)據(jù)審核5個(gè)一級(jí)指標(biāo)、18個(gè)二級(jí)指標(biāo)、63個(gè)三級(jí)指標(biāo)評(píng)價(jià)構(gòu)成的體系。結(jié)論 經(jīng)過2輪專家函詢后，專家意見趨于一致，協(xié)調(diào)程度較高，建立的指標(biāo)體系可用于臨床科研課題數(shù)據(jù)質(zhì)量評(píng)價(jià)。

關(guān)鍵詞：德爾菲法；數(shù)據(jù)質(zhì)量；評(píng)價(jià)；指標(biāo)體系

DOI：10.3969/j.issn.1005-5304.2018.02.001

中圖分類號(hào)：R2-05 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1005-5304（2018）02-0001-05

Study on Constructing Evaluation Indicator System for Clinic Scientific Research

on Data Quality Based on Delphi Method

SHAO Guang-nan， CHEN Ye， LI Miao-xin， WEN Shi-mei

Yueyang Hospital， Shanghai University of Traditional Chinese Medicine， Shanghai 200437， China

Abstract： Objective To construct the evaluation indicator system for clinical scientific research on data quality； To provide a basis for assessing data quality of clinic scientific research. Methods Evaluation indicator system for clinic scientific research on data quality was established based on literature review and expert suggestion. A two- rounds Delphi process was conducted and the specialist participating level， concentration degree， coordination degree and authority coefficient were calculated to assess the indicator system. Results Two rounds of Delphi consultations was conducted by 30 experts that from different majors at the department of internal medicine or surgery， and both the effective recovery rates were 100%； the average authority coefficients of expert were 0.79 and 0.81， respectively. In the second round of survey， the final concentration degree ranged from 46.67% to 54.69% at full mark rate， and 4.23 to 4.36 at the mean values in 5 primary indicators. The CV for average 5 primary indicators ranged from 0.11 to 0.18. After 2 rounds of expert consultation， the final indicator system was consisted of 5 primary indicators （CRF construction， random control process， informed consent， data capture and data validation）， 18 secondary indicators and 63 third-class indicators. Conclusion After two rounds of consultation， the opinions of all experts have been tending to be uniform， with high degree of coordination， and the indicator system can be used in assessment of data quality of clinic scientific research.

Keywords： Delphi method； data quality； evaluation； indicator system

隨著我國(guó)“重大新藥創(chuàng)制”科技戰(zhàn)略的計(jì)劃和實(shí)施，國(guó)家對(duì)中醫(yī)藥科研項(xiàng)目投入逐漸加大。雖然臨床類科研項(xiàng)目數(shù)量、經(jīng)費(fèi)占有很大比重，但中醫(yī)藥臨床科研項(xiàng)目的整體質(zhì)量并未與之一同增長(zhǎng)。究其原因，我們認(rèn)為與源數(shù)據(jù)獲取、數(shù)據(jù)質(zhì)量有很大關(guān)系。高質(zhì)量的臨床數(shù)據(jù)和研究結(jié)果是論證臨床療效和安全性的最重要證據(jù)，而高質(zhì)量的數(shù)據(jù)其獲取模式與課題研究過程中多個(gè)關(guān)鍵階段密切相關(guān)，如病例報(bào)告表（CRF）設(shè)計(jì)、數(shù)據(jù)錄入和數(shù)據(jù)核查等。由于我國(guó)研究組織觀念、經(jīng)費(fèi)來源及管理要求等不同，現(xiàn)階段科研項(xiàng)目源數(shù)據(jù)獲取模式多采用終點(diǎn)管理模式，即在研究結(jié)束時(shí)，所有臨床數(shù)據(jù)采集工作完成后，集中收集原始資料，填寫CRF，進(jìn)而進(jìn)行后續(xù)的數(shù)據(jù)錄入、核查等工作。為體現(xiàn)研究過程是否科學(xué)嚴(yán)謹(jǐn)，數(shù)據(jù)收集是否準(zhǔn)確可靠，我們?cè)谖墨I(xiàn)研究基礎(chǔ)上，結(jié)合德爾菲法，建立了一套數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)體系，在臨床科研課題立項(xiàng)之初供科研人員采納并運(yùn)用于研究過程關(guān)鍵階段，以期幫助提高臨床數(shù)據(jù)質(zhì)量?，F(xiàn)報(bào)道如下。endprint

1 資料與方法

1.1 成立研究項(xiàng)目小組

本課題研究小組由7名成員組成，其中高級(jí)職稱2名，中級(jí)及以下職稱5名；主要任務(wù)是根據(jù)目前國(guó)內(nèi)外相應(yīng)法規(guī)、標(biāo)準(zhǔn)、準(zhǔn)則等構(gòu)建專家咨詢調(diào)查問卷；確定邀請(qǐng)咨詢專家，同時(shí)發(fā)放、回收專家咨詢調(diào)查問卷，以及專家咨詢問卷意見的整理、分析討論等。

1.2 確定咨詢專家

入選標(biāo)準(zhǔn)：①本科及以上學(xué)歷；②副高及以上職稱；③長(zhǎng)期從事中醫(yī)、中西醫(yī)結(jié)合臨床內(nèi)外科工作至少5年以上，主持或參加過臨床類科研課題，具有豐富的臨床科研經(jīng)歷和學(xué)術(shù)造詣。

1.3 咨詢問卷調(diào)查

咨詢問卷的評(píng)價(jià)與計(jì)分專家問卷各項(xiàng)指標(biāo)，按照對(duì)數(shù)據(jù)質(zhì)量的重要性貢獻(xiàn)度、專家熟悉程度以及判斷依據(jù)、補(bǔ)充說明等分為4部分，其中，重要性按likert五分量表法[1]預(yù)設(shè)“完全不重要、不很重要、重要、很重要、非常重要”5級(jí)，并分別給予1分、2分、3分、4分、5分賦值；熟悉程度按“很熟悉、熟悉、較熟悉、一般、較不熟悉、很不熟悉”分為6級(jí)并分別賦予1.0、0.8、0.6、0.4、0.2、0分值，其判斷依據(jù)可選擇“實(shí)踐經(jīng)驗(yàn)、理論分析、國(guó)內(nèi)外文獻(xiàn)或同行了解、直覺”并賦予選項(xiàng)0.8、0.6、0.4、0.2的分值。

第1輪專家咨詢問卷根據(jù)藥物臨床試驗(yàn)質(zhì)量管理規(guī)范（GCP）、臨床試驗(yàn)報(bào)告統(tǒng)一標(biāo)準(zhǔn)（CONSORT）等準(zhǔn)則及文獻(xiàn)研究，自查本院近幾年結(jié)題的各級(jí)別臨床研究課題，初步擬定一套檢查列表，形成第1輪專家問卷，內(nèi)容包括以下幾點(diǎn)。①問卷說明：包含研究目的、意義、咨詢內(nèi)容，專家反饋時(shí)間及對(duì)專家信息進(jìn)行保密等信息說明；②受邀專家基本情況表：包含姓名、性別、年齡、學(xué)歷、職稱、從事專業(yè)及工作年限等基本情況；③問卷內(nèi)容：由CRF構(gòu)建、數(shù)據(jù)錄入、知情同意、隨機(jī)化進(jìn)程、數(shù)據(jù)核查5個(gè)一級(jí)指標(biāo)，以及由一級(jí)指標(biāo)延伸、擴(kuò)展的18個(gè)二級(jí)指標(biāo)和62個(gè)三級(jí)指標(biāo)構(gòu)成的數(shù)據(jù)質(zhì)量評(píng)價(jià)問卷。

第2輪專家咨詢問卷綜合第1輪專家意見及統(tǒng)計(jì)分析結(jié)果，修改、刪除、增加部分條目，形成第2輪專家咨詢問卷。除附上第1輪專家意見外，其他問卷內(nèi)容同第1輪問卷，以便專家進(jìn)行綜合判斷。

1.4 統(tǒng)計(jì)方法

采用Excel2007、SPSS19.0軟件，將收集到的專家咨詢數(shù)據(jù)，采用雙人錄入法將數(shù)據(jù)錄入數(shù)據(jù)庫(kù)，分別計(jì)算各項(xiàng)指標(biāo)均數(shù)、滿分頻率、變異系數(shù)（CV）等。各項(xiàng)指標(biāo)重要性賦值以均數(shù)>3.5分、滿分頻率>20%且變異系數(shù)<20%為篩選標(biāo)準(zhǔn)[2]，并結(jié)合專家意見進(jìn)行指標(biāo)修正及增減；同時(shí)對(duì)專家積極系數(shù)、專家權(quán)威程度、專家意見協(xié)調(diào)系數(shù)等進(jìn)行相應(yīng)評(píng)價(jià)。

2 結(jié)果

2.1 咨詢專家基本情況

本次研究共30名受邀專家參加此次咨詢問卷調(diào)查，其中男性11名，女性19名，平均年齡43歲，專家組以年齡40歲以上、博士學(xué)歷、副高以上職稱、本專業(yè)工作年限10年以上、碩士生導(dǎo)師、主持過臨床類科研課題且擔(dān)任主要研究者角色占絕大多數(shù)；受邀專家來源于本院中醫(yī)內(nèi)科、消化科、血液科、呼吸科、內(nèi)分泌科、風(fēng)濕科、腎臟內(nèi)科、神經(jīng)內(nèi)科、婦科、心內(nèi)科、針灸科、推拿科、皮膚科、骨傷科以及中西醫(yī)結(jié)合臨床研究所等臨床內(nèi)外科室。見表1。

2.2 專家積極系數(shù)

專家積極系數(shù)（E）一般用問卷的有效回收率表示，即E（%）=回收數(shù)÷發(fā)放數(shù)×100%，用以表示專家對(duì)咨詢內(nèi)容的關(guān)心程度；本研究2輪咨詢問卷發(fā)放數(shù)與回收數(shù)相等，有效回收率100%，表明接受咨詢問卷調(diào)查的專家比較關(guān)心該研究，積極性均很高。

2.3 專家意見的集中程度

專家意見集中程度，一般用各調(diào)查指標(biāo)的均數(shù)和滿分頻率表示。在第1輪函詢中，指標(biāo)的均數(shù)波動(dòng)在3.9～4.8，滿分頻率為30%～80%；第2輪函詢中，指標(biāo)的均數(shù)波動(dòng)在4.00～4.83，滿分頻率為33.33%～86.67%。第2輪問卷5個(gè)一級(jí)指標(biāo)平均專家滿分頻率、平均均數(shù)值見表2。

2.4 專家意見的協(xié)調(diào)程度

協(xié)調(diào)系數(shù)說明函詢專家對(duì)各指標(biāo)的評(píng)分意見是否趨于一致，用變異系數(shù)（CV）表示。CV=標(biāo)準(zhǔn)差÷均數(shù)，CV越小，表明專家的協(xié)調(diào)程度越高。本研究第1輪各指標(biāo)CV變動(dòng)范圍分布于0.08～0.29，說明分布集中程度一般，存在一定程度的離散；第2輪各指標(biāo)CV變動(dòng)范圍分布于0.08～0.24，表明第2輪各指標(biāo)權(quán)重分布集中程度較好，離散程度較低。通過2輪專家函詢，專家對(duì)各項(xiàng)指標(biāo)的評(píng)價(jià)未存在較大分歧，意見逐漸趨于一致。第2輪問卷5個(gè)一級(jí)指標(biāo)平均CV見表2。

2.5 專家的權(quán)威程度

專家權(quán)威程度一般用權(quán)威系數(shù)（Cr）表示，通常以專家對(duì)問卷問題的熟悉程度（Cs）與判斷依據(jù)（Ca）的均值來作出判斷，即Cr=（Cs+Ca）÷2，取值為0～1，取值越大，表明專家權(quán)威程度越高，一般認(rèn)為Cr≥0.70為信度較好[3-4]。本研究經(jīng)2輪函詢調(diào)查之后，5個(gè)一級(jí)指標(biāo)Cr平均值達(dá)到0.81。說明本次德爾菲法專家函詢的權(quán)威程度較高，咨詢結(jié)果具有較高的可靠性。見表3。

2.6 2輪專家主要修改意見

第1輪專家咨詢問卷初步擬定一級(jí)指標(biāo)5個(gè)、二級(jí)指標(biāo)18個(gè)、三級(jí)指標(biāo)62個(gè)。根據(jù)問卷咨詢結(jié)果、各指標(biāo)篩選標(biāo)準(zhǔn)及課題組成員討論。刪除指標(biāo)2項(xiàng)（受試者干預(yù)和對(duì)照組別是否要列出、發(fā)藥時(shí)間或治療措施是否符合入組順序）、新增函詢專家建議指標(biāo)3項(xiàng)（課題研究起止時(shí)間、本研究所涉及疾病診斷日期或病程、數(shù)據(jù)雙份錄入不一致時(shí)，是否已再次核實(shí)并修正確認(rèn)），同時(shí)修正、完善原指標(biāo)語(yǔ)言描述6項(xiàng)（表4中三級(jí)指標(biāo)1.4.1、1.5.7、1.7.1、1.10.4、4.1.1、5.2.3項(xiàng)），最終形成由5個(gè)一級(jí)指標(biāo)、18項(xiàng)二級(jí)指標(biāo)、63項(xiàng)三級(jí)指標(biāo)構(gòu)成的數(shù)據(jù)質(zhì)量檢查體系。見表4。

3 討論

德爾菲法又稱專家函詢法、專家調(diào)查法，采用匿名方式，反復(fù)多次、幾輪函詢征求本研究領(lǐng)域?qū)＜乙庖姡ㄟ^多次信息交流，不斷地修正反饋，使專家的意見逐步趨于一致，最終獲得一個(gè)比較一致、可靠的結(jié)論和方案，是一種定量與定性相結(jié)合的預(yù)測(cè)評(píng)價(jià)方法。本方法已應(yīng)用于臨床診斷、診療指南、衛(wèi)生經(jīng)濟(jì)學(xué)評(píng)價(jià)、質(zhì)量指標(biāo)體系等方面[3，5-6]，具有廣泛的代表性。endprint

在進(jìn)行計(jì)算之前，專家函詢問卷?xiàng)l目、指標(biāo)的設(shè)立顯得尤為重要，作為收集信息的重要載體，問卷設(shè)計(jì)水平的高低不僅反映了所研究問題囊括是否全面，也間接關(guān)系到函詢最終結(jié)果的優(yōu)劣。本研究問卷各指標(biāo)設(shè)置綜合了臨床科研課題從計(jì)劃立項(xiàng)、數(shù)據(jù)管理、統(tǒng)計(jì)分析等階段所遵循的國(guó)內(nèi)外指導(dǎo)原則、行業(yè)標(biāo)準(zhǔn)、專家共識(shí)等文獻(xiàn)研究資料。

除問題條目設(shè)置外，函詢對(duì)象、咨詢專家的選擇也是本研究的關(guān)鍵之處。一般認(rèn)為，函詢專家人數(shù)以15～50名為宜，且應(yīng)涉及多個(gè)領(lǐng)域[4，7]。本次臨床科研課題數(shù)據(jù)質(zhì)量指標(biāo)體系構(gòu)建中，參與問卷咨詢的受邀專家多達(dá)30名，來自于本院多個(gè)臨床科室、臨床專業(yè)，有10余年從事本專業(yè)工作經(jīng)歷，均承擔(dān)或作為主要研究者參與過臨床科研課題，具有廣博的臨床知識(shí)與實(shí)踐經(jīng)驗(yàn)，臨床科研經(jīng)歷豐富，具有較好代表性，咨詢結(jié)果因而具有一定的專業(yè)性和客觀性。

在德爾菲分析中，一般認(rèn)為發(fā)放問卷的有效回收率達(dá)70%比較理想[8]。本研究2輪有效回收率均達(dá)100%，表明函詢專家積極程度很高；且多數(shù)專家對(duì)初擬的指標(biāo)體系給予了具體的修改、補(bǔ)充意見，也表明所邀專家對(duì)本研究高度關(guān)心支持以及重視程度。

另外，本研究2輪函詢結(jié)果也顯示各指標(biāo)的變異系數(shù)變小，專家意見逐步趨于一致，專家權(quán)威程度較高，反映了所形成的指標(biāo)內(nèi)容可靠性和預(yù)測(cè)的準(zhǔn)確性。

雖然可采用權(quán)威程度、積極系數(shù)等來判斷結(jié)果的可靠性，但由于函詢專家均以自身觀點(diǎn)及意見來判斷研究?jī)?nèi)容，表達(dá)的觀點(diǎn)具有主觀性，因此，其所提意見正確與否，受專家所在專業(yè)領(lǐng)域?qū)W術(shù)水平高低影響。

臨床科研課題因立項(xiàng)部門、來源不同，科研經(jīng)費(fèi)差異較大。由于諸多因素，臨床類科研項(xiàng)目其數(shù)據(jù)獲取仍以紙質(zhì)文件為主，數(shù)據(jù)在進(jìn)行處理時(shí)已近研究結(jié)束期限，發(fā)現(xiàn)的問題數(shù)據(jù)如不是客觀性數(shù)據(jù)，修正時(shí)存在主觀性因素，將很難保證數(shù)據(jù)的“準(zhǔn)確性”，且與數(shù)據(jù)質(zhì)量要求的“及時(shí)性”相悖。這種事后發(fā)現(xiàn)并修正的狀況普遍存在于我國(guó)各類臨床科研課題。現(xiàn)行的數(shù)據(jù)終點(diǎn)處理模式，雖有諸多可參照的臨床研究質(zhì)量管理規(guī)范等相關(guān)準(zhǔn)則、規(guī)范和標(biāo)準(zhǔn)，但因缺乏具體實(shí)施細(xì)則可供執(zhí)行，因而使中醫(yī)藥臨床科研項(xiàng)目整個(gè)研究過程不甚規(guī)范，數(shù)據(jù)質(zhì)量難以保證。

目前，紙質(zhì)CRF采集錄入臨床數(shù)據(jù)的形式在臨床科研中仍占據(jù)主要地位，在數(shù)據(jù)獲取的工作不具備應(yīng)用電子化捕捉技術(shù)條件下，如何確保采集、獲取的數(shù)據(jù)真實(shí)準(zhǔn)確，我們認(rèn)為，在研究立項(xiàng)之初，應(yīng)該有針對(duì)研究進(jìn)程的各個(gè)重要階段而設(shè)計(jì)建立的一套檢查列表（checklist），同紙質(zhì)CRF相結(jié)合，以規(guī)范數(shù)據(jù)獲取的過程，并有望提高數(shù)據(jù)準(zhǔn)確性。

4 結(jié)語(yǔ)

收集高質(zhì)量的數(shù)據(jù)是臨床類科研項(xiàng)目的重要環(huán)節(jié)，其關(guān)鍵步驟涉及到立項(xiàng)初期、過程管理及后續(xù)數(shù)據(jù)審核等多方面，作為確保數(shù)據(jù)質(zhì)量的手段，本研究建立的該套包含與方案相對(duì)應(yīng)的CRF設(shè)計(jì)、數(shù)據(jù)采集、知情同意、隨機(jī)對(duì)照及數(shù)據(jù)核查等指標(biāo)評(píng)價(jià)體系，其最終目的是為科研人員在臨床課題立項(xiàng)之初采納并應(yīng)用于獲取臨床研究數(shù)據(jù)，并為后續(xù)療效分析和安全評(píng)定提供數(shù)據(jù)支撐，以期在后續(xù)臨床科研實(shí)踐中得到進(jìn)一步驗(yàn)證、優(yōu)化和完善，為提高整個(gè)臨床科研課題數(shù)據(jù)質(zhì)量提供參考依據(jù)。

參考文獻(xiàn)：

[1] 柯惠新，沈浩.調(diào)查研究中的統(tǒng)計(jì)分析方法[M].北京：中國(guó)傳媒大學(xué)出版社，2005：324.

[2] 關(guān)勛強(qiáng)，李瑞興，劉運(yùn)成.醫(yī)學(xué)研究生教育評(píng)價(jià)研究與實(shí)踐[M].北京：軍事醫(yī)學(xué)科學(xué)出版社，2001：80-84.

[3] 平衛(wèi)偉，譚紅專.Delphi法的研究進(jìn)展及其在醫(yī)學(xué)中的應(yīng)用[J].疾病控制雜志，2003，7（3）：244-247.

[4] 曾光，李輝.現(xiàn)代流行病學(xué)方法與應(yīng)用[M].北京：北京醫(yī)科大學(xué)中國(guó)協(xié)和醫(yī)科大學(xué)聯(lián)合出版社，1994：250-269.

[5] 陳美娟，陳自佳，劉巖，等.德爾菲法在注意力缺陷多動(dòng)障礙肝腎陰虛證證候標(biāo)準(zhǔn)兩輪問卷分析中的應(yīng)用[J].中國(guó)中醫(yī)藥信息雜志，2011， 18（4）：4-6.

[6] 張雷強(qiáng)，虞舜.基于德爾菲法的瘀熱相搏證辨證標(biāo)準(zhǔn)研究[J].中國(guó)中醫(yī)藥信息雜志，2014，21（12）：29-33.

[7] MEAD D， MOSELEY L. The use of the Delphi as a research approach[J]. Nurs Res，2001，8（4）：4-23.

[8] 李偉良.社會(huì)研究的統(tǒng)計(jì)應(yīng)用[M].北京：社會(huì)科學(xué)文獻(xiàn)出版社，2001：113-114.

（收稿日期：2016-11-20）endprint