劉云蘭，張靜怡，史乾靈，楊 楠，王子君，羅旭飛，任夢娟，荀楊芹， 周 奇，劉 輝，呂 萌，陳耀龍，，5，6，7，8，9

蘭州大學(xué) 1公共衛(wèi)生學(xué)院 3第一臨床醫(yī)學(xué)院 4基礎(chǔ)醫(yī)學(xué)院循證醫(yī)學(xué)中心 5健康數(shù)據(jù)科學(xué)研究院，蘭州 730000 2廣東省第二人民醫(yī)院臨床流行病與方法學(xué)中心，廣州 510317 6中國醫(yī)學(xué)科學(xué)院循證評價與指南研究創(chuàng)新單元，蘭州大學(xué)基礎(chǔ)醫(yī)學(xué)院，蘭州 730000 7世界衛(wèi)生組織指南實(shí)施與知識轉(zhuǎn)化合作中心，蘭州 730000 8Cochrane中國協(xié)作網(wǎng)蘭州大學(xué)分中心，蘭州 730000 9蘭州大學(xué)GRADE中心，蘭州 730000

高質(zhì)量指南的制訂不僅應(yīng)符合嚴(yán)格的方法學(xué)標(biāo)準(zhǔn)，還應(yīng)清晰完整地對其關(guān)鍵信息進(jìn)行報告[1-2]。指南的方法學(xué)質(zhì)量反映了指南制訂方法和過程的可靠性，以及推薦意見是否基于當(dāng)前最佳研究證據(jù)[3]。報告質(zhì)量反映了指南的撰寫是否清晰、明確和格式化，是否便于使用者理解和應(yīng)用，以及是否提供了足夠的細(xì)節(jié)供讀者判斷其可靠性[4]。指南研究與評價工具(Appraisal of Guidelines for Research and Evaluation Ⅱ，AGREE Ⅱ)[5]和衛(wèi)生保健實(shí)踐指南的報告條目(Reporting Items for Practice Guidelines in Healthcare，RIGHT)[6]是目前相對權(quán)威且接受度較高的指南方法學(xué)質(zhì)量和報告質(zhì)量評價工具。前期研究顯示，我國指南的方法學(xué)質(zhì)量和報告質(zhì)量與國際指南存在較大差距[7-8]。對指南進(jìn)行持續(xù)評價，有助于了解指南質(zhì)量的變化趨勢，發(fā)現(xiàn)存在的問題，并找出相應(yīng)對策[9]。本研究將對2019年期刊公開發(fā)表的中國臨床實(shí)踐指南(下文簡稱“2019年中國指南”)的方法學(xué)質(zhì)量和報告質(zhì)量進(jìn)行評價，并與此前國內(nèi)外相關(guān)評價結(jié)果進(jìn)行對比分析。

1 資料與方法

1.1 數(shù)據(jù)資料

納入符合美國國家醫(yī)學(xué)院1990年或2011年定義的指南[10]，第一作者單位為中國機(jī)構(gòu)，公開發(fā)表于同行評審期刊，正式刊出時間為2019年1月1日至2019年12月31日，語種為中文或英文。研究人員每2人一組獨(dú)立在中國知網(wǎng)、萬方數(shù)據(jù)知識服務(wù)平臺、中國生物醫(yī)學(xué)文獻(xiàn)數(shù)據(jù)庫進(jìn)行中文指南檢索，在PubMed數(shù)據(jù)庫進(jìn)行英文指南檢索，并補(bǔ)充檢索中華醫(yī)學(xué)期刊全文數(shù)據(jù)庫、香港期刊在線、港澳期刊網(wǎng)、澳門期刊論文索引及臺灣期刊論文索引系統(tǒng)。具體文獻(xiàn)檢索策略及篩選標(biāo)準(zhǔn)詳見《2019年期刊公開發(fā)表的中國臨床實(shí)踐指南文獻(xiàn)調(diào)查與評價——制訂人員及工作組情況》[11]。

1.2 質(zhì)量評價

1.2.1 方法學(xué)質(zhì)量評價

通過方法學(xué)培訓(xùn)的16名研究人員作為評價者，每4人一組應(yīng)用AGREEⅡ工具獨(dú)立地對納入指南進(jìn)行方法學(xué)質(zhì)量評價。評價內(nèi)容分為6個領(lǐng)域共23個條目，包括：范圍和目的(3個條目)、參與人員(3個條目)、制訂嚴(yán)謹(jǐn)性(8個條目)、表達(dá)清晰性(3個條目)、應(yīng)用性(4個條目)、編輯獨(dú)立性(2個條目)。評價者根據(jù)指南內(nèi)容對各條目進(jìn)行1(很不同意)～7分(很同意)的評分。評價者間的組內(nèi)相關(guān)系數(shù)(intraclass correlation coefficient，ICC)≥0.75時，認(rèn)為一致性良好[12]。對于AGREEⅡ得分，僅計算2019年中國指南的整體得分，并以60%作為指南AGREEⅡ得分的合格閾值[13]。各領(lǐng)域得分和平均得分的計算方法如下：

1.2.2 報告質(zhì)量評價

通過方法學(xué)培訓(xùn)的16名研究人員作為評價者，每2人一組應(yīng)用RIGHT工具獨(dú)立地對納入指南進(jìn)行報告質(zhì)量評價，對于評價結(jié)果不一致的條目通過討論達(dá)成一致，若討論后仍無法達(dá)成一致，則請第三方協(xié)商解決。評價內(nèi)容分為7個領(lǐng)域共35個條目，包括：基本信息(6個條目)、背景(8個條目)、證據(jù)(5個條目)、推薦意見(7個條目)、評審與質(zhì)控(2個條目)、資助與利益沖突的聲明和管理(4個條目)、其他方面(3個條目)。每個條目的評價結(jié)果為“報告”或“未報告”，“報告”是指該條目相關(guān)信息部分或完整呈現(xiàn)，“未報告”是指該條目相關(guān)信息完全缺失或指南呈現(xiàn)內(nèi)容不符合該條目的評價要求。對于RIGHT報告率，僅計算2019年中國指南的整體報告率，并以60%作為指南RIGHT報告率的合格閾值[12]。各條目報告率、各領(lǐng)域報告率和平均報告率的計算方法如下：

1.3 統(tǒng)計學(xué)處理

采用Microsoft Excel 2019軟件進(jìn)行數(shù)據(jù)整理及AGREE Ⅱ得分、RIGHT報告率的計算；采用SPSS 26.0軟件進(jìn)行ICC值的計算。計數(shù)資料采用頻數(shù)和百分?jǐn)?shù)表示，計量資料采用均數(shù)±標(biāo)準(zhǔn)差表示。

納入指南按照以下亞組進(jìn)行分析：發(fā)表語種(中文、英文)、注冊狀態(tài)(注冊、未注冊)、制訂機(jī)構(gòu)(衛(wèi)生管理部門、學(xué)會/協(xié)會、醫(yī)院、其他)、期刊收錄情況[中國科學(xué)引文數(shù)據(jù)庫(Chinese Science Citation Database，CSCD)收錄期刊、非CSCD收錄期刊、科學(xué)引文索引(Science Citation Index，SCI)收錄期刊、非SCI收錄期刊]。

2 結(jié)果

2.1 納入指南基本信息

最終納入2019年中國指南226篇。語種為中文的指南187篇，其中114篇(61.0%，114/187)發(fā)表于CSCD收錄期刊；語種為英文的指南39篇，其中34篇(87.2%，34/39)發(fā)表于SCI收錄期刊。12篇(5.3%，12/226)指南報告已在國際實(shí)踐指南注冊平臺(International Practice Guidelines Registry Platform)進(jìn)行注冊。

2.2 方法學(xué)質(zhì)量

2.2.1 評價者一致性分析

圖 1 2019年期刊公開發(fā)表的中國臨床實(shí)踐指南AGREEⅡ各領(lǐng)域得分 注：D1：范圍和目的；D2：參與人員；D3：制訂嚴(yán)謹(jǐn)性；D4：表達(dá)清晰性；D5：應(yīng)用性；D6：編輯獨(dú)立性

4組評價者的組內(nèi)ICC值分別為0.95、0.91、0.95、0.91，組內(nèi)評價者一致性良好。

2.2.2 AGREEⅡ各領(lǐng)域得分

2019年中國指南AGREE Ⅱ 各領(lǐng)域評價結(jié)果見圖1。平均得分為25.3%；得分最高的領(lǐng)域?yàn)椤氨磉_(dá)清晰性”領(lǐng)域(39.1%)；得分最低的領(lǐng)域?yàn)椤皯?yīng)用性”領(lǐng)域，僅14.6%，其次為“制訂嚴(yán)謹(jǐn)性”領(lǐng)域(14.9%)。

2.2.3 AGREEⅡ得分亞組分析

AGREE Ⅱ得分亞組分析結(jié)果見表1。對于不同語種的指南，AGREE Ⅱ平均得分僅相差0.1%；注冊指南的AGREE Ⅱ平均得分較未注冊指南高24.3%(48.3%比24.0%)，各領(lǐng)域得分也高于未注冊指南，尤其是“制訂嚴(yán)謹(jǐn)性”(45.3%比13.2%)和“表達(dá)清晰性”(68.3%比37.4%)領(lǐng)域。衛(wèi)生管理部門制訂的指南AGREE Ⅱ平均得分較學(xué)會/協(xié)會制訂的指南低10.1%。

2.3 報告質(zhì)量

2.3.1 RIGHT各領(lǐng)域和各條目報告率

2019年中國指南RIGHT各領(lǐng)域報告率見圖2。指南平均報告率為33.9%；報告率最高的領(lǐng)域?yàn)椤盎拘畔ⅰ鳖I(lǐng)域(59.2%)，其次為“背景”領(lǐng)域(51.9%)；報告率最低的領(lǐng)域?yàn)椤霸u審與質(zhì)控”領(lǐng)域(4.4%)，其次為“證據(jù)”領(lǐng)域(10.8%)。

指南RIGHT評價各條目報告率見圖3。報告率低于10%的條目共11個，主要分布于“證據(jù)”和“評審與質(zhì)控”領(lǐng)域。報告率高于60%的條目共7個，主要分布于“基本信息”和“背景”領(lǐng)域。

表 1 2019年期刊公開發(fā)表的中國臨床實(shí)踐指南AGREEⅡ得分亞組分析

圖 2 2019年期刊公開發(fā)表的中國臨床實(shí)踐指南RIGHT各領(lǐng)域報告率 注：D1：基本信息；D2：背景；D3：證據(jù)；D4：推薦意見；D5：評審與質(zhì)控；D6：資助與利益沖突的聲明和管理；D7：其他方面

2.3.2 RIGHT報告率亞組分析

RIGHT報告率亞組分析結(jié)果見表2。不同語種的指南RIGHT平均報告率僅相差1.9%。注冊指南的平均報告率較未注冊指南高21.2%(54.0%比32.8%)，除“基本信息”領(lǐng)域外，注冊指南其他各領(lǐng)域的報告率均高于未注冊指南，尤其是“證據(jù)”和“推薦意見”領(lǐng)域，注冊指南較未注冊指南的報告率高約40%。衛(wèi)生管理部門制訂的指南較學(xué)會/協(xié)會制訂的指南平均報告率低11.8%。

3 討論

本研究運(yùn)用AGREEⅡ和RIGHT工具對2019年中國指南進(jìn)行評價發(fā)現(xiàn)，盡管其方法學(xué)質(zhì)量的平均得分和報告質(zhì)量的平均報告率仍未超過60%，但與2014—2018年中國指南[7]相比，2019年中國指南的AGREEⅡ平均得分提高了5.9%(25.3%比19.4%)，RIGHT平均報告率提高了5.3%(33.9%比28.6%)。究其原因，一方面隨著指南方法學(xué)在國內(nèi)的發(fā)展，越來越多的指南制訂者開始學(xué)習(xí)指南方法學(xué)或邀請指南方法學(xué)家參與指南的制訂工作。另一方面，持續(xù)的指南評價及其結(jié)果的發(fā)布也推動了指南制訂者對指南質(zhì)量的重視[8]。然而與國際或世界衛(wèi)生組織(World Health Organization，WHO)指南相比，仍然存在較大差距，2011—2017年發(fā)表的國際指南AGREEⅡ平均得分及2007—2017年WHO批準(zhǔn)指南的RIGHT平均報告率均約為2019年中國指南的2倍(46.0%比25.3%；78.0%比33.9%)[14-15]。

圖 3 2019年期刊公開發(fā)表的中國臨床實(shí)踐指南RIGHT各條目報告率

從具體領(lǐng)域分析，在方法學(xué)質(zhì)量方面，2019年中國指南的AGREE Ⅱ各領(lǐng)域得分相較于此前的中國指南均有一定程度提升(圖4)。但“制訂嚴(yán)謹(jǐn)性”和“應(yīng)用性”領(lǐng)域的AGREE Ⅱ得分提升速度相對緩慢，仍為2019年中國指南AGREE Ⅱ得分最低的兩個領(lǐng)域[7，14]，而國際指南在“制訂嚴(yán)謹(jǐn)性”和“應(yīng)用性”領(lǐng)域AGREE Ⅱ得分雖較中國指南高，但相較于其他領(lǐng)域得分亦較低。有研究指出，“制訂嚴(yán)謹(jǐn)性”是影響指南質(zhì)量最大和最直接的因素之一[4]，能夠反映從證據(jù)至推薦意見這一過程的科學(xué)性和透明性。因此，為更好地提高中國指南的方法學(xué)質(zhì)量，指南制訂者在形成推薦意見時應(yīng)加強(qiáng)對當(dāng)前研究證據(jù)的全面檢索和評價，遵循嚴(yán)格的方法學(xué)過程[18]，并充分考慮可能的利弊(如對健康的益處、副作用及風(fēng)險)和影響推薦意見的其他因素(如目標(biāo)人群的價值觀和偏好、成本和資源利用、公平性和可接受性等)。在形成推薦意見后，還應(yīng)收集除指南制訂者外更廣泛的利益相關(guān)者對指南的建議和反饋，進(jìn)一步提高指南的質(zhì)量[10]。此外，為使指南真正服務(wù)于臨床實(shí)踐，在制訂過程中有必要考慮指南的應(yīng)用性，如明確指南應(yīng)用時可能的促進(jìn)或阻礙因素，潛在的資源投入，以及將推薦意見應(yīng)用于實(shí)踐的配套工具等[19]。

表 2 2019年期刊公開發(fā)表的中國臨床實(shí)踐指南RIGHT報告率亞組分析

圖 4 期刊公開發(fā)表的中國臨床實(shí)踐指南與國際或WHO指南比較[7- 8，14- 17]

在報告質(zhì)量方面，與2014—2018年中國指南相比[7]，大部分領(lǐng)域的RIGHT報告率有一定的提高，而“證據(jù)”和“評審與質(zhì)控”領(lǐng)域的RIGHT報告率反而降低，此為2019年中國指南報告率最低的2個領(lǐng)域?！白C據(jù)”領(lǐng)域雖是WHO指南報告率最低的領(lǐng)域，但其報告率遠(yuǎn)高于2019年中國指南(66.8%比10.8%)，“評審與質(zhì)控”領(lǐng)域則是WHO指南報告率最高的領(lǐng)域(96.0%比4.4%)[15]。從具體條目內(nèi)容來看，“證據(jù)”和“評審與質(zhì)控”領(lǐng)域主要是對AGREEⅡ“制訂嚴(yán)謹(jǐn)性”領(lǐng)域內(nèi)容的全面報告。因此，指南制訂者不僅應(yīng)按照嚴(yán)格的方法學(xué)過程制訂指南，同時還應(yīng)對指南制訂過程的具體信息如證據(jù)選擇標(biāo)準(zhǔn)、證據(jù)評價方法、外審過程等進(jìn)行清晰完整地報告，以便于使用者判斷指南的質(zhì)量[20]。此外，與2014—2018年中國指南相比，2019年中國指南在“資助與利益沖突的聲明和管理”領(lǐng)域的報告率有較大提升，但其報告率仍較低，且與WHO指南存在較大差距(80%比22.3%)。主要表現(xiàn)為，雖然近1/3的指南報告了資助來源以及超過半數(shù)的指南報告了是否存在利益沖突，但對于資金在指南中的作用以及利益沖突的管理辦法報告率極低，而指南資助和利益沖突信息報告的缺失或報告不全面，也會對推薦意見的獨(dú)立性、透明性和公平性產(chǎn)生重要影響[21]。

對指南進(jìn)行亞組分析發(fā)現(xiàn)，注冊指南的方法學(xué)質(zhì)量和報告質(zhì)量均高于未注冊指南，提示指南注冊不僅可以促進(jìn)指南制訂的科學(xué)性和透明性、避免重復(fù)制訂，還可通過上傳計劃書等形式確定指南制訂所需遵循的步驟和方法，有助于提高指南的方法學(xué)質(zhì)量，并增加對指南重要信息的報告[22]。

為進(jìn)一步提高我國指南的整體質(zhì)量，國家相關(guān)部門應(yīng)加大對指南的監(jiān)管，提供充分的資源支持；指南制訂者應(yīng)遵循國際公認(rèn)的指南標(biāo)準(zhǔn)和制訂方法科學(xué)制訂指南，特別是指南制訂前應(yīng)在國際實(shí)踐指南注冊平臺(http://www.guidelines-registry.org)進(jìn)行注冊并上傳計劃書。指南完成后，應(yīng)參考RIGHT進(jìn)行指南的規(guī)范撰寫[6]；期刊可將指南報告規(guī)范引入稿約；研究人員也應(yīng)持續(xù)開展指南相關(guān)研究和指南評價，探索如何進(jìn)一步推動指南質(zhì)量的提升。

本研究在此前指南評價的基礎(chǔ)上對2019年中國指南進(jìn)行了連續(xù)評價，可更好地揭示我國指南方法學(xué)質(zhì)量和報告質(zhì)量的發(fā)展趨勢，探討我國指南持續(xù)存在的問題并提供解決方案。本研究存在以下局限性：(1)僅評價了期刊正式發(fā)表的指南；(2)指南方法學(xué)質(zhì)量的評價主要取決于作者對指南的報告，對于報告不充分的指南未聯(lián)系作者進(jìn)一步獲取相關(guān)數(shù)據(jù)，可能導(dǎo)致評價無法準(zhǔn)確反映指南的方法學(xué)質(zhì)量。

4 小結(jié)

2019年中國指南方法學(xué)質(zhì)量和報告質(zhì)量較此前逐步提高，但與國際水平相比仍然存在較大差距。注冊是提高指南方法學(xué)質(zhì)量和報告質(zhì)量的重要途徑。建議指南制訂者在指南制訂前先進(jìn)行注冊，并遵循國內(nèi)外指南制訂的原則、方法和流程，提高指南制訂的科學(xué)性、透明性以及指南報告的規(guī)范性。

作者貢獻(xiàn)：劉云蘭、張靜怡、史乾靈、楊楠、王子君、羅旭飛、任夢娟、荀楊芹、周奇、劉輝、呂萌負(fù)責(zé)指南的評價；劉云蘭、張靜怡負(fù)責(zé)統(tǒng)計數(shù)據(jù)并撰寫文章；史乾靈、楊楠、王子君、羅旭飛、任夢娟、荀楊芹、周奇、劉輝、呂萌負(fù)責(zé)修改初稿；陳耀龍負(fù)責(zé)文章選題、結(jié)構(gòu)設(shè)計、團(tuán)隊(duì)組建、數(shù)據(jù)核查及文章修訂。

利益沖突：所有作者均聲明不存在利益沖突

志謝：感謝劉蕭、馬艷芳、盧姝亞、李樂、王健健、趙思雅、郭強(qiáng)強(qiáng)、吳守媛協(xié)助對指南進(jìn)行AGREE Ⅱ和RIGHT評價。