郝軍 郎欣月 王楊 曹也丁 李衛(wèi)

醫(yī)院排行榜受到越來越多的關(guān)注，其相對(duì)客觀地反映了醫(yī)療機(jī)構(gòu)的學(xué)科建設(shè)及技術(shù)水平在行業(yè)內(nèi)的地位，也為醫(yī)院管理者更好決策、患者就醫(yī)選擇提供一定的參考。其中獨(dú)立的第三方機(jī)構(gòu)綜合評(píng)價(jià)已經(jīng)是發(fā)達(dá)國家醫(yī)院綜合評(píng)價(jià)的主要形式，主要聚焦于臨床診療水平等方面，例如美國新聞與世界報(bào)道（U.S. News ＆ World Report）最佳醫(yī)院排行榜、美國國際醫(yī)療衛(wèi)生機(jī)構(gòu)認(rèn)證聯(lián)合委員會(huì)（Joint Commission International，JCI）醫(yī)療機(jī)構(gòu)評(píng)價(jià)和英國醫(yī)療質(zhì)量委員會(huì)（Care Quality Commission，CQC）醫(yī)療機(jī)構(gòu)評(píng)價(jià)等[1-3]。在我國，常見的醫(yī)院排行榜有復(fù)旦大學(xué)醫(yī)院管理研究所最佳醫(yī)院排行榜、中國醫(yī)學(xué)科學(xué)院醫(yī)學(xué)信息研究所中國醫(yī)院科技量值排名（Science and Technology Evaluation Metrics，STEM）和艾力彼的中國醫(yī)院競爭力排行榜[4]。上述國內(nèi)醫(yī)院排行榜的指標(biāo)體系均考慮了醫(yī)療機(jī)構(gòu)的科研水平和學(xué)術(shù)影響，又各有側(cè)重。此外，2022 年9 月，中國心臟大會(huì)在線發(fā)布了《2016～2021 年全球心血管疾病科技影響力評(píng)價(jià)報(bào)告》（以下簡稱“評(píng)價(jià)報(bào)告”），公布了全球及中國醫(yī)院心血管疾病科技影響力指標(biāo)體系及排行結(jié)果。該指標(biāo)體系在借鑒國內(nèi)主要醫(yī)院排行榜指標(biāo)體系的同時(shí)，為了體現(xiàn)“科技成果分類多維度評(píng)價(jià)”的導(dǎo)向，將評(píng)價(jià)指標(biāo)分為“一般指標(biāo)”和“高端指標(biāo)”，并且根據(jù)高端指標(biāo)數(shù)量將待評(píng)價(jià)機(jī)構(gòu)劃分梯隊(duì)，在不同梯隊(duì)內(nèi)按照不同的規(guī)則進(jìn)行排名，整合排名結(jié)果，最終得到全球及中國醫(yī)院心血管疾病科技影響力排行結(jié)果。

除制定指標(biāo)評(píng)價(jià)體系之外，評(píng)價(jià)方法的選擇也是綜合評(píng)價(jià)過程中的重要一環(huán)。目前，在醫(yī)院管理、科研管理等領(lǐng)域，綜合評(píng)價(jià)方法多種多樣、應(yīng)用廣泛[5-7]，而不同評(píng)價(jià)方法的選擇將對(duì)綜合評(píng)價(jià)結(jié)果產(chǎn)生重要影響[8]。上述多種國內(nèi)外醫(yī)療機(jī)構(gòu)評(píng)價(jià)及排行榜采用的綜合評(píng)價(jià)方法各具特色，其中，評(píng)價(jià)報(bào)告中采用的層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法是將層級(jí)式指標(biāo)體系、分梯隊(duì)評(píng)價(jià)規(guī)則和秩次評(píng)價(jià)法結(jié)合在一起的綜合評(píng)價(jià)過程。然而目前國內(nèi)外對(duì)于醫(yī)院排名綜合評(píng)價(jià)方法的比較研究較少，針對(duì)于不同評(píng)價(jià)方法的選擇缺乏參考依據(jù)。因此本研究旨在以評(píng)價(jià)報(bào)告中采用的層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法為基礎(chǔ)，將該方法的評(píng)價(jià)結(jié)果與目前綜合評(píng)價(jià)領(lǐng)域中最常用的3 種方法（包括標(biāo)準(zhǔn)化處理法、極值處理法和秩次評(píng)價(jià)法）的評(píng)價(jià)結(jié)果進(jìn)行比較，為評(píng)價(jià)報(bào)告提供方法學(xué)解釋及依據(jù)，同時(shí)為國內(nèi)醫(yī)療機(jī)構(gòu)綜合評(píng)價(jià)實(shí)踐提供一定參考。

1 資料與方法

1.1 數(shù)據(jù)來源

本研究依據(jù)的全球及中國科技影響力綜合評(píng)價(jià)體系及指標(biāo)權(quán)重，具體見表1 和表2。本研究的文獻(xiàn)數(shù)據(jù)來源于Web of Science、PubMed 和Scopus數(shù)據(jù)庫。此外，還采集了F1000、基本科學(xué)指標(biāo)（Essential Science Indicators，ESI）高被引、期刊引證報(bào)告（Journal Citation Reports，JCR）分區(qū)和影響因子、被引頻次、美國心臟協(xié)會(huì)（AHA）/美國心臟病學(xué)會(huì)（ACC）/歐洲心臟病學(xué)會(huì)（ESC）指南被引、Clinicaltrial.gov 注冊(cè)臨床研究等相關(guān)數(shù)據(jù)庫的指標(biāo)數(shù)據(jù)。針對(duì)中國醫(yī)院心血管疾病領(lǐng)域科技影響力綜合評(píng)價(jià)，除了上述指標(biāo)，本研究還納入了國家縱向課題（國家自然科學(xué)基金重點(diǎn)項(xiàng)目、國家自然科學(xué)基金面上項(xiàng)目、國家自然科學(xué)基金青年項(xiàng)目）、發(fā)明專利、國家級(jí)成果、中華醫(yī)學(xué)獎(jiǎng)、國家級(jí)和省部級(jí)平臺(tái)等能夠代表機(jī)構(gòu)科研水平的相關(guān)數(shù)據(jù)。

表1 全球醫(yī)療機(jī)構(gòu)心血管疾病論文影響力綜合評(píng)價(jià)體系及指標(biāo)權(quán)重

表2 中國醫(yī)院心血管疾病科技影響力綜合評(píng)價(jià)體系及指標(biāo)權(quán)重

1.2 層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)過程

評(píng)價(jià)報(bào)告采用了層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法，對(duì)2016～2021 年全球醫(yī)療機(jī)構(gòu)心血管疾病論文影響力、全國醫(yī)院心血管疾病科技影響力進(jìn)行排名，具體步驟如下。首先將指標(biāo)數(shù)據(jù)分成高端、一般指標(biāo)。對(duì)于全球醫(yī)院心血管疾病科技影響力評(píng)價(jià)方法，指標(biāo)體系包括6 項(xiàng)高端指標(biāo)，即注冊(cè)臨床試驗(yàn)數(shù)量、影響因子＞10 文章數(shù)量、JCR 分區(qū)Q1 區(qū)文章占比、亞學(xué)科覆蓋度、被AHA/ACC/ESC 指南引用數(shù)、ESI和F1000 標(biāo)引數(shù)量；2 項(xiàng)一般指標(biāo)，即總發(fā)文量和總影響因子。對(duì)于中國醫(yī)院心血管疾病科技影響力評(píng)價(jià)方法，指標(biāo)體系包括10 項(xiàng)高端指標(biāo)，除了6 項(xiàng)論文相關(guān)指標(biāo)外還包括國家縱向課題重點(diǎn)項(xiàng)目、發(fā)明專利、國家級(jí)成果及國家級(jí)平臺(tái)，其余均為一般指標(biāo)。將高端指標(biāo)按有無計(jì)數(shù)（Q1 區(qū)文章占比≥0.1%記為“有”，亞學(xué)科數(shù)量≥9 記為“有”），有4 個(gè)及以上高端指標(biāo)為第一梯隊(duì)，2 個(gè)或3 個(gè)高端指標(biāo)為第二梯隊(duì)，剩余1 個(gè)或無高端指標(biāo)為第三梯隊(duì)。每個(gè)梯隊(duì)內(nèi)，將二級(jí)指標(biāo)分別升序排秩次，按其所在指標(biāo)分類，利用秩次乘以對(duì)應(yīng)權(quán)重得到一般、高端指標(biāo)秩次加權(quán)求和指標(biāo)值。每個(gè)梯隊(duì)內(nèi)，將合成的一般、高端指標(biāo)秩次加權(quán)求和指標(biāo)值分別升序排秩次，并分別標(biāo)化至（60，100），得到一般、高端指標(biāo)標(biāo)化得分；將指標(biāo)標(biāo)化得分以（80，80）為圓心建立直角坐標(biāo)系分割象限，其中Y 軸為一般指標(biāo)得分，X 軸為高端指標(biāo)得分。每個(gè)梯隊(duì)內(nèi)，將兩坐標(biāo)軸分別10 等分，按所在象限，計(jì)算第一象限一般、高端標(biāo)化得分坐標(biāo)位置所在正數(shù)百分比區(qū)域；第三象限標(biāo)化得分坐標(biāo)位置所在倒數(shù)百分比區(qū)域。每個(gè)梯隊(duì)內(nèi)，按所在象限，計(jì)算第一、三象限點(diǎn)圓心距得到線段長度；第二象限點(diǎn)據(jù)Y 軸正軸斜率；第四象限點(diǎn)據(jù)X 軸正軸斜率。每個(gè)梯隊(duì)內(nèi)，第一象限按坐標(biāo)所在正數(shù)百分比區(qū)域升序排列，每個(gè)百分比區(qū)域內(nèi)按線段長度降序排列；第二、四象限按斜率升序排列；第三象限按坐標(biāo)倒數(shù)百分比區(qū)域降序排列，每個(gè)百分比區(qū)域內(nèi)按線段長度升序排列，得到每個(gè)象限內(nèi)排名。每個(gè)梯隊(duì)內(nèi)，按第一象限，第二、四象限，第三象限順序?qū)⑾笙迌?nèi)排名連接合并，得到梯隊(duì)內(nèi)排名。按第一梯隊(duì)、第二梯隊(duì)、第三梯隊(duì)順序?qū)⑻蓐?duì)內(nèi)排名連接合并，得到總排名。

1.3 其他綜合評(píng)價(jià)方法

除層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法外，本研究還選擇了在綜合評(píng)價(jià)領(lǐng)域常用的標(biāo)準(zhǔn)化處理法、極值處理法和秩次評(píng)價(jià)法3 種方法，對(duì)2016～2021 年全球醫(yī)療機(jī)構(gòu)心血管疾病論文影響力、2016～2021 年全國醫(yī)院心血管疾病科技影響力進(jìn)行排名，具體方法介紹如下。

1.3.1標(biāo)準(zhǔn)化處理法

處理后變量均值為0，標(biāo)準(zhǔn)差為1，各指標(biāo)的最大值、最小值不相同。對(duì)標(biāo)化后的指標(biāo)數(shù)據(jù)進(jìn)行加權(quán)匯總排序，即為綜合評(píng)分結(jié)果。

1.3.2極值處理法

極值處理法，是消除變量量綱和變異范圍影響最簡單的方法。具體的操作方法為：首先需要找出該指標(biāo)的最大值（xjmax）和最小值（xjmix），并計(jì)算極差（R=xjmax-xjmix），然后用該變量的每一個(gè)觀察值（x）減去最小值（xjmix），再除以極差（R）[9]，即：

經(jīng)過極差標(biāo)準(zhǔn)化方法處理后，無論原始數(shù)據(jù)是正值還是負(fù)值，該變量各個(gè)觀察值的數(shù)值變化范圍都滿足0 ≤x'≤1，并且正指標(biāo)、逆指標(biāo)均可轉(zhuǎn)化為正向指標(biāo)，作用方向一致。但是如果有新數(shù)據(jù)加入，就可能會(huì)導(dǎo)致最大值和最小值發(fā)生變化，就需要進(jìn)行重新定義，并重新計(jì)算極差。對(duì)指標(biāo)數(shù)據(jù)進(jìn)行上述方法處理后，加權(quán)求和排序即為綜合評(píng)分結(jié)果。

1.3.3秩次評(píng)價(jià)法

秩次評(píng)價(jià)法是指以每一個(gè)單項(xiàng)指標(biāo)的實(shí)際數(shù)據(jù)為基礎(chǔ)進(jìn)行排序，按指標(biāo)方向（高優(yōu)或低優(yōu)指標(biāo)）給予秩次（r1，r2，…rn），若出現(xiàn)并列時(shí)取平均秩次；對(duì)每一分項(xiàng)獲得的秩次進(jìn)行加權(quán)匯總排序，即為最終綜合評(píng)價(jià)結(jié)果。

2 結(jié)果

2.1 全球醫(yī)療機(jī)構(gòu)心血管疾病論文影響力四種評(píng)價(jià)方法結(jié)果比較

本研究應(yīng)用層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法、標(biāo)準(zhǔn)化處理法、極值處理法、秩次評(píng)價(jià)法4 種方法，分別對(duì)全球醫(yī)療機(jī)構(gòu)心血管疾病研究論文影響力進(jìn)行排名，排行榜前6 名基本一致。被層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法排名在前20 的醫(yī)院中，19 家（95%）醫(yī)院被標(biāo)準(zhǔn)化處理法、極值處理法以及秩次評(píng)價(jià)法判定為排名前20（表3）。被層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法納入百強(qiáng)的醫(yī)院中，89 家醫(yī)院（89%）被標(biāo)準(zhǔn)化處理法判定為百強(qiáng)醫(yī)院，90 家醫(yī)院（90%）被極值處理法和秩次評(píng)價(jià)法判定為百強(qiáng)醫(yī)院。

表3 2016～2021 年全球醫(yī)療機(jī)構(gòu)心血管疾病論文影響力四種評(píng)價(jià)方法綜合排名（第1～20 名）

被標(biāo)準(zhǔn)化處理法和極值處理法評(píng)為第7 名的醫(yī)院17，由于高端指標(biāo)僅5 項(xiàng)，缺少AHA/ACC/ESC指南被引成果，導(dǎo)致其高端指標(biāo)得分較低（89 分），盡管其一般指標(biāo)得分（98 分）較高，但是仍然被層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法排為第17 名。被標(biāo)準(zhǔn)化處理法和極值處理法評(píng)為第11 名的醫(yī)院7，被層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法排為第7 名，由于其有更多的注冊(cè)臨床研究數(shù)量，高端指標(biāo)得分較高（98 分），因此超越了醫(yī)院8、醫(yī)院9 和醫(yī)院10 三家醫(yī)院；同時(shí)其高端指標(biāo)數(shù)量（6 個(gè)）較多，因此超越了醫(yī)院17。

2.2 中國醫(yī)院心血管疾病科技影響力四種評(píng)價(jià)方法結(jié)果比較

本研究應(yīng)用上述四種評(píng)價(jià)方法，對(duì)全國醫(yī)療機(jī)構(gòu)心血管疾病科技影響力進(jìn)行綜合排名，排行榜前3 名完全一致。被層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法排名在前20 的醫(yī)院中，19 家醫(yī)院（95%）被標(biāo)準(zhǔn)化處理法、極值處理法以及秩次評(píng)價(jià)法判定為排名前20（表4）。被層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法納入百強(qiáng)的醫(yī)院中，93 家醫(yī)院（93%）被標(biāo)準(zhǔn)化處理和極值處理法判定為百強(qiáng)醫(yī)院，95 家醫(yī)院（95%）被秩次評(píng)價(jià)法判定為百強(qiáng)醫(yī)院。

表4 2016～2021 年中國醫(yī)院心血管疾病科技影響力四種評(píng)價(jià)方法綜合排名（第1～20 名）

被標(biāo)準(zhǔn)化處理法和極值處理法評(píng)為第10 名的醫(yī)院4，由于其高端指標(biāo)相對(duì)較多（8 個(gè)），AHA/ACC/ESC 指南被引成果和國家縱向課題重點(diǎn)項(xiàng)目較多，有較高的高端指標(biāo)得分（98 分），因此超越了醫(yī)院6、7、9、10、11；與醫(yī)院8 相比，醫(yī)院4 有更多的國家縱向課題面上和青年項(xiàng)目，其一般指標(biāo)得分為97 分，高于醫(yī)院8（94 分）。最終，該醫(yī)院被層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法排為第4 名。被標(biāo)準(zhǔn)化處理法和極值處理法分別評(píng)為第13 名和第12 名的醫(yī)院19，由于其影響因子大于10 分文章數(shù)量和注冊(cè)臨床研究數(shù)量相對(duì)較少，導(dǎo)致其高端指標(biāo)得分較低（87 分），因此被層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法排為第19 名。

3 討論

本研究在對(duì)全球醫(yī)療機(jī)構(gòu)研究論文影響力以及中國醫(yī)院心血管疾病科技影響力進(jìn)行綜合評(píng)價(jià)排名時(shí)，將層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)結(jié)果與綜合評(píng)價(jià)領(lǐng)域中常用的標(biāo)準(zhǔn)化處理法、極值處理法、秩次評(píng)價(jià)法的結(jié)果，開展了比較研究。研究結(jié)果表明，4種評(píng)價(jià)方法的結(jié)果一致性較高，其中標(biāo)準(zhǔn)化處理法和極值處理法的結(jié)果較為接近，秩次評(píng)價(jià)法與層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)法的相似度較高。層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)整合了分類指標(biāo)體系、評(píng)價(jià)規(guī)則和秩次評(píng)價(jià)法，更能夠突出高質(zhì)量科技成果的重要性。

目前在科研綜合評(píng)價(jià)過程中最常用的是標(biāo)準(zhǔn)化處理法和極值處理法。上述兩種方法均為線性無量綱化方法[10]，且基于原始數(shù)據(jù)的描述統(tǒng)計(jì)量，如均值、標(biāo)準(zhǔn)差和極值等，保留了原始數(shù)據(jù)信息。標(biāo)準(zhǔn)化處理法基于原始數(shù)據(jù)的均值和標(biāo)準(zhǔn)差對(duì)變量取值進(jìn)行處理，穩(wěn)定性相對(duì)較好，而極值處理法則基于極大值和極小值，容易受到個(gè)別極端值的影響，穩(wěn)定性較差[11]。秩次評(píng)價(jià)法則是基于原始數(shù)據(jù)的秩次，將醫(yī)院之間指標(biāo)取值的差距壓縮為等距的秩次，更加注重每個(gè)醫(yī)療機(jī)構(gòu)的所有評(píng)價(jià)指標(biāo)在整個(gè)被評(píng)價(jià)單位中所處的相對(duì)“位置”。因此，基于秩次的秩次評(píng)價(jià)法的結(jié)果與基于原始數(shù)據(jù)信息的標(biāo)準(zhǔn)化處理法和極值處理法的結(jié)果存在一定差異。盡管損失了原始數(shù)據(jù)信息，但是取而代之的優(yōu)點(diǎn)是受原始數(shù)據(jù)影響較小。特別是對(duì)于存在“偏科”現(xiàn)象的被評(píng)價(jià)單位，如果采用基于原始數(shù)據(jù)的標(biāo)準(zhǔn)化處理法和極值處理法，很容易被某一項(xiàng)指標(biāo)拉高或者降低排名，而秩次評(píng)價(jià)法可以較好地避免這一問題，其更加關(guān)注的是被評(píng)價(jià)單位在每項(xiàng)指標(biāo)排名中所處的“位置”，能夠較為綜合地反映被評(píng)價(jià)單位在同行之間中所處的水平。

然而上述3 種方法均是簡單地基于原始數(shù)據(jù)或秩次直接進(jìn)行加權(quán)求和，無法體現(xiàn)分級(jí)分層評(píng)價(jià)的思想。醫(yī)學(xué)科技評(píng)價(jià)體系應(yīng)當(dāng)建立多元評(píng)價(jià)體系、分類評(píng)價(jià)體系和分級(jí)分層評(píng)價(jià)機(jī)制[12]。層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)首先將指標(biāo)進(jìn)行分類，分為“一般指標(biāo)”和“高端指標(biāo)”，并且根據(jù)高端指標(biāo)數(shù)量將待評(píng)價(jià)單位劃分梯隊(duì)，在不同梯隊(duì)內(nèi)按照不同的規(guī)則采用秩次評(píng)價(jià)法進(jìn)行排名，最終整合排名結(jié)果。與上述其他方法相比，層級(jí)式多維度指標(biāo)綜合評(píng)價(jià)是將層級(jí)式指標(biāo)體系、分梯隊(duì)評(píng)價(jià)規(guī)則和秩次評(píng)價(jià)法整合在一起的綜合評(píng)價(jià)過程。該方法能夠突出科技影響力評(píng)價(jià)體系注重高質(zhì)量科技成果，體現(xiàn)了分級(jí)分層評(píng)價(jià)的思想，積極響應(yīng)現(xiàn)在的科技成果評(píng)價(jià)導(dǎo)向，是我國當(dāng)前推行的“注重高質(zhì)量成果，推進(jìn)高質(zhì)量發(fā)展”的科技成果評(píng)價(jià)機(jī)制的良好實(shí)踐[13]。該方法在心血管領(lǐng)域的應(yīng)用與實(shí)踐引起了社會(huì)的廣泛關(guān)注，評(píng)價(jià)結(jié)果將進(jìn)一步促進(jìn)我國心血管研究事業(yè)的健康發(fā)展。因此，該方法可以嘗試在心血管醫(yī)學(xué)領(lǐng)域之外的其他領(lǐng)域開展應(yīng)用實(shí)踐，進(jìn)一步印證該方法的可操作性和可推廣性。

綜合評(píng)價(jià)方法是科技影響力綜合評(píng)價(jià)的最后且關(guān)鍵的環(huán)節(jié)，其需要建立在科學(xué)合理的指標(biāo)體系及權(quán)重、穩(wěn)定可靠的數(shù)據(jù)來源、嚴(yán)謹(jǐn)細(xì)致的數(shù)據(jù)清洗和整理基礎(chǔ)之上，之前任一環(huán)節(jié)出現(xiàn)問題，都將導(dǎo)致最終評(píng)價(jià)結(jié)果的差異，甚至出現(xiàn)違反常識(shí)的結(jié)果。綜合評(píng)價(jià)方法的選擇，除了需要從方法學(xué)角度考慮之外，還應(yīng)結(jié)合實(shí)際數(shù)據(jù)情況采用多種評(píng)價(jià)方法進(jìn)行評(píng)價(jià)，分析多種評(píng)價(jià)結(jié)果的異同，結(jié)合實(shí)際情況謹(jǐn)慎進(jìn)行選擇。

利益沖突：所有作者均聲明不存在利益沖突