姜英玉 鐘源 李前慧
摘要:目的? 評(píng)估國(guó)內(nèi)App中常見(jiàn)的智能預(yù)診系統(tǒng)結(jié)果準(zhǔn)確性。方法? 截止2018年1月1日,在Apple App Store中篩選包含智能預(yù)診功能的、免費(fèi)的、面向公眾的、針對(duì)人群的、針對(duì)全病種的7個(gè)App,在標(biāo)準(zhǔn)化病人案例中篩選內(nèi)科病例7例,外科病例4例,婦科病例2例,兒科病例2例。按照病例所述病情逐一輸入所篩選出的智能預(yù)診系統(tǒng)中,記錄系統(tǒng)出示的預(yù)診結(jié)果,統(tǒng)計(jì)正確的診斷是否列在第一項(xiàng)、正確的診斷是否列在前三項(xiàng)、是否列出正確診斷。結(jié)果? ①所有APP中僅App A詢問(wèn)用戶的身高、體重,App C并未詢問(wèn)用戶的身高、體重、性別、年齡就開(kāi)始問(wèn)診,有3個(gè)系統(tǒng)允許用戶在查找癥狀時(shí)同時(shí)輸入多個(gè)癥狀;②預(yù)診結(jié)果準(zhǔn)確率為64.76%,正確診斷列在第一項(xiàng)占26.67%,正確診斷列在前三項(xiàng)的占39.05%。結(jié)論? 當(dāng)前現(xiàn)有的預(yù)診系統(tǒng)結(jié)果準(zhǔn)確性仍較低,用戶應(yīng)理性看待智能預(yù)診系統(tǒng)的預(yù)診結(jié)果,不能盲目依賴。
關(guān)鍵詞:智能預(yù)診系統(tǒng);預(yù)診結(jié)果;準(zhǔn)確性
中圖分類號(hào):TN929.53;TN911.7? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼:B? ? ? ? ? ? ? ? ? ? ? ? ?DOI:10.3969/j.issn.1006-1959.2019.15.007
文章編號(hào):1006-1959(2019)15-0019-04
Abstract:Objective? To assess the accuracy of the results of intelligent pre-diagnosis systems commonly found in domestic App.Methods? As of January 1, 2018, the Apple App Store was selected to include free, public-facing, population-oriented, 7-case-wide App with intelligent pre-diagnosis capabilities, and to screen medical cases in standardized patient cases. There were 7 cases, 4 cases of surgical cases, 2 cases of gynecology, and 2 cases of pediatrics. According to the condition of the case, input the selected intelligent pre-diagnosis system, record the pre-diagnosis results presented by the system, and check whether the correct diagnosis is listed in the first item, whether the correct diagnosis is listed in the first three items, and whether it is listed correctly diagnosis.Results? ① In App, only App A asks the user's height and weight.App C does not ask the user's height, weight, gender, and age to start the consultation. There are 3 systems that allow the user to input multiple symptoms at the same time when searching for symptoms;② The accuracy rate of pre-diagnosis results was 64.76%, the correct diagnosis was listed in the first item accounting for 26.67%, and the correct diagnosis was listed in the first three items accounting for 39.05%.Conclusion? The accuracy of the current pre-diagnosis system results is still low. Users should rationally look at the pre-diagnosis results of the intelligent pre-diagnosis system and cannot rely on blindly.
Key words:Intelligent pre-diagnosis system;Pre-diagnosis results;Accuracy
智能預(yù)診系統(tǒng)是指利用互聯(lián)網(wǎng)技術(shù)將傳統(tǒng)的分診過(guò)程開(kāi)發(fā)成可供用戶直接使用的方法,根據(jù)用戶自身的癥狀,詢問(wèn)用戶相應(yīng)問(wèn)題,應(yīng)用分支邏輯、貝葉斯推理或其他方法完成對(duì)用戶病癥的早期判斷。預(yù)診結(jié)果可為用戶提供病情的初步診斷,該結(jié)果通常是將符合用戶描述癥狀的全部疾病按可能性進(jìn)行排序。隨著互聯(lián)網(wǎng)醫(yī)療的飛速發(fā)展,國(guó)內(nèi)外的相關(guān)企業(yè)、醫(yī)療機(jī)構(gòu)、政府部門等也投入到智能預(yù)診系統(tǒng)的開(kāi)發(fā)上,智能預(yù)診系統(tǒng)的準(zhǔn)確性決定了其使用價(jià)值。國(guó)外學(xué)者對(duì)此展開(kāi)較多的質(zhì)量評(píng)價(jià),但是國(guó)內(nèi)學(xué)者尚未針對(duì)智能預(yù)診系統(tǒng)的準(zhǔn)確性開(kāi)展研究,因此本研究選擇國(guó)內(nèi)常見(jiàn)的7種智能預(yù)診系統(tǒng),開(kāi)展準(zhǔn)確性評(píng)價(jià)研究,現(xiàn)報(bào)告如下。
1對(duì)象與方法
1.1智能預(yù)診系統(tǒng)的選取? 于2017年10月~2018年10月在Apple App Store 中,以“智能預(yù)診”“智能自診”“智能導(dǎo)診”“癥狀自查”作為檢索詞,篩選出于2018年1月1日服務(wù)器在運(yùn)營(yíng)中的213個(gè)App,逐一下載,納入標(biāo)準(zhǔn)為App中的智能預(yù)診系統(tǒng)是免費(fèi)的、面向公眾的、針對(duì)人群的、針對(duì)全病種的系統(tǒng),共計(jì)納入7個(gè)App,用字母A~G表示。
1.2標(biāo)準(zhǔn)化病人選取? 從中國(guó)“標(biāo)準(zhǔn)化病人”實(shí)踐教學(xué)指導(dǎo)委員會(huì)主持編寫(xiě)的《標(biāo)準(zhǔn)化病人培訓(xùn)實(shí)用教程》以及委員會(huì)官方網(wǎng)站(http://www.chinesesp.com)的SP腳本中選取本研究所需病例,共選15例,其中內(nèi)科7例,外科4例,婦科2例,兒科2例。
1.3預(yù)診結(jié)果的評(píng)估方法? 將標(biāo)準(zhǔn)化病人病例輸入到每個(gè)App中,記錄預(yù)診結(jié)果。系統(tǒng)出示的預(yù)診結(jié)果最多提到了10項(xiàng)可能的疾病,但有很多用戶只關(guān)注列出的重要診斷,因此本研究在判斷預(yù)診結(jié)果準(zhǔn)確性時(shí),分三種情況進(jìn)行統(tǒng)計(jì):①正確的診斷列在第一項(xiàng);②正確的診斷列在前三項(xiàng);③列出正確診斷。
2結(jié)果與分析
2.1智能預(yù)診系統(tǒng)基本情況? 納入研究的7個(gè)智能預(yù)診App均提供明確的疾病診斷。所有App中僅App A詢問(wèn)用戶的身高、體重,App C并未詢問(wèn)用戶的身高、體重、性別、年齡就開(kāi)始問(wèn)診,有3個(gè)系統(tǒng)允許用戶在查找癥狀時(shí)同時(shí)輸入多個(gè)癥狀,各預(yù)診系統(tǒng)基本情況見(jiàn)表1。
2.2預(yù)診系統(tǒng)診斷結(jié)果的準(zhǔn)確性? 除App F外,其他智能預(yù)診系統(tǒng)一般會(huì)將用戶可能存在的疾病,按照可能性的大小依次列出??傮w來(lái)說(shuō),研究納入7個(gè)智能預(yù)診系統(tǒng)的預(yù)診結(jié)果準(zhǔn)確率為64.76%,其中正確診斷列在第一項(xiàng)的占26.67%,正確診斷列在前三項(xiàng)的占39.05%。按標(biāo)準(zhǔn)化病人所屬科目來(lái)分,內(nèi)科類疾病預(yù)診結(jié)果準(zhǔn)確率為69.39%,正確診斷列在第一項(xiàng)的占34.70%,正確診斷列在前三項(xiàng)的占46.94%;外科類疾病預(yù)診結(jié)果準(zhǔn)確率為50.00%,正確診斷列在第一項(xiàng)的占10.71%,正確診斷列在前三項(xiàng)的占14.29%;婦科疾病預(yù)診結(jié)果準(zhǔn)確率為85.71%,正確診斷列在第一項(xiàng)的占14.29%,正確診斷列在前三項(xiàng)的占57.14%;兒科疾病預(yù)診結(jié)果準(zhǔn)確率為57.14%,正確診斷列在第一項(xiàng)的占50.00%,正確診斷列在前三項(xiàng)的占50.00%,見(jiàn)表2。
3討論
3.1與現(xiàn)有研究的對(duì)比? 近幾年,國(guó)外學(xué)者傾向于針對(duì)某一個(gè)智能預(yù)診系統(tǒng)進(jìn)行實(shí)證研究,考察智能預(yù)診系統(tǒng)的準(zhǔn)確性。Bisson LJ等[1]在患有膝關(guān)節(jié)疼痛的患者中進(jìn)行了一項(xiàng)隊(duì)列研究,328例患者使用某智能預(yù)診系統(tǒng)進(jìn)行自我診斷,系統(tǒng)根據(jù)患者癥狀生成一個(gè)潛在疾病的診斷列表,患者在其中選擇貼切的診斷,再接受臨床醫(yī)師的檢查,二者一對(duì)比,發(fā)現(xiàn)有58%的患者在智能預(yù)診系統(tǒng)的幫助下可以正確了解引起其膝關(guān)節(jié)疼痛的原因,該研究肯定了該智能預(yù)診系統(tǒng)對(duì)患者的幫助,但仍應(yīng)繼續(xù)著眼于提高診斷精確度。Semigran HL等[2]使用45個(gè)標(biāo)準(zhǔn)化病人病例對(duì)23個(gè)智能預(yù)診系統(tǒng)的準(zhǔn)確性進(jìn)行研究,將標(biāo)準(zhǔn)化病人病例中的癥狀輸入所檢驗(yàn)的系統(tǒng),在系統(tǒng)根據(jù)癥狀生成的診斷列表中尋找正確的疾病診斷,結(jié)果顯示僅有51%的智能預(yù)診系統(tǒng)在其列出的前三個(gè)可能出現(xiàn)的疾病中給出了正確的診斷結(jié)果,認(rèn)為智能預(yù)診系統(tǒng)的診斷結(jié)果的準(zhǔn)確性還需要進(jìn)一步提高。Powley L等[3]使用WebMD智能預(yù)診系統(tǒng)、英國(guó)國(guó)家醫(yī)療服務(wù)體系(NHS)對(duì)34例關(guān)節(jié)炎的患者進(jìn)行預(yù)診。WebMD智能預(yù)診系統(tǒng)會(huì)按可能性大小提供5個(gè)鑒別診斷,病癥名稱及出現(xiàn)次數(shù)分別為:痛風(fēng)(n=28)、類風(fēng)濕關(guān)節(jié)炎(n=24)、銀屑病關(guān)節(jié)炎(n=22)、骨關(guān)節(jié)炎(n=18)和手指脫臼(n=10)。其中,在21例類風(fēng)濕性關(guān)節(jié)炎患者中,只有4例的第一個(gè)診斷為正確診斷。雖然第一個(gè)診斷的準(zhǔn)確性很差,但診斷列表通常包含正確的診斷。該研究認(rèn)為NHS診斷結(jié)果有風(fēng)險(xiǎn)規(guī)避傾向,僅有56%的患者得到符合疾病狀態(tài)的分診建議。因此,Powley L認(rèn)為網(wǎng)上的診斷往往是不恰當(dāng)?shù)?,?huì)導(dǎo)致醫(yī)療服務(wù)使用不合理。
一項(xiàng)關(guān)于將互聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用于國(guó)家綜合檢測(cè)系統(tǒng)的研究提取了2012年8月1日~2013年7月1日英國(guó)國(guó)家醫(yī)療服務(wù)體系(NHS)在線智能預(yù)診系統(tǒng)的預(yù)診數(shù)據(jù),對(duì)用戶預(yù)診的癥狀類別進(jìn)行了時(shí)間序列分析,結(jié)果顯示智能預(yù)診系統(tǒng)相對(duì)于電話分診可以提供額外的疾病早期預(yù)警信息[4]。Poote AE等[5]評(píng)估了一個(gè)大學(xué)生健康中心的自我評(píng)估分類系統(tǒng),154例患者分別接受自我評(píng)估系統(tǒng)和全科醫(yī)生的診斷,兩種診斷結(jié)果一致率為39%。與全科醫(yī)生評(píng)估相比,自我評(píng)估系統(tǒng)傾向于規(guī)避風(fēng)險(xiǎn),建議56%的患者需要緊急就醫(yī),但是也存在評(píng)估系統(tǒng)正確鑒別出患者需要緊急護(hù)理,而全科醫(yī)生卻未診出的案例。
Luger TM等[6]采用有聲思維方法(Think-Aloud)將關(guān)注重點(diǎn)投向評(píng)估老年人使用智能預(yù)診系統(tǒng)的過(guò)程及如何找到準(zhǔn)確診斷的過(guò)程。研究給予79例50歲以上的老年人一段關(guān)于病情癥狀的描述,讓其使用互聯(lián)網(wǎng)預(yù)診(Google、WebMD)思考該癥狀的疾病,并大聲說(shuō)出思考過(guò)程。研究者記錄這些思考過(guò)程,找尋老年人判斷疾病的策略。結(jié)果顯示41%的參與者找到了正確診斷,在判斷過(guò)程中參與者傾向于從預(yù)診系統(tǒng)給出的癥狀中使用假設(shè)-演繹法推斷正確診斷,并輔之以現(xiàn)有的醫(yī)學(xué)知識(shí)和疾病經(jīng)驗(yàn)。
Marcoruiz L[7]等對(duì)挪威一款Erdusyk智能預(yù)診系統(tǒng)開(kāi)展質(zhì)量評(píng)價(jià)測(cè)試。第一階段由大樣本用戶(n=53)填寫(xiě)基于技術(shù)接受模型設(shè)計(jì)的調(diào)查問(wèn)卷,采用主成分分析法分析用戶界面對(duì)技術(shù)接受的貢獻(xiàn)。第二階段采用有聲思維方法使測(cè)試者(n=15)使用Erdusyk,并結(jié)合測(cè)試過(guò)程的思考進(jìn)行訪談。結(jié)果發(fā)現(xiàn)Erdusyk的主要使用障礙是記錄強(qiáng)度的量表級(jí)別的選擇,導(dǎo)航方式的接受度、一些癥狀屬性的量化以及癥狀的特征選擇。其研究結(jié)果顯示大多數(shù)用戶認(rèn)為智能預(yù)診系統(tǒng)會(huì)幫助自己避免受到網(wǎng)頁(yè)(谷歌)上免費(fèi)搜索到的低質(zhì)量信息的干擾。
North F等[8]研究了可查詢癥狀的網(wǎng)站是否提供足夠的信息,以滿足用戶的緊急護(hù)理、就診需求。該研究在120個(gè)網(wǎng)站中搜索胸痛、呼吸急促等潛在的危險(xiǎn)癥狀,33%的網(wǎng)站沒(méi)有嚴(yán)重癥狀指標(biāo),在確定關(guān)鍵癥狀指標(biāo)的病例中,42%沒(méi)有提出進(jìn)一步護(hù)理建議。該研究指出依靠互聯(lián)網(wǎng)搜索來(lái)確定癥狀的緊急程度是存在一定風(fēng)險(xiǎn)的。由此可見(jiàn),在用戶預(yù)診需求激增的當(dāng)下,有必要完善智能預(yù)診系統(tǒng),給用戶提供可靠的、科學(xué)的智能預(yù)診工具。
North F[9]等的另一項(xiàng)研究評(píng)估了互聯(lián)網(wǎng)預(yù)診和電話預(yù)診的差異,其結(jié)果表明互聯(lián)網(wǎng)用戶尋求成人癥狀的頻率是兒童癥狀的13倍,而電話預(yù)診中僅為2.1倍;兩種方式詢問(wèn)的癥狀具有相似頻率;互聯(lián)網(wǎng)用戶對(duì)慢性病的評(píng)估更感興趣,電話詢問(wèn)者更多關(guān)心急性癥狀。
將本研究得出的智能預(yù)診系統(tǒng)預(yù)診結(jié)果準(zhǔn)確性與現(xiàn)有文獻(xiàn)進(jìn)行對(duì)比,發(fā)現(xiàn)本研究的所有系統(tǒng)預(yù)診結(jié)果平均準(zhǔn)確性較高,為64.76%。但不可否認(rèn)正確診斷列在第一位的比例僅為26.67%,這與系統(tǒng)運(yùn)行背后需要的醫(yī)學(xué)大數(shù)據(jù)和智能算法相關(guān)。國(guó)外智能預(yù)診系統(tǒng)發(fā)展較早且成熟,醫(yī)學(xué)數(shù)據(jù)庫(kù)較完備,而我國(guó)醫(yī)療數(shù)據(jù)較分散,會(huì)影響預(yù)診結(jié)果準(zhǔn)確性。
3.2建議? 智能預(yù)診系統(tǒng)是以醫(yī)學(xué)數(shù)據(jù)庫(kù)為依托,以智能算法為技術(shù)支撐的醫(yī)療服務(wù)系統(tǒng),因此想要爆發(fā)真正的生命力,需要不斷擴(kuò)充醫(yī)學(xué)數(shù)據(jù)庫(kù),以開(kāi)發(fā)完備的智能算法,進(jìn)一步提高系統(tǒng)準(zhǔn)確性。
醫(yī)學(xué)是在不斷發(fā)展中的學(xué)科,ICD-10收錄了26000多種疾病,不斷有疾病被治愈甚至消滅,但隨著環(huán)境的變化,又會(huì)有新的疾病被發(fā)現(xiàn),因此醫(yī)學(xué)數(shù)據(jù)庫(kù)不僅數(shù)據(jù)量龐大而且在不斷更新,群體層面的疾病預(yù)防及診療體系的評(píng)價(jià)[10]、特定疾病的機(jī)制闡釋[11]以及個(gè)體患者的疾病診療決策支持[12]都將依靠醫(yī)療大數(shù)據(jù)不斷發(fā)展。美國(guó)規(guī)模最大的健康險(xiǎn)公司W(wǎng)ellpoint早已將醫(yī)療大數(shù)據(jù)運(yùn)用在商業(yè)活動(dòng)中,其啟用IBM超級(jí)計(jì)算機(jī)“Watson”輔助醫(yī)生的醫(yī)療診斷。若要不斷提高智能預(yù)診系統(tǒng)的準(zhǔn)確性,就要最大程度的獲取和積累醫(yī)學(xué)數(shù)據(jù),尤其是中國(guó)醫(yī)學(xué)數(shù)據(jù),更符合中國(guó)人的身體狀況。
醫(yī)學(xué)數(shù)據(jù)不僅數(shù)量龐大,而且相互關(guān)聯(lián),錯(cuò)綜復(fù)雜,要最大化地利用好醫(yī)學(xué)大數(shù)據(jù)庫(kù),還需要進(jìn)行數(shù)據(jù)挖掘和智能算法的開(kāi)發(fā)。數(shù)據(jù)本身會(huì)受到樣本量、環(huán)境、抽樣、偏倚等因素的影響,醫(yī)療大數(shù)據(jù)是宏觀的,以宏觀評(píng)價(jià)微觀難免會(huì)出現(xiàn)問(wèn)題,因此使用醫(yī)療大數(shù)據(jù)評(píng)價(jià)個(gè)體時(shí)出現(xiàn)誤診的可能無(wú)法避免。例如哮喘的臨床表現(xiàn)[13]就存在顯著的異質(zhì)性,在發(fā)病年齡、性別、肥胖、氣道高反應(yīng)性的嚴(yán)重程度等方面都有個(gè)體性差異。如何將多個(gè)維度的數(shù)據(jù)進(jìn)行整合,為患者提供精細(xì)化、個(gè)體化的診療指導(dǎo),還需要在數(shù)據(jù)挖掘上下功夫,并研究可行的智能算法。隨著計(jì)算機(jī)硬件性能的提升,數(shù)據(jù)庫(kù)技術(shù)的發(fā)展,醫(yī)學(xué)數(shù)據(jù)會(huì)呈幾何式增長(zhǎng),數(shù)據(jù)挖掘可用的數(shù)據(jù)條目會(huì)越來(lái)越多。數(shù)據(jù)挖掘工具也將不斷更新,數(shù)據(jù)挖掘算法也會(huì)越來(lái)越智能化,使自動(dòng)選擇算法、自動(dòng)調(diào)優(yōu)參數(shù)等成為可能,將數(shù)據(jù)的潛力充分開(kāi)發(fā)出來(lái)[14]??傊?,提高智能預(yù)診系統(tǒng)準(zhǔn)確性的關(guān)鍵在于擴(kuò)充醫(yī)療大數(shù)據(jù)庫(kù),通過(guò)大量的疾病數(shù)據(jù)挖掘其中診斷規(guī)律、特點(diǎn)等,建立預(yù)測(cè)模型,提高預(yù)診結(jié)果準(zhǔn)確性,幫助用戶完成預(yù)診行為,輔助臨床醫(yī)學(xué)診斷。
4總結(jié)
智能預(yù)診系統(tǒng)作為預(yù)診工具,其診斷結(jié)果的準(zhǔn)確性雖然無(wú)需也無(wú)法達(dá)到醫(yī)療診斷的精確度,但是仍要以不斷提高預(yù)診結(jié)果準(zhǔn)確性為發(fā)展目標(biāo),才能滿足用戶預(yù)診需求,提高用戶滿意度,實(shí)現(xiàn)系統(tǒng)使用價(jià)值。而用戶在使用智能預(yù)診系統(tǒng)時(shí),還是要理性看待,智能預(yù)診系統(tǒng)的結(jié)果只能作為醫(yī)學(xué)輔助信息,不可作為醫(yī)療診斷結(jié)果,若有需要仍建議尋求專業(yè)醫(yī)師的幫助。
參考文獻(xiàn):
[1]Bisson LJ,Komm JT,Bernas GA,et al.How Accurate Are Patients at Diagnosing the Cause of Their Knee Pain With the Help of a Web-based Symptom Checker[J].Orthopaedic Journal of Sports Medicine,2016,4(2):2325967116630286.
[2]Semigran HL,Linder JA,Gidengil C,et al.Evaluation of symptom checkers for self diagnosis and triage:audit study[J].BMJ,2015(351):h3480.
[3]Powley L,Mcilroy G,Simons G,et al.Are online symptoms checkers useful for patients with inflammatory arthritis[J].BMCMusculoskeletal Disorders,2016,17(1):362.
[4]Elliot AJ,Kara EO,Loveridge P,et al.Internet-based remote health self-checker symptom data as an adjuvant to a national syndromic surveillance system[J].Epidemiology & Infection,2015,143(16):3416.
[5]Poote AE,F(xiàn)rench DP,Dale J,et al.A study of automated self-assessment in a primary care student health centresetting[J].Journal of Telemedicine & Telecare,2014,20(3):123-127.
[6]Luger TM,Houston TK,Suls J.Older adult experience of online diagnosis:results from a scenario-based think-aloud protocol[J].Journal of Medical Internet Research,2014,16(1):e16.