岳曉冬,劉思雯,袁 斌

(上海大學 計算機工程與科學學院, 上海 200444)

臨床診斷過程中產(chǎn)生大量多種類型的醫(yī)學影像,如X光、CT、核磁共振影像與病理影像,影像數(shù)據(jù)分析已經(jīng)成為現(xiàn)代醫(yī)學專家系統(tǒng)中的核心技術[1]。近年來,由于深度學習方法對于復雜數(shù)據(jù)的特征表示學習具有優(yōu)勢[2],深度神經(jīng)網(wǎng)絡模型被廣泛應用于醫(yī)學影像分割、分類與重構任務,并取得了良好應用效果[3-4]。用于疾病診斷的決策支持系統(tǒng)通常采用深度神經(jīng)網(wǎng)絡對醫(yī)學影像進行分類以實現(xiàn)智能輔助診斷。然而,由于標注的訓練數(shù)據(jù)有限、數(shù)據(jù)噪聲、病灶表征不明確等因素影響,實際應用中的醫(yī)學影像數(shù)據(jù)普遍包含不確定樣例。對不確定影像數(shù)據(jù)直接應用深度學習方法進行強制確定分類可能導致嚴重病例誤判,從而造成過高的系統(tǒng)決策風險。

對具有不確定性的數(shù)據(jù)樣例進行不確定性分類(或拒絕識別分類),并據(jù)此實現(xiàn)延遲決策進行謹慎分類是降低數(shù)據(jù)分類風險的有效途徑[5-6]。傳統(tǒng)確定的分類方法嚴格地給每個數(shù)據(jù)樣例分配類別標簽,這對于具有不確定性的數(shù)據(jù)可能會產(chǎn)生牽強的分類結果,從而導致預測錯誤。不確定性分類通過度量數(shù)據(jù)的不確定性,識別出不確定樣例作為拒識類別。在分類過程中劃分出不確定數(shù)據(jù)進行后處理有助于減少決策誤差,同時有利于通過人機交互將領域知識與專家經(jīng)驗納入分類過程,例如癌癥診斷決策支持系統(tǒng)中,如果系統(tǒng)能夠識別出不確定病例并將其提交醫(yī)生進行謹慎檢查,就可以避免系統(tǒng)自主決策導致的誤診風險[7-8]。

作為不確定性決策的有效工具,三支決策為不確定性數(shù)據(jù)分類提供了理論依據(jù)[9]?；谌Q策的病例數(shù)據(jù)分類有助于區(qū)分不確定病例,延遲謹慎決策,通過人機協(xié)同有效降低系統(tǒng)決策風險。三支決策從具有不確定性的數(shù)據(jù)中提取決策規(guī)則,將數(shù)據(jù)空間劃分為決策正域,負域與邊界區(qū)域[10]。從分類視角看,3個區(qū)域分別對應數(shù)據(jù)確定屬于此類別,確定不屬于此類與不確定樣例[11]。三支決策理論已經(jīng)被用于拓展多種類型的確定分類器來構造不確定性數(shù)據(jù)分類方法,例如序貫決策學習[12]、線性分類器[13]、鄰域分類器[14]等。然而，由于傳統(tǒng)三支決策理論方法基于邏輯決策規(guī)則構造,現(xiàn)有多數(shù)基于三支決策的不確定性分類方法擅長分析結構化數(shù)據(jù),對于圖像等非結構化數(shù)據(jù)，不確定性分類存在應用局限,限制了三支決策不確定性分類方法在基于醫(yī)學影像的決策支持系統(tǒng)中的應用。

針對該問題,本文將證據(jù)理論與深度神經(jīng)網(wǎng)絡相結合,拓展構造了證據(jù)深度神經(jīng)網(wǎng)絡,并針對醫(yī)學影像不確定性分類任務,構造了基于證據(jù)深度神經(jīng)網(wǎng)絡的醫(yī)學影像三支決策方法。方法采用證據(jù)理論表示神經(jīng)網(wǎng)絡預測輸出的不確定性,并通過拓展神經(jīng)網(wǎng)絡目標函數(shù)，實現(xiàn)了不確定性分類過程中的證據(jù)優(yōu)化,以提升證據(jù)神經(jīng)網(wǎng)絡對高風險類中不確定數(shù)據(jù)樣例的識別能力。本文研究工作主要包括:

1)面向不確定性分類任務,拓展構造證據(jù)深度神經(jīng)網(wǎng)絡。將神經(jīng)網(wǎng)絡的分類預測輸出作為分類證據(jù),以證據(jù)為分布參數(shù)對分類預測的概率分布進行建模,并基于預測概率分布拓展構造證據(jù)神經(jīng)網(wǎng)絡的分類損失目標,損失目標包括預測誤差和證據(jù)優(yōu)化兩項。在證據(jù)神經(jīng)網(wǎng)絡分類模型的優(yōu)化過程中,在降低預測誤差之外,高風險類數(shù)據(jù)的預測證據(jù)也將被優(yōu)化調(diào)整。

2)應用證據(jù)深度神經(jīng)網(wǎng)絡設計三支決策分類方法,并用于醫(yī)學影像不確定性分類。依據(jù)證據(jù)深度神經(jīng)網(wǎng)絡生成的分類證據(jù),提出了分類信任與不確定性度量。不確定性度量綜合了由“未知”和“沖突”引起的分類不確定性。參照三支決策理論,基于證據(jù)深度神經(jīng)網(wǎng)絡設計提出三支決策不確定性分類算法,通過設置不確定性閾值對神經(jīng)網(wǎng)絡分類預測的不確定度進行劃分,從而識別確定與不確定影像數(shù)據(jù)。

1 相關工作

1.1 三支決策分類方法

三支決策理論建立在多種軟計算模型及其不確定性決策方法的區(qū)域三分特性之上,包括區(qū)間集[15]、多值邏輯模型[16]、概念格模型[17-19]、粗糙集模型[10]、模糊集模型[20]、陰影集模型[21-22]等。通過增加不確定性決策選項,三支決策擴展了傳統(tǒng)確定的決策模型。三支決策方法將論域劃分為正域、負域和邊界域,分別表示確定屬于、確定不屬于、不確定情況[10]。

給定論域樣本集合U={x}與決策評價函數(shù)v:U→L,通過對決策評價進行閾值化處理,可以定義決策區(qū)域。假設(L,?)為決策評價的有序集,?表示全序關系,給定決策評價閾值αβ,則確定決策正域、確定決策負域、不確定性決策域的樣本集合可定義為:

POSα,β(v)={x∈U|v(x)α|}；

NEGα,β(v)={x∈U|v(x)?β|}；

BNDα,β(v)={x∈U|αv(x)β|}。

通過將三支決策理論與多種數(shù)據(jù)分類方法相結合,可以實現(xiàn)數(shù)據(jù)的三支決策不確定性分類。三支決策分類方法包括三支代價敏感學習方法[23]、基于博弈論的三支分類方法[24]、鄰域三支分類方法[25]、三支序貫規(guī)則分類方法[12]、三支主動學習方法[26]、三支半監(jiān)督學習方法[27]等。三支決策分類方法的關鍵在于對分類過程中數(shù)據(jù)的不確定性進行度量,識別出具有不確定度高的數(shù)據(jù)進行延遲決策以降低分類風險。

鑒于可以有效降低不確定性數(shù)據(jù)的決策風險,三支決策分類方法已經(jīng)被廣泛應用于疾病輔助診斷[8]、網(wǎng)絡安全[28]、推薦系統(tǒng)[29]、社交網(wǎng)絡[30]、文本分析[31]等領域?，F(xiàn)有的三支決策分類方法擅長處理結構化數(shù)據(jù),如表格類型數(shù)據(jù),但是缺乏對非結構化數(shù)據(jù)的特征學習能力,因此限制了三支決策分類方法在基于圖像分析的專家系統(tǒng)中的應用。針對這一局限,本文將深度神經(jīng)網(wǎng)絡的特征學習優(yōu)勢與證據(jù)理論的不確定性表示度量優(yōu)勢相結合,提出了有效的影像三支決策分類方法。

1.2 基于證據(jù)理論的分類方法

Dempster-Shafer (D-S)證據(jù)理論被認為是一種廣義概率,用來表示和處理數(shù)據(jù)與知識的不確定性[32]。證據(jù)理論基于信任函數(shù)來度量數(shù)據(jù)與知識的不確定性并使用Dempster規(guī)則對證據(jù)進行推理[33]。

證據(jù)理論信任函數(shù)與Dempster規(guī)則已經(jīng)與多種分類算法相結合,用于處理數(shù)據(jù)分類中的不確定性?；谛湃魏瘮?shù)與Dempster規(guī)則度量、計算鄰域分類中樣本隸屬度的不確定性,相關研究提出了證據(jù)k近鄰算法,并通過參數(shù)優(yōu)化,進一步改進了證據(jù)k近鄰算法對于鄰域初始化的魯棒性[34]。通過從具有多個類別標記的樣本中生成證據(jù)表示的原型樣例,證據(jù)k近鄰也可以實現(xiàn)多標記分類[35]。為了優(yōu)化證據(jù)k近鄰中的距離度量,Lian等提出了相似性測度學習來構建證據(jù)近鄰分類[36]。通過引入樣本背景信息,證據(jù)近鄰分類被擴展為半監(jiān)督學習算法,以應對少量類別標注條件下的數(shù)據(jù)分析需求[37]。

證據(jù)理論也被用于改進邏輯回歸與支持向量機等線性分類算法。 Xu等提出了證據(jù)邏輯回歸模型, 該模型將分類器的輸出轉(zhuǎn)換為可基于有限數(shù)據(jù)表示的信任函數(shù)[38], 相關研究也同樣在多元邏輯回歸中使用信任函數(shù)來實現(xiàn)多類別分類[39]。 Denoeux從證據(jù)理論視角重新討論了基于距離的分類器、 邏輯回歸與支持向量機算法, 發(fā)現(xiàn)證據(jù)理論可以成為不確定性數(shù)據(jù)分類的通用概率框架[40]。

除了近鄰分類器與線性分類算法,證據(jù)理論也被應用于神經(jīng)網(wǎng)絡模型。Denoeux等提出了一種結合Dempster規(guī)則的多層神經(jīng)網(wǎng)絡用于自適應模式分類[41]。文獻[42]從證據(jù)理論角度對前饋神經(jīng)網(wǎng)絡重新建模,將神經(jīng)網(wǎng)絡的模型輸入轉(zhuǎn)換為基本概率分配函數(shù),并在神經(jīng)網(wǎng)絡的傳播過程中采用Dempster規(guī)則對證據(jù)進行融合。近年來，證據(jù)理論也被用于描述深度神經(jīng)網(wǎng)絡的不確定性。Sensoy等采用證據(jù)理論度量深度卷積神經(jīng)網(wǎng)絡分類中的不確定性,構建了證據(jù)深度神經(jīng)網(wǎng)絡[43]。此外,證據(jù)深度神經(jīng)網(wǎng)絡也被用于構造不確定性數(shù)據(jù)分類算法[44-45]。

2 證據(jù)深度神經(jīng)網(wǎng)絡分類方法

相較于傳統(tǒng)深度神經(jīng)網(wǎng)絡采用Softmax函數(shù)將神經(jīng)網(wǎng)絡預測輸出值轉(zhuǎn)變?yōu)轭惛怕手颠M行分類,證據(jù)深度神經(jīng)網(wǎng)絡將網(wǎng)絡輸出視為模型在數(shù)據(jù)上提取采集到的關于預測分類的證據(jù),并將證據(jù)強度作為參數(shù)構造分類預測的概率分布。對于二分類問題與多分類問題,證據(jù)深度神經(jīng)網(wǎng)絡分別采用Beta分布與Dirichlet分布來構建分類預測的概率分布[43]。

(1)

其中，B(αi)表示多元Beta函數(shù)。

根據(jù)Dirichlet分布期望的性質(zhì),可以進一步推導分類損失函數(shù)，得

(2)

基于上述性質(zhì)可知,極小化證據(jù)分布表示的分類風險損失函數(shù),將引導深度神經(jīng)網(wǎng)絡為每個樣本提取關于其正確類別的更多證據(jù),避免樣本對于多個不同類別生成過于接近的證據(jù)(輸出激活值)形成誤分類。此外,在損失函數(shù)的優(yōu)化過程中,神經(jīng)網(wǎng)絡也可以通過不斷增強證據(jù)來縮小模型相對訓練集的分類預測方差,形成更穩(wěn)定的分類預測結果。

3 基于證據(jù)深度神經(jīng)網(wǎng)絡的醫(yī)學影像三支決策方法

本文進一步拓展了基于證據(jù)深度神經(jīng)網(wǎng)絡的分類方法以實現(xiàn)有效的醫(yī)學影像三支決策,具體步驟包括:首先，拓展證據(jù)神經(jīng)網(wǎng)絡目標函數(shù)以優(yōu)化影像數(shù)據(jù)的分類證據(jù);其次，由神經(jīng)網(wǎng)絡生成的證據(jù)形成影像分類的不確定性度量;最后，基于不確定性度量實現(xiàn)影像數(shù)據(jù)的三支決策分類。

3.1 拓展證據(jù)神經(jīng)網(wǎng)絡目標函數(shù)

(3)

其中，ρ=min(1.0,t/10)用于平衡目標函數(shù)中的兩項,t為網(wǎng)絡模型訓練過程中epoch索引。在模型訓練的初始階段,ρ<1使得神經(jīng)網(wǎng)絡旨在降低預測誤差。隨著訓練輪次增加,神經(jīng)網(wǎng)絡逐步重視證據(jù)優(yōu)化。當t≥10時,預測誤差與證據(jù)優(yōu)化在神經(jīng)網(wǎng)絡目標函數(shù)中具有相同的重要性。

(1-pi)βi-1dpi

(4)

(5)

基于pi的概率密度,可以進一步構造pi相較于yi的預測誤差期望,以此構造影像樣本xi的預測誤差項為

(1-pi)βi-1dpi

(6)

根據(jù)Beta分布的期望和方差的性質(zhì),推導可得預測誤差項的計算公式為

(1-pi)βi-1dpi=

Epi(‖pi-yi‖2)=

(E(pi)-yi)2+var(pi)=

(7)

與預測誤差項相似,本文也采用Beta分布及其概率密度函數(shù)來構造目標函數(shù)中的證據(jù)優(yōu)化項。通過Kullback-Leibler(KL)散度減小當前模型輸出的預測概率分布f與給定先驗分布h之間的差異,以此優(yōu)化調(diào)整神經(jīng)網(wǎng)絡生成的證據(jù)分布。

(8)

根據(jù)KL散度的定義,證據(jù)優(yōu)化項可被簡化為

(9)

根據(jù)Beta分布期望的性質(zhì),進一步推導證據(jù)優(yōu)化項得到

(10)

其中，ψ(·)表示Digamma函數(shù)。

3.2 證據(jù)表示的不確定性度量

(11)

基于分類信任度,可以進一步定義xi在分類中的不確定性度量ui為

(12)

其中，ε設置為極小正數(shù)以避免分母為0。

圖1 二分類證據(jù)分布的不確定性區(qū)域Fig.1 Uncertain region of evidence distribution for binary classification

圖1展示了應用本文提出的證據(jù)神經(jīng)網(wǎng)絡對乳腺癌病理影像[46]進行二分類之后正類(癌癥)影像數(shù)據(jù)的證據(jù)分布。可以發(fā)現(xiàn)，不同λ值下,證據(jù)優(yōu)化項對于樣本證據(jù)分布的優(yōu)化效果,基于優(yōu)化后的證據(jù)分布,可以很容易劃分出確定與不確定正類影像的分布區(qū)域。由分類“未知”導致的不確定影像數(shù)據(jù)分布在左下角區(qū)域,此處正、負兩類的信任度都較低,無法形成確定分類;由分類“沖突”導致的不確定影像數(shù)據(jù)分布在對角線區(qū)域,表示數(shù)據(jù)判定為正負兩類具有相似的信任度。

3.3 基于不確定性度量的影像三支決策

基于分類信任度與不確定性度量,可以設計實現(xiàn)醫(yī)學影像三支決策分類方法。不同于傳統(tǒng)三支決策方法采用參數(shù)對(α,β)來劃定不確定決策區(qū)域,本文提出的三支決策方法根據(jù)不確定性度量閾值來識別確定與不確定樣例。

Cτ(xi,d)=

其中，參數(shù)τ為不確定性度量閾值,用于判定影像是否為不確定樣例。鑒于數(shù)據(jù)分布的多樣性,為τ設置確定的參數(shù)值通常比較困難。因此,本文通過設置分類任務中用戶可接受的延遲決策數(shù)據(jù)比例(不確定樣本判定比例)來自適應設置不確定性閾值。 將待分類的所有影像樣本按照神經(jīng)網(wǎng)絡生成的不確定度量值從低到高排序, 選取前k%影像樣本判定為不確定樣例, 由此設置不確定性閾值。

4 實驗結果

為了驗證本文提出的基于證據(jù)深度神經(jīng)網(wǎng)絡的三支決策方法(EviDCNN-3WC)在醫(yī)學影像不確定性分類中的有效性,將方法應用于乳腺浸潤性導管癌影像(Breast IDC)[46]與肺炎X光影像(Chest Xray)[47]數(shù)據(jù)集進行實驗。乳腺癌是女性最常見的癌癥形式,浸潤性導管癌是最常見的乳腺癌類型。Breast IDC數(shù)據(jù)集是一個二分類數(shù)據(jù)集,包含162個乳腺浸潤性導管癌患者的病理影像,設置癌癥病例為正類(風險類),正常病例為負類。每個患者的病理圖像放大40倍,并被按照50×50像素尺寸分為277 524個切片,每個切片都被標記為是否帶有浸潤性導管癌區(qū)域,并用坐標的形式標記了該切片在患者整個病理圖像中的位置?？紤]到數(shù)據(jù)類別分布的非平衡性,實驗中對數(shù)據(jù)進行了采樣,篩選192 218張切片作為實驗數(shù)據(jù)集,并以7∶1∶2為比例確定訓練集、驗證集和測試集。Chest Xray數(shù)據(jù)集包含2 838張X光胸片影像,其中15% 作為測試數(shù)據(jù),其余作為訓練數(shù)據(jù),肺炎病例和正常病例分別設為正類(風險類)與負類。

在算法實現(xiàn)方面,以殘差深度神經(jīng)網(wǎng)絡(resnet 18)[48]為基礎模型構建證據(jù)深度神經(jīng)網(wǎng)絡,并將輸出層的激活函數(shù)修改為ReLU函數(shù),設置λ=3優(yōu)化網(wǎng)絡輸出的正類證據(jù)分布,便于證據(jù)深度神經(jīng)網(wǎng)絡識別出高風險類的不確定影像數(shù)據(jù)。

為了綜合評價所提出方法的不確定性分類效果, 實驗采用準確度(accuracy)、 F1指標(F1 score)、 查準率(precision)、 查全率(recall rate)與決策代價(decision cost)等多個分類評價指標如下:

Accuracy=(TP+TN)/(P+N)

F1 score=(2*TP)/(2*TP+FN+FP)

Precision=TP/(TP+FN)

Recall Rate=TP/(TP+FN)

其中：N為負類樣本數(shù)；P為正類樣本數(shù)；TP和FP分別表示真正類與假正類樣本數(shù)量；TN和FN分別表示真負類和假負類樣本數(shù)量。設正確分類代價為0,costNP, costPN分別表示假正類錯誤代價與假負類錯誤代價。分類決策代價為

為了減少風險類(正類)樣本的誤分類,實驗設置costPN=5, costNP=1。

實驗首先比較基于證據(jù)深度神經(jīng)網(wǎng)絡的三支分類算法(EviDCNN-3WC)與其他深度神經(jīng)網(wǎng)絡不確定性分類算法,以驗證本文提出的三支分類算法可以有效降低醫(yī)學影像分類的決策風險。具體對比以下4種具有不確定性樣本分類機制的深度神經(jīng)網(wǎng)絡分類算法:Resnet-MD、Resnet-PN與EvidentialNet分別采用Mahalanobis距離、softmax函數(shù)與證據(jù)理論度量殘差神經(jīng)網(wǎng)絡分類結果的不確定性,從而形成不確定分類[43-45],SelectiveNet通過重構網(wǎng)絡目標函數(shù)學習數(shù)據(jù)的不確定性度量,據(jù)此選擇確定數(shù)據(jù)進行分類[49]。設置分類結果中不確定度最高的20%影像為不確定病例,表1對比展示了應用不同算法對乳腺浸潤性導管癌影像進行不確定性分類的結果評價指標。

表1 不同算法在乳腺癌數(shù)據(jù)上的分類評價Tab.1 Comparison of Breast IDC classification

對比分類評價指標可以發(fā)現(xiàn),在所有的深度神經(jīng)網(wǎng)絡不確定性分類方法中,本文提出的EviDCNN-3WC方法的分類準確率、正類召回率、F1值最高,決策代價最低,表明所提出的方法可以有效減少高風險類別(癌癥病例)的誤分類情況。為了進一步驗證算法對于高風險不確定病例的識別能力，測試了不同分類算法在多個不確定性數(shù)據(jù)比率(拒絕識別比率)下的分類效果。圖2,3分別給出了不同分類算法在不確定性數(shù)據(jù)比率從0到50%變化時,分類結果的正類召回率與決策代價?？梢钥闯?，在所有不確定性數(shù)據(jù)比率下,三支分類算法均達到了最優(yōu)正類召回率與最低決策代價,表明本文提出的方法能穩(wěn)定、有效地找出高風險類別的不確定影像延遲決策,從而降低了分類風險。

接下來，實驗將基于肺炎X光影像數(shù)據(jù)進一步驗證本文提出的三支分類方法檢出不確定性病例的有效性。設置不確定性數(shù)據(jù)比率為10%,圖4展示了由EviDCNN-3WC識別出的確定與不確定肺炎X光影像,以及對應的正、負類預測概率p+,p-與影像分類的不確定性度量u。圖4A為確定負類(正常病例)的影像, 可見肺部區(qū)域非常清晰,而證據(jù)網(wǎng)絡三支分類算法生成了高負類預測概率p-=0.91與低不確定度u=0.12來表示確定負類判定。 圖4B為確定正類肺炎X光片,其中，肺部區(qū)域存在嚴重陰影。此時，EviDCNN-3WC也相應生成高的正類預測概率與低不確定度以表示確定正類判定。

圖2 不同分類算法正類召回率隨不確定性數(shù)據(jù)比率變化Fig.2 Recall rates of different classification methods with varying rejection rates

圖3 不同分類算法決策代價隨不確定性數(shù)據(jù)比率變化Fig.3 Decision costs of different classification methods with varying rejection rates

圖4C，D展示了三支分類算法識別出的不確定肺部X光片。影像C中肺部區(qū)域整體清晰,但是胸部一側(cè)存在少許暗影；影像D顯示肺部區(qū)域有淺色陰影,但癥狀不明顯。三支分類方法也相應形成低預測概率與高不確定度量值來表示不確定影像分類。識別出的不確定影像可延遲決策進行謹慎檢查,以減少誤分類的風險。實驗結果表明,提出的證據(jù)神經(jīng)網(wǎng)絡三支分類算法可以實現(xiàn)醫(yī)學影像準確分類,同時有效識別出不確定影像以降低分類風險。

A，B確定負類(正常)肺部影像與確定正類(肺炎)影像；C，D不確定負類與正類影像圖4 肺炎影像三支分類結果Fig.4 Three-way classification results of pneumonia images

5 結語

在醫(yī)學影像決策支持系統(tǒng)中,對于不確定影像數(shù)據(jù)采用確定分類方法進行識別可能造成嚴重的分類錯誤,導致過高的決策風險。三支決策為不確定性分類提供了理論支持,但是，傳統(tǒng)三支決策方法對于數(shù)字圖像等非結構化數(shù)據(jù)存在應用局限。針對問題,本文拓展了證據(jù)深度神經(jīng)網(wǎng)絡的目標函數(shù),提出了可應用于醫(yī)學影像不確定性分類的三支決策方法。大量醫(yī)學影像實驗數(shù)據(jù)表明，提出的方法可以有效降低醫(yī)學影像分類的風險。未來將基于證據(jù)理論進一步研究深度神經(jīng)網(wǎng)絡分類過程中的不確定性度量機制。