国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分析域自適應(yīng)研究

2024-06-01 17:54:18李佳燨劉紅英萬亮
計算機(jī)應(yīng)用研究 2024年5期
關(guān)鍵詞:源域

李佳燨 劉紅英 萬亮

摘 要:深度學(xué)習(xí)技術(shù)的廣泛應(yīng)用有力推動了醫(yī)學(xué)圖像分析領(lǐng)域的發(fā)展,然而大多數(shù)深度學(xué)習(xí)方法通常假設(shè)訓(xùn)練集和測試集是獨(dú)立同分布的,這個假設(shè)在模型臨床部署時很難保證實現(xiàn),因此常出現(xiàn)模型性能下降、場景泛化能力不強(qiáng)的困境?;谏疃葘W(xué)習(xí)的域自適應(yīng)技術(shù)是提升模型遷移能力的主流方法,其目的是使在一個數(shù)據(jù)集上訓(xùn)練的模型能夠在另一個沒有或只有少量標(biāo)簽的數(shù)據(jù)集上也獲得較好結(jié)果。由于醫(yī)學(xué)圖像存在著樣本獲取和標(biāo)注困難、圖像性質(zhì)特殊、模態(tài)差異等情況,這給域自適應(yīng)技術(shù)帶來很多現(xiàn)實挑戰(zhàn)。首先介紹域自適應(yīng)的定義及面臨的主要挑戰(zhàn),進(jìn)而從技術(shù)角度分類總結(jié)了近年來的相關(guān)算法,并對比分析其優(yōu)缺點(diǎn);然后詳細(xì)介紹了域自適應(yīng)常用的醫(yī)學(xué)圖像數(shù)據(jù)集以及相關(guān)算法結(jié)果情況;最后,從發(fā)展瓶頸、技術(shù)手段、交叉領(lǐng)域等方面,展望了面向醫(yī)學(xué)圖像分析的域自適應(yīng)的未來研究方向。

關(guān)鍵詞:醫(yī)學(xué)圖像分析; 域自適應(yīng); 域間偏移; 源域; 目標(biāo)域

中圖分類號:TP311?? 文獻(xiàn)標(biāo)志碼:A?? 文章編號:1001-3695(2024)05-002-1291-10

doi:10.19734/j.issn.1001-3695.2023.08.0379

Survey of medical image analysis domain adaptation based on deep learning

Abstract:The wide application of deep learning techniques has strongly promoted the development of the medical image analysis field. Most deep learning methods usually assume that the training and test sets are independent and identically distributed. However, the assumption is problematic to guarantee when the model. Resulting in the dilemma of model performance degradation and poor scene generalization ability. Deep learning-based domain adaptation techniques are the mainstream methods for improving model migration ability,which aims to enable the model trained on one dataset to obtain better results on another dataset with no or only a small amount of labels. Due to the difficulties in sample acquisition and labelling, unique image properties and modal differences in medical images,it brings many practical challenges to domain adaptive technology. This paper firstly introduced the definition and primary challenges of the domain adaptation and then classified and summarized related algorithms in recent years from a technical point of view, compared and analyzed their advantages and disadvantages, and then introduced the medical image datasets commonly used in domain adaptation and related algorithm results in detail. Finally, this paper prospected the future research direction of domain adaptation for medical image analysis regarding development bottlenecks, technical means, and cross-cutting areas.

Key words:medical image analysis; domain adaptation; domain shift; source domain; target domain

0 引言

近年來,深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于醫(yī)學(xué)圖像分析領(lǐng)域,并在分類[1]、分割[2, 3]、檢測[4]等任務(wù)中取得了出色的表現(xiàn)。然而,大部分方法在臨床部署時性能會出現(xiàn)顯著下降,這是由于在現(xiàn)實臨床場景中模型不可避免地會應(yīng)用于不同的醫(yī)院、掃描設(shè)備、患者群體等情況,導(dǎo)致其訓(xùn)練集和測試集之間存在分布差異,即域間偏移現(xiàn)象。一種直接的解決方案是在每個應(yīng)用的新場景中都重新收集數(shù)據(jù)并進(jìn)行訓(xùn)練,但醫(yī)學(xué)圖像數(shù)據(jù)的樣本獲取和標(biāo)注都非常困難,特別是標(biāo)注通常需要經(jīng)驗豐富的醫(yī)生完成,過程耗時耗力且成本較高,因此這種方法是不切合實際的。由于基于深度學(xué)習(xí)的域自適應(yīng)方法能夠減輕域間偏移對模型造成的影響,從而提升模型在現(xiàn)實世界面對復(fù)雜多樣的數(shù)據(jù)分布時的適應(yīng)能力,吸引了大量研究人員深入探索,已成為目前醫(yī)學(xué)圖像分析領(lǐng)域的研究熱點(diǎn)[5]。域自適應(yīng)(domain adaptation,DA)是在深度學(xué)習(xí)框架下,利用帶有標(biāo)注的數(shù)據(jù)集(即源域)和沒有標(biāo)注或只有少量標(biāo)注的數(shù)據(jù)集(即目標(biāo)域)學(xué)習(xí)給定的任務(wù)模型,使其在測試數(shù)據(jù)集所屬的目標(biāo)域中表現(xiàn)良好。然而,醫(yī)學(xué)圖像具有大規(guī)模數(shù)據(jù)集難獲取、圖像性質(zhì)特殊(例如低對比度、邊界模糊等)以及成像原理不同導(dǎo)致圖像呈現(xiàn)顯著差異等特有挑戰(zhàn)。因此,為了充分發(fā)揮域自適應(yīng)在醫(yī)學(xué)圖像領(lǐng)域的應(yīng)用優(yōu)勢,大量研究人員從多種技術(shù)角度,例如領(lǐng)域?qū)R[6~9]、解耦學(xué)習(xí)[10~12]和學(xué)習(xí)策略[13~15]等,解決上述挑戰(zhàn),并取得了顯著的成果,極大地提升了深度學(xué)習(xí)模型在臨床場景的遷移能力。

本文區(qū)別于已有的域自適應(yīng)綜述[5,16,17]有以下四點(diǎn)不同:a)重點(diǎn)梳理了面向醫(yī)學(xué)圖像分析的域自適應(yīng)研究方法,以技術(shù)手段作為劃分依據(jù),全面地總結(jié)和分析了現(xiàn)有的相關(guān)工作;b)結(jié)合醫(yī)學(xué)圖像的特點(diǎn),詳細(xì)分析了當(dāng)前域自適應(yīng)領(lǐng)域面臨的挑戰(zhàn);c)結(jié)合不同方法在常用公開數(shù)據(jù)集的評估結(jié)果,比較和分析不同類型研究方法的優(yōu)勢和限制;d)從發(fā)展瓶頸與解決方案、可探索的技術(shù)手段及交叉領(lǐng)域研究三個方面詳盡討論了域自適應(yīng)在醫(yī)學(xué)圖像分析領(lǐng)域未來的發(fā)展趨勢,為今后進(jìn)一步研究提供參考。

1 域自適應(yīng)問題的形式化定義

在域自適應(yīng)問題中,數(shù)據(jù)分布之間的偏移是導(dǎo)致模型性能下降的主要原因,因此為了確定樣本空間上的特定分布,本文首先定義域的概念,由此引出域自適應(yīng)的定義,最后歸納出域自適應(yīng)的研究目標(biāo),以便為后續(xù)研究方法的總結(jié)提供基礎(chǔ)。

定義2 域自適應(yīng)。解決的問題是當(dāng)源域和目標(biāo)域的輸入空間和輸出空間保持一致,而聯(lián)合概率分布發(fā)生變化的情況。在域自適應(yīng)問題中,存在一個有標(biāo)注數(shù)據(jù)集Ds (源域)和一個無標(biāo)注或只有少量標(biāo)注數(shù)據(jù)集Dt(目標(biāo)域),兩個域所對應(yīng)的聯(lián)合分布不同,即FsXY≠FtXY,學(xué)習(xí)算法的目標(biāo)是使得模型在目標(biāo)域泛化的誤差盡可能小,這一過程如圖1所示。

2 域自適應(yīng)在醫(yī)學(xué)圖像分析中的挑戰(zhàn)

相較于自然圖像,醫(yī)學(xué)圖像的特殊性體現(xiàn)在圖像特點(diǎn)、采集方式、數(shù)據(jù)集大小等多個方面。這些差異導(dǎo)致適用于自然圖像的方法難以在醫(yī)學(xué)圖像數(shù)據(jù)集上取得好的效果。

1)醫(yī)學(xué)圖像的性質(zhì)

醫(yī)學(xué)圖像的采集過程中,大多數(shù)成像方式的醫(yī)學(xué)圖像通常會存在低分辨率、高噪聲水平、低對比度、幾何變形以及成像偽影等問題。這些通用的醫(yī)學(xué)圖像分析挑戰(zhàn)也影響著域自適應(yīng)算法的性能。同時,醫(yī)學(xué)圖像中通常包含有疾病病灶信息,這些信息對于疾病的分類、檢測、分割等任務(wù)都是至關(guān)重要的。在域自適應(yīng)中,如果未能保留病變或異常的特定語義信息,會損害模型的性能。因此,醫(yī)學(xué)圖像本身的特殊性質(zhì)是在域自適應(yīng)算法設(shè)計中一個需要重點(diǎn)考慮的問題。

2)跨模態(tài)應(yīng)用場景下的域自適應(yīng)

與一般由光學(xué)設(shè)備拍攝的自然圖像不同,醫(yī)學(xué)放射圖像是通過不同的成像方式獲得的,如計算機(jī)斷層掃描 (computed tomography,CT) 和磁共振成像 (magnetic resonance imaging,MRI) 。由于不同的成像原理,這兩個模態(tài)的數(shù)據(jù)分布明顯不匹配,同時其解剖結(jié)構(gòu)呈現(xiàn)不同外觀。如圖2(a)所示,心臟解剖結(jié)構(gòu)在MR和CT兩個模態(tài)之間存在嚴(yán)重域間偏移現(xiàn)象[18]。因此,將在其中一個模態(tài)上訓(xùn)練的模型直接應(yīng)用到另一個模態(tài)上時,模型性能會顯著下降,如圖2(b)所示。與一般的域自適應(yīng)任務(wù)相比,跨模態(tài)醫(yī)學(xué)圖像的域自適應(yīng)更具挑戰(zhàn)性。

3)少量樣本/標(biāo)注驅(qū)動下的域自適應(yīng)

深度學(xué)習(xí)算法通常依賴大量數(shù)據(jù),然而醫(yī)學(xué)圖像數(shù)據(jù)的獲取涉及患者隱私、數(shù)據(jù)安全等問題,難以收集大量樣本,同時醫(yī)學(xué)圖像數(shù)據(jù)的標(biāo)注通常需要經(jīng)驗豐富的醫(yī)生,標(biāo)注過程耗時耗力,成本較高。常用的自然數(shù)據(jù)集ImageNet包含超過1 400萬的標(biāo)注圖像,而大多醫(yī)學(xué)圖像數(shù)據(jù)集整體規(guī)模較小,僅包含幾十到幾百個病例。因此,在源域或目標(biāo)域僅有少量樣本/標(biāo)注驅(qū)動的情況下,大部分基于深度學(xué)習(xí)的域自適應(yīng)方法難以保持其本身的性能。

4)醫(yī)學(xué)圖像分析中特殊任務(wù)的域自適應(yīng)

在醫(yī)學(xué)圖像分析領(lǐng)域,疾病診斷任務(wù)是十分常見的,通常涉及離散和獨(dú)立標(biāo)簽的分類,類別間沒有相關(guān)性。然而,離散且有序的標(biāo)簽在醫(yī)學(xué)領(lǐng)域同樣被廣泛應(yīng)用。例如,典型的糖尿病視網(wǎng)膜病變系統(tǒng)中的五個等級對應(yīng)五個嚴(yán)重級別[19],如圖3所示。這類標(biāo)簽是根據(jù)其嚴(yán)重程度設(shè)定的,因此該任務(wù)在域自適應(yīng)的挑戰(zhàn)是如何建模才能夠遷移有序的類間相關(guān)結(jié)構(gòu)[20]。與之類似,根據(jù)醫(yī)學(xué)圖像預(yù)測生存時間等回歸任務(wù),醫(yī)學(xué)圖像重建任務(wù),異常檢測任務(wù)等,都還未充分探索域間偏移問題。域自適應(yīng)針對以上醫(yī)學(xué)圖像分析中的特殊任務(wù)也存在一定的挑戰(zhàn)。

最后,在實際的臨床場景中,上述挑戰(zhàn)往往并不是單一出現(xiàn),多類困難并存的情形也十分常見。因此,面向醫(yī)學(xué)圖像分析的域自適應(yīng)仍然存在著諸多挑戰(zhàn)亟需解決。

3 基于深度學(xué)習(xí)的域自適應(yīng)研究方法

從解決域自適應(yīng)問題的不同角度,現(xiàn)有研究方法大致可以分為領(lǐng)域?qū)R、解耦學(xué)習(xí)和學(xué)習(xí)策略三類。2017年,基于領(lǐng)域?qū)R的域自適應(yīng)方法首次應(yīng)用于醫(yī)學(xué)圖像分析領(lǐng)域[7],而后這類方法在文獻(xiàn)數(shù)量和算法性能上逐漸展現(xiàn)出優(yōu)勢,是當(dāng)前域自適應(yīng)的主流方法之一。為了增強(qiáng)特征提取的可解釋性,2019年部分方法開始采用解耦學(xué)習(xí)技術(shù)[10~12],相較于其他方法有了一定的競爭力。同年,受半監(jiān)督和無監(jiān)督學(xué)習(xí)等領(lǐng)域的影響,基于學(xué)習(xí)策略的方法被提出[13~15],這類方法不僅能很好地解決醫(yī)學(xué)圖像標(biāo)注不足等問題,而且起到了良好的輔助作用,進(jìn)一步提升了方法的性能,是目前正在迅速發(fā)展的一類研究方法。

3.1 基于領(lǐng)域?qū)R的域自適應(yīng)方法

基于領(lǐng)域?qū)R的方法可以分為四類,其核心思想在于從不同空間減小源域和目標(biāo)域間的差異。a)基于特征空間對齊的方法,該類方法將源域和目標(biāo)域的圖像映射到一個共同的潛在特征空間中,通過對抗學(xué)習(xí)或差異度量的方式減小域間差異;b)基于圖像空間對齊的方法,通?;谏蓪咕W(wǎng)絡(luò),試圖直接在圖像空間轉(zhuǎn)換源域或目標(biāo)域圖像的風(fēng)格,以此來達(dá)到減輕域偏移的目的;c)基于輸出空間對齊的方法,主要思想是鼓勵跨域共享輸出空間,使源域和目標(biāo)域產(chǎn)生一致的預(yù)測,達(dá)到輸出適應(yīng)的目的;d)以上三類方法的不同組合,稱為基于聯(lián)合對齊的方法。

3.1.1 基于特征對齊的方法

早期工作主要以顯式的方式測量域間差異,其中大多數(shù)方法致力于解決自然圖像中的分類任務(wù)。例如,Long等人[21]最小化了最大平均差異 (maximum mean discrepancy,MMD) 損失和特定任務(wù)損失,以在潛在特征空間中對齊域。在醫(yī)學(xué)圖像分析領(lǐng)域,受這類思想啟發(fā),文獻(xiàn)[6]提出了一種域間差異度量指標(biāo),通過構(gòu)建CFDNet將源域和目標(biāo)域映射到一個公共的特征空間,分別提取兩個域的特征信息(即多尺度特征融合結(jié)果)。為了使兩個分布對齊,算法將不連續(xù)傅里葉頻率空間估計分布的特征函數(shù)之間的距離作為損失函數(shù),達(dá)到顯式對齊域的目的。雖然CFDNet已被證明是有效的,但它需要與圖像重建和先驗匹配技術(shù)相結(jié)合才能達(dá)到與其他方法相當(dāng)?shù)男阅堋_@類通過直接度量分布差異的方法,強(qiáng)制地對齊跨域特征,無差別地減小融合特征間的分布距離,可能會造成負(fù)遷移。

另一種方法是基于對抗學(xué)習(xí)隱式地對齊源域和目標(biāo)域分布。對抗學(xué)習(xí)的思想來源于生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)[22],主要包含生成器和鑒別器兩個子網(wǎng)絡(luò),網(wǎng)絡(luò)以一種最小最大化的方式迭代訓(xùn)練。在一般的域自適應(yīng)方法中,特征提取器通常充當(dāng)生成器的角色,而鑒別器負(fù)責(zé)分辨特征來自哪一個域,這迫使提取出的特征具有域不變性,使鑒別器難以區(qū)分,從而在特征層面實現(xiàn)跨域?qū)R。Kamnitsas等人[7]最早提出在醫(yī)學(xué)圖像分析領(lǐng)域應(yīng)用對抗思想解決域自適應(yīng)問題,該算法利用卷積神經(jīng)網(wǎng)絡(luò)提取特征,加之域判別器判斷特征來源,以對抗損失作為監(jiān)督,來更好地提取具有域不變性的高質(zhì)量特征。然而,上述算法雖然提高了域自適應(yīng)的性能,但在適應(yīng)過程中沒有考慮醫(yī)學(xué)圖像本身特殊的性質(zhì),導(dǎo)致不能很好地處理圖像具有復(fù)雜紋理背景、強(qiáng)度分布不均的問題。為此,Zhu等人[8]設(shè)計了一種邊界加權(quán)的域自適應(yīng)網(wǎng)絡(luò)BOWDA-Net,該算法為了解決分割中弱邊界的問題,提出了鑒別器的邊界加權(quán)轉(zhuǎn)移損失,來提高鑒別器識別邊界的能力,使信息傳遞的過程更多地集中在邊界上。針對更加具有挑戰(zhàn)性的跨模特域自適應(yīng),Dou等人[9]提出一種即插即用的對抗性域自適應(yīng)網(wǎng)絡(luò)PnP-AdaNet應(yīng)用于MRI和CT間的適應(yīng),如圖4所示。算法遵循一個直接的思想:源域和目標(biāo)域之間的分布變化主要存在于低級細(xì)節(jié)紋理特征,而高級的語義特征是一致的。因此,在目標(biāo)域適應(yīng)階段,重用源域訓(xùn)練好的較高層特征提取網(wǎng)絡(luò),而更新較淺層網(wǎng)絡(luò)參數(shù)來在特征空間中進(jìn)行分布映射,應(yīng)用對抗思想達(dá)到特征層面的對齊。該框架在實際應(yīng)用中具有靈活性和輕量性,然而其選擇調(diào)整淺層網(wǎng)絡(luò)的層數(shù)d是一個對結(jié)果影響較大的超參數(shù),若選擇不當(dāng)容易產(chǎn)生次優(yōu)的結(jié)果。

變分自編碼器 (variational auto-encoder,VAE) 是一種深度生成模型,使用VAE可以用正態(tài)分布來近似潛在變量的后驗分布。這個屬性能夠?qū)碜圆煌I(lǐng)域的特征驅(qū)動到潛在空間中的一個公共的參數(shù)化變量。部分域自適應(yīng)方法利用這個屬性,實現(xiàn)源域和目標(biāo)域在潛在空間中特征的隱式對齊。Ouyang等人[23]將VAE和對抗網(wǎng)絡(luò)相結(jié)合,前者的作用是在源和目標(biāo)域圖像的共享特征空間上引入先驗正則化,迫使源和目標(biāo)域的先驗分布接近正態(tài)分布,從而更好地匹配域間特征分布;后者則加強(qiáng)外觀不變性,進(jìn)一步減小域偏移。為了探索更加輕量級的解決方案,Chanti等人[24]提出一種基于VAE和最優(yōu)傳輸 (optimal transport,OT) 理論的方法OLVA,算法將先驗正態(tài)分布用于建模分割的形狀,從而學(xué)習(xí)跨域公共的幾何空間,該空間被約束遵循使用VAE實現(xiàn)分布匹配,進(jìn)一步依靠OT損失來對齊潛在空間中兩個域之間的剩余差異。上述方法結(jié)合了VAE和其他技術(shù)共同減小域間分布差異,而Wu等人 [25]提出的VarDA方法僅利用了VAE模型的獨(dú)特性質(zhì),在心臟結(jié)構(gòu)分割任務(wù)上達(dá)到了良好的性能。如圖5所示,該框架包括源域VAE,目標(biāo)域VAE和域差異損失。源域VAE編碼器將源域圖像映射到共享潛在特征空間,通過模型近似后驗概率,從分布中采樣潛在特征,輸入分割器和重建解碼器,目標(biāo)域VAE具有類似的結(jié)構(gòu)。對于域差異,兩個VAE模型分別估計變分近似分布,通過計算兩者之間的距離來對域差異進(jìn)行正則化。

3.1.2 基于圖像對齊的方法

跨域數(shù)據(jù)的域偏移體現(xiàn)在圖像外觀的改變上,例如MRI和CT這兩種不同模態(tài)的醫(yī)學(xué)圖像在外觀上存在明顯差異。基于圖像空間對齊的方法,通過跨域圖像轉(zhuǎn)換的方式使源域和目標(biāo)域在圖像外觀上保持一致,解決數(shù)據(jù)本身存在的域偏移,從而使模型能夠同時處理跨域數(shù)據(jù),提升下游任務(wù)的表現(xiàn)。與特征對齊相比,這類方法可通過對轉(zhuǎn)換后圖像進(jìn)行視覺檢查獲得更好的可解釋性。

隨著循環(huán)一致性生成對抗網(wǎng)絡(luò)(cycle-consistent generative adversarial network,CycleGAN) 在無配對圖像轉(zhuǎn)換方面的成功,涌現(xiàn)出許多應(yīng)用于醫(yī)學(xué)圖像分析領(lǐng)域的基于CycleGAN改進(jìn)的域自適應(yīng)算法。Chartisias等人[26]引入了一個兩階段框架,先利用CycleGAN從源域CT圖像生成目標(biāo)域MR圖像,在對抗以及一致性損失的幫助下迫使生成的偽MR圖像與真實的MR圖像難以區(qū)分,同時保證偽MR圖像與輸入CT圖像之間的對應(yīng)關(guān)系,兩者具有一致的分割標(biāo)簽,最后,使用生成的偽MR圖像訓(xùn)練獨(dú)立的分割網(wǎng)絡(luò),結(jié)果表現(xiàn)良好,揭示了循環(huán)一致性生成網(wǎng)絡(luò)在域自適應(yīng)領(lǐng)域的應(yīng)用前景。然而,簡單地使用CycleGAN可能導(dǎo)致生成圖像在語義結(jié)構(gòu)上的失真,這是因為其內(nèi)部并沒有顯式地約束循環(huán)內(nèi)每個生成器的輸出,這意味著當(dāng)圖像從一個域轉(zhuǎn)換到另一個域時,可能會發(fā)生幾何畸變,但從鑒別器的角度來看,由于訓(xùn)練數(shù)據(jù)的形狀是任意的,幾何畸變不會改變合成圖像的真實感。為了緩解這個問題,Hiasa等人[27]擴(kuò)展了CycleGAN方法,利用梯度相關(guān)損失增加了真實圖像和合成圖像之間梯度的一致性,以提高邊界的精度;Cai等人[28]在CycleGAN的基礎(chǔ)上引入了形狀一致性損失,利用分割網(wǎng)絡(luò)有監(jiān)督地約束生成器合成圖像;Tomar等人[29]利用一個可學(xué)習(xí)的自注意力模塊學(xué)習(xí)空間語義信息,然后將其送入解碼器,根據(jù)注意信息對解碼器層的輸出進(jìn)行重新規(guī)范化,同時提出了注意力正則化損失以鼓勵注意力圖彼此正交,確保每個注意力圖聚焦于特定的解剖區(qū)域,促進(jìn)了不同解剖結(jié)構(gòu)的轉(zhuǎn)換過程。為實現(xiàn)基于CycleGAN的圖像轉(zhuǎn)換,不可避免地需要使用大量樣本。IB-GAN算法[30]即使使用了信息瓶頸技術(shù)保留轉(zhuǎn)換圖像的語義信息,同時在多個任務(wù)中都展現(xiàn)出了優(yōu)越的性能,但是仍然在僅使用192張結(jié)腸鏡圖像作為訓(xùn)練樣本時出現(xiàn)轉(zhuǎn)換失敗。因此,這類方法通常受限于樣本數(shù)量的限制,同時依賴于生成對抗網(wǎng)絡(luò)生成的跨域圖像是否在合理的范圍內(nèi),即保證真實性和語義不變性,從圖像層面解決域偏移問題。

3.1.3 基于輸出對齊的方法

域自適應(yīng)定義表明,源域和目標(biāo)域的標(biāo)簽空間相同,模型的輸出應(yīng)獨(dú)立于域的變化,因此通過對抗學(xué)習(xí)鼓勵跨域共享輸出空間,使源域和目標(biāo)域產(chǎn)生一致的預(yù)測是方法的基本思想。

Wang等人[31]首先提出了基于塊級別的輸出空間對抗性學(xué)習(xí)框架pOSAL,如圖6所示。算法同時將源域和目標(biāo)域圖像輸入任務(wù)模型,在對抗性損失的引導(dǎo)下,任務(wù)模型被訓(xùn)練產(chǎn)生真實的預(yù)測,用于欺騙鑒別器,同時鑒別器試圖對源域的真實標(biāo)簽和目標(biāo)域的預(yù)測標(biāo)簽進(jìn)行區(qū)分,以學(xué)習(xí)高階標(biāo)簽統(tǒng)計量之間的差異。同時,為了實現(xiàn)對局部分割細(xì)節(jié)的細(xì)粒度識別,算法將普通的鑒別器替換為一個塊級別 (patch-level)的鑒別器,用于從源域的標(biāo)簽分布中學(xué)習(xí)空間和形狀信息,同時捕獲分割細(xì)節(jié)信息,引導(dǎo)分割網(wǎng)絡(luò)關(guān)注圖像局部結(jié)構(gòu)的相似性。為了緩解醫(yī)學(xué)圖像對比度較低,造成分割結(jié)果產(chǎn)生不準(zhǔn)確的邊界預(yù)測,Wang等人[32]進(jìn)一步提出了BEAL算法來判別模型輸出的邊界和熵圖,鼓勵模型生成精確的邊界和抑制高不確定性區(qū)域。面對更具有挑戰(zhàn)性的跨模態(tài)間的適應(yīng)場景,Vesal等人[33]在算法中集成多種輸出形式約束模型學(xué)習(xí)跨域不變的特征,包括基于點(diǎn)云引入額外的形狀信息輸出、預(yù)測熵輸出及預(yù)測結(jié)果的輸出形式。通過多種輸出形式對齊帶來的互補(bǔ)效應(yīng),使算法進(jìn)一步彌合測試時源和目標(biāo)之間的性能差距。

3.1.4 基于聯(lián)合對齊的方法

上文分別介紹了從特征空間、圖像空間和輸出空間使源域和目標(biāo)域?qū)R的方法,每種方法都有相應(yīng)的優(yōu)勢及限制。因此,很多算法將不同的空間對齊策略集成到一個統(tǒng)一的框架中,使不同視角的對齊方法能夠相互促進(jìn),進(jìn)一步解決域自適應(yīng)問題。

經(jīng)典的聯(lián)合對齊方法SIFA[34]結(jié)合了圖像空間和特征空間對齊,算法在使用CycleGAN將源域圖像轉(zhuǎn)換為目標(biāo)域圖像外觀的基礎(chǔ)上,進(jìn)一步采用多級特征自適應(yīng)技術(shù)彌補(bǔ)生成圖像與真實圖像之間的剩余差距。實際上,圖像空間對齊和特征空間對齊的主流方案都存在一定程度的不足。首先,現(xiàn)有圖像空間對齊的流行架構(gòu)是生成對抗網(wǎng)絡(luò),它通過對抗訓(xùn)練生成視覺上屬于目標(biāo)域的圖像。但是,當(dāng)生成器連續(xù)生成具有相似模式的圖像時,基于GAN的模型可能會崩潰[35],導(dǎo)致生成圖像的多樣性受到限制。為此,Liu等人[36]提出的GFDA策略在圖像空間對齊策略上采用傅里葉變換解耦風(fēng)格和內(nèi)容信息,然后替換低層次的頻譜來統(tǒng)一它們的風(fēng)格,從而在不失真的情況下減少源域和目標(biāo)域在外觀層面的域差異。其次,對于大部分的特征空間對齊方法,在提取高級語義方面存在不足,它們通常使用圖像重建損失、對抗損失等間接地影響域不變表示學(xué)習(xí),而沒有明確地對語義特征部分進(jìn)行約束。進(jìn)一步,Liu等人[37]將特征空間和輸出空間對齊的方法相結(jié)合,引入注意力機(jī)制,可以根據(jù)特征內(nèi)容自適應(yīng)地為不同的特征空間區(qū)域分配不同的權(quán)值,實現(xiàn)了源域到目標(biāo)域的細(xì)粒度特征比對,同時在輸出端增加鑒別器輔助分割結(jié)果對齊,互補(bǔ)地實現(xiàn)跨模態(tài)適應(yīng)。語義信息的保護(hù)和對齊是跨域適應(yīng)中影響結(jié)果的關(guān)鍵因素,合理地運(yùn)用類別層面分布的約束,有利于目標(biāo)域任務(wù)精度的提升。Han等人[18]提出了DSAN算法,該算法從三個不同的視角進(jìn)行了有效的約束對齊,如圖7所示。在圖像空間,算法基于對抗損失在框架中設(shè)計了兩個圖像轉(zhuǎn)換子網(wǎng)絡(luò),分別將圖像從源域轉(zhuǎn)換到目標(biāo)域和從目標(biāo)域轉(zhuǎn)換到源域,同時引入重構(gòu)損失,以更好地維護(hù)語義信息;在特征空間,算法在兩個轉(zhuǎn)換子網(wǎng)絡(luò)和分割子網(wǎng)絡(luò)之間共享編碼器,以實現(xiàn)雙向特征對齊;在輸出空間,轉(zhuǎn)換后的圖像和原始圖像得到的分割結(jié)果輸入鑒別器判斷來源,以緩解域之間的明顯差異。這種基于聯(lián)合對齊的算法和其他算法相比,在兩個跨模態(tài)的適應(yīng)任務(wù)上都具有顯著優(yōu)勢。

3.2 基于解耦學(xué)習(xí)的域自適應(yīng)方法

解耦表示學(xué)習(xí)旨在學(xué)習(xí)一種模型,該模型能夠以表征的形式識別和解開隱藏在可觀察數(shù)據(jù)中的潛在因素。將潛在的變化因素分離為具有意義的變量的過程,有利于學(xué)習(xí)數(shù)據(jù)的可解釋表示,它模仿了人類在觀察對象或關(guān)系時的理解過程。解耦學(xué)習(xí)已經(jīng)在計算機(jī)視覺的廣泛場景中證明了它在提高模型的解釋性、可控性以及泛化性方面的強(qiáng)大能力。近兩年,基于解耦學(xué)習(xí)的技術(shù)逐漸被應(yīng)用到域自適應(yīng)中,算法通常將來自源域和目標(biāo)域的樣本映射到特征空間分解為域不變特征和域特定特征,利用跨域不變特征的性質(zhì)提高目標(biāo)域的適應(yīng)能力。

Yang等人[10]第一次將特征解耦的思想用于多模態(tài)肝臟分割任務(wù),所提DADR算法通過尋找共享的語義空間并交換風(fēng)格信息,以恢復(fù)域之間的多對多映射,捕獲復(fù)雜的跨域關(guān)系。如圖8所示,模型由編碼器和生成器兩部分組成,用于重建的VAE;用于對抗訓(xùn)練的判別器鼓勵對潛在空間進(jìn)行解耦,將其分解為內(nèi)容和風(fēng)格子空間。在完成特征的解耦后,模型使用生成的僅含有語義結(jié)構(gòu)的圖像實現(xiàn)跨模態(tài)的肝臟分割任務(wù)。該算法也有一定的缺點(diǎn),從圖8可以看出,其模型結(jié)構(gòu)復(fù)雜,損失函數(shù)較多,不易優(yōu)化。

上述工作更為關(guān)注域不變特征,而域特定特征同樣能夠為網(wǎng)絡(luò)提供有效的信息,探索合理利用領(lǐng)域特定信息的方式,能促使模型更有效地解耦。Pei等人[11]引入了零損失以強(qiáng)制不同領(lǐng)域間的域特定信息的交集盡可能接近于零,其背后的思想是假設(shè)編碼器只能從源域提取域特定特征,那么它從目標(biāo)域圖像中提取的信息應(yīng)為零。該方法證明了來自不同域的域特定特征,圖像的重建和分割。ODADA算法[12]也充分利用域特定信息來幫助提取域不變特征,考慮到域特定特征和域不變特征之間的關(guān)系應(yīng)該是獨(dú)立的,算法通過正交損失來模擬這種關(guān)系。

3.3 基于學(xué)習(xí)策略的域自適應(yīng)方法

對于無監(jiān)督/半監(jiān)督域自適應(yīng)問題來說,如何在沒有監(jiān)督的情況下充分利用目標(biāo)域信息是提升性能的關(guān)鍵。得益于半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等領(lǐng)域的快速發(fā)展,近年來一些域自適應(yīng)方法結(jié)合這些領(lǐng)域中的通用學(xué)習(xí)策略,不僅解決了醫(yī)學(xué)圖像中樣本標(biāo)注困難的挑戰(zhàn),而且提升了目標(biāo)域的任務(wù)精度。

3.3.1 基于自訓(xùn)練的方法

自訓(xùn)練是一種半監(jiān)督學(xué)習(xí)方法,是根據(jù)模型預(yù)測對未標(biāo)記樣本分配偽標(biāo)簽,并以偽標(biāo)簽作為監(jiān)督信息對模型進(jìn)行再訓(xùn)練的技術(shù)。為了充分利用目標(biāo)域中未標(biāo)記樣本的信息,這類方法嘗試選擇可靠的偽標(biāo)簽或調(diào)整偽標(biāo)簽實現(xiàn)有效的監(jiān)督。

偽標(biāo)簽去噪保留可靠性高的部分監(jiān)督未標(biāo)記樣本,是一類直接的方法。Chen等人[13]提出了一種兩級偽標(biāo)簽去噪方案DPL,如圖9所示。在像素級,利用來自模型預(yù)測的像素級不確定性信息表明分割圖上每個像素偽標(biāo)簽的不可靠性,過濾掉其中不可靠的像素;在類級,遵循可靠的偽標(biāo)簽應(yīng)該更接近它對應(yīng)的類別質(zhì)心這一原則對偽標(biāo)簽去噪,實現(xiàn)了目標(biāo)域的良好預(yù)測。但這類方法存在一定問題,當(dāng)本身的偽標(biāo)簽質(zhì)量很低時,直接將不可靠的偽標(biāo)簽舍棄,會導(dǎo)致有限數(shù)量的正類偽標(biāo)簽難以實現(xiàn)所需的模型自適應(yīng)。

除此之外,在訓(xùn)練過程中自適應(yīng)地調(diào)整偽標(biāo)簽也可以最大限度減少噪聲導(dǎo)致的錯誤監(jiān)督。Jin等人[38]提出了一種雙域增強(qiáng)自校正學(xué)習(xí)機(jī)制。在每個訓(xùn)練周期中,分割模型以真實源數(shù)據(jù)和偽標(biāo)簽?zāi)繕?biāo)數(shù)據(jù)混合作為輸入,并在每個周期結(jié)束時更新目標(biāo)域的偽標(biāo)簽。為了進(jìn)一步緩解偽標(biāo)簽的不正確分割,算法通過水平和垂直翻轉(zhuǎn)來增強(qiáng)目標(biāo)域,然后將這些增強(qiáng)的預(yù)測進(jìn)行聚合,以提高偽標(biāo)簽的可靠性。類似地,還有一些方法引入課程學(xué)習(xí)(curriculum learning,CL)策略由易到難地學(xué)習(xí)樣本,防止訓(xùn)練初期的偽標(biāo)簽質(zhì)量過差,不利于模型學(xué)習(xí)。例如:Cho等人[39]利用CL策略逐步更新優(yōu)化偽標(biāo)簽;Liu等人[40]使用自步調(diào)的學(xué)習(xí)策略,該方法主要基于適應(yīng)良好的像素特征與同類原型接近而與其他類原型距離較遠(yuǎn)的假設(shè),隨著類別原型的逐步細(xì)化,可以通過自步調(diào)的方式生成更可靠的信息性偽標(biāo)簽,從而便于對目標(biāo)域樣本進(jìn)行監(jiān)督。

3.3.2 基于自集成學(xué)習(xí)的方法

近年來,基于自集成策略的半監(jiān)督學(xué)習(xí)方法在醫(yī)學(xué)圖像分析中受到關(guān)注,其中應(yīng)用最為廣泛的架構(gòu)是基于學(xué)生網(wǎng)絡(luò)權(quán)重的指數(shù)移動平均(exponential moving average,EMA)建立的平均教師(mean teacher,MT)模型[41],通過利用不同的增強(qiáng)策略,迫使網(wǎng)絡(luò)對目標(biāo)樣本作出一致的預(yù)測。Perone等人[14]首次應(yīng)用自集成學(xué)習(xí)策略擴(kuò)展了無監(jiān)督域適應(yīng)的方法用于醫(yī)學(xué)圖像中的語義分割任務(wù),實驗證明即使在使用少量未標(biāo)記數(shù)據(jù)時,自集成依舊可以改善模型的泛化。如圖10所示,源域圖像通過增強(qiáng)轉(zhuǎn)換送入學(xué)生模型,源域標(biāo)簽作為監(jiān)督信號與預(yù)測結(jié)果計算分割損失,教師模型的參數(shù)用學(xué)生模型權(quán)重的指數(shù)移動平均進(jìn)行更新;而對于無標(biāo)注的目標(biāo)域數(shù)據(jù),增強(qiáng)和原始圖像則分別通過學(xué)生和教師模型,利用一致性損失強(qiáng)制學(xué)生和教師預(yù)測之間的一致性。自集成學(xué)習(xí)同樣可以輔助處理跨域偏移大的場景,Li等人[42]設(shè)計了一個雙教師模型,域內(nèi)教師負(fù)責(zé)將目標(biāo)域的知識轉(zhuǎn)移到學(xué)生模型,域間教師采用圖像轉(zhuǎn)換模型CycleGAN縮小跨域外觀差距后,通過知識蒸餾將源域的先驗知識轉(zhuǎn)移到學(xué)生模型。由此,學(xué)生模型隱式地掌握由兩位教師傳遞的輔助領(lǐng)域內(nèi)和領(lǐng)域間知識進(jìn)行全面的整合和開發(fā),在跨模態(tài)適應(yīng)任務(wù)中顯示了該方法的優(yōu)越性。

3.3.3 基于自監(jiān)督學(xué)習(xí)的方法

自監(jiān)督學(xué)習(xí)主要是利用輔助任務(wù) (pretext task)從大規(guī)模的無監(jiān)督數(shù)據(jù)中人為構(gòu)造監(jiān)督信息,學(xué)習(xí)到對下游任務(wù)有價值的表征。在醫(yī)學(xué)圖像分析領(lǐng)域,自監(jiān)督學(xué)習(xí)用來解決醫(yī)學(xué)圖像標(biāo)注數(shù)據(jù)困難和域適應(yīng)的雙重挑戰(zhàn)。在這種設(shè)置中,模型由來自數(shù)據(jù)本身的信息監(jiān)督,無須任何額外的手動注釋。

基于對比學(xué)習(xí)的方法是自監(jiān)督學(xué)習(xí)中一種流行的范式,其指導(dǎo)原則是:通過學(xué)習(xí)對兩個事物的相似或不相似進(jìn)行編碼來構(gòu)建表征,即通過構(gòu)建正負(fù)樣本,度量正負(fù)樣本的距離來實現(xiàn)自監(jiān)督學(xué)習(xí)。Abbet等人[15]探索了對比學(xué)習(xí)與域自適應(yīng)相結(jié)合的方式,克服在少量樣本標(biāo)注的情況下驅(qū)動模型適應(yīng)的挑戰(zhàn)。該算法通過域內(nèi)和跨域自監(jiān)督學(xué)習(xí)捕獲視覺相似性來利用兩個域的信息:在同一域內(nèi),利用數(shù)據(jù)增強(qiáng)創(chuàng)建正樣本對,同時維護(hù)一個負(fù)樣本隊列,使用對比學(xué)習(xí)方法共同優(yōu)化它們的相似性,捕獲域內(nèi)特征分布;在不同域間,算法度量跨越樣本的相似性,從而學(xué)習(xí)域無關(guān)的特征,提高域匹配的一致性。

3.4 域自適應(yīng)算法小結(jié)

基于以上對域自適應(yīng)算法的詳細(xì)介紹,可以分析出現(xiàn)有不同方法的相應(yīng)優(yōu)勢和不足,如表1所示。算法逐漸朝著解決醫(yī)學(xué)影像中的挑戰(zhàn)在不斷地優(yōu)化。例如:針對跨模態(tài)場景,大部分方法采用聯(lián)合對齊的技術(shù),從多個角度共同減小域差異,以互相促進(jìn)的方式彌補(bǔ)單一對齊方法的不足;針對醫(yī)學(xué)圖像樣本和標(biāo)注獲取困難的情況,使用基于VAE的結(jié)構(gòu)高效使用數(shù)據(jù),避免了對抗學(xué)習(xí)需要大量訓(xùn)練樣本的限制;將算法與半監(jiān)督及無監(jiān)督領(lǐng)域的學(xué)習(xí)策略相結(jié)合,促進(jìn)了少量數(shù)據(jù)標(biāo)注驅(qū)動下域自適應(yīng)的發(fā)展;特征解耦方法則增強(qiáng)了算法的可解釋性。

然而,當(dāng)前面向醫(yī)學(xué)圖像分析的域自適應(yīng)方法仍存在一些問題亟待解決。例如:算法的任務(wù)場景單一,當(dāng)前算法多局限于分割任務(wù),因此拓展到更多樣的任務(wù)中是發(fā)展趨勢之一;大部分算法僅專注于2D層面的數(shù)據(jù)處理和分析,對于MRI、CT等固有3D信息的模態(tài)來說,切片為2D處理缺失了深度的語義信息,同時一些任務(wù)會因2D醫(yī)學(xué)圖像的前景和背景不平衡的問題損害模型性能,所以將算法擴(kuò)展到3D實現(xiàn)是必要的。

4 醫(yī)學(xué)圖像數(shù)據(jù)集統(tǒng)計及算法性能對比分析

4.1 醫(yī)學(xué)圖像常見模態(tài)簡介

醫(yī)學(xué)圖像的模態(tài)可以根據(jù)不同的成像方式劃分,在域自適應(yīng)的研究中,最常見的醫(yī)學(xué)圖像模態(tài)是計算機(jī)斷層掃描CT和磁共振成像MRI。

1)計算機(jī)斷層掃描CT

計算機(jī)斷層掃描是一種使用X射線技術(shù)來生成身體內(nèi)部圖像的成像方式,其成像速度快、器官的運(yùn)動偽影較小。該成像方式通過利用病灶和非軟組織之間強(qiáng)度不同的特點(diǎn),可以清晰顯示病灶區(qū)域,同時準(zhǔn)確地探測各種不同組織間密度的微小差別[43]。如圖11所示,在腹部多器官M(fèi)ALB-CV數(shù)據(jù)集[44]中,CT圖像以不同的灰度來反映器官和組織對X射線的吸收程度,密度高的組織(骨骼)在CT圖像中顯示為白色;密度低則表現(xiàn)為黑色(脂肪)。

2)磁共振成像MRI

磁共振成像是一種非侵入、性能良好的軟組織對比成像方式[43]。與CT圖像不同,MR圖像反映的是組織信號的強(qiáng)度,越亮的區(qū)域代表組織信號的強(qiáng)度越高,反之則信號強(qiáng)度越低。同時,MRI可以通過調(diào)節(jié)成像參數(shù)來生成不同的掃描序列,以提供豐富的診斷信息。如圖12所示,在BraTS2018數(shù)據(jù)集[45]中,每位患者有四種序列的MRI成像方式,不同序列的圖像捕獲了解剖結(jié)構(gòu)的不同特定特征。其中,T2和FLAIR圖像適用于檢測病灶周圍的水腫情況,T1和T1c適用于檢測病灶核心[43]。

4.2 常用醫(yī)學(xué)圖像數(shù)據(jù)集統(tǒng)計

表2總結(jié)了醫(yī)學(xué)圖像分析領(lǐng)域常用于檢驗域自適應(yīng)算法有效性的六個任務(wù)。本文主要介紹和比較相關(guān)任務(wù)所使用的數(shù)據(jù)集信息(包括名稱、圖像類型、樣本量、標(biāo)簽種類)以及任務(wù)對應(yīng)的適應(yīng)類型。

a)皮膚病變分類。該任務(wù)有五個常用的公開數(shù)據(jù)集[46~50],每個數(shù)據(jù)集都是由不同的皮膚鏡(dermoscopy) 設(shè)備采集。在這種情況下,分布變化主要源于攝影特性、患者特性和疾病特性等因素;同時不同數(shù)據(jù)集的樣本量差距大,類別種類不平衡。因此,該任務(wù)驅(qū)動了領(lǐng)域數(shù)據(jù)/類別不平衡條件下域自適應(yīng)的發(fā)展。

b)視杯視盤分割。眼底圖像的視杯視盤分割任務(wù)包括三個常用數(shù)據(jù)集[41~53]。這些數(shù)據(jù)集由不同機(jī)構(gòu)的不同光學(xué)相干斷層掃描儀(optical coherence tomography, OCT) 獲取。

c)腦部腫瘤分割。該任務(wù)常用的BraTS2018數(shù)據(jù)集[45]共包含285例患者。每位患者有四種序列的MRI成像方式。該任務(wù)在MRI多序列的適應(yīng)場景中用于評估算法的性能,這種場景相對于MRI多中心/設(shè)備的場景的分布偏移更大,更具挑戰(zhàn)性。

d)心臟結(jié)構(gòu)分割。該任務(wù)中包含三個常用數(shù)據(jù)集:M&Ms數(shù)據(jù)集[54]包含320個受試者,分別來自四個不同供應(yīng)商;MS-CMRSeg數(shù)據(jù)集[55]提供了三個MRI序列,文獻(xiàn)[26]在多序列的適應(yīng)場景下完成了深度域適應(yīng)算法的驗證;MM-WHS數(shù)據(jù)集[56]包括40名患者的20例MRI和20例CT圖像。

e)腹部多器官分割。腹部多器官的跨模態(tài)適應(yīng)任務(wù)由兩個公開數(shù)據(jù)集組成:CHAOS公開數(shù)據(jù)集[57],共20例腹部MRI病例;MALB-CV公開數(shù)據(jù)集[44],包括30個病例的CT數(shù)據(jù)。部分工作[22,58]選擇這個數(shù)據(jù)集作為跨模態(tài)域適應(yīng)場景下的算法檢驗標(biāo)準(zhǔn)。

f)息肉檢測。CVC-ClinicDB數(shù)據(jù)集[59]通過內(nèi)窺鏡(endoscopy)采集自23例患者的612個標(biāo)準(zhǔn)清晰度(standard definition,SD)幀;ETIS-LARIB數(shù)據(jù)集[60]包含采集自34例患者的196個高清(high definition,HD)幀。兩個數(shù)據(jù)集分別在不同的臨床中心和記錄設(shè)備上獲取。

4.3 算法性能對比分析

表3 展示了在無監(jiān)督域適應(yīng)(unsupervised domain adaptation,UDA)的研究設(shè)置下,域自適應(yīng)算法在使用最為廣泛的多模態(tài)心臟分割數(shù)據(jù)集兩個適應(yīng)方向上的評估結(jié)果。本文采用戴斯相似系數(shù)(Dice similarity coefficient,DSC)和平均表面距離(average surface distance,ASD)兩種常用的分割算法評估指標(biāo),結(jié)合這兩種指標(biāo)綜合地對比不同算法的性能。

從表3可以看出,在MR到CT的適應(yīng)方向上,Pnp-AdaNet[9]算法是最早嘗試解決跨模態(tài)間適應(yīng)的工作,其采用了基于對抗學(xué)習(xí)的特征對齊方法,算法的DSC指標(biāo)雖然只有57.7%,但是為后續(xù)工作的開展奠定了良好的基礎(chǔ)。隨后,SIFA-v2[34]引入了圖像對齊的策略,模型性能有了大幅度的提升。這一定程度上證明了轉(zhuǎn)換圖像外觀實現(xiàn)適應(yīng)的方法對于跨模態(tài)數(shù)據(jù)集來說是非常有效的。而后,大部分方法都開始采用聯(lián)合對齊的策略,以從多個角度彌補(bǔ)較大的分布差異,例如DSAN[18]、UMDA[37]、ICMSC[58]等算法。通過這種策略,模型的DSC指標(biāo)逐漸從70%提升到80%以上。然而,即使這類方法已經(jīng)取得了出色的性能,但是對抗訓(xùn)練的眾多弊端也不能忽視。因此,基于VAE的OLVA[24]等算法應(yīng)運(yùn)而生。值得注意的是,OLVA算法雖然僅使用了VAE的結(jié)構(gòu)和OT最優(yōu)傳輸損失,但是其仍然和大部分基于對抗學(xué)習(xí)的算法性能相當(dāng),這體現(xiàn)出基于VAE的算法在域自適應(yīng)中有巨大潛力。與此同時,基于解耦學(xué)習(xí)的DDFseg[11]、DLasT[61]等算法不斷發(fā)展,也展現(xiàn)出強(qiáng)大的競爭力。該數(shù)據(jù)集中達(dá)到最高性能85.8%的算法是基于聯(lián)合對齊的SD-UDA[62],而它也使用了3D網(wǎng)絡(luò)結(jié)構(gòu),這也體現(xiàn)出補(bǔ)充3D的信息能夠進(jìn)一步提升性能。

5 域自適應(yīng)算法在醫(yī)學(xué)圖像分析領(lǐng)域的應(yīng)用

由于醫(yī)學(xué)圖像數(shù)據(jù)的稀缺性以及實際臨床場景中存在的域偏移現(xiàn)象等現(xiàn)實問題,醫(yī)學(xué)圖像分析是域自適應(yīng)的重要應(yīng)用領(lǐng)域之一。

在醫(yī)學(xué)圖像分析領(lǐng)域,目前研究工作更多地將域自適應(yīng)算法應(yīng)用于分割任務(wù)中,并在多個公開數(shù)據(jù)集上取得了優(yōu)異的性能。圖像分割相關(guān)的應(yīng)用可以分為器官分割和病灶分割兩類。其中:器官分割任務(wù)有心臟結(jié)構(gòu)分割[6,9,34]、腹部器官分割[22,60]、前列腺分割[32]、視杯視盤分割[13,31~32]、視網(wǎng)膜層分割[65]、骨髓灰質(zhì)分割[14]、踝關(guān)節(jié)骨分割[66]、小腸分割[67]等;病灶分割應(yīng)用包括腦部腫瘤分割[29]、肺部腫瘤分割[68]、胰腺腫瘤分割[69]、息肉分割[70]等。還有部分工作集中在疾病診斷任務(wù)的域自適應(yīng)研究,例如肺炎診斷[71]、糖尿病視網(wǎng)膜病變的分類[20]、先天性心臟病的診斷[20]以及肝纖維化的分期[72]等應(yīng)用。此外,域自適應(yīng)算法也應(yīng)用在病變的檢測任務(wù)中,例如乳腺結(jié)節(jié)的檢測[73]、息肉檢測[73]以及視網(wǎng)膜病變的檢測[74]等。

域自適應(yīng)算法除了廣泛應(yīng)用于上述醫(yī)學(xué)圖像分析的基本任務(wù)中,還在一些特殊任務(wù)上也進(jìn)行了初步的嘗試,如內(nèi)窺鏡的深度估計[75]、心胸比估計[76]等。從現(xiàn)有工作可以看出,域自適應(yīng)作為一個能夠提高模型在現(xiàn)實臨床場景適應(yīng)能力的研究領(lǐng)域,已經(jīng)應(yīng)用在多樣的醫(yī)學(xué)圖像分析任務(wù)中。目前,大多數(shù)算法針對特定的數(shù)據(jù)集設(shè)計,不能實現(xiàn)模型適應(yīng)的通用性。在未來的研究中,可以考慮提高算法的普適性,從而能夠同時應(yīng)用在多種任務(wù)中。此外,對于一些同樣在醫(yī)學(xué)圖像分析中具有重要意義的應(yīng)用,例如圖像重建任務(wù)、圖像配準(zhǔn)任務(wù)、異常檢測任務(wù)等,都未充分探索域間偏移問題。如何使域適應(yīng)算法成功應(yīng)用到醫(yī)學(xué)圖像處理領(lǐng)域中更多的任務(wù)上,也是未來域自適應(yīng)算法的一個發(fā)展趨勢。

6 域自適應(yīng)在醫(yī)學(xué)圖像分析領(lǐng)域的研究展望

基于深度學(xué)習(xí)的域自適應(yīng)是醫(yī)學(xué)圖像分析中一個重要的研究領(lǐng)域,是算法設(shè)計與實際臨床應(yīng)用之間的橋梁。然而,現(xiàn)有的域自適應(yīng)方法還有一定的局限性,例如算法無法適應(yīng)于現(xiàn)實臨床應(yīng)用場景中的一些情況,距離實際落地應(yīng)用面臨技術(shù)瓶頸等。因此,下面將從三個方面展望其未來發(fā)展趨勢并提出研究建議。

6.1 域自適應(yīng)的發(fā)展瓶頸與解決方案

1)面對類別分布差異情況的研究

類別分布差異是指源域和目標(biāo)域每個類別的樣本比例不同。例如,由于疫苗接種覆蓋率的差異,肝臟疾病的患病率在不同地區(qū)之間存在顯著差異。這種標(biāo)簽分布的變化在醫(yī)學(xué)診斷中是常見的,因為疾病通常分布在不同的位置和時間。Park等人[77]在多個疾病分類模型中證明類別分布偏移會導(dǎo)致不合理的預(yù)測。盡管在許多實際應(yīng)用中已經(jīng)觀察到類別分布偏移的問題,且嚴(yán)重阻礙了深度模型在臨床實踐中的大規(guī)模部署,但目前僅有文獻(xiàn)[72]嘗試解決這個問題。

2)面對噪聲標(biāo)簽情況的研究

標(biāo)注錯誤的標(biāo)簽通常被稱為噪聲標(biāo)簽,其會損害模型性能。由于醫(yī)學(xué)圖像標(biāo)注的質(zhì)量很大程度依賴于有經(jīng)驗的醫(yī)生。所以,在實際場景中,域移位和噪聲標(biāo)簽問題經(jīng)常同時出現(xiàn)。這使得現(xiàn)有的域自適應(yīng)方法失去了效率,同時也引發(fā)了另一個問題,即噪聲監(jiān)督下的域適應(yīng)。目前僅有少量工作關(guān)注該問題,Liu等人[78]建議利用高置信度的干凈的標(biāo)注數(shù)據(jù)訓(xùn)練一個魯棒模型來解決噪聲監(jiān)督下的域適應(yīng)問題,并提出了一種具有兩個對等網(wǎng)絡(luò)的自清理無監(jiān)督域適應(yīng)框架,以識別高置信度的干凈數(shù)據(jù)和噪聲數(shù)據(jù)。最終算法在具有域移位和污染標(biāo)簽的數(shù)據(jù)上訓(xùn)練了一個魯棒的醫(yī)學(xué)圖像分割模型。

6.2 域自適應(yīng)可探索的技術(shù)手段

1)基準(zhǔn)網(wǎng)絡(luò)架構(gòu)應(yīng)用

隨著域自適應(yīng)的不斷發(fā)展,近年來大量的研究方法被提出,但它們大多基于經(jīng)典的網(wǎng)絡(luò)架構(gòu),如ResNet[79]、U-Net[2]等。Hoyer等人[80]證明使用過時的網(wǎng)絡(luò)結(jié)構(gòu)會限制域適應(yīng)的整體性能,揭示了Transformer[81]結(jié)構(gòu)在UDA語義分割方面的潛力。然而,在醫(yī)學(xué)圖像分析領(lǐng)域,基準(zhǔn)網(wǎng)絡(luò)架構(gòu)的影響還沒有得到系統(tǒng)研究。未來,探索如何設(shè)計和改進(jìn)基準(zhǔn)網(wǎng)絡(luò)架構(gòu)以提升醫(yī)學(xué)圖像分析的準(zhǔn)確率仍是一個有意義的方向。

2)大規(guī)模自監(jiān)督學(xué)習(xí)

近年來,大規(guī)模自監(jiān)督學(xué)習(xí)(預(yù)訓(xùn)練模型)得到了快速發(fā)展,如BERT[82]、GPT-3[83]等。首先在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練模型,然后在下游任務(wù)上對模型進(jìn)行微調(diào)。受醫(yī)學(xué)圖像及標(biāo)注獲取困難、數(shù)據(jù)量小等限制,如果能夠合理利用自然圖像預(yù)訓(xùn)練好的大模型,解決下游任務(wù)和預(yù)訓(xùn)練數(shù)據(jù)集之間的分布變化,那么設(shè)計出具有良好適應(yīng)能力的高效自學(xué)習(xí)方法是未來一個有希望的方向。

6.3 域自適應(yīng)的交叉領(lǐng)域研究

1)少樣本學(xué)習(xí)與域自適應(yīng)

傳統(tǒng)的域自適應(yīng)設(shè)置通常假設(shè)目標(biāo)域中存在大量未標(biāo)記的樣本。然而,在實際臨床場景下,這可能難以實現(xiàn)。例如,試圖在醫(yī)院新進(jìn)的圖像掃描設(shè)備上部署模型,那么此時目標(biāo)域也許僅能獲取一個或幾個未標(biāo)記的樣本。為了解決目標(biāo)領(lǐng)域特定的樣本稀缺性問題,需要采用適應(yīng)策略來充分利用可用數(shù)據(jù)集。這時可以將少樣本學(xué)習(xí)技術(shù),例如度量學(xué)習(xí)、元學(xué)習(xí)等,結(jié)合深度域適應(yīng)技術(shù),共同解決實際問題。

2)增量學(xué)習(xí)與域自適應(yīng)

增量學(xué)習(xí)的目標(biāo)是希望模型能夠不斷地處理現(xiàn)實世界中連續(xù)的信息流,在吸收新知識的同時保留甚至整合、優(yōu)化舊知識的能力[84]。現(xiàn)有域自適應(yīng)的研究大多隱含地假設(shè)源域是固定的,一個模型只需要學(xué)習(xí)一次。然而,在實踐中,源域很可能是增量引入的。例如,模型應(yīng)用于實際臨床場景時,不可避免地會有新的數(shù)據(jù)引入,如果能利用這些數(shù)據(jù)進(jìn)行連續(xù)的領(lǐng)域適應(yīng),有效地更新模型,就可以大大增強(qiáng)模型在現(xiàn)實場景中的連續(xù)應(yīng)用能力。今后,結(jié)合增量學(xué)習(xí)領(lǐng)域知識的域自適應(yīng)研究也將成為醫(yī)學(xué)圖像分析中不可或缺的關(guān)鍵研究內(nèi)容。

7 結(jié)束語

本文就醫(yī)學(xué)圖像分析領(lǐng)域中的重要問題,基于深度學(xué)習(xí)的域自適應(yīng)為主題展開綜述。首先從形式化定義出發(fā),理清域適應(yīng)的概念、研究目標(biāo),并分類介紹了醫(yī)學(xué)圖像分析面臨的主要挑戰(zhàn);接下來,詳細(xì)概括歸納了近年來域自適應(yīng)在醫(yī)學(xué)圖像分析領(lǐng)域的相關(guān)算法;此外,還統(tǒng)計了域自適應(yīng)中常用的醫(yī)學(xué)公開數(shù)據(jù)集并比較分析了相關(guān)算法的性能;最后,展望了深度域適應(yīng)未來的發(fā)展趨勢。

參考文獻(xiàn):

[1]Zhang Jiapeng, Xie Yutong, Xia Yong, et al. Attention residual learning for skin lesion classification[J]. IEEE Trans on Medical Imaging, 2019,38(9): 2092-2103.

[2]Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]//Proc of the 18th Internatio-nal Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2015: 234-241.

[3]Havaei M, Davy A, Warde-Farley D, et al. Brain tumor segmentation with deep neural networks[J]. Medical Image Analysis, 2017,35:18-31.

[4]Xie Hongtao, Yang Dongbao, Sun Nannan, et al. Automated pulmonary nodule detection in CT images using deep convolutional neural networks[J]. Pattern Recognition, 2019, 85: 109-119.

[5]Guan Hao, Liu Mingxia. Domain adaptation for medical image analysis: a survey[J]. IEEE Trans on Biomedical Engineering, 2021,69(3): 1173-1185.

[6]Wu Fuping, Zhuang Xiahai. CF distance: a new domain discrepancy metric and application to explicit domain adaptation for cross-modality cardiac image segmentation[J]. IEEE Trans on Medical Imaging, 2020,39(12): 4274-4285.

[7]Kamnitsas K, Baumgartner C, Ledig C, et al. Unsupervised domain adaptation in brain lesion segmentation with adversarial networks[C]//Proc of the 27th International Conference on Information Processing in Medical Imaging. Berlin: Springer, 2017: 597-609.

[8]Zhu Qikui, Du Bo, Yan Pingkun. Boundary-weighted domain adaptive neural network for prostate MR image segmentation[J]. IEEE Trans on Medical Imaging, 2019,39(3): 753-763.

[9]Dou Qi, Ouyang Cheng, Chen Cheng, et al. Unsupervised cross-modality domain adaptation of convnets for biomedical image segmentations with adversarial loss[C]//Proc of the 27th International Joint Conference on Artificial Intelligence.Palo Alto, CA: AAAI Press, 2018: 691-697.

[10]Yang Junlin, Dvornek N C, Zhang Fan, et al. Unsupervised domain adaptation via disentangled representations: application to cross-modality liver segmentation[C]//Proc of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2019: 255-263.

[11]Pei Chenhao, Wu Fuping, Huang Liqin, et al. Disentangle domain features for cross-modality cardiac image segmentation[J]. Medical Image Analysis, 2021, 71: 102078.

[12]Sun Yongheng, Dai Duwei, Xu Songhua. Rethinking adversarial domain adaptation: orthogonal decomposition for unsupervised domain adaptation in medical image segmentation[J]. Medical Image Analysis, 2022,82:102623.

[13]Chen Cheng, Liu Quande, Jin Yueming, et al. Source-free domain adaptive fundus image segmentation with denoised pseudo-labeling[C]//Proc of the 24th International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2021: 225-235.

[14]Perone C S, Ballester P, Barros R C, et al. Unsupervised domain adaptation for medical imaging segmentation with self-ensembling[J]. NeuroImage, 2019, 194: 1-11.

[15]Abbet C, Studer L, Fischer A, et al. Self-rule to multi-adapt:generalized multi-source feature learning using unsupervised domain adaptation for colorectal cancer tissue detection[J]. Medical Image Analysis, 2022,79: 102473.

[16]范蒼寧, 劉鵬, 肖婷, 等. 深度域適應(yīng)綜述: 一般情況與復(fù)雜情況 [J]. 自動化學(xué)報, 2021,47(3): 515-548. (Fan Cangning, Liu Peng, Xiao Ting, et al. A review of deep domain adaptation: general situation and complex situation[J]. Acta Automatica Si-nica, 2021,47(3): 515-548.)

[17]孫琦鈺, 趙超強(qiáng), 唐漾, 等. 基于無監(jiān)督域自適應(yīng)的計算機(jī)視覺任務(wù)研究進(jìn)展[J]. 中國科學(xué): 技術(shù)科學(xué), 2022,52(1): 26-54. (Sun Qiyu, Zhao Chaoqiang, Tang Yang, et al. A survey on unsupervised domain adaptation in computer vision tasks[J]. Scientia Sinica Technologica, 2022,52(1): 26-54.)

[18]Han Xiaoting, Qi Lei, Yu Qian, et al. Deep symmetric adaptation network for cross-modality medical image segmentation[J]. IEEE Trans on Medical Imaging, 2021,41(1): 121-132.

[19]Liang Liming, Dong Xin, Li Renjie, et al. Classification algorithm of retinopathy based on attention mechanism and multi feature fusion[J]. Opto-Electronic Engineering, 2023,50(1): 220199.

[20]Liu Xiaofeng, Li Site, Ge Yubin, et al. Ordinal unsupervised domain adaptation with recursively conditional Gaussian imposed variational disentanglement[J/OL]. IEEE Trans on Pattern Analysis and Machine Intelligence. (2022-06-15). https://doi.org/10.1109/TPAMI.2022.3183115.

[21]Long Mingsheng, Cao Yue, Wang Jianmin, et al. Learning transfe-rable features with deep adaptation networks[C]//Proc of the 32nd International Conference on Machine Learning. New York: ACM Press, 2015: 97-105.

[22]Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversa-rial networks[J]. Communications of the ACM, 2020,63(11): 139-144.

[23]Ouyang C, Kamnitsas K, Biffi C, et al. Data efficient unsupervised domain adaptation for cross-modality image segmentation[C]//Proc of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2019: 669-677.

[24]Chanti D A, Mateus D. OLVA: optimal latent vector alignment for unsupervised domain adaptation in medical image segmentation[C]//Proc of the 24th International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2021: 261-271.

[25]Wu Fuping, Zhuang Xiahai. Unsupervised domain adaptation with va-riational approximation for cardiac segmentation[J]. IEEE Trans on Medical Imaging, 2021,40(12): 3555-3567.

[26]Chartsias A, Joyce T, Dharmakumar R, et al. Adversarial image synthesis for unpaired multi-modal cardiac data[C]//Proc of Interna-tional workshop on Simulation and Synthesis in Medical Imaging. Berlin: Springer, 2017: 3-13.

[27]Hiasa Y, Otake Y, Takao M, et al. Cross-modality image synthesis from unpaired data using CycleGAN[C]//Proc of International Workshop on Simulation and Synthesis in Medical Imaging. Berlin: Sprin-ger, 2018: 31-41.

[28]Cai Jinzheng, Zhang Zizhao, Cui Lei, et al. Towards cross-modal organ translation and segmentation: a cycle-and shape-consistent generative adversarial network[J]. Medical Image Analysis, 2019, 52: 174-184.

[29]Tomar D,Lortkipanidze M,Vray G,et al. Self-attentive spatial adaptive normalization for cross-modality domain adaptation[J]. IEEE Trans on Medical Imaging, 2021,40(10): 2926-2938.

[30]Chen Jiawei, Zhang Ziqi, Xie Xinpeng, et al. Beyond mutual information: generative adversarial network for domain adaptation using information bottleneck constraint[J]. IEEE Trans on Medical Imaging, 2021,41(3): 595-607.

[31]Wang Shujun, Yu Lequan, Yang Xin, et al. Patch-based output space adversarial learning for joint optic disc and cup segmentation[J]. IEEE Trans on Medical Imaging, 2019, 38(11): 2485-2495.

[32]Wang Shujun, Yu Lequan, Li Kang, et al. Boundary and entropy-driven adversarial learning for fundus image segmentation[C]//Proc of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2019: 102-110.

[33]Vesal S, Gu Mingxuan, Kosti R, et al. Adapt everywhere: unsupervised adaptation of point-clouds and entropy minimization for multi-modal cardiac image segmentation[J]. IEEE Trans on Medical Imaging, 2021, 40(7): 1838-1851.

[34]Chen Cheng, Dou Qi, Chen Hao, et al. Unsupervised bidirectional cross-modality adaptation via deeply synergistic image and feature alignment for medical image segmentation[J]. IEEE Trans on Me-dical Imaging, 2020,39(7): 2494-2505.

[35]Creswell A, White T, Dumoulin V, et al. Generative adversarial networks: an overview[J]. IEEE Signal Processing Magazine, 2018, 35(1): 53-65.

[36]Liu Xinyu, Guo Xiaoqing, Liu Yajie, et al. Consolidated domain adaptive detection and localization framework for cross-device colonoscopic images[J]. Medical Image Analysis, 2021, 71: 102052.

[37]Liu Jinping, Liu Hui, Gong Subo, et al. Automated cardiac segmentation of cross-modal medical images using unsupervised multi-domain adaptation and spatial neural attention structure[J]. Medical Image Analysis, 2021, 72: 102135.

[38]Jin Qiangguo, Cui Hui, Sun Changming, et al. Domain adaptation based self-correction model for COVID-19 infection segmentation in CT images[J]. Expert Systems with Applications, 2021, 176: 114848.

[39]Cho H, Nishimura K, Watanabe K, et al. Effective pseudo-labeling based on heatmap for unsupervised domain adaptation in cell detection[J]. Medical Image Analysis, 2022, 79: 102436.

[40]Liu Zhizhe, Zhu Zhengfeng, Zheng Shuai, et al. Margin preserving self-paced contrastive learning towards domain adaptation for medical image segmentation[J]. IEEE Journal of Biomedical and Health Informatics, 2022, 26(2): 638-647.

[41]Tarvainen A, Valpola H. Mean teachers are better role models: weight-averaged consistency targets improve semi-supervised deep learning results[C]//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc., 2017: 1195-1204.

[42]Li Kang, Wang Shujun, Yu Lequan, et al. Dual-teacher+: exploiting intra-domain and inter-domain knowledge with reliable transfer for cardiac segmentation[J]. IEEE Trans on Medical Imaging, 2020, 40(10): 2771-2782.

[43]楊鴻杰, 徐巧枝, 于磊. 基于深度學(xué)習(xí)的多模態(tài)醫(yī)學(xué)影像分割研究綜述[J]. 計算機(jī)應(yīng)用研究, 2022,39(5):1297-1306. (Yang Hongjie, Xu Qiaozhi, Yu Lei. Survey of multi-modal medical image segmentation based on deep learning[J]. Application Research of Computers, 2022,39(5): 1297-1306.)

[44]SYNAPSE. Multi-Atlas labeling beyond cranial vault-workshop challenge[EB/OL]. (2015-04-09). https://doi.org/10.7303/syn3193805.

[45]Menze B H, Jakab A, Bauer S, et al. The multimodal brain tumor image segmentation benchmark[J]. IEEE Trans on Medical Imaging, 2014, 34(10): 1993-2024.

[46]Tschandl P, Rosendahl C, Kittler H. The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions[J]. Scientific Data, 2018, 5(1): 1-9.

[47]Ballerini L, Fisher R B, Aldridge B, et al. A color and texture based hierarchical K-NN approach to the classification of non-melanoma skin lesions[M]//Celebi M, Schaefer G. Color Medical Image Analysis. Dordrecht: Springer, 2013: 63-86.

[48]Kawahara J, Daneshvar S, Argenziano G, et al. Seven-point checklist and skin lesion classification using multitask multimodal neural nets[J]. IEEE Journal of Biomedical and Health Informatics, 2018, 23(2): 538-546.

[49]Codella N C F, Gutman D, Celebi M E, et al. Skin lesion analysis toward melanoma detection: a challenge at the 2017 international symposium on biomedical imaging, hosted by the international skin imaging collaboration[C]//Proc of the 15th International Symposium on Biomedical Imaging. Piscataway, NJ: IEEE Press, 2018: 168-172.

[50]Mendona T, Ferreira P M, Marques J S, et al. PH2—a dermoscopic image database for research and benchmarking[C]//Proc the 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway, NJ: IEEE Press, 2013: 5437-5440.

[51]Orlando J I, Fu Huazhu, Breda J B, et al. Refuge challenge: a unified framework for evaluating automated methods for glaucoma assessment from fundus photographs[J]. Medical Image Analysis, 2020, 59: 101570.

[52]Sivaswamy J, Krishnadas S, Chakravarty A, et al. A comprehensive retinal image dataset for the assessment of glaucoma from the optic nerve head analysis[J]. JSM Biomedical Imaging Data Papers, 2015, 2(1): 1004.

[53]Fumero F, Alayon S, Sanchez J L, et al. RIM-ONE: an open retinal image database for optic nerve evaluation[C]//Proc of the 24th International Symposium on Computer-Based Medical Systems. Pisca-taway, NJ: IEEE Press, 2011: 1-6.

[54]Campello V M, Gkontra P, Izquierdo C, et al. Multi-centre, multi-vendor and multi-disease cardiac segmentation: the M&Ms challenge[J]. IEEE Trans on Medical Imaging, 2021,40(12): 3543-3554.

[55]Zhuang Xiahai, Xu Jiahang, Luo Xinzhe, et al. Cardiac segmentation on late gadolinium enhancement MRI: a benchmark study from multi-sequence cardiac MR segmentation challenge[J]. Medical Image Analysis, 2022, 81: 102528.

[56]Zhuang Xiahai, Shen Juan. Multi-scale patch and multi-modality atlases for whole heart segmentation of MRI[J]. Medical Image Analysis, 2016, 31: 77-87.

[57]Kavur A E, Gezer N S, Bar瘙塂 M, et al. CHAOS challenge-combined(CT-MR) healthy abdominal organ segmentation[J]. Medical Image Analysis, 2021, 69:101950.

[58]Zeng Guodong, Lerch T D, Schmaranzer F, et al. Semantic consistent unsupervised domain adaptation for cross-modality medical image segmentation[C]//Proc of the 24th International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Sprin-ger, 2021: 201-210.

[59]Bernal J, Sánchez F J, Fernández-Esparrach G, et al. WM-DOVA maps for accurate polyp highlighting in colonoscopy: validation vs. saliency maps from physicians[J]. Computerized Medical Imaging and Graphics, 2015, 43: 99-111.

[60]Silva J, Histace A, Romain O, et al. Toward embedded detection of polyps in WCE images for early diagnosis of colorectal cancer[J]. International Journal of Computer Assisted Radiology and Surgery, 2014, 9(2): 283-293.

[61]Xie Qingsong, Li Yuexiang, He Nanjun, et al. Unsupervised domain adaptation for medical image segmentation by disentanglement learning and self-training[J]. IEEE Trans on Medical Imaging, 2024, 43(1): 4-14.

[62]Cui Zhiming, Li Changjian, Du Zhixu, et al. Structure-driven unsupervised domain adaptation for cross-modality cardiac segmentation[J]. IEEE Trans on Medical Imaging, 2021, 40(12): 3604-3616.

[63]Dong Shunjie, Pan Zixuan, Fu Yu, et al. Partial unbalanced feature transport for cross-modality cardiac image segmentation[J]. IEEE Trans on Medical Imaging, 2023, 42(6): 1758-1773.

[64]Xian Junlin, Li Xiang, Tu Dandan, et al. Unsupervised cross-modality adaptation via dual structural-oriented guidance for 3D medical image segmentation[J]. IEEE Trans on Medical Imaging, 2023, 42(6): 1774-1785.

[65]He Yufan, Carass A, Zuo Lianrui, et al. Autoencoder based self-supervised test-time adaptation for medical image analysis[J]. Medical Image Analysis, 2021, 72: 102136.

[66]Zeng Guodong, Lerch T D, Schmaranzer F, et al. Semantic consis-tent unsupervised domain adaptation for cross-modality medical image segmentation[C]//Proc of the 24th International Conference on Me-dical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2021: 201-210.

[67]Shin S Y, Lee S, Summers R M. Unsupervised domain adaptation for small bowel segmentation using disentangled representation[C]//Proc of the 24th International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2021: 282-292.

[68]Jiang Jue, Hu Yuchi, Tyagi N, et al. Tumor-aware, adversarial domain adaptation from CT to MRI for lung cancer segmentation[C]//Proc of International Workshop on Simulation and Synthesis in Medical Imaging. Berlin: Springer, 2018: 777-785.

[69]Li Jun, Feng Chaolu, Lin Xiaozhu, et al. Utilizing GCN and meta-learning strategy in unsupervised domain adaptation for pancreatic cancer segmentation[J]. IEEE Journal of Biomedical and Health Informatics, 2021, 26(1): 79-89.

[70]Yang Chen,Guo Xiaoqing,Chen Zhen,et al. Source free domain adaptation for medical image segmentation with Fourier style mining[J]. Medical Image Analysis, 2022, 79: 102457.

[71]Feng Yangqin, Wang Zizhou, Xu Xinxing, et al. Contrastive domain adaptation with consistency match for automated pneumonia diagnosis[J]. Medical Image Analysis, 2023, 83: 102664.

[72]Ma Wennao, Chen Cheng, Zheng Shuang, et al. Test-time adaptation with calibration of medical image classification nets for label distribution shift[C]//Proc of the 25th International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Sprin-ger, 2022: 313-323.

[73]Chen Chaoqi, Wang Jiexiang, Pan Junwen, et al. GraphSKT: graph-guided structured knowledge transfer for domain adaptive lesion detection[J]. IEEE Trans on Medical Imaging, 2022, 42(2): 507-518.

[74]Ju Lie, Wang Xin, Zhao Xin, et al. Leveraging regular fundus images for training UWF fundus diagnosis models via adversarial learning and pseudo-labeling[J]. IEEE Trans on Medical Imaging, 2021, 40(10): 2911-2925.

[75]Mahmood F, Chen R, Durr N J. Unsupervised reverse domain adaptation for synthetic medical images via adversarial training[J]. IEEE Trans on Medical Imaging, 2018, 37(12): 2572-2581.

[76]Dong Nanqing, Kampffmeyer M, Liang Xiaodan, et al. Unsupervised domain adaptation for automatic estimation of cardiothoracic ratio[C]//Proc of International Workshop on Simulation and Synthesis in Medical Imaging. Berlin: Springer, 2018: 544-552.

[77]Park C, Awadalla A, Kohno T, et al. Reliable and trustworthy machine learning for health using dataset shift detection[J]. Advances in Neural Information Processing Systems, 2021, 34: 3043-3056.

[78]Liu Luyan,Zhang Zhengdong,Li Shuai,et al.S-CUDA:self-cleansing unsupervised domain adaptation for medical image segmentation[J]. Medical Image Analysis, 2021, 74: 102214.

[79]He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2016: 770-778.

[80]Hoyer L, Dai Dengxin, Van Gool L. DAFormer: improving network architectures and training strategies for domain-adaptive semantic segmentation[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2022: 9924-9935.

[81]Xie Enze, Wang Wenhai, Yu Zhiding, et al. SegFormer: simple and efficient design for semantic segmentation with transformers[J]. Advances in Neural Information Processing Systems, 2021, 34: 12077-12090.

[82]Devlin J, Chang Mingwei, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[EB/OL]. (2019-05-24). https://arxiv.org/abs/1810.04805.

[83]Brown T, Mann B, Ryder N, et al. Language models are few-shot learners[J]. Advances in Neural Information Processing Systems, 2020, 33: 1877-1901.

[84]Chen Zhiyuan, Liu Bing. Lifelong machine learning[M]. [S.l.]: Morgan & Claypool Publishers, 2018.

猜你喜歡
源域
多源域適應(yīng)方法綜述
基于參數(shù)字典的多源域自適應(yīng)學(xué)習(xí)算法
英文新聞標(biāo)題中的隱喻
認(rèn)知隱喻視角下禪宗話語機(jī)鋒的特征分析
淺析《離騷》中的跨域映射現(xiàn)象
狄金森詩歌中的新奇隱喻解讀
淺析《離騷》中的跨域映射現(xiàn)象
可遷移測度準(zhǔn)則下的協(xié)變量偏移修正多源集成方法
揭阳市| 昌吉市| 新昌县| 汝南县| 磐安县| 大关县| 尼木县| 武邑县| 慈利县| 桃园县| 深州市| 松江区| 长沙县| 施秉县| 台中市| 高邑县| 察哈| 类乌齐县| 平乡县| 九龙城区| 雅安市| 松溪县| 行唐县| 海南省| 如东县| 米林县| 梁山县| 汉阴县| 原阳县| 普洱| 防城港市| 邯郸市| 卢氏县| 大方县| 安阳市| 甘肃省| 沙河市| 莎车县| 钟祥市| 九江县| 彩票|