李柏橋，彭 顯

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650050）

0 引 言

直到今天，癌癥依然是威脅人類(lèi)健康的主要疾病之一。據(jù)統(tǒng)計(jì)，2018年全球有1 807萬(wàn)余例新增癌癥病例，發(fā)病率為每10萬(wàn)人236.9例。盡可能早的癌癥診斷對(duì)患者的康復(fù)至關(guān)重要，醫(yī)療影像學(xué)方法尤其是正電子發(fā)射型計(jì)算機(jī)斷層顯像/計(jì)算機(jī)斷層掃描顯像（Positron Emission Computed Tomography/Computed Tomography，PET/CT）是癌癥診斷（特別是早期診斷）的一種重要手段，但其現(xiàn)階段主要依據(jù)常規(guī)代謝顯像，在癌癥早期診斷上的診斷力不高［1-3］。患病部位的血流灌注參數(shù)是臨床檢測(cè)和診斷癌癥的重要參考指標(biāo)［4］。因此，目前常用的肝癌診斷方式是依據(jù)機(jī)器學(xué)習(xí)計(jì)算出灌注參數(shù)，并通過(guò)灌注參數(shù)在腫瘤組織與正常組織之間的差異來(lái)進(jìn)行診斷［5］。血流灌注參數(shù)是通過(guò)基于機(jī)器學(xué)習(xí)技術(shù)建立的血流動(dòng)力學(xué)模型計(jì)算得到的?，F(xiàn)階段用于癌癥診斷的血流動(dòng)力學(xué)模型主要有兩類(lèi)：一類(lèi)是Mullani等［6］提出的最大斜率法模型，主要關(guān)注示蹤劑首次通過(guò)組織時(shí)的血流情況，通過(guò)模型計(jì)算出的動(dòng)脈灌注量（Hepatic Artery Perfusion，HAP）、靜脈灌注量（Hepatic Portal Vein Perfusion，HVP）、總灌注量（Total Liver Perfusion，TLP）、動(dòng)脈灌注指數(shù)（Hepatic Artery Perfusion Index，HPI）和靜脈灌注 指 數(shù)（Hepatic Portal Vein Perfusion Index，PPI）5個(gè)參數(shù)來(lái)區(qū)分腫瘤組織與正常組織［7］；另一類(lèi)是房室模型，使用電信號(hào)模擬病變器官的生理過(guò)程，主要關(guān)注腔室之間的血流轉(zhuǎn)換和血液中葡萄糖的代謝情況［8］。房室模型主要分為單房室模型［1］、雙房室模型［9］以及三房室模型［10-12］。以上的方法存在一個(gè)共同缺點(diǎn)，即先需要人工提取出存在于PET/CT圖像中的特征，再將特征輸入模型進(jìn)行癌癥的早期診斷，將消耗大量的人工成本。

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，出現(xiàn)了以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)，并被廣泛應(yīng)用于醫(yī)療、軍事、航天以及氣象等領(lǐng)域，并取得了良好效果。卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和全連接層組成。由于卷積層可以自動(dòng)從數(shù)據(jù)中提取預(yù)測(cè)所需的特征，因此十分適于替代上述依賴(lài)人工提取特征的早期診斷模型。然而，基于卷積神經(jīng)網(wǎng)絡(luò)的癌癥早期預(yù)報(bào)模型依賴(lài)于大規(guī)模數(shù)據(jù)集的訓(xùn)練，由于PET/CT成像存在費(fèi)用過(guò)于高昂和造成患者較大生理不適的問(wèn)題，目前PET/CT設(shè)備并未得到大范圍普及，造成可以用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型的PET/CT數(shù)據(jù)量嚴(yán)重不足。

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）是深度學(xué)習(xí)領(lǐng)域的一個(gè)重要分支，可以根據(jù)已有的圖像數(shù)據(jù)生成與之相似的仿真圖像數(shù)據(jù)，非常適合于擴(kuò)充PET/CT圖像的數(shù)量。因此，本文提出了一種基于GAN（CycleGAN）的PET/CT仿真圖像生成的方法，以此獲得更多的仿真PET/CT圖像，用于后續(xù)基于卷積神經(jīng)網(wǎng)絡(luò)的癌癥早期診斷模型的訓(xùn)練。

1 數(shù) 據(jù)

1.1 數(shù)據(jù)來(lái)源

本文使用的原始數(shù)據(jù)來(lái)自斯坦福大學(xué)2018年發(fā)布的NSCLC Radiogenomics數(shù)據(jù)集（https://wiki.cancerimagingarchive.net/display/Public/NSCLC+Radiogenomics），其中包含了211位受試者的肺部 PET/CT 圖像［13］。

1.2 數(shù)據(jù)預(yù)處理

NSCLC Radiogenomics數(shù)據(jù)集中包含了211位受試者的全身（軀干部分）PET/CT圖像，而每位受試者的癌變部位均為肺部，需要手動(dòng)從原始數(shù)據(jù)中提取肺部PET/CT圖像。同時(shí)，為了獲得更大規(guī)模的數(shù)據(jù)集，在圖像符合要求的前提下，從每位受試者圖像樣本中提取盡量多的PET/CT圖片。提取工作由一名有3年從業(yè)經(jīng)驗(yàn)的放射科醫(yī)師進(jìn)行，最終提取到來(lái)自211位受試者的917張肺部PET/CT圖像。提取出的部分圖像如圖1所示。

圖1 部分真實(shí)的肺部PET/CT圖像

2 方 法

生成對(duì)抗網(wǎng)絡(luò)是深度學(xué)習(xí)的一個(gè)重要分支，是一種典型的無(wú)監(jiān)督學(xué)習(xí)算法。如圖2所示，生成對(duì)抗網(wǎng)絡(luò)包括生成模塊（Generator，G）和判別模塊（Discriminator，D）兩個(gè)模塊。生成模塊的作用是根據(jù)輸入的圖像數(shù)據(jù)生成仿真圖像數(shù)據(jù)，判別模塊的作用是判斷生成模塊所生成的仿真數(shù)據(jù)是否符合要求。訓(xùn)練過(guò)程中，生成模型會(huì)隨機(jī)選擇輸入的真實(shí)圖像數(shù)據(jù)中的各項(xiàng)特征并進(jìn)行重新組合，同時(shí)加入隨機(jī)噪聲。判別模塊會(huì)同時(shí)接收到真實(shí)的圖像數(shù)據(jù)和生成模塊生成的仿真圖像數(shù)據(jù)，進(jìn)而判斷每一個(gè)輸入是真實(shí)圖像數(shù)據(jù)還是仿真圖像數(shù)據(jù)，并給出一個(gè)評(píng)分。訓(xùn)練過(guò)程中，對(duì)兩個(gè)模塊的參數(shù)進(jìn)行同時(shí)調(diào)優(yōu)，如果判別模塊可以識(shí)別出仿真圖像數(shù)據(jù)，需要更新生成模塊的參數(shù)使其生成的仿真圖像數(shù)據(jù)更加逼真，最終使判別模塊難以判別出生成模塊所生成的仿真圖像數(shù)據(jù)，至此整個(gè)網(wǎng)絡(luò)訓(xùn)練完成。

圖2 生成對(duì)抗網(wǎng)絡(luò)的總體結(jié)構(gòu)

2.1 CycleGAN概述

Zhu等人在2017年提出了一種名為CycleGAN的生成對(duì)抗網(wǎng)絡(luò)［14］。CycleGAN在結(jié)構(gòu)方面做了大幅度改進(jìn)，如圖3所示。它包含2個(gè)生成對(duì)抗網(wǎng)絡(luò)，與傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)不同。CycleGAN中的兩個(gè)生成對(duì)抗網(wǎng)絡(luò)只輸入真實(shí)數(shù)據(jù)而不輸入噪聲，將兩類(lèi)真實(shí)的圖像進(jìn)行圖像風(fēng)格的融合。此時(shí)，模型的優(yōu)化目標(biāo)為：

式中，X、Y分別表示待融合的兩張圖像；模型GAN1負(fù)責(zé)將圖像X轉(zhuǎn)換成圖像Y相近的圖像；模型GAN2負(fù)責(zé)將圖像Y轉(zhuǎn)換成圖像X相近的圖像；Lcyc(G,F)代表循環(huán)一致性損失，是實(shí)現(xiàn)CycleGAN的關(guān)鍵，計(jì)算方法如下：

式（2）右側(cè)第1項(xiàng)表示圖像X輸入到GAN1的生成模塊中，并將GAN1的輸出結(jié)果輸入到GAN2的生成模塊中，然后計(jì)算GAN2的輸出結(jié)果與輸入圖像X的真實(shí)值之間的距離。式（2）右側(cè)第2項(xiàng)用于保證輸入的圖片經(jīng)過(guò)兩次變換后發(fā)生的變化盡可能小，即使生成模塊能更好地?cái)M合圖像X到圖像Y之間和圖像Y到圖像X之間的映射關(guān)系，從而避免模型的生成圖片過(guò)于單調(diào)。

圖3 CycleGAN模型的總體結(jié)構(gòu)

2.2 生成模塊與鑒別模塊

如圖4（a）所示，CycleGAN的生成模塊主要由編碼器、轉(zhuǎn)換器和解碼器3個(gè)部分組成。其中，編碼器的作用是初步利用卷積神經(jīng)網(wǎng)絡(luò)提取輸入圖像中的特征，得到256個(gè)尺寸為64×64的特征圖；轉(zhuǎn)換器的作用是組合圖像的不相近特征，將圖像在一個(gè)域中的特征向量轉(zhuǎn)換為另一個(gè)域中的特征向量，常使用兩個(gè)卷積層組成的網(wǎng)絡(luò)，保證轉(zhuǎn)換的同時(shí)保留原始圖像的特征；解碼器的作用是利用反卷積從特征向量中還原出低級(jí)的特征，得到生成圖像。

鑒別模塊的結(jié)構(gòu)如圖4（b）所示。鑒別模塊的本質(zhì)是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，從輸入的圖像中提取出特征，再通過(guò)添加的一層一維輸出卷積層判別網(wǎng)絡(luò)所提取到的特征是否屬于特定的類(lèi)別。

2.3 模型訓(xùn)練與仿真圖像的生成

本文搭建的CycleGAN模型的超參數(shù)根據(jù)經(jīng)驗(yàn)和實(shí)驗(yàn)結(jié)果設(shè)置如下：生成模塊與判別模塊均使用Adam 優(yōu)化器［15］，其中β1參數(shù)被設(shè)置為 0.4，β2參數(shù)被設(shè)置為0.8，學(xué)習(xí)率被設(shè)置為0.001。同時(shí)，在模型的預(yù)訓(xùn)練結(jié)束后，判別模塊參數(shù)每更新5次生成模塊參數(shù)就被更新1次。batch-size被設(shè)置為64。

模型訓(xùn)練完成后，嘗試使用訓(xùn)練后的模型生成若干仿真肺部PET/CT模型。部分生成的仿真PET/CT圖像如圖5所示，可以看出，生成圖像與真實(shí)圖像有所不同，但總體上擁有相似的特征。

3 結(jié) 果

3.1 類(lèi)圖靈測(cè)試

1950年，計(jì)算機(jī)之父艾倫·麥席森·圖靈首次提出“圖靈測(cè)試”的概念［16］?！皥D靈測(cè)試”是指測(cè)試者在不知道被測(cè)試者是人還是機(jī)器的情況下，通過(guò)某些特定的手段向被測(cè)試者進(jìn)行提問(wèn)，由測(cè)試者判斷被測(cè)試者是人還是機(jī)器。如果進(jìn)行多次提問(wèn)后機(jī)器的回答讓平均每個(gè)測(cè)試者作出超出一定比例的誤判，那么這臺(tái)機(jī)器就通過(guò)了測(cè)試，并被一定程度上認(rèn)為具有智慧。

圖4 CycleGAN模型的生成模塊與判別模塊

圖5 模型生成的仿真肺部PET/CT圖像

為了對(duì)模型輸出的仿真PET/CT圖像的真實(shí)程度進(jìn)行評(píng)估，設(shè)計(jì)了一個(gè)“類(lèi)圖靈測(cè)試”方法，即取100張?jiān)紨?shù)據(jù)中的真實(shí)PET/CT圖像和100張模型生成的仿真PET/CT圖像進(jìn)行混合，再由兩位有經(jīng)驗(yàn)的放射科醫(yī)師（其中，醫(yī)師A有3年從業(yè)經(jīng)驗(yàn)，醫(yī)師B有2年從業(yè)經(jīng)驗(yàn)）對(duì)圖像進(jìn)行評(píng)價(jià)。評(píng)價(jià)標(biāo)準(zhǔn)是對(duì)圖像進(jìn)1～5分的打分，其中1分表示圖像質(zhì)量非常差，5分表示圖像質(zhì)量非常好。

3.2 測(cè)試結(jié)果

經(jīng)過(guò)統(tǒng)計(jì)，最終的測(cè)試結(jié)果如圖6所示。其中：圖6（a）和圖6（b）分別表示醫(yī)師A對(duì)真實(shí)圖像和仿真圖像的評(píng)價(jià)，真實(shí)圖像的平均得分為3.69分（計(jì)算算方法為所有柱形圖橫縱坐標(biāo)乘積的和除以圖像總數(shù)100，下同），仿真圖像的平均得分為3.51分；圖6（c）和圖6（d）分別表示醫(yī)師B對(duì)真實(shí)圖像和仿真圖像的評(píng)價(jià)，真實(shí)圖像的平均得分為3.63分，仿真圖像的平均得分為3.58分。通過(guò)測(cè)試結(jié)果可以看出：對(duì)于提出的基于CycleGAN的模型生成的仿真圖像，醫(yī)師A和醫(yī)師B都給出了略低于真實(shí)圖像的評(píng)分，但總體上兩種圖像的得分差異不大。因此，可以認(rèn)為即使是專(zhuān)業(yè)的醫(yī)師也很難將提出模型所生成的模擬PET/CT圖像與真實(shí)PET/CT圖像完全區(qū)分開(kāi)來(lái)，證明了提出的基于CycleGAN的仿真PET/CT圖像生成方法的有效性。

圖6 兩位醫(yī)師對(duì)真實(shí)圖像和生成的仿真圖像的評(píng)分

4 結(jié) 語(yǔ)

本文提出了一種基于CycleGAN的仿真PET/CT圖像生成方法，詳細(xì)介紹了該方法的原理、模型結(jié)構(gòu)以及訓(xùn)練過(guò)程。該方法可以基于真實(shí)的PET/CT圖像對(duì)其特征進(jìn)行重新組合，生成與輸入圖像有所不同但擁有相同特征的仿真圖像，可以有效對(duì)已有的真實(shí)PET/CT圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，從而實(shí)現(xiàn)將PET/CT圖像用于基于卷積神經(jīng)網(wǎng)絡(luò)的癌癥早期診斷模型的訓(xùn)練工作。實(shí)驗(yàn)過(guò)程中，將來(lái)自NSCLC Radiogenomics數(shù)據(jù)集的肺部PET/CT圖像用于提出的模型訓(xùn)練，生成了若干仿真PET/CT圖像，并經(jīng)過(guò)兩名有經(jīng)驗(yàn)的放射科醫(yī)師對(duì)實(shí)驗(yàn)結(jié)果的評(píng)價(jià)，初步證明：提出的基于CycleGAN的仿真PET/CT圖像生成模型可以有效產(chǎn)生可用于訓(xùn)練癌癥早期診斷的卷積神經(jīng)網(wǎng)絡(luò)模型的仿真PET/CT圖像。未來(lái)將要嘗試除肺部PET/CT圖像以外的其他人體器官或部位的仿真PET/CT圖像的生成，并設(shè)計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)的癌癥早期診斷模型，嘗試聯(lián)合使用真實(shí)的PET/CT圖像和所提模型生成的仿真PET/CT圖像對(duì)人體各個(gè)部位的早期癌癥進(jìn)行診斷。