苗喬偉,楊 淇,李愛佳,羅文劼

(河北大學(xué) 網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院,河北 保定 071000)

0 概述

目前,許多疾病的診斷仍然依賴于高倍數(shù)顯微鏡對(duì)微觀細(xì)胞或結(jié)構(gòu)進(jìn)行觀測(cè)[1-3],然而現(xiàn)有的高倍數(shù)顯微鏡價(jià)格高,需要專業(yè)人員進(jìn)行操作且操作步驟復(fù)雜,因此其不利于在落后地區(qū)進(jìn)行大規(guī)模部署。

自蒙特利爾大學(xué)的GOODFELLOW等人提出了生成式對(duì)抗網(wǎng)絡(luò)[4](Generative Adversarial Network,GAN)的概念以來,GAN模型得到迅速發(fā)展和廣泛的應(yīng)用,并形成了大量的變體。目前針對(duì)超分辨率領(lǐng)域和風(fēng)格轉(zhuǎn)換方面有SRGAN[5]、StyleGAN[6-7]、CycleGAN[8-9]等。盡管多種GAN的變體[10-12]在風(fēng)格遷移或者超分辨率方面取得了重要進(jìn)展,并在衡量評(píng)分上不斷取得突破,但是在細(xì)胞圖像由低倍數(shù)顯微生成高倍數(shù)顯微圖像方面,單一類型網(wǎng)絡(luò)都不能達(dá)到較好的效果。主要是因?yàn)楦叩蛢煞N倍數(shù)的顯微圖片具有如下差異:高倍數(shù)細(xì)胞顯微圖像與低倍數(shù)細(xì)胞顯微圖像風(fēng)格不同,如對(duì)比在1 000倍顯微鏡拍攝的高倍數(shù)圖像與在400倍顯微鏡下采集的低倍數(shù)圖像,其圖像視野中明暗與細(xì)胞圖像的紋理、色彩、視覺模式有很大不同;高倍數(shù)顯微圖像中可以觀測(cè)到細(xì)胞內(nèi)部的微觀結(jié)構(gòu),如細(xì)胞核等,而在低倍數(shù)顯微圖像中的微觀結(jié)構(gòu)表現(xiàn)不明顯;在數(shù)據(jù)采集過程中,高倍數(shù)顯微圖像與低倍數(shù)顯微圖像往往是不配對(duì)的,即未必能采集到同一個(gè)細(xì)胞同一時(shí)間與同一環(huán)境下的高倍數(shù)顯微圖像與低倍數(shù)顯微圖像,從而造成訓(xùn)練上的困難。

由于細(xì)胞圖像特性,單純的超分辨率方法只能放大細(xì)胞圖像而無法還原細(xì)胞內(nèi)部結(jié)構(gòu)信息,且模型訓(xùn)練需要依賴大量的配對(duì)數(shù)據(jù)。單純風(fēng)格轉(zhuǎn)換的模型雖然能推測(cè)還原圖像,但不能保證生成圖像的準(zhǔn)確性。近年來基于CycleGAN的圖像重建網(wǎng)絡(luò)[13-15]在圖像到圖像轉(zhuǎn)換方面取得了較好應(yīng)用。因此,本文提出基于CycleGAN的高倍數(shù)細(xì)胞顯微圖像生成式對(duì)抗網(wǎng)絡(luò),旨在利用非配對(duì)的高倍數(shù)顯微圖像與低倍數(shù)顯微圖像數(shù)據(jù)集,準(zhǔn)確地生成低倍數(shù)顯微圖像對(duì)應(yīng)的高倍數(shù)顯微圖像。

1 相關(guān)工作

1.1 循環(huán)生成對(duì)抗網(wǎng)絡(luò)

生成式對(duì)抗網(wǎng)絡(luò)是近年來在無監(jiān)督學(xué)習(xí)上具前景的一種深度學(xué)習(xí)模型。該模型構(gòu)架至少包含兩個(gè)主要的模塊:生成器G與鑒別器D。其中,生成器G負(fù)責(zé)生成偽造圖像來迷惑鑒別器D,使鑒別器D無法判斷生成圖片真實(shí)與否。鑒別器D負(fù)責(zé)判斷輸入圖像是否為生成器G生成的偽造圖像。隨著生成器G與鑒別器D的不斷優(yōu)化,最終對(duì)抗的過程達(dá)到一個(gè)動(dòng)態(tài)平衡。傳統(tǒng)GAN為單向網(wǎng)絡(luò),損失公式見式(1)與式(2)。

重建損失:

(1)

判別損失:

LGAN(GAB,DB,A,B)=

Eb～B[logaDB(b)]+Ea～A[loga(1-DB(GAB(a)))]

(2)

由于在風(fēng)格轉(zhuǎn)換方面使用單純的GAN網(wǎng)絡(luò)需要大量的配對(duì)圖片作為訓(xùn)練數(shù)據(jù),然而這樣的配對(duì)的圖片難以采集。2017年,朱俊彥提出的CycleGAN網(wǎng)絡(luò)針對(duì)訓(xùn)練數(shù)據(jù)非配對(duì)問題進(jìn)行了有益探索。

CycleGAN本質(zhì)上是一個(gè)B→A單向GAN加上一個(gè)A→B單向GAN,這樣兩個(gè)鏡像對(duì)稱的GAN構(gòu)成了一個(gè)環(huán)形網(wǎng)絡(luò)。兩個(gè)GAN共享兩個(gè)生成器,并各自帶一個(gè)判別器,即共有兩個(gè)判別器和兩個(gè)生成器,同時(shí)還提出循環(huán)一致性損失,計(jì)算公式如下:

(3)

其中,F和G為CycleGAN要學(xué)習(xí)的兩個(gè)映射,要求F(G(y))≈y,G(F(x))≈x。CycleGAN最終損失由三部分組成,計(jì)算公式如下:

L=LGAN(F,DY,X,Y)+LGAN(G,DX,X,Y)+

λLcyc(F,G,X,Y)

(4)

通過訓(xùn)練,不配對(duì)的訓(xùn)練圖像可以通過生成器生成與自己配對(duì)的圖像,從而解決了數(shù)據(jù)集不配對(duì)的問題。同時(shí)隨著循環(huán)一致性損失的引入,對(duì)生成的配對(duì)圖像進(jìn)行有效約束,保證了生成圖像與原圖像之間準(zhǔn)確的對(duì)應(yīng)關(guān)系。

本文應(yīng)用類似的網(wǎng)絡(luò)結(jié)構(gòu)來解決訓(xùn)練數(shù)據(jù)集不配對(duì)的情況。但是單純CycleGAN結(jié)構(gòu)只能根據(jù)低倍數(shù)顯微圖片生成高倍數(shù)顯微下細(xì)胞樣式的風(fēng)格,并不能準(zhǔn)確重建還原出細(xì)胞內(nèi)部結(jié)構(gòu)。針對(duì)該問題,本文引入了超分辨率中常用的感知損失[16],并將CycleGAN生成器結(jié)構(gòu)參照適用于超分辨率挑戰(zhàn)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化,幫助生成器準(zhǔn)確、真實(shí)地重建出細(xì)胞內(nèi)部結(jié)構(gòu)。

1.2 深度學(xué)習(xí)的風(fēng)格轉(zhuǎn)化

使用深度學(xué)習(xí)進(jìn)行風(fēng)格轉(zhuǎn)化由文獻(xiàn)[12]提出,其可以將普通圖片轉(zhuǎn)化為名畫風(fēng)格。風(fēng)格轉(zhuǎn)化的主要目的是將一張參考圖片的風(fēng)格應(yīng)用到另一張?jiān)紙D片上,最后生成的圖片既保留原始圖片的大體內(nèi)容,又能展現(xiàn)出參考圖片的風(fēng)格。這里的風(fēng)格是指一張圖片的紋理、色彩和視覺模式等,內(nèi)容則是指圖片的宏觀構(gòu)造。

在風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)中,其核心在于最大程度地保持圖片原有構(gòu)造的同時(shí),對(duì)其目標(biāo)風(fēng)格進(jìn)行學(xué)習(xí),并應(yīng)用于輸入圖像之上對(duì)圖像進(jìn)行重建。風(fēng)格轉(zhuǎn)換在高倍數(shù)細(xì)胞顯微圖像重建任務(wù)中非常重要,因?yàn)榈捅稊?shù)顯微下拍攝的細(xì)胞圖像與高倍數(shù)顯微下拍攝的同種細(xì)胞圖像,具有不同的紋理、色彩與視覺模式。風(fēng)格轉(zhuǎn)換可以有效改善低倍數(shù)顯微圖像的質(zhì)地,使其在整體的人體視覺感知上更接近于真實(shí)的高倍數(shù)顯微圖片。

本文使用循環(huán)生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu),完成低倍數(shù)顯微圖片到高倍數(shù)顯微圖片的風(fēng)格遷移任務(wù)。

2 高倍數(shù)細(xì)胞顯微圖像生成式對(duì)抗網(wǎng)絡(luò)

本文的目的是學(xué)習(xí)低倍數(shù)顯微圖片域X和高倍數(shù)顯微圖片域Y之間準(zhǔn)確可信的映射關(guān)系。定義兩個(gè)域內(nèi)的數(shù)據(jù)分布分別為x～pdata(x)和y～pdata(y)。高倍數(shù)細(xì)胞顯微圖像生成式對(duì)抗網(wǎng)絡(luò)包含兩個(gè)映射,分別是映關(guān)系G:X→Y和映射關(guān)系F:Y→X。此外,還包括兩個(gè)敵對(duì)的鑒別器Dx和Dy。Dx的目標(biāo)是區(qū)分圖片{x}和圖片{F(y)}。與之類似,Dy的目標(biāo)是區(qū)分圖片{y}和圖片{G(x)}。本文針對(duì)高倍數(shù)細(xì)胞顯微圖像重建任務(wù)的特殊性,引入對(duì)抗損失與循環(huán)一致性損失來加強(qiáng)對(duì)其高倍數(shù)顯微圖像風(fēng)格的學(xué)習(xí)效率與質(zhì)量,另外還提出了細(xì)節(jié)感知損失來保證生成圖片信息的有效性與真實(shí)性。

2.1 對(duì)抗損失

本文將對(duì)抗性質(zhì)損失應(yīng)用于G、F兩種映射。對(duì)于映射G:X→Y和鑒別器,其鑒別器Dy損失函數(shù)公式如下:

LGAN(G,DY,X,Y)=Ey～Pdata(y)[logaD(y)]+

Ex～Pdata(x)[loga(1-DY(G(x)))]

(5)

其中,G負(fù)責(zé)生成非常接近來自圖像域Y的圖像G(x),而Dy負(fù)責(zé)分辨出真實(shí)圖像y與生成的偽圖像G(x)。生成器G目標(biāo)是使損失函數(shù)最小化,鑒別器D目標(biāo)是使其最大化,計(jì)算公式如下:

minGmaxDYLGAN(G,DY,X,Y)

(6)

同理,將其引入本文中的映射方式F:Y→X與鑒別器Dx,便可得到與其類似的對(duì)抗性損失:

minGmaxDYLGAN(F,DX,Y,X)

(7)

2.2 循環(huán)一致性損失

從理論上講,單純使用對(duì)抗性損失可以使兩個(gè)生成器分別學(xué)習(xí)映射G和F,但如果容量足夠大,網(wǎng)絡(luò)可以將同一組輸入圖像映射到目標(biāo)域中任意隨機(jī)排列的圖像,其中任何已知映射都可以誘導(dǎo)與目標(biāo)分布匹配的輸出分布。因此,單純的循環(huán)一致性損失不能引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)到單個(gè)輸入xi到其期望的輸入yi。為進(jìn)一步減少可能的映射函數(shù)空間,本文引入了循環(huán)一致性損失。對(duì)于每一張來自于源域X的圖像xi,在圖像xi經(jīng)過兩個(gè)生成器的循環(huán)網(wǎng)絡(luò)之后,還能得到足夠接近原始圖像xi的輸出圖片,即x→G(x)→F(G(x))≈x,定義上述循環(huán)為正向循環(huán)。相似地,對(duì)于每一張來自于目標(biāo)域Y的圖像yi,在圖像yi經(jīng)過兩個(gè)生成器的循環(huán)網(wǎng)絡(luò)之后,還能得到足夠接近原始圖像yi的輸出圖片,即y→F(y)→G(F(y))≈y,定義上述循環(huán)為反向循環(huán)。因此,可以定義循環(huán)一致性損失來激勵(lì)此行為,損失公式如下:

(8)

本文嘗試使用L2范數(shù)來代替L1范數(shù),但是經(jīng)過實(shí)驗(yàn)證明,并沒有顯著的視覺提升,而且其個(gè)別特征過于平滑,以至于其個(gè)別高頻特征往往被忽略。在經(jīng)過多輪訓(xùn)練之后,源域圖像經(jīng)過正向循環(huán),目標(biāo)域圖像經(jīng)過反向循環(huán)之后,均能與其自身圖像具有良好的匹配與對(duì)應(yīng)關(guān)系。

2.3 細(xì)節(jié)感知損失

經(jīng)過單一的循環(huán)網(wǎng)絡(luò)之后,只能確保生成圖像具有高倍數(shù)顯微圖像的風(fēng)格與相應(yīng)的細(xì)胞結(jié)構(gòu)的重構(gòu)還原,但是并不能有效確保肉眼感知的準(zhǔn)確。通過對(duì)抗損失與循環(huán)一致性損失的優(yōu)化只能保證其在矩陣數(shù)值上的優(yōu)越性,然而人的感知是復(fù)雜且非計(jì)算性的,因此如何加強(qiáng)人體視覺感知在重建細(xì)胞高倍數(shù)顯微圖像問題中非常重要。

文獻(xiàn)[8]提出感知損失并在SRGAN中進(jìn)行了擴(kuò)展,感知損失先前被定義在預(yù)先訓(xùn)練的深層網(wǎng)絡(luò)的激活層上。將生成圖片與目標(biāo)圖片分別經(jīng)過此深層網(wǎng)絡(luò)得到激活特征,并將兩者之間距離最小化。不過該方案有兩個(gè)缺點(diǎn):1)被激活的特征是非常稀疏的,特別是在經(jīng)過非常深的網(wǎng)絡(luò)后,矩陣的稀疏性會(huì)被得到加強(qiáng),稀疏激活提供弱的監(jiān)督,從而導(dǎo)致性能較差;2)使用激活后的特征會(huì)造成重建后的圖像亮度與真實(shí)圖像不一致。

本文定義感知損失公式如下:

LG=Lpercep+βL1

(9)

綜上,本文整體網(wǎng)絡(luò)損失計(jì)算公式如下:

L=LGAN+λLcyc+ηLG

(10)

其中,λ、η均為平衡各項(xiàng)損失的系數(shù)。

2.4 網(wǎng)絡(luò)結(jié)構(gòu)

在本文實(shí)驗(yàn)中,模型有兩個(gè)生成器GX→Y、GY→X與兩個(gè)鑒別器DX→Y、DY→X。其中,GX→Y與DX→Y組合成一個(gè)生成式對(duì)抗網(wǎng)絡(luò)GANX→Y進(jìn)行學(xué)習(xí)映射G:X→Y,GY→X與DY→X組合成一個(gè)生成式對(duì)抗網(wǎng)絡(luò)GANY→X進(jìn)行學(xué)習(xí)映射F:Y→X。兩個(gè)生成式對(duì)抗網(wǎng)絡(luò)組成一個(gè)循環(huán)結(jié)構(gòu),具體結(jié)構(gòu)如圖1所示。

圖1 CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)

循環(huán)網(wǎng)絡(luò)分成正向循環(huán)與反向循環(huán)兩個(gè)階段。正向循環(huán)抽取源域的一張低倍數(shù)顯微圖片x通過GANX→Y生成一張偽高倍數(shù)顯微圖像fakey。隨后該fakey通過GANY→X生成一張近似于原始低倍數(shù)顯微圖像x的生成圖像fakex′,并對(duì)x與fakex′計(jì)算循環(huán)一致性損失。反向循環(huán)抽取目標(biāo)域的一張高倍數(shù)顯微圖像y通過GANY→X生成一張偽低倍數(shù)圖像fakex。隨后該fakex通過GANX→Y生成一張近似于原始高倍數(shù)顯微圖像y的生成圖像fakey,并對(duì)y與fakey計(jì)算循環(huán)一致性損失。

經(jīng)過此雙向循環(huán)后,即可得到真實(shí)低倍數(shù)顯微圖像x,x對(duì)應(yīng)生成的偽高倍數(shù)顯微圖像fakey與真實(shí)高倍數(shù)顯微圖像y,y對(duì)應(yīng)生成的偽低倍數(shù)顯微圖像fakex。本文使用經(jīng)過imagenet[17],預(yù)訓(xùn)練的Vgg16網(wǎng)絡(luò)作為特征提取器,將y、fakey同時(shí)傳入特征提取器得到y(tǒng)的特征向量fy與fakey的特征向量ffakey,利用fy、ffakey、y、fakey計(jì)算感知損失,并對(duì)GANX→Y進(jìn)行優(yōu)化。

為加強(qiáng)生成器GX→Y、GY→X的生成效果,本文對(duì)其進(jìn)行了以下優(yōu)化:

1)去掉BN層。去掉BN層已經(jīng)被證明有助于增強(qiáng)性能并減少計(jì)算復(fù)雜度,并且在超分辨率重建與去模糊重建方面取得了良好的效果。且BN層可能在深網(wǎng)絡(luò)和生成式對(duì)抗網(wǎng)絡(luò)的訓(xùn)練時(shí)為生成圖片帶來偽影,這些偽影偶爾出現(xiàn)在迭代和不同設(shè)置之間,不能使網(wǎng)絡(luò)經(jīng)過訓(xùn)練之后的性能足夠穩(wěn)定,因此去除了BN層。

2)提出全新激活函數(shù)。經(jīng)過實(shí)驗(yàn),BN層可以顯著加快網(wǎng)絡(luò)學(xué)習(xí)速率,為保證去掉BN層之后網(wǎng)絡(luò)仍能具有較快的學(xué)習(xí)速率,同時(shí)為了克服現(xiàn)行主要激活函數(shù)ReLU和Reaky ReLU對(duì)特征矩陣中負(fù)數(shù)信息的弱化,因此本文提出了全新的激活函數(shù)——eLU激活函數(shù):

(11)

其中,該函數(shù)可證明在定義域內(nèi)連續(xù)且處處可導(dǎo)。其一階導(dǎo)數(shù)如下:

(12)

此函數(shù)關(guān)于原點(diǎn)呈中心對(duì)稱,絕對(duì)值相同的數(shù)字信息具有相同的信息重量,有效避免了負(fù)數(shù)信息被弱化甚至忽略的情況。函數(shù)將所有數(shù)據(jù)映射到[-1,1],完成了數(shù)據(jù)的歸一化,可以代替BN層實(shí)現(xiàn)數(shù)據(jù)歸一化。將激活函數(shù)應(yīng)用于Resnet-50多分類問題、CycleGAN風(fēng)格遷移問題上,僅將原網(wǎng)絡(luò)中的激活函數(shù)進(jìn)行替換,并進(jìn)行了一系列對(duì)比實(shí)驗(yàn),結(jié)果均證明eLU的有效性與高效性。

3)引入新的生成器結(jié)構(gòu)。在原始CycleGAN生成器主體的結(jié)構(gòu)上使用了新的密集殘差塊。根據(jù)過去的實(shí)驗(yàn),更多的層與連接總可以提升網(wǎng)絡(luò)的實(shí)際性能。隨著殘差密集塊的引入,可以將網(wǎng)絡(luò)中的密集連接變得更多,具體結(jié)構(gòu)如圖2與圖3所示。

圖2 去除BN層的殘差塊結(jié)構(gòu)

圖3 本文密集殘差塊

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

在深度學(xué)習(xí)中,質(zhì)量高且相關(guān)性高的數(shù)據(jù)集對(duì)于模型的訓(xùn)練、驗(yàn)證以及測(cè)試起著決定性的作用。一個(gè)合適的數(shù)據(jù)集往往決定了模型最終的效果。

在顯微圖像中,本文選擇弓形蟲細(xì)胞數(shù)據(jù)作為實(shí)驗(yàn)對(duì)象。因?yàn)楣蜗x病是我國乃至世界范圍內(nèi)較為常見的人畜共患疾病,對(duì)人類具有健康威脅。因此,本文首先使用400倍醫(yī)用光學(xué)顯微鏡與1 000倍醫(yī)用光學(xué)顯微鏡分別對(duì)弓形蟲入侵圖像進(jìn)行了圖像采集,如圖4所示。

圖4 弓形蟲數(shù)據(jù)集

首先對(duì)采集數(shù)據(jù)進(jìn)行劃分,分別采集1 000張400倍顯微鏡下多個(gè)弓形蟲侵入細(xì)胞圖像與1 000張1 000倍顯微鏡下多個(gè)弓形蟲侵入細(xì)胞圖像作為多細(xì)胞數(shù)據(jù)集,并使用手工裁剪出單個(gè)細(xì)胞圖像作為單細(xì)胞數(shù)據(jù)集,將80%的400倍顯微圖像作為訓(xùn)練源域Xtrain,20%的400倍顯微圖像作為測(cè)試源域Xtest。同理,將80%的1 000倍顯微圖像作為訓(xùn)練源域Ytrain,20%的1 000倍顯微圖像作為測(cè)試源域Ytest。其中,訓(xùn)練集負(fù)責(zé)訓(xùn)練網(wǎng)絡(luò),測(cè)試負(fù)責(zé)對(duì)網(wǎng)絡(luò)效果進(jìn)行效果驗(yàn)證。

3.2 圖像還原效果驗(yàn)證

本節(jié)對(duì)本文方法、原始CycleGAN方法以及將原始CycleGAN第二范式損失函數(shù)更改為第一范式(原始CycleGAN-L1)這3種情況進(jìn)行對(duì)比實(shí)驗(yàn)。經(jīng)過200輪訓(xùn)練之后的實(shí)驗(yàn)結(jié)果如圖5所示。

從圖5可以看出,原始CycleGAN方法還原信息不夠完善,胞膜還原不清晰,弓形蟲環(huán)形結(jié)構(gòu)不明顯。使用第一范式后的CycleGAN方法雖然效果有所提升,但因缺少細(xì)節(jié)感知損失的約束,不能有效學(xué)習(xí)到細(xì)胞內(nèi)部,尤其對(duì)于弓形蟲自身環(huán)形結(jié)構(gòu)的還原重建效果仍有所欠缺。本文方法在圖像質(zhì)量上,將弓形蟲環(huán)形結(jié)構(gòu)與被侵入細(xì)胞的結(jié)構(gòu)與形態(tài)進(jìn)行了細(xì)致的還原,并且重建出諸多高倍數(shù)顯微下才能發(fā)現(xiàn)的圖像細(xì)節(jié)。

圖5 弓形蟲實(shí)驗(yàn)結(jié)果對(duì)比

在證明本文方法使用非配對(duì)圖像訓(xùn)練高倍數(shù)細(xì)胞顯微圖像重建具有顯著成效之后,本文還將高倍數(shù)細(xì)胞顯微圖像生成式對(duì)抗網(wǎng)絡(luò)與多種生成式對(duì)抗網(wǎng)絡(luò)進(jìn)行了對(duì)比實(shí)驗(yàn),旨在證明本文網(wǎng)絡(luò)單獨(dú)生成器性能優(yōu)于目前已知對(duì)生成式對(duì)抗網(wǎng)絡(luò)的生成器性能。

此外,本文還選用BiGAN[18]、DCGAN[19]、pixel2pixel[20]3種方法與HMGAN進(jìn)行對(duì)比實(shí)驗(yàn)。BiGAN根據(jù)隨機(jī)噪聲作為輸入,學(xué)習(xí)從隨機(jī)噪聲到高倍數(shù)細(xì)胞顯微圖像的映射。DCGAN與BiGAN同樣以隨機(jī)噪聲為輸入,但對(duì)噪聲到高倍細(xì)胞顯微圖像映射有更強(qiáng)約束。pixel2pixel為配對(duì)生成算法,以配對(duì)的高倍數(shù)與低倍數(shù)細(xì)胞顯微圖像作為輸入學(xué)習(xí)兩者映射關(guān)系。本文將高倍數(shù)顯微圖像進(jìn)行下采樣獲得其對(duì)應(yīng)的低倍數(shù)顯微圖像,將兩者作為輸入訓(xùn)練pixel2pixel模型。對(duì)比實(shí)驗(yàn)結(jié)果如圖6所示。其中,第1行為弓形蟲細(xì)胞,第2行為紅細(xì)胞,第3行為瘧原蟲細(xì)胞,第4行為巴貝斯蟲細(xì)胞。

圖6 弓形蟲、紅細(xì)胞、瘧原蟲、巴貝斯蟲細(xì)胞圖像實(shí)驗(yàn)結(jié)果對(duì)比

從圖6可以看出多種GAN生成器性能之間的顯著差異。BiGAN方法生成的圖像不具有高倍數(shù)顯微下圖像的風(fēng)格,且不能有效還原被入侵細(xì)胞內(nèi)部結(jié)構(gòu)。DCGAN方法生成圖像存在明顯的噪聲,細(xì)胞內(nèi)部細(xì)節(jié)無法準(zhǔn)確還原。pixel2pixel方法雖然可以較好地還原出高倍數(shù)顯微圖像,但是其細(xì)胞邊界不夠清晰,且弓形蟲環(huán)形結(jié)構(gòu)仍然模糊。而本文方法對(duì)弓形蟲形態(tài)準(zhǔn)確可信地進(jìn)行了還原重建,具有微觀細(xì)節(jié),人眼辨識(shí)度高。

此外,為檢驗(yàn)網(wǎng)絡(luò)模型的通用性能,本文進(jìn)一步分別對(duì)血細(xì)胞、瘧原蟲、巴貝斯蟲圖像進(jìn)行訓(xùn)練。瘧原蟲是瘧疾的病原體,巴貝斯蟲是一種人血寄生蟲,會(huì)引起人的巴貝斯蟲病,兩種寄生蟲的診斷均需要血液檢測(cè)。因此,選取血細(xì)胞、瘧原蟲、巴貝斯蟲3種圖像驗(yàn)證本文模型的通用性能具有實(shí)際意義與衡量結(jié)果的可靠性。

本文使用結(jié)構(gòu)相似性指數(shù)(SSIM)作為衡量重建圖像顯示質(zhì)量的標(biāo)準(zhǔn)。鑒于許多實(shí)驗(yàn)結(jié)果顯示,峰值信噪比(PSNR)無法和人眼看到的視覺品質(zhì)完全一致,有可能PSNR較高的反而比PSNR較低者差。結(jié)構(gòu)相似度指數(shù)從圖像組成的角度將結(jié)構(gòu)信息定義為獨(dú)立于亮度、對(duì)比度的反映場(chǎng)景中物體結(jié)構(gòu)的屬性,并將失真建模為亮度、對(duì)比度和結(jié)構(gòu)3個(gè)不同因素的組合。用均值作為亮度的估計(jì),標(biāo)準(zhǔn)差作為對(duì)比度的估計(jì),協(xié)方差作為結(jié)構(gòu)相似程度的度量,其衡量得分與人眼視覺感知高度一致,因此使用SSIM更具可靠性。對(duì)比結(jié)果如表1所示。

表1 SSIM指數(shù)對(duì)比

上述實(shí)驗(yàn)針對(duì)的是單個(gè)圖片的高倍數(shù)細(xì)胞顯微圖片的重建效果的測(cè)試。在實(shí)際的細(xì)胞圖像中,一張圖片中往往有多個(gè)細(xì)胞,本文對(duì)此情況也進(jìn)行了測(cè)試,效果如圖7所示,本文方法對(duì)多細(xì)胞圖像有很好的重建效果。

圖7 多細(xì)胞圖像實(shí)驗(yàn)結(jié)果對(duì)比

3.3 eLU性能測(cè)試

本文方法并未使用目前主流的激活函數(shù),而是提出了一種新的激活函數(shù)——eLU激活函數(shù)。為證明eLU激活函數(shù)對(duì)模型的積極作用,本文對(duì)其進(jìn)行了性能測(cè)試。通過Resnet-50六分類問題與CycleGAN風(fēng)格轉(zhuǎn)換兩類領(lǐng)域的對(duì)比測(cè)試,評(píng)估eLU的綜合性能。

3.3.1 eLU多分類測(cè)試

本文使用人體六類手勢(shì)的數(shù)據(jù)集,隨機(jī)抽取80%作為訓(xùn)練集,將剩余20%作為測(cè)試集。使用相同Resnet-50,分4個(gè)網(wǎng)絡(luò)分別作出如下改動(dòng):1)將原網(wǎng)絡(luò)激活函數(shù)換做eLU激活函數(shù);2)將原網(wǎng)絡(luò)激活函數(shù)換做eLU激活函數(shù)并去掉BN層;3)將原網(wǎng)絡(luò)BN層去掉;4)保持原網(wǎng)絡(luò)不變。通過3 000步的訓(xùn)練,對(duì)比效果如圖8和圖9所示。

圖8 準(zhǔn)確率曲線

圖9 損失曲線

實(shí)驗(yàn)結(jié)果表明,eLU不僅能加快網(wǎng)絡(luò)訓(xùn)練速度,而且可以在一定程度上代替BN層,維持網(wǎng)絡(luò)處于可訓(xùn)練的狀態(tài)。

3.3.2 eLU風(fēng)格轉(zhuǎn)換測(cè)試

同樣本文將eLU在CycleGAN上進(jìn)行了對(duì)比測(cè)試。在經(jīng)過15 000步之后,得到效果對(duì)比如圖10所示。從圖10中可以清晰地看出,原始CycleGAN網(wǎng)絡(luò)可能會(huì)出現(xiàn)重建缺失(見圓圈處)。而在相同的步數(shù)下,僅將原始CycleGAN網(wǎng)絡(luò)中的激活函數(shù)換為eLU即可獲得較好效果,且經(jīng)過循環(huán)網(wǎng)絡(luò)后重建的圖像,與原始輸入圖像更具有一致性。

圖10 風(fēng)格轉(zhuǎn)換實(shí)驗(yàn)結(jié)果對(duì)比

可見,eLU在網(wǎng)絡(luò)訓(xùn)練方面可以有效加快訓(xùn)練速度,在圖像重建方面可以有效保留原始信息,使得人眼對(duì)生成圖像有了更真實(shí)可信的感受。

4 結(jié)束語

本文提出一種高倍數(shù)細(xì)胞顯微圖像生成式對(duì)抗網(wǎng)絡(luò),在CycleGAN網(wǎng)絡(luò)基礎(chǔ)上,設(shè)計(jì)并使用新的激活函數(shù)eLU,將原始生成器去掉BN層,引入新的殘差塊結(jié)構(gòu)。為加強(qiáng)高倍數(shù)細(xì)胞顯微圖像重建后圖像的真實(shí)性與可信度,給出細(xì)節(jié)感知損失,改善了高倍數(shù)顯微重建的效果。實(shí)驗(yàn)結(jié)果表明,與BiGAN、DCGAN、pixel2pixel以及原始CycleGAN相比,本文方法在細(xì)胞超分辨率還原方面獲得更好的人眼感受。本文模型的開發(fā)可以減小細(xì)胞圖像檢測(cè)的時(shí)間與物質(zhì)成本,并應(yīng)用于生物、醫(yī)療等方面。如何利用該模型同時(shí)對(duì)多種顯微生物進(jìn)行高倍數(shù)顯微重建,將是下一步的研究方向。