周懿菲 陳煜龐 沈鴻龍 傅煒成 徐博宇

摘 ?要：隨著數(shù)字化病理學(xué)技術(shù)的不斷發(fā)展，計算機(jī)視覺與醫(yī)學(xué)影像領(lǐng)域吸引了越來越多的關(guān)注。社會經(jīng)濟(jì)快速發(fā)展、工業(yè)化進(jìn)程加快，我國患有腫瘤的人也日益增多，隨之而來的是病理醫(yī)生的巨大工作量，因此，計算機(jī)輔助醫(yī)生進(jìn)行病理分析具有重要意義。文章介紹了一種全新的病理圖像分析系統(tǒng)，增加了其智能化的程度，具有更強(qiáng)的圖像分析和處理功能，并采用了交互性極好的iOS系統(tǒng)，實現(xiàn)了病理圖像的智能分析功能。

關(guān)鍵詞：iOS;軟件設(shè)計;病理圖像;神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP311 ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2021）12-0010-04

Abstract： With the continuous development of digital pathology technology， the field of computer vision and medical imaging has attracted more and more attention. With the rapid development of social economy and the acceleration of industrialization， the number of people with tumors in China is also increasing， followed by the huge workload of pathologists. Therefore， computer-aided pathological analysis is of great significance. This paper introduces a new pathological image analysis system， its intelligence has been enhanced， has stronger image analysis and processing functions， and IOS system with excellent interaction is adopted to realize the intelligent analysis function of pathological images.

Keywords： iOS; software design; pathological image; neural network

0 ?引 ?言

數(shù)字化病理學(xué)技術(shù)是一種新興發(fā)展中的醫(yī)療成像技術(shù)，它是一種把現(xiàn)代化的數(shù)字系統(tǒng)和傳統(tǒng)的光學(xué)放大器設(shè)備有機(jī)地結(jié)合在一起的技術(shù)。該技術(shù)利用全自動化的顯微鏡或光學(xué)放大系統(tǒng)組織切片進(jìn)行掃描并采集以獲取高分辨率的數(shù)字圖像，圖像壓縮與內(nèi)部存儲軟件將各組織切片進(jìn)行了自動化的拼接和處理，生成一張張全數(shù)字化的切片（Whole Slide Image， WSI）。與其他傳統(tǒng)病理系統(tǒng)相比，數(shù)字化的病歷查詢系統(tǒng)可以利用其龐大的數(shù)字病理切片庫，使得病理研究人員對于病理切片的查詢提供了方便。數(shù)字化圖像使機(jī)器學(xué)習(xí)及輔助診斷成為可能，但病理圖像十分復(fù)雜，傳統(tǒng)的機(jī)器學(xué)習(xí)需要對切片特征進(jìn)行手工提取，更需要花費大量人力對不同的問題進(jìn)行不同的特征提取[1]。隨著近年人工智能尤其是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional NeuralNetworks， CNN）的發(fā)展，在病理圖像分析方面取得了巨大的成功。目前，已經(jīng)研發(fā)成功并應(yīng)用成熟的數(shù)字病理分析系統(tǒng)主要有美國APERIO公司的ScanScope - Digital Pathology Solutions系統(tǒng)、北京優(yōu)納科技有限公司的賽睿系列（PRECICE）全自動數(shù)字切片掃描系統(tǒng)等。與此同時，國內(nèi)也有多所高校、醫(yī)院以及醫(yī)療科研機(jī)構(gòu)構(gòu)建起數(shù)字病理切片系統(tǒng)可視化數(shù)據(jù)庫[2]并進(jìn)行數(shù)字化病理圖像分析研究。

本文設(shè)計出一種病理系統(tǒng)圖像分析軟件，在模擬環(huán)境下運行可以對數(shù)字化病理圖像進(jìn)行識別。

1 ?分類模型構(gòu)建

近年來基于深度學(xué)習(xí)的概念，病理圖像診斷研究中大受歡迎的深度學(xué)習(xí)模型有VGGNet、GoogLeNet、ResNet和SE-ResNet四種[3]。其中GoogLeNet模型的Inception-v3是目前最先進(jìn)的分類深度學(xué)習(xí)模型之一，該模型可將卷積進(jìn)行分解并將一個較大的二維卷積拆分成兩個較小的一維卷積，以較少的參數(shù)獲得更好的結(jié)果。本文選擇Inception-v3網(wǎng)絡(luò)進(jìn)行病理圖像的分類。

在收集到公開的癌癥數(shù)據(jù)集后首先將病理圖像進(jìn)行預(yù)處理，將數(shù)字病理圖像切割成固定尺寸、倍率的圖像塊補(bǔ)丁。而后將每個顏色通道的圖像塊補(bǔ)丁的像素值進(jìn)行計算以得到相應(yīng)的均差與方差供后期使用，并通過后期處理得到相應(yīng)的圖像塊補(bǔ)丁的分布符合高斯分布的數(shù)據(jù)分布。數(shù)據(jù)準(zhǔn)備完成后構(gòu)建一個病理圖像分類卷積網(wǎng)絡(luò)，通過融合注意力機(jī)制算法，使得不同尺度的特征轉(zhuǎn)換為具有相同分辨率和通道特征與不同尺度的權(quán)重值的學(xué)習(xí)同步進(jìn)行。

首先，分別標(biāo)注炎癥、淋巴增生和鼻咽癌的數(shù)字組織病理圖像切片，這些數(shù)字組織病理圖像將被切割為許多微細(xì)的補(bǔ)丁以減少每張圖片的尺寸，每個圖像塊補(bǔ)丁的尺寸為229×229×3（高度×寬度×通道），并按相應(yīng)的比例劃分訓(xùn)練集、驗證集和測試集。

通過預(yù)訓(xùn)練好的深度學(xué)習(xí)模型（Inception-v3），反復(fù)且不斷訓(xùn)練訓(xùn)練集中的圖像塊補(bǔ)丁，并對其不斷微調(diào)使得模型性能得到進(jìn)一步提升，最終該深度學(xué)習(xí)模型會在全連接層輸出相應(yīng)分類概率的結(jié)果[4]。

具體來說，本文搭建一個神經(jīng)網(wǎng)絡(luò)，并對其進(jìn)行參數(shù)和設(shè)置的初始化，這些網(wǎng)絡(luò)初始化的參數(shù)會對神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和設(shè)計產(chǎn)生影響。模型初始化參數(shù)設(shè)置如表1所示。

2 ?系統(tǒng)設(shè)計與實現(xiàn)

2.1 ?系統(tǒng)功能模塊設(shè)計

本系統(tǒng)主要為了幫助病理科醫(yī)生及病理切片審查的相關(guān)從業(yè)者對病理切片的審查診斷，其主要是通過上傳的組織切片影像經(jīng)過圖像分割提取分析區(qū)域、卷積層網(wǎng)絡(luò)的語義分割模型等一系列算法研究對病理切片圖像進(jìn)行分析，能大大加快相關(guān)從業(yè)者對閱片診斷的速度，為癌癥患者的救治爭取時間。本系統(tǒng)主要功能包括圖像分類預(yù)測、圖像標(biāo)注、遠(yuǎn)程會診、數(shù)據(jù)集添加等。經(jīng)過對系統(tǒng)的需求分析，本系統(tǒng)的功能結(jié)構(gòu)圖如圖1所示。

用戶登錄功能。包括用戶注冊、用戶登錄的功能。用戶注冊需驗證醫(yī)院單位并通過審核方可注冊成功，避免利用該系統(tǒng)獲取數(shù)據(jù)進(jìn)行違法行為，用戶成功注冊后返回登錄界面進(jìn)行登錄，進(jìn)入到APP首頁中。

圖像分類預(yù)測功能。當(dāng)用戶上傳需要預(yù)測的病理圖像后，圖像分類預(yù)測功能將基于用戶上傳的病理圖像基于分類模型對圖像進(jìn)行病理預(yù)測，最終將預(yù)測結(jié)果顯示出來。預(yù)測的結(jié)果可供醫(yī)生作為影像分析的初步參考，同時也可以遠(yuǎn)程共享給專家或其他醫(yī)生共同診斷分析。

圖像標(biāo)注功能。用戶可上傳相關(guān)病理切片圖像，并在圖像標(biāo)注功能上對圖像進(jìn)行縮放、勾畫、文字說明、診斷結(jié)果錄音等，并可以修改圖像初步預(yù)測結(jié)果，將診斷結(jié)果及標(biāo)注信息一并共享。

遠(yuǎn)程會診功能。該功能主要通過ID匹配，當(dāng)用戶想要進(jìn)行遠(yuǎn)程功能時，系統(tǒng)會自動生成響應(yīng)的遠(yuǎn)程ID與驗證碼，用戶可輸入需要進(jìn)行遠(yuǎn)程的用戶ID，而后被申請的用戶可收到遠(yuǎn)程驗證，輸入遠(yuǎn)程驗證后可遠(yuǎn)程連接對方用戶，并進(jìn)行在線遠(yuǎn)程會診。同時，醫(yī)院與醫(yī)生也可以指定用戶ID進(jìn)行新建會議或預(yù)約會議時間，系統(tǒng)會在對應(yīng)預(yù)約的時間前30分鐘對會議室進(jìn)行開放處理，為被邀請參加會議的醫(yī)生能夠準(zhǔn)時開始會議提供了方便。

數(shù)據(jù)集添加功能。在卷積神經(jīng)網(wǎng)絡(luò)的幫助下，病理圖像分析變得更為簡易精準(zhǔn)，但還需要大量的數(shù)據(jù)去支持，世界上有大量的開源數(shù)據(jù)集，如由荷蘭拉德堡德大學(xué)和烏得勒支大學(xué)醫(yī)學(xué)中心提供的camelyon16數(shù)據(jù)集[5]，但各國人民的身體素質(zhì)不盡相同，用戶可選擇將其單位所擁有的切片數(shù)據(jù)上傳至系統(tǒng)中為用戶提供更精確便利的預(yù)測結(jié)果。用戶可以添加自身單位的數(shù)據(jù)集或有需要的數(shù)據(jù)集，選擇用戶單位、ID、以及數(shù)據(jù)集類型后選擇數(shù)據(jù)集上傳，上傳成功后用戶數(shù)據(jù)集下新增所上傳的數(shù)據(jù)集。

個人中心功能。用戶可在個人中心查看歷史分析過的切片預(yù)測結(jié)果、歷史會診記錄、歷史標(biāo)注等記錄，防止用戶誤退后導(dǎo)致信息丟失。也可以在個人中心更改個人相關(guān)資料，更新系統(tǒng)設(shè)置或手動升級系統(tǒng)應(yīng)用程序。

2.2 ?系統(tǒng)工作流程設(shè)計

電子設(shè)備安全對于用戶來說是非常重要的一部分，iOS系統(tǒng)雖然比其他系統(tǒng)更為封閉，但這種封閉性也為用戶帶來了更高的安全性，當(dāng)用戶進(jìn)入到本系統(tǒng)的主頁面時，系統(tǒng)會詢問用戶獲取拍照或系統(tǒng)相冊權(quán)限，若用戶不選擇授權(quán)則系統(tǒng)中的圖像分類預(yù)測與標(biāo)注等主要功能因無權(quán)進(jìn)行圖片讀取分析而無法使用。當(dāng)用戶授權(quán)后系統(tǒng)會對用戶的身份信息進(jìn)行審核，審核通過后重新進(jìn)入系統(tǒng)主頁面，即圖像分類預(yù)測界面，用戶可根據(jù)導(dǎo)航欄中標(biāo)識選擇系統(tǒng)中的圖像分類預(yù)測功能，圖像標(biāo)注功能以及遠(yuǎn)程會診功能等。當(dāng)用戶進(jìn)入圖像分類預(yù)測功能時需要上傳擬分類識別的病理切片圖像并等待識別結(jié)果。識別結(jié)果出現(xiàn)后用戶可修改軟件初步分類預(yù)測結(jié)果，并自行選擇是否進(jìn)行圖像標(biāo)注功能，進(jìn)入圖像標(biāo)注功能后，用戶可根據(jù)自身需求對圖像進(jìn)行標(biāo)注。若不慎退出亦可進(jìn)入歷史預(yù)測中選擇歷史切片圖像進(jìn)行標(biāo)注，同時也可選擇再次上傳病理圖像進(jìn)行標(biāo)注。當(dāng)用戶進(jìn)入遠(yuǎn)程會診后可根據(jù)自身需求對歷史檢測或標(biāo)注進(jìn)行實時展示，方便會議人員進(jìn)行遠(yuǎn)程會診。本系統(tǒng)所設(shè)計的基于iOS的病理圖像分析軟件的總體工作流程圖如圖2所示。

2.3 ?分類模型訓(xùn)練

TensorFlow是深度學(xué)習(xí)最流行的庫之一，它是一款輕量級的軟件，有強(qiáng)大的社區(qū)以及企業(yè)支持，其便捷、高效以及可擴(kuò)展性收到了廣泛的歡迎，TensorFlow擁有多層級結(jié)構(gòu)，可部署于各類服務(wù)器、PC終端和網(wǎng)頁，因此在對數(shù)字病理圖像進(jìn)行預(yù)處理之后，我們對分類模型Inception-v3使用TensorFlow進(jìn)行重新訓(xùn)練。

首先創(chuàng)建一個病理圖片并載入hub module，參數(shù)中的module_spec為在用的圖像模型。如圖3所示。

然后提取圖片的特征向量到瓶頸層，返回值中的bottleneck_values為提取的瓶頸層。如圖4所示。

最后在瓶頸層后增加一個最終分類層，用于識別重訓(xùn)的新圖片。返回值中包含了建立最終分類層所需的信息。如圖5所示。

3 ?結(jié)果與分析

通過對模型反復(fù)的訓(xùn)練，訓(xùn)練結(jié)果可得到相對應(yīng)的結(jié)果，運用已有功能導(dǎo)入相關(guān)病理切片圖，并對其進(jìn)行病理切片的識別功能進(jìn)行結(jié)果預(yù)測，在此導(dǎo)入一張食管鱗癌的病理切片圖進(jìn)行分析識別，其結(jié)果如圖6所示。

由圖6可以得出，在該識別功能中能夠?qū)Σ±砬衅奶卣鬟M(jìn)行分析判斷并返回相應(yīng)結(jié)果與判斷。圖6中該病理切片圖的判斷結(jié)果包括對病理圖像的病因預(yù)測，以及根據(jù)相應(yīng)特征分析得到的對應(yīng)判斷依據(jù)。但由于癌癥病變的不穩(wěn)定性，對于所上傳的病理切片的判斷并非全部準(zhǔn)確，即存在預(yù)測誤差的情況，在后續(xù)過程中需通過更多的數(shù)據(jù)集訓(xùn)練從而得到精準(zhǔn)度更高的分析結(jié)果。

4 ?結(jié) ?論

本文針對病理圖像分析需求日益增大導(dǎo)致病理科醫(yī)生人手不足的問題，設(shè)計了一種利用深度學(xué)習(xí)網(wǎng)絡(luò)對病理切片圖像進(jìn)行分析的軟件。本文主要采用深度學(xué)習(xí)模型Inception-v3對病理切片特征進(jìn)行識別。首先對病理圖像進(jìn)行預(yù)處理，然后對提取到的有效區(qū)域進(jìn)行圖像切割。在數(shù)據(jù)準(zhǔn)備完成后采用卷積神經(jīng)網(wǎng)絡(luò)的分類模型訓(xùn)練方法，并采用tensorflow機(jī)器學(xué)習(xí)框架，對Inception-v3模型進(jìn)行重新訓(xùn)練。最后基于iOS平臺設(shè)計出病理圖像分析軟件，利用已訓(xùn)練好的分類模型對數(shù)字病理圖像進(jìn)行識別。實驗結(jié)果表明該模型能夠?qū)Σ±砬衅奶卣鬟M(jìn)行分析判斷并返回相應(yīng)結(jié)果，與傳統(tǒng)手工識別相比能夠明顯提升病理圖像分析的效率。

參考文獻(xiàn)：

[1] 李俊薇.基于生成對抗網(wǎng)絡(luò)的病理圖像分析及應(yīng)用 [D].南京：南京航空航天大學(xué)，2020.

[2] 葉美華，盛弘強(qiáng)，王怡棟，等.數(shù)字病理學(xué)的發(fā)展對醫(yī)學(xué)教育和臨床診斷的作用 [J].中華病理學(xué)雜志，2012，41（1）：66-68.

[3] 馬鑫，耿道穎.深度學(xué)習(xí)應(yīng)用于病理圖像診斷的研究進(jìn)展 [J].上海醫(yī)學(xué)，2020，43（5）：302-306.

[4] 刁頌輝.基于卷積神經(jīng)網(wǎng)絡(luò)的數(shù)字組織病理圖像分類算法研究 [D].深圳：中國科學(xué)院大學(xué)（中國科學(xué)院深圳先進(jìn)技術(shù)研究院），2020.

[5] 王睿喬.基于iOS手機(jī)客戶端的病理圖像分析軟件 [D].哈爾濱：哈爾濱工業(yè)大學(xué)，2019.

作者簡介：周懿菲（2000—），女，漢族，廣東增城人，本科在讀，研究方向：軟件工程;陳煜龐（2000—），男，漢族，廣東揭陽人，本科在讀，研究方向：軟件工程;沈鴻龍（2000—），男，漢族，廣東湛江人，本科在讀，研究方向：軟件工程;傅煒成（2000—），男，漢族，廣東云浮人，本科在讀，研究方向：軟件工程;徐博宇（1998—），男，漢族，廣東潮州人，本科在讀，研究方向：軟件開發(fā)。