摘 要:本文開發(fā)一種基于深度學(xué)習(xí)的白內(nèi)障診斷系統(tǒng),協(xié)助醫(yī)生提高早期診斷效率和準(zhǔn)確性。本文收集帶標(biāo)注的白內(nèi)障裂隙燈圖像構(gòu)建數(shù)據(jù)集,進(jìn)行數(shù)據(jù)擴(kuò)增和預(yù)處理。采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)設(shè)計(jì)了一個(gè)帶有三分類全連接層的模型。利用遷移學(xué)習(xí)方法訓(xùn)練模型,從裂隙燈圖像中提取關(guān)鍵特征進(jìn)行分類。本文基于網(wǎng)絡(luò)模型設(shè)計(jì)了白內(nèi)障、輕度白內(nèi)障和正常三分類的可視化界面以及應(yīng)用程序,輔助醫(yī)療診斷。試驗(yàn)結(jié)果表明,該系統(tǒng)泛化能力良好,準(zhǔn)確性高,在臨床中應(yīng)用可提升診斷效率,及時(shí)干預(yù)治療,保護(hù)患者視力健康。
關(guān)鍵詞:白內(nèi)障;深度學(xué)習(xí);數(shù)據(jù)增強(qiáng);遷移學(xué)習(xí);可視化
中圖分類號(hào):TP 30" " " " " 文獻(xiàn)標(biāo)志碼:A
白內(nèi)障是主要視力障礙之一,隨著人口老齡化,其發(fā)病率不斷上升,不僅給醫(yī)療行業(yè)帶來挑戰(zhàn),還增加居民的經(jīng)濟(jì)壓力。經(jīng)濟(jì)欠發(fā)達(dá)地區(qū)醫(yī)療資源匱乏,白內(nèi)障診斷和治療更加困難,早期診斷也面臨挑戰(zhàn)。傳統(tǒng)診斷方法[1]主觀性強(qiáng),耗時(shí)多,準(zhǔn)確性有限,須解決醫(yī)療資源分配不均等問題?;谏疃葘W(xué)習(xí)的白內(nèi)障診斷系統(tǒng)提供了無創(chuàng)、快速并準(zhǔn)確的診斷手段,根據(jù)自動(dòng)學(xué)習(xí)特征提高了診斷效率和準(zhǔn)確性,可進(jìn)行遠(yuǎn)程咨詢和診斷,尤其適用于資源匱乏地區(qū)和臨床繁忙情況[2]。該系統(tǒng)有助于改善醫(yī)療服務(wù)不平衡的現(xiàn)狀,提升醫(yī)療質(zhì)量和效率,社會(huì)價(jià)值很高。
國內(nèi)外基于深度學(xué)習(xí)的白內(nèi)障診斷系統(tǒng)研究都注重獲取醫(yī)療圖像數(shù)據(jù)并進(jìn)行預(yù)處理以及網(wǎng)絡(luò)模型優(yōu)化[3]。國內(nèi)研究強(qiáng)調(diào)與醫(yī)療機(jī)構(gòu)合作獲取高質(zhì)量數(shù)據(jù),跨學(xué)科合作也受重視;國外主要使用標(biāo)準(zhǔn)CNN模型(例如AlexNet、VGG和ResNet)進(jìn)行白內(nèi)障診斷,并不斷優(yōu)化模型結(jié)構(gòu)[4]。這些研究展示了深度學(xué)習(xí)在白內(nèi)障診斷領(lǐng)域的潛力和前景,提升系統(tǒng)的診斷性能[5]。研究者們利用技術(shù)創(chuàng)新與合作將診斷系統(tǒng)應(yīng)用于臨床實(shí)踐,能夠更好地服務(wù)于患者,促進(jìn)醫(yī)療保健領(lǐng)域發(fā)展。
1 基于CNN的白內(nèi)障診斷方法
1.1 主要研究?jī)?nèi)容
本文利用深度學(xué)習(xí)的知識(shí)對(duì)裂隙燈眼底圖像進(jìn)行分析,設(shè)計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)的白內(nèi)障輔助診斷系統(tǒng)。該系統(tǒng)能夠自動(dòng)診斷裂隙燈眼底圖像是否正常,對(duì)醫(yī)療診斷起輔助作用,能減輕眼科工作者的工作量。本文收集具有標(biāo)注信息的數(shù)據(jù)集建立圖像庫,對(duì)裂隙燈圖像進(jìn)行數(shù)據(jù)增強(qiáng)和預(yù)處理操作,對(duì)預(yù)處理后的圖像進(jìn)行瞳孔定位以及分割,基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建模型并進(jìn)行訓(xùn)練,對(duì)模型進(jìn)行評(píng)估并針對(duì)結(jié)果進(jìn)行可視化。白內(nèi)障診斷系統(tǒng)流程如圖1所示。
為解決當(dāng)前白內(nèi)障圖像庫數(shù)據(jù)不足的問題,本文搜集具有標(biāo)注信息的晶體裂隙燈圖像來構(gòu)建數(shù)據(jù)庫,將分別為正常、輕度白內(nèi)障以及白內(nèi)障圖像的3個(gè)種類進(jìn)行數(shù)據(jù)擴(kuò)增,劃分新的訓(xùn)練集、驗(yàn)證集和測(cè)試集。對(duì)眼底圖像進(jìn)行預(yù)處理操作,包括光照增強(qiáng)、瞳孔定位、感興趣區(qū)域提取以及數(shù)據(jù)增強(qiáng)等,數(shù)據(jù)增強(qiáng)處理能夠降低數(shù)據(jù)量稀少帶來的影響,提高模型的泛化能力。
在模型搭建過程中,本文采用預(yù)訓(xùn)練后的Inception-V3模型,保留原模型的參數(shù),采用微調(diào)超參數(shù)和遷移學(xué)習(xí)訓(xùn)練原1 000分類的Inception-V3模型,得到新的三分類模型。對(duì)得到的新模型進(jìn)行評(píng)估和分析,將該模型導(dǎo)入白內(nèi)障可視化診斷系統(tǒng)中,該系統(tǒng)可利用導(dǎo)入裂隙燈的眼底圖像輔助醫(yī)生診斷患者是否患有白內(nèi)障,及時(shí)治療。因此,本文設(shè)計(jì)的白內(nèi)障篩查系統(tǒng)能輔助進(jìn)行醫(yī)療診斷,使患者得到及時(shí)治療。
1.2 卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是一種深度學(xué)習(xí)模型,其作用是處理圖像、文本或音頻等復(fù)雜數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)是由卷積層、池化層和全連接層構(gòu)成的。卷積層的作用是從輸入數(shù)據(jù)中提取特征,滑動(dòng)卷積核并進(jìn)行卷積運(yùn)算來捕捉圖像的局部特征。池化層降低特征圖的維度,提高網(wǎng)絡(luò)對(duì)位置變化的魯棒性。全連接層將提取的特征映射至輸出類別。最終輸出層利用激活函數(shù)(例如Softmax)將結(jié)果轉(zhuǎn)換為概率分布,用于多分類任務(wù)。 CNN 的基本結(jié)構(gòu)是由這些層共同組成的,其能夠有效地學(xué)習(xí)和處理復(fù)雜的數(shù)據(jù),在計(jì)算機(jī)視覺等領(lǐng)域取得了重要進(jìn)展。
1.3 網(wǎng)絡(luò)模型
在深度學(xué)習(xí)領(lǐng)域,選擇合適的網(wǎng)絡(luò)模型結(jié)構(gòu)對(duì)任務(wù)的成功完成十分重要。經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò),例如AlexNet、VGGNet和GoogLeNet各自具有優(yōu)勢(shì)和特點(diǎn)。AlexNet是 1 個(gè)深層網(wǎng)絡(luò)結(jié)構(gòu),引入了多項(xiàng)創(chuàng)新,但是受到當(dāng)時(shí)技術(shù)和硬件的限制。VGGNet在AlexNet的基礎(chǔ)上進(jìn)行改進(jìn),使用更小的卷積核和更深層的網(wǎng)絡(luò)結(jié)構(gòu),VGG-19比VGG-16層次更深,可以捕捉更復(fù)雜的特征,但是需要大量數(shù)據(jù)和計(jì)算資源。GoogLeNet引入Inception模塊,網(wǎng)絡(luò)深度和寬度逐漸擴(kuò)展,性能提升。其中,Inception-V3模型綜合了不同尺度的卷積核和池化層,并行運(yùn)行多個(gè)層來提取不同尺度的特征。
選擇GoogLeNet提出的Inception-V3模型作為遷移學(xué)習(xí)的初始模型,在ImageNet中進(jìn)行預(yù)訓(xùn)練并微調(diào)遷移學(xué)習(xí)方法來訓(xùn)練,可以有效提取白內(nèi)障圖像的特征,并進(jìn)行準(zhǔn)確分類。選擇合適的網(wǎng)絡(luò)模型結(jié)構(gòu)是基于深度學(xué)習(xí)的白內(nèi)障診斷系統(tǒng)研究中的關(guān)鍵步驟,能夠提高準(zhǔn)確性和效率,為早期診斷和治療提供更有力的支持。
1.4 遷移學(xué)習(xí)
遷移學(xué)習(xí)是一種在機(jī)器學(xué)習(xí)中常用的技術(shù),尤其適用于在醫(yī)學(xué)領(lǐng)域中圖像已標(biāo)注數(shù)據(jù)稀缺的情況。其利用在一個(gè)任務(wù)中學(xué)到的知識(shí)來加速另一個(gè)不同但是有關(guān)聯(lián)的任務(wù)的學(xué)習(xí)過程。在深度學(xué)習(xí)中,通常使用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型作為新任務(wù)的起點(diǎn),微調(diào)模型的部分參數(shù)或替換最后幾層,利用在大規(guī)模數(shù)據(jù)集中學(xué)習(xí)的通用特征。遷移學(xué)習(xí)流程如圖2所示。
在本課題中,利用預(yù)訓(xùn)練的1 000分類的Inception-V3模型進(jìn)行遷移學(xué)習(xí)。使用預(yù)訓(xùn)練模型提取特征向量,根據(jù)使用遷移學(xué)習(xí)得到的知識(shí)進(jìn)行特征提取。為了適應(yīng)課題的三分類需求,替換了模型的全連接層,將其改為1個(gè)具有3個(gè)神經(jīng)元的全連接層。由于利用預(yù)訓(xùn)練模型在大規(guī)模數(shù)據(jù)集中學(xué)到的通用特征,避免從頭開始訓(xùn)練模型的時(shí)間和計(jì)算資源消耗,因此該做法比傳統(tǒng)方法更為高效。
2 白內(nèi)障圖像預(yù)處理
2.1 光照增強(qiáng)
由于拍攝環(huán)境變化導(dǎo)致光照條件不同,因此對(duì)后續(xù)操作產(chǎn)生了一定的影響。優(yōu)化圖像的光照條件,增強(qiáng)光照,使圖像內(nèi)容更加清晰、真實(shí)和易于分析。光照增強(qiáng)的方法分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。
傳統(tǒng)方法主要包括直方圖均衡化,調(diào)整圖像的直方圖,圖像亮度分布更加均勻,提高圖像對(duì)比度;自適應(yīng)直方圖變換,該方法根據(jù)圖像的局部特征自適應(yīng)地調(diào)整直方圖,以優(yōu)化特定區(qū)域的光照條件。還可以使用各種圖像濾波技術(shù)(例如高斯濾波、中值濾波等)來平滑圖像,減少光照引起的噪聲?;谏疃葘W(xué)習(xí)的方法主要利用CNN學(xué)習(xí)圖像的紋理和結(jié)構(gòu)特征,調(diào)整這些特征來改善光照條件;使用生成對(duì)抗網(wǎng)絡(luò)形成在理想光照條件下的新圖像,或調(diào)整現(xiàn)有圖像的光照以達(dá)到特定效果,還可以利用深度殘差網(wǎng)絡(luò)學(xué)習(xí)圖像的殘差信息來提高光照的增強(qiáng)效果。與傳統(tǒng)方法相比,這些方法可以更好地幫助模型集中于圖像中受光照影響最嚴(yán)重的區(qū)域,更有效地進(jìn)行光照增強(qiáng)。光照增強(qiáng)前后對(duì)比如圖3所示。
本文基于深度學(xué)習(xí)方法,利用CNN學(xué)習(xí)圖像的結(jié)構(gòu)特征對(duì)眼底圖像進(jìn)行光照增強(qiáng)處理,可以提升模型診斷準(zhǔn)確率,使網(wǎng)絡(luò)模型更好地提取圖像中的關(guān)鍵特征。
2.2 晶體定位
瞳孔定位能夠確定瞳孔位置,因此對(duì)后續(xù)圖像處理十分重要。Hough變換是一種圖像處理技術(shù),適用于檢測(cè)圖像中的幾何形狀,例如直線和圓。本文使用Hough算法來定位瞳孔,獲取其圓心和半徑坐標(biāo)。
Hough變換的核心思想是將圖像中的點(diǎn)映射至一個(gè)參數(shù)空間,每個(gè)參數(shù)對(duì)應(yīng)原始圖像中直線的方程。采用這種方式,Hough變換可以將圖像中的點(diǎn)與參數(shù)空間中的曲線相對(duì)應(yīng),對(duì)直線等幾何形狀進(jìn)行檢測(cè)。Hough變換定位瞳孔結(jié)果如圖4所示。
盡管Hough變換是一種強(qiáng)大的形狀檢測(cè)工具,但是其有一些局限性,例如對(duì)噪聲敏感、難以處理遮擋和交叉的形狀等。
2.3 ROI區(qū)域提取
感興趣區(qū)域(Region of Interest,ROI)是在圖像中定義1個(gè)矩形區(qū)域或掩膜,其作用是指定感興趣的特定區(qū)域。本文對(duì)眼底圖像進(jìn)行ROI區(qū)域提取,結(jié)果如圖5所示。
提取感興趣區(qū)域可以限制關(guān)注范圍,減少圖像處理的計(jì)算量,提高處理效率。感興趣區(qū)域有助于從復(fù)雜的背景中提取目標(biāo),便于后續(xù)進(jìn)行分析和處理。
2.4 數(shù)據(jù)增強(qiáng)
在臨床白內(nèi)障分類方面,可用圖像較少,因此基于深度學(xué)習(xí)的圖像分類方法需要解決數(shù)據(jù)稀缺的問題。數(shù)據(jù)增強(qiáng)是一種有效策略,對(duì)原始數(shù)據(jù)進(jìn)行各種變換和操作,增加數(shù)據(jù)的多樣性和數(shù)量,提高模型的泛化能力和性能。本文使用的方法有平移、旋轉(zhuǎn)、鏡像翻轉(zhuǎn)和剪裁。數(shù)據(jù)擴(kuò)增對(duì)比如圖6所示。
平移:將圖像上下左右平移15 ppi。
旋轉(zhuǎn):將圖像繞1個(gè)固定點(diǎn)分別旋轉(zhuǎn)30°和15°。
鏡像翻轉(zhuǎn):水平翻轉(zhuǎn)圖像。
剪裁:將圖像以1∶10的半徑縮小比例和1∶10的中心點(diǎn)向左偏移比例進(jìn)行剪裁。
利用這些數(shù)據(jù)擴(kuò)增技術(shù)生成大量多樣性的訓(xùn)練樣本,提高模型在白內(nèi)障分類任務(wù)中的性能和泛化能力。
3 試驗(yàn)結(jié)果分析
3.1 試驗(yàn)數(shù)據(jù)
數(shù)據(jù)集共有587張圖像,白內(nèi)障、輕度和正常分別為192、211和184張圖像。試驗(yàn)經(jīng)過數(shù)據(jù)擴(kuò)增15倍后共有8 805張
圖像,從3類圖像中隨機(jī)各抽取500張作為測(cè)試集,再按照7∶3的比例將圖像隨機(jī)分為訓(xùn)練集:共有5 114張,包括白內(nèi)障1 666張,輕度1 866張,正常1 582張;驗(yàn)證集:共有2 191張,包括白內(nèi)障714張,輕度799張,正常678張。具體數(shù)量見表1。
3.2 評(píng)價(jià)指標(biāo)
準(zhǔn)確率(Accuracy)是分類性能的總體度量,計(jì)算方法是分類正確的樣本數(shù)除以總樣本數(shù)。本文采用Accuracy來評(píng)估系統(tǒng)性能,如公式(1)所示。
(1)
式中:TP(真陽性)為正確識(shí)別出的白內(nèi)障樣本;TN(真陰性)為正確排除的非白內(nèi)障樣本;FP(假陽性)為錯(cuò)誤地將非白內(nèi)障樣本識(shí)別為白內(nèi)障;FN(假陰性)為錯(cuò)誤地將白內(nèi)障樣本排除。
3.3 試驗(yàn)結(jié)果
模型訓(xùn)練完成后,使用驗(yàn)證集對(duì)模型進(jìn)行驗(yàn)證,再使用測(cè)試集進(jìn)行模型準(zhǔn)確性測(cè)試。測(cè)試結(jié)果見表2。
由表2可知,在Inception-V3模型中進(jìn)行微調(diào)參數(shù)和遷移學(xué)習(xí),分別訓(xùn)練10輪和100輪得到3分類模型,將測(cè)試集分別用3分類模型進(jìn)行測(cè)試。訓(xùn)練10輪后,模型測(cè)試平均準(zhǔn)確率(MAR)接近65%,調(diào)整最佳參數(shù),繼續(xù)訓(xùn)練100輪后,很大程度地提高了模型準(zhǔn)確率,平均準(zhǔn)確率達(dá)到96.59%。
3.4 可視化設(shè)計(jì)
為了使診斷結(jié)果可視化,更好地輔助醫(yī)療診斷,本文設(shè)計(jì)了一種基于PyQt5的UI界面,將其打包成可執(zhí)行程序,便于用戶使用。執(zhí)行程序后,在測(cè)試集中隨機(jī)選取3類裂隙燈眼底圖片,判斷測(cè)試結(jié)果是否準(zhǔn)確。測(cè)試結(jié)果如圖7所示。
分別從白內(nèi)障、輕度白內(nèi)障和正常眼底圖像中隨機(jī)選擇1張加載測(cè)試樣本進(jìn)行測(cè)試,點(diǎn)擊診斷按鈕即可得到診斷結(jié)果。試驗(yàn)結(jié)果表明,本系統(tǒng)采用的網(wǎng)絡(luò)模型的可視化診斷準(zhǔn)確率較高。
4 結(jié)論
本文采用了基于卷積神經(jīng)網(wǎng)絡(luò)的白內(nèi)障診斷方法,其訓(xùn)練策略結(jié)合遷移學(xué)習(xí)和微調(diào)參數(shù)。該方法能夠?qū)α严稛粞鄣拙w圖像進(jìn)行檢測(cè),對(duì)眼底圖像進(jìn)行白內(nèi)障診斷,包括白內(nèi)障、輕度白內(nèi)障以及正常3種狀態(tài)。試驗(yàn)結(jié)果表明,該模型的平均準(zhǔn)確率達(dá)到96.59%。本文將該模型與用戶界面(UI)設(shè)計(jì)結(jié)合,開發(fā)了一個(gè)白內(nèi)障輔助診斷系統(tǒng),使診斷過程更便捷,診斷結(jié)果更直觀。以后在現(xiàn)有白內(nèi)障診斷系統(tǒng)的基礎(chǔ)上可繼續(xù)進(jìn)行優(yōu)化,使其實(shí)用性和易用性更高,為醫(yī)療診斷提供更好的輔助。
參考文獻(xiàn)
[1]徐亞明,虞劍.基于遷移學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的安全殼裂縫識(shí)別[J].測(cè)繪地理信息,2023(5):65-68.
[2]路易,吳玲達(dá),朱江.基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2018,39(9):144-149.
[3]劉振宇,宋建聰.基于深度學(xué)習(xí)的白內(nèi)障自動(dòng)診斷方法研究[J].微處理機(jī),2019,40(3):48-52.
[4]SAMRIDHI S,KALPANA M,PARIMALARANGAN R,et al.Identification of sigatoka leaf spot disease in banana using convolutional"neural network(CNN)[J].Asian journal of agricultural extension,"Economics amp; Sociology,2023,41(9):931-936..
[5]OKTAVIAN W M ,YUDISTIRA N ,RIDOK A . Classification"of Alzheimer’s disease using the convolutional neural network (CNN) with transfer learning and weighted loss[J]. IAENG International"journal of computer science,2023,50(3):1-15.