摘要:隨著人們?nèi)粘I钪蟹尾考膊★L(fēng)險的增加,肺部病變篩查變得至關(guān)重要。通過CT圖像快速輔助診斷肺炎可以有效遏制病情。針對現(xiàn)有的肺部CT圖像輔助診斷方法存在數(shù)據(jù)標(biāo)記量大、訓(xùn)練數(shù)據(jù)耗時長以及對醫(yī)療設(shè)備計算量和內(nèi)存要求高等問題,提出基于K-means與寬度學(xué)習(xí)的肺炎圖像分類算法。該算法引入K-means使寬度學(xué)習(xí)系統(tǒng)更好地提取肺部CT圖像特征,緩解隨機(jī)獲得節(jié)點(diǎn)權(quán)值的性能局限,建立與典型特征學(xué)習(xí)相關(guān)的寬度學(xué)習(xí)模型,并將算法針對公開數(shù)據(jù)集進(jìn)行相關(guān)實驗。實驗結(jié)果表明,該模型較深度學(xué)習(xí)模型的計算量大大減小,在訓(xùn)練速度方面有明顯優(yōu)勢,同時也保證了較好的分類結(jié)果,極大地降低了診斷時間;在數(shù)據(jù)有限的情況下,改進(jìn)后的方法與現(xiàn)有主流方法相比獲得了更加精確的肺炎診斷結(jié)果,提出的算法更適于嵌入醫(yī)學(xué)設(shè)備等資源有限的硬件系統(tǒng)中。
關(guān) 鍵 詞:肺炎診斷; CT圖像; K-means; 寬度學(xué)習(xí)氧化鈷; 納米結(jié)構(gòu); 電容器; 電催化
中圖分類號:TP391.41
文獻(xiàn)標(biāo)志碼:A
doi:10.3969/j.issn.1673-5862.2024.04.008
Pneumonia image classification algorithm based on K-means and broad learning
CUI Song1,2, LYU Yan1,2, CHEN Lanfeng1,2CHENG Liying1,2, GU Liru1, YAN Min1, GUAN Wenyin1, WANG Xiaowei1, ZHANG Zhimei1
(1. College of Physical Science and Technology, Shenyang Normal University, Shenyang 110034, China)(1. College of Physical Science and Technology, Shenyang Normal University, Shenyang 110034, China; 2.
Key Laboratory of Intelligent Computing in Medical Image, Ministry of Education, Shenyang 110003, China)
Abstract:As the risk of lung diseases increases in people′s daily lives, screening for lung lesions has become critical. The rapid auxiliary diagnosis of pneumonia through CT images can effectively curb the disease. In view of the existing lung CT image-assisted diagnosis methods have problems such as large amounts of data labeling, long training data consumption, and high computational and memory requirements for medical equipment, this paper proposes a pneumonia image classification algorithm based on K-means and Broad learning. This algorithm introduces K-means to enable the broad learning system to better extract lung CT image features, alleviate the performance limitations of randomly obtaining node weights, establish a broad learning model related to typical feature learning, and target the algorithm to public data sets Related experiments were conducted. Experimental results show that this model requires significantly less calculations than the deep learning model and has obvious advantages in training speed. It also ensures better classification results and greatly reduces the diagnosis time; in the case of limited data, The improved network achieves more accurate pneumonia diagnosis results compared with existing mainstream methods. Therefore, the algorithm proposed in this article is more suitable for embedding into resource-limited hardware systems such as medical equipment.
Key words:pneumonia diagnosis; CT image; K-means; broad learning
肺炎被認(rèn)為是最有影響力的肺部疾病之一[1],其傳播范圍廣泛[2],不及時診斷容易導(dǎo)致危重病癥。在醫(yī)療負(fù)擔(dān)日益加重的情況下,快速準(zhǔn)確的診斷有助于減緩疾病的傳播,對于控制病情至關(guān)重要。胸部CT掃描可以發(fā)現(xiàn)肺炎感染引起的肺部表現(xiàn)的磨玻璃影(ground-glass opacity,GGO)或雙側(cè)斑片狀影等特征[3],已被證實可作為一種快速準(zhǔn)確的肺炎篩查方法[4]。根據(jù)肺炎的CT圖像進(jìn)行輔助診斷的任務(wù)中,為了克服深度學(xué)習(xí)模型訓(xùn)練用時長、對數(shù)據(jù)集要求較高等問題,本文探索了基礎(chǔ)BLS(broad learning system)在CT圖像分類任務(wù)上的應(yīng)用效果,在分析其實驗結(jié)果的基礎(chǔ)上,提出一種基于寬度學(xué)習(xí)的快速分類方法,使模型在較短的計算時間內(nèi)達(dá)到滿意的精度。由于寬度學(xué)習(xí)模型較為簡單,不能很好地處理具有高度相似性的CT圖像,因此本文在基礎(chǔ)快速診斷模型的基礎(chǔ)上,提出了一種基于K-means與寬度學(xué)習(xí)的肺炎圖像分類算法。
1 肺炎輔助診斷技術(shù)
在醫(yī)學(xué)圖像處理領(lǐng)域,AI可以有效地對不同的醫(yī)學(xué)圖像進(jìn)行分類,輔助醫(yī)生進(jìn)行診斷,有效地降低誤診率。目前已經(jīng)有許多基于深度學(xué)習(xí)的方法被用于肺部疾病的研究。Gozes等[5]將不同維度的深度模型與臨床醫(yī)學(xué)結(jié)合起來,實現(xiàn)了肺炎的自動化診斷,在270個切片上評估了檢測切片級冠狀病毒的能力。Pathak等[6]提出了一種用于肺炎診斷的深度模型,從852次CT掃描中創(chuàng)建了一個實驗數(shù)據(jù)集,并使用先進(jìn)的監(jiān)督學(xué)習(xí)方法對結(jié)果進(jìn)行討論。Mortani等[7]使用邏輯回歸和隨機(jī)森林解釋特征以實現(xiàn)大型多中心隊列中的肺炎自動化診斷,并在包含2 446個胸部CT掃描的數(shù)據(jù)集上進(jìn)行實驗。Wang等[8]利用CNN提取特定圖形特征用于肺炎CT圖像篩查,分析了2名放射科醫(yī)生檢查的1 065張具有代表性的圖像,在小規(guī)模數(shù)據(jù)集的情況下,檢測準(zhǔn)確率達(dá)到了89.5%。當(dāng)前基于小規(guī)模數(shù)據(jù)集的肺炎檢測研究仍占很大比例,但如果沒有高質(zhì)量的數(shù)據(jù),深度學(xué)習(xí)模型將無法更好地發(fā)揮作用[9-10]。
在設(shè)計模型的策略上,雖然許多不同類型的深度學(xué)習(xí)方法為肺炎的診斷帶來了新的思路,表明了深度模型在各種應(yīng)用中具有強(qiáng)大的功能,DCNN的卷積層非常適合從圖像中提取圖像特征,但由于各自的局限性,也面臨著不可避免的挑戰(zhàn),如需要巨大的數(shù)據(jù)支持、更高的并行編程技能以及更多更好的硬件支持才能實現(xiàn)算法的實時性。此外,大多數(shù)深度學(xué)習(xí)算法不具備增量學(xué)習(xí)的能力。由于疾病的不斷變化,模型需要基于更新的數(shù)據(jù)集進(jìn)行重新訓(xùn)練,致使檢測結(jié)果延遲從而導(dǎo)致感染的傳播和醫(yī)療成本的增加。小規(guī)模數(shù)據(jù)集可以減輕模型和硬件設(shè)備的負(fù)擔(dān),但如何利用小規(guī)模數(shù)據(jù)實現(xiàn)更好的模型性能仍然是一個有待解決的問題。
本文針對上述在肺炎分類中遇到的樣本有限且標(biāo)注困難、CT圖像具有全局相似和局部差異的典型特征、診斷過程復(fù)雜且效率低下、現(xiàn)有診斷模型對硬件設(shè)備要求較高等一系列問題,利用寬度學(xué)習(xí)系統(tǒng)設(shè)計輕量化的快速輔助診斷模型,并針對肺部CT圖像的特點(diǎn)引入K-means的特征提取算法,將CT圖像的顯著信息與全局信息有效結(jié)合以緩解寬度學(xué)習(xí)系統(tǒng)的局限性,實現(xiàn)肺炎的快速診斷。
2 基于K-BLS的肺炎圖像分類算法
2.1 寬度學(xué)習(xí)理論的基礎(chǔ)
寬度學(xué)習(xí)系統(tǒng)具有特殊的網(wǎng)絡(luò)結(jié)構(gòu),能夠充分考慮不同層次的特征。整個網(wǎng)絡(luò)由輸入、特征節(jié)點(diǎn)、增強(qiáng)節(jié)點(diǎn)和輸出組成。寬度學(xué)習(xí)系統(tǒng)結(jié)構(gòu)如圖1所示。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)需要在訓(xùn)練過程中調(diào)整隱層的權(quán)重。神經(jīng)網(wǎng)絡(luò)作為黑盒程序通常不為用戶所知,缺乏理論可解釋性。而BLS的隱層節(jié)點(diǎn)的參數(shù)可以按照任意連續(xù)的概率分布隨機(jī)生成,利用隨機(jī)隱層權(quán)值將原始樣本映射到由這些向量構(gòu)成的判別特征空間中,這種隨機(jī)機(jī)制可以為BLS提供更加快速的訓(xùn)練過程。該網(wǎng)絡(luò)在原有結(jié)構(gòu)的基礎(chǔ)上還可以有相應(yīng)的變體,包括矩陣乘法節(jié)點(diǎn)、模糊規(guī)則、流形嵌入、嶺多項式、多核函數(shù)、小波函數(shù)等。
本文選擇訓(xùn)練效率較高且具有通用逼近能力的BLS。首先根據(jù)任意連續(xù)概率分布隨機(jī)生成隱層節(jié)點(diǎn)權(quán)值,對原始數(shù)據(jù)進(jìn)行特征映射,將其映射到更高效的特征空間。然后將得到的特征節(jié)點(diǎn)映射為增強(qiáng)節(jié)點(diǎn),進(jìn)行寬度上的結(jié)構(gòu)擴(kuò)展。最后將所有映射的特征節(jié)點(diǎn)和增強(qiáng)節(jié)點(diǎn)連接到輸出中,利用偽逆的嶺回歸來尋找所需的連接權(quán)值,取得分類結(jié)果。寬度學(xué)習(xí)作為一種扁平化結(jié)構(gòu)可以使輸入數(shù)據(jù)和輸出數(shù)據(jù)直接相關(guān),通過增強(qiáng)節(jié)點(diǎn)的非線性映射,可以提高整個網(wǎng)絡(luò)的擬合能力和穩(wěn)定性。
2.2 K-means模塊
K-means算法是最經(jīng)典的基于分區(qū)的聚類方法,被廣泛應(yīng)用于許多領(lǐng)域,在圖像處理中具有良好的學(xué)習(xí)和特征表示能力[11]。K-means聚類算法采用迭代思想,其目標(biāo)是將樣本數(shù)據(jù)分成k類[12],構(gòu)造k個向量的字典來恢復(fù)樣本xi∈RM,i=1,…,N。隨機(jī)初始化k個樣本中心點(diǎn),不斷迭代優(yōu)化聚類中心點(diǎn),得到k個質(zhì)心μi,使以下近端問題最小化,表達(dá)式如式(1)。
K-means的訓(xùn)練過程如下:
1)輸入歸一化:對于每個輸入x(i)減去強(qiáng)度的平均值并除以標(biāo)準(zhǔn)偏差,表達(dá)式如式(2)。
其中,(i)是未標(biāo)準(zhǔn)化的圖像塊;“mean”和“var”是(i)元素的平均值和方差。在分母添加了常數(shù)項10是為了避免除0,同時抑制噪聲。
2)ZCA白化處理:對圖像進(jìn)行白化處理表達(dá)式如式(3)和式(4)所示。
其中:cov是輸入的協(xié)方差;eig是輸入的特征值分解(eigenvalue decomposition);εzca是一個常數(shù)(本文設(shè)為0.1)。ZCA白化可以消除聚類質(zhì)心之間的相關(guān)性。
3)循環(huán)運(yùn)算直至收斂:不斷優(yōu)化x(i)和D直至收斂。
4)使用學(xué)習(xí)到的特征提取器f(x;D)計算圖像塊的表示。將函數(shù)f應(yīng)用于許多子塊來定義整個圖像的(單層)表示,特征向量f(x;D)表示為式(5)。
式中D(j)為第j個簇類質(zhì)心;dj為圖像塊x與第j個簇類質(zhì)心的距離;k為聚類質(zhì)心的個數(shù)。映射完成后,每個圖像塊都被轉(zhuǎn)換成一個k維向量。
2.3 基于K-means與寬度學(xué)習(xí)的圖像分類算法
本文提出的K-BLS算法模型包括3個部分,首先對輸入數(shù)據(jù)預(yù)處理以剔除干擾區(qū)域,然后引入K-means算法進(jìn)行特征提取,彌補(bǔ)寬度學(xué)習(xí)系統(tǒng)應(yīng)用于復(fù)雜圖像時的局限性,最后將特征數(shù)據(jù)輸送到寬度學(xué)習(xí)模塊,自適應(yīng)選擇特征進(jìn)行高效的診斷,整體框架描述如圖2所示。
醫(yī)學(xué)圖像的預(yù)處理可以幫助減少系統(tǒng)任務(wù)、提高準(zhǔn)確率,消除不必要的信息,本方法中將數(shù)據(jù)中每個切片大小裁剪到固定大小,以占用較少內(nèi)存量的同時不丟失肺部感興趣信息,而不是直接將整個切片縮小到指定尺寸,然后剔除肺實質(zhì)以外的區(qū)域,預(yù)處理操作可以完全去除多余的干擾。每步的處理結(jié)果如圖3所示,詳細(xì)的預(yù)處理步驟如下:
1)將患者的每個切片裁剪到指定大?。涸谂臄zCT時,輸入的圖像包含一些不必要的信息。因此,預(yù)處理對于消除這些不需要的信息至關(guān)重要。將CT數(shù)據(jù)中每個切片的大小裁剪為固定值,可以減少內(nèi)存的使用。
2)對切片進(jìn)行二值化處理:將256個亮度等級的灰度圖像上的像素點(diǎn)的灰度值設(shè)置為0或255,使其變成可以反映圖像整體和局部特征的二值化圖像。
3)尋找每個切片的最大連通域:連通域是相同像素值的相鄰像素組成的集合,將每個連通域設(shè)置一個標(biāo)記,就完成了連通域分析。在本步驟中,對標(biāo)記好的連通域取最大連通域,去除其他小面積連通域。
4)填充連通域內(nèi)孔洞:對最大連通域內(nèi)部的黑色像素部分(孔洞)進(jìn)行填充操作。
5)去除對應(yīng)二值化后的切片中的無關(guān)區(qū)域:將孔洞填充后的圖像與原灰度圖相乘,保留填充區(qū)域內(nèi)的原有灰度圖像信息,實現(xiàn)干擾區(qū)域的剔除。
通過這種方法,可以使背景為零,并消除肺實質(zhì)外區(qū)域的干擾。圖3顯示了預(yù)處理所涉及的不同步驟。圖3中(a)為輸入切片樣本,(b)為二值化圖像,(c)為最大連通分量,(d)為填充圖像,(e)為輸入圖像對應(yīng)部分。
3 實驗結(jié)果與分析
本文在CC-CCII數(shù)據(jù)集上對算法進(jìn)行實驗并對算法的有效性和快速性進(jìn)行分析。
3.1 實驗參數(shù)設(shè)置
參數(shù)設(shè)置涉及特征提取的K-means和寬度學(xué)習(xí)系統(tǒng)2個部分,K-means質(zhì)心個數(shù)k=1 500,迭代次數(shù)為50。寬度學(xué)習(xí)中超參數(shù)較少,主要有特征窗口的數(shù)量(N1)、每個特征窗口內(nèi)的節(jié)點(diǎn)數(shù)(N2)和增強(qiáng)節(jié)點(diǎn)數(shù)(N3)。在實驗中對于寬度學(xué)習(xí)節(jié)點(diǎn)數(shù)量的設(shè)置,本文采用網(wǎng)格搜索的方式,確定最優(yōu)節(jié)點(diǎn)數(shù)N1=100,N2=8,N3=2 000。
3.2 有效性分析
將本文提出算法與現(xiàn)有的主流方法進(jìn)行分類能力的比較,包括2個版本的堆疊自動編碼器SAE(stacked autoencoder)[13]和SDA(stacked denoising autoencoders)[14],DBN(deep belief networks)[15],基于多層感知器的方法(multi-layer perceptron,MLP)[16],DBM(deep boltzmann machine)[17],2種基于極限學(xué)習(xí)機(jī)(exteme learning machine,ELM)的多層結(jié)構(gòu),分別記為MLELM(multi-layer extreme learning machine)[18]和HELM(hierarchical exgteme learning machine)[19]。除了HELM和MLELM外,上面提到的所有方法都是深度結(jié)構(gòu),是基于反向傳播對超參數(shù)進(jìn)行調(diào)優(yōu)的,將反向傳播的初始學(xué)習(xí)率設(shè)置為0.1,每個學(xué)習(xí)周期的衰減率設(shè)置為0.95,基于ELM網(wǎng)絡(luò)的MLELM的正則化參數(shù)分別設(shè)置為10-1、103和108,HELM的懲罰參數(shù)設(shè)置為108,上述方法和本文提出的K-BLS的測試準(zhǔn)確率和訓(xùn)練時間見表1。
根據(jù)表1數(shù)據(jù)可以得到如下結(jié)論:
1)基礎(chǔ)寬度學(xué)習(xí)模型在CC-CCII數(shù)據(jù)集的測試準(zhǔn)確率只有69.58%,但訓(xùn)練時間非常快,僅需要68.13 s。與其他模型對比發(fā)現(xiàn),此實驗條件下的DBM訓(xùn)練速度是用時最長的,是BLS的1 542.51倍,用時較短的是HELM,是BLS的3.57倍,所以BLS在訓(xùn)練速度上有較大優(yōu)勢。
2)本文提出的K-BLS在測試準(zhǔn)確率上與基礎(chǔ)BLS相比有了較大提升,達(dá)到了79.86%,但由于K-means 迭代處理圖像的過程比較耗時,K-means方法的引入使K-BLS模型的訓(xùn)練時間增加到了442.85 s,但仍在可接受的范圍之內(nèi)。K-BLS的訓(xùn)練速度是DBM的1/237.31,接近HELM的2倍。雖然K-BLS在訓(xùn)練時間上與MLELM和HELM模型相比不占優(yōu)勢,但對應(yīng)的測試準(zhǔn)確度有大幅提升,因此K-BLS與其他算法模型綜合比較仍然占明顯的優(yōu)勢。
4 結(jié)語
本文提出了一種基于寬度學(xué)習(xí)改進(jìn)的肺炎圖像分類算法(K-BLS)。在算法設(shè)計中采用了傳統(tǒng)機(jī)器學(xué)習(xí)算法與寬度學(xué)習(xí)方法結(jié)合的方式,傳統(tǒng)的K-means算法從特征提取的角度,彌補(bǔ)了寬度學(xué)習(xí)對具有全局相似性的肺部CT圖像進(jìn)行特征映射的局限,而寬度學(xué)習(xí)系統(tǒng)的使用極大緩解了模型訓(xùn)練速度慢、參數(shù)量大計算量重的問題。本文模型能夠很好地結(jié)合二者的優(yōu)勢,減少數(shù)據(jù)的計算量以及降低對醫(yī)療設(shè)備內(nèi)存的要求,更適于嵌入醫(yī)療設(shè)備。通過實驗結(jié)果驗證了K-BLS在圖像分類的訓(xùn)練速度和測試準(zhǔn)確度上均有一定優(yōu)勢,提升了模型的整體性能,能夠快速準(zhǔn)確地對肺部CT圖像進(jìn)行分類診斷,對篩查和診斷肺部病變具有重要的臨床應(yīng)用意義。但由于寬度學(xué)習(xí)的架構(gòu)特點(diǎn),使得其在某些特定的場景下面臨提取特征不足的風(fēng)險,如何更好地提升寬度學(xué)習(xí)的特征提取能力仍是有待進(jìn)一步研究的問題。
參考文獻(xiàn):
[1]MILLER M.2019 novel coronavirus COVID-19(2019-ncov)data repository:Johns Hopkins university center for systems science and engineering[J].Bull-Assoc Can Map Libr Arch,2020,164:47-51.
[2]WU Z Y,MCGOOGAN J M.Characteristics of and important lessons from the coronavirus disease 2019(COVID-19)outbreak in China:Summary of a report of 72 314 cases from the Chinese Center for Disease Control and Prevention[J].JAMA,2020,323(13):1239-1242.
[3]HUANG C L,WANG Y,LI X W,et al.Clinical features of patients infected with 2019 novel coronavirus in Wuhan,China[J].The Lancet,2020,395:497-506.
[4]FANG Y C,ZHANG H Q,XIE J C,et al.Sensitivity of chest CT for COVID-19:Comparison to RT-PCR[J].Radiology,2020,296(2):E115-E117.
[5]GOZES O,F(xiàn)RID-ADAR M,GREENSPAN H,et al.Rapid AI development cycle for the coronavirus(COVID-19)pandemic:Initial results for automated detection amp; patient monitoring using deep learning ct image analysis[J/OL].[2024-02-16].https:∥arxiv.org/abs/2003.05037v2.
[6]PATHAK Y,SHUKLA P K,TIWARI A,et al.Deep transfer learning based classification model for COVID-19 disease[J].IRBM,2022,43(2):87-92.
[7]MORTANI BARBOSE E J,GEORGESCU B,CHAGANTI S,et al.Machine learning automatically detects COVID-19 using chest CTs in a large multicenter cohort[J].Eur Radiol,2021,31(11):8775-8785.
[8]WANG S,KANG B,MA J L,et al.A deep learning algorithm using CT images to screen for corona virus disease(COVID-19)[J].Eur Radiol,2021,31:6096-6104.
[9]GUDIGAR A,RAGHAVENDRA U,NAYAK S,et al.Role of artificial intelligence in COVID-19 detection[J].Sensors,2021,21(23):8045.
[10]SUBRAMANIAN N,ELHARROUSS O,AL-MAADEED S,et al.A review of deep learning-based detection methods for COVID-19[J/OL].[2024-02-08].https:∥www.ncbi.nlm.nih.gov/pmc/articles/PMC8798789.
[11]COATES A,Ng A Y.Learning feature representations with k-means[M]∥Neural Networks:Tricks of the Trade,2nd Edition.Berlin:Springer,2012:561-580.
[12]劉亞瓊.基于寬度學(xué)習(xí)系統(tǒng)的圖像分類方法研究[D].重慶:重慶大學(xué),2021.
[13]HINTON G E,SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313:504-507.
[14]VINCENT P,LAROCHELLE H,BENGIO Y,et al.Extracting and composing robust features with denoising autoencoders[C]∥Proceedings of the 25th International Conference on Machine Learning.Helsinki:ICML,2008:1096-1103.
[15]HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Comput,2006,18(7):1527-1554.
[16]BISHIP C M.Pattern recognition and machine learning(information science and statistics)[M].New York:Springer,2007.
[17]SALAKHUTDINOV R,LAROCHELLE H.Efficient learning of deep Boltzmann machines[C]∥Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics.Sardinia:JMLR,2010:693-700.
[18]CAMBRIA E,HUANG G B,KASUN L L C,et al.Extreme learning machines[trends amp; controversies][J].IEEE Intell Syst,2013,28(6):30-59.
[19]TANG J X,DENG C W,HUANG G B.Extreme learning machine for multilayer perceptron[J].IEEE TNNLS,2015,27(4):809-821.
【責(zé)任編輯:孫 可】