趙海宇，王詩(shī)文，何 晴

（桂林電子科技大學(xué)計(jì)算機(jī)與信息安全學(xué)院，廣西 桂林 541004）

脂肪肝，于1962 年最先發(fā)現(xiàn)在某些患者的肝臟組織學(xué)病變，與酒精性肝病無(wú)法進(jìn)行區(qū)別，其均由顯著的脂肪性沉積，因此稱其為脂肪肝，直到1980 年被定義為非酒精性脂肪肝炎，其用來(lái)指由各種原因引起的肝細(xì)胞內(nèi)脂肪蓄積過(guò)多，脂肪含量超過(guò)肝重量的5%，或在組織學(xué)上超過(guò)肝實(shí)質(zhì)30%的一種肝臟情況。

在當(dāng)前，脂肪肝的篩查主要是通過(guò)B 型超聲進(jìn)行成像，再由醫(yī)生進(jìn)行通過(guò)肉眼以及自身經(jīng)驗(yàn)進(jìn)行判斷，容易增加醫(yī)生的檢查負(fù)擔(dān)。

本文將針對(duì)脂肪肝超聲圖像，設(shè)計(jì)預(yù)處理算法增強(qiáng)圖像特征，改進(jìn)現(xiàn)有深度學(xué)習(xí)的方法，使其能對(duì)脂肪肝超聲圖像進(jìn)行更準(zhǔn)確的分類評(píng)估，能夠輔助醫(yī)生做出判斷。

1 脂肪肝B 超圖像分類研究現(xiàn)狀

隨著技術(shù)的突破，越來(lái)越多的人研究使用計(jì)算機(jī)來(lái)輔助脂肪肝B 超圖像分類的診斷。

Cao[1]等人利用分形維數(shù)和紋理邊緣共生矩陣的方法，從超聲圖像中提取特征，在使用線性分類算法將脂肪肝圖像分為正常和病變。

Achyara[2]等人提出通過(guò)曲線變換在超聲圖像上區(qū)分不同的策略，利用CT 系數(shù)的熵特性，通過(guò)局部敏感判別分析來(lái)選取有效的特征。

Zamanian[3]等人使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)從原始肝臟圖像進(jìn)行特征提取，然后使用支持向量機(jī)(SVM)對(duì)網(wǎng)絡(luò)所提取的特征進(jìn)行分類。

Han[4]等人使用超聲RF 數(shù)據(jù)進(jìn)行學(xué)習(xí)，通過(guò)醫(yī)生選取ROI 區(qū)域進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)分類效果。

2 圖像預(yù)處理過(guò)程

超聲成像過(guò)程中會(huì)產(chǎn)生散斑噪聲、模糊和陰影等嚴(yán)重影響超聲圖像的質(zhì)量和分辨率，使得超聲圖像退化，不利于對(duì)超聲圖像進(jìn)行特征提取。因此，對(duì)超聲圖像進(jìn)行預(yù)處理工作十分有必要。

肝臟超聲圖像上脂肪肝特征主要如下：輕度脂肪肝表現(xiàn)為近場(chǎng)回聲增強(qiáng)，遠(yuǎn)場(chǎng)回聲衰減不明顯；中度脂肪肝表現(xiàn)為前場(chǎng)回聲增強(qiáng)，后場(chǎng)回聲衰減，管狀結(jié)構(gòu)模糊；重度脂肪肝表現(xiàn)為近場(chǎng)回聲顯著增強(qiáng)，遠(yuǎn)場(chǎng)回聲明顯衰減，管狀結(jié)構(gòu)無(wú)法辨認(rèn)。通過(guò)增加超聲圖像的強(qiáng)回聲與弱回聲的對(duì)比度，能夠增強(qiáng)脂肪肝超聲圖像的特征，有助于對(duì)脂肪肝程度進(jìn)行分類診斷。

直方圖均衡化是一種增強(qiáng)圖像對(duì)比度的方法，其主要思想是將一副圖像的直方圖分布變成近似均勻分布，從而增強(qiáng)圖像的對(duì)比度。但是由于直方圖均衡化是全局均衡化，針對(duì)于脂肪肝超聲圖像的局部區(qū)域過(guò)暗時(shí)，會(huì)使得背景噪聲增強(qiáng)以及增強(qiáng)過(guò)度。因此采用對(duì)比度受限制自適應(yīng)均衡化直方圖均衡化。

針對(duì)于脂肪肝超聲圖像，將其分割成多個(gè)大小相等的區(qū)域，并根據(jù)各個(gè)區(qū)域的像素特征計(jì)算每一區(qū)域的灰度級(jí)的平均值，表示為：

公式（1）中，Nm為水平方向的像素?cái)?shù)目。Nn為垂直方向的像素?cái)?shù)目，L 為子塊的灰度級(jí)數(shù)。

確定剪切系數(shù)C，調(diào)整剪切系數(shù)到最佳值，再確定剪切閾值Clim，表示為：

根據(jù)上述公式確定計(jì)算的剪切閾值，對(duì)各個(gè)區(qū)域的像素消息進(jìn)行剪切，把剪切下來(lái)的像素?cái)?shù)目重新分配到對(duì)應(yīng)直方圖的灰度級(jí)中，表示為：

公式（3）中，Sclip為被剪切的像素?cái)?shù)量。

對(duì)像素點(diǎn)進(jìn)行重新分配，如果灰度級(jí)的像素?cái)?shù)大于剪切閾值Clim，或者大于平均分配像素?cái)?shù)Na而且小于剪切閾值Clim，則令該灰度級(jí)像素?cái)?shù)等于Clim。否則，則將灰度級(jí)像素?cái)?shù)加上Na來(lái)作為該灰度級(jí)像素?cái)?shù)。剩余沒(méi)有分配的像素?cái)?shù)均勻分配到小于Clim的灰度級(jí)，循環(huán)分配直到將像素?cái)?shù)分配完畢。

對(duì)各個(gè)區(qū)域的直方圖進(jìn)行區(qū)域內(nèi)的均值化。然而，僅對(duì)各區(qū)域進(jìn)行單獨(dú)處理存在著問(wèn)題，由于區(qū)域劃分過(guò)于明顯，這就導(dǎo)致原本像素點(diǎn)之間柔和過(guò)度的部分區(qū)分度變大，最終產(chǎn)生塊效應(yīng)。

為了消除塊效應(yīng)和提高計(jì)算速度，將每個(gè)區(qū)域中心的灰度值作為參考點(diǎn)，對(duì)圖像中像素點(diǎn)進(jìn)行線性插值，將相鄰的四個(gè)參考點(diǎn)對(duì)應(yīng)區(qū)域的映射來(lái)決定像素點(diǎn)的值。在完成超聲圖像預(yù)處理后，圖像的特征得到增強(qiáng)。

3 改進(jìn)神經(jīng)網(wǎng)絡(luò)分類方法

3.1 Inception-Resnet-v2網(wǎng)絡(luò)

Inception[5]是Google 的研究人員在2014 年提出的網(wǎng)絡(luò)結(jié)構(gòu)，其通過(guò)使用1×1 卷積降低通道數(shù)，再進(jìn)行不同尺度特征提取得到多個(gè)特征后，將特征進(jìn)行融合輸出。Inception 網(wǎng)絡(luò)結(jié)構(gòu)可以將稀疏矩陣聚類為較為密集的子矩陣來(lái)提高計(jì)算性能。Inception-ResNet-v2 網(wǎng)絡(luò)是在Inception-v4 網(wǎng)絡(luò)結(jié)構(gòu)中引入了ResNet 的殘差結(jié)構(gòu)，利用Resnet 網(wǎng)絡(luò)結(jié)構(gòu)恒等映射的特點(diǎn)，提高了網(wǎng)絡(luò)的精度。Inception-Resnet-v2 網(wǎng)絡(luò)通過(guò)對(duì)上一層的輸入使用多個(gè)不同尺度的卷積核進(jìn)行特征提取，在增加網(wǎng)絡(luò)的寬度同時(shí)，能夠增加網(wǎng)絡(luò)對(duì)尺度的適應(yīng)性。Inception-Resnet-v2 網(wǎng)絡(luò)中Input 為輸入層，Stem 模塊用于并行提取特征信息，Inception-Resnet-A、Inception-Resnet-B 和Inception-Resnet-C 模塊用于特征提取，對(duì)應(yīng)的Reduction-A、Reduction-B 和Reduction-C 模塊用于更改網(wǎng)絡(luò)的寬度和高度，AveragePooling 為平均池化層用于提高計(jì)算效率，Dropout 為隨機(jī)失活層用于保持神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，Softmax 表示用Softmax 分類器分類。

3.2 注意力機(jī)制

注意力機(jī)制來(lái)源于在視覺(jué)上的研究。在進(jìn)行信息處理時(shí)，人們會(huì)選擇性地關(guān)注所有信息中的一部分，并且忽略其他可見(jiàn)的信息。在神經(jīng)網(wǎng)絡(luò)中，注意力機(jī)制使得神經(jīng)網(wǎng)絡(luò)更注重于感興趣區(qū)域，抑制不相關(guān)背景區(qū)域。超聲圖像噪聲較多，所以更需要網(wǎng)絡(luò)提取有效的特征，強(qiáng)調(diào)關(guān)鍵的信息，從而整體分類的精度。本文將在Inception-Resnet-v2 網(wǎng)絡(luò)中加入SENet(Squeezeand-Excitation Networks)[6]注意力機(jī)制模塊。SENet 的核心是通過(guò)網(wǎng)絡(luò)根據(jù)訓(xùn)練誤差去學(xué)習(xí)特征權(quán)重，使得有效的特征圖權(quán)重增大，抑制無(wú)效或效果小的特征圖的方式訓(xùn)練模型達(dá)到更好的結(jié)果。

SENet 模塊對(duì)輸入高寬為h、w，通道數(shù)為c1 的超聲圖像進(jìn)行空間維度的特征壓縮，獲得全局感受野。然后通過(guò)參數(shù)w 為每個(gè)通道重新生成權(quán)重，再通過(guò)兩個(gè)全連接層對(duì)輸入維度進(jìn)行降維再升維，將每通道的權(quán)重加權(quán)到原輸入特征圖上，得到輸出。

3.3 改進(jìn)策略

由于網(wǎng)絡(luò)的深層具有深的語(yǔ)義信息，因此將SEnet模塊融入Inception-Resnet-v2 網(wǎng)絡(luò)的Inception-Resnet-B 結(jié)構(gòu)和Inception-Resnet-C 結(jié)構(gòu)的兩側(cè)含有卷積的分支中，得到SE-Inception-Resnet-B 結(jié)構(gòu)和SE-Inception-Resnet-C 結(jié)構(gòu)。

為了避免隨著網(wǎng)絡(luò)深度加深造成特征信息丟失，對(duì)Inception-ResNet-v2 網(wǎng)絡(luò)的Inception-Resnet-A、SEInception-Resnet-B 和SE-Inception-Resnet-C 模塊先經(jīng)過(guò)平均池化，再進(jìn)行特征融合。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)圖

4 實(shí)驗(yàn)測(cè)試分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集和平臺(tái)

實(shí)驗(yàn)所使用數(shù)據(jù)來(lái)源于公開(kāi)數(shù)據(jù)集，共有550 張大小為360×575 的肝臟超聲圖像，其中肝臟正常為170 張，輕度脂肪肝50 張，中度脂肪肝110 張，重度脂肪肝220 張。

本文算法使用的計(jì)算平臺(tái)系統(tǒng)為Ubuntu20.04，深度學(xué)習(xí)框架為Pytorch1.8。硬件環(huán)境為6 核12 線程CPU，32GB 內(nèi)存，顯存24GB 的GPU。

4.2 評(píng)估方法

本文研究脂肪肝超聲圖像分類問(wèn)題，使用準(zhǔn)確率(ACC)、靈敏度(SE)、特異度(SP)作為評(píng)價(jià)指標(biāo)，對(duì)算法進(jìn)行評(píng)估。相應(yīng)公式如下：

式中，TP 為真正例；FP 為假正例；FN 為假反例；TN 為真反例。在相同平臺(tái)下，將本算法與其他算法進(jìn)行對(duì)比，結(jié)果表1 所示。

表1 算法評(píng)估對(duì)比

從表1 可以得出，本文算法相較于其他算法提高了準(zhǔn)確率、敏感度和特異度，能夠?qū)⒅靖纬晥D像進(jìn)行較準(zhǔn)確地分類。

5 結(jié)論

在診斷脂肪肝的計(jì)算機(jī)分類算法中，超聲圖像是常用的圖像類型。本文提出一種基于深度學(xué)習(xí)的分類方法，先將脂肪肝超聲圖像進(jìn)行預(yù)處理，使超聲圖像能夠降低噪聲、增強(qiáng)特征。針對(duì)于預(yù)處理后的圖像，改進(jìn)Inception-ResNet-v2 模型，引入SENet 注意力機(jī)制模塊與原模塊構(gòu)建成新的模塊，并將各模塊的輸出進(jìn)行特征融合，經(jīng)過(guò)分類器得到分類的脂肪肝類型。本文算法相較于其他算法，能夠有效地提升分類能力。