孫夏 吳蔚 吳鵬 丁明躍 華中科技大學(xué)生命科學(xué)與技術(shù)學(xué)院生物醫(yī)學(xué)工程系，分子生物物理教育部重點(diǎn)實(shí)驗(yàn)室 （武漢 430074）

基于卷積神經(jīng)網(wǎng)絡(luò)的頸動(dòng)脈斑塊超聲圖像特征識(shí)別

孫夏 吳蔚 吳鵬 丁明躍 華中科技大學(xué)生命科學(xué)與技術(shù)學(xué)院生物醫(yī)學(xué)工程系，分子生物物理教育部重點(diǎn)實(shí)驗(yàn)室 （武漢 430074）

從卷積神經(jīng)網(wǎng)絡(luò)層數(shù)、卷積核大小、特征維數(shù)等方面分析對(duì)識(shí)別效果的影響，優(yōu)化網(wǎng)絡(luò)參數(shù)，構(gòu)建一個(gè)適用于頸動(dòng)脈斑塊識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)。研究表明，卷積神經(jīng)網(wǎng)絡(luò)是可行的，對(duì)頸動(dòng)脈斑塊有較好的識(shí)別效果，且優(yōu)于SVM方法。

卷積神經(jīng)網(wǎng)絡(luò) 頸動(dòng)脈斑塊 特征識(shí)別

0.引言

頸動(dòng)脈粥樣硬化（carotid atherosclerosis，CAS）與心腦血管疾病密切相關(guān)。據(jù)統(tǒng)計(jì)約20%的腦卒中與頸動(dòng)脈粥樣硬化有關(guān)，且頸動(dòng)脈粥樣硬化的存在可以作為冠狀動(dòng)脈粥樣硬化有價(jià)值的獨(dú)立預(yù)報(bào)因素。由于超聲具有無創(chuàng)、價(jià)格低廉、使用方便等優(yōu)點(diǎn)，因此，準(zhǔn)確識(shí)別超聲圖像中的頸動(dòng)脈斑塊，有著重要的臨床應(yīng)用價(jià)值。

目前的頸動(dòng)脈斑塊特征識(shí)別主要包括特征提取和分類器分類學(xué)習(xí)兩個(gè)部分。傳統(tǒng)的特征提取需要人工設(shè)計(jì)復(fù)雜的特征提取方法，利用分類器的分類結(jié)果篩選有效特征，完成對(duì)斑塊的特征描述。常用的特征提取方法有紋理特征提取，形態(tài)特征提取，彈性特征提取等方法，提取到的特征數(shù)目較多，篩選工作復(fù)雜而繁瑣，增加了工作量，且效率較低。

隨著模式識(shí)別與機(jī)器學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)成為機(jī)器學(xué)習(xí)研究領(lǐng)域的一大熱點(diǎn)[1～5]。深度學(xué)習(xí)通過逐層學(xué)習(xí)獲得特征的非線性表達(dá)，其結(jié)構(gòu)模擬人腦，自動(dòng)學(xué)習(xí)數(shù)據(jù)的本質(zhì)特征，避免了復(fù)雜的特征提取和數(shù)據(jù)重建過程[6]。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的重要組成部分，它的權(quán)值共享分布與生物神經(jīng)結(jié)構(gòu)更加接近，減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)。結(jié)合局部連接和空間降采樣，能夠自動(dòng)提取一些特征。另外，卷積神經(jīng)網(wǎng)絡(luò)能夠直接輸入圖像，避免了前期復(fù)雜的預(yù)處理過程。

在經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的頸動(dòng)脈斑塊特征識(shí)別方法，并與傳統(tǒng)分類方法SVM進(jìn)行比較分析。實(shí)驗(yàn)證明了卷積神經(jīng)網(wǎng)絡(luò)在頸動(dòng)脈斑塊特征識(shí)別上的有效性。

1.卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)自主監(jiān)督學(xué)習(xí)的多層感知器，主要包括輸入層、隱含層（卷積層和降采樣層）和輸出層等，通過反向傳導(dǎo)優(yōu)化網(wǎng)絡(luò)來更新網(wǎng)絡(luò)參數(shù)，其結(jié)構(gòu)如圖1所示。

卷積層上將得到多個(gè)特征圖，每個(gè)特征圖提取一種特征，特征圖上的每一個(gè)神經(jīng)元都與前一層的局部感受野相連接，共享一組權(quán)值。經(jīng)過卷積運(yùn)算，完成特征提取的過程。由于多個(gè)特征圖有多個(gè)不同的權(quán)值，因而得到不同的特征。在訓(xùn)練的過程中，不斷通過反向傳導(dǎo)更新權(quán)值，使得最后的分類結(jié)果向著更好的方向發(fā)展。卷積層計(jì)算公式如下式所示：

其中Mj是所有輸入maps的集合，Kij是卷積核，bj是每個(gè)輸入map的偏移量。

降采樣層上進(jìn)行特征圖的池化作用，使圖像的分辨率降低，特征圖數(shù)目不變。除了特征維數(shù)得到降低之外，對(duì)位移、縮放、扭曲的魯棒性也有一定程度的增強(qiáng)。降采樣的公式如下式所示：

其中，down(·)表示一個(gè)下采樣函數(shù)，βj為權(quán)重系數(shù)。

圖1. 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.數(shù)據(jù)集的構(gòu)建

頸動(dòng)脈超聲圖像原有大小為800×521，包含過多的多余信息。為了簡(jiǎn)化網(wǎng)絡(luò)，我們先根據(jù)醫(yī)生標(biāo)記的外輪廓對(duì)圖像進(jìn)行了一個(gè)簡(jiǎn)單的ROI提取。如圖2所示。

分割出的區(qū)域?yàn)镽OI區(qū)域，該區(qū)域作為卷積神經(jīng)網(wǎng)絡(luò)模型的輸入。由于模型要求圖片大小一致，將圖片進(jìn)行微調(diào)整，最終大小確定為112×112。

圖2. 圖片預(yù)處理過程

圖片的大小和數(shù)量，對(duì)于網(wǎng)絡(luò)的結(jié)構(gòu)與性能有著至關(guān)重要的影響。由于目前獲得的圖片數(shù)量有限（1160張圖片，其中有斑塊的691張，無斑塊的469張），若圖片大小過大，增加了網(wǎng)絡(luò)的深度和其中參數(shù)的個(gè)數(shù)，可能造成過擬合現(xiàn)象。為了完成卷積神經(jīng)網(wǎng)絡(luò)模型在頸動(dòng)脈超聲圖像上的研究，對(duì)所有圖片進(jìn)行了一個(gè)簡(jiǎn)單的ROI區(qū)域選取。

3.頸動(dòng)脈斑塊特征識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)模型

經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于手寫數(shù)字的識(shí)別，其結(jié)構(gòu)為5層，包括輸入層、2層卷積層和2層降采樣層，卷積核大小為5×5，在Minst手寫數(shù)字樣本集上得到了非常好的結(jié)果。

圖3. 原始網(wǎng)絡(luò)的均方誤差曲線

圖4. 卷積核大小對(duì)網(wǎng)絡(luò)的影響

表1. 卷積核大小與識(shí)別率的關(guān)系

然而，直接將這個(gè)經(jīng)典網(wǎng)絡(luò)運(yùn)用到超聲頸動(dòng)脈斑塊的圖像上，由于圖片尺寸遠(yuǎn)大于Minst樣本集中的圖片尺寸，網(wǎng)絡(luò)無法收斂，不能得到很好的分類識(shí)別效果。結(jié)果如圖3所示。經(jīng)過研究分析，我們采用交叉驗(yàn)證的方法，主要從卷積核大小、網(wǎng)絡(luò)層數(shù)、特征維數(shù)三個(gè)方面確定了適合頸動(dòng)脈斑塊圖像的網(wǎng)絡(luò)參數(shù)。

（1）卷積核

卷積核是卷積神經(jīng)網(wǎng)絡(luò)提取特征好壞的關(guān)鍵所在，是生物視覺結(jié)構(gòu)系統(tǒng)里的感受野的模型化表示。卷積核過大，提取的特征超過了卷積核所能表達(dá)的范圍；卷積核過小，無法提取到有效的局部特征。因此，選定合適的卷積核大小對(duì)整個(gè)網(wǎng)絡(luò)的性能至關(guān)重要。

我們?cè)O(shè)定網(wǎng)絡(luò)層數(shù)為7層，特征維數(shù)保持2352維左右，分別取卷積核大小為5×5、7×7、9×9、11×11、13×13，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，得到樣本均方誤差曲線如圖4。

由圖4分析可知，卷積核大小為9時(shí)，網(wǎng)絡(luò)收斂最快。其中卷積核大小與其測(cè)試準(zhǔn)確率大小如表1所示。

可以得出結(jié)論，卷積核大小為9時(shí)，網(wǎng)絡(luò)收斂最快，測(cè)試誤差率最低。因此，網(wǎng)絡(luò)的卷積核大小確定為9×9。

（2）網(wǎng)絡(luò)層數(shù)

卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層感知器，通過這種多層結(jié)構(gòu)來完成特征學(xué)習(xí)。網(wǎng)絡(luò)層數(shù)反映網(wǎng)絡(luò)深度，是決定網(wǎng)絡(luò)訓(xùn)練效率和檢測(cè)結(jié)果好壞的重要因素。網(wǎng)絡(luò)層數(shù)過多，網(wǎng)絡(luò)的復(fù)雜度增加，需要訓(xùn)練的參數(shù)增多，訓(xùn)練時(shí)間變長，過擬合現(xiàn)象較容易出現(xiàn)；網(wǎng)絡(luò)層數(shù)過少，提取的特征無法準(zhǔn)確地表達(dá)所需要的信息。因此，網(wǎng)絡(luò)層數(shù)對(duì)網(wǎng)絡(luò)的構(gòu)建有著至關(guān)重要的作用。

我們選取卷積核大小為9，特征維數(shù)保持2352維左右，分別選取層數(shù)為3、4、5、6、7，進(jìn)行實(shí)驗(yàn)。結(jié)果如圖5所示。

表2. 網(wǎng)絡(luò)層數(shù)與識(shí)別率的關(guān)系

表3. 特征維數(shù)與識(shí)別率的關(guān)系

從圖中可以看出，網(wǎng)絡(luò)為3、4層的時(shí)候，網(wǎng)絡(luò)不收斂。網(wǎng)絡(luò)為5、6、7層的測(cè)試準(zhǔn)確率如表2所示。

由圖表分析可知，7層網(wǎng)絡(luò)結(jié)構(gòu)的效果相比較而言最為理想，故網(wǎng)絡(luò)結(jié)構(gòu)確定為7層。

（3）特征維數(shù)

特征維數(shù)的大小反映了隱含層提取的特征圖的數(shù)量。作為最后一層BP網(wǎng)絡(luò)的輸入，特征維數(shù)對(duì)網(wǎng)絡(luò)的收斂和穩(wěn)定性至關(guān)重要。特征維數(shù)過大，容易產(chǎn)生冗余；過小提取的特征不能準(zhǔn)確表達(dá)信息。因此，針對(duì)不同的網(wǎng)絡(luò)輸入，需要對(duì)特征維數(shù)進(jìn)行合理地調(diào)節(jié)。實(shí)驗(yàn)中取7層網(wǎng)絡(luò)，其中卷積層3層，下采樣層3層，卷積核大小為9×9，針對(duì)不同特征維數(shù)得到的結(jié)果如圖6所示。

圖6中可以看出，特征維數(shù)過大（如11760維）或過?。ㄈ?90維），收斂均較慢，對(duì)網(wǎng)絡(luò)識(shí)別是不利的。不同特征維數(shù)的識(shí)別率如表3所示。

由于特征維數(shù)為2352時(shí)識(shí)別率最高，故在本實(shí)驗(yàn)中特征維數(shù)取2352。

圖5. 網(wǎng)絡(luò)層數(shù)對(duì)網(wǎng)絡(luò)的影響

圖6. 特征維數(shù)對(duì)網(wǎng)絡(luò)的影響

實(shí)驗(yàn)結(jié)果表明，卷積核大小為9，特征維數(shù)為2352的7層網(wǎng)絡(luò)是較適合頸動(dòng)脈超聲圖像的網(wǎng)絡(luò)結(jié)構(gòu)。

4.實(shí)驗(yàn)結(jié)果對(duì)比

為了證明卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)越性，我們將采用本文方法的分類結(jié)果與SVM分類效果進(jìn)行對(duì)比。我們使用已有的紋理特征作為分類器SVM的輸入，文獻(xiàn)[7]中提到，紋理特征對(duì)于SVM分類有較好的結(jié)果。為了實(shí)驗(yàn)的嚴(yán)謹(jǐn)性，我們將紋理特征進(jìn)行組合優(yōu)化來找到SVM的最佳分類效果。

紋理特征[8]分為七大類，包括空間灰度獨(dú)立矩陣（SGLDM，包含2個(gè)特征）、灰度差分矩陣（GLDM，包含4個(gè)特征）、Laws紋理能量（Laws TEM，包含21個(gè)特征）、傅里葉功率譜（FPS，包含35個(gè)特征）、一階灰度統(tǒng)計(jì)量（FOGLS，包含14個(gè)特征）、灰度共生矩陣（GLCM，包含4個(gè)特征）和灰度游程（GLRL，包含5個(gè)特征），共計(jì)85個(gè)特征。我們將每類特征單獨(dú)作為SVM的輸入，得到單類特征的分類結(jié)果如圖7，實(shí)驗(yàn)表明FPS類特征有較好的分類結(jié)果。接下來按照文獻(xiàn)[9]中提供的特征組合優(yōu)化方法，得到最好的特征組合。其組合最好結(jié)果與卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果比較如表4。

圖7. 單類特征的分類結(jié)果

表4. 最佳組合與卷積神經(jīng)網(wǎng)絡(luò)結(jié)果的比較

以上實(shí)驗(yàn)結(jié)果分析對(duì)比，進(jìn)一步表明卷積神經(jīng)網(wǎng)絡(luò)能夠更好地提取斑塊特征并完成對(duì)斑塊的識(shí)別。不僅在識(shí)別率上得到了較好的結(jié)果，更是避免了復(fù)雜的人工特征提取過程。

5.結(jié)論

卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一種，由于其具有自主學(xué)習(xí)特征的能力，無論是在科研還是實(shí)際應(yīng)用中都起到了極其重要的作用。本研究針對(duì)頸動(dòng)脈超聲圖像，通過大量的系統(tǒng)實(shí)驗(yàn)，詳細(xì)地介紹了網(wǎng)絡(luò)參數(shù)的設(shè)計(jì)與優(yōu)化，為卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建提供了參考。另外，本研究也表明，卷積神經(jīng)網(wǎng)絡(luò)對(duì)頸動(dòng)脈斑塊的識(shí)別有較好的效果。

[1]. Zhang C, Zhang Z. Improving multiview face detection with multi-task deep convolutional neural networks[C].Applications of Computer Vision (WACV),2014 IEEE Winter Conference on. IEEE, 2014:1036-1041

[2]. Dahl G E, Yu D, Deng L, et al. Context-DependentPre-trained Deep Neural Networks for Large-Vocabulary Speech Recognition. IEEE Trans on Au-dio. Speech and Language Processing, 2012, 20(1):30-42

[3]. Bengio Y. Learning Deep Architectures for AI. Foun-dations and Trends in Machine Learning, 2009, 2(1):1 -127

[4]. L ngkvist M, Karlsson L, Loutfi A. A review of unsu-pervised feature learning and deep learning for time-series modeling[J]. Pattern Recognition Letters, 2014,42: 11-24.

[5]. Dahl G E, Sainath T N, Hinton G E. Improving deep neural networks for LVCSR using rectified linear units and dropout[C]. Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013: 8609-8613.

[6]. 芮挺,費(fèi)建超,周遊等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用,2015,.DOI:10.3778/ j.issn.1002-8331.1502-0122.

[7]. 王鈺潔,吳慧慧,楊鑫, 等. 基于灰度統(tǒng)計(jì)特征的三維超聲紋理特征提取. 2012年湖北省生物醫(yī)學(xué)工程學(xué)會(huì)生物醫(yī)學(xué)儀器專業(yè)委員會(huì)學(xué)術(shù)年會(huì), 襄陽, 湖北,2012.

[8]. 楊鑫. 三維超聲圖像中頸動(dòng)脈粥樣硬化的表型量化與分析[D]. 華中科技大學(xué) 2013

[9]. Luo, Yongkang, Ding, Mingyue. Atorvastatin Effect Evaluation based on Feature Combination of Three-Dimension Ultrasound Images[C]. SPIE Proceedings Vol. 9785:Georgia D. Tourassi; Samuel G. Armato, 2016.

Recognition of Carotid Plaque in Ultrasonic Images Based on Deep Convolutional Neural Network

SUN Xia WU Wei WU Peng DING Ming-yue Department of Bio-medical Engineering, School of Life Science and Technology, Key Laboratory of Molecular Biophysics of Education Ministry of China, Huazhong University of Science and Technology (Wuhan 430074)

analyze the influence to the detection accuracy of the number of layer, the size of convolution kernel and the dimension of features, which provides a reference to optimize the related parameter, to make a deep convolutional neural network referring to ultrasonic images of carotid plaque. The experiment results show the method is a workable way to recognize carotid plaque and perform a higher accuracy compared with the SVM method.

convolutional neural network, carotid plaque, feature recognition

1006-6586(2016)05-0004-05

R445.1

A

2016-02-04