周玉金 王曉東 張力戈 朱鍇 姚宇

摘 要：針對(duì)傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（CNN）在左心室超聲圖像中定位準(zhǔn)確度較低的問(wèn)題，提出一種融合更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster-RCNN）模型提取區(qū)域的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)超聲圖像中左心室心內(nèi)膜和心外膜輪廓特征點(diǎn)的定位。首先，采用兩級(jí)級(jí)聯(lián)的方式改進(jìn)傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，第一級(jí)網(wǎng)絡(luò)利用一個(gè)改進(jìn)的卷積網(wǎng)絡(luò)粗略定位左心室心內(nèi)膜和心外膜聯(lián)合的特征點(diǎn)，第二級(jí)網(wǎng)絡(luò)使用四個(gè)改進(jìn)的卷積網(wǎng)絡(luò)分別對(duì)心內(nèi)膜特征點(diǎn)和心外膜特征點(diǎn)進(jìn)行位置微調(diào)，之后定位輸出左心室心內(nèi)膜和心外膜聯(lián)合的輪廓特征點(diǎn)位置;然后，將改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)與目標(biāo)區(qū)域提取融合，即利用Faster-RCNN模型提取包含左心室的目標(biāo)區(qū)域并將目標(biāo)區(qū)域送入改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò);最后，由粗到細(xì)對(duì)左心室輪廓特征點(diǎn)進(jìn)行定位。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)相比，所提方法在左心室超聲圖像上的定位效果更好，更逼近真實(shí)值，在均方根誤差的評(píng)價(jià)標(biāo)準(zhǔn)下，特征點(diǎn)定位準(zhǔn)確度提升了32.6個(gè)百分點(diǎn)。

關(guān)鍵詞：超聲心動(dòng)圖;左心室;特征點(diǎn)定位;卷積神經(jīng)網(wǎng)絡(luò);級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：?TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-9081（2019）04-1201-07

Abstract： In order to solve the problem that the traditional cascaded Convolutional Neural Network （CNN） has low accuracy of feature point localization in left ventricular ultrasound image， an improved cascaded CNN with region extracted by Faster Region-based CNN （Faster-RCNN） model was proposed to locate the left ventricular endocardial and epicardial feature points in ultrasound images. Firstly， the traditional cascaded CNN was improved by a structure of two-stage cascaded. In the first stage， an improved convolutional network was used to roughly locate the endocardial and epicardial joint feature points. In the second stage， four improved convolutional networks were used to fine-tune the endocardial feature points and the epicardial feature points separately. After that， the positions of joint contour feature points were output. Secondly， the improved cascaded CNN was merged with target region extraction， which means that the target region containing the left ventricle was extracted by the Faster-RCNN model and then was sent into the improved cascaded CNN. Finally， the left ventricular contour feature points were located from coarse to fine. Experimental results show that compared with the traditional cascaded CNN， the proposed method is much more accurate in left ventricle feature point localization， and its prediction points are closer to the actual values. Under the root mean square error evaluation standard， the accuracy of feature point localization is improved by 32.6 percentage points.

Key words： echocardiography; left ventricle; feature points location; Convolutional Neural Network （CNN）; cascaded convolutional neural network

0?引言

超聲心動(dòng)圖因其便攜、成本低廉成為醫(yī)學(xué)中心臟腔室測(cè)量可視化最常用的一種醫(yī)療成像方式。超聲專家們往往關(guān)心超聲圖像上關(guān)鍵部位的生理參數(shù)信息，通常對(duì)左心室超聲成像進(jìn)行分析并對(duì)收縮末期和舒張末期階段心室輪廓邊界進(jìn)行檢測(cè)，用它來(lái)評(píng)價(jià)心功能的好壞進(jìn)而預(yù)判診斷心臟疾病[1]。實(shí)現(xiàn)左心室輪廓的準(zhǔn)確定位是對(duì)左心室功能評(píng)價(jià)的首要前提，對(duì)計(jì)算機(jī)輔助診療有著重要的價(jià)值。

采用特征點(diǎn)來(lái)實(shí)現(xiàn)對(duì)醫(yī)學(xué)圖像上一些生理結(jié)構(gòu)關(guān)鍵部位的定位，一直以來(lái)是醫(yī)學(xué)研究者研究的熱點(diǎn)問(wèn)題。如文獻(xiàn)[2]采用角點(diǎn)檢測(cè)的方法在骨齡圖像上定位手部指骨特征點(diǎn);文獻(xiàn)[3]采用監(jiān)督學(xué)習(xí)方法從不同角度在心臟圖像上檢測(cè)左心室特征點(diǎn)。目前，特征點(diǎn)定位方法大致可以分為兩種：一種是基于統(tǒng)計(jì)建模的方法，根據(jù)先驗(yàn)特征點(diǎn)分布模型，通過(guò)不斷迭代收斂來(lái)匹配定位特征點(diǎn)。如：文獻(xiàn)[4]利用主動(dòng)形態(tài)模型（Active Shape Model， ASM）[5]的點(diǎn)分布模型在超聲圖像中定位頸總動(dòng)脈特征點(diǎn)進(jìn)而對(duì)其分割，文獻(xiàn)[6]采用主動(dòng)表觀模型（Active Appearance Model， AAM）[7]在胎兒超聲心動(dòng)圖上建立多紋理點(diǎn)分布模型，根據(jù)左心室的特征點(diǎn)輪廓進(jìn)行分割。第二種是基于級(jí)聯(lián)回歸[8]的方法，通過(guò)一系列回歸器對(duì)一個(gè)指定的初始值逐步細(xì)化，通過(guò)回歸器的級(jí)聯(lián)來(lái)自動(dòng)學(xué)習(xí)特征點(diǎn)向量。如：文獻(xiàn)[9]直接利用形狀回歸檢測(cè)左心室輪廓，文獻(xiàn)[10]采用回歸的方法分割右心室。這些方法雖然得到了廣泛應(yīng)用，但有其局限性：一是模型學(xué)習(xí)過(guò)多依賴于人工干預(yù)，初始值位置的設(shè)定往往決定著模型預(yù)測(cè)的好壞;二是需提取人工設(shè)計(jì)的特征，對(duì)于低水平圖像信號(hào)中的突變情況，人為的特征并不能很好地表達(dá)圖像特征。

進(jìn)入了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）[11]時(shí)代后，卷積網(wǎng)絡(luò)利用其特有的局部感知和權(quán)值共享機(jī)制來(lái)自動(dòng)提取更深層次特征，逐漸代替人工提取特征，越來(lái)越多的研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于醫(yī)學(xué)圖像處理上，如：文獻(xiàn)[12]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像進(jìn)行分類;文獻(xiàn)[13]在3D醫(yī)學(xué)圖像上采用卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)股骨特征點(diǎn)的定位。本文進(jìn)行了左心室超聲圖像輪廓特征點(diǎn)定位的研究工作，針對(duì)超聲圖像存在斑點(diǎn)噪聲、偽影以及圖像對(duì)比度較低等影響超聲圖像上左心室輪廓界限較難確定的一系列難題，汲取卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在計(jì)算機(jī)視覺(jué)領(lǐng)域解決問(wèn)題的經(jīng)驗(yàn)，提出一種融合更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Region-based CNN， Faster-RCNN）[14]模型提取區(qū)域的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)對(duì)經(jīng)食管超聲圖像中左心室輪廓特征點(diǎn)定位的方法。該方法首先采用Faster-RCNN網(wǎng)絡(luò)模型提取包含左心室的目標(biāo)區(qū)域，然后將包含左心室的目標(biāo)區(qū)域送入本文設(shè)計(jì)的兩級(jí)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)第一級(jí)網(wǎng)絡(luò)粗略預(yù)測(cè)特征點(diǎn)位置和在第二級(jí)網(wǎng)絡(luò)進(jìn)行位置微調(diào)的基礎(chǔ)上，最終準(zhǔn)確定位出左心室心內(nèi)膜與心外膜聯(lián)合的輪廓特征點(diǎn)，達(dá)到了較為理想的定位效果。

1?傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)特征點(diǎn)定位方法

Sun等[15]首次提出一種三級(jí)級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人臉特征點(diǎn)的定位。該算法由三級(jí)級(jí)聯(lián)網(wǎng)絡(luò)組成：第一級(jí)網(wǎng)絡(luò)粗略估計(jì)人臉特征點(diǎn)位置，第二級(jí)和第三級(jí)網(wǎng)絡(luò)在以每個(gè)特征點(diǎn)為中心截取的小區(qū)域中對(duì)上一級(jí)網(wǎng)絡(luò)估計(jì)的位置進(jìn)一步地精確調(diào)整，由粗到細(xì)地實(shí)現(xiàn)人臉特征點(diǎn)的定位。預(yù)測(cè)的特征點(diǎn)位置表達(dá)式為：

傳統(tǒng)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)通過(guò)多個(gè)卷積神經(jīng)網(wǎng)絡(luò)以級(jí)聯(lián)的方式實(shí)現(xiàn)特征點(diǎn)定位，每個(gè)卷積神經(jīng)網(wǎng)絡(luò)特征點(diǎn)定位框架如圖1所示，g為激活函數(shù)的增益系數(shù);b為偏置，通過(guò)tanh激活函數(shù)對(duì)池化后的特征圖進(jìn)行非線性輸出。

2?改進(jìn)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)特征點(diǎn)定位方法

2.1?級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)框架最初應(yīng)用于人臉特征點(diǎn)定位并能準(zhǔn)確定位出人臉的眉毛、眼睛、鼻子以及嘴等特征點(diǎn)。由于超聲圖像中左心室輪廓邊界較為模糊，相對(duì)于人臉特征點(diǎn)，左心室輪廓特征點(diǎn)較難確定，直接采用傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)沒(méi)有充分學(xué)習(xí)到左心室輪廓的特征，導(dǎo)致定位效果較差。因此，本文提出了改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，級(jí)聯(lián)方式上與傳統(tǒng)級(jí)聯(lián)一致，采用兩級(jí)級(jí)聯(lián)方式：第一級(jí)網(wǎng)絡(luò)粗略預(yù)測(cè)特征點(diǎn)位置，第二級(jí)網(wǎng)絡(luò)分別選取包含左心室內(nèi)膜特征點(diǎn)的小塊區(qū)域和包含左心室外膜特征點(diǎn)的小塊區(qū)域利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)第一級(jí)網(wǎng)絡(luò)預(yù)測(cè)的特征點(diǎn)位置進(jìn)行細(xì)微調(diào)整，兩級(jí)網(wǎng)絡(luò)由粗到細(xì)地定位左心室輪廓特征點(diǎn)。

網(wǎng)絡(luò)結(jié)構(gòu)方面所采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)采用的網(wǎng)絡(luò)結(jié)構(gòu)不同，其網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)左心室超聲圖像輪廓特征點(diǎn)定位任務(wù)，依照深度卷積神經(jīng)網(wǎng)絡(luò)（AlexNet）[16]的網(wǎng)絡(luò)結(jié)構(gòu)而重新設(shè)計(jì)，并使用了修正線性單元（Rectified Linear Units， ReLU）作為激活函數(shù)。ReLU激活函數(shù)相對(duì)于tanh激活函數(shù)，梯度下降更快[17]，其函數(shù)表達(dá)式如下：

本文提出的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)中第一級(jí)網(wǎng)絡(luò)所采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2（a）所示，輸入為256×256的圖像，包含了5層卷積層和3層全連接層。其前2個(gè)卷積層中卷積核設(shè)為7×7和5×5，其余3層卷積核尺寸都為3×3，卷積層后緊跟池化層，其核尺寸都設(shè)為3×3。全連接層將特征圖映射為一維向量，最后1個(gè)全連接層輸出左心室輪廓34個(gè)特征點(diǎn)（x， y）坐標(biāo)組成的68維向量。第二級(jí)網(wǎng)絡(luò)采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2（b）所示，相對(duì)于第一級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，第二級(jí)網(wǎng)絡(luò)輸入?yún)^(qū)域相對(duì)較小，為96×96的目標(biāo)圖像區(qū)域，采用4個(gè)卷積層和2個(gè)全連接層。第1個(gè)卷積層采用7×7的卷積核，其余3層卷積層以及池化層的核尺寸都設(shè)為3×3。連接2層全連接層，最后1個(gè)全連接層輸出34維向量。第二級(jí)網(wǎng)絡(luò)共采用4個(gè)如圖2（b）所示的卷積神經(jīng)網(wǎng)絡(luò)，針對(duì)包含心內(nèi)膜特征點(diǎn)和包含心外膜特征點(diǎn)的小塊區(qū)域，每個(gè)區(qū)域分別采用2個(gè)卷積神經(jīng)網(wǎng)絡(luò)取其輸出向量的平均值作為每個(gè)區(qū)域特征點(diǎn)在第一級(jí)網(wǎng)絡(luò)預(yù)測(cè)位置的微調(diào)，由粗到細(xì)地預(yù)測(cè)出左心室輪廓特征點(diǎn)位置，其預(yù)測(cè)特征點(diǎn)的預(yù)測(cè)向量與傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)特征點(diǎn)向量表達(dá)一致，如式（5）所示。

2.2?融合Faster-RCNN區(qū)域提取的改進(jìn)

對(duì)于左心室超聲圖像輪廓特征點(diǎn)的定位，在超聲圖像中本研究所感興趣的區(qū)域是包含左心室的區(qū)域。感興趣區(qū)域包含著重要的信息，背景區(qū)域的信息較為次要，有時(shí)候不必要的背景區(qū)域難免會(huì)影響定位精度。因此，如何提取感興趣區(qū)域成為特征點(diǎn)定位首先要解決的問(wèn)題。

2.2.1?Faster-RCNN模型

Faster-RCNN模型因其較高的檢測(cè)精度，在目標(biāo)檢測(cè)領(lǐng)域應(yīng)用廣泛，將其應(yīng)用在包含左心室的目標(biāo)區(qū)域檢測(cè)效果比較理想。Faster-RCNN模型由Girshick等[18]在基于區(qū)域驅(qū)動(dòng)的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-based CNN， RCNN）、空間金字塔池化卷積網(wǎng)絡(luò)（Spatial Pyramid Pooling convolutional neural network， SPP-net）[19] 和快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Fast region-based CNN， Fast RCNN）[20]的基礎(chǔ)上提出，其整個(gè)模型是一個(gè)統(tǒng)一的目標(biāo)檢測(cè)網(wǎng)絡(luò)，如圖3所示，包含卷積層、區(qū)域生成網(wǎng)絡(luò)、感興趣池化和分類四部分。

1）卷積層利用一組基礎(chǔ)的卷積層、ReLU激活函數(shù)和池化層提取圖像的特征圖，與第2）部分的區(qū)域生成網(wǎng)絡(luò)和全連接層共享。

2）區(qū)域生成網(wǎng)絡(luò)是一個(gè)全卷積網(wǎng)絡(luò)（Full Convolutional Network， FCN）[21]，用于生成候選區(qū)域，它以任意大小的圖像作為輸入，輸出一組帶有目標(biāo)得分的目標(biāo)候選區(qū)，可以同時(shí)在每個(gè)位置預(yù)測(cè)目標(biāo)邊界和目標(biāo)分?jǐn)?shù)并輸入到該層兩個(gè)子全連接層，其中分類層通過(guò)Softmax判斷候選區(qū)域?yàn)榍熬澳繕?biāo)區(qū)域或者背景區(qū)域，回歸層修正候選區(qū)域獲得更精確的候選區(qū)域。

3）感興趣池化對(duì)輸入的特征圖和候選區(qū)域信息進(jìn)行綜合后提取候選特征圖，映射至全連接層判定目標(biāo)類別。

4）分類層利用候選特征圖區(qū)別候選區(qū)域?yàn)榍熬澳繕?biāo)區(qū)域還是背景區(qū)域，同時(shí)再次利用回歸層來(lái)獲得目標(biāo)區(qū)域精確的邊界框坐標(biāo)位置。

2.2.2?融合Faster-RCNN的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)

為了提高左心室超聲圖像上輪廓特征點(diǎn)定位精度，排除超聲圖像中影響定位精度的背景信息進(jìn)一步提升定位準(zhǔn)確度，本文在改進(jìn)傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，引入Faster-

RCNN模型，提出了融合Faster-RCNN模型提取區(qū)域的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)。該方法首先利用Faster-RCNN模型提取包含左心室的目標(biāo)區(qū)域，然后針對(duì)目標(biāo)區(qū)域的圖像塊采用改進(jìn)的兩級(jí)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行左心室輪廓特征點(diǎn)定位，第一級(jí)網(wǎng)絡(luò)粗略預(yù)測(cè)左心室心內(nèi)膜和心外膜聯(lián)合的輪廓特征點(diǎn)位置，第二級(jí)網(wǎng)絡(luò)分別針對(duì)心內(nèi)膜特征點(diǎn)和心外膜特征點(diǎn)進(jìn)行位置微調(diào)，兩級(jí)網(wǎng)絡(luò)由粗到細(xì)地實(shí)現(xiàn)左心室輪廓的特征點(diǎn)定位。

本文提出的融合Faster-RCNN模型提取區(qū)域的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于左心室超聲圖像輪廓特征點(diǎn)定位的整個(gè)流程如圖4所示。第一步，采用Faster-RCNN模型通過(guò)一組基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)提取特征，由區(qū)域生成網(wǎng)絡(luò)生成候選區(qū)域，通過(guò)對(duì)候選區(qū)域的邊界框精確的回歸和分類，以此獲取左心室目標(biāo)區(qū)域，提取包含左心室的目標(biāo)區(qū)域，最終輸出左心室目標(biāo)區(qū)域邊界框的坐標(biāo)向量（x0， y0，x1， y1），分別為邊界框的左上角坐標(biāo)（x0， y0）和右下角坐標(biāo)（x1， y1）。第二步，根據(jù)Faster-RCNN輸出的邊界框坐標(biāo)值，在相應(yīng)的經(jīng)食管超聲圖像中截取出目標(biāo)區(qū)域圖像塊，將截取的左心室目標(biāo)區(qū)域送入本文提出的兩級(jí)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，第一級(jí)網(wǎng)絡(luò)在截取的目標(biāo)區(qū)域內(nèi)進(jìn)行左心室心內(nèi)膜與心外膜輪廓特征點(diǎn)的粗略定位，第二級(jí)網(wǎng)絡(luò)分別針對(duì)左心室心內(nèi)膜和心外膜小塊區(qū)域內(nèi)的特征點(diǎn)進(jìn)行位置微調(diào)，最終精確定位出左心室心內(nèi)膜與心外膜聯(lián)合的輪廓特征點(diǎn)。

3?實(shí)驗(yàn)與結(jié)果分析

3.1?實(shí)驗(yàn)數(shù)據(jù)

本文的實(shí)驗(yàn)數(shù)據(jù)來(lái)自四川大學(xué)華西醫(yī)院麻醉科，由華西醫(yī)院專家標(biāo)注的不同心動(dòng)周期內(nèi)獲取的經(jīng)食管超聲圖像，共有訓(xùn)練集圖像400張，測(cè)試集圖像186張。每幅圖像建立了左心室矩形邊界框標(biāo)注以及左心室心內(nèi)膜與心外膜聯(lián)合的輪廓特征點(diǎn)標(biāo)注，標(biāo)注的樣例如圖5所示。其中左心室的特征點(diǎn)標(biāo)注同文獻(xiàn)[22]一致，文獻(xiàn)中Centripetal Catmull-Rom曲線能夠在減少特征點(diǎn)數(shù)量的同時(shí)得到形狀一致的特征點(diǎn)，選用了34個(gè)特征點(diǎn)，內(nèi)層17個(gè)點(diǎn)表示心內(nèi)膜，外層17個(gè)點(diǎn)表示心外膜， 心外膜和心內(nèi)膜特征點(diǎn)聯(lián)合勾勒出左心室輪廓。

針對(duì)本文實(shí)驗(yàn)較少的訓(xùn)練數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)以擴(kuò)充訓(xùn)練數(shù)據(jù)集。先對(duì)訓(xùn)練集中原始圖像進(jìn)行水平翻轉(zhuǎn)，其翻轉(zhuǎn)表達(dá)式如式（7）所示，原始圖像中像素（x0， y0）變換為（x， y），w為原始圖像的寬度。經(jīng)過(guò)水平翻轉(zhuǎn)變換后，將訓(xùn)練數(shù)據(jù)集擴(kuò)充至800張。

然后再對(duì)訓(xùn)練集中所有圖像進(jìn)行順時(shí)針旋轉(zhuǎn)β=10°，其旋轉(zhuǎn)表達(dá)式如式（8）所示，將原始圖像中像素（x0， y0）變換為（x， y）。旋轉(zhuǎn)變換后訓(xùn)練數(shù)據(jù)集擴(kuò)充至1600張進(jìn)行訓(xùn)練。

本文提出的第一級(jí)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)有兩種：一是直接使用整張圖像數(shù)據(jù)以及標(biāo)注特征點(diǎn)的訓(xùn)練進(jìn)行第一級(jí)心內(nèi)膜與心外膜聯(lián)合的34個(gè)特征點(diǎn)粗略定位。二是利用Faster-RCNN模型提取的左心室目標(biāo)區(qū)域圖像數(shù)據(jù)訓(xùn)練，此步驟首先要利用左心室邊界框標(biāo)注的訓(xùn)練集訓(xùn)練Faster-RCNN網(wǎng)絡(luò)，獲取邊界框坐標(biāo)后在整張圖像上截取左心室目標(biāo)區(qū)域，同時(shí)對(duì)標(biāo)注點(diǎn)坐標(biāo)進(jìn)行相應(yīng)的轉(zhuǎn)換，針對(duì)含有左心室的目標(biāo)區(qū)域圖像在第一級(jí)網(wǎng)絡(luò)中進(jìn)行心內(nèi)膜與心外膜聯(lián)合的34個(gè)特征點(diǎn)粗略定位。

第二級(jí)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)心內(nèi)膜和心外膜特征點(diǎn)進(jìn)行微調(diào)定位。共4個(gè)卷積神經(jīng)網(wǎng)絡(luò)，分別用于心內(nèi)膜圖像區(qū)域和心外膜圖像區(qū)域進(jìn)行特征點(diǎn)微調(diào)。對(duì)于心內(nèi)膜區(qū)域訓(xùn)練數(shù)據(jù)，以心內(nèi)膜17個(gè)關(guān)鍵點(diǎn)的中心點(diǎn)作為中心，截取出原始圖像寬度的4/10、5/10兩種小區(qū)域圖像數(shù)據(jù)，用2個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)。心外膜17個(gè)關(guān)鍵點(diǎn)同理用2個(gè)卷積神經(jīng)網(wǎng)絡(luò)在截取出的原始圖像寬度的4/10、5/10圖像區(qū)域上進(jìn)行微調(diào)，最終由粗到細(xì)定位出心內(nèi)膜和心外膜聯(lián)合的輪廓特征點(diǎn)。

3.2?實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)基于Caffe深度學(xué)習(xí)框架，利用Python 2.7編寫完成，系統(tǒng)環(huán)境為Ubuntu14.04，顯卡為Titan X。

傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)與本文改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練中網(wǎng)絡(luò)參數(shù)變化如表1所示，傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)第一級(jí)網(wǎng)絡(luò)輸入的圖像為256×256的超聲圖像，網(wǎng)絡(luò)有4個(gè)卷積層、2個(gè)全連接層以及Euclidean Loss損失層，網(wǎng)絡(luò)輸出68維坐標(biāo)向量，其第二級(jí)網(wǎng)絡(luò)共有3個(gè)卷積層、2個(gè)全連接層和1個(gè)Euclidean Loss損失層，輸入規(guī)格為96×96的包含心內(nèi)膜或心外膜特征點(diǎn)的目標(biāo)圖像區(qū)域，最終輸出心內(nèi)膜或者心外膜34維的微調(diào)坐標(biāo)向量。本文改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，第一級(jí)網(wǎng)絡(luò)輸入為256×256的超聲圖像，經(jīng)過(guò)5個(gè)卷積層，3個(gè)全連接層和Euclidean Loss損失層，最后輸出68維左心室心內(nèi)膜與心外膜聯(lián)合的坐標(biāo)向量。其第二級(jí)網(wǎng)絡(luò)輸入包含心內(nèi)膜特征點(diǎn)的96×96規(guī)格的圖像區(qū)域，經(jīng)由4個(gè)卷積層、2個(gè)全連接層和Euclidean Loss損失層后，輸出心內(nèi)膜微調(diào)位置的34維向量，輸入包含心外膜特征點(diǎn)的圖像區(qū)域，輸出心外膜特征點(diǎn)微調(diào)的34維向量。

本文改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中學(xué)習(xí)率設(shè)為1‰，采用隨機(jī)梯度下降的優(yōu)化方法，模型共訓(xùn)練迭代10萬(wàn)次，網(wǎng)絡(luò)訓(xùn)練時(shí)損失和迭代輪次的關(guān)系如圖6所示，橫坐標(biāo)為訓(xùn)練迭代的前400輪次，縱坐標(biāo)為歐氏距離損失。從圖6中可看到訓(xùn)練損失和驗(yàn)證損失在迭代過(guò)程中迅速下降，且最終損失接近于零。說(shuō)明本文所改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)在本研究數(shù)據(jù)集上的訓(xùn)練是有效的，并且能夠快速收斂。

基于訓(xùn)練好的網(wǎng)絡(luò)模型，進(jìn)行左心室超聲圖像的輪廓特征點(diǎn)預(yù)測(cè)，傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)與本文方法的預(yù)測(cè)效果如圖7所示，圖7（a）中A、B、C和D是從測(cè)試數(shù)據(jù)集中挑選的4張經(jīng)食管超聲實(shí)例圖像，其中A、D為左心室收縮期的超聲切面實(shí)例圖，B、C為左心室舒張期的超聲切面實(shí)例圖;圖7（b）展示的是這4張經(jīng)食管超聲實(shí)例圖的左心室輪廓手工標(biāo)記特

征點(diǎn);圖7（c）～（f）是針對(duì)4張經(jīng)食管超聲實(shí)例圖采用不同方法所預(yù)測(cè)特征點(diǎn)的效果展示。其中圖7（c）展示的是傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的效果;圖7（d）展示的是本文所設(shè)計(jì)的單級(jí)卷積神經(jīng)網(wǎng)絡(luò)的粗略預(yù)測(cè)效果;圖7（e）為本文改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)在實(shí)例超聲圖像上的預(yù)測(cè)效果;圖7（f）為本文提出的融合Faster-RCNN模型提取區(qū)域的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的效果?？煽闯鰣D7（c）中傳統(tǒng)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)在實(shí)例圖A、B、C和D中預(yù)測(cè)的左心室輪廓特征點(diǎn)已經(jīng)偏離左心室輪廓的真實(shí)標(biāo)記點(diǎn)。圖7（d）中本文所設(shè)計(jì)的單級(jí)卷積神經(jīng)網(wǎng)絡(luò)粗略的預(yù)測(cè)出了左心室輪廓的特征點(diǎn)，B、C實(shí)例圖中預(yù)測(cè)的特征點(diǎn)較為貼合真實(shí)標(biāo)記點(diǎn)， A、D實(shí)例圖中左心室心尖部位的輪廓特征點(diǎn)位置預(yù)測(cè)不太準(zhǔn)確。從子圖7（e）中可看到本文改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)明顯修正了A、D實(shí)例圖中本文所設(shè)計(jì)的單級(jí)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)不準(zhǔn)確的特征點(diǎn)，較為接近真實(shí)的輪廓標(biāo)記點(diǎn)，但可看到A、B、C、D實(shí)例圖中左心室輪廓心外膜上個(gè)別的預(yù)測(cè)點(diǎn)與真實(shí)標(biāo)記點(diǎn)的位置仍有所偏離，圖7（f）可看到本文提出的融合Faster-RCNN模型提取區(qū)域的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)點(diǎn)又進(jìn)一步地修正了本文改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)位置，更逼近真實(shí)標(biāo)記點(diǎn)的位置，表現(xiàn)效果最佳。

將本文方法與傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行定量分析，其累計(jì)誤差分布如圖8所示?？煽闯霰疚奶岢龅娜诤螰aster-RCNN模型提取區(qū)域的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)效果最優(yōu)，本文改進(jìn)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)在本文單級(jí)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上表現(xiàn)有所提升，并且本文方法明顯優(yōu)于傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)。

本文采用式（5）的均方根誤差評(píng)價(jià)標(biāo)準(zhǔn)對(duì)測(cè)試樣本進(jìn)一步定量評(píng)估，本文實(shí)驗(yàn)中定義評(píng)價(jià)標(biāo)準(zhǔn)下誤差如果超過(guò)5%則認(rèn)為是預(yù)測(cè)錯(cuò)誤。定義預(yù)測(cè)樣本準(zhǔn)確度如式（9）所示：

其中：T為預(yù)測(cè)正確的樣本數(shù)目;N為測(cè)試樣本總數(shù)。

在評(píng)價(jià)標(biāo)準(zhǔn)下，對(duì)比結(jié)果如表2所示，在均方根誤差測(cè)量下，本文方法比傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)獲得的誤差更小。無(wú)論是針對(duì)心內(nèi)膜特征點(diǎn)、心外膜特征點(diǎn)還是心外膜與心內(nèi)膜聯(lián)合的輪廓特征點(diǎn)，本文方法的定位準(zhǔn)確度都達(dá)到了80%以上。本文改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的定位準(zhǔn)確度比本文單級(jí)卷積神經(jīng)網(wǎng)絡(luò)的定位準(zhǔn)確度高。融合Faster-RCNN模型提取區(qū)域的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)在本文改進(jìn)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上定位準(zhǔn)確度達(dá)到了85.0%，相對(duì)于傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，定位準(zhǔn)確度提升了32.6個(gè)百分點(diǎn)。

4?結(jié)語(yǔ)

本文提出了一種融合Faster-RCNN區(qū)域提取的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)左心室超聲圖像心內(nèi)膜和心外膜輪廓特征點(diǎn)的定位方法。首先本文針對(duì)傳統(tǒng)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)直接照搬應(yīng)用于經(jīng)食管超聲圖像中左心室輪廓特征點(diǎn)定位不理想的情況，重新設(shè)計(jì)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提升定位精度。其次針對(duì)背景區(qū)域影響定位精度的情況，進(jìn)一步提出融合Faster-RCNN模型先提取包含左心室的目標(biāo)區(qū)域，再進(jìn)行目標(biāo)區(qū)域內(nèi)兩級(jí)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的左心室輪廓特征點(diǎn)定位。實(shí)驗(yàn)結(jié)果表明，本文方法定位準(zhǔn)確度更高，其預(yù)測(cè)的左心室輪廓特征點(diǎn)更逼近真實(shí)標(biāo)記的特征點(diǎn)。在下一步的研究中，計(jì)劃將級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的特征點(diǎn)定位方法應(yīng)用于3D超聲心動(dòng)圖中實(shí)現(xiàn)左心室輪廓的跟蹤，實(shí)時(shí)捕捉左心室的收縮舒張變化情況，進(jìn)一步實(shí)現(xiàn)更智能化的計(jì)算機(jī)輔助診療。

參考文獻(xiàn)（References）

[1] NOBLE J A， BOUKERROUI D. Ultrasound image segmentation： a survey[J]. IEEE Transactions on Medical Imaging， 2006， 25（8）： 987-1010.

[2] 冉隆科. 一種基于角點(diǎn)檢測(cè)方法的骨齡圖像關(guān)鍵點(diǎn)定位[J]. 電子設(shè)計(jì)工程， 2011， 19（14）： 175-177. （RAN L K. A corner detection method based on the image of the skeletal age point positioning [J]. Electronic Design Engineering， 2011， 19（14）： 175-177.）

[3] MAHAPATRA D. Landmark detection in cardiac MRI using learned local image statistics[C]// STACOM 2012： Proceedings of the 2012 Statistical Atlases and Computational Models of the Heart — Imaging and Modelling Challenges， LNCS 7746. Berlin： Springer， 2012： 115-124.

[4] YANG X， JIN J， XU M， et al. Ultrasound common carotid artery segmentation based on active shape model[J]. Computational and Mathematical Methods in Medicine， 2013， 2013（2）： 345968.

[5] COOTES T F， TAYLOR C J， COOPER D H， et al. Active shape models-their training and application[J]. Computer Vision & Image Understanding， 1995， 61（1）： 38-59.

[18] GIRSHICK R， DONAHUE J， DARRELL T， et al. Region-based convolutional networks for accurate object detection and segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（1）： 142-158.

[19] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]// ECCV 2014： Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014： 346-361.

[20] GIRSHICK R. Fast R-CNN[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 1440-1448.

[21] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2015： 3431-3440.

[22] 紀(jì)祥虎， 高思聰， 黃志標(biāo)， 等. 基于Centripetal CatmullRom曲線的經(jīng)食道超聲心動(dòng)圖左心室分割方法[J]. 四川大學(xué)學(xué)報(bào)（工程科學(xué)版）， 2016， 48（5）： 84-90. （JI X H， GAO S C， HUANG Z B， et al. Left ventricle segmentation in transesophageal echocardiography based on Centripetal CatmullRom curve[J]. Journal of Sichuan University （Engineering Science Edition）， 2016， 48（5）： 84-90.）