葉林飛 徐建省 孔德昱

摘? 要： 為了實(shí)現(xiàn)消化道圖像中出血病灶的自動(dòng)識(shí)別，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別系統(tǒng)。該識(shí)別系統(tǒng)使用python以及TensorFlow進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的搭建，并通過對比不同網(wǎng)絡(luò)結(jié)構(gòu)的識(shí)別準(zhǔn)確度，選擇合適的網(wǎng)絡(luò)參數(shù)和訓(xùn)練參數(shù)，最后利用網(wǎng)絡(luò)的識(shí)別結(jié)果，通過區(qū)域回歸方法標(biāo)記圖像中的病灶區(qū)域。最終的實(shí)驗(yàn)結(jié)果表明：該圖像識(shí)別系統(tǒng)的對于消化道出血圖像的識(shí)別準(zhǔn)確度可達(dá)92.30%，并能夠在圖像中標(biāo)記出血區(qū)域。

關(guān)鍵詞： 圖像;卷積神經(jīng)網(wǎng)絡(luò);出血;檢測

【Abstract】： In order to realize automatic recognition of hemorrhagic lesions in digestive tract images， an image recognition system based on convolution neural network is proposed in this paper. The recognition system used Python and TensorFlow to construct convolution neural network. By comparing the recognition accuracy of different network structures， the appropriate network parameters and training parameters were selected. Finally， the recognition results of the network were used to mark the lesion area in the image by regression method. The result shows that the recognition accuracy of the image recognition system for gastrointestinal bleeding image are measured as 92.30%， and the bleeding area can be marked in the image.

【Key words】： Images; Convolutional neural network; Bleeding; Detection

0? 引言

消化道出血是十分常見的一種消化道疾病，也是判別消化道是否存在病灶的主要依據(jù)之一。近年來發(fā)展迅速的膠囊內(nèi)窺鏡由于其具有非侵入性而受到患者喜愛，并且由于其能夠觀察小腸而成為消化道疾病檢查的主要方法之一[1]。目前，對于膠囊內(nèi)窺鏡圖像的出血檢測主要是通過醫(yī)生觀察全部的膠囊內(nèi)窺鏡產(chǎn)生的圖像。膠囊內(nèi)窺鏡依靠消化道蠕動(dòng)而前進(jìn)，在消化道內(nèi)工作時(shí)間大約為7小時(shí)，單次檢測所產(chǎn)生的圖片往往多達(dá)55000張[2]。在如此巨大數(shù)量下進(jìn)行出血檢測是十分耗時(shí)且枯燥的工作，因此，利用計(jì)算機(jī)技術(shù)進(jìn)行出血病灶的智能檢測是一個(gè)必然的趨勢。

現(xiàn)有的出血病灶識(shí)別方法主要通過前期的特征提取以及特定分類器的訓(xùn)練，利用分類器對于圖像的判別結(jié)果從而判別是否存在出血病灶。常使用的手工特征包括圖像的顏色特征[3-5]、結(jié)構(gòu)特征[6-7]等。在獲得手工特征后，需要使用分類器對圖像進(jìn)行判別，常使用的分類器包括多層感知機(jī)[5-7]，支持向量機(jī)[4-8]等。

Sonu等[2]使用紅綠藍(lán)（RGB）空間的顏色特征如均值、標(biāo)準(zhǔn)差、能量等，用于識(shí)別無線膠囊胃鏡出血圖像，并對比了使用不同特征的結(jié)合組合的識(shí)別效果。Li等[5]利用色調(diào)、色飽和度、亮度（HSI）空間的顏色特征和多層感知機(jī)進(jìn)行識(shí)別。Sindhu等[7]通過計(jì)算感興趣區(qū)域的區(qū)塊的SIFT特征和灰度共生矩陣等結(jié)構(gòu)特征，并利用多層感知機(jī)用于識(shí)別圖像。Yi等[8]使用最小生成樹對圖像進(jìn)行聚類，并使用支持向量機(jī)對圖像進(jìn)行識(shí)別分類。Pan等[9]在HSI顏色空間對圖像進(jìn)行分割后使用概率神經(jīng)網(wǎng)絡(luò)（PNN）進(jìn)行識(shí)別。

手工特征的選取需要根據(jù)出血病灶在圖像上的具體表現(xiàn)，專門針對某種表現(xiàn)而設(shè)計(jì)，因此對特定目標(biāo)十分有效。但是，手工特征需要與分類器結(jié)合才可發(fā)揮作用，并且手工特征僅僅針對單一表現(xiàn)，無法根據(jù)圖像信息進(jìn)行優(yōu)化。因此，需要尋找一種更加優(yōu)異的方法用于檢測出血病灶圖像。

隨著計(jì)算機(jī)技術(shù)和深度學(xué)習(xí)技術(shù)的發(fā)展，使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）用于識(shí)別膠囊內(nèi)窺鏡圖像中的病灶成為一種新的圖像識(shí)別方法。CNN不僅能夠用于圖像分類任務(wù)[10-14]，也可用于圖像中的病灶識(shí)別任務(wù)[14-15]。CNN相比于手工特征，其能夠?qū)ふ业绞止ぬ卣鳠o法描述的特征共性，從而能夠達(dá)到更優(yōu)的識(shí)別效果。

本文提出了一種使用卷積神經(jīng)網(wǎng)絡(luò)用于識(shí)別膠囊內(nèi)窺鏡圖像中的出血病灶的方法，首先將出血區(qū)域的圖像作為網(wǎng)絡(luò)的輸入，之后通過卷積層獲取到卷積特征，并利用降采樣減少特征數(shù)量，之后使用全連接層獲得能夠進(jìn)行分類的特征，最后將特征輸入到分類器中進(jìn)行分類，獲得分類結(jié)果。訓(xùn)練后的網(wǎng)絡(luò)可對圖像進(jìn)行識(shí)別分類，并可通過處理分類結(jié)果獲得出血病灶區(qū)域。

1? 卷積神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)最初由Lecun等人提出[16]，之后經(jīng)過多次改進(jìn)，最終形成了較為成熟的可完成現(xiàn)實(shí)任務(wù)的網(wǎng)絡(luò)[17-20]。本文提出了一個(gè)共9層的卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)包括3層卷積層（C1-C3）、3層最大值池化層（MP1-MP3）、以及3層全連接層（FC1-FC3）。網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖1所示。本文使用線性整流函數(shù)（Relu）作為3層卷積層和前兩層全連接層的激活函數(shù)。使用最大值池化函數(shù)（Maxpool）選取池化層輸入的最大值，從而減少需要計(jì)算的數(shù)據(jù)量。最后，使用柔性最大值（Softmax）函數(shù)作為第三層全連接層的激活函數(shù)，其具有兩個(gè)神經(jīng)元，能夠輸出是否為出血或正常的分類結(jié)果。

1.2? 訓(xùn)練過程

本文使用的CNN網(wǎng)絡(luò)采用Python與TensorFlow進(jìn)行編寫，選取的批尺寸（Batchsize）為30，學(xué)習(xí)率（Learning rate）為0.0001，迭代次數(shù)為5000。

2? 實(shí)驗(yàn)結(jié)果與分析

2.1? 消化道圖像的選取

本文使用的圖像集來自于金山公司提供的膠囊內(nèi)鏡臨床疾病圖譜[21]，共有1700張圖像，圖像大小為120×120×3，其中1200張用于訓(xùn)練，500張用于測試，訓(xùn)練和測試所使用的正常和出血圖像數(shù)量的比例為3∶1。如圖2所示，使用的正常圖像共1200張，出血圖像共500張圖像。出血圖像類型主要有兩種，點(diǎn)狀出血的以及片狀出血。點(diǎn)狀出血表現(xiàn)為單個(gè)或多個(gè)深紅色點(diǎn)狀出血區(qū)域，塊狀出血多為塊狀淺紅色或鮮紅色區(qū)域。

2.2? 網(wǎng)絡(luò)結(jié)構(gòu)的選擇

為了選取最適合圖像數(shù)據(jù)集的網(wǎng)絡(luò)結(jié)構(gòu)，本文對比了使用不同大小卷積核的網(wǎng)絡(luò)的識(shí)別準(zhǔn)確度，并對比了全連接層的神經(jīng)元個(gè)數(shù)對網(wǎng)絡(luò)識(shí)別準(zhǔn)確度的影響。在卷積層C1、C2和C3中，使用的卷積核個(gè)數(shù)分別為32、64和128。如表1所示，通過改變使用的卷積核大小，圖像的識(shí)別準(zhǔn)確度也有所變化。針對使用的圖像數(shù)據(jù)集而言，若使用5×5的卷積核，識(shí)別結(jié)果并不可以達(dá)到文獻(xiàn)中所描述的較高的準(zhǔn)確度00。若使用11×11的卷積核，識(shí)別準(zhǔn)確度明顯下降。結(jié)果顯示，在使用全部大小為3×3的卷積核時(shí)，網(wǎng)絡(luò)的識(shí)別率達(dá)到最高，大約為92.3%。

通過設(shè)置全連接層FC1和FC2的神經(jīng)元結(jié)點(diǎn)個(gè)數(shù)，對比不同情況下的識(shí)別準(zhǔn)確度，最終確定全連接層FC1和FC2所使用的神經(jīng)元結(jié)點(diǎn)數(shù)。如表2所示，由于第三層卷積層的卷積核個(gè)數(shù)為128，若第一層全連接層的神經(jīng)元結(jié)點(diǎn)數(shù)在其1/2和兩倍之間，識(shí)別準(zhǔn)確度變化不大，但是若超出一定范圍后，識(shí)別準(zhǔn)確度有較大的下降。第二層全連接層的神經(jīng)元結(jié)點(diǎn)個(gè)數(shù)在合適范圍內(nèi)能夠保證識(shí)別準(zhǔn)確度基本不變，但結(jié)點(diǎn)數(shù)不可超過256個(gè)。結(jié)果顯示，在使用全連接層神經(jīng)元個(gè)數(shù)分別為128和32的網(wǎng)絡(luò)的識(shí)別準(zhǔn)確度最高。

2.3? 訓(xùn)練參數(shù)的選擇

訓(xùn)練參數(shù)尤其是批尺寸和學(xué)習(xí)率的選擇不僅影響訓(xùn)練時(shí)的計(jì)算時(shí)間，而且對于最終的識(shí)別準(zhǔn)確度也有一定的影響。針對訓(xùn)練參數(shù)對準(zhǔn)確度的影響，本文通過對比在不同參數(shù)值情況下的識(shí)別準(zhǔn)確度，獲得最適合于數(shù)據(jù)集的參數(shù)。具體數(shù)值如表3所示。

如表3所示，學(xué)習(xí)率對于準(zhǔn)確度的影響較大，并且學(xué)習(xí)率對于準(zhǔn)確度的有效區(qū)間較小，往往需要對學(xué)習(xí)率進(jìn)行微調(diào)，以達(dá)到最佳系數(shù)，因此在確認(rèn)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)需要先確定學(xué)習(xí)率的大小。網(wǎng)絡(luò)使用的批尺寸大小與識(shí)別準(zhǔn)確度的關(guān)系并不密切，但不可小于20。通過比較使用不同的批尺寸和學(xué)習(xí)率的網(wǎng)絡(luò)識(shí)別準(zhǔn)確度，選擇批尺寸為30，學(xué)習(xí)率為0.0001時(shí)，能夠達(dá)到最佳的準(zhǔn)確度。

最后，本文對比了不同識(shí)別方法對于出血圖像的識(shí)別準(zhǔn)確度，如表4所示。所對比的方法包括Sonu等[2]使用的基于RGB空間的方法、Li等[5]使用的基于HSI和多層感知機(jī)的方法、Pan等[9]使用的基于HSI和PNN的方法以及本文使用的基于CNN的識(shí)別方法。使用的數(shù)據(jù)為同一數(shù)據(jù)集。結(jié)果顯示，對比與傳統(tǒng)識(shí)別方法，基于CNN的識(shí)別方法有其優(yōu)? 越性。

2.4? 區(qū)域回歸

在獲得最終的分類網(wǎng)絡(luò)后，由于網(wǎng)絡(luò)訓(xùn)練和測試時(shí)使用的圖像大小為120×120，而膠囊內(nèi)窺鏡獲得的圖像大小為576×576，因此，需要對大圖像進(jìn)行區(qū)域提取，獲得120×120的圖像，之后在輸入到網(wǎng)絡(luò)中進(jìn)行分類，獲得分類結(jié)果。通過對分類結(jié)果進(jìn)行處理，能夠獲得圖像的區(qū)域信息，判斷某個(gè)區(qū)域是否存在病灶，最后對該區(qū)域進(jìn)行標(biāo)記，標(biāo)記結(jié)果如圖3所示。

如圖3所示，通過病灶區(qū)域回歸步驟，能夠獲得病灶區(qū)域的大致位置，雖然可能由于準(zhǔn)確度不足而無法標(biāo)記到準(zhǔn)確位置，但對于較為明顯的病灶，標(biāo)記結(jié)果尚可。

3? 結(jié)論

本文使用卷積神經(jīng)網(wǎng)絡(luò)用于膠囊內(nèi)窺鏡圖像中的出血病灶識(shí)別，通過對比不同網(wǎng)絡(luò)結(jié)構(gòu)以及網(wǎng)絡(luò)參數(shù)和訓(xùn)練參數(shù)下的準(zhǔn)確度，獲得最佳的卷積核大小、數(shù)量、批尺寸大小以及學(xué)習(xí)率，最終網(wǎng)絡(luò)的分類準(zhǔn)確度可達(dá)92.30%。最后，在獲得分類結(jié)果后，使用區(qū)域回歸方法獲得病灶的區(qū)域并標(biāo)記。未來需要提高分類的準(zhǔn)確度從而使區(qū)域標(biāo)記更加準(zhǔn)確，提高分類準(zhǔn)確度可通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)、增加圖像特征等方法實(shí)現(xiàn)。

參考文獻(xiàn)

[1] 張偉， 謝德明. 膠囊內(nèi)鏡的技術(shù)進(jìn)展及臨床應(yīng)用[J]. 生物醫(yī)學(xué)工程與臨床， 2012， 16（05）： 499-503.

[2] Sainju Sonu， Bui Francis M， Wahid Khan， Bleeding detection in wireless capsule endoscopy based on color features from histogram probability[J]. doi： 10.1109/CCECE.2013.6567779. 2013 26th IEEE Canadian Conference on Electrical and Computer Engineering （CCECE）， 2013： 1-4.

[3] 潘國兵. 無線膠囊內(nèi)窺鏡系統(tǒng)及內(nèi)窺圖像中出血智能識(shí)別研究[D]. 上海交通大學(xué)， 2010： 73-79.

[4] Ghosh T， Bashar S. K， Fattah S. A， Shahnaz C， Wahid K. A， A feature extraction scheme from region of interest of wireless capsule endoscopy images for automatic bleeding detection[J]. doi： 10.1109/ISSPIT.2014.7300597. 2014 IEEE International Symposium on Signal Processing and Information Technology （ISSPIT）， 2014： 000256-000260.

[5] Li B， Meng M Q. Computer-aided detection of bleeding regions for capsule endoscopy images.[J]. IEEE transactions on bio-medical engineering， 2009， 56（4）： 1032.

[6] Kumar R， Qian Zhao， Seshamani S， Mullin G， Hager G， Dassopoulos T， Assessment of Crohn's Disease Lesions in Wireless Capsule Endoscopy Images[J]. doi：10.1109/TBME. 2011.2172438. IEEE Transactions on Biomedical Engineering， 2012， 2： 355-362.

[7] Sindhu C. P， Valsan Vysak， A novel method for automatic detection of inflammatory bowel diseases in wireless capsule endoscopy images[J]. doi： 10.1109/ICSCN.2017.8085711. 2017 Fourth International Conference on Signal Processing， Communication and Networking （ICSCN）， 2017： 1-6.

[8] Yi Xiong， Yiting Zhu， Zhiyong Pang， Yuzhe Ma， Dihu Chen， Xinying Wang， Bleeding detection in wireless capsule endoscopy based on MST clustering and SVM[J]. doi：10.1109/ SiPS.2015.7345001. 2015 IEEE Workshop on Signal.

[9] Guobing Pan， Guozheng Yan， Xiangling Qiu， and Jiehao Cui. Bleeding detection in wireless capsule endoscopy based on probabilistic neural network. Journal of medical systems， 35（6）： 1477-1484， 2011.

[10] 張曉明， 尹鴻峰. 基于卷積神經(jīng)網(wǎng)絡(luò)和語義信息的場景分類[J]. 軟件， 2018， 39（01）： 29-34.

[11] 劉騰飛， 于雙元， 張洪濤， 等. 基于循環(huán)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69.

[12] 宋婷婷， 徐世許. 基于全采樣和L1范數(shù)降采樣的卷積神經(jīng)網(wǎng)絡(luò)圖像分類方法[J]. 軟件， 2018， 39（2）： 75-80.

[13] 吳亞熙， 岑峰. 基于卷積神經(jīng)網(wǎng)絡(luò)的多層級(jí)目標(biāo)檢測方法[J]. 軟件， 2018， 39（4）： 164-169.

[14] Jia Xiao， Meng Max Q.-H， Gastrointestinal bleeding detection in wireless capsule endoscopy images using handcrafted and CNN features[J]. doi： 10.1109/EMBC.2017.8037526. 2017 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society （EMBC）， 2017： 3154-3157.

[15] Jia X， Meng M Q， Xiao J， et al. A deep convolutional neural network for bleeding detection in Wireless Capsule Endoscopy images.[J]. IEEE Engineering in Medicine and Biology Society， 2016： 639-642.

[16] Lecun Y， Bottou L， Bengio Y， Haffner P， Gradient-based learning applied to document recognition[J]. doi： 10.1109/ 5.726791. Proceedings of the IEEE， 1998， 11： 2278-2324.

[17] Krizhevsky Alex， Sutskever Ilya， Hinton Geoffrey， ImageNet classification with deep convolutional neural networks[J]. doi： 10.1145/3065386. Communications of the ACM， 2017， 6： 84-90.

[18] Simonyan K， Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science， 2014.

[19] 蒲杰方， 盧熒玲. 基于聚類算法和神經(jīng)網(wǎng)絡(luò)的客戶分類模型構(gòu)建[J]. 軟件， 2018， 39（4）： 130-136.

[20] 趙文可， 孫玉國. 彈性RBF神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別中的應(yīng)用研究[J]. 軟件， 2018， 39（5）： 203-206.

[21] 重慶金山科技有限公司. 膠囊內(nèi)鏡臨床疾病圖譜[OL]. （2018-12-19）. http：//www.jinshangroup.com/