倪純+陳慕凡+瞿蒙+戴領(lǐng)+盛斌+李華婷+李平+吳強(qiáng)+賈偉平

摘 要 糖尿病視網(wǎng)膜病能造成患者視力損失或失明。我們提出了一個(gè)讓患者了解自己的視網(wǎng)膜狀況的智能糖尿病眼底診斷系統(tǒng)，包含云服務(wù)器和手機(jī)端應(yīng)用?；颊呖勺灾髋臄z眼底圖像，并通過(guò)手機(jī)應(yīng)用上傳至服務(wù)器。服務(wù)器端將對(duì)圖像進(jìn)行分析處理，包括視盤和黃斑區(qū)的定位，血管分割，病變檢測(cè)和病變分級(jí)。根據(jù)國(guó)際標(biāo)準(zhǔn)，對(duì)于非增生性糖尿病視網(wǎng)膜病變（NPDR）分為正常、輕度、中度和重度四個(gè)等級(jí)，采用圖像分割的方法來(lái)提高效率。采用醫(yī)院提供的眼底圖像進(jìn)行測(cè)試，總體達(dá)到85%的準(zhǔn)確率。

關(guān)鍵詞 糖尿病視網(wǎng)膜病篩查 眼底鏡 多尺度線性算子

中圖分類號(hào)：R587.2； R770.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-1533（2017）23-0020-05

Intelligentized diabetic retinopathy diagnosis system

NI Chun1， CHEN Mufan1， QU Meng1， DAI Ling1， SHENG Bin1*， LI Huating2， LI Ping3， WU Qiang2， JIA Weiping2（1. School of Electronic Information and Electrical Engineering， Shanghai Jiao Tong University， Shanghai 200240， China； 2. Shanghai Sixth Peoples Hospital， Shanghai 200233， China； 3. Faculty of Information Technology， Macau University of Science and Technology， Macau）

ABSTRACT Diabetic Retinopathy （DR）， the most common one of diabetic eye diseases， can cause loss of vision or blindness. We propose an automatic diabetic retinopathy diagnostic system to help patients know about their retinal conditions. The images are taken through the phone application and then transmitted to a cloud server to be analyzed， including localization of optic disk and macular， vessel segmentation， detection of lesions， and grading of DR. We use a multi-scale line operator to improve accuracy in segmenting small-scale vessels， a binary mask and image restoration to reduce the effect of the existence of vessels on optic disk localization. After the analysis， the fundus images are then graded as normal， mild Non-Proliferative Diabetic Retinopathy （NPDR）， moderate NPDR or severe NPDR. The grading process uses region segmentation to improve the efficiency. The final grading results are tested based on the fundus images provided by the hospitals. We evaluate our system through comparing our grading results with those graded by experts， which comes out with an overall accuracy of up to 85%.

KEY WORDS diabetic retinopathy screening； ophthalmoscope； multi-scale line operator

1 糖尿病視網(wǎng)膜病的研究現(xiàn)狀

糖尿病視網(wǎng)膜病是最普遍的糖尿病眼部疾病之一[1]。而在視網(wǎng)膜特征和病變的檢測(cè)上，主要的挑戰(zhàn)在于小尺度血管的分割的準(zhǔn)確率不高[2]。對(duì)于眼底圖像的獲取，目前的研究主要專注于智能手機(jī)照相機(jī)的圖像質(zhì)量的提高，而對(duì)于患者來(lái)說(shuō)，同時(shí)用透鏡對(duì)準(zhǔn)他們的眼睛并拍攝照片是非常不方便的。我們致力解決兩個(gè)問(wèn)題：①眼底圖像的檢測(cè)能更準(zhǔn)確嗎？②視網(wǎng)膜病變的分級(jí)能否更加高效？基于Ricci的工作[3]，我們使用了多尺度的線性算子以提高小尺度血管的分割精確度[4-6]。此外，我們使用了二值遮罩和圖像修復(fù)以減少血管的存在對(duì)定位視盤的影響[7-9]。我們進(jìn)行預(yù)處理，諸如形態(tài)學(xué)操作和濾波操作[10-11]。在病變分級(jí)上，我們把圖片分成互不重疊的三個(gè)區(qū)域，每次只分析其中一個(gè)區(qū)域，效率自然也提高了。

2 研究?jī)?nèi)容及方法

2.1 圖像處理

我們首先提取出圖像的G通道并進(jìn)行灰度反轉(zhuǎn)，隨后通過(guò)形態(tài)學(xué)腐蝕操作來(lái)定位眼底圖像的視網(wǎng)膜邊界區(qū)域，再迭代地采用形態(tài)學(xué)膨脹操作對(duì)視網(wǎng)膜邊界區(qū)域向外擴(kuò)充，在擴(kuò)充過(guò)程中，對(duì)邊界上的像素點(diǎn)進(jìn)行均值濾波，依次完成擴(kuò)充邊界。由于血管灰度較背景像素低，在眼底圖像中呈現(xiàn)類似邊緣的結(jié)構(gòu)，而一般的邊緣算子檢測(cè)出來(lái)的血管不夠完整，而且受光照不均等噪聲影響，會(huì)產(chǎn)生一些“假血管”，分割精度有待提高[12-14]。針對(duì)血管局部呈現(xiàn)線性結(jié)構(gòu)這一特征，我們?cè)O(shè)計(jì)了一個(gè)多尺度直線（line）算子，且該line算子可以旋轉(zhuǎn)以匹配不同方向的血管。對(duì)于每一個(gè)像素點(diǎn)（i，j），用此算子進(jìn)行濾波得到一系列灰度值L（i，j），取其中最大值。最終的輸出表示如下：endprint

在微血管瘤的檢測(cè)中，現(xiàn)有的很多方法不能很好的應(yīng)用于視盤存在病變、視盤亮度丟失等情況的眼底圖像中。首先我們提取原圖像的G通道，因?yàn)镚通道的圖像保留了大量的對(duì)比度信息，視盤更加明顯。接下來(lái)對(duì)G通道圖像進(jìn)行均值濾波，為了消除背景中極個(gè)別亮點(diǎn)對(duì)視盤的中心定位產(chǎn)生的影響，均值濾波過(guò)后檢測(cè)圖像中最亮的像素點(diǎn)，求這些像素點(diǎn)的坐標(biāo)的平均值作為視盤的中心點(diǎn)。為了減小計(jì)算量、節(jié)省時(shí)間，可選取感興趣區(qū)域（ROI），ROI的選取是以剛得到的中心點(diǎn)為中心選取一個(gè)160×160像素大小的區(qū)域。接下來(lái)對(duì)感興趣區(qū)域進(jìn)行血管的分割，用血管分割的結(jié)果作為圖像修復(fù)的模板mask。然后使用基于快速行進(jìn)的圖像修復(fù)算法對(duì)ROI進(jìn)行修復(fù)。以視盤中心點(diǎn)為中心，等間距地向外散發(fā)出20條射線，檢測(cè)第i條射線上的第j個(gè)點(diǎn)的梯度值。公式如下：

對(duì)這些點(diǎn)使用快速橢圓擬合算法，擬合出視盤邊界（圖2）。

黃斑區(qū)檢測(cè)基于視盤的定位。黃斑區(qū)是眼底圖像的一個(gè)重要結(jié)構(gòu)其表現(xiàn)為眼底圖像的中央暗斑。為了使其更加明顯我們對(duì)圖像進(jìn)行直方圖均衡化以增強(qiáng)圖像的對(duì)比度。為了定位黃斑區(qū)可先選取圖像的中間部分作為感興趣區(qū)域以減少計(jì)算量以及減小圖像周圍噪聲的影響。硬性滲出是導(dǎo)致反照視網(wǎng)膜和失明的一大因素。本文算法主要基于對(duì)比度來(lái)區(qū)分出硬性滲出區(qū)域。因?yàn)檠軈^(qū)域與周圍區(qū)域的對(duì)比度也不低（血管較暗，周圍較亮），因而在對(duì)原彩色圖像灰度化后，需要通過(guò)形態(tài)學(xué)閉操作來(lái)消除血管對(duì)檢測(cè)產(chǎn)生的影響。接著通過(guò)11×11的算子對(duì)圖像中每個(gè)像素的鄰域進(jìn)行方差計(jì)算，選取方差大于某個(gè)閾值的點(diǎn)作為滲出區(qū)域邊界候選點(diǎn)，并進(jìn)行形態(tài)學(xué)上的閉操作來(lái)填補(bǔ)區(qū)域間的小洞。通過(guò)反復(fù)的腐蝕、重建操作，將背景灰度逐步填充到滲出區(qū)域內(nèi)，獲取無(wú)病變的背景圖像。重建、填充等步驟主要作用在于將背景灰度逐步填充到滲出區(qū)域內(nèi)。最后將背景圖像與原始圖像做差，顯然，差值較大之處即為滲出區(qū)域，將差值矩陣進(jìn)行閾值分割，并將符合條件的點(diǎn)標(biāo)記在原圖上即可得到滲出區(qū)域。

2.2 病癥分級(jí)

為了提高運(yùn)算速度，將圖像分割成三部分（圖3）。首先，我們檢測(cè)區(qū)域1中的病變（包括滲出、出血、微血管瘤），如果檢測(cè)出其中一類，便分為重度NPDR，停止檢測(cè)。否則，繼續(xù)檢測(cè)區(qū)域2。同樣地，若在區(qū)域 2中檢測(cè)出任何的病變，便定義為中度NPDR，停止檢測(cè)。否則繼續(xù)檢測(cè)區(qū)域3，若在區(qū)域3中檢測(cè)出病變，則為輕度NPDR，否則該圖像正常。

2.3 圖像獲取

智能手機(jī)檢眼鏡是借助智能手機(jī)獲得視網(wǎng)膜圖像的便攜式設(shè)備。設(shè)計(jì)的光學(xué)檢眼鏡如圖4所示，由三個(gè)主要部件組成：智能手機(jī)，視網(wǎng)膜鏡片和人眼。

在以前使用視網(wǎng)膜鏡片[7]的研究中，沒(méi)有使用任何框架來(lái)穩(wěn)定智能手機(jī)和鏡頭的位置。在我們的方法中，框架能夠確保照相機(jī)的中心線和透鏡的中心線之間的重疊。此外，鑒于不同人的屈光度差異，智能手機(jī)和視網(wǎng)膜鏡片之間的框架被設(shè)計(jì)為可調(diào)節(jié)的（圖5）。

3 實(shí)驗(yàn)結(jié)果

3.1 圖像處理

使用了DRIVE， DIARETDB1， DIARETDB0和STEAR這四個(gè)公開的數(shù)據(jù)庫(kù)來(lái)評(píng)估我們的算法。DRIVE包含40張分辨率為768×584的彩色眼底圖片，STARE包含20張分辨率為605×700的彩色圖片，另兩個(gè)數(shù)據(jù)庫(kù)共包含219張分辨率為1 500×1 152的彩色眼底圖片，包括25張無(wú)異常的圖像和194張不同等級(jí)的圖像。不同方法的血管分割結(jié)果可見圖6。Jiang[5]和Zhang[6]的方法會(huì)有血管缺失或多余的狀況，而我們的方法沒(méi)有這種問(wèn)題?？紤]到病變的存在會(huì)影響視盤和黃斑區(qū)的檢測(cè)結(jié)果，我們?cè)跍y(cè)試的時(shí)候，同時(shí)選用了有異常的和正常的圖片（圖7）。可見我們的定位方法不受病變的影響。在處理時(shí)間上，也進(jìn)行了測(cè)試和評(píng)估。我們用CAL[7]方法來(lái)評(píng)估血管分割算法，C、A、L三者的乘積表示算法的質(zhì)量，其值為C、A、L分值（表1）[7]。

視盤定位的準(zhǔn)確率比較見表2。盡管Yu和Youssif的方法的準(zhǔn)確率略高，但是他們的運(yùn)算時(shí)間更長(zhǎng)，分別為4.7 s和210 s，而我們的方法僅不到1 s。

對(duì)于病變的檢測(cè)，本文算法也取得了很高的準(zhǔn)確率，微血管瘤、出血和滲出的檢測(cè)準(zhǔn)確率分別為99.7%，98.4%和98.1%。當(dāng)然，算法性能也是我們同時(shí)要考慮的一大因素。表3比較了和其他方法的計(jì)算時(shí)間。

同時(shí)也要考慮到，實(shí)際情況下，由于患者不熟悉操作或外部環(huán)境問(wèn)題，拍攝的圖像很有可能曝光不足、曝光過(guò)度、位置不對(duì)或四周黃斑。檢測(cè)結(jié)果見圖8。

3.2 病癥分級(jí)

我們使用約100張眼底圖像進(jìn)行檢測(cè)，并與其它方法的評(píng)分準(zhǔn)確度進(jìn)行了比較，結(jié)果見表4。

3.3 圖像獲取endprint

用戶可以調(diào)整智能手機(jī)和視網(wǎng)膜鏡片之間的距離，以獲得視網(wǎng)膜的合理視圖。最后，用戶可以改變焦距以獲得圖像的清晰視圖。以下內(nèi)容包含圖像的實(shí)驗(yàn)和評(píng)估智能眼鏡的質(zhì)量。受到現(xiàn)存研究[19]的啟發(fā)的啟發(fā)，我們使用kappa統(tǒng)計(jì)，做了這個(gè)實(shí)驗(yàn)評(píng)估測(cè)試。在瞳孔擴(kuò)張后，采取100例患者（200眼）的樣本量，比較智能手機(jī)（iPhone 5）320檢眼鏡和被認(rèn)為是用于評(píng)估圖像質(zhì)量的標(biāo)準(zhǔn)裝置掃描激光檢眼鏡（佳能OCT-HS100）拍攝的圖像的分級(jí)結(jié)果（表5）。通過(guò)不同設(shè)備從同一患者拍攝的眼底圖像之間的分級(jí)結(jié)果的一致性顯示了智能眼鏡的圖像質(zhì)量是否合格。一致性越高，圖像質(zhì)量越好。圖像根據(jù)國(guó)際臨床糖尿病視網(wǎng)膜病變嚴(yán)重程度評(píng)分。

4 結(jié)論及討論

我們提出了一個(gè)完全智能化的糖尿病眼底病變?cè)\斷系統(tǒng)，能夠自主拍攝圖像、分析并生成分析報(bào)告，特別是在特征和病變的檢測(cè)上提高了準(zhǔn)確率和效率。檢眼鏡包含間接的視網(wǎng)膜鏡片，智能手機(jī)和它們之間的框架。用戶可以首先將智能相機(jī)的中心線和視網(wǎng)膜透鏡的中心線對(duì)準(zhǔn)在同一條線上。然后，以簡(jiǎn)化模型眼睛為樣本，用戶可以調(diào)整模型眼與視網(wǎng)膜長(zhǎng)度之間的距離。研究結(jié)果也表明分析圖像的結(jié)果不錯(cuò)。因此，病人能較好地使用該系統(tǒng)來(lái)檢查他們的眼睛狀況，從而決定是否就醫(yī)做進(jìn)一步檢查。未來(lái)，我們將優(yōu)化手機(jī)應(yīng)用并進(jìn)一步提高算法的準(zhǔn)確率。

參考文獻(xiàn)

[1] Qi J， Yang P， Fan D， et al. A survey of physical activity monitoring and assessment using internet of things technology[C]. IEEE Intl Conf CIT/IUCC/DASC/PICOM， 2015： 2353-2358.

[2] Gao F， Li T， Hu J， et al. Comparative analysis of three purication protocols for retinal ganglion cells from rat[J]. Mol Vis， 2016， 22： 387-400.

[3] Ricci E， Perfetti R. Retinal blood vessel segmentation using line operators and support vector classication[J]. IEEE Trans Med Imaging， 2007， 26（10）： 1357-1365.

[4] Sekhar S， Al-Nuaimy W， Nandi A. Automated localisation of optic disk and fovea in retinal fundus images[C]. European Signal Process Conf， 2008： 1-5.

[5] Jiang X， Mojon D. Adaptive local thresholding by verification-based multithreshold probing with application to vessel detection in retinal images[J]. IEEE Trans Pattern Anal Mach Intell， 2003， 25（1）： 131-137.

[6] Zhang B， Zhang L， Zhang L， et al. Retinal vessel extraction by matched filter with first-order derivative of Gaussian[J]. Comp in Biol and Med， 2010， 40（4）： 438-445.

[7] Gegundez-Arias ME， Aquino A， Bravo JM， et al. A function for quality evaluation of retinal vessel segmentations[J]. IEEE Trans Med Imaging， 2012， 31（2）： 231-239.

[8] Yu H， Barriga ES， Agurto C， et al. Fast localization and segmentation of optic disk in retinal images using directional matched filtering and level sets[J]. IEEE Trans Info Tech in Biomed， 2012， 16（4）： 644-657.

[9] Youssif AA-HA-R， Ghalwash AZ， Ghoneim AASA-R. Optic disc detection from normalized digital fundus images by means of a vessels direction matched filter[J]. IEEE Trans Med Imaging， 2008， 27（1）： 11-18.

[10] Hoover A， Goldbaum M. Locating the optic nerve in a retinal image using the fuzzy convergence of the blood vessels[J]. IEEE Trans Med Imaging， 2003， 22（8）： 951-958.endprint

[11] Sinha N， Babu RV， Optic disk localization using L1 minimization[C]. IEEE Intl Conf Image Process， 2012， 2829-2832.

[12] Marin D， Aquino A， Gegundez-Arias ME， et al. A new supervised method for blood vessel segmentation in retinal images by using gray-level and moment invariants-based features[J]. IEEE Trans Med Imaging， 2011， 30（1）： 146-158.

[13] Lupascu CA， Tegolo D， Rosa LD. Automated detection of optic disc location in retinal images[C]. IEEE Intl Sym Comp-Based Med Sys， 2008： 17-22.

[14] Lu S， Lim JH. Automatic optic disc detection from retinal images by a line operator[J]. IEEE Trans Biomed Eng， 2011， 58（1）： 88-94.

[15] Qu M， Ni C， Chen M， et al. Automatic diabetic retinopathy diagnostic system based on adjustable ophthalmoscope and multi-scale line operator[J]. Pervasive Mob Comput， 2017， 41： 490-503.

[16] Zhang X， Thibault G， Decencière E， et al. Exudate detection in color retinal images for mass screening of diabetic retinopathy[J]. Med Image Anal， 2014， 18（7）： 1026-1043.

[17] Dutta MK， Ganguly S， Srivastava K， et al. An efficient grading algorithm for non-proliferative diabetic retinopathy using region based detection[C]. Intl Conf Telecom and Sig Process， 2015： 743-747.

[18] Hatanaka Y， Nakagawa T， Hayashi Y， et al. Improvement of automated detection method of hemorrhages in fundus images[C]. Annual Intl Conf IEEE Eng in Med and Biol Society， 2008： 5429-5432.

[19] Russo A， Morescalchi F， Costagliola C， et al. Comparison of smartphone ophthalmoscopy with slit-lamp biomicroscopy for grading diabetic retinopathy[J] Amer J Ophthalmol， 2015， 159（2）： 360-364.endprint