李翔 鄧穎 蔣鵬飛 彭清華
〔摘要〕 中醫(yī)目診是通過(guò)觀察眼部的神、色、形、態(tài)來(lái)診斷全身疾病的一種方法。對(duì)眼底血管的觀察是目診的主要內(nèi)容。視網(wǎng)膜血管結(jié)構(gòu)的變化與許多慢性疾病密切相關(guān)。圖像處理技術(shù)在眼底圖像研究的應(yīng)用可以為系統(tǒng)性疾病提供早期診斷。眼底圖像血管分割是眼底血管研究的基礎(chǔ),目前大體可分為基于匹配濾波、血管跟蹤、形態(tài)學(xué)處理、形變模型以及機(jī)器學(xué)習(xí)的分割算法5類。眼底血管分類,如動(dòng)靜脈分類,為臨床診斷提供重要價(jià)值。在此類研究的基礎(chǔ)上,提出了眼底血管分割、分類方法在中醫(yī)目診中的實(shí)際應(yīng)用方法。
〔關(guān)鍵詞〕 中醫(yī)目診;眼底圖像;視網(wǎng)膜血管;血管分割;血管分類
〔中圖分類號(hào)〕R241? ? ? ?〔文獻(xiàn)標(biāo)志碼〕A? ? ? ?〔文章編號(hào)〕doi:10.3969/j.issn.1674-070X.2021.03.016
〔Abstract〕 Eye diagnosis of traditional Chinese medicine (TCM) is a method to diagnose systemic diseases by observing the changes of spirits, expressions, shapes and states of eyes. Fundus observation is the most important content of eye diagnosis. The changes of retinal vascular structure are closely related to many chronic diseases. The application of image processing techniques to fundus images can provide early diagnosis of systemic diseases. Fundus image segmentation is the basis of fundus vascular research and can be roughly divided into five main categories: matched filtering, blood vessel tracking, mathematical morphology, deformable model, and machine learning. Classification of fundus vessels, such as arteriovenous classification, provides important value for clinical diagnosis. Based on this kind of research, we put forward the practical application methods of fundus segmentation and classification methods in the eye diagnosis of TCM.
〔Keywords〕 eye diagnosis of TCM; fundus image; retinal blood vessels; blood vessel segmentation; blood vessel classification
中醫(yī)目診通過(guò)觀察眼睛各部位的神、色、形、態(tài)等變化來(lái)辨析疾病的發(fā)病部位、病因、病性、預(yù)后等情況。目診不僅可辨別眼目疾病,還可察知五臟六腑及氣血津液的變化,并對(duì)某些病癥的診斷具有“見(jiàn)微知著”的意義。
中醫(yī)目診是通過(guò)望目、問(wèn)目、按目等方法進(jìn)行診斷,其觀察部位僅限于眼表等肉眼可以觀察到的部位。隨著眼科檢查設(shè)備的出現(xiàn),眼部深層次的解剖結(jié)構(gòu)被清晰地展示,包括眼底血管。中醫(yī)現(xiàn)代目診立足于傳統(tǒng)目診的基礎(chǔ)上,通過(guò)對(duì)眼科儀器設(shè)備檢查結(jié)果的分析,聯(lián)系相關(guān)臨床經(jīng)驗(yàn)從而做出診斷,主要有中西醫(yī)虹膜診法、球結(jié)膜微循環(huán)診法以及眼底圖像分析法等方法[1-2]。其中眼底血管是眼底圖像分析法中最重要的內(nèi)容,主要是觀察眼底血管的改變來(lái)診斷疾病,屬于目診顏色、形態(tài)變化的內(nèi)容,包括血管管徑、血管彎曲度、微血管瘤、新生血管、視網(wǎng)膜分形維數(shù)、視網(wǎng)膜血氧分析等方面的內(nèi)容。
眼底血管作為人體唯一可以無(wú)創(chuàng)、直接觀察的較深層次的血管,是全身微循環(huán)系統(tǒng)的一個(gè)重要組成部分,是全身微血管病變的觀察窗口。多項(xiàng)研究[3-6]證實(shí)其形態(tài)結(jié)構(gòu)以及顏色的變化與許多全身性疾病的病情進(jìn)展密切相關(guān),例如心腦血管疾病的微循環(huán)情況、血液疾病、內(nèi)分泌系統(tǒng)疾病、血液病中的貧血等等。因而,眼底觀察是目診非常重要的內(nèi)容,也是能直接客觀反映機(jī)體的生理病理狀況[7-8]。
近年來(lái),隨著圖像處理和分析技術(shù)的飛速發(fā)展,利用計(jì)算機(jī)進(jìn)行醫(yī)學(xué)圖像處理已在醫(yī)學(xué)的各個(gè)學(xué)科和領(lǐng)域中廣泛使用,并且已經(jīng)成為輔助醫(yī)學(xué)診斷的重要工具。借助數(shù)字圖像處理技術(shù)、計(jì)算機(jī)視覺(jué)以及機(jī)器學(xué)習(xí)等技術(shù),尤其是隨著計(jì)算機(jī)輔助眼科疾病診斷系統(tǒng)的發(fā)展,對(duì)眼底血管進(jìn)行分割、分類與定量分析,可以有效量化和可視化相關(guān)解剖及病理結(jié)構(gòu),為臨床診斷提供支持,也為研究者帶來(lái)對(duì)疾病的新認(rèn)識(shí)。本文就眼底圖像中血管自動(dòng)分割及分類方法作一介紹。
1 視網(wǎng)膜血管的結(jié)構(gòu)特征
視網(wǎng)膜血管網(wǎng)絡(luò)的結(jié)構(gòu)分析是被用作早期檢測(cè)視網(wǎng)膜病的一個(gè)可靠的工具[9]。研究人員最開始用的血管分割方法是擴(kuò)大血管網(wǎng)絡(luò)的形態(tài)特征進(jìn)行評(píng)價(jià)[10-13],從視網(wǎng)膜血管結(jié)構(gòu)進(jìn)行測(cè)量,如許多血管的厚度,血管結(jié)構(gòu)的曲率和小動(dòng)脈-小靜脈比(arteriovenous ratio, AVR)。通常,動(dòng)脈和靜脈在4個(gè)特征上是不同的[14-15]。
1.1? 視網(wǎng)膜血管解剖學(xué)特征
視網(wǎng)膜中央動(dòng)脈位于視網(wǎng)膜內(nèi),分為鼻上、鼻下、顳上、顳下4支。較粗大的血管位于內(nèi)界膜下神經(jīng)纖維層。視網(wǎng)膜中央靜脈在視神經(jīng)內(nèi)與視網(wǎng)膜中央動(dòng)脈伴行[16]。
1.2? 視網(wǎng)膜血管網(wǎng)絡(luò)特征
從視盤向視網(wǎng)膜邊緣發(fā)散的每支血管,其血管類型始終保持一樣。由血管分叉形成的分支血管與原來(lái)的主血管類型相同。只有不同類型的兩支血管才能形成交叉點(diǎn),即動(dòng)脈與靜脈血管發(fā)生交叉。同一支血管形成的兩支分支血管之間沒(méi)有相同接合的情況,即單支血管及其分支在拓?fù)鋵W(xué)上是不閉合的。在靠近視盤區(qū)域中,交替出現(xiàn)動(dòng)靜脈(arterial vein, AV)血管,即兩支靜脈血管之間必有一支動(dòng)脈血管。
1.3? 視網(wǎng)膜血管顏色特征
在眼底圖像中,視網(wǎng)膜動(dòng)脈血管的顏色比相鄰的靜脈血管更淺,其管壁更薄。視網(wǎng)膜動(dòng)脈血管具有較高的灰度值和較窄的管徑,由于血管中相對(duì)較高的血氧含量而出現(xiàn)中心光反射現(xiàn)象。動(dòng)脈血管的中心光反射現(xiàn)象相對(duì)靜脈而言更為明顯。
1.4? AV交叉處的結(jié)構(gòu)特征
動(dòng)脈與靜脈相互交叉,即表示為血管的交叉點(diǎn)。正常AV交叉處?kù)o脈陷入視網(wǎng)膜,動(dòng)脈透明,可見(jiàn)其后的靜脈。AV交叉處的改變分為兩種,一種是靜脈偏向,動(dòng)脈與靜脈交叉處?kù)o脈隱匿,動(dòng)脈兩側(cè)的靜脈管徑較細(xì),并且靜脈向視網(wǎng)膜深層移位或側(cè)位偏斜,多發(fā)生在“主血管”位置。另一種是靜脈受壓,靜脈管徑發(fā)生改變。
AV切口或AV夾持是在視網(wǎng)膜微血管結(jié)構(gòu)中觀察到的異常現(xiàn)象,其顯示了在靜脈上穿過(guò)小動(dòng)脈的特征視圖。由于這種AV交叉,靜脈使動(dòng)脈橫截面點(diǎn)的任一側(cè)膨脹。在幾種類型的相關(guān)視網(wǎng)膜成像研究中,AV切口已經(jīng)作為眼睛相關(guān)疾病的早期指示器,如視網(wǎng)膜靜脈阻塞(retinal vein occulusion,RVO)、糖尿病、高血壓和急性中風(fēng)[17-19]。
2 眼底血管分割是中醫(yī)目診眼底血管研究的基礎(chǔ)
眼底血管分割是眼科成像中最常見(jiàn)的課題,同時(shí)也是應(yīng)用最廣泛的領(lǐng)域。圖像分割是通過(guò)圖像內(nèi)邊界的自動(dòng)或半自動(dòng)描述將圖像分割成不同的有意義的片段(具有相似特征)的過(guò)程。在眼科圖像中,這些片段通常與不同的組織、器官、病理特征或一些其他生物結(jié)構(gòu)相對(duì)應(yīng)[20]。眼底血管分割算法大致可分為5類:基于匹配濾波的分割算法、基于血管跟蹤的分割算法、基于形態(tài)學(xué)處理的分割算法、基于形變模型的分割算法以及基于機(jī)器學(xué)習(xí)的分割算法。
2.1? 基于匹配濾波的血管分割算法
匹配濾波的血管分割算法主要利用視網(wǎng)膜血管橫截面的灰度分布近似于高斯函數(shù)分布的特點(diǎn),將構(gòu)造好的濾波器與待分割的眼底圖像進(jìn)行卷積來(lái)提取目標(biāo)對(duì)象,對(duì)眼底圖像上的血管進(jìn)行匹配增強(qiáng),通過(guò)計(jì)算圖像濾波后的最大響應(yīng)值來(lái)確定血管像素,提取血管。由于血管的寬度從1~15個(gè)像素不等,且受拍攝角度與拍攝環(huán)境等影響,單一尺度的濾波器無(wú)法很好地兼顧所有血管,故在圖像的預(yù)處理階段利用多尺度的高斯匹配濾波對(duì)圖像進(jìn)行增強(qiáng)處理,并使用圖像閾值分割方法,實(shí)現(xiàn)圖像的自動(dòng)閾值優(yōu)化,從而對(duì)血管進(jìn)行匹配分割[21-24]。
盡管基于匹配濾波的血管分割方法充分考慮了血管剖面與高斯曲線相匹配的特性,但缺乏對(duì)其他血管特征的考量。因此,該方法常用于眼底圖像的預(yù)處理過(guò)程,并與其他用于血管分割的方法結(jié)合使用。
2.2? 基于血管跟蹤的血管分割算法
基于血管跟蹤的分割算法建立了血管輪廓模型,使用局部信息沿血管方向迭代分割。在血管具有連續(xù)性結(jié)構(gòu)的基礎(chǔ)上,設(shè)置好一個(gè)初始種子點(diǎn),沿著血管的方向跟蹤,并找到兩點(diǎn)之間的血管網(wǎng)絡(luò),直到滿足最終條件為止[25-26]。
基于血管跟蹤的血管分割方法能計(jì)算出準(zhǔn)確的血管寬度,但其容易被血管分支、交叉點(diǎn)或由病灶引起的異常血管影響,導(dǎo)致跟蹤中斷,且往往無(wú)法檢測(cè)沒(méi)有種子點(diǎn)的血管[27-28]。
2.3 基于形態(tài)學(xué)處理的血管分割算法
基于數(shù)學(xué)形態(tài)學(xué)的分割算法是提取圖像邊界、骨骼線等部分的有力工具。它可對(duì)目標(biāo)進(jìn)行腐蝕、膨脹等操作,之后與原圖相減得到圖像的邊緣。除此之外,該方法還能進(jìn)行開操作和閉操作,從而對(duì)圖像進(jìn)行輪廓平滑和孔洞填補(bǔ)的作用[29-30]。
形態(tài)學(xué)的算法是直接對(duì)目標(biāo)本身進(jìn)行操作,具有運(yùn)算速度快且能抑制噪聲的優(yōu)點(diǎn)。而其主要缺點(diǎn)是未能很好地利用血管本身的顯著特性,如血管剖面,而過(guò)分依賴結(jié)構(gòu)元素的操作。
2.4? 基于形變模型的血管分割算法
基于形變模型的血管分割算法通過(guò)能量函數(shù)的參數(shù)定義邊界曲線來(lái)描述血管邊界,然后通過(guò)計(jì)算邊界內(nèi)外的能量值來(lái)計(jì)算邊界兩側(cè)的內(nèi)外力,從而達(dá)到分割視網(wǎng)膜血管的目的。因此,將血管分割的問(wèn)題轉(zhuǎn)換為尋找能量函數(shù)的最小值[31-32]。根據(jù)模型的曲線表示形式不同,基于形變模型的方法可以分為兩類:參數(shù)形變模型和幾何形變模型。
2.5? 基于機(jī)器學(xué)習(xí)的血管分割算法
機(jī)器學(xué)習(xí)的方法主要是定義眼底圖像中與其他區(qū)域不同的血管的特征向量,并通過(guò)有監(jiān)督或者無(wú)監(jiān)督的分類算法將圖像像素分成血管或者非血管像素,以實(shí)現(xiàn)血管的分割。機(jī)器學(xué)習(xí)是對(duì)計(jì)算機(jī)算法的研究,可以通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)。機(jī)器學(xué)習(xí)分為兩類:有監(jiān)督的學(xué)習(xí)算法和無(wú)監(jiān)督的學(xué)習(xí)算法。大多數(shù)基于機(jī)器學(xué)習(xí)的分割方法都是監(jiān)督算法。這種類型的算法要預(yù)先構(gòu)建圖像特征以訓(xùn)練分類器,然后使用訓(xùn)練后的分類器對(duì)要分割圖像進(jìn)行分割。
監(jiān)督學(xué)習(xí)算法需要事先標(biāo)記好一個(gè)像素點(diǎn)是屬于血管點(diǎn)還是背景點(diǎn),而非監(jiān)督學(xué)習(xí)方法不需要標(biāo)記就能完成血管分割。監(jiān)督算法通常采用像素分類來(lái)達(dá)到分割的目的。該方法往往通過(guò)提取圖像特征來(lái)預(yù)先訓(xùn)練分類器,然后使用經(jīng)過(guò)訓(xùn)練的分類器來(lái)識(shí)別血管像素和非血管像素以實(shí)現(xiàn)血管分割。監(jiān)督算法的性能通常比非監(jiān)督算法更好,特別是對(duì)于健康的眼底圖像,可以提供更好的分割結(jié)果[33-35]。
在上述幾種血管分割算法中,各類算法都各有特點(diǎn)。匹配濾波分割算法,因?yàn)楦咚骨€與血管橫截面非常吻合,并且血管分割非常有效,通常用作血管分割的預(yù)處理方法;基于形態(tài)學(xué)方法,由于其計(jì)算速度快和抗噪特性,它也常用于視網(wǎng)膜血管分割的預(yù)處理或后處理;最準(zhǔn)確的方法是基于機(jī)器學(xué)習(xí),這仍然是當(dāng)前眼底圖像視網(wǎng)膜血管分割研究的主流方向。目前,最常用的分割算法是機(jī)器學(xué)習(xí)算法和其他算法相結(jié)合的方式,以實(shí)現(xiàn)更令人滿意的分割效果。對(duì)彩色眼底圖像視網(wǎng)膜血管分割算法的研究是圖像處理的基礎(chǔ),為后期血管分類、形態(tài)學(xué)、血液流變學(xué)等研究提供了鋪墊。
3 眼底血管分類為中醫(yī)目診臨床診斷提供支持
視網(wǎng)膜微血管的一些變化被認(rèn)為是心血管事件,如缺血性中風(fēng)或急性中風(fēng)的預(yù)兆。AVR能夠早期診斷高血壓、糖尿病、中風(fēng)和成人其他心血管疾病以及嬰兒、早產(chǎn)兒視網(wǎng)膜病[36-38]。視網(wǎng)膜血管分類方法通常是基于區(qū)分動(dòng)脈和靜脈的視覺(jué)和幾何特征,如顏色差異、厚度差異、中心反射以及視盤周圍動(dòng)脈和靜脈的分支信息,以此為疾病臨床診斷和早期預(yù)測(cè)提供支持。
在眼底圖像中進(jìn)行血管分類的大多數(shù)研究常用的方法包括5個(gè)步驟:(1)血管分割;(2)感興趣區(qū)域(region of interest, ROI)選擇以對(duì)其血管進(jìn)行分類;(3)從血管的不同部分提取特征;(4)分類特征向量;(5)組合結(jié)果以確定容器的最終標(biāo)簽。通常,考慮3個(gè)過(guò)程來(lái)提取特征:基于像素、基于輪廓和基于分段的特征提取過(guò)程??偟膩?lái)說(shuō),可以將視網(wǎng)膜血管分類方法大致分為兩大類:全自動(dòng)和半自動(dòng)。
3.1? 半自動(dòng)方法
半自動(dòng)的方法是指先通過(guò)分割得到血管的網(wǎng)絡(luò)結(jié)構(gòu),然后手動(dòng)標(biāo)記起點(diǎn)和AV血管點(diǎn),再根據(jù)AV的網(wǎng)絡(luò)結(jié)構(gòu)特征、血管分割并使用跟蹤算法對(duì)AV進(jìn)行分類。
此分類方法首先需要完整準(zhǔn)確地進(jìn)行血管分割以及對(duì)血管進(jìn)行跟蹤,需要事先對(duì)視網(wǎng)膜眼底圖像進(jìn)行處理,效率較低,且與標(biāo)記者的專業(yè)程度和技巧熟練程度有關(guān),主觀性較強(qiáng)。因此,對(duì)視網(wǎng)膜血管的分類方法提出了更高的要求。
3.2? 全自動(dòng)方法
全自動(dòng)方法即使用機(jī)器視覺(jué),通過(guò)提取AV的顏色信息和形態(tài)信息,訓(xùn)練分類器或者使用諸如聚類的分類算法,對(duì)血管的動(dòng)脈和靜脈進(jìn)行分類。包括傳統(tǒng)的分類識(shí)別技術(shù)和基于深度學(xué)習(xí)的分類識(shí)別技術(shù)。傳統(tǒng)視網(wǎng)膜血管分類識(shí)別步驟包括提取特征、轉(zhuǎn)化特征值、添加限制條件、選擇分類器、組合分類器生成新的模型等方面[39]。
基于深度學(xué)習(xí)的分類識(shí)別方法,有聚類算法、監(jiān)督方法、統(tǒng)計(jì)分類以及卷積神經(jīng)網(wǎng)絡(luò)。目前,熱度最高的是卷積神經(jīng)網(wǎng)絡(luò),在眼底圖像以及視網(wǎng)膜血管的分類與識(shí)別上應(yīng)用最廣泛。通過(guò)對(duì)以前研究的總結(jié)發(fā)現(xiàn),傳統(tǒng)的分類識(shí)別方法與基于深度學(xué)習(xí)的分類識(shí)別方法之間缺少聯(lián)系,二者之間相對(duì)獨(dú)立,且標(biāo)記的特征與深度網(wǎng)絡(luò)計(jì)算出來(lái)的特征之間也缺乏連接。
許多視網(wǎng)膜血管的分類方法是利用描述血管中顏色和顏色變化的特征來(lái)進(jìn)行分類的。分類中的一個(gè)主要問(wèn)題是血管中血液的絕對(duì)顏色在圖像之間甚至在同一受試者都是不同的。這種可變性的一些原因是血紅蛋白氧飽和度、白內(nèi)障的老化和發(fā)展、閃光強(qiáng)度的差異、閃光光譜、相機(jī)的非線性光學(xué)畸變、閃光偽影和聚焦等。此外,圖像的分辨率是必須考慮的另一個(gè)重要因素。在高分辨率圖像中引入噪聲會(huì)減少顏色信息。不同分類方法對(duì)顏色信息的要求不同,表明了在使用具有不同分辨率的眼底照相機(jī)的研究中標(biāo)準(zhǔn)化圖像分辨率的重要性。血管的厚度不是分類的可靠特征,因?yàn)槌搜艿目勺冃灾?,它還受到血管分割的極大影響。由于動(dòng)脈帶有高氧值的血液,它們的內(nèi)部比它們的壁更亮,這意味著動(dòng)脈中心反射更明顯。一些調(diào)查發(fā)現(xiàn)這種特征是血管之間區(qū)分的一個(gè)關(guān)鍵特征,但中心反射只能在較厚的血管中識(shí)別[40-41]。
這些因素使得動(dòng)脈和靜脈的自動(dòng)分類成為非常困難的計(jì)算任務(wù),并且影響系統(tǒng)的準(zhǔn)確性。許多學(xué)者試圖通過(guò)僅選擇視盤周圍的主要血管來(lái)進(jìn)行分類以簡(jiǎn)化問(wèn)題。通過(guò)這種方式,分析僅限于主要血管,避免了由較小的動(dòng)脈和靜脈引起的混亂信息。另外,一些學(xué)者提出使用聚類而不是分類方法來(lái)克服這些挑戰(zhàn)[42]。除此之外,考慮到提出的各種眼底圖像血管分類方法是在不同的數(shù)據(jù)集上進(jìn)行評(píng)估(成像條件、強(qiáng)度、分辨率等不同),其性能評(píng)估也是采用不同的標(biāo)準(zhǔn)[分類準(zhǔn)確度、相關(guān)系數(shù)、ROC曲線下方的面積大?。╝rea under curve, AUC)],故無(wú)法定量比較它們,因此,可以考慮各種參數(shù)來(lái)評(píng)估不同的方法。除了AVR(評(píng)估的重要參數(shù)之一)之外。較少的分類錯(cuò)誤影響該方法的可靠性。
4 眼底血管分割、分類方法在中醫(yī)目診中的實(shí)際應(yīng)用
眼底血管的觀察是目診最重要的內(nèi)容之一。一些初期的系統(tǒng)性疾病可能會(huì)導(dǎo)致其形態(tài)結(jié)構(gòu)發(fā)生變化,例如糖尿病[43-44]、高血壓病、肝硬化等,因此,可將視網(wǎng)膜血管作為疾病診斷的一個(gè)重要指標(biāo)。
同時(shí),可根據(jù)眼底血管的病理改變進(jìn)行中醫(yī)辨證分析。(1)血管細(xì)?。貉鄣籽芗?xì)小,伴有眼底退行性變化,例如視盤的顏色,多是氣血不足,虛中夾瘀所致;眼底動(dòng)脈變細(xì),甚至呈白線條狀,多為肝郁氣滯、氣血瘀阻而成;眼底血管痙攣,動(dòng)脈狹窄,反射增加或在動(dòng)脈與靜脈的交叉點(diǎn)處出現(xiàn)壓跡,或黃斑部出現(xiàn)螺旋狀小血管,多為肝腎陰虛、陰不潛陽(yáng)、肝陽(yáng)上亢所致。(2)血管擴(kuò)張:眼底血管粗大,擴(kuò)張扭曲,或呈串珠狀,經(jīng)常伴有滲出物,多為心肝火盛、血分有熱而致瘀;或肝郁氣滯、氣血瘀阻。小血管擴(kuò)張,或血管未形成微血管瘤,顏色暗紅,多為肝腎陰虧,虛火上炎而致瘀。亦有因氣血不足,無(wú)力疏通,血行瘀滯而擴(kuò)張者。(3)血管阻塞:眼底血管阻塞,多為氣滯血瘀,或氣虛血瘀,或痰濕阻滯所致;也可因肝火上炎,火灼脈道而成;或肝陽(yáng)妄動(dòng)、肝氣上逆、氣血郁閉[45]。
中醫(yī)目診觀察眼底病理形態(tài)和功能的方法有檢眼鏡、彩色眼底照相機(jī)、熒光素眼底血管造影、光學(xué)相干斷層掃描儀(optical coherence tomography, OCT)等。彩色眼底圖像是使用眼底照相機(jī)從眼球內(nèi)壁的不同角度拍攝的圖像,它是無(wú)創(chuàng)且無(wú)痛的。更重要的是,它能直接觀察視網(wǎng)膜血管疾病和其他病變[46],例如微血管瘤、出血點(diǎn)、新生血管、硬性滲出和棉絨斑等。彩色眼底照相比檢眼鏡檢查更客觀,也更容易保存,便于患眼與正常眼底血管的比較以及治療前后的比較。這也是大規(guī)模篩查眼底疾病的常用方法。OCT以高清晰的分辨率對(duì)視網(wǎng)膜結(jié)構(gòu)進(jìn)行非侵入性的可視化,是現(xiàn)代醫(yī)學(xué)中有力的活體診斷工具之一[47]。新的頻掃OCT技術(shù)可提供更快的掃描,其更長(zhǎng)的波長(zhǎng)允許更快和更深入的眼底結(jié)構(gòu)的可視化,包括脈絡(luò)膜的評(píng)估。
以往大多數(shù)研究都是基于彩色眼底照相或OCT單一的成像方式對(duì)圖像進(jìn)行分析。由于眼底彩照反映視網(wǎng)膜平面的狀態(tài),而OCT圖像反映視網(wǎng)膜的縱切面,它們描述了視網(wǎng)膜的不同方面,可以相互補(bǔ)充。在臨床實(shí)踐中,眼科醫(yī)生的診斷也并不會(huì)是單模態(tài)的診斷,而是綜合多個(gè)成像源進(jìn)行綜合判斷的過(guò)程。
基于此,本研究團(tuán)隊(duì)通過(guò)彩色眼底圖像和OCT共同組成的多模態(tài)模型的構(gòu)建,訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征,對(duì)人體系統(tǒng)性疾病及中醫(yī)相關(guān)證型進(jìn)行自動(dòng)分類。這種方法摒棄了傳統(tǒng)的包括特征提取和分類器訓(xùn)練的方法,采用了深度學(xué)習(xí)(一種可學(xué)習(xí)其自身功能的機(jī)器學(xué)習(xí)技術(shù))對(duì)兩種輸入圖像進(jìn)行融合。在此基礎(chǔ)上,通過(guò)ROI定位的判定,對(duì)區(qū)域內(nèi)血管特征、其他病理改變等影像學(xué)生物標(biāo)記物進(jìn)行分類與定量分析。在研究包括高血壓病、糖尿病、腎炎、腦卒中等疾病時(shí),對(duì)ROI內(nèi)血管進(jìn)行分割是視網(wǎng)膜血管圖像特征自動(dòng)提取的基礎(chǔ)。通過(guò)視盤分割、AV分類等獲得血管管徑、AV比值、血管彎曲度、微血管瘤、新生血管等的定量指標(biāo),為疾病診斷及中醫(yī)證型的判定提供重要依據(jù),從而形成有系統(tǒng)理論和臨床支持的研究成果,作為中醫(yī)四診方法的重要補(bǔ)充,為臨床診斷和疾病預(yù)測(cè)提供依據(jù),具有重要的實(shí)踐價(jià)值和良好的開發(fā)前景。
參考文獻(xiàn)
[1] 彭清華,彭? 俊,譚涵宇,等.中醫(yī)目診的基本原理及方法[J].湖南中醫(yī)藥大學(xué)學(xué)報(bào),2015,35(10):1-5.
[2] 李? 翔,夏? 飛,鄧? 穎,等.大數(shù)據(jù)時(shí)代下的中醫(yī)現(xiàn)代目診數(shù)字化平臺(tái)建設(shè)[J].中醫(yī)學(xué)報(bào),2020,35(1):19-22.
[3] 張建良,孔凡英.高血壓病、糖尿病、冠心病病人球結(jié)膜微循環(huán)改變的臨床意義[J].湖南醫(yī)學(xué),1993,10(1):16-17.
[4] 張恒義,俞? 鋒.計(jì)算機(jī)眼底血管圖像分析診斷系統(tǒng)[J].生物醫(yī)學(xué)工程學(xué)雜志,1999,16(2):198-202.
[5] 鐘丹丹.高血壓視網(wǎng)膜血管改變?cè)跀M診冠心病患者中的臨床意義[D].衡陽(yáng):南華大學(xué),2016.
[6] 趙? 薇,李利華.動(dòng)態(tài)動(dòng)脈硬化指數(shù)、動(dòng)態(tài)血壓參數(shù)與高血壓眼底改變的關(guān)系[J].中華眼底病雜志,2013,29(1):84-86.
[7] 彭清華,朱文鋒.中國(guó)民間局部診法[M].長(zhǎng)沙:湖南科學(xué)技術(shù)出版社,1995:66-115.
[8] 廖林麗,夏? 飛,王靜敏,等.中醫(yī)目診的基本理論及臨床運(yùn)用[J].湖南中醫(yī)藥大學(xué)學(xué)報(bào),2019,39(7):922-925.
[9] FRAZ M M, RUDNICKA A R, OWEN C G, et al. Automated arteriole and venule recognition in retinal images using Ensemble classification[C]//2014 International Conference on Computer Vision Theory and Applications (VISAPP). Lisbon, Portugal. IEEE, 2014: 194-202.
[10] SHAHIN E M, TAHA T E, AL-NUAIMY W, et al. Automated detection of diabetic retinopathy in blurred digital fundus images[C]//2012 8th International Computer Engineering Conference (ICENCO). Cairo, Egypt. IEEE, 2012: 20-25.
[11] NIEMEIJER M, VAN GINNEKEN B, STAAL J, et al. Automatic detection of red lesions in digital color fundus photographs[J]. IEEE Transactions on Medical Imaging, 2005, 24(5): 584-592.
[12] WALTER T, KLEIN J C, MASSIN P, et al. A contribution of image processing to the diagnosis of diabetic retinopathy: Detection of exudates in color fundus images of the human Retina[J]. IEEE Transactions on Medical Imaging, 2002, 21(10): 1236-1243.
[13] FAUST O, ACHARYA U R, NG E Y K, et al. Algorithms for the automated detection of diabetic retinopathy using digital fundus images: A review[J]. Journal of Medical Systems, 2012, 36(1): 145-157.
[14] FRAZ M M, REMAGNINO P, HOPPE A, et al. Blood vessel segmentation methodologies in retinal images-A survey[J]. Computer Methods and Programs in Biomedicine, 2012, 108(1): 407-433.
[15] MENDON?A A M, CAMPILHO A. Segmentation of retinal blood vessels by combining the detection of centerlines and morphological reconstruction[J]. IEEE Transactions on Medical Imaging, 2006, 25(9): 1200-1213.
[16] 蔣鵬飛,李? 翔,彭清華,等.眼底血管病理學(xué)改變特征研究[J].國(guó)際眼科雜志,2019,19(3):393-397.
[17] NGUYEN U T, BHUIYAN A, PARK L A, et al. An automated method for retinal arteriovenous nicking quantification from color fundus images[J]. IEEE Transactions on Bio-Medical Engineering, 2013, 60(11): 3194-3203.
[18] IKRAM M K, DE JONG F J, VAN DIJK E J, et al. Retinal vessel diameters and cerebral small vessel disease: The Rotterdam Scan Study[J]. Brain, 2006, 129(Pt1): 182-188.
[19] NUNES S, PIRES I, ROSA A, et al. Microaneurysm turnover is a biomarker for diabetic retinopathy progression to clinically significant macular edema: Findings for type 2 diabetics with nonproliferative retinopathy[J]. Ophthalmologica Journal International d'Ophtalmologie International Journal of Ophthalmology Zeitschrift Fur Augenheilkunde, 2009, 223(5): 292-297.
[20] FOROUZANFAR M, FORGHANI N, TESHNEHLAB M. Parameter optimization of improved fuzzy c-means clustering algorithm for brain MR image segmentation[J]. Engineering Applications of Artificial Intelligence, 2010, 23(2): 160-168.
[21] KRAUSE M, ALLES R M, BURGETH B, et al. Fast retinal vessel analysis[J]. Journal of Real-Time Image Processing, 2016, 11(2): 413-422.
[22] KOVáCS G, HAJDU A. A self-calibrating approach for the segmentation of retinal vessels by template matching and contour reconstruction[J]. Medical Image Analysis, 2016, 29: 24-46.
[23] KAR S S, MAITY S P. Blood vessel extraction and optic disc removal using curvelet transform and kernel fuzzy c-means[J]. Computers in Biology and Medicine, 2016, 70: 174-189.
[24] ZHANG J, DASHTBOZORG B, BEKKERS E, et al. Robust retinal vessel segmentation via locally adaptive derivative frames in orientation scores[J]. IEEE Transactions on Medical Imaging, 2016, 35(12): 2631-2644.
[25] YIN Y, ADEL M, BOURENNANE S. Automatic segmentation and measurement of vasculature in retinal fundus images using probabilistic formulation[J]. Computational and Mathematical Methods in Medicine, 2013, 2013: 260410.
[26] ZHANG J, LI H Q, NIE Q, et al. A retinal vessel boundary tracking method based on Bayesian theory and multi-scale line detection[J]. Computerized Medical Imaging and Graphics, 2014, 38(6): 517-525.
[27] DE J, LI H Q, CHENG L. Tracing retinal vessel trees by transductive inference[J]. BMC Bioinformatics, 2014, 15(1): 1-20.
[28] BEKKERS E, DUITS R, BERENDSCHOT T, et al. A multi-orientation analysis approach to retinal vessel tracking[J]. Journal of Mathematical Imaging and Vision, 2014, 49(3): 583-610.
[29] FRAZ M M, BASIT A, BARMAN S A. Application of morphological bit Planes in retinal blood vessel extraction[J]. Journal of Digital Imaging, 2013, 26(2): 274-286.
[30] IMANI E, JAVIDI M, POURREZA H R. Improvement of retinal blood vessel detection using morphological component analysis[J]. Computer Methods and Programs in Biomedicine, 2015, 118(3): 263-279.
[31] XIAO Z Y, ADEL M, BOURENNANE S. Bayesian method with spatial constraint for retinal vessel segmentation[J]. Computational and Mathematical Methods in Medicine, 2013, 2013: 401413.
[32] SALAZAR-GONZALEZ A, KABA D, LI Y M, et al. Segmentation of the blood vessels and optic disk in retinal images[J]. IEEE Journal of Biomedical and Health Informatics, 2014, 18(6): 1874-1886.
[33] RAHEBI J, HARDALA F. Retinal blood vessel segmentation with neural network by using gray-level co-occurrence matrix-based features[J]. Journal of Medical Systems, 2014, 38(8): 85.
[34] FATHI A, NAGHSH-NILCHI A R. General rotation-invariant local binary patterns operator with application to blood vessel detection in retinal images[J]. Pattern Analysis and Applications, 2014, 17(1): 69-81.
[35] GANJEE R, AZMI R, GHOLIZADEH B. An improved retinal vessel segmentation method based on high level features for pathological images[J]. Journal of Medical Systems, 2014, 38(9): 108.
[36] IKRAM M K, DE JONG F J, VINGERLING J R, et al. Are retinal arteriolar or venular diameters associated with markers for cardiovascular disorders The Rotterdam Study[J]. Investigative Ophthalmology & Visual Science, 2004, 45(7): 2129-2134.
[37] SUN C, WANG J J, MACKEY D A, et al. Retinal vascular caliber: Systemic, environmental, and genetic associations[J]. Survey of Ophthalmology, 2009, 54(1): 74-95.
[38] HATANAKA Y, NAKAGAWA T, AOYAMA A, et al. Automated detection algorithm for arteriolar narrowing on fundus images[C]//2005 IEEE Engineering in Medicine and Biology 27th Annual Conference. Shanghai, China: IEEE, 2006: 286-289.
[39] 盧宏濤,張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理,2016,31(1):1-17.
[40] 瞿? 西.眼底照相造影血管分割及動(dòng)靜脈分類方法研究[D].成都:電子科技大學(xué),2019.
[41] MOOKIAH M R K, HOGG S, MACGILLIVRAY T J, et al. A review of machine learning methods for retinal blood vessel segmentation and artery/vein classification[J]. Medical Image Analysis, 2021, 68: 101905.
[42] ZHAO Y T, XIE J Y, ZHANG H Z, et al. Retinal vascular network topology reconstruction and artery/vein classification via dominant set clustering[J]. IEEE Transactions on Medical Imaging, 2020, 39(2): 341-356.
[43] NIVETHA C, SUMATHI S, CHANDRASEKARAN M. Retinal blood vessels extraction and detection of exudates using wavelet transform and pnn approach for the assessment of diabetic retinopathy[C]//2017 International Conference on Communication and Signal Processing (ICCSP). Chennai, India: IEEE, 2017: 1962-1966.
[44] JOSE C, AJU D. A hybrid method for diabetic retinopathy diagnosis through blood vessel extraction and exudates identification from 2D fundus image[J]. Research Journal of Pharmacy and Technology, 2018, 11(3): 1147.
[45] 彭清華,彭? 俊,譚涵宇,等.中醫(yī)目診:眼底病理改變的獲取與分析[J].中華中醫(yī)藥學(xué)刊,2016,34(5):1031-1033.
[46] WINDER R J, MORROW P J, MCRITCHIE I N, et al. Algorithms for digital image processing in diabetic retinopathy[J]. Computerized Medical Imaging and Graphics, 2009, 33(8): 608-622.
[47] 倪? 波,范應(yīng)威,馬? 瓊,等.光學(xué)相干斷層成像在臨床醫(yī)學(xué)中的應(yīng)用[J].激光生物學(xué)報(bào),2018,27(6):481-497.