，，

隨著大數(shù)據(jù)技術(shù)、數(shù)據(jù)挖掘技術(shù)及醫(yī)院信息化的發(fā)展，醫(yī)學(xué)圖像在醫(yī)院診療活動中發(fā)揮著更加重要的角色。同時，隨著醫(yī)學(xué)影像存儲與傳輸系統(tǒng)(Picture Archiving and Communication System，PACS)、醫(yī)學(xué)數(shù)字成像和通信(Digital Imaging and Communications in Medicine，DICOM)等標準的不斷發(fā)展和完善，醫(yī)學(xué)圖像數(shù)據(jù)呈現(xiàn)爆炸式的增長，醫(yī)院內(nèi)部約80%的數(shù)據(jù)都來自于醫(yī)學(xué)影像數(shù)據(jù)。若將這些海量醫(yī)學(xué)圖像數(shù)據(jù)高效、合理地組織起來，能夠很好地輔助醫(yī)學(xué)工作者快速、準確地檢索到自己所要找的目標圖像，因此建立一個高效、準確的醫(yī)學(xué)圖像檢索系統(tǒng)成為迫切需要解決的問題和研究任務(wù)。

醫(yī)學(xué)圖像檢索技術(shù)是圖像檢索技術(shù)在醫(yī)學(xué)領(lǐng)域中的應(yīng)用，伴隨著圖像檢索技術(shù)的發(fā)展，醫(yī)學(xué)圖像檢索技術(shù)先后經(jīng)歷了3次變化，分別是基于文本的醫(yī)學(xué)圖像檢索(Text-Based Image Retrieval，TBIR)、基于內(nèi)容的醫(yī)學(xué)圖像檢索(Content-Based Image Retrieval，CBIR)和基于語義的醫(yī)學(xué)圖像檢索(Semantic-Based Image Retrieval，SBIR)。其中，基于文本的醫(yī)學(xué)圖像檢索是通過關(guān)鍵字和文本對醫(yī)學(xué)圖像進行檢索，需要線下對所有圖像進行標注；基于內(nèi)容的醫(yī)學(xué)圖像檢索是提取圖像本身所具有的視覺特征，包括顏色、形狀、紋理等，建立特征向量，并以此構(gòu)建索引和匹配準則進行所需圖像的檢索；基于語義的醫(yī)學(xué)圖像檢索是通過分析醫(yī)學(xué)圖像的高層語義內(nèi)容，建立起底層視覺特征和高層語義內(nèi)容之間的映射關(guān)系，或用戶根據(jù)檢索結(jié)果進行反饋來逐步減小語義鴻溝[1]。

1 醫(yī)學(xué)圖像檢索關(guān)鍵技術(shù)

1.1 基于文本的醫(yī)學(xué)圖像檢索技術(shù)

TBIR系統(tǒng)開始于20世紀70年代，是借鑒文本檢索技術(shù)對圖像進行標注，標注方式包括人工手動標注或采用半自動或自動化方法標注，目前標注的信息大多基于DICOM結(jié)構(gòu)中的信息[2]，包括患者的姓名、標識、性別、年齡等個人信息和疾病名稱、疾病表征、診斷情況、圖像獲取時間、就診醫(yī)院等醫(yī)學(xué)信息；然后用戶輸入關(guān)鍵詞或相應(yīng)的文本描述，檢索系統(tǒng)在醫(yī)學(xué)圖像庫中查找出標注信息和關(guān)鍵字信息相匹配的圖像，并將結(jié)果呈現(xiàn)給用戶，用戶根據(jù)自己對檢索結(jié)果的滿意度調(diào)整檢索策略，如進一步修改關(guān)鍵詞或限制條件，來不斷提高檢索結(jié)果的準確性。

當(dāng)對圖像進行標注后，基于文本的圖像檢索方法是快速、可靠的，但對于未標注的圖像數(shù)據(jù)庫仍然無法進行檢索；醫(yī)學(xué)圖像本身的內(nèi)容信息如視覺特征無法體現(xiàn)，而且標注程序較為復(fù)雜、耗時較長，同時這些標注帶有主觀性，與檢索用戶對圖像的理解并不完全一致；基于文本的查詢還經(jīng)常出現(xiàn)與結(jié)果無關(guān)的錯誤圖片，錯誤率高達16%[3]，準確性較低[4]。因此，為實現(xiàn)更加高效的圖像檢索，CBIR方法產(chǎn)生了，并成為當(dāng)前醫(yī)學(xué)圖像檢索的研究熱點。

1.2 基于內(nèi)容的醫(yī)學(xué)圖像檢索技術(shù)

CBIR是根據(jù)醫(yī)學(xué)圖像的視覺特征構(gòu)建數(shù)據(jù)庫索引。目前一些商業(yè)化的基于內(nèi)容的圖像檢索系統(tǒng)已開放，如QBIC[5],Photobook[6],Virage[7],VisualSEEK[8]和Netra[9]。Eakins將圖像特征分為3個層次：一級—圖像原始特征，如顏色、紋理、形狀和空間位置等元素；二級—派生屬性或邏輯特征，對圖像中所描述對象的身份進行某種程度的推理，典型的查詢例子如“查找大腦的圖像”；三級—抽象屬性，對物體或或場景描述的意義進行復(fù)雜推理，典型的查詢例子如“查找有結(jié)節(jié)腫塊的肺部圖像”。大多數(shù)基于內(nèi)容的醫(yī)學(xué)圖像檢索系統(tǒng)能夠達到一級的檢索，二、三級檢索還處于不斷的探索研究中?；趦?nèi)容的醫(yī)學(xué)圖像檢索技術(shù)主要包括以下幾點。

1.2.1 圖像特征的提取

顏色特征是圖像檢索中最常用的視覺特征，因為其在圖像底層特征中最具表現(xiàn)力，最容易被識別和提取。目前顏色特征提取的常用方法有直方圖法、顏色聚類法、顏色矩法、顏色相關(guān)圖、顏色集等[10]。但由于大多數(shù)醫(yī)學(xué)圖像都是灰度圖，因此顏色特征算法并不適用于醫(yī)學(xué)圖像。

紋理特征是反映圖像像素灰度級空間分布具有某種重復(fù)規(guī)律的視覺特征，包含6個分量：粗糙度、對比度、方向度、線像度、規(guī)整度和粗略度[1]，前三個特征對檢索更為重要，紋理特征可通過標準變換域工具進行分析，如傅里葉變換、小波、Gabor或Stockwell過濾器，紋理特征對醫(yī)學(xué)圖像檢索是很有用的，能夠反映出圖像的細節(jié)結(jié)構(gòu)[4]。

形狀特征也是圖像的一種重要特征，同類物體的形狀總是類似的，因此形狀特征能夠反映更多的語義內(nèi)容。醫(yī)學(xué)圖像的形狀特征一般只需提取出目標對象的局部區(qū)域，因此準確有效的圖像分割技術(shù)顯得尤為重要。

目前醫(yī)學(xué)圖像分割技術(shù)主要有閾值法、邊緣檢測、區(qū)域分割和混合法，為解決平移、旋轉(zhuǎn)和縮放不變的問題[10]，還需用到等高線、曲線、表面等知識。目前許多方法都使用形狀特征測量圖像之間的相似性，除了顏色、紋理、形狀等反映圖像整體特征外，空間關(guān)系也是圖像檢索的重要特征，它能夠和其他特征結(jié)合起來，更全面、立體地表現(xiàn)圖像特征。目前空間關(guān)系特征的提取方法有兩種：一是分割出圖像中所包含的對象區(qū)域，對這些區(qū)域建立索引；二是將圖像按某種策略劃分成若干子塊，然后對這些子塊提取特征建立索引[11]。

1.2.2 相似性度量

相似性度量是對兩幅圖像的內(nèi)容信息進行相似度比較，比較內(nèi)容即為圖像的各類特征，將提取的特征轉(zhuǎn)換為特征向量，用該特征向量表征相對應(yīng)的圖像，通過距離度量法計算圖像間的相似度。目前常用的基于向量模型的算法有歐氏距離法、Minkowski距離、曼哈頓距離、直方圖交、馬氏距離等，其中，歐氏距離用于特征向量正交無關(guān)的圖像，馬氏距離用于具有統(tǒng)計特性或進行樣本的相關(guān)性分析，具體操作時應(yīng)根據(jù)不同特征選擇合適的度量方法[12]。另一種相似度匹配方法是基于學(xué)習(xí)的匹配技術(shù)[10]，首先對一部分病例圖像進行訓(xùn)練學(xué)習(xí)，然后對未知圖像進行分類，訓(xùn)練方法有支持向量機、神經(jīng)網(wǎng)絡(luò)等。如Wei Guohui等人提出了基于內(nèi)核的半監(jiān)督距離相似性度量法，通過內(nèi)核函數(shù)將原始數(shù)據(jù)映射到一個特征空間，在此空間中進行半監(jiān)督距離度量的訓(xùn)練，其利用微分散射判別準則來表示語義相關(guān)性，正則化項表示視覺相似性，從而測量出查詢圖像和參考圖像的相似性[13]。模仿人的主觀相似度感受，探索符合人類感知行為的人機交互方法是接下來的研究重點。

1.2.3 特征融合技術(shù)

單一的圖像特征僅能從一個角度反映圖像的信息，無法覆蓋多特征矢量特征，因此有研究學(xué)者提出了多特征組合或融合的方法。多特征融合技術(shù)一般分為同步和異步兩種組合方法，同步組合檢索先對不同特征單獨進行相似性度量，然后加權(quán)得到綜合度量值；異步組合檢索是逐層進行，上一層的檢索結(jié)果作為下一層的輸入圖像，不斷縮小檢索范圍來提高檢索精確度[14]。特征融合過程中，用戶首先可根據(jù)各項特征對檢索效果影響程度的不同，對每項特征賦予不同的權(quán)值，從而提高系統(tǒng)的檢索性能。因此，如何量化不同特征對檢索效果的影響程度是特征融合過程中的關(guān)鍵問題，目前相關(guān)反饋技術(shù)的應(yīng)用是解決此問題的一種有效方法。同時在研究特征融合算法過程中，因為不同特征間相似度不具有可比性，因此需要對不同特征進行歸一化處理。文獻[15]在研究基于不變距、小波紋理和高層語義特征等單一特征的基礎(chǔ)上，提出了基于底層-底層和底層-高層兩種級別的特征融合檢索方法，利用VC#和SQL Server2005實現(xiàn)了檢索結(jié)果，驗證了方法的有效性[15]。文獻[16]提出了基于全局特征和相關(guān)反饋的檢索算法，并以標準臨床數(shù)字式X射線圖像數(shù)據(jù)庫為例進行了實驗，結(jié)果表明，查準率能夠提高2-3倍[16]。文獻[17]提出了一種將DICOM文本信息和圖像紋理、形狀特征相結(jié)合的檢索方法，通過設(shè)定權(quán)值將這些特征相結(jié)合，結(jié)果表明聯(lián)合文本信息和底層特征能明顯提高檢索效能[17]。

1.2.4 相關(guān)反饋技術(shù)

在圖像檢索過程中，會出現(xiàn)“語義鴻溝”的現(xiàn)象，主要表現(xiàn)在兩方面，一是圖像的高層語義內(nèi)容和底層特征之間存在“缺口”，二是圖像的視覺特征和用戶對視覺特征理解的不一致性[18]。數(shù)據(jù)相關(guān)反饋技術(shù)(Relevance Feedback,RF)被應(yīng)用于CBIR中，就是為了解決“語義鴻溝”的問題。其原理是用戶根據(jù)第一輪檢索結(jié)果，對結(jié)果做出標記，區(qū)分出不滿意的檢索結(jié)果，并將這些標記信息反饋給系統(tǒng)，系統(tǒng)根據(jù)用戶的反饋對檢索策略做出調(diào)整，同時也是檢索系統(tǒng)學(xué)習(xí)的過程，然后系統(tǒng)再次進行檢索，如此反復(fù)，逐步逼近用戶的需求。目前相關(guān)反饋技術(shù)主要有相似度量公式優(yōu)化、查詢點移動、特征空間變換、機器學(xué)習(xí)、概率統(tǒng)計分類法、聚類分析等[10,19 ]。相似度量公式優(yōu)化就是進行權(quán)值調(diào)整，提高滿意度高的特征度量權(quán)值，降低滿意度低的特征度量權(quán)值，加快正例樣本聚攏；查詢點移動方法是基于圖像可向量化，將圖像特征抽象為查詢點，不斷移動查詢點，來逐步接近正例查詢點；特征空間變換是通過將非聚類的點移到另一個特征空間的點集，來達到降維的目的；機器學(xué)習(xí)法包括監(jiān)督學(xué)習(xí)、主動學(xué)習(xí)、集成學(xué)習(xí)、長期學(xué)習(xí)等，通過樣本訓(xùn)練得到檢索映射模型，再利用這些模型對未知圖像進行檢索[20-21 ]。

1.2.5 檢索效果評價

檢索效果的評價主要是對不同檢索方式的有效性和滿意度進行對比分析，對醫(yī)學(xué)圖像檢索系統(tǒng)的開發(fā)和改進有重要的指導(dǎo)意義。評價方法主要包括查準率和查全率、檢索效率、有效度、匹配百分數(shù)等，查全率是檢索出來的正例圖像數(shù)與系統(tǒng)中所有正例圖像數(shù)的比值，查準率是檢索出來的正例圖像數(shù)與所有結(jié)果數(shù)的比值；有效度是比較檢索系統(tǒng)和用戶對某個圖像的最終排序推斷檢索結(jié)果是否有效；匹配百分數(shù)反映某個目標正例圖像在所有目標正例圖像中的排列位次，體現(xiàn)檢索效果的優(yōu)劣[1,17]。

2 基于語義的醫(yī)學(xué)圖像檢索技術(shù)

2.1 醫(yī)學(xué)圖像的語義特點

上文所描述到的顏色、紋理和形狀等特征都屬于圖像的底層特征，無法反映圖像概念層次上的內(nèi)容，而圖像檢索的最終目的是符合用戶對圖像內(nèi)在含義的理解，因此，如何挖掘醫(yī)學(xué)圖像的深層次的語義特征是當(dāng)前研究的熱點和難點。醫(yī)學(xué)圖像具有很強的專業(yè)性，是特定語義的直觀表達；醫(yī)學(xué)圖像的語義具有多層次多關(guān)聯(lián)的特點，抽象化地描述了人體解剖結(jié)構(gòu)和疾病信息，是醫(yī)學(xué)知識的一種表達方式。因此，可借助相關(guān)的醫(yī)學(xué)知識和計算機視覺特征領(lǐng)域技術(shù)，挖掘圖像視覺特征和高層語義之間、不同高層語義內(nèi)容之間的映射關(guān)系，完成醫(yī)學(xué)圖像的語義提取，實現(xiàn)基于語義的醫(yī)學(xué)圖像檢索。

2.2 醫(yī)學(xué)圖像的語義特征提取

目前醫(yī)學(xué)圖像的語義特征提取的主要思路是構(gòu)建高層語義到底層視覺特征的映射模型，同時在檢索過程中添加用戶反饋[1]。主要方法包括機器學(xué)習(xí)法、最近鄰分類法、支持向量機、貝葉斯網(wǎng)絡(luò)、決策樹等，文獻[22]以臨床醫(yī)師的分析和診斷內(nèi)容為基礎(chǔ)，提取肺部CT影像表征的關(guān)鍵詞語義空間，構(gòu)建醫(yī)學(xué)圖像語義層次模型，采用最近鄰分類方法進行映射，將圖像的底層視覺特征映射到高層語義空間[22]。文獻[23]通過支持向量機映射方法獲得乳腺X影像鈣化病灶的一部分中層特征語義，另一部分通過醫(yī)生判斷給出，然后通過貝葉斯網(wǎng)絡(luò)獲得高層病癥語義節(jié)點[23]。文獻[24]將查詢圖像和數(shù)據(jù)庫中的每個圖像間的語義和視覺相似性融合為它們的成對相似點，然后構(gòu)造加權(quán)圖，其中節(jié)點代表圖像，邊緣測量它們的成對相似度；通過對加權(quán)圖使用最短路徑算法，獲取一個新的相似性度量，從而完成查詢圖像檢索。這種融合成對相似性能夠縮小語義鴻溝，利用該方法對肺疾病常見CT顯像的檢索進行了評價，結(jié)果表明有較好的檢索結(jié)果和檢索效率[24]。文獻[25]根據(jù)DICOM和醫(yī)學(xué)診斷知識，設(shè)定不同層次類別語義(如采集設(shè)備、部位或疾病種類)，建立人工類別語義訓(xùn)練集，利用類別視覺特征語義標注分類器，實現(xiàn)圖像的自動類別語義標注[25]。

另一種語義特征提取方法是基于本體來構(gòu)建醫(yī)學(xué)圖像語義檢索，本體是描述語義術(shù)語關(guān)系概念模型的明確的規(guī)范說明，通常是由領(lǐng)域?qū)＜宜鶚?gòu)建的機器可理解的一種知識體。文獻[26]利用模糊本體中隸屬度的概念, 對查詢語句和圖像關(guān)鍵詞向量空間模型進行模糊本體概念映射和概念相似度計算。實驗證明, 這一方法具有良好的性能[26]。文獻[27]提出了一種基于高層次語義標注的相似醫(yī)學(xué)數(shù)據(jù)庫圖像檢索方法，首先利用生物醫(yī)學(xué)本體語義術(shù)語自動標注圖像內(nèi)容，該策略基于多尺度黎茲小波技術(shù)來描述圖像語義特征；然后對檢索出來的相似的數(shù)據(jù)庫圖像的語義術(shù)語間的相似性進行評估，提出了一種基于圖像和本體論的相異性措施去量化相似圖像間語義術(shù)語的相似性。這兩種策略的組合有助于縮小語義鴻溝，準確檢索數(shù)據(jù)庫中的相似圖像[27]。文獻[28]利用DICOM多樣豐富的醫(yī)學(xué)圖像信息，包括物理特征信息、高級語義、區(qū)域空間布局等內(nèi)容，對圖像進行語義標注，得到相應(yīng)的XML實例并組成組合概念實體集，構(gòu)成醫(yī)學(xué)圖像本體庫進行查詢，但語義標注過程需要懂圖像語義含義的專家完成，比較費時費力[28]。因此，如何利用知識獲取技術(shù)代替專家手工進行自動標注，是一個值得研究的方向。

3 展望

3.1 加強對醫(yī)學(xué)圖像顏色特征提取方法的探索

由于大多數(shù)醫(yī)學(xué)圖像是灰度圖，不同的圖像內(nèi)容灰度信息相似，區(qū)分度較低，目前一些顏色特征提取方法并不適用于醫(yī)學(xué)圖像，因此應(yīng)尋求適合醫(yī)學(xué)圖像特點的顏色特征提取算法和內(nèi)容表示方法，如根據(jù)病灶信息縮小范圍，結(jié)合空間布局分析等。

3.2 加強基于語義的醫(yī)學(xué)圖像檢索方法與技術(shù)的研究

目前對醫(yī)學(xué)圖像的底層特征已研究的較為成熟，如何挖掘出醫(yī)學(xué)圖像深層次的語義內(nèi)容，更加全面地反映醫(yī)學(xué)圖像本身的信息，進一步解決“語義鴻溝”的問題，使檢索結(jié)果更接近于人的感知與理解，是下一步的研究重點。

如可利用數(shù)據(jù)挖掘技術(shù)、知識組織方法和機器學(xué)習(xí)方法對圖像語義信息進行解讀，從視覺特征的相關(guān)研究中借鑒一些方法或思路。

3.3 加強醫(yī)學(xué)圖像檢索系統(tǒng)的應(yīng)用程度

目前大部分醫(yī)學(xué)圖像檢索系統(tǒng)都處于研究階段，應(yīng)用到實際中的很少，因此應(yīng)加強研究成果在實際中的應(yīng)用，可嘗試與醫(yī)院的PACS、RIS等系統(tǒng)進行對接，探索相應(yīng)的應(yīng)用技術(shù)和應(yīng)用價值。

3.4 建立醫(yī)學(xué)圖像檢索系統(tǒng)的性能評價標準

圖像檢索領(lǐng)域的評價標準目前主要還是借鑒本文檢索領(lǐng)域的檢全率和檢準率標準，但醫(yī)學(xué)圖像本身具有很強的專業(yè)性和特殊性，并不是精確匹配的，因此需根據(jù)自身特點建立一套更適合的性能評價標準。

3.5 借鑒其他領(lǐng)域經(jīng)驗，破解技術(shù)難題

可從生物醫(yī)學(xué)工程、模式識別、仿生學(xué)等其他領(lǐng)域借鑒一些好的經(jīng)驗，研究醫(yī)學(xué)圖像檢索不應(yīng)僅局限于圖像檢索這個領(lǐng)域，應(yīng)放開視野，進行變通和融合，幫助突破技術(shù)難題。