李文強(qiáng) 田丹 張妍 劉大豪
摘? 要:綜合運(yùn)用數(shù)字圖像處理、圖形用戶界面設(shè)計、計算機(jī)視覺等多種技術(shù),基于MATLAB圖形用戶界面功能開發(fā)了一種醫(yī)學(xué)影像處理平臺,主要實(shí)現(xiàn)了醫(yī)學(xué)影像處理界面的搭建和各控件回調(diào)函數(shù)的設(shè)計。平臺主要分為五大模塊:底層處理模塊、加載噪聲模塊、圖像去噪模塊、圖像分割模塊和圖像三維重建模塊。實(shí)驗(yàn)結(jié)果表明,平臺設(shè)計具有良好的可視性和交互性,能充分挖掘醫(yī)學(xué)影像信息,便于醫(yī)生從多角度、多層次進(jìn)行觀察和分析,可為醫(yī)學(xué)診斷提供有力的信息支撐。
關(guān)鍵詞:圖像處理;圖形用戶界面;醫(yī)學(xué)影像
中圖分類號:TP391? ? ?文獻(xiàn)標(biāo)識碼:A
Abstract: This paper proposes a medical image processing platform by integrating a variety of technologies, such as digital image processing, graphical user interface design, and computer vision. Based on MATLAB (Matrix & Laboratory) graphical user interface function, this platform is designed to realize medical image processing interface construction and callback function. The platform is mainly divided into five modules: low-level processing module, loading noise module, image denoising module, image segmentation module, and image 3D reconstruction module. Simulation results show that with good visibility and interaction, the proposed platform can fully present medical image information, facilitate doctors to observe and analyze image information from multiple angles and levels, and provide reliable information support for medical diagnosis.
Keywords: image processing; graphical user interface; medical imaging
1? ?引言(Introduction)
醫(yī)學(xué)影像的信息化、數(shù)字化、智能化能有效提高醫(yī)學(xué)診斷的準(zhǔn)確性和治療的及時性[1]。醫(yī)學(xué)影像處理技術(shù)將科學(xué)計算中所產(chǎn)生的數(shù)字信息轉(zhuǎn)變?yōu)橹庇^的圖像或圖形形式,在醫(yī)療診斷、手術(shù)規(guī)劃、虛擬手術(shù)中均有著廣泛應(yīng)用[2]。
本文設(shè)計了一款醫(yī)學(xué)影像處理平臺,通過進(jìn)一步擴(kuò)展可應(yīng)用于計算機(jī)輔助診斷領(lǐng)域[3]。在算法研究的基礎(chǔ)上,基于MATLAB的圖形用戶界面設(shè)計功能[4]最終搭建可視化平臺,設(shè)計系統(tǒng)軟件包,使其具有友好的交互性,能夠完成對醫(yī)學(xué)影像進(jìn)行底層處理、噪聲加載、圖像去噪、圖像分割和三維重建等處理功能,獲取直觀的醫(yī)學(xué)影像立體結(jié)構(gòu)信息,從而分析感興趣區(qū)域指導(dǎo)診斷過程,輔助醫(yī)學(xué)診斷和治療。
2? ?國內(nèi)外現(xiàn)狀(Domestic and international status)
醫(yī)學(xué)影像處理是醫(yī)學(xué)、數(shù)學(xué)、計算機(jī)科學(xué)等多學(xué)科的交叉融合技術(shù),已經(jīng)成功應(yīng)用于指導(dǎo)醫(yī)療臨床實(shí)踐。對醫(yī)學(xué)切片圖像的處理,發(fā)達(dá)國家在20世紀(jì)80年代已開展了相關(guān)研究,取得了一些研究成果。2003年,Lauterbur和Mansfied發(fā)明MRI技術(shù),獲得諾貝爾生理學(xué)或醫(yī)學(xué)獎。21世紀(jì)以來,隨著計算機(jī)硬件技術(shù)的不斷發(fā)展和對醫(yī)學(xué)圖像的要求越來越高,對三維醫(yī)學(xué)圖像的需求也變得越來越多[5]。IEEE TMI執(zhí)行主編MaxViergever教授領(lǐng)導(dǎo)荷蘭烏得勒支大學(xué)圖像科學(xué)中心建立了三套標(biāo)準(zhǔn)醫(yī)學(xué)圖像數(shù)據(jù)集。這一成果使得二維醫(yī)學(xué)圖像序列可以重建為三維醫(yī)學(xué)圖像。國內(nèi)對于醫(yī)學(xué)圖像研究相關(guān)項目的開展,相對國外較晚,但在不斷快速發(fā)展中[6]。2017年,西安電子科技大學(xué)開展了基于CT圖像的人工假體3D打印建模技術(shù)研究。2019年,中國科學(xué)院大學(xué)發(fā)表了“基于機(jī)器學(xué)習(xí)的醫(yī)學(xué)影像分割關(guān)鍵問題研究及其在腫瘤診療中的應(yīng)用”。
3? 圖形用戶界面設(shè)計(Graphical user interface design)
目前很多醫(yī)學(xué)影像處理平臺只能用文本編程,需要使用者具有一定的編程水平,同時還存在重復(fù)編碼問題。針對上述問題,我們基于MATLAB圖形用戶界面設(shè)計功能開發(fā)了一款能夠可視化編程的醫(yī)學(xué)影像處理平臺。本設(shè)計綜合運(yùn)用了數(shù)字圖像處理、圖形用戶界面設(shè)計、計算機(jī)視覺等多種智能技術(shù),可以為該領(lǐng)域的同學(xué)提供一個開放的算法設(shè)計和二次開發(fā)的工具。
MATLAB圖形用戶界面設(shè)計是一種提供人機(jī)交互功能的重要工具。圖形用戶界面由窗口、圖標(biāo)、菜單、文本、光標(biāo)、按鍵和對話框等多種圖形對象構(gòu)成。當(dāng)以某種方式激活這些控件對象時,便能夠添加相應(yīng)的功能模塊。本文設(shè)計的醫(yī)學(xué)影像處理平臺重點(diǎn)和難點(diǎn)在于平臺界面的搭建和CALLBACK回調(diào)函數(shù)的設(shè)計。圖1中給出了本文設(shè)計的醫(yī)學(xué)影像處理平臺的默認(rèn)用戶界面。該平臺主要分為五大模塊:底層處理模塊、加載噪聲模塊、圖像去噪模塊、圖像分割模塊和圖像三維重建模塊。
在MATLAB圖形用戶界面中,添加“面板”控件用于對處理功能進(jìn)行分類;添加“axes”控件用于顯示醫(yī)學(xué)切片圖像及其處理效果;在底層處理面板中添加五個“按鈕”控件分別用于實(shí)現(xiàn)圖像旋轉(zhuǎn)、亮度調(diào)節(jié)、灰度化處理、圖像放大和還原功能;例如,當(dāng)單擊圖像旋轉(zhuǎn)按鈕時,會彈出旋轉(zhuǎn)角度設(shè)置窗口,合理設(shè)置后,即可實(shí)現(xiàn)相應(yīng)的圖像旋轉(zhuǎn)功能;當(dāng)單擊圖像放大按鈕時,選中原始圖像中的感興趣區(qū)域,雙擊即可實(shí)現(xiàn)相應(yīng)的圖像放大功能。圖2和圖3分別給出了旋轉(zhuǎn)角度為80°的圖像旋轉(zhuǎn)效果和圖像感興趣區(qū)域的放大效果。
在加載噪聲面板中添加了三個“按鈕”控件分別用于實(shí)現(xiàn)圖像中典型噪聲的加載。椒鹽噪聲是一種黑白亮暗斑噪聲。高斯噪聲是一種隨機(jī)噪聲,其幅度服從高斯分布。乘性噪聲與圖像有著相乘關(guān)系。點(diǎn)擊椒鹽噪聲按鈕,在彈出的設(shè)置框中輸入噪聲強(qiáng)度為0.02,圖4給出了對應(yīng)的處理效果。
在圖像去噪面板中添加“中值濾波”和“線性濾波”按鈕對圖像進(jìn)行去噪處理。中值濾波是一種非線性平滑技術(shù),它將像素灰度值設(shè)置為某個鄰域窗口內(nèi)所有像素的中值,讓周圍的像素值接近真實(shí)值,從而消除孤立的噪聲點(diǎn)。與中值濾波相似,線性濾波也直接處理像素灰度,但采用線性平滑的方式。
在圖像分割面板中添加了分割算子按鈕。sobel算子是一種離散性差分算子,通過對圖像亮度函數(shù)梯度近似值的計算,實(shí)現(xiàn)圖像的邊緣檢測功能。圖像通過sobel算子的卷積處理,可以提取陡峭部分的單像素寬邊緣;對于邊緣模糊部分,通過sobel算子的多次重復(fù)操作,也可獲取較細(xì)邊緣,有利于提高定位精度。roberts算子利用對角線方向相鄰像素差分近似梯度幅值實(shí)現(xiàn)圖像邊緣檢測。用其檢測垂直邊緣的效果要優(yōu)于檢測傾斜邊緣,定位精度高,但對噪聲敏感,無法抑制噪聲對圖像產(chǎn)生的影響。圖5給出了基于sobel算子的圖像分割效果。
在圖像三維重建面板中設(shè)置了五個按鈕控件。清空窗口按鈕能夠?qū)⒃紙D像窗口和圖像處理效果窗口內(nèi)容進(jìn)行清空處理,進(jìn)而便于導(dǎo)入和展示Z軸切片和Y軸切片圖像。通過將醫(yī)學(xué)切片圖像進(jìn)行多層小波分解與重構(gòu),能實(shí)現(xiàn)圖像的三維重建及二次逼近功能。圖6和圖7分別給出了醫(yī)學(xué)腦圖像三維重建的效果示例及其二次逼近的效果示例。
本文的重點(diǎn)和難點(diǎn)還在于各功能控件CALLBACK回調(diào)函數(shù)的設(shè)計。右鍵單擊控件可以調(diào)用對應(yīng)控件的回調(diào)函數(shù)框架,在框架模板下即可編程實(shí)現(xiàn)相應(yīng)的控件功能。下面給出平臺搭建與功能設(shè)計的部分代碼:
4? ?結(jié)論(Conclusion)
本文基于MATLAB科學(xué)計算軟件設(shè)計了一款醫(yī)學(xué)影像處理平臺。該平臺主要分為五大模塊:底層處理模塊、加載噪聲模塊、圖像去噪模塊、圖像分割模塊、圖像三維重建模塊。模塊功能由簡至繁,從二維影像的處理到三維影像的構(gòu)建,通過優(yōu)化計算,充分展示了醫(yī)學(xué)影像數(shù)據(jù)信息和特征。該設(shè)計綜合運(yùn)用了數(shù)字圖像處理、圖形用戶界面設(shè)計、計算機(jī)視覺等多種智能技術(shù),可應(yīng)用于醫(yī)學(xué)計算機(jī)輔助診斷領(lǐng)域,具有一定的研究意義。
本設(shè)計仍有不足之處,例如醫(yī)學(xué)影像三維重建功能不夠透視化,無法完全展示內(nèi)部構(gòu)造,這將成為我們后續(xù)的研究方向。
參考文獻(xiàn)(References)
[1] 朱翔宇,葛中芹,張冰清,等.基于圖像處理的醫(yī)學(xué)影像處理平臺系統(tǒng)設(shè)計[J].中國醫(yī)學(xué)物理學(xué)雜志,2017,34(04):388-392.
[2] 張玉芳,關(guān)天民,劉光孟,等.基于CT數(shù)據(jù)的醫(yī)學(xué)圖像處理系統(tǒng)設(shè)計[J].中國醫(yī)學(xué)物理學(xué)雜志,2019,36(09):1055-1062.
[3] 魏敏,王松,吳亞東.醫(yī)學(xué)圖像可視化的視覺優(yōu)化方法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2019,31(04):659-667.
[4] 郝勁波,徐仰彬,武戈,等.基于MATLAB GUI的聲速測量實(shí)驗(yàn)仿真及數(shù)據(jù)處理[J].大學(xué)物理實(shí)驗(yàn),2019,32(04):79-83.
[5] ChaudharyA, SankheshJ, SanchezA, et al. Cross-platform ubiquitous volume rendering using programmable shaders in VTK for scientific and medical visualization[J]. IEEE Computer Graphics and Applications, 2019,39(1):26-43.
[6] 吳長嵩,廖一鳴,胡汪洋,等.無人機(jī)航拍圖像三維重建技術(shù)研究綜述[J].科學(xué)技術(shù)創(chuàng)新,2020(22):83-84.