李 江

（北京工業(yè)大學(xué)計(jì)算機(jī)學(xué)院 北京 100124）

1 引言

由于成像原理及人體器官結(jié)構(gòu)的復(fù)雜性，現(xiàn)有的單一模態(tài)的醫(yī)學(xué)圖像僅能提供有限的信息，不同模態(tài)的醫(yī)學(xué)圖像之間既有冗余性又有獨(dú)立性。比如電子計(jì)算機(jī)斷層掃描（CT）能清晰呈現(xiàn)高密度的骨骼結(jié)構(gòu)，而磁共振成像（MRI）可以較好地顯示軟組織信息。近年來(lái)醫(yī)學(xué)圖像融合技術(shù)的研究得到了廣泛重視，醫(yī)學(xué)圖像融合對(duì)于臨床診斷具有重要的應(yīng)用價(jià)值，它在病癥診斷及治療時(shí)為醫(yī)生提供更多、更準(zhǔn)確的信息［1～2］。

目前，在醫(yī)學(xué)圖像融合中一類研究較多的方法是將非下采樣 contourlet 變換（NSCT）［3～4］與脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）［5～6］相結(jié)合［7］，通過(guò)發(fā)揮 NSCT具有的平移不變性、多尺度、多方向特性以及PCNN 更符合人類視覺(jué)神經(jīng)系統(tǒng)處理機(jī)制的特點(diǎn)進(jìn)行圖像融合，既保持了圖像的邊緣信息和輪廓結(jié)構(gòu)也提取了有效的細(xì)節(jié)信息。由于CT 圖像和MRI圖像都是灰度圖像，通過(guò)NSCT 和PCNN 得到的融合圖像也是灰度圖像。但是人眼對(duì)灰度圖像的識(shí)別能力遠(yuǎn)遠(yuǎn)低于對(duì)彩色圖像的識(shí)別能力［8～10］，且無(wú)法根據(jù)灰度融合圖像判斷特征點(diǎn)來(lái)源，導(dǎo)致融合圖像攜帶信息量變少，所以需要對(duì)圖像進(jìn)行偽彩色處理。

本文提出了一種基于NSCT 和PCNN 的醫(yī)學(xué)圖像偽彩色處理方法，首先，根據(jù)源圖像的灰度信息，計(jì)算源圖像公共區(qū)域。然后，使用NSCT 和PCNN對(duì)源圖像進(jìn)行處理得到灰度融合圖像，并根據(jù)NSCT 分解生成的低頻子帶和方向子帶進(jìn)行處理，得到融合圖像來(lái)源信息。最后，根據(jù)人類視覺(jué)特性，使用源圖像公共區(qū)域和融合圖像來(lái)源信息，對(duì)灰度融合圖像進(jìn)行偽彩色處理得到偽彩色融合圖像。并通過(guò)對(duì)比灰度融合圖像和偽彩色融合圖像，證明了本文算法得到的偽彩色融合圖像突出了源圖像的公共區(qū)域和來(lái)源信息，有利于發(fā)現(xiàn)病灶。

2 相關(guān)工作

2.1 NSCT

NSCT 由非下采樣的塔式分解（NSPFB）和非下采樣的方向?yàn)V波器組（NSDFB）構(gòu)成。NSCT變換的圖像分解框架如圖1 所示，從中可以看出在NSCT變換中，NSPFB 完成了圖像的多分辨率分解，得到了圖像的頻率子帶、NSDFB 完成了圖像的多方向分解，得到了圖像的方向子帶。

圖1 NSCT分解原理框架

圖像的低頻子帶集中了大部分源圖像能量信息和輪廓信息［11］?；叶葓D像的能量主要體現(xiàn)在像素點(diǎn)灰度值，灰度值越大，則代表圖像的能量越多。圖像的輪廓信息代表源圖像部分區(qū)域與其他區(qū)域之間的對(duì)比度，即兩個(gè)區(qū)域之間的差值越大，代表它們之間的輪廓越清晰。選擇能量較大和輪廓明顯的點(diǎn)，有利于獲得源圖像的更多低頻信息。圖像的高頻子帶集中了源圖像細(xì)節(jié)信息［11］。由于人眼對(duì)圖像對(duì)比度及邊緣、紋理的高敏感度，高頻子帶多方向分解生成的方向子帶使用更符合人類視覺(jué)神經(jīng)系統(tǒng)處理機(jī)制的PCNN處理。

圖2 二維頻譜劃分

2.2 PCNN

脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）具備同步脈沖發(fā)放、捕獲特性，使其對(duì)信號(hào)的處理更符合人類視覺(jué)特征，使用PCNN 對(duì)方向子帶進(jìn)行融合，可以得到更符合人眼特性的融合方向子帶。PCNN 模型如圖3所示，數(shù)學(xué)表達(dá)式詳見(jiàn)參考文獻(xiàn)［12］。

圖3 PCNN簡(jiǎn)化模型

2.3 圖像的偽彩色處理

不同模態(tài)的醫(yī)學(xué)圖像之間既有冗余性又有獨(dú)立性，CT 圖像能清晰反映物質(zhì)的密度，即CT 值越高，密度越高。而人體的高密度區(qū)域除骨骼外，還可能有鈣化、出血、實(shí)體腫瘤等［13］。MRI 圖像軟組織分辨率高，顯示腫瘤的范圍、軟組織腫塊及相應(yīng)骨髓水腫有明顯優(yōu)勢(shì)［13］。圖像的來(lái)源信息代表了圖像不同的特點(diǎn)，而在灰度融合圖像中，無(wú)法判斷圖像的來(lái)源信息，如圖4 所示。因此，圖像的偽彩色處理至關(guān)重要。

在圖 4 中，（a）、（b）、（e）、（f）為源圖像，（c）為通過(guò)融合（a）和（b）得到的灰度融合圖像，（d）為通過(guò)融合（a）和（b）得到的偽彩色融合圖像，（g）為通過(guò)融合（e）和（f）得到的灰度融合圖像，（h）為通過(guò)融合（e）和（f）得到的偽彩色融合圖像?？梢钥闯龌叶热诤蠄D像無(wú)法保留來(lái)源信息，同時(shí)無(wú)法突出源圖像的重疊區(qū)域，不同源圖像可能得到同樣的灰度融合圖像。相較于灰度融合圖像，偽彩色融合圖像保留了來(lái)源信息，同時(shí)可以看出重疊區(qū)域。

圖4 圖像偽彩色處理示意圖

3 基于NSCT 和PCNN 的醫(yī)學(xué)圖像偽彩色處理方法

在本節(jié)中，論文介紹一種基于NSCT 和PCNN的醫(yī)學(xué)圖像偽彩色處理的方法。首先，根據(jù)源圖像的灰度信息，計(jì)算兩幅源圖像中灰度均較大的區(qū)域，即源圖像的公共區(qū)域。然后，使用NSCT對(duì)源圖像進(jìn)行分解，根據(jù)圖像的低頻子帶和高頻字帶，得到圖像的來(lái)源信息和灰度融合圖像。最后，根據(jù)人類視覺(jué)特性，使用源圖像公共區(qū)域和融合圖像來(lái)源信息，對(duì)灰度融合圖像進(jìn)行偽彩色處理得到偽彩色融合圖像。

3.1 計(jì)算源圖像公共區(qū)域

在灰度圖像中，灰度值值越高的點(diǎn)，特征越明顯。源圖像的公共區(qū)域，由兩幅源圖像中特征均明顯的點(diǎn)組成，需要選擇兩幅圖像灰度值均較高的區(qū)域。選擇高亮區(qū)域時(shí)，首先，忽略較暗區(qū)域的像素點(diǎn)，當(dāng)灰度值之和較低時(shí)，認(rèn)為源圖像灰度值均較低或某一副源圖像的灰度值過(guò)低。然后，選擇兩幅源圖像中均為較亮區(qū)域的像素點(diǎn)，即源圖像特征均較明顯。最后，針對(duì)兩幅圖像均存在特征的像素點(diǎn)，選擇灰度值比率在一定范圍內(nèi)的像素點(diǎn)，即源圖像的灰度值均較高，同時(shí)不存在一副圖像的像素點(diǎn)遠(yuǎn)遠(yuǎn)大于另一幅的情況。最終得到的重疊區(qū)域如圖6所示。

在圖6 中，黑色區(qū)域代表了源圖像的重疊區(qū)域，從圖5 中可以看出，當(dāng)圖像灰度較高或較低時(shí)，人眼對(duì)灰度分辨率差［14］。所以選擇灰度值從0～64的區(qū)域作為源圖像的較暗區(qū)域，灰度值從192～255的區(qū)域作為源圖像的高亮區(qū)域。而在灰度值從64～192 的區(qū)域中，存在單獨(dú)某一副源圖像中特征不明顯，但在融合圖像中特征明顯的情況，由于源圖像經(jīng)過(guò)歸一化處理，所以選擇斜率為1 的直線及其周?chē)鷧^(qū)域。

酒款亮點(diǎn)：科波拉酒莊莊主就是電影《教父》的導(dǎo)演弗朗西斯·福特·科波拉（Francis Ford Coppola），2006年他收購(gòu)了這個(gè)位于美國(guó)索諾瑪縣（Sonoma）33公頃的葡萄園，將其更名為科波拉酒莊（Francis Ford Coppola Winery），建立起一個(gè)龐大的葡萄酒帝國(guó)。柯波拉酒莊的釀酒團(tuán)隊(duì)由5位世界級(jí)釀酒大師和60位技術(shù)員工組成。酒莊所釀造的葡萄酒詮釋了加州的風(fēng)土特色。這款酒在美國(guó)和法國(guó)橡木桶里陳釀了14個(gè)月，并加入小西拉進(jìn)行混釀，增強(qiáng)口感，結(jié)構(gòu)良好，余味留有辛香氣息。

圖5 人眼對(duì)灰度的分辨能力

圖6 源圖像的公共區(qū)域

3.2 計(jì)算灰度融合圖像來(lái)源信息

多模態(tài)圖像中，不同的圖像來(lái)源代表不同的信息，比如CT圖像能清晰呈現(xiàn)密度的變化，所以其灰度較高區(qū)域代表骨骼等信息，而MRI圖像表示軟組織信息，其灰度值較高區(qū)域代表血管等信息?；叶热诤蠄D像中，無(wú)法判斷圖像的來(lái)源，只能依靠醫(yī)生的經(jīng)驗(yàn)，因此圖像的來(lái)源信息可以幫助醫(yī)生更好地分析組織結(jié)構(gòu)和診斷病情。

由于圖像的低頻子帶和高頻子帶表征不同的信息，低頻子帶代表了能量信息和輪廓信息，所以我們使用像素灰度值選大融合方法［15］對(duì)低頻子帶進(jìn)行融合，得到圖像的融合低頻子帶，并記錄其來(lái)源信息。融合低頻子帶來(lái)源信息計(jì)算公式如下：

式（1）中，F(xiàn)L表示融合低頻子帶的來(lái)源信息，(i，j)代表像素點(diǎn)的當(dāng)前位置，X1代表第一幅源圖像的低頻子帶灰度值，X2代表第二幅源圖像的低頻子帶灰度值。

由于圖像的高頻子帶集中了細(xì)節(jié)信息，使用具有的同步脈沖發(fā)放、捕獲特性的PCNN 對(duì)高頻子帶分解生成的方向子帶進(jìn)行處理，得到點(diǎn)火映射圖，根據(jù)點(diǎn)火映射圖生成融合方向子帶，并記錄融合方向子帶信息來(lái)源。融合方向子帶來(lái)源信息計(jì)算公式如下：

式（2）中，F(xiàn)D代表融合方向子帶的來(lái)源信息，k代表當(dāng)前頻率子帶，l代表當(dāng)前方向子帶，Y1代表第一幅源圖像當(dāng)前方向子帶的點(diǎn)火次數(shù)，Y2代表第二幅源圖像當(dāng)前方向子帶的點(diǎn)火次數(shù)。

針對(duì)相同頻率的方向子帶，使用來(lái)源信息求和的方式得到來(lái)自于某一副圖像所占的比值。得到了當(dāng)前頻率的來(lái)源信息占比。高頻子帶來(lái)源信息計(jì)算公式如下：

式（3）中，F(xiàn)HS表示頻率子帶的來(lái)源信息，n代表頻率子帶分解得到的方向子帶數(shù)目。

針對(duì)高頻子帶，將高頻來(lái)源信息進(jìn)行累加，然后根據(jù)累加和判斷融合高頻子帶的來(lái)源信息。融合高頻子帶來(lái)源信息計(jì)算公式如下：

式（4）中，SFH表示頻率子帶來(lái)源信息的累加和，m代表頻率子帶數(shù)目。

式（5）中，F(xiàn)H表示高頻子帶的來(lái)源信息。

最后，對(duì)融合低頻子帶來(lái)源信息和融合高頻子帶來(lái)源信息進(jìn)行融合，當(dāng)來(lái)源相同時(shí)，設(shè)置為共同來(lái)源，當(dāng)來(lái)源不同時(shí)，根據(jù)源圖像的灰度值判斷，選擇灰度值較大的來(lái)源。

式（6）中，F(xiàn)表示融合圖像的來(lái)源信息，S1代表第一幅源圖像灰度值，S2代表第二幅源圖像灰度值。

3.3 灰度融合圖像的偽彩色處理

根據(jù)人眼對(duì)不同顏色的分辨率［8］，選擇分辨率較高的顏色，所以使用黑色表示源圖像的底色，白色表示源圖像的公共區(qū)域，紅色表示信息來(lái)源于第一副源圖像的區(qū)域，青色表示信息來(lái)源于第二副源圖像的區(qū)域。計(jì)算公式如下所示：

式（7）中，Color代表所選取顏色的 RGB 值，Gray代表灰度融合圖像中的灰度值，Img代表偽彩色融合圖像的RGB 值。偽彩色顯示中白色RGB值為［255，255，255］，紅色RGB 值為［255，0，0］，青色RGB值為［0，128，128］。

3.4 偽彩色處理過(guò)程

目前，在醫(yī)學(xué)圖像融合中研究較多的方法是NSCT 和 PCNN 的方法，本文基于 NSCT 和 PCNN 對(duì)圖像進(jìn)行處理得到偽彩色融合圖像，大致流程如圖7所示。

圖7 基于NSCT和PCNN的融合圖像偽彩色處理方法框架

首先，根據(jù)源圖像的灰度值計(jì)算得到源圖像公共區(qū)域，即兩幅源圖像中灰度均較高的區(qū)域。其次，對(duì)源圖像進(jìn)行NSCT分解，得到源圖像的各個(gè)頻率子帶。對(duì)高頻子帶進(jìn)行方向分解，得到高頻子帶的各個(gè)方向子帶，因?yàn)椴煌念l率子帶代表圖像不同部分的信息，所以不同的頻率子帶應(yīng)使用不同的融合規(guī)則。針對(duì)低頻子帶使用低頻融合方法，同時(shí)記錄融合低頻子帶的圖像來(lái)源信息。針對(duì)方向子帶，使用PCNN 生成點(diǎn)火映射圖，根據(jù)點(diǎn)火映射圖計(jì)算得到圖像的融合方向子帶，同時(shí)記錄融合方向子帶的圖像來(lái)源信息。然后，對(duì)融合低頻子帶來(lái)源信息和融合方向子帶來(lái)源信息進(jìn)行計(jì)算得到灰度融合圖像的來(lái)源信息。最后，對(duì)融合低頻字帶和融合方向子帶使用NSCT 重構(gòu)得到灰度融合圖像，同時(shí)根據(jù)人類視覺(jué)特性，對(duì)源圖像公共區(qū)域和灰度融合圖像的來(lái)源信息進(jìn)行偽彩色處理，得到偽彩色融合圖像。

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，本文進(jìn)行了比較實(shí)驗(yàn)。使用經(jīng)配準(zhǔn)后的醫(yī)學(xué)圖像作為源圖像，分別是骨腫瘤CT 圖像和MRI 圖像。對(duì)比效果如圖8 所示。從中可以看出灰度融合圖像很好地保留了源圖像的輪廓信息和細(xì)節(jié)信息，但是灰度融合圖像中，MRI 圖像（圖8（b））中的特征被CT 圖像（圖8（a））中的特征覆蓋，而偽彩色融合圖像（圖8（d））與灰度融合圖像（圖8（c））相比，突出了公共區(qū)域和來(lái)源信息，保留了更豐富的信息。

圖8 骨腫瘤CT/MRI圖像及不同融合圖像

圖9 圖8中局部區(qū)域?qū)Ρ?/p>

圖 8 中，（a）為骨腫瘤 CT 圖像，（b）為骨腫瘤MRI 圖像，（c）為骨腫瘤灰度融合圖像，（d）為骨腫瘤偽彩色融合圖像。

為了更清楚地說(shuō)明偽彩色融合圖像保留更豐富的信息，本文將圖8 中的部分區(qū)域取出并放大。比較圖9 中的圖像，偽彩色融合圖像的信息來(lái)源明顯，同時(shí)突出了灰度融合圖像中忽略的病灶。

圖9 中，（a）為骨腫瘤 CT 局部圖像，（b）為骨腫瘤MRI局部圖像，（c）為骨腫瘤灰度融合局部圖像，（d）為骨腫瘤偽彩色融合局部圖像。

5 結(jié)語(yǔ)

醫(yī)學(xué)圖像融合一方面要求融合后的圖像盡可能準(zhǔn)確、豐富地體現(xiàn)源圖像的所含有的信息；另一方面要求融合圖像應(yīng)適應(yīng)人類視覺(jué)特性。基于此，本文在基于NSCT 和PCNN 的圖像融合基礎(chǔ)上，計(jì)算融合圖像的公共區(qū)域和來(lái)源信息，對(duì)圖像進(jìn)行偽彩色處理，得到信息更豐富，更符合人類視覺(jué)特性的偽彩色融合圖像。本文進(jìn)一步的處理工作主要體現(xiàn)在以下幾個(gè)方面。

1）目前實(shí)驗(yàn)數(shù)據(jù)較為單一，由于配準(zhǔn)圖像的獲取較難，目前論文所使用的圖像都是精度較低的圖像，需要已配準(zhǔn)的高精度圖像對(duì)算法進(jìn)行更好的驗(yàn)證。

2）目前缺少對(duì)彩色圖像的客觀評(píng)價(jià)準(zhǔn)則，所以需要使用客觀的偽彩色圖像評(píng)價(jià)準(zhǔn)則進(jìn)行評(píng)價(jià)。

3）目前處理的源圖像是骨腫瘤CT 和MRI 圖像，針對(duì)其他醫(yī)學(xué)圖像的偽彩色處理需要進(jìn)一步優(yōu)化。