賀林峰，張曉敏，武梅梅，林　強(qiáng)，袁石磊，劉曉光，楊　民,*

基于非下采樣輪廓波變換的中子/X射線圖像融合算法研究

賀林峰1，張曉敏2，武梅梅1，林強(qiáng)2，袁石磊3，劉曉光1，楊民2,*

（1. 中國(guó)原子能科學(xué)研究院，北京102413；2. 北京航空航天大學(xué)，北京 100191；3. 河南華探檢測(cè)技術(shù)有限公司，河南鄭州 450000）

由于中子與X射線的成像特性存在很好的互補(bǔ)性，將這兩種成像模式下的DR（Digital Radiography）圖像進(jìn)行融合，可以豐富圖像細(xì)節(jié)的信息量。本研究提出了基于簡(jiǎn)化脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）的非下采樣輪廓波變換（NSCT）域中子/X射線圖像融合算法，所提出的方法通過NSCT算法對(duì)源圖像進(jìn)行多尺度、多方向分解，有效地保留了各層信息，使得融合圖像展現(xiàn)出良好的清晰度和對(duì)比度。同時(shí)，為了更好地保留源圖像的信息，本研究對(duì)圖像的不同頻帶分別采用取平均、絕對(duì)值取大和結(jié)合PCNN系數(shù)的融合規(guī)則進(jìn)行融合。通過選取結(jié)構(gòu)較為復(fù)雜的石英表、機(jī)械表以及結(jié)構(gòu)相對(duì)較為簡(jiǎn)單的U盤進(jìn)行中子與X射線圖像采集，并利用多種客觀評(píng)價(jià)指標(biāo)定量評(píng)價(jià)基于小波變換融合、拉普拉斯變換融合、NSCT融合、NSCT-PCNN融合、Zhu的方法以及本文提出的方法生成中子與X射線融合圖像的質(zhì)量。實(shí)驗(yàn)結(jié)果證明，本文所提出的融合算法能夠顯著提高圖像融合效果，獲得清晰的目標(biāo)信息，提高了圖像對(duì)比度，同時(shí)保留豐富的細(xì)節(jié)信息，在客觀評(píng)價(jià)標(biāo)準(zhǔn)和視覺效果上均優(yōu)于其他典型方法。

圖像融合；非下采樣輪廓波變換；脈沖耦合神經(jīng)網(wǎng)絡(luò)；中子圖像；X射線圖像

X射線成像與中子成像作為兩種重要的輻射成像方式，近些年來在材料學(xué)、生物醫(yī)學(xué)、航空航天、汽車工業(yè)、電子、考古、安檢等領(lǐng)域的無(wú)損檢測(cè)中發(fā)揮著越來越重要的作用[1,2]。眾所周知，X射線和中子與物質(zhì)的作用機(jī)理不同，X射線作用于物質(zhì)原子核外電子，其作用截面與核素的原子序數(shù)有確定的函數(shù)關(guān)系，而中子則是直接與原子核相互作用，散射截面大小與原子序數(shù)沒有直接關(guān)系。由此可見，中子成像與X射線成像特性存在著很好的互補(bǔ)性，中子成像在檢測(cè)含較輕元素的材料、原子序數(shù)相近元素等方面有著X射線無(wú)法具備的優(yōu)勢(shì)，而X射線在檢測(cè)金屬材料、高密度物質(zhì)時(shí)具有更高的靈敏度。因此，對(duì)于檢測(cè)含有金屬和非金屬材質(zhì)的復(fù)雜結(jié)構(gòu)樣品，利用中子成像和X射線成像兩種成像手段，可以獲得樣品更為全面的成分及結(jié)構(gòu)信息。

圖像融合是將不同場(chǎng)景的圖像傳感器獲得的多源圖像或同一場(chǎng)景中不同模式的圖像進(jìn)行信息合成，以獲得具有多元信息的融合圖像。與源圖像相比，融合圖像提取了來自多個(gè)圖像的互補(bǔ)和冗余信息，因此，更加詳盡地描述了場(chǎng)景信息[3]。所以，利用圖像融合技術(shù)將中子成像與X射線成像得到的圖像進(jìn)行綜合處理，可以豐富圖像的邊緣、紋理等細(xì)節(jié)信息，生成質(zhì)量更高的圖像。

本研究中，針對(duì)中子成像與X射線成像兩種模式下的圖像融合，提出了一種基于非下采樣輪廓波變換（NSCT）分解的圖像融合方法。通過NSCT對(duì)兩種模式的圖像進(jìn)行多尺度、多方向分解后，我們對(duì)中子圖像與X射線圖像中低頻子帶、低層高頻子帶和頂層高頻子帶分別采用了不同的融合規(guī)則以保留圖像更多的細(xì)節(jié)信息。在低頻子帶融合時(shí)，考慮到直接取平均會(huì)導(dǎo)致邊緣信息不夠精細(xì)，本文將Sobel邊緣檢測(cè)算法引入到低頻子帶融合系數(shù)的選取規(guī)則中。高頻子帶蘊(yùn)含了輸入圖像中的細(xì)節(jié)信息和特征，采用絕對(duì)值取大規(guī)則可以保留豐富的細(xì)節(jié)信息，但是由于中子與X射線圖像信噪比較差，噪聲信息分解后高頻系數(shù)較大，導(dǎo)致融合后圖像噪聲問題仍然明顯。因此，在對(duì)高頻子帶系數(shù)進(jìn)行選取時(shí)，在相對(duì)低層的高頻子帶中使用取大融合規(guī)則，保證待融合圖像中原有的細(xì)節(jié)信息不丟失，而在頂層高頻子帶中使用簡(jiǎn)化的PCNN模型來選取融合系數(shù)，在該模型中，采用拉普拉斯能量和矩陣與能見度矩陣作為其鏈接強(qiáng)度，進(jìn)而實(shí)現(xiàn)了對(duì)噪聲的抑制。實(shí)驗(yàn)結(jié)果表明，所提出的方法在中子成像與X射線成像的圖像融合中達(dá)到了較好的融合效果，不僅能夠保留X射線圖像的金屬材料信息，而且可以展現(xiàn)中子圖像的非金屬材料信息，融合圖像具有較高的對(duì)比度，目標(biāo)信息顯著，細(xì)節(jié)信息豐富。

1　基于非下采樣輪廓波變換的中子/X射線圖像融合算法

1.1　非下采樣輪廓波變換

如圖1所示，基于非下采樣輪廓波變換（NSCT）分解過程由兩個(gè)主要的部分組成，非下采樣金字塔（Nonsubsampled Pyramid，NSP）與非下采樣方向?yàn)V波器組（Nonsubsampled Directional Filter Bank，NSDFB），NSP負(fù)責(zé)對(duì)圖像進(jìn)行多分辨率分解，NSDFB則負(fù)責(zé)對(duì)圖像進(jìn)行多方向分解。首先采用NSP對(duì)圖像進(jìn)行多尺度分解，每經(jīng)過一級(jí)NSP分解可產(chǎn)生一個(gè)低頻子帶和一個(gè)高頻子帶，NSP分解在低頻子帶上進(jìn)行迭代以獲取圖像中的奇異點(diǎn)；然后對(duì)每一級(jí)的高頻子帶采用NSDFB進(jìn)行多方向分解，將分布在同一方向上的奇異點(diǎn)合成為一個(gè)系數(shù)，從而得到不同尺度和方向的子帶圖像。

圖1　NSCT分解過程示意圖

圖2　非下采樣金字塔

NSDFB分解過程中，非下采樣方向?yàn)V波器組結(jié)構(gòu)如圖3（a）所示。

圖3（b）所示為非下采樣方向?yàn)V波器組的分解示意圖。第一層為扇形濾波器組，第二層為象限濾波器組，經(jīng)過二層濾波可以得到圖像四個(gè)方向上的頻率子帶圖，相應(yīng)頻帶劃分如圖3（c）所示。如果在此基礎(chǔ)之上對(duì)每一個(gè)得到的頻率子帶圖進(jìn)行雙通道濾波，則可以得到八個(gè)方向上的頻率子帶圖。分解濾波器與合成濾波器同樣也需要滿足Bezout恒等式：

圖3　非下采樣方向?yàn)V波器組

圖3　非下采樣方向?yàn)V波器組（續(xù)）

圖4為圖像進(jìn)行3級(jí)NSCT分解的示意，每個(gè)尺度下的方向分解級(jí)數(shù)為2。首先采用NSP對(duì)源圖像進(jìn)行第一級(jí)分解，得到一個(gè)高頻子帶和一個(gè)低頻子帶，采用NSDFB對(duì)得到的高頻子帶進(jìn)行多方向分解得到尺度一圖像；采用NSP對(duì)第一級(jí)分解得到的低頻子帶進(jìn)行第二級(jí)分解，同樣可以得到一個(gè)高頻子帶和一個(gè)低頻子帶，以此類推，最終，NSCT將原圖像分解為一個(gè)低通分量和若干高通分量?？梢钥闯觯琋SCT分解有效地將圖像的不同方向、不同頻帶信息進(jìn)行了表示。

圖4　NSCT多尺度分解圖

1.2　簡(jiǎn)化的脈沖耦合神經(jīng)網(wǎng)絡(luò)

脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）[4,5]具有重要的生物學(xué)背景，被稱為第三代人工神經(jīng)網(wǎng)絡(luò)。PCNN具有神經(jīng)元的全局耦合和脈沖同步特性，與真實(shí)哺乳動(dòng)物視覺皮層神經(jīng)元較為相近，因此更加適合于視覺系統(tǒng)的描述，在圖像處理領(lǐng)域中有著其他方法所不具備的優(yōu)勢(shì)。源圖像經(jīng)過NSCT多尺度、多方向分解后，各個(gè)分量的融合規(guī)則選擇會(huì)極大地影響圖像融合的質(zhì)量。傳統(tǒng)的加權(quán)平均等方法用于高頻分量融合時(shí)會(huì)導(dǎo)致細(xì)節(jié)信息的丟失，不能達(dá)到很好的融合效果。PCNN具有位移、旋轉(zhuǎn)、尺度和扭曲不變的特性，能夠充分利用圖像的全局特征，將其應(yīng)用到圖像融合中可以保留源圖像的更多細(xì)節(jié)信息，獲得顯著的目標(biāo)信息和較高的對(duì)比度。

原始的PCNN模型非常復(fù)雜，不便于實(shí)際的應(yīng)用。在盡可能減少處理性能損失的前提下，PCNN模型應(yīng)盡量簡(jiǎn)化，這樣不僅能夠提升處理效率，而且還方便實(shí)現(xiàn)。因此，簡(jiǎn)化的PCNN模型不斷被提出，最常用的簡(jiǎn)化PCNN模型[6]如圖5所示。

圖5　簡(jiǎn)化的PCNN神經(jīng)元模型[23]

式中：——當(dāng)前迭代次數(shù)；

1.3　基于NSCT的圖像融合算法設(shè)計(jì)

在圖像融合的過程中，融合規(guī)則占有極其重要的地位。有效的融合規(guī)則能夠明顯提升圖像質(zhì)量，豐富圖像所包含的細(xì)節(jié)信息。對(duì)于X射線與中子圖像來說，其圖像特點(diǎn)不同于同源圖像，且中子與X射線的成像特性差異較大，輕元素對(duì)中子衰減較大，而金屬材料對(duì)X射線衰減較大。圖像上表現(xiàn)為金屬材料在X射線DR圖像亮度較低，而非金屬材料在中子DR圖像上亮度較低。因此，理想的融合圖像需要將X射線圖像中金屬材料信息與中子圖像中非金屬材料信息進(jìn)行融合，因此融合規(guī)則也需要進(jìn)行相適應(yīng)的選取。

圖像低頻子帶系數(shù)主要展現(xiàn)的是圖像灰度的概貌信息，常見的低頻融合方法有簡(jiǎn)單取平均，絕對(duì)值取大以及區(qū)域能量最大化法等。X射線與中子圖像融合，屬于多源圖像融合，在融合時(shí)直接取平均可以保留兩幅圖像低頻基本的灰度信息，能夠有效地將二者的金屬材料及非金屬材料的基本信息進(jìn)行整合并體現(xiàn)在融合圖像上，但是對(duì)于邊緣處理不夠精細(xì)，因此本文中，首先對(duì)輸入的低頻圖像利用Sobel邊緣檢測(cè)算法進(jìn)行邊緣檢測(cè)[7]。對(duì)于檢測(cè)得到的圖像1與2，其中對(duì)應(yīng)邊緣處灰度值為1，非邊緣處為0，然后利用公式（4）對(duì)低頻系數(shù)進(jìn)行選擇：

高頻子帶的系數(shù)表示了原始輸入圖像的細(xì)節(jié)信息和特征，如區(qū)域的邊緣以及輪廓邊界等，因此圖像細(xì)節(jié)信息的豐富程度與高頻子帶系數(shù)直接相關(guān)。高頻子帶系數(shù)較大的，表示區(qū)域的對(duì)比度較大，圖像更加清晰，所以在高頻子帶的融合規(guī)則中需要選取系數(shù)絕對(duì)值大者，可以將X射線圖像中金屬材料與中子圖像中非金屬材料的邊緣、紋理等細(xì)節(jié)信息提取出來并融合。但是這樣引入的問題就是當(dāng)原始輸入圖像存在噪聲時(shí)，由于噪聲經(jīng)過分解后的高頻系數(shù)較大，導(dǎo)致融合后圖像噪聲問題仍然明顯。尤其對(duì)于本文中的中子圖像，受低中子產(chǎn)額以及成像過程中的γ射線的影響，往往信噪比較低，圖像噪聲水平相對(duì)X射線明顯更高。因此，在高頻子帶的系數(shù)選擇中，在相對(duì)低層的高頻子帶中使用絕對(duì)值取大融合規(guī)則，保證待融合圖像中原有的細(xì)節(jié)信息不丟失，而在頂層高頻子帶中使用結(jié)合PCNN的融合規(guī)則，在選取系數(shù)時(shí)考慮周圍像素點(diǎn)的影響，進(jìn)而對(duì)中子圖像噪聲進(jìn)行抑制。

（1）取大融合規(guī)則

取大融合規(guī)則本質(zhì)上是選取兩幅圖像中系數(shù)相對(duì)較大、能量較高的系數(shù)作為最終圖像對(duì)應(yīng)高頻子帶的分解表示。其計(jì)算過程可由公式（5）表示：

圖像的特征信息是由鄰域內(nèi)的像素共同表示，而并非由單獨(dú)的像素點(diǎn)表達(dá)，所以在融合時(shí)需要考慮具有較強(qiáng)相關(guān)性的鄰域內(nèi)像素的灰度值。拉普拉斯能量和可以很好地衡量圖像中某鄰域內(nèi)圖像灰度變化的相對(duì)值以及細(xì)節(jié)信息的豐富與否。拉普拉斯能量數(shù)學(xué)表達(dá)式如公式（6）所示。

、——局部區(qū)域中心點(diǎn)的橫縱坐標(biāo)；

圖像的能見度可以很好地衡量鄰域內(nèi)某點(diǎn)與整個(gè)區(qū)域平均灰度的關(guān)系，并判別該點(diǎn)是否為鄰域內(nèi)表現(xiàn)細(xì)節(jié)的點(diǎn)。圖像能見度數(shù)學(xué)表達(dá)式如公式（7）所示。

3.病理剖檢。病死雞剖析可見嗉囊充滿積液，盲腸或小腸顯著腫大，比正常腫大2～4倍，外表呈紫紅色，腸腔充滿凝固或新鮮的暗紅色血液，盲腸壁變厚，漿膜層有針尖至米粒大小的灰白色糜爛點(diǎn)和紫色出血點(diǎn)間染，腸腔內(nèi)充滿許多混血內(nèi)容物。

將拉普拉斯能量和與能見度作為PCNN算法的輸入激勵(lì)，在高頻子帶選取相對(duì)細(xì)節(jié)信息較為豐富的對(duì)應(yīng)點(diǎn)的系數(shù)，其高頻子帶系數(shù)選擇流程如下：

中子/X射線圖像融合算法整體流程如圖6所示。

圖6　X射線/中子圖像融合整體算法流程圖

詳細(xì)的融合過程包括以下五個(gè)步驟：

Step1. 將已配準(zhǔn)的X射線圖像與中子圖像進(jìn)行NSCT分解，得到一個(gè)低頻子帶圖像和一系列的高頻子帶圖像；

Step2. 對(duì)兩種模式下的低頻子帶圖像分別執(zhí)行Sobel邊緣檢測(cè)算法，并根據(jù)公式（4）對(duì)低頻子帶圖像進(jìn)行融合；

Step3. 根據(jù)公式（5）對(duì)低層高頻子帶圖像進(jìn)行融合；

Step4. 將兩種模式下的頂層高頻子帶圖像進(jìn)行歸一化處理并作為外部刺激輸入PCNN，計(jì)算圖像拉普拉斯能量和矩陣與能見度矩陣，然后將它們作為鏈接強(qiáng)度矩陣。通過簡(jiǎn)化的PCNN為頂層高頻子帶圖像選擇融合后的NSCT系數(shù)。PCNN融合過程如下：

2）根據(jù)公式（6）至公式（7）計(jì)算兩種模式圖像的拉普拉斯能量和矩陣與能見度矩陣并作為鏈接強(qiáng)度；

3）以圖像歸一化灰度矩陣作為外部刺激輸入PCNN模型，根據(jù)公式（3）執(zhí)行迭代步驟。

Step5. 通過NSCT逆變換重建得到融合圖像。

本文所提出的方法由于將高頻子帶分為低層高頻子帶與頂層高頻子帶兩部分，并分別采用不同的融合規(guī)則進(jìn)行融合，所以在保留圖像細(xì)節(jié)信息與保持圖像對(duì)比度上有著較好的效果。同時(shí)由于頂層融合規(guī)則引入了PCNN系數(shù)，所提出的方法能夠?qū)D像噪聲進(jìn)行一定程度地抑制。

2　實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本文所提出圖像融合算法的有效性，我們選取結(jié)構(gòu)較為復(fù)雜的石英表、機(jī)械表以及結(jié)構(gòu)相對(duì)較為簡(jiǎn)單的U盤進(jìn)行X射線與中子圖像采集。X射線圖像采集條件如表1所示?；谥袊?guó)原子能科學(xué)研究院的熱中子照相裝置，我們實(shí)現(xiàn)了三種被檢測(cè)樣品的中子圖像采集，中子采集條件如表2所示。

表1　X射線圖像采集條件

表2　中子圖像采集條件

圖7所示為采集的中子與X射線DR圖片，針對(duì)這三種樣品的中子與X射線圖像，本研究采用小波變換融合算法、拉普拉斯變換融合算法、傳統(tǒng)的NSCT融合算法、NSCT-PCNN算法、Zhu等人的方法[8]以及本文所提出的算法對(duì)圖像進(jìn)行融合操作，圖像融合結(jié)果如圖8所示。

圖7　中子與X射線圖像

對(duì)圖8融合結(jié)果中感興趣區(qū)域進(jìn)行放大，結(jié)果如圖9所示?？梢钥闯觯琙hu等人的融合方法的凸顯了邊緣信息，但是實(shí)際樣品中的同一物質(zhì)體現(xiàn)在圖中的灰度卻并不一致，邊緣處的梯度較大，整體主觀視覺效果較差，這會(huì)影響對(duì)樣品成分及結(jié)構(gòu)信息的解讀。同時(shí)，從圖9（a）中可看出圖像融合結(jié)果的細(xì)節(jié)豐富程度以本文算法最優(yōu)，NSCT-PCNN次之，拉普拉斯算法，小波融合算法和NSCT融合算法的清晰度相對(duì)較差；在圖9（b）中本文算法與NSCT-PCNN算法在保留圖像細(xì)節(jié)方面更為優(yōu)秀；從圖9（c）中也可以看出本文算法融合效果明顯優(yōu)于其他算法。

圖8　中子與X射線圖像融合結(jié)果

圖9　融合圖像細(xì)節(jié)放大圖

本文選取峰值信噪比、平均梯度、信息熵[9]以及空間結(jié)構(gòu)相似度[10]作為評(píng)價(jià)指標(biāo)對(duì)小波變換、拉普拉斯變換、NSCT、NSCT-PCNN以及本文算法的圖像融合質(zhì)量進(jìn)行客觀評(píng)價(jià)，其定量結(jié)果對(duì)比如圖10所示。

圖10　融合結(jié)果比較

從圖10中可以看出，本文算法除峰值信噪比相對(duì)于其他算法略低外，在平均梯度、信息熵以及空間結(jié)構(gòu)相似度指標(biāo)上均高于其他算法。其中，平均梯度以及空間結(jié)構(gòu)相似度高于其他算法較多。

從實(shí)驗(yàn)結(jié)果中可以看出，所提出的算法在圖像融合效果的主觀評(píng)價(jià)與客觀評(píng)價(jià)中均表現(xiàn)出優(yōu)越性。相較于小波、拉普拉斯以及NSCT融合算法，本文算法與NSCT-PCNN算法的融合圖像擁有更高的清晰度；相較于NSCT-PCNN融合算法，本文算法在細(xì)節(jié)處的表現(xiàn)更優(yōu)，其對(duì)比度以及視覺效果更好。

本文算法能夠有效地提取中子與X射線圖像的特有的特征信息，在保證源圖像細(xì)節(jié)信息不丟失的同時(shí)，可以將兩種模式下的圖像信息進(jìn)行融合，并且在融合圖像中展現(xiàn)。如圖11所示。將配準(zhǔn)后X射線、中子以及融合后的圖像進(jìn)行對(duì)比，對(duì)其中部分細(xì)節(jié)進(jìn)行放大，從整體圖與細(xì)節(jié)放大圖中可以看到，在圖11（a）中石英表的最外層邊框、表把內(nèi)桿以及內(nèi)部下方電池的結(jié)構(gòu)由X射線圖像提供，而石英表中心結(jié)構(gòu)到外殼之間的環(huán)狀區(qū)域細(xì)節(jié)以及表把外部信息在中子圖像得到展現(xiàn)；在圖11（b）中，機(jī)械表中心及上方的齒輪細(xì)節(jié)由X射線圖像提供，表把內(nèi)部的內(nèi)桿以及左側(cè)內(nèi)部的細(xì)節(jié)信息由中子圖像體現(xiàn)；在圖11（c）中，U盤方框內(nèi)的細(xì)節(jié)部分在X射線圖像得到展示，而下方細(xì)節(jié)則由中子圖像提供。

圖11　融合圖像分析

3　結(jié)論

（1）為了保留待融合圖像的整體特征，采用NSCT分解方法對(duì)中子和X射線圖像進(jìn)行了多尺度、多方向的分解，得到了一幅低頻子帶圖像和一系列高頻子帶圖像。

（2）為了得到更好地融合效果，針對(duì)分解圖像的不同頻帶圖像選擇不同的融合規(guī)則。基于圖像的邊緣信息對(duì)低頻子帶圖像進(jìn)行取平均融合；對(duì)底層高頻子帶圖像選取模極大值融合方法，而頂層高頻子帶則選取基于圖像拉普拉斯能量和與能見度的PCNN算法進(jìn)行系數(shù)選擇。實(shí)驗(yàn)結(jié)果表明，融合后圖像視覺效果更好。融合后的圖像不僅有效融合了中子與X射線圖像，而且很好地保留了二者豐富的紋理等細(xì)節(jié)信息。

（3）采用峰值信噪比、平均梯度、信息熵以及空間結(jié)構(gòu)相似度作為評(píng)價(jià)指標(biāo)對(duì)比了小波變換融合、拉普拉斯變換融合、NSCT融合與NSCT-PCNN融合以及本文算法的融合效果，結(jié)果表明，本文算法在圖像細(xì)節(jié)信息豐富程度、圖像對(duì)比度以及目標(biāo)信息的融合方面均有著較好的表現(xiàn)。

本文所提出算法的主要目的是充分利用中子與X射線成像的互補(bǔ)特性，將這兩種成像模式下的投影數(shù)據(jù)進(jìn)行融合，從而克服彼此的成像弱點(diǎn)，得到被檢樣品更加精準(zhǔn)、全面和直觀的成像結(jié)果。針對(duì)不同的DR圖像以及圖像采集的條件，所提出的算法的融合參數(shù)應(yīng)進(jìn)行調(diào)整。同時(shí)，受采集條件所限，本文僅對(duì)DR圖像進(jìn)行了融合，并沒有對(duì)中子/X射線的CT圖像進(jìn)行融合。因此融合參數(shù)的自適應(yīng)調(diào)整以及中子/X射線CT圖像的融合將是后續(xù)的重點(diǎn)研究工作。

［1］ STROBL M，MANKE I，KARDJILOV N，et al．Advances in neutron radiography and tomography［J］．Journal of Physics D：Applied Physics，2009，42（24）：243001．

［2］ YASUDA R，MATSUBAYASHI M，NAKATA M，et al．Application of neutron imaging plate and neutron CT methods on nuclear fuels and materials［J］．IEEE transactions on nuclear science，2005，52（1）：313-6．

［3］ 毛士藝，趙?。鄠鞲衅鲌D像融合技術(shù)綜述［J］．北京航空航天大學(xué)學(xué)報(bào)，2002，28（05）：512-8．

［4］ IZHIKEVICH E M．Class 1 neural excitability，conventional synapses，weakly connected networks，and mathematical foundations of pulse-coupled models［J］．IEEE Transactions on Neural Networks，1999，10（3）：499-507．

［5］ IZHIKEVICH E M．Weakly pulse-coupled oscillators，F(xiàn)M interactions，synchronization，and oscillatory associative memory［J］．IEEE Transactions on Neural Networks，1999，10（3）：508-26．

［6］ 苗啟廣，王寶樹．一種自適應(yīng)PCNN多聚焦圖像融合新方法［J］．電子與信息學(xué)報(bào)，2006，28（3）：466-470．

［7］ JOBSON D J，RAHMAN Z，WOODELL G A．A multiscale retinex for bridging the gap between color images and the human observation of scenes［J］．IEEE Transactions on Image Processing，1997，6（7）：965-76．

［8］ ZHU Z.，ZHENG M.，QI G.，et al．A Phase Congruency and Local Laplacian Energy Based Multi-Modality Medical Image Fusion Method in NSCT Domain［J］．IEEE Access，2019，7：20811-24．

［9］ 楊艷春，李嬌，王陽(yáng)萍．圖像融合質(zhì)量評(píng)價(jià)方法研究綜述［J］．計(jì)算機(jī)科學(xué)與探索，2018，12（07）：1021-35．

［10］HAGHIGHAT M B A，AGHAGOLZADEH A，SEYEDARABI H．A non-reference image fusion metric based on mutual information of image features［J］．Computers & Electrical Engineering，2011，37（5）：744-56．

Neutron and X-ray Radiation Images Fusion Method Study Based on NSCT

HE Linfeng1，ZHANG Xiaomin2，WU Meimei1，LIN Qiang2，YUAN Shilei3，LIU Xiaoguang1，YANG Min2,*

（1. China Institute of Atomic Energy，Beijing 102413，China；2. Beijing University of Aeronautics and Astronautics，Beijing 100191，China；3. Henan Huatan Testing Technology Co.，Ltd，Zhengzhou of Henan Prov．450000，China）

Since thecharacteristics of neutron imaging and X-ray imaging are highly complementary，the fusion of digital radiography（DR）images of these two imaging modes can significantly enrich the information of image details．In this paper，a fusion algorithm of neutron image and X-ray image in nonsubsampled Contourlet transform（NSCT）domain based on simplified pulse coupled neural network（PCNN）is proposed．The proposed method decomposes the source image in multi-scale and multi-directional by NSCT，which effectively retains the information of each layer，so that the fusion image show good clarity and contrast．At the same time，in order to better retain the information of the source image，the different frequency bands of the image are fused by taking the average，taking the largest absolute value and the fusion rules combined with PCNN coefficients．We collect neutron and X-ray images for quartz watch and mechanical watch with complex structures and USB flash disk with simple structures．Then wavelet transform fusion，Laplace transform fusion，NSCT fusion，NSCT-PCNN fusion，Zhu’s method and the proposed method are used to fuse the neutron and X-ray images．The quality of fusion images of different methods is quantitatively evaluated by various objective evaluation indexes．The experimental results show that the fusion algorithm proposed in this paper can significantly improve the image fusion effect，obtain clear target information，improve the image contrast，while retaining rich detailed information，and is superior to other typical methods in objective evaluation criteria and visual effect．

Image fusion；Nonsubsampled Contourlet transform；Pulse coupled neural network；Neutron image；X-ray image

TL48

A

0258-0918（2021）03-0662-13

2021-03-24

國(guó)家自然科學(xué)基金項(xiàng)目資助（11675012）；國(guó)家重點(diǎn)研發(fā)計(jì)劃資助（2017YFA040370X）；國(guó)家財(cái)政部穩(wěn)定支持研究經(jīng)費(fèi)支持，（WDJC-2019-04）

賀林峰（1981—），男，湖南人，副研究員，博士，現(xiàn)主要從事中子成像方面研究

楊民，E-mail：minyang.ndt@buaa.edu.cn