王志社，姜曉林，武圓圓，王君堯

可見光與紅外圖像組K-SVD融合方法

王志社，姜曉林，武圓圓，王君堯

（太原科技大學 應用科學學院，山西 太原 030024）

傳統(tǒng)稀疏表示融合方法，以圖像塊進行字典訓練和稀疏分解，由于沒有考慮圖像塊之間的內(nèi)在聯(lián)系，易造成字典原子表征圖像特征能力不足、稀疏系數(shù)不準確，導致圖像融合效果不好。為此，本文提出可見光與紅外圖像組K-SVD（K-means singular value decomposition）融合方法，利用圖像的非局部相似性，將相似圖像塊構(gòu)造成圖像結(jié)構(gòu)組矩陣，通過組K-SVD進行字典訓練和稀疏分解，可以有效提高字典原子的表征能力及稀疏系數(shù)的準確性。實驗結(jié)果表明，該方法在主觀和客觀評價上都優(yōu)于傳統(tǒng)稀疏融合方法。

圖像融合；非局部相似性；結(jié)構(gòu)組矩陣；組K-SVD

0 引言

紅外成像技術(shù)通過接收目標的紅外輻射，將肉眼不可見的紅外輻射能量轉(zhuǎn)化為電信號進行成像，可以探測到隱藏目標或偽裝目標，具有很好的抗干擾能力，可以全天時全天候工作；可見光成像技術(shù)通過捕捉物體的反射光進行成像，可以很好地獲取物體的細節(jié)信息、顏色信息和紋理特征[1-2]，但易受天氣、光照的影響。因此，可見光與紅外圖像具有較強的互補特性，只有將這兩類圖像信息進行融合，綜合兩類圖像的互補信息，才能夠有效提高成像系統(tǒng)的性能[3-4]。

目前，可見光與紅外圖像融合方法大致可以分為多尺度變換融合[5-6]、稀疏表示融合[7-11]、混合模型融合[12-14]、擬態(tài)融合[15]、深度學習融合[16-17]等。多尺度變換融合方法采用尺度變換數(shù)學模型描述圖像特征，采用相應的融合規(guī)則進行合并，得到最終的融合圖像。由于尺度變換數(shù)學模型往往對某一類圖像特征敏感，易造成融合圖像信息缺失。稀疏表示融合方法利用字典原子表征圖像特征，通過合并稀疏系數(shù)重構(gòu)得到最終的融合圖像。Yang等[9]首次提出基于稀疏表示的圖像融合算法，隨后，Yu等[10]提出聯(lián)合稀疏融合方法，Liu等[11]提出自適應稀疏融合方法，提高了稀疏融合的效果?；旌夏Ｐ腿诤戏椒ú捎枚喾N算法進行嵌入、組合，如多尺度稀疏融合[12]、多尺度嵌入融合[13-14]等，混合模型融合方法在一定程度上克服了單一融合方法的局限性。擬態(tài)融合方法[15]是利用可見光與紅外圖像的差異特征，驅(qū)動選擇相應的融合算法，為圖像融合方法提供了新的研究思路。深度學習融合方法利用神經(jīng)網(wǎng)絡自主學習圖像特征，獲得了較好的融合效果[16-17]。

稀疏表示在過完備字典上對圖像信號進行表示，可以有效表征圖像特征，是目前圖像融合的熱點之一。但傳統(tǒng)稀疏表示圖像融合方法將圖像分割成重疊的塊，字典訓練及稀疏分解過程均以圖像塊為單位進行，塊與塊之間是相互獨立的，造成圖像特征不能被準確提取，融合效果較差[18]。圖像中的局部位置和非局部位置存在相似結(jié)構(gòu)，這種特征被稱為非局部相似性，通過非局部相似性可以建立圖像相似塊之間的聯(lián)系。非局部相似性在圖像去噪、圖像去模糊等方面取得較好效果[19-20]。

可見光與紅外圖像融合就是要將兩類圖像的顯著特征進行有效合并，而實際上，圖像中的顯著特征不僅與局部結(jié)構(gòu)有關(guān)，還與圖像非局部結(jié)構(gòu)有關(guān)。從兩類圖像的成像機理和成像特點可以看出，可見光圖像具有豐富的結(jié)構(gòu)信息，圖像塊反映了局部的幾何結(jié)構(gòu)，相似的結(jié)構(gòu)在圖像不同位置重復出現(xiàn)，具有非局部結(jié)構(gòu)相似性。而紅外圖像中，絕大多數(shù)為背景區(qū)域，其灰度變化緩慢，背景區(qū)域的圖像塊之間存在較強相關(guān)性，也具有明顯的非局部結(jié)構(gòu)相似性。為了直觀顯示，如圖1所示，通過計算圖像結(jié)構(gòu)塊的相似性，在可見光與紅外圖像分別自動選取了7個圖像相似塊，并進行局部放大，可以看出，圖像相似塊具有明顯的非局部相似性，這也說明，可見光與紅外圖像的局部位置及非局部位置上均存在結(jié)構(gòu)相似的圖像塊。因此，通過建立圖像局部結(jié)構(gòu)與非局部結(jié)構(gòu)的內(nèi)在聯(lián)系，將相似的圖像塊構(gòu)建成圖像結(jié)構(gòu)組，以結(jié)構(gòu)組代替?zhèn)鹘y(tǒng)的圖像塊，利用結(jié)構(gòu)組的重復結(jié)構(gòu)和冗余信息，通過對結(jié)構(gòu)組進行字典學習和稀疏分解，可以使字典原子和稀疏系數(shù)更有效地描述圖像顯著特征，從而有效解決傳統(tǒng)稀疏表示融合方法存在的問題。

本文針對傳統(tǒng)稀疏表示融合方法字典表征能力不足，稀疏系數(shù)不準確的問題，通過非局部相似性建立相似圖像塊之間的聯(lián)系，以歐氏距離為度量準則，依據(jù)圖像的非局部相似性特征將相似圖像塊采用向量化、矩陣化的方式構(gòu)建為結(jié)構(gòu)組矩陣，在此基礎(chǔ)上，構(gòu)建組K-SVD訓練模型，以結(jié)構(gòu)組代替?zhèn)鹘y(tǒng)圖像塊，優(yōu)化結(jié)構(gòu)組字典學習和稀疏分解問題，將源圖像的相似結(jié)構(gòu)特征與融合過程充分結(jié)合。該方法建立了圖像塊之間的內(nèi)在聯(lián)系，以結(jié)構(gòu)組矩陣為單位進行字典訓練和稀疏分解，增強了字典原子的表征能力和稀疏系數(shù)的準確性，提高了圖像的融合性能。

圖1 可見光與紅外圖像非局部相似性示意圖

1 模型構(gòu)建

1.1 結(jié)構(gòu)組矩陣構(gòu)造

結(jié)構(gòu)組矩陣構(gòu)造基于圖像的非局部相似性特征，首先采用滑動窗將源圖分割成大小相同的圖像塊，然后根據(jù)相似性度量準則，從圖像的確定鄰域內(nèi)提取相似塊，對相似塊采取向量化、矩陣化的方式構(gòu)建成結(jié)構(gòu)組矩陣，用于字典訓練和融合過程，具體過程如圖2所示。

1）圖像塊提取

假設(shè)源圖像1、2的大小均為×像素，采用滑動窗，滑動步長為1像素，按照圖中所示的軌跡，自左向右、自上而下進行滑動。分別將源圖像分解為大小為×的(－＋1)·(－＋1)個圖像塊。

2）結(jié)構(gòu)組構(gòu)建

在×的鄰域內(nèi)，以歐式距離作為度量準側(cè)，計算每一個初始圖像塊x最相似的個圖像塊。將初始圖像塊x與個相似圖像塊構(gòu)成一個結(jié)構(gòu)組G，這樣每個結(jié)構(gòu)組中共有＋1個圖像塊。對于×的輸入源圖像，共有(－＋1)·(－＋1)個初始塊，則可以構(gòu)建(－＋1)·(－＋1)個結(jié)構(gòu)組。

3）圖像塊向量化

圖2 相似結(jié)構(gòu)組矩陣示意圖

1.2 組K-SVD字典訓練模型

假設(shè)信號∈R，字典∈R×，當大于時，稱字典為冗余字典。信號可以表示為＝或者≈。∈R為稀疏表示系數(shù)，中的多數(shù)元素為0，只有少數(shù)元素不為0，稱是稀疏的，可以在字典上稀疏表示。因此，稀疏表示就是將信號表示為一個冗余字典中少數(shù)原子的線性組合。由于實際應用中存在噪聲，當考慮噪聲時，信號在字典上的稀疏表示求解可以表示為：

對于結(jié)構(gòu)組矩陣，在對應的字典上的稀疏表示優(yōu)化問題可以表示為如下的形式：

在字典學習中，字典更新階段是在系數(shù)矩陣不變的情況下，對字典進行更新?？梢员硎緸橄旅娴膬?yōu)化問題：

上式中的優(yōu)化問題有一個封閉解，可以通過單獨對中的每一列求解，并且在求解過程中，只更新每一列的非零項，值為零的項保持不變，這樣的優(yōu)化問題可以表示為：

上述迭代算法先更新字典，后更新系數(shù)矩陣，可以得到式(3)優(yōu)化問題的近似解。組K-SVD算法對迭代更新過程進行了改進，結(jié)構(gòu)組矩陣在字典上的稀疏編碼優(yōu)化問題可以表示為：

2 融合方法

可見光與紅外圖像組K-SVD融合方法如圖3所示，具體步驟如下：

圖3 融合方法總體框架

1）圖像塊提?。簩τ诖笮椤恋妮斎朐磮D像1、2，采用滑動窗技術(shù)，滑動步長為1像素，按照從左到右、自上而下的軌跡遍歷整幅圖像。設(shè)圖像塊大小為×，則可以分別提取源圖像1、2的(－n＋1)·(－＋1)個圖像塊。

2）結(jié)構(gòu)組矩陣構(gòu)建：對源圖像1，在×的鄰域內(nèi)，以歐式距離為度量準則，計算出初始圖像塊的最相似的個圖像塊，并進行塊向量化、結(jié)構(gòu)組矩陣化處理，得到相應的結(jié)構(gòu)組矩陣；對源圖像2，每個初始塊對應的相似塊與1相同。

3）訓練樣本選取及字典學習：從源圖像中隨機選出個初始塊作為訓練樣本，采用組K-SVD字典訓練方法求解源圖像對應的字典。

5）稀疏系數(shù)融合：1i()、2i()，＝1, 2, …,＋1為系數(shù)向量，分別為稀疏系數(shù)矩陣1、2的第列。對應的稀疏系數(shù)向量采用絕對值取大的規(guī)則進行融合：

最終得到融合系數(shù)矩陣Fi。

6）圖像重構(gòu)：將得到的系數(shù)矩陣Fi與字典重構(gòu)得到融合結(jié)構(gòu)組矩陣，對結(jié)構(gòu)組矩陣進行逆變換得到融合的圖像塊，之后將每一個圖像塊放回到對應的位置，相同位置像素進行均值化，得到最終的融合圖像。

3 實驗結(jié)果及分析

3.1 設(shè)定

為了評價組K-SVD融合性能，實驗采用4組可見光與紅外圖像，分別為“UNcape”、“Kaptein”、“Dune”和“Road”。對比的融合方法采用3種傳統(tǒng)的稀疏融合方法，分別為稀疏表示融合方法（Sparse Representation, SR）[9]、聯(lián)合稀疏融合方法（Joint Sparse Representation, JSR）[10]和自適應稀疏融合方法（Adaptive Sparse Representation, ASR）[11]。評價指標采用0[21]、w[22]、e[22]和ab/f[23]四個評價指標。0從圖像的亮度、對比度和結(jié)構(gòu)失真度來衡量融合圖像的退化程度，w描述源圖像的顯著信息轉(zhuǎn)移到融合圖像的合并程度，而e和ab/f主要描述源圖像到融合圖像的邊緣信息融合程度。評價指標數(shù)值越大，說明融合效果越好。

組K-SVD融合方法參數(shù)設(shè)定如下：①結(jié)構(gòu)組構(gòu)造模型參數(shù)，圖像塊大小為8×8，滑動窗大小為40×40，滑動步長為1像素。②結(jié)構(gòu)組稀疏模型參數(shù)，訓練樣本圖像塊數(shù)量為10000，相似圖像塊個數(shù)設(shè)定為19，字典大小為64×256，字典原子稀疏度為5。

3.2 結(jié)果分析

4組可見光與紅外圖像的融合結(jié)果如圖4～圖7所示，其中，(a)和(b)分別表示可見光與紅外圖像，(c)、(d)、(e)分別是稀疏表示融合方法、自適應稀疏融合方法和聯(lián)合稀疏融合方法得到的融合圖像，(f)是本文方法得到的融合圖像。

圖4為“Nato_camp”的融合實驗結(jié)果。從圖4(a)和(b)可以看出，紅外圖像行人目標位置清晰，背景信息（如樹木、道路和房屋等）細節(jié)不清楚，信息丟失較為嚴重；而可見光圖像中，道路、樹木和房屋等背景信息清晰，但行人目標缺失，可以看出這兩類圖像具有很大的互補性。圖4(c)是SR融合圖像，可以看出，融合圖像的邊緣信息較為模糊，紋理信息缺失嚴重；圖4(d)是ASR融合圖像，融合圖像較好保留了兩類圖像的主要互補信息，但依然存在圖像邊緣信息模糊，存在一定的偽影現(xiàn)象；圖4(e)是JSR融合圖像，行人目標清晰，對比度較高，但融合圖像存在過增強現(xiàn)象，背景信息缺失嚴重。圖4(f)是本文方法的融合圖像，從結(jié)果可以看出，融合圖像行人目標位置、輪廓信息清楚，背景信息如樹木、房屋、道路等保留較好，圖像整體視覺效果好于傳統(tǒng)稀疏融合方法。

圖4 “Nato_camp”圖像融合實驗結(jié)果

圖5為“Kaptein”的融合實驗結(jié)果。圖5(a)和(b)分別是可見光和紅外圖像，圖5(c)、(d)和(e)分別是SR融合圖像、ASR融合圖像和JSR融合圖像。從結(jié)果可以看出，SR融合圖像雖然保留了紅外圖像的目標信息，但圖像背景細節(jié)信息丟失嚴重，例如地面、樹木等；ASR融合圖像視覺效果好于SR融合圖像，行人目標、背景信息較為清楚，但邊緣信息較為模糊；JSR融合圖像行人目標的對比度較高，但融合圖像過增強現(xiàn)象嚴重，如樹木、門窗的邊緣細節(jié)信息丟失。圖5(f)是本文方法的融合結(jié)果，可以看出，融合圖像包含了兩類圖像的主要互補信息，行人、地面、樹木等細節(jié)信息清楚，視覺效果較好。

圖6和圖7分別為“Duine”和“Road”的融合實驗結(jié)果。從實驗結(jié)果來看，SR和ASR的融合效果相對較差，JSR融合圖像雖然對比度較高，但細節(jié)信息丟失嚴重，本文方法的融合圖像視覺效果較好，圖像中的細節(jié)信息及邊緣輪廓信息保留完整。從主觀視覺來看，4組實驗結(jié)果評價結(jié)果一致。

圖5 “Kaptein”圖像融合實驗結(jié)果

圖7 “Road”圖像融合實驗結(jié)果

4組可見光與紅外圖像融合結(jié)果的客觀評價指標如表1～表4所示，表5為客觀評價指標的平均值。從結(jié)果來看，對于“Kaptein”圖像，本文融合方法獲得最好的融合效果；對于“Nato_camp”圖像，本文的融合方法在評價指標w、e和ab/f獲得最優(yōu)的結(jié)果，0指標略低于ASR的結(jié)果；對于“Duine”和“Road”圖像，本文的融合方法在評價指標w和e獲得最優(yōu)的結(jié)果，而指標0和ab/f低于ASR方法，這說明本文的融合方法在提取顯著特征信息和邊緣信息保留方面效果較好，總體來看，本文的融合方法優(yōu)于傳統(tǒng)的稀疏表示融合方法。

表1 “Nato_camp”圖像融合客觀評價指標

表2 “Kaptein”圖像融合客觀評價指標

表3 “Duine”圖像融合客觀評價指標

表4 “Road”圖像融合客觀評價指標

表5 不同融合方法評價指標的平均值

為了進一步對融合效果進行評價，采用兩組名為“Nato_camp”和“Duine”的圖像序列進行實驗?！癗ato_camp”圖像序列為同一場景中32幅在時間上連續(xù)的圖片，“Duine”圖像序列為同一場景中23幅在時間上連續(xù)的圖片。采用0、w、e和ab/f對融合效果進行評價。將得到的評價指標繪制為曲線圖進行對比，具體的繪制方法為：分別將4種融合方法的0值繪制為曲線，并將這4條曲線整合到同一幅圖像中；另外3種評價指標曲線圖的繪制方法與0相同。

圖8和圖9分別為圖像序列“Nato_camp”和“Duine”對應的曲線圖。如圖8所示，(a)、(b)、(c)、(d)分別為評價指標0、w、e和ab/f對應的曲線圖。每幅圖中，點狀曲線對應SR方法的評價指標，圈型曲線對應ASR方法，塊狀曲線對應JSR方法，叉型曲線對應本文提出的方法，右下角為圖像序列不同融合方法對應評價指標的平均值。通過兩組分析曲線可知：在圖8中本文方法的0值低于ASR方法，w、e和ab/f值均為最高；在圖9中本文方法的0、w和e值略低于ASR方法，ab/f值為最高。

因此，通過對4組可見光與紅外圖像及兩組圖像序列進行融合實驗，結(jié)合主觀視覺效果和客觀評價指標對實驗結(jié)果判斷，本文方法與另外3種方法相比，融合效果最好。

4 結(jié)語

本文提出了可見光與紅外圖像組K-SVD融合方法，利用圖像非局部相似性，以歐式距離為度量準則，構(gòu)建圖像結(jié)構(gòu)組矩陣，以結(jié)構(gòu)組代替?zhèn)鹘y(tǒng)的圖像塊，在此基礎(chǔ)上，研究了組K-SVD的稀疏分解模型，以結(jié)構(gòu)組矩陣作為訓練樣本，構(gòu)建學習字典，并進行組稀疏分解，采用絕對值取大的合并規(guī)則進行合并，得到最終的融合圖像。實驗結(jié)果表明，該方法可以有效提取圖像的顯著特征信息，減少邊緣特征信息丟失，融合圖像視覺效果較好，在主觀和客觀評價上，都優(yōu)于傳統(tǒng)的稀疏表示融合方法。

圖8 圖像序列“Nato_camp”的客觀評價指標

圖9 圖像序列“Duine”的客觀評價指標

4 結(jié)語

本文提出了可見光與紅外圖像組K-SVD融合方法，利用圖像非局部相似性，以歐式距離為度量準則，構(gòu)建圖像結(jié)構(gòu)組矩陣，以結(jié)構(gòu)組代替?zhèn)鹘y(tǒng)的圖像塊，在此基礎(chǔ)上，研究了組K-SVD的稀疏分解模型，以結(jié)構(gòu)組矩陣作為訓練樣本，構(gòu)建學習字典，并進行組稀疏分解，采用絕對值取大的合并規(guī)則進行合并，得到最終的融合圖像。實驗結(jié)果表明，該方法可以有效提取圖像的顯著特征信息，減少邊緣特征信息丟失，融合圖像視覺效果較好，在主觀和客觀評價上，都優(yōu)于傳統(tǒng)的稀疏表示融合方法。

[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]., 2019, 45: 153-178.

[2] LI S, KANG X, FANG L, et al. Pixel-level image fusion: a survey of the state of the art[J]., 2017, 33: 100-112.

[3] Elguebaly T, Bouguila N. Finite asymmetric generalized Gaussian mixture models learning for infrared object detection[J]., 2013, 117(12): 1659-1671.

[4] LI H, DING W, CAO X, et al. Image registration and fusion of visible and infrared integrated camera for medium-altitude unmanned aerial vehicle remote sensing[J]., 2017, 9(5): 441.

[5] LI S, YANG B, HU J. Performance comparison of different multi- resolution transforms for image fusion[J]., 2011, 12(2): 74-84.

[6] FU Z, WANG X, XU J, et al. Infrared and visible images fusion based on RPCA and NSCT[J]., 2016, 77: 114-123.

[7] ZHANG Q, LIU Y, Blum R, et al. Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: a review[J]., 2018, 40: 57-75.

[8] ZHANG Z, XU Y, YANG J, et al. A survey of sparse representation: Algorithms and Applications [J]., 2015(3): 490-530.

[9] YANG B, LI S. Multifocus image fusion and restoration with sparse representation[J]., 2010, 59(4): 884-892.

[10] YU N, QIU T, BI F, et al. Image features extraction and fusion based on joint sparse representation[J]., 2011, 5(5): 1074-1082.

[11] LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]., 2014, 9(5): 347-357.

[12] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-164.

[13] WANG Z, YANG F, PENG Z, et al. Multi-sensor image enhanced fusion algorithm based on NSST and top-hat transformation[J]., 2015, 126(23): 4184-4190.

[14] WANG Z, XU J, JIANG X, et al. Infrared and visible image fusion via hybrid decomposition of NSCT and morphological sequential toggle operator[J]., 2020, 201: 163497.

[15] 楊風暴. 紅外偏振與光強圖像的擬態(tài)融合原理和模型研究[J]. 中北大學學報: 自然科學版, 2017, 38(1): 1-7. YANG Fengbao.2017, 38(1): 1-7.

[16] LI H, WU X J. DenseFuse: A Fusion Approach to Infrared and Visible Images[J]., 2019, 28(5): 2614- 2623.

[17] MA J, YU W, LIANG P, et al. Fusion GAN: A generative adversarial network for infrared and visible image fusion[J]., 2019, 48: 11-26.

[18] 姜曉林, 王志社. 可見光與紅外圖像結(jié)構(gòu)組雙稀疏融合方法研究[J]. 紅外技術(shù), 2020, 42(3): 272-278. JIANG Xiaolin, WANG Zhishe. Visible and Infrared Image Fusion Based on Structured Group and Double Sparsity[J]., 2020, 42(3): 272-278.

[19] DONG W, LEI Z, SHI G. Nonlocally centralized sparse representation for image restoration[J]., 2012, 22(4): 1620-1630.

[20] ZHANG J, ZHAO D, GAO W. Group-based sparse representation for image restoration[J]., 2014, 23(8): 3336-3351.

[21] WANG Z, Bovik A, A universal image quality index[J].. 2002, 9(3): 81–84.

[22] Piella G, Heijmans H. A new quality metric for image fusion[C]//10th, 2003: 173-176.

[23] Xydeas C.S, Petrovic V, Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

Visible and Infrared Image Fusion Based on Group K-SVD

WANG Zhishe，JIANG Xiaolin，WU Yuanyuan，WANG Junyao

(School of Applied Science, Taiyuan University of Science and Technology, Taiyuan 030024, China)

In the traditional image fusion method based on sparse representation, image blocks are used as units for dictionary training and sparse decomposition. The representation ability of dictionary atoms for image features is insufficient if the internal connection between the image blocks is not considered. Moreover, the sparse coefficients are inaccurate. Therefore, a fused image is not desirable. In view of the abovementioned problem, this paper proposes a fusion method based on the group K-means singular value decomposition (K-SVD) for visible and infrared images. Considering the image non-local similarity, this method constructs a structure group matrix using similar image blocks, and then, dictionary training and sparse decomposition are performed in the units of the structure group matrix by group K-SVD. Thus, this method can effectively improve the representation ability of dictionary atoms and the accuracy of the sparse coefficients.The experimental results show that this method is superior to the traditional sparse fusion method in terms of subjective and objective evaluation.

image fusion, non-local similarity, structure group matrix, group K-SVD

TP391.4

A

1001-8891(2021)05-0455-09

2020-08-20；

2020-10-24.

王志社（1982-）男，副教授，博士，研究方向為紅外圖像處理、機器學習和信息融合。E-mail：wangzs@tyust.edu.cn。

山西省面上自然基金項目（201901D111260）；信息探測與處理山西省重點實驗室開放研究基金（ISTP2020-4）；山西省“1331”工程重點創(chuàng)新團隊建設(shè)計劃資助（2019 3-3）；太原科技大學博士啟動基金（20162004）。