汪佳瑞

（安徽師范大學物理與電子信息學院，蕪湖241000）

0 引言

圖像融合技術是一門集合了傳感器技術、圖像處理、信號處理、計算機視覺和人工智能等眾多理論的現(xiàn)代高新技術，是將多個不同的成像傳感器得到的兩幅或以上的圖像按照特定的規(guī)則融合成一幅圖像的過程[1-2]。其中，紅外圖像與可見光圖像融合一直是圖像融合領域研究的重點與熱點。紅外圖像是由紅外傳感器根據(jù)物體的熱輻射差異成像的，成像過程不易受氣候和環(huán)境影響，但得到的紅外圖像往往存在對比度和清晰度較低、細節(jié)表現(xiàn)不明顯以及可視性較差的缺點。而可見光圖像是由可見光成像傳感器通過可見光的反射獲取的，具有分辨率和對比度高，光譜信息豐富，可視性好等優(yōu)點，但是對光照條件要求很高，在夜間、有霧或有遮擋的情況下則很難獲取場景中的有效信息?；谝陨蟽煞N圖像的優(yōu)缺點，將二者進行融合，可以實現(xiàn)優(yōu)勢互補，得到目標特征突出，背景信息豐富，視覺效果較好的融合圖像，更能精確地描述出圖像場景中的客觀事實，有利于后續(xù)的操作和處理。因此，紅外與可見光圖像的融合技術可以進行目標的分類識別、軍事偵察和目標跟蹤等，在安防監(jiān)控、軍事作戰(zhàn)等領域起到至關重要的作用[3-4]。

2006 年，Tao、Candes 和Donoho[5-7]等學者首次提出了壓縮感知（Compressive Sensing，CS）理論，有別于傳統(tǒng)的信號處理理論，信號的采樣速率不再取決于信號的帶寬，而是取決于信號的結構和內(nèi)容。壓縮感知利用信號的稀疏性，在對信號采樣的同時就對其進行適宜地壓縮，采樣和壓縮的同時進行，能在保證信息完整的情況下，使用遠少于奈奎斯特采樣定理[8]要求的速率來采樣信息，最終獲取近乎完美的重構信息。作為一種新穎的信號獲取和處理理論，壓縮感知不僅降低信號采樣頻率，明顯地減少了數(shù)據(jù)的存儲和傳輸?shù)某杀荆€提高了信號處理的整體效率，避免了資源浪費的問題，為信號處理模式注入了新的思想，廣泛應用于光學成像[9]、無線傳感網(wǎng)絡[10]和圖像處理[11]等領域。

基于壓縮感知的圖像融合方法不需要知道源圖像的全部采樣，這無疑能減輕圖像信息傳輸和存儲的負擔。但基于壓縮感知的圖像融合算法在壓縮感知域進行測量值融合時有可能會存在一些問題，如文獻[12]中對圖像觀測值進行融合時采用了絕對值取最大的規(guī)則，這種規(guī)則雖較為簡單方便，但具有一定的偶然性和不合理性，因為隨機觀測下觀測值系數(shù)越大，不一定就代表著信息量越大。文獻[13]設計的加權融合的規(guī)則對紅外和可見光圖像觀測值進行處理時，融合權值是根據(jù)實際的融合圖像和經(jīng)驗進行調(diào)節(jié)，權值精確性有待提升。

基于以上原因，本文提出的紅外與可見光圖像融合算法在壓縮感知域中進行融合時，分別采用了局部均值加權的融合規(guī)則。其原理如下：由壓縮感知理論可知，通過壓縮觀測值重構原始圖像時，是把壓縮觀測值的每一列看作一個整體，用來匹配獲取最佳的傳感矩陣原子位置[6]。因此，在對圖像的壓縮觀測值進行加權融合時，不要破壞觀測值每一列的完整性，可以將觀測值的數(shù)據(jù)列當作整體進行處理，以減小重構時的額外誤差。在同一種稀疏變換矩陣和測量矩陣作用下，單個壓縮觀測值的大小已經(jīng)不能準確代表源圖像灰度值的大小，以單個的觀測值系數(shù)進行權值計算會影響最終的融合效果，但是測量觀測值每一列的總體特性如均值、方差等卻不易改變，以觀測值每一列作為整體考慮，通過計算每一列的特性來衡量源圖像的壓縮觀測值的權值，能使得融合后的觀測值更加的準確和合理，從而提高圖像融合效果。

1 壓縮感知的基本框架

與奈奎斯特采樣定理不同，壓縮感知作為一種新穎的信號獲取和處理理論，其理論框架主要分為三個部分：信號的稀疏表示、測量矩陣的構造和設計重構算法。

數(shù)學模型表述為：對于一個長度為N的實信號x∈RN，若信號x中只存在少量的非零分量，則表明x本身是稀疏信號。若信號x本身非稀疏，可給定一個長度為N的標準正交基，使信號x在Ψ 上是稀疏的，信號x可以表示為：

其中，s為信號x在Ψ 域的稀疏系數(shù)，當s中非零元素個數(shù)為K，且滿足K?N時，則可稱信號x在稀疏基Ψ 下為K-稀疏的。在壓縮感知理論中，待測信號的稀疏性是該信號能進行壓縮感知的前提，也影響著信號的最終重構效果。目前常用的稀疏表示方法為正交變換法，主要包括傅里葉變換、離散余弦變換、小波變換[14]等，其中小波變換法因具有良好的時頻特性，能夠克服塊效應，對于圖像信號還能有效表示信號中各向同性點狀結構，表現(xiàn)出了很好的逼近特性，因此常被用作圖像的稀疏表示中。

測量矩陣又可稱為觀測矩陣，在CS 理論中，將測量矩陣與原始信號相乘，能夠?qū)崿F(xiàn)信號的降維。具體表示為采用與Ψ 不具有相關性的觀測矩陣Φ（M×N，M<

測量值y是一個M維向量，式（2）實現(xiàn)了測量對象N→M的降維。根據(jù)式（1），式（2）可以變換為：

其中A∈RM×N稱為感知矩陣。測量矩陣需滿足RIP 條件或與稀疏表示矩陣之間不相關，這是設計有效的測量矩陣的前提。目前應用較多的測量矩陣有高斯隨機矩陣[5-6]、伯努利隨機矩陣、多項式矩陣等，其中文獻[6]已經(jīng)證明了高斯隨機矩陣與大多數(shù)的稀疏基不相關，同時其還具有重構過程所需的觀測數(shù)量少，重構效果較好的優(yōu)點而被廣泛采用

信號的重構是實現(xiàn)壓縮感知的最后一個步驟，是指從數(shù)據(jù)量遠遠小于原始信號的觀測值y中正確地恢復原始信號。這是一個求解欠定方程組的問題，最直接方法是通過l0范數(shù)求解最優(yōu)化問題來解決：

l0范數(shù)指的是向量中非0 元素的個數(shù)，因此式（4）的計算結果就表示信號x在正交基Ψ 下的最稀疏解。但上式的求解是個NP-Hard 問題，在計算上很難實現(xiàn)。后來有研究者發(fā)現(xiàn)l1最小范數(shù)下在一定條件下和l0最小范數(shù)是等價的，可得到相同的解。那么式（4）就可以轉(zhuǎn)換為求解l1最小范數(shù)下的最優(yōu)化問題：

這也是凸優(yōu)化算法的計算原理。除此之外，還可以使用貪婪追蹤算法來重構信號，正交匹配追蹤算法（Orthogonal MP，OMP）[15]就是一種典型的貪婪算法。在壓縮感知信號重構算法中，貪婪追蹤算法的計算復雜度較低、計算速度較快且重構效果較好。其基本思想是先將選用的原子先進行了正交化處理，在通過迭代從過完備原子庫中選擇與信號最匹配的原子來達到稀疏逼近，這種方式使得同一原子在迭代時不會被重復選擇，從而減少了算法迭代次數(shù)，加快了算法收斂速度。

2 基于小波變換的壓縮感知圖像融合算法

對于圖像融合，小波變換優(yōu)點表現(xiàn)為：將圖像進行小波分解，會將其分解成低頻信息和高頻信息，二者包含了源圖像的不同特征，可以依據(jù)它們的特征靈活地選用不同的融合規(guī)則來提升融合效果；小波變換的分解和重構過程都是非冗余的，既不會產(chǎn)生多余信息，也不會造成信息的丟失，整個過程中數(shù)據(jù)總量保持不變；小波分解具有方向性和多分辨率的特點，更符合人眼的視覺特性。

在本節(jié)中，我們將壓縮感知理論和小波變換相結合，提出了一種基于小波變換的壓縮感知圖像融合算法?；谛〔ㄗ儞Q的壓縮感知圖像融合流程如圖1 所示。具體步驟為：

（1）將兩幅預處理過的源圖像A、B進行2 層小波分解，獲得分解后的低頻系數(shù)A1、B1 和三個方向上的多個高頻系數(shù)。

（2）對低頻系數(shù)A1、B1 進行稀疏化，然后分別通過同一觀測矩陣進行觀測，得到壓縮域上的低頻系數(shù)觀測圖像A2 和B2。

（3）采用基于局部均值加權的方法對低頻系數(shù)壓縮測量值A2 和B2 進行融合處理，得到融合后的低頻系數(shù)觀測值C1，最后通過重構算法得到融合后的低頻系數(shù)圖像。

（4）采用區(qū)域能量匹配的規(guī)則來對源圖像的各高頻系數(shù)進行融合處理，得到融合后的高頻系數(shù)圖像。

（5）對融合處理后的各個小波系數(shù)進行小波逆變換，獲得最終的融合后的圖像F。

2.1 低頻系數(shù)融合規(guī)則

圖像由小波變換得到的低頻系數(shù)表示的是源圖像的近似，包含了源圖像大部分信息，通常不具有稀疏性，要先通過本節(jié)融合算法的步驟（2）中來獲得相應的壓縮測量值，再采用基于局部均值加權的規(guī)則對壓縮測量值進行融合，得到的融合后的壓縮測量值?；诰植烤导訖嗟囊?guī)則依據(jù)的是壓縮感知測量值的列的完整性，可先計算出壓縮測量值每一列系數(shù)的均值，以均值大小來衡量最終的權值占比。與以單個測量系數(shù)大小來衡量權值的方法相比，由該方法得到的權值更加的合理，得到的融合后的壓縮測量值更能準確反映出兩幅低頻圖像的特征。

圖1 基于小波變換的壓縮感知圖像融合框圖

具體步驟如下：

（1）首先計算兩幅低頻圖像的壓縮測量值A2和B2的列數(shù)值a2和b2，即：

式（6-7）中：i=1,2,…,N，M、N為測量值的行數(shù)和列數(shù)。

（2）分別求解壓縮測量值A2和B2的列權值w1和w2：

式（8）和（9）中：i=1,2,…,N。

（3）計算得到低頻系數(shù)的壓縮測量值進行加權融合的局部權值w1和w2之后，需要對A2和B2進行加權，得到融合壓縮測量值C1，并采用OMP 算法重建出融合后的低頻系數(shù)圖像。融合壓縮測量值C1的計算公式為：

式（10）中：m=1,2,…,M；n=1,2,…,N。

2.2 高頻系數(shù)融合規(guī)則

源圖像的高頻系數(shù)主要包含了源圖像中邊緣、紋理等細節(jié)信息，將高頻系數(shù)進行融合能盡可能多的保留這些有用的細節(jié)信息，補充融合圖像的完整性和豐富性。而傳統(tǒng)的高頻子帶融合規(guī)則如絕對值取大法只考慮到了高頻圖像中“像素”本身，在融合時易出現(xiàn)細節(jié)信息丟失和增加人為“噪聲”的現(xiàn)象。因此本章對高頻系數(shù)進行融合時采用基于區(qū)域能量匹配的規(guī)則，它不僅考慮到了高頻圖像中單個像素，還強調(diào)了以像素點為中心的局部區(qū)域內(nèi)圖像的能量特性，更能體現(xiàn)區(qū)域內(nèi)的邊緣和紋理等高頻特征，使得融合效果更加突出。

為了方便區(qū)分和介紹，這里把兩幅源圖像離散小波變換得到的各個層次各方向相對應的高頻圖像統(tǒng)稱為M1和M2，融合后的高頻系數(shù)圖像為M3。基于區(qū)域能量匹配的融合規(guī)則的具體步驟如下：

（1）首先定義區(qū)域能量，并以此計算兩幅高頻圖像M1、M2在像素點(m,n)處的區(qū)域能量EM1(m,n) 和EM2(m,n)。若有任意圖像M，對于其上任意一個像素點(m,n)，其區(qū)域能量E(m,n)可表示為：

其中，L×K定義了區(qū)域的大小為3×3，W是權系數(shù)矩陣，W=1/16[121;242;121] 。

（2）然后計算兩幅高頻圖像M1、M2的區(qū)域能量匹配度S1(m,n)，大小在(0,1]之內(nèi)。

（3）獲得融合后的高頻系數(shù)。先設置能量匹配度閾值T1，通常取0.5 ≤T1≤1，本文中T1選擇為0.6。當S1(m,n)≥T1時，表明兩幅圖像的高頻信息比較相似，可以使用加權平均法計算融合后的高頻系數(shù)M3(m,n)，計算方式如（13）所示：

式（13）中，ωmax(m,n)和ωmin(m,n)是權值，分別表示兩幅高頻圖像占比的差異性，表達式為：

當S1(m,n)

3 實驗結果與分析

為了驗證提出的基于DWT 和CS 的紅外與可見光圖像融合算法的有效性和正確性，選用了其他三種算法與本節(jié)提出的算法進行對比分析，分別采用了兩組不同的可見光與紅外圖像進行試驗，采用的客觀評價參數(shù)有信息熵IE、平均梯度AG、空間頻率SF、標準差STD、互信息MI 和耗時T。這三種算法分別為：算法1—傳統(tǒng)的基于DWT 的圖像融合算法；算法2—基于CS 的圖像融合算法，圖像觀測值融合取極大值；算法3—也是基于DWT-CS 的融合算法，但低頻系數(shù)觀測值采用加權融合法，高頻系數(shù)采用取最大值法。四種算法的參數(shù)設置如下：算法1 中DWT 設置為2 層分解，采用“sym8”小波函數(shù)；算法2 中CS 采用小波稀疏基進行圖像稀疏化，選用服從標準正態(tài)分布且常用的高斯隨機矩陣進行觀測，重構算法為OMP，M/N設置為0.7；本章算法和算法3 中DWT 的參數(shù)設置與算法1一致，CS 的參數(shù)設定與算法2 一致。

兩組可見光與紅外源圖像分別如圖3（a）（b）和圖4（a）（b）所示，且均已完成配準，第一組源圖像大小為256×256，第二組源圖像大小為320×320。圖2 和圖3 中的（c）,（d）,（e）,（f）分 別 為CS 算法、DWT 算 法、DWT-CS 算法和本文算法的融合結果圖。

圖2 第一組圖像融合實驗結果圖

圖3 第二組圖像融合實驗結果示意圖

從視覺效果來看，第一組實驗中，CS 算法的融合圖像視覺效果為最差，整幅圖像失真明顯，充斥著大量噪聲。DWT 算法得到的融合圖像整體的亮度偏暗，雖然廣告牌上的信息也能識別，但人物、路燈等目標表示不夠顯著。DWT-CS 算法的結果圖像中人物、轎車和路燈等目標的表示較為顯著，但廣告牌信息的描述較差。本文提出的算法視覺效果最好，廣告牌上的信息能明顯分辨，轎車、行人和路燈等目標突出，圖像細節(jié)豐富。第二組實驗中，CS 算法的融合圖像視覺效果也是最差的，雖然也實現(xiàn)了兩幅圖像的融合，但融合圖像明顯失真，除了人物輪廓比較清晰外其他事物顯示模糊?；贒WT 算法的融合圖像亮度偏低，人物目標不夠突出，但背景區(qū)域表現(xiàn)清晰?；贒WT-CS 算法的融合圖像中人物比DWT 算法中的更為顯著，但是細節(jié)信息不夠豐富，圖像中草叢、門等景物紋理不清楚。經(jīng)過本文算法得到的融合圖像整體視覺效果較好，保留了DWT-CS 算法中目標人物顯著性的同時也保留了DWT 算法較好的細節(jié)表現(xiàn)能力。圖像中人物輪廓突出易辨，草叢、門和左上角建筑描述得較好，背景信息豐富。

表1 為兩次實驗中客觀參數(shù)，由此可知本文算法在兩次實驗中所耗的時間雖然比CS 算法和DWT 算法要長，但也明顯小于DWT-CS 算法的耗時。同時，信息熵IE、平均梯度AG、標準差STD 和互信息MI 的數(shù)值均要高于其他三種算法，平均比第二名分別提高了0.12、0.31、1.90 和0.13，表明基于本文算法得到的融合圖像包含的信息最為豐富，細節(jié)表達能力最強。另外第一組實驗中空間頻率SF 要略低于DWT 算法，又高于DWT-CS 和CS 算法，說明本文算法在清晰度的方面還有待提高。因此，從客觀參數(shù)的整體觀察，本文提出的基于壓縮感知的可見光與紅外圖像融合算法的融合效果是四種融合算法中最好的。

表1 不同算法融合效果的客觀評價

4 結語

將壓縮感知算法應用于圖像融合領域，并結合小波變換，提出了一種基于壓縮感知的紅外與可見光圖像融合算法，對低頻系數(shù)和高頻系數(shù)分別采用不同融合規(guī)則進行融合。對低頻系數(shù)先進行壓縮感知測量，根據(jù)壓縮感知觀測值列的完整性，提出了一種局部均值加權的方式進行融合處理，對高頻系數(shù)采用的是區(qū)域能量匹配的規(guī)則進行融合，最后將融合后的低、高頻分量進行小波逆變換得到融合圖像。仿真實驗表明，文章算法與傳統(tǒng)算法相比提高了融合質(zhì)量，得到的融合圖像不僅紅外目標突出，其背景和細節(jié)信息也更加豐富，圖像的對比度更高。同時，該算法也存在一些需要改善的地方，如融合圖像的清晰度需要進一步提高，運算速率也要加快。