楊風(fēng)暴,吉琳娜

(中北大學(xué)信息與通信工程學(xué)院信息融合與識(shí)別研究所,山西 太原 030051)

紅外偏振與光強(qiáng)成像技術(shù)分別通過(guò)紅外的偏振和強(qiáng)度信息對(duì)目標(biāo)屬性進(jìn)行探測(cè),是高性能空天一體化監(jiān)測(cè)、無(wú)人航空器遙感觀測(cè)、智能汽車駕駛等領(lǐng)域中雙模態(tài)探測(cè)系統(tǒng)的重要組成部分[1-2],兩種模態(tài)圖像融合有利于探測(cè)圖像的特征綜合、準(zhǔn)確解譯和有效存儲(chǔ),顯著提高探測(cè)系統(tǒng)的成像質(zhì)量、探測(cè)精度[3-5]。但是,成像機(jī)理的差異性、探測(cè)環(huán)境和目標(biāo)的多樣性導(dǎo)致雙模態(tài)圖像間差異特征復(fù)雜多變(如圖1),采用單一融合算法很難滿足不同融合需求,根據(jù)差異特征選取合適的多種融合算法,通過(guò)優(yōu)化組合實(shí)現(xiàn)算法間的優(yōu)勢(shì)互補(bǔ),是雙模態(tài)紅外圖像融合的一項(xiàng)關(guān)鍵技術(shù)[6]。

圖1 紅外偏振與光強(qiáng)圖像

1 淺層集值映射面臨的問(wèn)題

雙模態(tài)紅外圖像融合算法選取的前提是差異特征與算法間關(guān)系的建立。目前兩者間關(guān)系多采用淺層集值映射來(lái)實(shí)現(xiàn),即僅僅揭示了一些已知圖像間差異特征的單一屬性——類型與多個(gè)融合算法間的聯(lián)系,然后基于該映射確定融合效果較好的算法,對(duì)于特定場(chǎng)景通常有很好的融合效果[7]。如:文獻(xiàn)[8]定性分析了亮度差異特征與基于頂帽變換(Top-Hat)和支持度變換(SVT)融合算法間的聯(lián)系,提高了融合圖像的對(duì)比度;文獻(xiàn)[9]研究了基于加權(quán)平均、金字塔、小波變換、小波包、NSCT和NSST的紅外偏振與光強(qiáng)圖像融合算法的性能,建立了其與圖像統(tǒng)計(jì)差異特征的對(duì)應(yīng)關(guān)系,取得了較好的融合效果;F.J.Meng等[10]描述了亮度差異特征與基于感興趣區(qū)域的顯著性檢測(cè)融合算法間的關(guān)系,融合圖像能有效保留顯著性亮目標(biāo)。但是,在實(shí)際探測(cè)中,兩種模態(tài)圖像間的差異特征與類型這一屬性相比,幅值及頻次等屬性及其變化對(duì)融合結(jié)果的影響更大;同時(shí)差異特征多個(gè)屬性(如類型、幅值及頻次)也是隨機(jī)變化的[11],特別是對(duì)于動(dòng)態(tài)探測(cè)場(chǎng)景,圖像幀間各屬性變化更為復(fù)雜,這種基于傳統(tǒng)映射的融合模型無(wú)法隨差異特征各屬性的變化而動(dòng)態(tài)調(diào)整算法,導(dǎo)致融合效果差甚至失效。顯然,僅根據(jù)差異特征單一屬性與算法間淺層關(guān)系的算法選擇方法不能滿足先進(jìn)光電探測(cè)系統(tǒng)具備自發(fā)現(xiàn)、自調(diào)整、自優(yōu)化的功能需求,這已成為制約雙模態(tài)紅外圖像融合的瓶頸。

表面上看,產(chǎn)生上述問(wèn)題的原因是差異特征與融合算法間難以最優(yōu)匹配,導(dǎo)致選取的融合算法缺乏針對(duì)性。實(shí)質(zhì)上是現(xiàn)有集值映射無(wú)法同時(shí)反映算法對(duì)差異特征的多個(gè)屬性融合有效程度變化關(guān)系。只有剖析差異特征多個(gè)屬性對(duì)算法選取的作用與影響,揭示差異特征各屬性與融合算法間的深度關(guān)系,才能解決上述瓶頸問(wèn)題。

2 深層集值映射的提出及意義

針對(duì)現(xiàn)有融合模型無(wú)法反映差異特征多屬性對(duì)算法的變化需求造成選擇的算法融合效果差甚至失效的問(wèn)題,以集值映射、可能性分布合成等為手段,研究差異特征屬性分類,提出差異特征的多個(gè)屬性與融合算法間的多類映射的實(shí)施方法,探索映射多次迭代方法,確定聯(lián)合落影,確定差異特征與融合算法的深度集值映射的建立過(guò)程,為根據(jù)差異特征多個(gè)屬性變化選擇具有針對(duì)性的融合算法提供有效手段。研究的技術(shù)路線如圖2所示。

圖2 技術(shù)路線示意圖

2.1 深度集值映射的提出依據(jù)

當(dāng)前,對(duì)于依靠差異特征多個(gè)屬性選擇算法方面已有相關(guān)研究進(jìn)展,如文獻(xiàn)[12]闡述了多類差異信息柔性融合的概念和內(nèi)涵,研究了差異信息多個(gè)因素對(duì)融合性能造成的影響,解釋了差異信息與融合方法間存在多變映射關(guān)系;Hinton[13]指出利用深度學(xué)習(xí)訓(xùn)練出更有用的特征,將其用于圖像融合中,可建立差異特征與融合方法的深度關(guān)系,以提高融合針對(duì)性;文獻(xiàn)[14]指出需要同時(shí)考慮圖像間差異特征的多個(gè)屬性選擇合適的算法,也就是說(shuō)建立差異特征多個(gè)屬性與算法間的深層次關(guān)系是很有必要的。上述研究為探索差異特征各屬性與融合算法間深度集值映射方法,實(shí)現(xiàn)融合算法根據(jù)差異特征多個(gè)屬性變化而改變的需求提供了有益借鑒。

深度集值映射是在淺層集值映射的基礎(chǔ)上,在某一投影軸方向進(jìn)行多次映射迭代形成的多層結(jié)構(gòu)的集值映射。文獻(xiàn)[15]提出了隨機(jī)集落影及落影函數(shù)的概念,分析了落影測(cè)度的性質(zhì),給出了可落隨機(jī)代數(shù)的相關(guān)定理及其證明;落影表現(xiàn)定理及大數(shù)定理的提出,為集值映射的分層研究以及投影軸方向的確定提供了有效手段[16];文獻(xiàn)[17]研究了聯(lián)合落影、條件落影及邊緣落影,使得集值映射的迭代成為可能。深度集值映射能夠通過(guò)多層映射同時(shí)反映事物的多種因素對(duì)其結(jié)果的作用,與本文中根據(jù)差異特征多個(gè)屬性選擇融合算法的需求具有一致性。將深度集值映射用于雙模態(tài)紅外圖像融合中,能夠充分考慮圖像差異特征多個(gè)屬性對(duì)融合的影響,克服了傳統(tǒng)集值映射僅根據(jù)差異特征單一屬性選擇算法的局限。文獻(xiàn)[18-19]構(gòu)造了不同融合算法對(duì)各差異特征類型的融合有效度分布,研究了可能性分布的構(gòu)造及不同類型分布合成方法,并取得一些研究成果。這些研究不僅為算法對(duì)差異特征各屬性融合效果變化狀態(tài)的定量描述奠定了基礎(chǔ),而且為依靠圖像差異特征多個(gè)屬性選擇算法提供有力支撐。

2.2 深度集值映射的意義

差異特征與融合算法的深度集值映射突破現(xiàn)有僅考慮差異特征單一屬性選擇算法的局限,通過(guò)構(gòu)造算法對(duì)差異特征多個(gè)屬性的融合有效度分布,給出差異特征各屬性與融合算法的深度集值映射的實(shí)現(xiàn)方法,能夠揭示圖像差異特征與融合算法間的復(fù)雜關(guān)系,提供了通過(guò)建立差異特征與算法間關(guān)系以實(shí)現(xiàn)算法根據(jù)差異特征多屬性變化而動(dòng)態(tài)調(diào)整的一種新思路,為實(shí)現(xiàn)高性能的多算法融合提供新方法和理論支撐,對(duì)提高紅外融合探測(cè)性能具有重要的意義。

初步研究表明,差異特征與融合算法間的深度集值映射的建立能同時(shí)反映算法對(duì)差異特征的多個(gè)屬性融合有效程度變化關(guān)系,提高雙模態(tài)紅外圖像融合效果。多模態(tài)成像技術(shù)應(yīng)用的日趨成熟,使得光電探測(cè)系統(tǒng)要求融合模塊必須具備高性能、智能化以及自適應(yīng)選取融合算法的功能,將深度集值映射的方法應(yīng)用到多波段圖像、多模態(tài)醫(yī)學(xué)圖像等異類圖像融合中,使多模態(tài)成像系統(tǒng)根據(jù)實(shí)際探測(cè)需求自適應(yīng)調(diào)整融合算法,有助于提升系統(tǒng)智能化、精準(zhǔn)化探測(cè)水平。

3 差異特征多屬性的表征

3.1 差異特征類型的表征

研究人員發(fā)現(xiàn)成像場(chǎng)景各不相同的紅外偏振和紅外光強(qiáng)圖像在亮度、邊緣輪廓、紋理細(xì)節(jié)和對(duì)比度等圖像特征上具有顯著的差異,這幾類特征是雙模態(tài)紅外圖像的主要的異類差異特征[20-22]。

1)亮度差異特征

亮度表示的是整幅灰度圖像的明暗程度。可用圖像的灰度均值m來(lái)表征源圖像亮度差異特征:

(1)

其中,px(i,j)為像素點(diǎn)(i,j)處像素值的大小,L×W為源圖的大小。

2)邊緣輪廓差異特征

圖像邊緣主要指其局部像素灰度存在顯著變化的像素集合[23]。可用Robert算子、Sobel算子、Canny算子、LOG算子等提取邊緣信息,表征兩類圖像的邊緣輪廓差異特征。如利用Sobel算子的邊緣強(qiáng)度(e)來(lái)表征圖像邊緣差異特征:

(2)

xpx(i,j)=px(i,j)-px(i-1,j)

(3)

ypx(i,j)=px(i,j)-px(i,j-1)

(4)

其中,px(i,j) 表示經(jīng)過(guò)Sobel算子處理后得到邊緣圖像的像素點(diǎn)(i,j)位置的像素值,L×W為源圖的大小。

3)紋理細(xì)節(jié)差異特征

紋理通過(guò)像素及其局部鄰域的空間分布來(lái)表現(xiàn)的一種圖像區(qū)域特征,常表現(xiàn)為斑、格、條、紋、環(huán)等圖案[24],可用空間頻率、平均梯度、粗糙度、灰度共生矩陣等方法來(lái)表征紋理差異特征。使用空間頻率表征紋理差異特征如下

(5)

(6)

(7)

其中,RF表示空間行頻率,CF表示空間列頻率,px(i,j)表示像素點(diǎn)(i,j)位置的像素值,L×W表示圖像尺寸的大小。使用差異平均梯度來(lái)表征兩類圖像的紋理細(xì)節(jié)差異特征:

(8)

4)對(duì)比度差異特征

對(duì)比度是用來(lái)反映圖像整體明暗對(duì)比情況,對(duì)于灰度圖像來(lái)說(shuō)，對(duì)比度越大,圖像視覺(jué)層次感越好,可用圖像的標(biāo)準(zhǔn)偏差(Standard Deviation,sd)、Tamura對(duì)比度等方法表征對(duì)比度差異特征，如用圖像的標(biāo)準(zhǔn)偏差表征圖像對(duì)比度特征:

(9)

其中,m表示整幅圖像像素值的平均值。使用Tamura對(duì)比度來(lái)表征兩類圖像的對(duì)比度差異特征[25]:

(10)

式中σ表示標(biāo)準(zhǔn)差;α4代表四階矩。

3.2 差異特征幅值的表征

差異特征幅值表示雙模態(tài)圖像特征強(qiáng)度值間的絕對(duì)差異度,如公式(11)所示。

(11)

本文所用雙模態(tài)紅外圖像的大小為L(zhǎng)×W,為了反映圖像間的局部差異,利用a×b大小的不重疊窗口提取每幅圖像相應(yīng)的差異特征信息,其中L=W=256,a=b=16,則每幅圖中含有256個(gè)幅值。以圖1為例,基于該方法得出的差異特征幅值的動(dòng)態(tài)分布情況如圖3所示。圖中橫軸表示圖像分塊數(shù),縱軸分別表示:a)亮度差異特征幅值；b)邊緣輪廓差異特征幅值；c)紋理細(xì)節(jié)差異特征幅值；d)對(duì)比度差異特征幅值。

圖3 差異特征幅值分布圖

3.3 差異特征頻次的表征

差異特征頻次屬性描述了差異特征幅值屬性分布的疏密性;差異特征幅值的疏密分布反映了差異特征頻次的動(dòng)態(tài)變化。雙模態(tài)紅外圖像對(duì)差異特征幅值具有動(dòng)態(tài)不確定性,僅通過(guò)差異特征類型、幅值大小等因素?zé)o法準(zhǔn)確反映差異特征頻次服從哪些可能性分布。

差異特征幅值函數(shù)描述形式是未知的,因此研究人員采用非參數(shù)概率密度估計(jì)法得到差異特征幅值樣本集的概率密度分布[26],基于此構(gòu)造差異特征頻次分布。常見(jiàn)的非參數(shù)概率密度估計(jì)法有K最近鄰概率密度估計(jì)法和核密度估計(jì)法。為了保證所選的非參數(shù)概率密度估計(jì)法構(gòu)造出的差異特征頻次分布能夠更準(zhǔn)確地反映真實(shí)的差異特征頻次分布,采用相似性測(cè)度的方式對(duì)兩種非參數(shù)估計(jì)法得出的差異特征頻次分布分別與真實(shí)的差異特征頻次分布進(jìn)行相關(guān)性比較。結(jié)果表明,K最近鄰概率密度估計(jì)與真實(shí)差異特征頻次分布的線性相關(guān)程度更高,因此K最近鄰概率密度估計(jì)構(gòu)造出的差異特征頻次分布能夠更準(zhǔn)確地反映真實(shí)的差異特征頻次分布。

4 差異特征多屬性與融合算法間深度集值映射的實(shí)現(xiàn)

在多差異特征和差異特征多屬性研究的基礎(chǔ)上,通過(guò)研究算法對(duì)差異特征每一屬性的融合有效度分布,提出差異特征每一屬性與融合算法間的集值映射的實(shí)現(xiàn)方法;以可能性分布合成為手段[27],研究差異特征多個(gè)屬性對(duì)不同算法的融合有效度合成分布,進(jìn)而給出差異特征多屬性與算法間的深度集值映射的實(shí)現(xiàn)方法。

4.1 差異特征每一屬性與算法間的集值映射的實(shí)現(xiàn)方法

1)對(duì)大量典型場(chǎng)景的雙模態(tài)紅外圖像的亮度、邊緣、紋理、對(duì)比度等特征進(jìn)行分析,確定兩種模態(tài)圖像間的差異特征類型,采用距離測(cè)度計(jì)算基于滑動(dòng)窗口的圖像塊的差異特征幅值,統(tǒng)計(jì)各差異特征出現(xiàn)的頻次。

2)分別利用典型融合算法對(duì)紅外偏振與光強(qiáng)圖像進(jìn)行融合,計(jì)算融合圖像各塊的差異特征融合有效度。融合有效度是在特定的融合算法下,比較融合后的圖像特征與融合前兩種圖像特征有效融合的程度[5]。融合有效度可以通過(guò)距離測(cè)度函數(shù)進(jìn)行描述[20-22],其中常用的距離測(cè)度函數(shù)化表征方式有歐氏距離(Euclidean Distance,ED),余弦相似性[28-29](Cosine Similarity,CS)以及蘭氏距離(Lance and Williams Distance,LAWD)等。這三種描述方式分別如式(12)、(13)、(14)所示。

(12)

(13)

(14)

為了衡量所構(gòu)造的融合有效度的穩(wěn)定性與合理性,研究人員用差異特征穩(wěn)定度和相應(yīng)的主客觀實(shí)驗(yàn)進(jìn)行了驗(yàn)證。結(jié)果表明,余弦相似性穩(wěn)定性高且貼近人類主觀視覺(jué)判斷。

3)以第i類差異特征為例,分別以該特征的幅值或頻次為橫軸,以算法對(duì)其相應(yīng)的融合有效度為縱軸,分別得到算法對(duì)第i類差異特征幅值或頻次的融合有效度的系列離散點(diǎn)。

5)根據(jù)可能性分布構(gòu)造中的一致性原則、最優(yōu)保持原則和最大確定性原則,將上述擬合的曲線進(jìn)行近似,歸納總結(jié)出融合有效度分布的類型,包括偏大型、偏小型及中間型三類。

6)根據(jù)差異特征的不同屬性,構(gòu)造算法對(duì)同類差異特征不同屬性融合有效度分布,如類S型分布、類嶺型分布等,從而建立同類差異特征每一屬性與融合算法的集值映射。

4.2 差異特征多屬性與算法間的深度集值映射的實(shí)現(xiàn)方法

圖4 雙模態(tài)紅外圖像差異特征與融合算法的深度集值映射過(guò)程

4.2.1 面向同類差異特征的合成軸映射

1)借鑒可能性理論中不同論域集值映射間的運(yùn)算規(guī)則將算法對(duì)同類差異特征的不同屬性的融合有效度分布進(jìn)行合成,建立同類差異特征的幅值及頻次等屬性與融合算法的合成軸映射,構(gòu)建多維合成分布云。

2)采用實(shí)驗(yàn)對(duì)比法分析幅值和頻次的重要性程度,確定各屬性權(quán)重,計(jì)算該映射協(xié)調(diào)因子,確定映射投影軸方向。

3)根據(jù)融合需求選取不同的截集水平,在該投影軸方向上進(jìn)行映射多次迭代,結(jié)合落影擴(kuò)展原理,得到以同類差異特征的多個(gè)屬性為論域的聯(lián)合落影。

設(shè)πi,a(x)和πi,f(y)分別為算法對(duì)第i類差異特征幅值、頻次的融合有效度分布,且自變量為不同論域,A∈F(X),B∈F(Y),擬采用M(∧,∨)算子對(duì)分布進(jìn)行合成,具體為:

([xλ,yμ]|xλ∈A,yμ∈B))

(15)

4.2.2 面向異類差異特征的合成軸映射

1)采用對(duì)比分析法研究異類差異特征聯(lián)合落影間的分布特性及相互關(guān)系,借鑒不同論域集值映射間的運(yùn)算規(guī)則，建立異類差異特征的多個(gè)屬性與每一融合算法間的合成軸映射。

2)分析類型屬性的重要性程度,確定各類型權(quán)重,計(jì)算該映射協(xié)調(diào)因子,確定映射的投影軸方向,在該投影軸方向上研究映射的多次迭代。

3)利用模糊推理法計(jì)算合成分布聯(lián)合落影測(cè)度和函數(shù),得到以異類差異特征的多個(gè)屬性為論域的聯(lián)合落影。

設(shè)πi(x)和πj(z)分別為算法對(duì)第i類及第j類差異特征多個(gè)屬性的融合有效度分布,且自變量為不同論域,A∈F(X),C∈F(Z),擬采用M(∧,⊕)算子對(duì)分布進(jìn)行合成:

([xλ,zα]|xλ∈A,zα∈C))

(16)

4.2.3 非合成軸映射

1)采用多個(gè)可能性分布間的交、并、補(bǔ)的上確界或下確界以及與、或等運(yùn)算規(guī)則定義更為一般的可能性分布合成規(guī)則。

2)根據(jù)各個(gè)分布的不同特性及其關(guān)系,研究分布的點(diǎn)狀式、不增式、不減式和增減式等合成形式,確定各可能性分布間的相似測(cè)度或確定度(見(jiàn)式(17)),研究多個(gè)融合有效度分布的合成方法。

(17)

其中,M(Aj)為可能性分布πAj的均值,mλ為可能性分布πAj的λ-截集的擴(kuò)展。

3)選擇合適的合成規(guī)則及方法,對(duì)同一論域的多個(gè)融合有效度分布進(jìn)行合成,從而建立差異特征多個(gè)屬性與不同融合算法間的非合成軸映射。

4)根據(jù)實(shí)際探測(cè)圖像確定差異特征各屬性的范圍,以不同融合算法為論域,構(gòu)造差異特征多個(gè)屬性對(duì)不同算法的融合有效度合成分布。

通過(guò)上述過(guò)程,完成對(duì)深度集值映射的建立。

5 深度集值映射的關(guān)鍵技術(shù)

5.1 算法對(duì)差異特征多個(gè)屬性的融合有效度分布構(gòu)造

算法對(duì)差異特征多個(gè)屬性的融合有效度分布構(gòu)造是指通過(guò)建立雙模態(tài)紅外圖像差異特征多個(gè)屬性(類型、幅值及頻次)與算法融合性能間的集值映射關(guān)系,構(gòu)造反映算法對(duì)差異特征各屬性融合有效程度的函數(shù)。探索融合有效度度量方法、分析不完備數(shù)據(jù)的插值與延拓,才能描述算法融合效果隨差異特征各屬性的動(dòng)態(tài)變化,從而為差異特征與融合算法間深度關(guān)系的研究提供基礎(chǔ)。

5.2 映射的多次迭代研究

映射的多次迭代是指根據(jù)差異特征多個(gè)屬性確定投影軸方向,在該方向上同類、異類差異特征的合成軸映射逐次進(jìn)行投影,形成一維聯(lián)合落影的過(guò)程。這不僅涉及算法對(duì)差異特征各屬性融合有效度的多維合成分布云的構(gòu)建,還關(guān)系到合成分布聯(lián)合落影測(cè)度和函數(shù)的計(jì)算。確定差異特征多個(gè)屬性的重要性程度及映射投影軸方向,才能形成集值映射的分層結(jié)構(gòu),為雙模態(tài)紅外圖像差異特征與融合算法間深度集值映射的建立奠定基礎(chǔ),同時(shí)為融合模型根據(jù)差異特征多個(gè)屬性變化而自適應(yīng)調(diào)整算法提供理論依據(jù)。

6 結(jié)束語(yǔ)

本文提出紅外偏振與光強(qiáng)圖像差異特征與融合算法的深度集值映射,以解決差異特征單一屬性和融合算法間的集值映射無(wú)法同時(shí)反映差異特征多個(gè)屬性對(duì)算法的變化需求進(jìn)而造成融合效果差的問(wèn)題。綜合考慮多個(gè)差異特征及差異特征的多個(gè)屬性(類型、幅值和頻次),通過(guò)研究算法對(duì)差異特征單一屬性的融合有效度分布、融合有效度分布的合成方法,建立了差異特征多屬性與融合算法間的深度集值映射,為根據(jù)圖像差異特征的不同屬性動(dòng)態(tài)調(diào)整算法進(jìn)而提升融合系統(tǒng)的自適應(yīng)性提供思路,為實(shí)現(xiàn)雙模態(tài)紅外圖像智能化融合提供理論基礎(chǔ)。