楊風(fēng)暴
(中北大學(xué) 信息與通信工程學(xué)院, 山西 太原 030051)
紅外偏振與光強(qiáng)圖像的擬態(tài)融合原理和模型研究*
楊風(fēng)暴
(中北大學(xué) 信息與通信工程學(xué)院, 山西 太原 030051)
針對(duì)傳統(tǒng)融合模型不能根據(jù)差異特征變化而動(dòng)態(tài)調(diào)整造成融合圖像效果差的問題, 提出了紅外偏振與光強(qiáng)圖像擬態(tài)融合概念, 論述了圖像擬態(tài)融合的特性; 研究了擬態(tài)感知機(jī)理和擬態(tài)變換定理, 指出了圖像擬態(tài)融合原理和模型的研究內(nèi)容及實(shí)現(xiàn)途徑; 分析了融合算法類集的結(jié)構(gòu)化和融合結(jié)構(gòu)的可重構(gòu)化兩個(gè)關(guān)鍵技術(shù)問題. 從而探索出通過改變?nèi)诤夏P徒Y(jié)構(gòu)滿足不同模態(tài)圖像動(dòng)態(tài)變化需求的融合新理論、 新方法.
紅外偏振圖像; 擬態(tài)融合; 擬態(tài)仿生學(xué); 結(jié)構(gòu)重構(gòu)
紅外偏振與光強(qiáng)成像系統(tǒng)是高性能空天一體化組網(wǎng)監(jiān)測(cè)、 公共安全多視頻監(jiān)控、 醫(yī)學(xué)影像診斷領(lǐng)域中的星載、 機(jī)載、 車載以及醫(yī)用探測(cè)平臺(tái)的重要組成部分[1-2]. 在探測(cè)目標(biāo)的多樣化、 環(huán)境的復(fù)雜化和任務(wù)的多元化背景下, 紅外偏振與光強(qiáng)圖像融合能夠綜合兩類圖像間互補(bǔ)信息, 顯著提高光電成像系統(tǒng)的成像質(zhì)量、 探測(cè)精度[3-4], 滿足用戶對(duì)高性能影像數(shù)據(jù)的需求(如圖 1), 從而成為紅外信息處理的一項(xiàng)關(guān)鍵技術(shù).
圖 1 紅外偏振光強(qiáng)圖像及融合圖像Fig.1 Infrared polarization, intensity and fused images
1.1 紅外偏振與光強(qiáng)圖像融合面臨的問題
紅外偏振與光強(qiáng)圖像融合的關(guān)鍵是: 在綜合共有特征的基礎(chǔ)上, 實(shí)現(xiàn)兩類圖像差異特征(互補(bǔ)特征)的有效融合[5]. 當(dāng)前, 兩類圖像融合主要是依據(jù)圖像差異特征的先驗(yàn)知識(shí)事先確定融合算法. 事實(shí)上, 在真實(shí)的目標(biāo)檢測(cè)中, 由于場(chǎng)景的動(dòng)態(tài)變化, 紅外偏振與光強(qiáng)圖像間差異特征很難提前有效確定, 必須依靠實(shí)時(shí)的成像條件和探測(cè)系統(tǒng)獲?。?且圖像的差異特征類型、 差異幅度是隨機(jī)變化的, 尤其是動(dòng)態(tài)圖像幀間變化更為復(fù)雜, 事先選擇的“固定”融合模型和算法很難滿足“動(dòng)態(tài)”變化的差異特征的融合需求, 這種“先驗(yàn)假設(shè)”的融合方法已成為制約兩類圖像融合效果提升的瓶頸.
產(chǎn)生上述問題的原因表面是由于融合模型不隨圖像差異特征變化而調(diào)整; 實(shí)質(zhì)上是融合模型對(duì)圖像差異特征變化敏感性低、 融合模型固定結(jié)構(gòu)不具備動(dòng)態(tài)調(diào)整和選擇有效融合算法能力, 從而嚴(yán)重束縛了融合優(yōu)勢(shì)的發(fā)揮. 只有提高模型對(duì)差異特征變化的敏感能力、 建立動(dòng)態(tài)可變?nèi)诤辖Y(jié)構(gòu)的方法, 才能突破上述瓶頸問題.
1.2 擬態(tài)融合的提出
擬態(tài)章魚可模仿15種海洋生物而躲避危險(xiǎn), 具有超強(qiáng)的多擬態(tài)能力[6], 如圖 2 所示. 擬態(tài)章魚的多擬態(tài)特性得益于自身的兩大功能: ① 能夠敏銳感知到外界不同威脅對(duì)象; ② 通過自身顏色、 形狀和動(dòng)作的變化, 模仿利于自身生存的不同生物及其行為, 獲得自我保護(hù). 這兩大功能與解決上述兩類圖像融合問題的需求是一致的.
因此, 針對(duì)現(xiàn)有圖像融合模型缺乏感知圖像間差異信息能力、 不能根據(jù)認(rèn)知差異調(diào)整融合策略等深層問題, 本文將擬態(tài)章魚的多擬態(tài)特性引入到圖像融合中, 提出紅外偏振與光強(qiáng)圖像擬態(tài)融合, 給出紅外偏振與光強(qiáng)圖像擬態(tài)仿生融合原理和擬態(tài)仿生融合模型的構(gòu)建方法, 探索高性能紅外成像探測(cè)技術(shù)及圖像融合的新理論、 新方法.
圖 2 擬態(tài)章魚的多擬態(tài)特性示意圖Fig.2 Diagram on multiple mimicry properties of mimic octopus
1.3 擬態(tài)融合的意義
紅外偏振與光強(qiáng)圖像擬態(tài)融合不企圖建立適用所有圖像融合的方法, 也不排除現(xiàn)有融合算法的優(yōu)勢(shì)性能, 更不拒絕在融合方法中引入其它新理論提高融合算法自適應(yīng)程度, 而是借助“差異決定結(jié)構(gòu)、 結(jié)構(gòu)決定效果”的思想, 根據(jù)兩類成像特性提取相應(yīng)差異特征, 形成對(duì)融合可變驅(qū)動(dòng), 使圖像差異特征和融合方法緊密結(jié)合. 相關(guān)初步研究表明, 圖像擬態(tài)融合具備解決傳統(tǒng)融合模型被動(dòng)地響應(yīng)復(fù)雜多變的差異特征融合需求的問題, 能夠從根本上提高融合模型的自適應(yīng)性.
將圖像擬態(tài)融合擴(kuò)展到紅外與可見光圖像、 多模態(tài)醫(yī)學(xué)圖像、 多光譜遙感圖像等異質(zhì)圖像融合中, 可以極大地提高融合模型的魯棒性, 滿足復(fù)雜差異特征融合需求; 在無人機(jī)遙感、 智慧交通和危險(xiǎn)物檢測(cè)等領(lǐng)域的光電探測(cè)系統(tǒng)中, 擬態(tài)融合可以使系統(tǒng)獲得更加精細(xì)化、 多元化和豐富的目標(biāo)信息, 顯著提高系統(tǒng)精準(zhǔn)探測(cè)和智能化水平.
2.1 擬態(tài)融合的提出依據(jù)
為了獲得高質(zhì)量的紅外偏振與光強(qiáng)融合圖像, 研究人員提出了基于離散小波變換[7]、 小波包[8]、 拉普拉斯金字塔[9]、 非下采樣輪廓波[10]和非下采樣剪切波[11]等多尺度變換融合算法, 研究表明不同融合算法各有優(yōu)勢(shì)[12]. 因此, 有學(xué)者將優(yōu)勢(shì)互補(bǔ)的融合算法相結(jié)合, 如: 文獻(xiàn)[13]將NSCT與SR相結(jié)合, 融合圖像具有較好的目標(biāo)信息和背景信息; 文獻(xiàn)[14]為了提高紅外偏振與光強(qiáng)融合圖像的對(duì)比度特征, 將頂帽變換與多尺度支持度變換相結(jié)合, 融合圖像質(zhì)量明顯優(yōu)于單一融合算法. 本文作者[15-18]嘗試將差異特征驅(qū)動(dòng)的圖像融合模型應(yīng)用到紅外偏振與光強(qiáng)圖像融合中, 將多算法融合擴(kuò)展到針對(duì)差異特征變化驅(qū)動(dòng)不同融合算法, 滿足差異特征變化對(duì)融合的需求, 使多算法融合模型的融合性能得到進(jìn)一步提升, 但融合模型依然是剛性結(jié)構(gòu), 不能動(dòng)態(tài)響應(yīng)差異特征變化融合需求. 研究表明, 將融合模型設(shè)計(jì)成由規(guī)則、 參數(shù)等各部分可變的不同融合算法構(gòu)成的結(jié)構(gòu)可變模型, 則融合模型能夠根據(jù)差異特征變化動(dòng)態(tài)地選擇與使用各融合算法, 根本上確保模型的融合性能.
擬態(tài)[19]是指一種生物在形態(tài)、 行為等特征上模擬另一種生物, 從而使一方或雙方受益的生態(tài)適應(yīng)現(xiàn)象, 它是生物的一種生存本領(lǐng). 擬態(tài)仿生學(xué)是指在研究生物擬態(tài)特性基礎(chǔ)上, 模仿生物擬態(tài)系統(tǒng)機(jī)理和結(jié)構(gòu)的仿生科學(xué). 擬態(tài)章魚具有根據(jù)外界刺激變化, 擬態(tài)多種生物的能力, 使擬態(tài)仿生學(xué)研究向多擬態(tài)擴(kuò)展. 擬態(tài)章魚感知外界威脅變化的能力[20]和做出相應(yīng)變化的身體結(jié)構(gòu)[21]為融合模型根據(jù)差異特征不同變化而改變的需求提供了仿生依據(jù). 2013年鄔江興院士等[22]通過對(duì)擬態(tài)章魚仿生, 提出了擬態(tài)計(jì)算, 根據(jù)動(dòng)態(tài)參數(shù)選擇生成多種功能等價(jià)的可計(jì)算實(shí)體, 同時(shí)還提出擬態(tài)安全的概念, 證明了擬態(tài)變換的可實(shí)現(xiàn)性, 為圖像擬態(tài)融合提供了借鑒.
2.2 擬態(tài)融合的基本概念
擬態(tài)融合是指根據(jù)擬態(tài)章魚按照生存需求模仿出多種生物的多擬態(tài)行為, 建立多類圖像融合的變結(jié)構(gòu)模型的一種仿生融合方法, 以解決固定模型融合動(dòng)態(tài)場(chǎng)景序列圖像時(shí)效果低或失效的問題. 其通過感知圖像間的差異特征及變化, 動(dòng)態(tài)映射出優(yōu)化的融合算法, 再將多算法協(xié)同嵌接形成相應(yīng)的融合模型; 模型的結(jié)構(gòu)、 算法、 規(guī)則、 參數(shù)能夠根據(jù)差異特征的改變而自適應(yīng)的變化.
2.3 擬態(tài)融合的主要特性
擬態(tài)融合主要具備結(jié)構(gòu)重構(gòu)性、 主動(dòng)感知性、 動(dòng)態(tài)優(yōu)化性、 擬態(tài)多樣性等特性.
1) 結(jié)構(gòu)重構(gòu)性: 應(yīng)用多維重構(gòu)、 結(jié)構(gòu)化融合算法構(gòu)建技術(shù), 融合模型具備可變結(jié)構(gòu); 模型中各變?cè)?變體和結(jié)構(gòu)等局部或全部隨差異特征的變化實(shí)時(shí)調(diào)整, 完成融合后重構(gòu)回初始狀態(tài).
2) 主動(dòng)感知性: 依據(jù)擬態(tài)感知機(jī)理, 融合模型自覺探知差異特征及其變化.
3) 動(dòng)態(tài)優(yōu)化性: 針對(duì)感知到的差異特征變化, 融合模型自適應(yīng)地更新差異特征類集與融合算法類集間的映射, 使差異特征與算法間達(dá)到更優(yōu)匹配.
4) 擬態(tài)多樣性: 有機(jī)整合選擇的融合算法, 通過與擬態(tài)機(jī)理深度結(jié)合運(yùn)用, 融合模型通過各變?cè)g、 變體間組合派生出多種融合模型結(jié)構(gòu).
擬態(tài)融合原理是指充分發(fā)揮不同融合算法的優(yōu)勢(shì), 基于擬態(tài)感知機(jī)理和擬態(tài)變換定理, 實(shí)現(xiàn)融合模型感知/認(rèn)知差異特征、 擬態(tài)變換, 是融合模型根據(jù)紅外偏振與光強(qiáng)圖像差異特征變化、 動(dòng)態(tài)選擇合適的算法的理論基礎(chǔ).
3.1 擬態(tài)融合原理的主要內(nèi)容
1) 擬態(tài)章魚的感知與擬態(tài)機(jī)理: 根據(jù)擬態(tài)章魚對(duì)不同威脅對(duì)象的感知能力和被擬態(tài)對(duì)象的結(jié)構(gòu)及特點(diǎn), 揭示擬態(tài)章魚的擬態(tài)類型和擬態(tài)機(jī)理.
2) 差異特征驅(qū)動(dòng)機(jī)制: 通過建立多圖像間差異特征類集與融合算法類集間的反映融合有效性的多集值映射, 根據(jù)不同的差異特征, 基于該映射選擇不同的融合算法(或融合規(guī)則、 融合參數(shù)等), 將選擇的融合算法協(xié)同嵌接形成相應(yīng)的融合模型, 從而使融合模型隨圖像差異特征的改變而優(yōu)化改變; 揭示成像差異特性到圖像差異特征的演化規(guī)律, 確定擬態(tài)驅(qū)動(dòng)類型.
3) 面向圖像融合的擬態(tài)變換定理: 研究可逆變?cè)念愋图肮δ堋?各類變體的構(gòu)成及組合形式; 探索不同類型擬態(tài)變換過程及其關(guān)系, 給出擬態(tài)變換的函數(shù)化描述方法.
3.2 擬態(tài)融合原理的研究途徑
1) 擬態(tài)章魚的感知能力: 通過擬態(tài)章魚及相關(guān)生物感知方面的最新研究, 確定擬態(tài)章魚對(duì)不同威脅對(duì)象的感知種類和能力; 明確擬態(tài)章魚如何感知到不同威脅對(duì)象的顏色、 形狀及動(dòng)作等變化, 并及時(shí)做出準(zhǔn)確的判斷和反應(yīng); 利用情景感知服務(wù)框架法和數(shù)字化感知仿生手段揭示擬態(tài)章魚對(duì)各種威脅對(duì)象的感知性能.
2) 擬態(tài)章魚的擬態(tài)機(jī)理: 跟蹤擬態(tài)章魚擬態(tài)仿生過程的最新研究成果, 探索其皮膚表面色包的類型、 組合顏色與圖案的方式, 觸角形狀及其組合變形協(xié)調(diào)形式, 運(yùn)動(dòng)特點(diǎn)及外觀暫態(tài)的形成、 保持及復(fù)原, 確定擬態(tài)章魚模仿不同生物的擬態(tài)過程; 分析擬態(tài)章魚多擬態(tài)性能的產(chǎn)生原因; 從黑箱理論分析輸入和輸出間的關(guān)系、 由刺激到響應(yīng)過程的角度, 結(jié)合擬態(tài)章魚生理特性, 確定擬態(tài)章魚的擬態(tài)機(jī)理.
3) 差異特征驅(qū)動(dòng)機(jī)制: 通過分析紅外偏振與紅外熱成像在目標(biāo)輻射特性、 大氣傳輸特性、 探測(cè)器響應(yīng)特性等因素之間的差異; 根據(jù)成像差異特性與圖像差異特征之間的內(nèi)在聯(lián)系, 揭示從成像差異特性到圖像差異特征的形成機(jī)理, 進(jìn)而確定擬態(tài)驅(qū)動(dòng)類型, 為后續(xù)擬態(tài)融合模型的建立提供驅(qū)動(dòng)敏感量.
4) 擬態(tài)變換定理: 結(jié)合擬態(tài)章魚模仿多種生物的擬態(tài)過程, 確定面向圖像融合、 能夠反映各種變體的可逆變?cè)凑漳撤N需求的協(xié)同變化過程的擬態(tài)變換定理: 通過比較各差異特征對(duì)應(yīng)各種融合算法的融合有效度, 選擇有效融合算法、 選取合適融合規(guī)則、 確定最優(yōu)融合參數(shù), 對(duì)各種變體可逆變?cè)臉?gòu)成及組合進(jìn)行分析; 利用擬態(tài)計(jì)算機(jī)體系結(jié)構(gòu)的動(dòng)態(tài)重構(gòu)方法對(duì)擬態(tài)變換準(zhǔn)則進(jìn)行研究; 采用回歸分析方法, 將擬態(tài)變換的定性過程轉(zhuǎn)換為定量過程, 得到擬態(tài)變換的函數(shù)化描述, 見式(1).
(1)
其中, 該變換的定義域?yàn)楦鞣N變體的可逆變?cè)M成的集合U,W表示融合算法集且為維向量,P表示融合規(guī)則集且為維向量,Q表示融合參數(shù)集且為L維向量, 值域?yàn)槿诤纤惴ā?規(guī)則、 參數(shù)的協(xié)同組合形成的新形態(tài)或結(jié)構(gòu)集合V,V為K維向量.
擬態(tài)變換是實(shí)現(xiàn)圖像融合中建立感知/認(rèn)知到的差異特征變化與動(dòng)態(tài)可變?nèi)诤辖Y(jié)構(gòu)之間關(guān)系的必要環(huán)節(jié). 只有對(duì)擬態(tài)變換中各種可逆單元的構(gòu)成、 多個(gè)單元間的協(xié)同組合規(guī)則、 不同類型擬態(tài)的變換過程及其關(guān)系深入研究, 融合模型的擬態(tài)性能才能實(shí)現(xiàn).
擬態(tài)融合模型各部分都應(yīng)具備動(dòng)態(tài)、 可變、 可重構(gòu)的功能, 依據(jù)融合算法通用性框架, 將融合分為三個(gè)不同可逆變?cè)?各變?cè)际莿?dòng)態(tài)可重構(gòu)的, 變?cè)g既相互獨(dú)立又互相關(guān)聯(lián); 根據(jù)不同的差異特征, 各變?cè)?lián)合派生出合適的融合算法, 當(dāng)融合結(jié)束后, 各變?cè)謴?fù)初始狀態(tài), 如圖 3 所示.
圖 3 擬態(tài)融合可逆單元示意圖Fig.3 Reversible units of mimic fusion
4.1 擬態(tài)融合模型的研究內(nèi)容
1) 圖像間差異特征類集構(gòu)建: 根據(jù)差異特征驅(qū)動(dòng)機(jī)制, 探索差異特征表示與提取方法, 建立兩類圖像差異特征類集.
2) 被擬態(tài)模型結(jié)構(gòu)性能分析: 根據(jù)各類變體及其可逆變?cè)男再|(zhì), 歸納總結(jié)典型融合算法, 建立融合算法與被擬態(tài)模型之間的關(guān)系; 研究被擬態(tài)模型的性能.
3) 結(jié)構(gòu)化融合算法類集構(gòu)建: 根據(jù)融合算法的特點(diǎn), 形成融合算法的分類規(guī)則; 研究算法間的關(guān)系及結(jié)構(gòu), 探究融合結(jié)構(gòu)動(dòng)態(tài)重構(gòu)機(jī)理, 構(gòu)建結(jié)構(gòu)化融合算法類集.
4) 兩種類集間多集值映射: 探索感知/認(rèn)知圖像差異特征變化方法, 構(gòu)建差異特征敏感模型; 根據(jù)差異特征驅(qū)動(dòng)機(jī)制, 揭示兩類集間多集值映射關(guān)系.
5) 多形態(tài)子結(jié)構(gòu)算法集/類集派生策略: 構(gòu)建多形態(tài)重構(gòu)函數(shù)化體系; 研究可能性分布邏輯交并規(guī)則及各類融合算法的協(xié)同規(guī)律和嵌接機(jī)理, 建立差異特征驅(qū)動(dòng)的擬態(tài)融合模型.
擬態(tài)融合模型構(gòu)建方法總體示意如圖 4 所示.
圖 4 擬態(tài)融合模型構(gòu)建方法示意圖Fig.4 Diagram on modeling of mimic fusion
4.2 擬態(tài)融合模型的實(shí)現(xiàn)方法
1) 兩類圖像差異特征類集構(gòu)建: 通過紅外偏振與光強(qiáng)成像特性分析及差異特征間的相關(guān)性研究, 構(gòu)建出圖像差異特征分類樹的第一層類別結(jié)構(gòu); 對(duì)多組圖像統(tǒng)計(jì)并描述第一層類別下的各差異信息, 構(gòu)建出差異特征分類樹的第二層結(jié)構(gòu); 提取差異特征, 將其按照差異特征分類樹進(jìn)行分類, 分類結(jié)果便于構(gòu)建差異特征類集. 依據(jù)差異特征分類樹進(jìn)行差異特征分類, 建立認(rèn)知差異程度、 類型及其之間的關(guān)系, 從而確定差異特征類集.
2) 被擬態(tài)模型結(jié)構(gòu)性能分析: 分析常用融合算法(如非下采樣剪切波、 分階數(shù)傅里葉變換、 視覺顯著性、 多層級(jí)融合、 模糊神經(jīng)網(wǎng)絡(luò)、 點(diǎn)擴(kuò)散函數(shù)模型、 彩色空間變換等)的結(jié)構(gòu)、 功能和特點(diǎn), 找出穩(wěn)定性高的典型融合算法; 研究典型融合算法與被擬態(tài)融合模型間的聯(lián)系; 可以采用定性分析和定量分析相結(jié)合的方法對(duì)被擬態(tài)融合模型的結(jié)構(gòu)性能進(jìn)行分析.
3) 算法類集構(gòu)建: 將不同融合算法按照融合需求、 適用范圍及算法對(duì)圖像不同特征的融合效果等進(jìn)行歸類形成融合算法類集, 以類集中某個(gè)元素與其它元素的距離測(cè)度為主要依據(jù), 研究類集元素的構(gòu)成形式和增刪機(jī)制, 最后構(gòu)建融合算法類集.
4) 兩種類集間多集值映射: 通過研究圖像間視覺指數(shù)、 邊緣強(qiáng)度、 邊緣特征點(diǎn)數(shù)、 直方圖的差異統(tǒng)計(jì)特征、 灰度-梯度共生紋理等差異特征, 擬采用采用式(2)將其進(jìn)行量化并得到相應(yīng)的差異特征值, 通過研究感知/認(rèn)知差異特征變化的方法, 進(jìn)而構(gòu)建差異特征敏感模型.
(2)
式中:α+β=1,Ti1為紅外偏振圖像的第i個(gè)差異特征值;Ti2為紅外光強(qiáng)圖像的第i個(gè)差異特征值; ΔTi為兩圖像第i個(gè)差異特征的相對(duì)值.
差異特征對(duì)應(yīng)各融合算法融合有效度的可能性分布是建立映射關(guān)系的前提和基礎(chǔ), 可以采用偏序集理論的數(shù)據(jù)包絡(luò)分析法評(píng)價(jià)各融合算法的相對(duì)有效程度.
類集間多集值映射關(guān)系的建立擬采用可能性理論中的可能性集值映射, 并確定類集間元素的可能性測(cè)度. 具體映射關(guān)系如圖 5 所示, 假設(shè)π1(x) 和π2(y)分別為模糊集A和B的可能性分布, 則對(duì)于λ1∈[0,1],λ2∈[0,1], 則有
(3)
圖 5 中,γ是XOY面上投影軸與Y軸的夾角, 也稱為協(xié)調(diào)因子, 它反映了A和B表示的屬性間的相關(guān)關(guān)系, 當(dāng)γ越小, 說明B的屬性比A的越重要.
5) 多形態(tài)子結(jié)構(gòu)化融合算法集/類集派生策略: 根據(jù)不同的差異特征, 按照融合算法對(duì)各差異特征的融合有效度、 便于輸入輸出等要求, 建立結(jié)構(gòu)化融合算法類集選擇派生子結(jié)構(gòu)算法集/類集的方法, 借鑒多維重構(gòu)擬態(tài)化結(jié)構(gòu)研究兩類圖像的多形態(tài)重構(gòu)函數(shù)化體系.
融合算法協(xié)同嵌接機(jī)理研究, 可以采用多個(gè)可能性分布間的交、 并、 補(bǔ)的上確界或下確界以及與、 或等邏輯運(yùn)算規(guī)則定義更為一般的可能性分布合成規(guī)則, 根據(jù)可能性分布的不同表現(xiàn)形式及其關(guān)系, 選擇合適的規(guī)則進(jìn)行可能性分布合成(見式(4)), 建立融合算法的自適應(yīng)變換方法; 然后, 結(jié)合各融合算法的特點(diǎn)及組合方式, 研究各算法間的協(xié)同關(guān)系及嵌接機(jī)理.
圖 5 差異特征類集與融合算法類集的集值映射Fig.5 Set value mapping between class-set of difference features and class-set of fusion algorithms
(4)
通過對(duì)上述內(nèi)容的研究, 建立紅外偏振與光強(qiáng)圖像差異特征驅(qū)動(dòng)的擬態(tài)融合模型.
4.3 擬態(tài)融合模型的關(guān)鍵技術(shù)
1) 融合算法類集的結(jié)構(gòu)化: 結(jié)構(gòu)化算法類集是算法按照融合需求、 適用范圍及算法對(duì)不同特征的融合效果等進(jìn)行歸類后形成的集合, 結(jié)構(gòu)化主要體現(xiàn)在元素的層次結(jié)構(gòu)(即算法類集、 算法集、 規(guī)則集以及參數(shù)集等的多層次結(jié)構(gòu)及其存儲(chǔ)、 調(diào)用關(guān)系)和元素間聯(lián)接關(guān)系(包括類內(nèi)元素選擇、 替代、 變換關(guān)系以及類間元素的組合關(guān)系). 只有確定類集中各層次元素的存儲(chǔ)調(diào)用關(guān)系、 類內(nèi)及類間元素的選擇替代關(guān)系, 擬態(tài)仿生融合模型才能按照差異特征變化合理地確定融合結(jié)構(gòu)、 算法、 規(guī)則及參數(shù)等. 圖 6 為結(jié)構(gòu)化融合算法類集構(gòu)建示意圖.
圖 6 結(jié)構(gòu)化融合算法類集構(gòu)建示意圖Fig.6 Construction of class-set of structured fusion algorithms
2) 融合結(jié)構(gòu)的可重構(gòu)化: 融合結(jié)構(gòu)的可重構(gòu)化指根據(jù)擬態(tài)感知類型, 由融合規(guī)則、 參數(shù)等反映算法性能的可逆變?cè)M成的變體結(jié)構(gòu)柔性調(diào)整的一種實(shí)現(xiàn)方法. 融合結(jié)構(gòu)可重構(gòu)不僅涉及到各可逆變?cè)獦?gòu)成(相對(duì)穩(wěn)定)及組合(相對(duì)易變), 而且還包括感知/認(rèn)知到的差異特征與動(dòng)態(tài)可變?nèi)诤辖Y(jié)構(gòu)間關(guān)系的建立、 基于擬態(tài)變換的多維重構(gòu)函數(shù)化體系的構(gòu)建. 只有確定各變?cè)膶哟侮P(guān)系、 融合結(jié)構(gòu)的動(dòng)態(tài)重構(gòu)方法, 擬態(tài)融合模型才能根據(jù)差異特征變化動(dòng)態(tài)調(diào)整融合策略.
本文針對(duì)目前紅外偏振與光強(qiáng)圖像融合模型不能隨差異特征變化動(dòng)態(tài)調(diào)整融合策略的問題, 提出紅外偏振與光強(qiáng)圖像擬態(tài)融合, 將擬態(tài)章魚的擬態(tài)特性引入到圖像融合中, 闡述了擬態(tài)融合的概念和特性、 圖像擬態(tài)融合原理及模型構(gòu)造方法, 為解決圖像擬態(tài)融合與建模中的感知/認(rèn)知機(jī)理、 擬態(tài)變換、 可變?nèi)诤辖Y(jié)構(gòu)等深層次理論問題提供理了理論上和方法上的研究思路.
需要進(jìn)一步深入研究模型的智能感知機(jī)制, 提高差異特征感知的準(zhǔn)確性和靈敏性; 融合算法對(duì)差異特征融合有效度的分布合成, 建立多個(gè)差異特征幅值與算法融合有效度間的深度映射, 為模型動(dòng)態(tài)選擇融合算法提供客觀依據(jù); 圖像擬態(tài)融合評(píng)價(jià)體系, 為模型的完善提供參考, 也為融合圖像質(zhì)量評(píng)價(jià)探索一條新途徑.
[1]姜會(huì)林, 江倫, 付強(qiáng), 等. 空間碎片偏振光譜成像探測(cè)技術(shù)研究[J]. 深空探測(cè)學(xué)報(bào), 2015, 2(3): 273-276. Jiang Huilin, Jiang Lun, Fu Qiang, et al. Discussion of the polarization spectral imaging observations technology with space debris[J]. Journal of Deep Space Exploration, 2015, 2(3): 273-276. (in Chinese)
[2]蔡懷宇, 楊建喬, 黃戰(zhàn)華, 等. 基于偏振圖像融合的長波紅外人臉圖像增強(qiáng)技術(shù)[J]. 納米技術(shù)與精密工程, 2016, 14(4): 263-268. Cai Huaiyu, Yang Jianqiao, Huang Zhanhua, et al. LWIR human face image enhancement method based on polarimetric image fusion[J]. Nanotechnology and Precision Engineering, 2016, 14(4): 263-268. (in Chinese)
[3]王慧斌, 廖艷, 沈潔, 等. 分級(jí)多尺度變換的水下偏振圖像融合法[J]. 光子學(xué)報(bào), 2014, 43(5): 1-6. Wang Huibin, Liao Yan, Shen Jie, et al. Method of underwater polarization image fusion based on hierarchical and multi-scale transform[J]. Acta Photonica Sinica, 2014, 43(5): 1-6. (in Chinese)
[4]楊風(fēng)暴. 紅外物理與技術(shù)[M]. 北京: 電子工業(yè)出版社, 2014.
[5]楊風(fēng)暴, 藺素珍. 基于變換域多合成規(guī)則的雙色中波紅外圖像融合[J]. 紅外與激光工程, 2014, 43(11): 3664-3668. Yang Fengbao, Lin Suzhen. Fusion of dual color MWIR images based on multiple combination rules in transform domain[J]. Infrared and Laser Engineering, 2014, 43(11): 3664-3668. (in Chinese)
[6]Norman M D, Finn J, Tregenza T. Dynamic mimicry in an Indo-Malayan octopus[J]. Proceedings of the Royal Society B Biological Sciences, 2001, 268(1478): 1755-8.
[7]Yang W, Gu G H, Chen Q, et all. A wavelet-based adaptive fusion algorithm of infrared polarization imaging[C]. Proc. of SPIE, 2016: 1-9.
[8]陳偉力, 王霞, 金偉其, 等. 基于小波包變換的中波紅外偏振圖像融合[J]. 北京理工大學(xué)學(xué)報(bào), 2011, 31(5): 578-582. Chen Weili, Wang Xia, Jin Weiqi, et al. Approach to fusing MWIR polarization image based on wavelet packet transform[J]. Transactions of Beijing Institute of Technology, 2011, 31(5): 578-582. (in Chinese)
[9]Yue Z, Li F M. An infrared polarization image fusion algorithm based on oriented Laplacian pyramid[C]. Proc. of SPIE, 2014: 8-11.
[10]Yu X, Chen Q, Gu G, et al. An infared polarization image fusion method based on NSCT and fuzzy C-means clustering segmentation algorithms[C]. Proc. of SPIE, 2014: 1-9.
[11]周強(qiáng), 趙巨峰, 馮華軍, 等. 非下采樣剪切波的紅外偏振圖像融合[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版), 2014, 48(8): 1509-1516. Zhou Qiang, Zhao Jufeng, Feng Huajun, et al. Infrared polarization image fusion with non-sampling Shearlets[J]. Journal of Zhejiang University (Engineering Science), 2014, 48(8): 1509-1516. (in Chinese)
[12]原惠峰, 楊風(fēng)暴, 張雷, 等. 不同圖像融合技術(shù)的融合性能分析比較[J]. 中國科技論文, 2015, 10(20): 20406-20411. Yuan Huifeng, Yang Fengbao, Zhang Lei, et al. A comparative study of the performance of different image fusion technology[J]. China Sciencepaper, 2015, 10(20): 20406-20411. (in Chinese)
[13]Liu Y, Liu S P, Wang Z F. A general framework for image fusion based on multi-scale transformand sparse representation[J]. Information Fusion, 2015, 24(3): 147-164.
[14]Lin S Z, Wang D J, Zhu X H, et al. Fusion of infrared intensity and polarization images using embedded multi-scale transform[J]. Optik, 2015, 126(24): 5127-5133.
[15]Yang F B, Wei H. Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules[J]. Infrared Physics & Technology, 2013, 60: 235-243.
[16]牛濤, 楊風(fēng)暴, 王肖霞, 等. 差異特征與融合算法的集值映射關(guān)系的建立[J]. 紅外與激光工程, 2015, 44(3): 1074-1079. Niu Tao, Yang Fengbao, Wang Xiaoxia, et al. Establishment of set-valued mapping between difference characteristics and fusion algorithms[J]. Infrared and Laser Engineering, 2015, 44(3): 1074-1079. (in Chinese)
[17]牛濤, 楊風(fēng)暴, 衛(wèi)紅, 等. 紅外偏振和光強(qiáng)圖像差異特征分類樹的構(gòu)建[J]. 紅外技術(shù), 2015, 37(6): 457-461. Niu Tao, Yang Fengbao, Wei Hong, et al. Classification tree of difference features between infrared polarization and infrared intensity images[J]. Infrared Technology, 2015, 37(6): 457-461. (in Chinese)
[18]安富, 楊風(fēng)暴, 藺素珍, 等. 特征差異驅(qū)動(dòng)的紅外偏振與光強(qiáng)圖像融合[J]. 中國科技論文, 2014(1): 96-102. An Fu, Yang Fengbao, Lin Suzhen, et al. Feature differences driven fusion of infrared polarization and intensity images[J]. China Sciencepaper, 2014(1): 96-102. (in Chinese)
[19]Yamazaki K, Yadun S L. Dense white trichome production by plants as possible mimicry of arthropod silk or fungal hyphae that deter herbivory[J]. Journal of Theoretical Biology, 2015, 364(25): 1-6.
[20]Tomita M, Aoki S. Visual discrimination learning in the small octopus octopusocellatus[J]. Ethology, 2014, 120(9): 863-872.
[21]Hanlon R T, Watson A C, Barbosa A. “Mimic octopus” in the atlantic: flatfish mimicry and camouflage by macrotritopusdefilippi[J]. Biological Bulletin, 2010, 218(1): 15-24.
[22]鄔江興. 擬態(tài)計(jì)算與擬態(tài)安全防御的原意和愿景[J]. 電信科學(xué), 2014, 7(1): 2-7. Wu Jiangxing. Meaning and vision of mimic computing and mimic security defense[J]. Telecommunications Science, 2014, 7(1): 2-7. (in Chinese)
Research on Theory and Model of Mimic Fusion Between Infrared Polarization and Intensity Images
YANG Feng-bao
(School of Information and Communication Engineering, North University of China, Taiyuan 030051, China)
The structure cannot be adjusted dynamically in the current fusion model under the change of different features among images, leading to low fusion effect. The concept of mimic fusion between infrared polarization and intensity image is proposed in this paper and the characteristics of mimic fusion are discussed. Then, the mimic perception mechanism and transformation theorem are studied, and the research contents and implementation ways of image mimic fusion are pointed out. Lastly, two key technologies on the structured implementation of fusion algorithm class-set and reconstruction of fusion structure are analyzed. The novel fusion theory and method are explored to meet the dynamic change demand of different modality images by changing fusion model structure.
infrared polarization image; mimic fusion; mimic bionics;structure reconstruction
1673-3193(2017)01-0001-08
2016-11-18
國家自然科學(xué)基金資助項(xiàng)目(61672472)
楊風(fēng)暴(1968-), 男, 教授, 博士生導(dǎo)師, 主要從事多源信息融合處理研究.
TP391.41
A
10.3969/j.issn.1673-3193.2017.01.001