陳繼紅++劉素真

摘 要： 研究了紅外和可見(jiàn)光圖像融合、融合質(zhì)量客觀評(píng)價(jià)以及融合目標(biāo)跟蹤三個(gè)方面。針對(duì)當(dāng)前基于顏色傳遞的彩色圖像融合中融合圖像缺乏顏色恒常性的問(wèn)題，著重分析研究顏色傳遞過(guò)程中參考圖像如何影響融合效果，并提出基于恒參數(shù)顏色傳遞（CPCT）彩色圖像融合的改進(jìn)算法。然后，分析了彩色融合圖像的客觀評(píng)價(jià)方法，對(duì)各種客觀評(píng)價(jià)指標(biāo)與主觀評(píng)價(jià)的一致性進(jìn)行對(duì)比總結(jié)。最后，以目標(biāo)跟蹤作為紅外和可見(jiàn)光圖像融合應(yīng)用，針對(duì)紅外小目標(biāo)跟蹤出現(xiàn)的相似背景干擾問(wèn)題，結(jié)合基于CPCT的圖像融合算法，研究了基于CPCT彩色融合圖像的粒子濾波目標(biāo)跟蹤算法。

關(guān)鍵詞： CPCT； 彩色圖像融合； 融合評(píng)價(jià)； 粒子濾波； 融合跟蹤

中圖分類號(hào)： TN911.73?34； TM417 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）09?0005?05

Abstract： The infrared image and visible?light image fusion， objective evaluation of fusion quality and fusion target tracking are studied. Since the fusion image in the color image fusion based on color transfer lacks of color constancy， the fusion effect influenced by the reference image in the color transfer process is analyzed and studied emphatically. A color image fusion improved algorithm based on constant parameter color transfer （CPCT） is proposed. The objective evaluation method of the color fusion image is analyzed. The consistency between each objective evaluation index and subjective evaluation index is contracted and summarized. The target tracking is deem as the application of the infrared image and visible?light image fusion. Aiming at the similar background interference existing in the infrared small target tracking， the image fusion algorithm based on CPCT is combined to study the particle filtering target tracking algorithm based on CPCT color image fusion.

Keywords： CPCT； color image fusion； fusion evaluation； particle filtering； fusion tracking

0 引 言

在信息化武器時(shí)代，各國(guó)軍事科研人員關(guān)注的焦點(diǎn)是實(shí)現(xiàn)更快、更狠、更準(zhǔn)地打擊軍事目標(biāo)。由于自身成像的缺陷，在惡劣的戰(zhàn)場(chǎng)環(huán)境中單一圖像傳感器很難滿足作戰(zhàn)信息全面獲取的要求。因此，融合多種圖像傳感器的互補(bǔ)信息，去除冗余信息，實(shí)現(xiàn)1+1>2的戰(zhàn)場(chǎng)信息獲取目的成為當(dāng)前的研究熱點(diǎn)[1]。紅外與可見(jiàn)光圖像融合在夜間作戰(zhàn)、無(wú)人機(jī)偵察、自主導(dǎo)航、車載預(yù)警系統(tǒng)和智能安防等多方面得到了廣泛的應(yīng)用。

1 基于CPCT的彩色圖像融合算法

1.1 基于小波變換的灰度融合算法

針對(duì)紅外與可見(jiàn)光進(jìn)行小波多分辨率圖像融合，取不同的小波基、分解層數(shù)、低頻高頻不同的融合規(guī)則[2]，融合結(jié)果靈活多變，小波分析融合過(guò)程如圖1所示。

將圖像分為三個(gè)水平、豎直、對(duì)角線的高頻和一個(gè)低頻圖像是小波分解的方法。多層的小波分解即是保留各級(jí)的高頻信息，只對(duì)每層小波分解得到的低頻圖像進(jìn)行小波分解。

1.2 經(jīng)典的顏色傳遞圖像融合算法

基于顏色傳遞的彩色圖像融合方法就是將顏色傳遞的概念引入圖像融合中[3]，其融合流程如圖2所示。

圖3給出了針對(duì)同一目標(biāo)圖像，三組不同參考圖像顏色傳遞效果對(duì)比。第一個(gè)參考圖像與目標(biāo)圖像顏色場(chǎng)景等差別不大，顏色傳遞后加強(qiáng)了目標(biāo)圖像的對(duì)比度和色彩豐富度，后兩個(gè)參考圖像與目標(biāo)圖像差別較大，顏色傳遞結(jié)果存在一定的顏色失真，即顏色傳遞效果的優(yōu)劣有賴于參考圖像與目標(biāo)圖像場(chǎng)景的一致性。

1.3 恒參數(shù)顏色傳遞融合算法

重點(diǎn)研究顏色傳遞中參考圖像參數(shù)變化對(duì)顏色傳遞效果的影響，通過(guò)對(duì)參考圖像參數(shù)的統(tǒng)計(jì)分析和融合效果主客觀評(píng)價(jià)，提出的圖像融合算法是基于恒參數(shù)顏色傳遞的，且得出參考圖像參數(shù)的設(shè)置規(guī)律[4]。

關(guān)于圖像亮度的信息通過(guò)通道表示，而關(guān)于圖像色彩的信息通過(guò)通道來(lái)表示。恒參數(shù)顏色傳遞規(guī)律是根據(jù)對(duì)三個(gè)通道的方差、均值設(shè)置規(guī)律分析得到的：

（1）為通道的均值，方差1 200，且顏色傳遞結(jié)果細(xì)節(jié)信息和圖像亮度保留良好。

（2） 圖像顏色所對(duì)應(yīng)的由的取值決定，且分別對(duì)應(yīng)于黃、綠色、藍(lán)和紫紅。融合圖像得到的顏色豐富度較低是由均小于6造成的，圖像的自然感下降是由均大于20造成的。與此同時(shí)，在所得的結(jié)果過(guò)大的情況下，對(duì)應(yīng)的顏色協(xié)調(diào)性有一定程度的降低，在0～8之間取值，并且在絕對(duì)值增加的情況下，為了保證圖像的自然感，應(yīng)適當(dāng)減小。

（3） 600～1 000是的取值范圍。的大小關(guān)系會(huì)影響融合結(jié)果的顏色，若結(jié)果偏綠；若結(jié)果偏紅；取值在0～400范圍內(nèi)較合適，否則取值過(guò)大圖像的自然感會(huì)有所降低。

2 彩色融合圖像顏色客觀評(píng)價(jià)指標(biāo)

早期應(yīng)用較廣的一個(gè)顏色客觀評(píng)價(jià)指標(biāo)顏色豐富度（colourfulness）定義了七級(jí)顏色豐富程度，讓被試者觀察10組場(chǎng)景84幅測(cè)試圖片，得出主觀評(píng)價(jià)結(jié)果，對(duì)比設(shè)定的一些描述顏色豐富度的客觀評(píng)價(jià)指標(biāo)，分離客觀評(píng)價(jià)指標(biāo)中與主觀評(píng)價(jià)結(jié)果相關(guān)性高的指標(biāo)評(píng)價(jià)圖像顏色豐富度[5]：

式中：與主觀評(píng)價(jià)的相關(guān)性高達(dá)95.3%；

。

研究人員提出了彩色性指標(biāo)（CCM）與顏色豐富度性質(zhì)相似，此外提出了顏色自然性指標(biāo)（CNM），CCM中定義了色差梯度的概念，CNM基于灰色關(guān)聯(lián)理論，但計(jì)算中需要有彩色參考圖像。多數(shù)彩色圖像評(píng)價(jià)指標(biāo)是在CIELAB空間中設(shè)計(jì)，以下首先簡(jiǎn)單地介紹CIELAB顏色空間。

色調(diào)、亮度以及飽和度是人眼感知顏色的三種屬性， HSV顏色模型也是基于此創(chuàng)建的，色調(diào)（H）、飽和度（S）以及亮度（V）是HSV顏色模型中的有關(guān)參數(shù)。雖然人眼對(duì)顏色的感知和HSV顏色模型基本一致，但是在進(jìn)行定量評(píng)價(jià)時(shí)， CIELAB顏色空間[6]應(yīng)用更為廣泛，這是因?yàn)镃IELAB顏色空間是人為制定出來(lái)接近人類視覺(jué)且具有設(shè)備無(wú)關(guān)性。其中，人眼對(duì)亮度的感知由分量表示，通過(guò)不同和分量的輸出色階使顏色平衡更加精確。

CIELAB顏色空間是CIEXYZ[7]的非線性變化，和RGB空間轉(zhuǎn)換的過(guò)程如下所示，式（2），式（3）表示RGB與CIEXYZ之間的變換，式（4），式（5）表示CIELAB與CIEXYZ之間的變換。

2.1 實(shí)驗(yàn)結(jié)果小結(jié)

顏色豐富度評(píng)價(jià)指標(biāo)在一定程度上能用于評(píng)價(jià)彩色融合圖像色彩的豐富程度，但與主觀評(píng)價(jià)結(jié)果存在一定偏差，該指標(biāo)對(duì)顏色具有一定的偏向性。色差梯度指標(biāo)過(guò)大，圖像顏色協(xié)調(diào)性降低，過(guò)小則顏色豐富度不高?？傊糠治鋈诤蠄D像顏色豐富度、多樣性和協(xié)調(diào)性比較困難?；谌诤先蝿?wù)要求，構(gòu)建無(wú)參考圖像的彩色融合圖像質(zhì)量客觀評(píng)價(jià)指標(biāo)（體系），應(yīng)從融合圖像從源圖像獲取感知信息量、融合圖像自身質(zhì)量和融合圖像顏色自然感及協(xié)調(diào)性三個(gè)方面考慮，實(shí)現(xiàn)與主觀評(píng)價(jià)保持較好的一致性還有待進(jìn)一步的研究。

3 基于融合的粒子濾波目標(biāo)跟蹤

3.1 改進(jìn)粒子濾波紅外目標(biāo)跟蹤步驟

依據(jù)以上分析，基于灰度和運(yùn)動(dòng)特征融合的粒子濾波跟蹤算法主要分初始化、粒子預(yù)測(cè)、更新、重采樣和目標(biāo)位置估計(jì)等五個(gè)步驟，改進(jìn)算法流程圖如圖4所示。

圖4中表示序列幀總數(shù)，基于灰度和運(yùn)動(dòng)特征融合的粒子濾波跟蹤算法具體步驟如下：

（1） 初始化：跟蹤目標(biāo)是通過(guò)手動(dòng)的方式進(jìn)行選擇，選擇完目標(biāo)后對(duì)目標(biāo)位置進(jìn)行確定，以其為中心，目標(biāo)兩倍大小區(qū)域初始化粒子集，建立目標(biāo)灰度核函數(shù)直方圖；

（2） 預(yù)測(cè)：通過(guò)對(duì)目標(biāo)運(yùn)動(dòng)模型的研究，用新的采樣點(diǎn)更新粒子集；

（3） 更新：以粒子位置坐標(biāo)為中心，計(jì)算候選區(qū)域灰度核函數(shù)直方圖和區(qū)域運(yùn)動(dòng)特征，融合灰度和運(yùn)動(dòng)特征計(jì)算粒子集權(quán)值；

（4）重采樣：通過(guò)對(duì)權(quán)值的歸一化得到，并對(duì)的殘差進(jìn)行重采樣 ；

（5） 目標(biāo)位置估計(jì)：由重采樣結(jié)果估計(jì)目標(biāo)位置，即

（6） 判斷流程結(jié)束與否，如果沒(méi)有結(jié)束則通過(guò)返回步驟（2）。

3.2 基于CPCT彩色融合圖像的粒子濾波目標(biāo)跟蹤算法

不同于紅外目標(biāo)跟蹤，基于CPCT融合的圖像是彩色圖像，可以結(jié)合目標(biāo)的顏色和亮度特征建立目標(biāo)模型，圖5給出了一幅融合圖像及其YUV和HSV顏色空間各分量圖。HSV顏色空間是常用的彩色目標(biāo)特征描述空間，常用分量構(gòu)成目標(biāo)顏色直方圖，而基于CPCT圖像融合算法中偽彩色圖像生成及顏色傳遞過(guò)程均是在YUV顏色空間，對(duì)比圖5（d）～（f）和圖5（g）～（i）可以看出，YUV空間各分量中目標(biāo)特征更細(xì)膩。

將目標(biāo)圖像轉(zhuǎn)化到Y(jié)UV空間，建立Y?U?V目標(biāo)直方圖。假設(shè)目標(biāo)區(qū)域由個(gè)像素點(diǎn)組成，定義目標(biāo)區(qū)域直方圖為：

式中：為歸一化常數(shù)；分量的直方圖級(jí)數(shù)用表示；為0?1函數(shù)；當(dāng)像素點(diǎn)的三個(gè)分量分別屬于級(jí)數(shù)時(shí)，對(duì)應(yīng)的，否則為0?；贑PCT彩色融合圖像粒子濾波目標(biāo)跟蹤流程圖如圖6所示。

粒子的初始化、更新、權(quán)重計(jì)算、目標(biāo)位置估計(jì)與3.1節(jié)類似，不同之處有兩點(diǎn)：一是初始化和跟蹤過(guò)程中所用的圖像均是紅外和可見(jiàn)光圖像基于CPCT融合算法所得的融合圖像；二是目標(biāo)特征為YUV空間的Y?U?V核函數(shù)直方圖特征。

3.3 實(shí)驗(yàn)結(jié)果小結(jié)

序列圖像中存在相似目標(biāo)干擾，圖7依次為經(jīng)典的Meanshift、基本的粒子濾波、基于特征融合的粒子濾波和基于CPCT彩色融合圖像粒子濾波四種跟蹤算法的跟蹤效果。

定義跟蹤誤差為跟蹤算法中與標(biāo)定的目標(biāo)質(zhì)心之間的歐式距離，即。

對(duì)比四種算法的跟蹤效果與跟蹤誤差，相似目標(biāo)干擾對(duì)粒子濾波跟蹤算法影響不大，其中經(jīng)典的Meanshift跟蹤算法的跟蹤穩(wěn)健性最差，當(dāng)出現(xiàn)相似目標(biāo)干擾時(shí)會(huì)出現(xiàn)目標(biāo)丟失的問(wèn)題；當(dāng)相似目標(biāo)靠近跟蹤目標(biāo)時(shí)，經(jīng)典的粒子濾波和基于特征融合的粒子濾波跟蹤算法會(huì)受到一定干擾，質(zhì)心位置有所偏移，基于CPCT彩色融合圖像粒子濾波跟蹤算法受相似目標(biāo)干擾影響最小。

四種算法90幀平均跟蹤誤差依次為8.674 8，2.291 6，1.788 2和1.524 4，跟蹤耗時(shí)依次為5.001 4 s，6.001 2 s，8.670 4 s和8.346 4 s?？梢钥闯?，基于特征融合和基于CPCT彩色融合圖像的改進(jìn)粒子濾波跟蹤算法與基本的粒子濾波算法相比，雖然降低了跟蹤實(shí)時(shí)性，但是跟蹤的精度得以提高。

基于特征融合和基于CPCT彩色融合圖像的粒子濾波跟蹤算法能有效地處理復(fù)雜環(huán)境中相似目標(biāo)、相似背景干擾等問(wèn)題，與基本的粒子濾波算法相比，雖然降低了實(shí)時(shí)性，但跟蹤的準(zhǔn)確性和魯棒性得以提高，尤其是遇到相似干擾時(shí)，能實(shí)現(xiàn)穩(wěn)健的目標(biāo)跟蹤。

4 結(jié) 論

紅外與可見(jiàn)光圖像融合能充分利用兩種傳感器良好的互補(bǔ)特性，彌補(bǔ)單個(gè)傳感器在復(fù)雜多變環(huán)境中目標(biāo)丟失、場(chǎng)景信息不明確等引起觀測(cè)失效的缺點(diǎn)。本文針對(duì)紅外與可見(jiàn)光彩色圖像融合及其應(yīng)用進(jìn)行研究。

針對(duì)經(jīng)典的顏色傳遞圖像融合中存在的計(jì)算復(fù)雜度高和顏色缺乏恒常性的問(wèn)題，提出基于YUV空間恒參數(shù)顏色傳遞（CPCT）圖像融合算法，使用YUV空間降低計(jì)算復(fù)雜度，通過(guò)對(duì)顏色傳遞過(guò)程參考圖像參數(shù)分析實(shí)現(xiàn)融合圖像的顏色恒常性。對(duì)彩色融合圖像的顏色指標(biāo)進(jìn)行客觀評(píng)價(jià)，針對(duì)紅外目標(biāo)跟蹤中相似背景干擾的問(wèn)題，提出基于灰度和運(yùn)動(dòng)特征融合的粒子濾波目標(biāo)跟蹤算法，對(duì)紅外與可見(jiàn)光融合圖像目標(biāo)跟蹤問(wèn)題進(jìn)行研究，使基于CPCT彩色融合圖像粒子濾波跟蹤算法得以實(shí)現(xiàn)。

參考文獻(xiàn)

[1] 駱媛，王嶺雪，金偉其，等.微光（可見(jiàn)光）/紅外彩色夜視技術(shù)處理算法及系統(tǒng)進(jìn)展[J].紅外技術(shù)，2010，32（6）：337?344.

[2] 唐鳳仙.基于圖割框架的改進(jìn)多層圖彩色圖像分割方法[J].現(xiàn)代電子技術(shù)，2016，39（14）：112?115.

[3] 錢小燕，張?zhí)齑?，王幫峰，?局部顏色映射的彩色夜視算法[J].中國(guó)圖象圖形學(xué)報(bào)，2012，17（5）：689?693.

[4] 周渝人.紅外與可見(jiàn)光圖像融合算法研究[D].長(zhǎng)春：中國(guó)科學(xué)院研究生院，2014.

[5] 高紹姝，金偉其，王嶺雪，等.圖像融合質(zhì)量客觀評(píng)價(jià)方法[J].應(yīng)用光學(xué)，2011，32（4）：671?677.

[6] 徐中中，曲仕茹.新型可見(jiàn)光和紅外圖像融合綜合評(píng)價(jià)方法[J].紅外技術(shù)，2011，33（10）：568?573.

[7] 逄浩辰，朱明，郭立強(qiáng)，等.彩色圖像融合客觀評(píng)價(jià)指標(biāo)[J].光學(xué)精密工程，2013，21（9）：2348?2353.

[8] 覃躍虎，支琤，徐奕.基于三維直方圖的改進(jìn)Camshift目標(biāo)跟蹤算法[J].現(xiàn)代電子技術(shù)，2014，37（2）：29?33.