李 瓊 ，王軍寧

(西安電子科技大學(xué)通信工程學(xué)院，陜西西安 710071)

當(dāng)前對圖像序列進(jìn)行目標(biāo)跟蹤的方法主要分為以下3種:基于運動分析的方法，基于狀態(tài)濾波的方法和基于圖像匹配的方法。其中，基于圖像匹配的方法具有較強(qiáng)的抗遮擋、抗畸變能力，算法本身具有很強(qiáng)的魯棒性。因此，被廣泛應(yīng)用于目標(biāo)跟蹤系統(tǒng)中。

灰度匹配是圖像匹配中一類經(jīng)典算法。在灰度匹配中，多采用模板圖像與目標(biāo)圖像對應(yīng)像素灰度差的累積和或者兩幅圖像的歸一化度量來衡量兩幅圖像之間的相似性?；叶绕ヅ渌惴ǔＳ玫南嗨菩远攘坑?互相關(guān)度量，如歸一化互相關(guān)算法(NCC);距離度量，如差方和算法(SSD)、絕對差和算法(SAD、MAD)、最多近鄰點距離算法(MCD)以及臨近差方和算法(SSCD)。

基于歸一化互信息的目標(biāo)跟蹤算法是一種基于對灰度統(tǒng)計值的圖像匹配算法，它可以持續(xù)穩(wěn)定地跟蹤目標(biāo)，并在目標(biāo)發(fā)生剛體旋轉(zhuǎn)和光照條件發(fā)生變化時仍然能夠有效地跟蹤目標(biāo)[1]。但是，當(dāng)目標(biāo)發(fā)生較大的尺度變化時，該算法表現(xiàn)得不是很適應(yīng)。結(jié)合這一問題，引入基于多尺度圖像信息量的自適應(yīng)模板尺寸更新策略，使算法在目標(biāo)大小發(fā)生變化時能夠?qū)崟r并且合理地對模板尺寸進(jìn)行更新。

1 基于歸一化互信息的目標(biāo)跟蹤

1.1 互信息理論

熵是隨機(jī)變量不確定度的度量，表達(dá)的是一個系統(tǒng)的復(fù)雜性或不確定性。系統(tǒng)A的熵定義為

兩個系統(tǒng)的聯(lián)合熵定義為

其中，a∈A，b∈B。這里，pA(a)為邊緣概率密度函數(shù)，簡記為p(a);pA，B(a，b)為聯(lián)合概率密度函數(shù)，簡記為p(a，b)，可用兩圖重疊部分的邊緣灰度直方圖和聯(lián)合概率直方圖來估計。

采用直方圖的方法對聯(lián)合概率密度進(jìn)行估計，設(shè)h(a，b)表示隨機(jī)變量A和B的二維聯(lián)合直方圖，則其聯(lián)合概率密度p(a，b)的估計為

互信息 ( Mutual Information，MI)是信息理論中的一個基本概念，它是一個隨機(jī)變量包含另一個隨機(jī)變量信息量的度量。常用于描述兩個系統(tǒng)間的統(tǒng)計相關(guān)性，可用熵來描述。

將兩幅圖像的灰度值看作兩個隨機(jī)變量A和B，其灰度值均為0～255，概率密度函數(shù)分別為p(a)和p(b)，則隨機(jī)變量A和B的互信息可以表示為

式中，H(A)、H(B)和H(A，B)為隨機(jī)變量A與B的個體熵和聯(lián)合熵。

根據(jù)式(1)～式(3)和式(4)，可推出互信息的計算式(5)，即為聯(lián)合分布和乘積分布之間的相對熵

互信息量度量了兩幅圖像的統(tǒng)計獨立程度。對于兩幅圖像而言，它是這兩個隨機(jī)變量統(tǒng)計相關(guān)性的測度，當(dāng)兩幅圖像達(dá)到最佳匹配時，它們對應(yīng)像素的灰度互信息達(dá)到最大值，由此可以確定圖像的最佳匹配點。

1.2 歸一化互信息

Studholme等人認(rèn)為，互信息對重疊區(qū)域的變化非常敏感，在匹配過程中容易導(dǎo)致錯誤的結(jié)果，并給出了以下歸一化的互信息(Normalized Mutual Information，NMI)

與之等價的一種方法是Maes等提出的熵相關(guān)系數(shù)(ECC)

由式(6)可知，歸一化互信息是邊緣熵和聯(lián)合熵的比值，邊緣熵的增加受聯(lián)合熵增加的約束。當(dāng)兩幅圖像匹配不準(zhǔn)時，邊緣熵增大，聯(lián)合熵也會增大，歸一化互信息量就不是最大;隨著匹配準(zhǔn)確度的提高，圖像的聯(lián)合熵取值逐漸減小，歸一化互信息量隨之增大。歸一化互信息的最大化就是使邊緣熵相對于聯(lián)合熵最大。歸一化互信息，一方面考慮了匹配時聯(lián)合熵較小，另一方面考慮了重疊區(qū)域內(nèi)圖像的信息，同時又較好地平衡了兩者之間的關(guān)系。實踐證明，該方法比最大互信息法的匹配精度更高、穩(wěn)定性更好。采用式(7)的互信息歸一化模型，當(dāng)兩幅圖像完全匹配時，互信息取最大值1。

1.3 基于歸一化互信息的圖像匹配

基于互信息的圖像匹配算法具有匹配精度高、抗遮擋和抗光照變化等優(yōu)點。其實現(xiàn)的具體步驟是:在目標(biāo)圖像中為每個搜索點分割一個與模板同樣大小的圖像，計算它們的互信息值;得到一個互信息的曲面，曲面中最大值對應(yīng)的點即為模板圖像在目標(biāo)圖像中的最佳匹配位置。

為驗證基于歸一化互信息的圖像匹配算法，這里以82×97像素的模板在512×384像素的目標(biāo)圖像中進(jìn)行匹配，如圖1所示，圖1(a)為模板圖像，圖1(b)為待匹配圖像，圖1(c)為匹配結(jié)果，圖1(d)為歸一化互信息匹配的相似度曲面，曲面的最大值即為最佳匹配點，歸一化互信息值為1。

圖1 互信息匹配結(jié)果及其模板

1.4 基于歸一化互信息的目標(biāo)跟蹤

為驗證基于歸一化互信息(NMI)的目標(biāo)跟蹤算法的適應(yīng)性，通過幾組實驗，證實該算法具有以下幾個優(yōu)點:

(1)在目標(biāo)旋轉(zhuǎn)和光照條件發(fā)生變化時仍然能夠有效跟蹤目標(biāo)[1]。

歸一化互相關(guān)算法(NCC)本身對圖像的亮度變化和對比度變化不敏感，當(dāng)被跟蹤目標(biāo)圖像的光照條件發(fā)生變化時，其具有一定的魯棒性;但當(dāng)光照條件發(fā)生劇烈變化時，它便因難以適應(yīng)而可能導(dǎo)致匹配失效。基于歸一化互信息方法，能夠保證在光照條件發(fā)生劇烈變化或者圖像對比度發(fā)生明顯變化時，仍然匹配正確，從而提高了跟蹤的可靠性。

圖2中，分別用同一個模板去匹配光照發(fā)生劇烈變化，目標(biāo)與背景灰度非常接近的原圖。圓點為匹配中心，矩形框為模板邊緣。由圖可知，圖2(a)匹配效果很好，圖2(b)匹配失效?？梢?，歸一化互信息算法在抗光照方面，較歸一化互相關(guān)算法具有更強(qiáng)的魯棒性。

圖2 光照變化情況下的匹配結(jié)果對比圖

(2)在目標(biāo)變形或者被遮擋時具有一定的抵抗能力。

圖3中，利用歸一化互信息跟蹤算法跟蹤飛機(jī)起飛、前進(jìn)和下降的整個過程。在這個過程中，飛機(jī)從背景簡單區(qū)域開始，中途經(jīng)歷了被背景半遮擋和完全遮擋，最后又飛回到背景簡單區(qū)域。第260幀中，飛機(jī)與樹木的灰度很相近，目標(biāo)被準(zhǔn)確跟蹤;第285幀、287幀中目標(biāo)被部分遮擋，第286幀中目標(biāo)被完全遮擋，但到第288幀目標(biāo)仍然被準(zhǔn)確跟蹤。由此可見該算法具有一定的抗遮擋性。

圖3 目標(biāo)遮擋情況下的跟蹤結(jié)果圖

去均值歸一化相關(guān)算法是對NCC的一種改進(jìn)形式，它利用去均值的結(jié)果來衡量相似度，實現(xiàn)方便且精度較準(zhǔn)，一定程度上克服了NCC在某些情形下檢測不到準(zhǔn)確尖峰位置的缺點。因此在抗光照方面，與文中提出的NMI算法具有同等的魯棒性，但在抗遮擋方面就不及NMI了。

(3)在目標(biāo)輪廓模糊和低對比度時能保證較好的匹配精度和較高的穩(wěn)定度。

圖4中，利用歸一化互信息跟蹤算法跟蹤對比度很低，輪廓非常模糊的卡車行駛序列圖。在行駛過程中，卡車伴隨有轉(zhuǎn)彎等運動，且目標(biāo)漸漸變小。為更好地表征結(jié)果，在該實驗中，每隔24幀對模板進(jìn)行固定比例的縮小。從圖3可以看出，歸一化互信息跟蹤算法在輪廓非常模糊，對比度很低的情況下也能保證跟蹤的有效性。

圖4 低對比度情況下跟蹤結(jié)果圖

(4)互信息度量中包含了圖像的邊緣和紋理等信息，因此無需提取圖像邊緣和紋理等特征，可以直接對實時圖像進(jìn)行匹配跟蹤，從而節(jié)省了算法的執(zhí)行時間。

2 基于多尺度圖像信息量的模板尺寸更新

2.1 自適應(yīng)模板更新算法

運動目標(biāo)的外觀在跟蹤過程中是不斷變化的。尺寸固定不變的模板圖像，很難有效跟蹤尺寸實時變化的目標(biāo)圖像。針對這一問題，在歸一化互信息匹配的基礎(chǔ)上，將多尺度圖像的信息量度量方法引入目標(biāo)跟蹤中，根據(jù)信息量的變化自適應(yīng)更新模板尺寸的大小。

尺度空間中圖像的信息量由圖像中兩類特征點的數(shù)量來度量。從微分算子的局部極值角度統(tǒng)一這兩類特征點。假設(shè)在2維圖像平面內(nèi)，點P為圖像f(x，y)內(nèi)某像素點，1～8為點P的8鄰接像素點N8(P)?，F(xiàn)以P為極點，建立極坐標(biāo)系，設(shè)極角為l，l∈L，L={kπ/4，k=-4，…，0，…，3，k∈Z}，則對P的8鄰接像素點進(jìn)行如下的數(shù)學(xué)描述[6]

在極角l方向上，取步長Δh=1，定義f(x，y)的方向微分算子

文獻(xiàn)[5]中兩類特征點的定義如下:

定義1設(shè)2維離散平面上點P(x，y)，若?l1，l2∈L，L={kπ/4，k=-4，…，0，…，3，k∈Z}，當(dāng)l1-l2=mπ，m=±1時，Δl1f(x，y)·Δl2f(x，y)＞0，則點P稱為第1類特征點。

定義2設(shè)2維離散平面上點P(x，y)，若?l1，l2∈L，L={kπ/4，k=-4，…，0，…，3，k∈Z}，當(dāng)l1-l2=mπ，m=±1時，Δl1(fl1(x，y)-fl2(x，y))·Δl2(fl1(x，y)-fl2(x，y))＞0，則點P稱為第2類特征點。

圖像信息量定義為兩類特征點的和。當(dāng)物體尺寸由小變大時，其圖像信息量的值也由小變大[6]。根據(jù)文獻(xiàn)[6]給出的圖像信息量的比值和物體尺寸之間的關(guān)系，文中關(guān)于模板尺寸更新算法的主要思想是:給定一個閾值Th≤1，如果用歸一化互信息算法跟蹤目標(biāo)，當(dāng)歸一化互信息值ECC＜Th時，則說明目標(biāo)跟蹤精度不在可接受的范圍內(nèi)，此時就需要根據(jù)信息量的變化對模板尺寸進(jìn)行更新。

計算第1幀圖像中模板的初始化圖像信息量E1和第1幀圖像中對模板尺寸乘以1±α(0≤α≤0.5)后的區(qū)域信息量E2，E3，類似地，在需要更新模板尺寸的當(dāng)前幀，計算的信息量分別為E4，E5，E6;為后續(xù)幀的模板更新做準(zhǔn)備，根據(jù)新模板尺寸計算當(dāng)前幀中模板圖像信息量E1，E2，E3，由以上步驟類推后續(xù)幀中模板尺寸更新過程;并設(shè)尺寸變化比例為Zoom。

假如滿足E5＞E2，判斷目標(biāo)尺度可能增加，按公式(10)計算尺寸變化比例Zoom;否則，目標(biāo)尺寸可能減小，按照式(11)計算Zoom。

式中，參數(shù)β用來消除背景對目標(biāo)信息量的影響，其值接近1;當(dāng)背景越復(fù)雜時，β值與1的差值越大;當(dāng)目標(biāo)尺寸增大時，β≥1;反之，β≤1。由計算得到當(dāng)前幀的尺寸變化比例Zoom后，即可得到模板的高度和寬度需更新的比例(1+Zoom)。最后按照計算得出的比例對模板圖像進(jìn)行放大或縮小。在模板放大或縮小過程中，采用3次卷積插值法處理變化后的圖像。這樣得到的更新后的模板圖像，輪廓清晰，質(zhì)量較高。

圖5是模板更新前后的對比圖，更新前像素為82×97，更新后像素為77×91。從圖5可以看出，更新后的模板圖像并未出現(xiàn)模糊和細(xì)節(jié)不清楚的現(xiàn)象，可見，3次卷積插值法能夠較好地保持圖像的邊緣細(xì)節(jié)。圖6是基于圖像信息量的自適應(yīng)更新模板尺寸的跟蹤算法流程圖。

2.2 實驗結(jié)果與討論

結(jié)合提出的模板尺寸自適應(yīng)更新策略，采用基于歸一化互信息的目標(biāo)跟蹤算法，在Matlab環(huán)境下對幾組圖像序列進(jìn)行實時跟蹤。

實驗一跟蹤目標(biāo)逐漸變小的卡車行駛序列圖。其中，圖像尺寸為384×512，搜索區(qū)域尺寸為20×20。圖7是跟蹤結(jié)果，圖中矩形框表示模板邊界;圓點表示模板中心，即跟蹤的最佳位置。模板尺寸隨著目標(biāo)的變化而變化，而且尺寸更新效果很好。

圖7 目標(biāo)漸下的跟蹤結(jié)果

實驗二跟蹤迎面駛來的小汽車序列圖。在這個序列圖中，目標(biāo)逐漸變大，且每幀之間尺寸變化很明顯。圖像尺寸為385×289，搜索區(qū)域尺寸為15×15。圖8是跟蹤結(jié)果。跟蹤過程中模板尺寸隨著目標(biāo)的變大而變大，在第111幀，目標(biāo)幾乎充斥了整個畫面，效果依然很好。

圖8 目標(biāo)漸大的跟蹤結(jié)果

實驗表明，基于多尺度圖像信息量的模板尺寸更新算法可以適時準(zhǔn)確地更新模板。

3 結(jié)束語

介紹了一種基于歸一化互信息的跟蹤算法，該算法與其他相關(guān)匹配算法相比，具有較強(qiáng)的魯棒性，如在光照變化的情況下，仍能實現(xiàn)正確的圖像匹配;在目標(biāo)遮擋和低對比度情況下，能夠?qū)崿F(xiàn)精確的目標(biāo)跟蹤，對環(huán)境變化具有較強(qiáng)的適應(yīng)性。在此基礎(chǔ)上，又引入了基于多尺度圖像信息量的自適應(yīng)模板尺寸更新算法。該算法利用圖像匹配得到的互信息值作為閾值，計算尺度空間中圖像的信息量，模板尺寸根據(jù)計算的信息量大小進(jìn)行自適應(yīng)調(diào)整，從而較好地適應(yīng)了跟蹤目標(biāo)大小的變化。實驗表明，加入模板尺寸自適應(yīng)更新算法后，跟蹤性能進(jìn)一步增強(qiáng)，跟蹤效果進(jìn)一步改善。進(jìn)一步的研究方向是模板尺寸更新算法中更新閾值Th的自適應(yīng)性。

[1]惠斌，陳法領(lǐng)，羅海波.基于互信息的目標(biāo)跟蹤方法[J].紅外與激光工程，2007，36(7):209-212.

[2]周友兵.基于歸一化互信息的CT-MRI腦圖像配準(zhǔn)[J].現(xiàn)代電子技術(shù)，2007(8):101-102.

[3]付夢印，劉羿彤.基于互信息測度紅外目標(biāo)圖像相關(guān)匹配跟蹤算法[J].兵工學(xué)報，2009，30(3):371-374.

[4]THOMAS M COVER，JOY A THOMAS.Elements of Information Theory[M].北京:清華大學(xué)出版社，2002.

[5]王鄭耀，程正興，湯少杰，等.基于視覺特征的尺度空間信息量度量[J].中國圖象圖形學(xué)報，2005，10(7):922-928.

[6]錢惠敏，茅耀斌，王執(zhí)銓，等.自動選擇跟蹤窗尺度的Mean-Shift算法[J].中國圖象圖形學(xué)報，2007，12(2):245-249.

[7]賈桂敏，王向軍，張世海.復(fù)雜背景下基于自適應(yīng)模板更新的目標(biāo)跟蹤算法[J].光學(xué)學(xué)報，2009(3):659-663.