孫 寧， 王壽峰， 白俊奇， 趙春光

(中國電子科技集團公司第28研究所，南京 210007)

0 引言

紅外目標跟蹤是紅外探測系統(tǒng)實時、持續(xù)、精確提供目標方位、俯仰以及圖像相關(guān)信息的前提條件。由于紅外圖像具有高幀頻的優(yōu)點，相鄰兩幀中的目標在形態(tài)、位置、灰度等特征上差異較小，根據(jù)已知目標信息，利用圖像特征相關(guān)匹配技術(shù)可以在當前圖像內(nèi)對目標進行定位，形成對目標的連續(xù)跟蹤。

在可見光波段，圖像目標匹配跟蹤的算法已經(jīng)發(fā)展得相當成熟，有許多典型算法，例如灰度相關(guān)匹配算法［1－3］，主要思想就是在當前幀中尋找與上一幀中目標區(qū)域灰度相關(guān)性最大的區(qū)域;基于Mean－Shift(均值漂移)［4－5］的目標跟蹤算法，其利用圖像的顏色信息構(gòu)建直方圖作為目標模板描述，選擇合適的核函數(shù)以及相似性度量函數(shù)使得目標周圍鄰域內(nèi)相似性度量曲面為平滑的凸曲面，然后用Mean－Shift算法快速找到極值點來確定目標在當前幀中的位置。其他的還有主動輪廓線跟蹤［6］、光流法跟蹤［7］等。

紅外探測系統(tǒng)接收外界的紅外輻射，通過光電轉(zhuǎn)換形成紅外圖像。與電視攝像機獲取的可見光圖像相比，紅外圖像只有強度信息沒有彩色信息，紅外圖像中目標的邊緣和細節(jié)比較模糊等。因此，目前電視視頻跟蹤中的很多成熟、優(yōu)良的算法都很難直接應(yīng)用到紅外圖像目標跟蹤上去，需要針對紅外圖像跟蹤的特點進行改進。本文針對紅外圖像的特點，基于特征匹配跟蹤的思想，采用局部二元模式(Local Binary Pattern，LBP)［8］算子提取圖像的灰度紋理特征作為圖像模板匹配的依據(jù)。

本文算法中首先對紅外圖像進行增強處理，銳化圖像的邊緣和細節(jié)。采用LBP算子提取圖像的多尺度LBP編碼直方圖作為圖像特征向量，根據(jù)卡方統(tǒng)計方法度量模板圖像和樣本圖像的相似度，逐像素取樣本圖像掃描整個波門區(qū)域，與模板圖像相似度最高的樣本圖像為圖像匹配結(jié)果。為了適應(yīng)跟蹤過程中目標發(fā)生尺度形變，本文算法設(shè)計了3種尺寸的模板，并根據(jù)圖像特征匹配后求得的目標大小選取相應(yīng)尺寸的模板。將每幀圖像特征匹配得出的位置信息輸入Kalman濾波器進行跟蹤狀態(tài)的估計和維持，結(jié)合圖像特征匹配的相似度信息對模板圖像進行更新，并對下一幀跟蹤波門的中心位置進行預(yù)測，以適應(yīng)目標位置快速變化、局部遮擋和短暫消失等情況。

1 基于LBP算子的圖像特征匹配

1.1 局部二元模式算子

局部二元模式(Local Binary Pattern，LBP)算子是一種有效的局部紋理描述算子，由Ojala最早提出，它可以對灰度圖像中局部鄰域的紋理信息進行度量和提取。近10年來，LBP算子已經(jīng)廣泛地應(yīng)用于紋理分類［9］、圖像檢索［10］、人臉圖像分析［11］等領(lǐng)域?；镜腖BP算子是一個固定大小為3×3的矩形塊，共對應(yīng)于9個灰度值。將一階鄰域和二階領(lǐng)域的8個灰度值與中心灰度值相比較，大于等于中心灰度值的子塊由1表示，反之則由0表示，根據(jù)順時針方向讀出的8個二進制值作為該3×3方塊的LBP編碼值，如圖1所示。

圖1 LBP算子編碼示意圖Fig.1 The LBP operator

為了改善最初的LBP算子存在的無法提取大尺度結(jié)構(gòu)的紋理特征的局限，使用不同數(shù)量的鄰近子塊以及不同尺寸的矩形塊為LBP算子的一種主要擴展［9］。圖2所示是兩個擴展的LBP算子的例子。

圖2 尺度為(8，2)和(16，2)的擴展LBP算子Fig.2 Extended LBP:the circular(8，2)and(16，2)neighborhood

其中，(P，R)表示在半徑為R的圓周上存在P個抽樣點。不同大小的窗口、不同個數(shù)的點數(shù)提取不同特征描述的局部紋理的能力也不一樣，描述局部紋理的內(nèi)容也不一樣。

另一種對LBP算子的擴展稱為“均勻模式(Uniform Pattern)”。這個時候每個窗口的LBP的數(shù)值不是絕對的二進制碼的最終結(jié)果，而是計算每個窗口中二進制碼中碼元的變化情況，不同的變化情況代表了不同的局部特征。數(shù)學(xué)描述為

其中

式中，上標riu2是一個采用“均勻模式”的標記。Timo Ahonen［12］經(jīng)過研究表明，均勻模式可以有效地描述出圖像中大部分的紋理特征，并大大減小特征的數(shù)量。

使用LBP算子提取圖像特征，一般是取一定大小的子塊，統(tǒng)計每個子塊的LBP編碼得到LBP直方圖，最終用來匹配的特征就是整幅圖在一定大小子塊劃分條件下的聯(lián)合直方圖，如圖3所示。

圖3 圖像的LBP直方圖表示Fig.3 The LBP histogram of image

1.2 圖像特征提取

由于跟蹤時目標大小多樣，距離遠近不同。為了應(yīng)對圖像中目標的尺度變化，綜合考慮計算復(fù)雜度和適應(yīng)性，算法設(shè)計了3種尺度的特征提取窗及相應(yīng)的窗口子塊劃分方法。以成像分辨率為320×240的紅外圖像為例，3種特征提取窗的尺度分別為64×64、35×35和16×16。3種特征提取窗的子塊劃分具體如下所述。

1)64×64的特征提取窗(記為A)，如圖4a所示。劃分為17個子塊，16個16×16的子塊(記為，i=1，…，16)和1個32×32的子塊(為中心陰影部分，記為A32)。中采用(表示采用半徑為1，采樣點為8的均勻模式LBP算子，該模式下，可用10個特征值就能表征絕大部分的灰度紋理特征)，算子進行灰度紋理特征提取;A32中采用L(表示采用半徑為 2，采樣點為16的均勻模式LBP算子，該模式下，可用18個特征值就能表征絕大部分的灰度紋理特征)。兩種算子，所得的聯(lián)合直方圖為17×10+18=188維的圖像特征向量。

2)32×32的特征提取窗(記為B)，如圖4b所示。劃分為10個子塊，9個15×15的子塊(記為B15i，i=1，…，9)和1個30×30的子塊(為中心陰影部分，記為B30)。中采用算子進行灰度紋理特征提取，B30中采用兩種算子，所得的聯(lián)合直方圖為10×10+18=118維的圖像特征向量。

3)16×16的特征提取窗(記為C)，如圖4c所示。劃分為5個子塊，5個8×8的子塊(記為，i=1，…，5)，采用算子進行灰度紋理特征提取，所得的聯(lián)合直方圖為5×10=50維的圖像特征向量。

圖4 3種尺度的特征提取窗Fig.4 Windows of different scale for feature extraction

以上3種劃分方法在提取目標灰度紋理特征的同時，保留了這種特征的空間相關(guān)性。同時，通過對子塊賦予不同權(quán)值的方式，體現(xiàn)不同位置子塊對于目標特征體現(xiàn)的重要性，例如中心陰影子塊的權(quán)值就要大于周邊子塊的權(quán)值。

1.3 圖像特征匹配

進行圖像特征提取時，將特征提取窗逐像素掃描整個波門區(qū)域，每個像素對應(yīng)一幅樣本圖像及一個圖像特征向量，與模板圖像的特征向量進行相似性度量，最相似者所在位置為圖像匹配結(jié)果。此處，相似度度量方法采用加權(quán)卡方距離，表達式為

式中:S，M分別表示兩個LBP直方圖;ωj為子窗口j對應(yīng)的權(quán)重。

2 運動狀態(tài)濾波及模板更新

2.1 Kalman 濾波

如果目標出現(xiàn)遮擋、短暫消失及快速機動時，1小節(jié)所述的基于灰度紋理特征的圖像特征匹配方法可能失效。由于目標運動的連續(xù)性和規(guī)律性，本文算法中采用Kalman濾波對目標的運動參數(shù)進行維護和估計，對下一幀目標的位置K(x，y)進行預(yù)測，與圖像特征匹配相結(jié)合，提高跟蹤的有效性和穩(wěn)定性。Kalman濾波作為一種成熟的運動狀態(tài)估計工具，已被廣泛地應(yīng)用于各種目標跟蹤領(lǐng)域，原理詳見文獻［13］。

2.2 模板更新

在目標跟蹤的整個過程中，目標的模板圖像必須根據(jù)目標的尺寸變化、圖像特征匹配的相似性及目標的運動狀態(tài)等因素進行更新。

目標尺寸的計算:在第一幀人工指定目標時，使用區(qū)域生長法［14］分割目標，求得目標尺寸和質(zhì)心位置，以此確定對應(yīng)的模板圖像和特征提取窗;跟蹤過程中的每幀以圖像特征匹配位置M(x，y)為種子點，利用區(qū)域生長法計算目標尺寸P(l，w)和目標質(zhì)心位置G(x，y)。

在已知 M(x，y)、K(x，y)、G(x，y)、P(l，w)和等參數(shù)及預(yù)設(shè)圖像特征匹配相似度高低兩個閾值的情況下，本文算法模板更新策略如下所述。

3 算法的硬件實現(xiàn)

本文算法主要可以分為圖像增強、圖像特征提取、Kalman濾波及模板更新幾個步驟。其中，主要的計算量集中在第2小節(jié)所述的基于LBP算子的圖像特征匹配中。以320×240的圖像為例，波門大小為160×120，若以A窗逐像素掃描整個波門區(qū)域，則需要進行17×97×57=93993次算子和 97 × 57=5529 次算子的特征提取，計算量巨大。然而，由2.1小節(jié)可以看出，基于LBP算子的特征提取運算規(guī)則簡單，并且特征提取窗的劃分固定，不存在先后次序，適合并行處理。

由上分析，將圖像信號接入、圖像增強和圖像特征提取放在FPGA器件中處理，余下的Kalman濾波、區(qū)域生長和模板更新等步驟以及通訊功能則由DSP來完成。根據(jù)上述需求設(shè)計了以DSP+FPGA為核心處理器的圖像處理板，板卡上的主要芯片有AD公司的TigerSharc TS101 DSP和Altra公司的EP2S60 FPGA，其結(jié)構(gòu)如圖5所示。

圖5 圖像處理板硬件結(jié)構(gòu)Fig.5 The hardware architecture of image processing board

由于FPGA器件完成圖像增強和圖像特征提取的計算時延為納秒級的門延遲，Kalman濾波、區(qū)域生長和模板更新等步驟在DSP中的計算時間遠小于20 ms。因此，工程化實現(xiàn)后的本文算法可以滿足使用凝視型紅外熱像儀進行目標跟蹤時50 Hz幀頻的處理需求。

4 實驗結(jié)果及分析

實驗采用兩組外場采集的紅外序列圖像，分別使用本文算法和Mean－Shift算法對兩段視頻進行目標跟蹤實驗。第一組視頻的內(nèi)容是民航飛機由近處向遠離紅外熱像儀的方向飛行，該段視頻中目標的尺寸由大變小、目標的灰度由強變?nèi)?，主要測試跟蹤算法對目標尺寸變化的適應(yīng)性。圖6所示是整段視頻中的第9幀，第311幀，第1760幀和第4250幀。

圖6 第一組視頻的實驗結(jié)果Fig.6 The experimental result of the first group of videos

圖6 a為本文算法的跟蹤結(jié)果。其中:第9幀圖目標的大小尺寸為52×16，采用的是特征提取窗A;在第311幀時，目標尺寸變化為28×22，算法自動將特征提取窗更新為B;在第1760幀時，目標尺寸為7×4，特征提取窗已經(jīng)更新為C。從結(jié)果可以看出，由于本文算法使用了3種大小的特征窗，并且根據(jù)每幀跟蹤結(jié)果進行實時調(diào)整，因此可以適應(yīng)目標尺寸的大幅變化。Mean－Shift算法由于核函數(shù)的帶寬固定，缺乏應(yīng)對目標尺寸變化的機制，當目標尺寸和波門大小差別不大時(通常為目標面積≥(波門面積)/9)，跟蹤可以保持穩(wěn)定進行。當目標尺寸遠小于核函數(shù)的帶寬時(例如，第1760幀，目標尺寸7，約為帶寬64的10%)，極易受到噪聲、雜波等干擾而丟失目標，如圖6b所示。

第二組視頻的內(nèi)容是民航飛機被近處的障礙部分遮擋，主要測試跟蹤算法在目標異常狀態(tài)下的魯棒性。圖7所示是整段視頻中的第827幀，第1131幀，第1206幀和第1310幀。

圖7 第二組視頻的實驗結(jié)果Fig.7 The experimental result of the second group of videos

本文算法中使用了Kalman濾波對目標的運動參數(shù)進行維護和預(yù)測，結(jié)合模板更新策略，在圖像特征匹配發(fā)生異常時(視頻的第1150幀，目標完全被障礙物遮擋)使用預(yù)測的位置來代替圖像匹配的結(jié)果，保證跟蹤在目標異常時仍然可以穩(wěn)定進行。Mean－Shift算法只考慮幀間的相關(guān)性，當某一幀匹配發(fā)生錯誤后(從第1150幀開始，Mean－Shift算法的匹配位置就開始收斂到障礙物上)，無法再找到正確的位置。如圖，當目標穿過障礙后，Mean－Shift算法由于取到了錯誤的模板，無法再去匹配目標，而是一直停留在障礙上。

由兩組視頻可以看出:1)由于加入了多尺度模板更新機制，本文算法對目標的尺度變化不敏感，能在跟蹤過程中適應(yīng)目標尺寸的大幅變化;2)本文算法具備較強的抗干擾能力，在目標發(fā)生異常時仍能保持跟蹤的正常進行。

5 結(jié)論

本文提出了一種實時紅外圖像目標跟蹤算法。算法以多尺度LBP算子提取目標的聯(lián)合直方圖作為圖像特征進行匹配，結(jié)合Kalman濾波和多尺度模板更新，使得算法在目標尺寸大幅變化，目標部分遮擋、短暫消失等情況下仍能保持正常穩(wěn)定跟蹤。針對本文算法的特點，設(shè)計了專用圖像處理板，并介紹了本文算法在該平臺上的硬件實現(xiàn)方法。最后，使用本文算法和Mean－Shift算法在兩組實錄的紅外序列圖像上進行了實驗，結(jié)果驗證了本文算法的有效性。

［1］ BAKER E S，DE GROAT R D.A correlation－based subspace tracking algorithm［J］.IEEE Transactions on Signal Processing，1998，46(11):3112－3116.

［2］ 郭偉，趙亦工，謝振華.一種改進的紅外圖像歸一化互相關(guān)匹配算法［J］.光子學(xué)報，2009，38(1):189－193.

［3］ 陳沈軼，錢徽，吳錚，等.模板圖像匹配中互相關(guān)的一種快速算法［J］.傳感器技術(shù)學(xué)報，2007，20(6):1326－1329.

［4］ COMANICIU D，RAMESH V，MEER P.Kernel－based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(5):564－577.

［5］ 劉曄，胡紹海，李向軍.海平面紅外目標的檢測和跟蹤技術(shù)［J］.計算機仿真，2011，28(1):289－293.

［6］ 石文君，王登位，徐海全，等.復(fù)雜動態(tài)背景下的紅外運動多目標跟蹤與檢測［J］.光電工程，2009，37(1):40－54.

［7］ BIMBO A D，NESI P，SANZ J L C.Optical flow computation using extended constraints［J］.IEEE Transactions on Image Processing，1996，5(5):720－739.

［8］ MCEACHEN J C，DUNCAN J S.Shape－based tracking of naturally occurring annuli in image sequences［C］//Computer Vision and Pattern Recognition，IEEE Computer Society，New York City，1993:613－614.

［9］ OJALA T，PIETIK?INEN M，HARWOOD D.A comparative study of texture measures with classification based on feature distributions［J］.Pattern Recognition，1996，29:51－59.

［10］ OJALA T，PIETIK?INEN M，M?ENP?? T.Multiresolution gray－scale and rotation invariant texture classification with local binary patterns［J］.IEEE Transactions on PAMI，2002，24(7):971－987.

［11］ LEW M S.Next－generation web searches for visual content［J］.IEEE Computer，2000，33(11):46－53.

［12］ AHONEN T，HADID A，PIETIK?INEN M.Face recognition with local binary patterns［C］//ECCV 2004 Proceedings，Lecture Notes in Computer Science 3021，Springer，2004:469－481.

［13］ 周宏仁，敬忠良，王培德.機動目標跟蹤［M］.北京:國防工業(yè)出版社，1991:134－176.

［14］ GONZALEZ R C，WOODS R E.數(shù)字圖像處理［M］.2版.北京:電子工業(yè)出版社，2005:496－498.