吳佳奇，張 過(guò)，汪韜陽(yáng)，蔣永華

1. 遼寧工程技術(shù)大學(xué)測(cè)繪與地理科學(xué)學(xué)院，遼寧 阜新 123000； 2. 武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079； 3. 武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079； 4. 珠海歐比特控制工程股份有限公司，廣東 珠海 519080

吳佳奇，張過(guò)，汪韜陽(yáng)，等.結(jié)合運(yùn)動(dòng)平滑約束與灰度特征的衛(wèi)星視頻點(diǎn)目標(biāo)跟蹤[J].測(cè)繪學(xué)報(bào)，2017,46(9)：1135-1146.

10.11947/j.AGCS.2017.20160599.

WU Jiaqi,ZHANG Guo,WANG Taoyang,et al.Satellite Video Point-target Tracking in Combination with Motion Smoothness Constraint and Grayscale Feature[J]. Acta Geodaetica et Cartographica Sinica,2017,46(9):1135-1146. DOI:10.11947/j.AGCS.2017.20160599.

結(jié)合運(yùn)動(dòng)平滑約束與灰度特征的衛(wèi)星視頻點(diǎn)目標(biāo)跟蹤

吳佳奇1,2,4，張 過(guò)2，汪韜陽(yáng)3，蔣永華3

1. 遼寧工程技術(shù)大學(xué)測(cè)繪與地理科學(xué)學(xué)院，遼寧 阜新 123000； 2. 武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079； 3. 武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079； 4. 珠海歐比特控制工程股份有限公司，廣東 珠海 519080

針對(duì)衛(wèi)星視頻條件下的點(diǎn)目標(biāo)跟蹤問(wèn)題，提出了一種運(yùn)動(dòng)平滑約束的貝葉斯分類(lèi)目標(biāo)跟蹤方法(BMoST)。本方法引入樸素貝葉斯分類(lèi)器的思想，不依賴(lài)目標(biāo)的任何先驗(yàn)概率，在運(yùn)動(dòng)平滑性約束下，利用灰度相似性特征來(lái)表達(dá)描述目標(biāo)的似然度，并根據(jù)獨(dú)立假設(shè)的貝葉斯定理，建立簡(jiǎn)化的分類(lèi)器條件概率修正模型，通過(guò)該模型估計(jì)目標(biāo)的后驗(yàn)概率，從而實(shí)現(xiàn)目標(biāo)跟蹤。同時(shí)，采用卡爾曼濾波輔助、優(yōu)化跟蹤處理，提高算法的穩(wěn)健性。試驗(yàn)數(shù)據(jù)采用SkySat和吉林一號(hào)拍攝的視頻各兩段，對(duì)6個(gè)點(diǎn)目標(biāo)進(jìn)行跟蹤試驗(yàn)。結(jié)果表明，本文提出的方法針對(duì)衛(wèi)星視頻的點(diǎn)目標(biāo)跟蹤效果良好，精度達(dá)到90%左右，且跟蹤軌跡平滑，滿(mǎn)足衛(wèi)星視頻后續(xù)高級(jí)處理和應(yīng)用需要。

衛(wèi)星視頻；點(diǎn)目標(biāo)跟蹤；貝葉斯分類(lèi)；運(yùn)動(dòng)平滑性；SkySat；吉林一號(hào)

2013年底，美國(guó)Skybox Imaging公司發(fā)射了全球首顆能夠拍攝高清衛(wèi)星視頻的小衛(wèi)星SkySat-1[1]，開(kāi)啟了全新的動(dòng)態(tài)對(duì)地觀測(cè)模式；長(zhǎng)光衛(wèi)星技術(shù)有限公司于2015年10月發(fā)射我國(guó)首顆商用衛(wèi)星“吉林一號(hào)”?！凹忠惶?hào)”是一種小型遙感衛(wèi)星，其搭載的高分辨率視頻相機(jī)，在國(guó)內(nèi)首次實(shí)現(xiàn)了從外太空中拍攝高清全彩色視頻[2]。除了經(jīng)典光學(xué)遙感衛(wèi)星影像包含的靜態(tài)信息外，衛(wèi)星視頻還可以獲取一定時(shí)空范圍內(nèi)的實(shí)時(shí)動(dòng)態(tài)信息，使得遙感觀測(cè)有更廣闊的應(yīng)用前景。在衛(wèi)星視頻數(shù)據(jù)處理中，運(yùn)動(dòng)目標(biāo)跟蹤是動(dòng)態(tài)信息提取的重要一步，同時(shí)也是后續(xù)處理和應(yīng)用的基礎(chǔ)和前提，如超分重建、三維重建、智能監(jiān)控、車(chē)速估計(jì)[3-4]等。因此實(shí)現(xiàn)衛(wèi)星視頻目標(biāo)的準(zhǔn)確、抗差跟蹤顯得尤為重要。

在機(jī)器視覺(jué)中，目標(biāo)跟蹤可以分為兩大類(lèi)：生成式和判別式[5]。生成式方法利用生成的特征描述模板，搜索相似性最高的候選目標(biāo)，該方法主要關(guān)注目標(biāo)本身，在目標(biāo)劇烈變化和隱藏時(shí)容易產(chǎn)生漂移。經(jīng)典方法有密度估計(jì)法[6]、稀疏編碼[7]、相關(guān)濾波[8]等；判別式方法不但關(guān)注目標(biāo)本身，還關(guān)注背景特征，一般通過(guò)訓(xùn)練的分類(lèi)器進(jìn)行前、背景的判別跟蹤，因此該方法又稱(chēng)為基于檢測(cè)的跟蹤(tracking by detection)。判別式方法跟蹤效果較好，但由于需要分類(lèi)器訓(xùn)練、更新和前、背景判別，所以耗時(shí)較大。經(jīng)典方法有TLD[9]、多實(shí)例學(xué)習(xí)[10]、壓縮感知法[11]和時(shí)空關(guān)聯(lián)法[12]等。無(wú)論哪種方法，其本質(zhì)都是利用樣本訓(xùn)練、灰度統(tǒng)計(jì)、濾波、壓縮降維、概率估計(jì)、特征融合等方法提取合適的視覺(jué)特征建立目標(biāo)跟蹤的描述模板，然后根據(jù)特征描述信息尋找與目標(biāo)模板匹配相似度最高的ROI區(qū)域，實(shí)現(xiàn)目標(biāo)跟蹤[13-16]。在一般地面或低空條件下，經(jīng)典的方法取得了很好的跟蹤結(jié)果，其抗差跟蹤的關(guān)鍵在于特征的合理選擇和描述，有賴(lài)于目標(biāo)尺寸較大、對(duì)比度高、特征紋理豐富，其目標(biāo)跟蹤模板具有較高的排他性和可辨識(shí)性，有利于跟蹤結(jié)果的準(zhǔn)確定位。

但是在衛(wèi)星視頻條件下，與一般地面視頻和航空視頻相比，目標(biāo)跟蹤主要存在3個(gè)問(wèn)題：①影像寬幅大、分辨率低、畫(huà)面對(duì)比度和清晰度低；②運(yùn)動(dòng)目標(biāo)大部分為點(diǎn)目標(biāo)，尺寸小、特征和紋理稀少；③目標(biāo)數(shù)量較多，目標(biāo)與目標(biāo)、目標(biāo)與背景之間的可區(qū)分性差，彼此相似性較高、相互干擾嚴(yán)重。這3個(gè)衛(wèi)星視頻特有特點(diǎn)使得特征選取困難，特征描述不顯著，目標(biāo)模板的排他性和可辨識(shí)性不高。如圖1所示，航空視頻下，汽車(chē)的頂部天窗、前后玻璃、甚至是后視鏡都有可能作為特征提取和識(shí)別出來(lái)，便于目標(biāo)跟蹤時(shí)的特征描述；而衛(wèi)星視頻下，汽車(chē)是由少量亮度相近的像素點(diǎn)組成，內(nèi)部幾乎無(wú)紋理和特征可提取，難以進(jìn)行特征描述和關(guān)聯(lián)，點(diǎn)目標(biāo)跟蹤容易產(chǎn)生漂移或丟失的結(jié)果。

圖1 航空視頻與衛(wèi)星視頻比對(duì)[4，17]Fig.1 Aerial video and satellite video comparison[4，17]

經(jīng)典的點(diǎn)跟蹤算法是文獻(xiàn)[18]提出的LK光流法。方法的本質(zhì)其實(shí)是一種灰度相似性模板匹配，在匹配策略的約束下，利用方程求解的方式代替窗口搜索定位。在相鄰幀之間，利用鄰域像素點(diǎn)集的絕對(duì)誤差和(SAD)最小的原則建立光流方程，并采用最小二乘法求解點(diǎn)的運(yùn)動(dòng)矢量，實(shí)現(xiàn)點(diǎn)跟蹤[19]。在此基礎(chǔ)上，國(guó)內(nèi)外出現(xiàn)了許多優(yōu)秀的點(diǎn)跟蹤方法，這些方法數(shù)學(xué)建模的基本準(zhǔn)則和依據(jù)都是視頻相鄰幀之間具有的3個(gè)特征——同一物體亮度恒定、運(yùn)動(dòng)變化緩慢、鄰域內(nèi)的像素具有相同運(yùn)動(dòng)[20]。而在高清衛(wèi)星視頻中，為保障視頻的流暢性，其幀率一般優(yōu)于25 fps；又因?yàn)榉直媛屎蛯?duì)比度較低，尤其是在穩(wěn)像處理后，相機(jī)運(yùn)動(dòng)產(chǎn)生的變化被消除[21]，因此視頻相鄰幀的3個(gè)特點(diǎn)在衛(wèi)星視頻中更加顯著。如圖2所示衛(wèi)星視頻連續(xù)3幀的運(yùn)動(dòng)變化比對(duì)，由于基高比較低，可以認(rèn)為運(yùn)動(dòng)點(diǎn)目標(biāo)只存在兩種運(yùn)動(dòng)：平移和旋轉(zhuǎn)。左3列目標(biāo)作平移運(yùn)動(dòng)，右3列目標(biāo)做旋轉(zhuǎn)運(yùn)動(dòng)。為便于觀察幀間的變化，畫(huà)兩條完全水平的直線作為基準(zhǔn)?？梢院芮宄乜吹?，相鄰幀間點(diǎn)目標(biāo)平移和旋轉(zhuǎn)運(yùn)動(dòng)變化平滑、且微小。第2行為對(duì)應(yīng)目標(biāo)矩形區(qū)域放大顯示。分別對(duì)k、k-1和k+1、k幀目標(biāo)區(qū)域進(jìn)行灰度相似性計(jì)算，相似性度量采用性能優(yōu)于SAD的歸一化相關(guān)系數(shù)[22]。計(jì)算后得到的結(jié)果均優(yōu)于0.99。說(shuō)明相鄰幀間點(diǎn)目標(biāo)的灰度相似性很高，滿(mǎn)足亮度恒定的特征。

圖2 目標(biāo)在連續(xù)3幀中的運(yùn)動(dòng)和灰度變化對(duì)比Fig.2 The target motion and grayscale changes in continuous 3 frames

鑒于此可以得出，衛(wèi)星視頻點(diǎn)目標(biāo)在相鄰幀中具有“二小一高”的特征：尺寸小、幀間運(yùn)動(dòng)變化小以及灰度相似性高。其運(yùn)動(dòng)在相鄰幀之間滿(mǎn)足運(yùn)動(dòng)平滑性的特征，即目標(biāo)運(yùn)動(dòng)矢量的方向和大小與歷史軌跡相比，變化是平滑的；同時(shí)也嚴(yán)格符合目標(biāo)灰度統(tǒng)計(jì)的高相似性。相反，如果某個(gè)待判斷矩形ROI的運(yùn)動(dòng)突變顯著，或者灰度相似性低，那么該矩形ROI是目標(biāo)的可能性就低。因此，可以利用點(diǎn)目標(biāo)“二小一高”特征進(jìn)行目標(biāo)模板的特征描述。在概率統(tǒng)計(jì)中，利用事物的特征屬性進(jìn)行事物類(lèi)別概率判斷的經(jīng)典有效方法是樸素貝葉斯分類(lèi)法[23]，文獻(xiàn)[24—25]正是利用特征屬性對(duì)潛在的目標(biāo)進(jìn)行分類(lèi)判斷，從而尋找到可靠的跟蹤結(jié)果。綜上，本文借鑒了前人的思想，專(zhuān)門(mén)針對(duì)衛(wèi)星視頻的點(diǎn)目標(biāo)跟蹤問(wèn)題，提出了一種運(yùn)動(dòng)平滑特性約束的貝葉斯分類(lèi)點(diǎn)目標(biāo)跟蹤方法(BMoST，Bayesian motion smooth tracker)。將點(diǎn)目標(biāo)的灰度高相似性作為目標(biāo)的特征屬性，同時(shí)考慮運(yùn)動(dòng)平滑性特征約束，然后在樸素貝葉斯框架下，通過(guò)特征屬性的似然度建立分類(lèi)器的條件概率模型，進(jìn)而實(shí)現(xiàn)點(diǎn)目標(biāo)的抗差跟蹤。

1 BMoST

BMoST的基本流程是，在視頻第1幀中輸入跟蹤目標(biāo)矩形ROI，獲取目標(biāo)矩形ROI中心和寬、高，建立初始模板目標(biāo)。從第2幀開(kāi)始，根據(jù)模板目標(biāo)位置建立待判斷目標(biāo)集，然后將每一個(gè)待判斷目標(biāo)帶入貝葉斯框架中判斷。在貝葉斯框架中，首先對(duì)目標(biāo)進(jìn)行運(yùn)動(dòng)平滑約束處理，將符合條件的目標(biāo)做灰度相似性統(tǒng)計(jì)，并根據(jù)灰度相似性構(gòu)建似然函數(shù)，進(jìn)而利用條件概率模型求解后驗(yàn)概率，完成當(dāng)前幀的目標(biāo)跟蹤。在約束判斷和后驗(yàn)概率值不高時(shí)，采用Kalman濾波優(yōu)化輔助處理。方法流程如圖3所示。下面將對(duì)各主要部分進(jìn)行詳細(xì)描述說(shuō)明。

1.1 待判斷目標(biāo)集

在第1幀中已經(jīng)獲取到模板目標(biāo)，從第2幀開(kāi)始，每一幀的處理首先要建立待判斷目標(biāo)集，該目標(biāo)集由一系列矩形ROI組成，本文采用滑動(dòng)窗口的方式生成目標(biāo)集。在當(dāng)前幀中，將上一幀目標(biāo)ROI中心像素位置的48鄰域(7×7像素)設(shè)定為搜索區(qū)域ROI。在搜索區(qū)域中，不斷滑動(dòng)模板目標(biāo)：從左至右、從上至下，每次滑動(dòng)步長(zhǎng)為一個(gè)像素。在每一個(gè)位置，模板目標(biāo)與當(dāng)前幀重疊的矩形區(qū)域形成一個(gè)待判斷目標(biāo)的矩形ROI。如圖4所示，綠色矩形框?yàn)樗阉鲄^(qū)域，為觀察方便，將搜索區(qū)域擴(kuò)大。模板目標(biāo)滑動(dòng)整個(gè)搜索區(qū)域后，完成待判斷目標(biāo)集的建立。

圖3 算法流程Fig.3 Algorithm flow chart

圖4 模板目標(biāo)的窗口滑動(dòng)示意Fig.4 The window slides diagram of template

1.2 目標(biāo)跟蹤的條件概率模型

在一般情況下，往往不能直接通過(guò)表象特征來(lái)判斷事物類(lèi)別，但是可以利用事物的先驗(yàn)知識(shí)和樣本集的訓(xùn)練獲取到事物所包含特征的條件概率，用來(lái)表示事物的似然度，進(jìn)而可以間接進(jìn)行事物類(lèi)別判斷，這是貝葉斯分類(lèi)器的主要思想。樸素貝葉斯分類(lèi)器的基礎(chǔ)是貝葉斯定理，它是關(guān)于隨機(jī)事件A和B的條件概率P(A|B)，表示在事件B發(fā)生的條件下，事件A發(fā)生的概率。事件B可以視作事件A所包含的特征，如果事件A中包含n個(gè)特征，Bj(j=1,2,…，n)表示事件A的n個(gè)特征，并且假設(shè)所有特征相互獨(dú)立(樸素)，有

P(A|B1B2…Bn)=

(1)

式(1)即為樸素貝葉斯分類(lèi)的理論公式。目標(biāo)跟蹤可以視作一種特殊的分類(lèi)問(wèn)題，將待判斷的區(qū)域分為目標(biāo)和非目標(biāo)兩類(lèi)。那么在貝葉斯分類(lèi)框架下，可以利用目標(biāo)的灰度相似性屬性進(jìn)行分類(lèi)判別。此外，由于每個(gè)屬性之間是相互獨(dú)立的，且不依賴(lài)于事物本身，因此式(1)等號(hào)右邊的分母可認(rèn)為是常數(shù)。綜上，目標(biāo)跟蹤的條件概率模型可表達(dá)為

P(obj|gray·dis·cos)=P(gray|obj)…·

P(dis|obj)P(cos|obj)P(obj)

(2)

式中，gray代表目標(biāo)的灰度相似性屬性；cos和dis表示運(yùn)動(dòng)平滑特性中的余弦相似性和歐氏距離屬性，即運(yùn)動(dòng)矢量方向和大小的度量；obj代表目標(biāo)。由于N個(gè)待判斷ROI是目標(biāo)的概率是相等的，均為1/N，因此在分類(lèi)時(shí)，上式中的P(Obj)不用計(jì)算。下文將詳細(xì)討論各屬性特征和式(2)的具體計(jì)算方法。

1.3 運(yùn)動(dòng)平滑性約束

運(yùn)動(dòng)平滑性是指，目標(biāo)相對(duì)于某一狀態(tài)的運(yùn)動(dòng)矢量的大小和方向的變化是平滑的。矢量大小(歐氏距離)約束如圖5所示，obj表示目標(biāo)，k-i表示幀號(hào)(i=-1，0，1)，假設(shè)第k幀已經(jīng)處理完畢，目標(biāo)在第k、k-1幀中位置的歐氏距離為d。在第k+1幀中，要判斷目標(biāo)集1、2、3中哪個(gè)是跟蹤目標(biāo)。分別計(jì)算目標(biāo)1、2、3與第k幀中的目標(biāo)位置的距離d1、d2和d3。d2和d3相對(duì)于d有明顯的變化，那么根據(jù)歐氏距離約束，運(yùn)動(dòng)矢量的大小變化是平滑的，因此可判斷目標(biāo)2、3不是跟蹤目標(biāo)。

圖5 歐氏距離約束示意Fig.5 European distance constraint diagram

矢量方向約束如圖6所示。同樣的，目標(biāo)在第k幀中的位置相對(duì)于k-1幀的旋轉(zhuǎn)角度為θ。在第k+1幀中，要判斷目標(biāo)1、2、3中哪個(gè)是跟蹤目標(biāo)。分別計(jì)算目標(biāo)1、2、3與第k幀中的目標(biāo)位置的旋轉(zhuǎn)角度θ1、θ2和θ3。θ2和θ3相對(duì)于θ有明顯的變化，那么根據(jù)方向約束，運(yùn)動(dòng)矢量的方向變化應(yīng)是平滑的，因此可判斷目標(biāo)2、3不是跟蹤目標(biāo)。

圖6 矢量方向約束示意Fig.6 Vector direction constraint diagram

運(yùn)動(dòng)矢量的大小和方向分別采用歐氏距離和余弦相似性描述。具體計(jì)算方法如下。

1.3.1 歐氏距離計(jì)算

目標(biāo)運(yùn)動(dòng)矢量大小采用歐氏距離度量，兩個(gè)點(diǎn)A(a1，a2)、B(b1，b2)的歐氏距離公式為

(3)

運(yùn)動(dòng)矢量大小約束可表示為

dis=abs[dis(objk,objk-1)-dis(objk-1,objk-2)]

(4)

式中，objk表示當(dāng)前幀待判斷目標(biāo)ROI中心點(diǎn)；objk-i表示第k-i幀的跟蹤目標(biāo)ROI中心點(diǎn)，i=1,2。若歐氏距離變化較大，則一定不是目標(biāo)。歐氏距離概率為

(5)

1.3.2 余弦相似性計(jì)算

余弦相似性表示兩個(gè)向量之間夾角的關(guān)系，兩個(gè)矢量A、B的余弦相似性計(jì)算公式為

(6)

cos=cos[A(objk,objk-1),B(objk-1,objk-2)]

(7)

式中，objk表示當(dāng)前幀待判斷目標(biāo)的中心點(diǎn)坐標(biāo)；objk-i表示第k-i幀跟蹤目標(biāo)中心點(diǎn)坐標(biāo)，i=1,2。A(objk,objk-1)表示由objk和objk-1構(gòu)成的向量，B同理。目標(biāo)運(yùn)動(dòng)方向的變化是微小的，相對(duì)應(yīng)的余弦相似性應(yīng)較高。余弦屬性概率為

(8)

1.4 灰度相似性似然化

目標(biāo)特征屬性及描述是跟蹤的主要依據(jù)。不依賴(lài)目標(biāo)的運(yùn)動(dòng)先驗(yàn)知識(shí)，采用在線學(xué)習(xí)的方式，利用目標(biāo)的灰度相似性屬性描述目標(biāo)特征似然度，構(gòu)建跟蹤模型，同時(shí)統(tǒng)計(jì)并記錄目標(biāo)運(yùn)動(dòng)軌跡。相關(guān)系數(shù)是用以反映變量之間相關(guān)關(guān)系密切程度的統(tǒng)計(jì)指標(biāo)，在跟蹤處理中可用于描述目標(biāo)間的相似程度。相關(guān)系數(shù)的計(jì)算方法為

(9)

式中，T、S為兩個(gè)向量，i為向量元素索引號(hào)。將其歸一化，有利于提高匹配精度和抗干擾能力，歸一化方法為

(10)

在前文中已經(jīng)提到，通常相鄰幀的目標(biāo)的運(yùn)動(dòng)矢量的方向變化小，通過(guò)相關(guān)系數(shù)計(jì)算，跟蹤目標(biāo)具有較高的灰度相似性。但在某些特殊情況下，目標(biāo)可能發(fā)生較大的旋轉(zhuǎn)運(yùn)動(dòng)。由于相關(guān)系數(shù)度量對(duì)較大的旋轉(zhuǎn)較敏感，此時(shí)匹配度較高的區(qū)域并不一定是目標(biāo)區(qū)域。因此，考慮點(diǎn)目標(biāo)的較大轉(zhuǎn)彎運(yùn)動(dòng)，在相關(guān)系數(shù)的基礎(chǔ)上，本文引入了HU不變矩的灰度相似性度量。HU不變矩由文獻(xiàn)[26]提出，借助代數(shù)不變矩理論，通過(guò)構(gòu)造不變矩多項(xiàng)式來(lái)實(shí)現(xiàn)旋轉(zhuǎn)不變性。在具體實(shí)現(xiàn)時(shí)，利用二階、三階歸一化后的幾何中心距構(gòu)造出7個(gè)不變矩。因此可以利用圖像的HU不變矩特性作為目標(biāo)跟蹤模型的似然度，使得目標(biāo)在旋轉(zhuǎn)和平移運(yùn)動(dòng)時(shí)可以更準(zhǔn)確地進(jìn)行特征描述。如圖7所示為4個(gè)點(diǎn)目標(biāo)ROI及對(duì)應(yīng)的不變矩折線比對(duì)圖。其中，a為模板目標(biāo)，b、c、d為待判斷目標(biāo)，且旋轉(zhuǎn)較大。計(jì)算各目標(biāo)的不變矩，并分別畫(huà)出折線圖?？刹捎谜劬€圖來(lái)表示目標(biāo)特征，各折線圖的7個(gè)節(jié)點(diǎn)為相應(yīng)目標(biāo)的7個(gè)不變矩。為便于觀察，將數(shù)值放大100倍。通過(guò)折線圖比對(duì)可以看出，目標(biāo)b與模板目標(biāo)的折線擬合度(相似性)最高，因此在b、c、d中，b是跟蹤目標(biāo)的可能性最高。

圖7 灰度特征的HU折線描述及比對(duì)Fig.7 HU broken line description and comparison of grayscale features

幾何中心距和HU不變矩的構(gòu)造方法可參見(jiàn)文獻(xiàn)[27]。HU不變矩由7個(gè)參數(shù)組成，在似然化時(shí)將7參數(shù)視作一個(gè)7維向量，通過(guò)計(jì)算7維向量的歸一化相關(guān)系數(shù)進(jìn)行目標(biāo)相似性計(jì)算，建立灰度特征似然度。根據(jù)式(10)，計(jì)算方法為

P(gray|obj)=Ncc(MT,MS)

(11)

式中，MT、MS分別表示目標(biāo)模板圖像和待判斷ROI圖像的7個(gè)HU不變矩參數(shù)組成的7維向量。

1.5 算法及步驟

在綜上，BMoST跟蹤算法的詳細(xì)步驟為：

(1) 在第當(dāng)前幀中，以窗口滑動(dòng)的方式建立待判斷像目標(biāo)集；

(2) 進(jìn)行運(yùn)動(dòng)平滑約束，根據(jù)式(5)和式(8)計(jì)算每個(gè)待判斷目標(biāo)的余弦和歐氏距離概率，將概率為1的目標(biāo)記錄保留；

(3) 根據(jù)式(11)分別計(jì)算保留下來(lái)的目標(biāo)灰度相似性概率，進(jìn)而得到最終概率P；

(4) 取P最大值的目標(biāo)作為跟蹤結(jié)果。當(dāng)前幀處理結(jié)束，進(jìn)入下一幀處理。

若求得的最終后驗(yàn)概率低于閾值，說(shuō)明跟蹤結(jié)果不夠準(zhǔn)確。為提高算法的抗差性，此時(shí)加入了Kalman濾波。Kalman濾波通過(guò)線性最小均方誤差估計(jì)，能夠根據(jù)目標(biāo)歷史軌跡預(yù)測(cè)當(dāng)前幀的位置[28]，并結(jié)合當(dāng)前幀的觀測(cè)值來(lái)優(yōu)化跟蹤結(jié)果。Kalman濾波針對(duì)k時(shí)刻預(yù)測(cè)的狀態(tài)方程為

(12)

式中，Xk-1=[xk-1yk-1ux-1vx-1]T為k-1時(shí)刻的狀態(tài)值(即跟蹤結(jié)果)，其中x和y表示目標(biāo)中心點(diǎn)坐標(biāo)，u和v分別表示水平、垂直方向速度；A表示從k-1時(shí)刻到k時(shí)刻的狀態(tài)轉(zhuǎn)移矩陣；Pk-1表示k-1時(shí)刻的最優(yōu)協(xié)方差矩陣；W是相互獨(dú)立的零均值標(biāo)準(zhǔn)正態(tài)高斯白噪聲序列，表示狀態(tài)轉(zhuǎn)移干擾噪聲；Q是W的協(xié)方差矩陣

(13)

根據(jù)式(12)可得到預(yù)測(cè)的初始結(jié)果，下面利用增益矩陣Kk(4×2)對(duì)其進(jìn)行修正，使結(jié)果達(dá)到最優(yōu)估計(jì)。Kalman濾波預(yù)測(cè)的狀態(tài)更新方程為

(14)

這樣，利用式(12)和式(14)的不斷迭代更新可實(shí)現(xiàn)自回歸的最優(yōu)估計(jì)，使得目標(biāo)跟蹤算法在某幾幀概率判斷失效時(shí)仍有可能確保目標(biāo)不丟失。在試驗(yàn)中，概率的閾值設(shè)定為0.95，是通過(guò)多對(duì)幀間同名目標(biāo)的相似性計(jì)算試驗(yàn)得出的經(jīng)驗(yàn)值。概率P計(jì)算的偽代碼見(jiàn)算法1。

算法1 概率計(jì)算

1：objk←待判斷目標(biāo)ROI中心點(diǎn)

2：objk-1←前1幀跟蹤結(jié)果目標(biāo)ROI中心點(diǎn)

3：objk-2←前2幀跟蹤結(jié)果目標(biāo)ROI中心點(diǎn)

4：dis←dis(objk,objk-1)-dis(objk-1,objk-2)

5：if dis<=2&&dis>0

6：P(dis|obj)=1

7：else

8：P(dis|obj)=0

9：end if

10：cos←cos((objk,objk-1)，(objk-1,objk-2)

11：if cos>0.7

12：P(cos|obj)=1

13：else

14：P(cos|obj)=0

15：end if

16：ROI(objk-1)←前一幀模板目標(biāo)ROI

17：ROI(objk)←當(dāng)前幀待判斷目標(biāo)ROI

18：CC←correlation coefficient

19：P(gray|obj)←CC(HU(ROI(objk-1)),HU(ROI(objk)))

20：P(gray|obj)←P(gray|obj)/…

21：sqrt(CC(HU(ROI(objk-1)),HU(ROI(objk-1))*CC(HU(ROI(objk)),HU(ROI(objk)))

22：P=P(dis|obj)*P(cos|obj)*P(gray|obj)

2 試 驗(yàn)

2.1 試驗(yàn)數(shù)據(jù)說(shuō)明

在衛(wèi)星視頻常見(jiàn)的場(chǎng)景中對(duì)BMoST跟蹤算法進(jìn)行測(cè)試，場(chǎng)景主要包括了目標(biāo)變速運(yùn)動(dòng)、目標(biāo)旋轉(zhuǎn)、輻射亮度變化以及相鄰近似目標(biāo)和背景干擾等，選擇機(jī)動(dòng)目標(biāo)做測(cè)試，目標(biāo)尺寸小、無(wú)紋理特征、且與背景的對(duì)比度較低。試驗(yàn)數(shù)據(jù)為SkySat全色視頻2段和吉林一號(hào)彩色視頻2段，視頻影像分辨率為1.1 m，幀頻優(yōu)于25 fps。SkySat視頻1是一段迪拜城區(qū)視頻，將道路行駛汽車(chē)作為跟蹤目標(biāo)，視頻中的跟蹤目標(biāo)進(jìn)行彎道和變速行駛，并且鄰域干擾嚴(yán)重，與鄰近目標(biāo)距離近、相似度高；SkySat視頻2是一段礦區(qū)作業(yè)監(jiān)控視頻，礦車(chē)作為跟蹤目標(biāo)，視頻中目標(biāo)的灰度是變化的，且與背景相似度較高，在視頻后半段中目標(biāo)幾乎隱藏在背景中；吉林一號(hào)視頻1是墨西哥城區(qū)的交通路況視頻，道路上汽車(chē)作為跟蹤的目標(biāo)。其中目標(biāo)4首先做直線勻速運(yùn)動(dòng)，然后減速并轉(zhuǎn)彎90°，速度逐漸接近于零。目標(biāo)5首先處于靜止?fàn)顟B(tài)，然后啟動(dòng)并90°轉(zhuǎn)彎行駛。吉林一號(hào)視頻2是某城區(qū)上空飛機(jī)飛過(guò)的場(chǎng)景，視頻的圖像質(zhì)量不佳、清晰度低，背景變化快，并且存在臨近相似背靜干擾和目標(biāo)隱藏在背景中的情況。

表1 測(cè)試視頻描述

圖8 測(cè)試視頻第一幀截圖Fig.8 The first frame screenshot of test videos

2.2 試驗(yàn)結(jié)果與分析

2.2.1 SkySat視頻1

如圖9所示為本文方法的跟蹤效果，目標(biāo)1處于道、靠近中間道路隔離帶行駛。在前40幀的運(yùn)動(dòng)軌跡近似于直線，40幀以后開(kāi)始持續(xù)均勻轉(zhuǎn)彎，沒(méi)有其他目標(biāo)和背景的干擾，在250幀之前，跟蹤精度為100%，并且軌跡平滑。從250幀開(kāi)始，目標(biāo)1不斷接近右側(cè)車(chē)道的目標(biāo)2，跟蹤精度開(kāi)始有所下降，有2個(gè)像素左右的漂移；279幀后，兩目標(biāo)開(kāi)始相互纏繞粘連，280、282幀的跟蹤結(jié)果偏移了2～3個(gè)像素，312幀到318幀左右也有同樣的情況。但281、283～311幀利用運(yùn)動(dòng)平滑約束修正了位置，軌跡跟蹤較穩(wěn)定。320幀時(shí)兩目標(biāo)幾乎并排行駛，粘連程度和干擾面積最大，但依然可以較好地進(jìn)行跟蹤，并無(wú)明顯漂移。344幀開(kāi)始超車(chē)，353開(kāi)始分離，391幀完成超車(chē)，并逐漸結(jié)束彎道行程，跟蹤趨于穩(wěn)定。429幀到474幀左右，這期間目標(biāo)不夠清晰，并且目標(biāo)上方的隔離帶與目標(biāo)相似性極高，使得跟蹤向上漂移，但方法仍然可以沿著隔離帶跟蹤，如460幀軌跡。在480幀左右時(shí)，目標(biāo)清晰度提升，灰度相關(guān)性約束將目標(biāo)跟蹤位置糾正回來(lái)。

表2 測(cè)試結(jié)果

圖9 本文方法的目標(biāo)1跟蹤效果Fig.9 Target 1 tracking results of our method

如圖10所示為一般灰度法的跟蹤效果，330幀之前總體跟蹤效果良好、軌跡平滑。尤其是從250幀開(kāi)始，在有目標(biāo)輕微干擾的情況下也能保持很好的跟蹤狀態(tài)，這個(gè)階段的跟蹤軌跡狀態(tài)優(yōu)于本文方法。但是在330幀以后，臨近目標(biāo)粘連和干擾程度較大，跟蹤開(kāi)始有較大偏差。由于沒(méi)有運(yùn)動(dòng)平滑性的約束，在334幀時(shí)產(chǎn)生了目標(biāo)漂移。在342幀左右，跟蹤漂移到臨近相似目標(biāo)，目標(biāo)跟蹤失敗。

圖10 一般灰度法目標(biāo)1跟蹤效果Fig.10 Target 1 tracking results of general grayscale method

跟蹤的目標(biāo)2處于外道，行駛速度相對(duì)目標(biāo)1較慢。本文的跟蹤方法如圖11所示。160幀之前的運(yùn)動(dòng)近似直線、轉(zhuǎn)彎角度小，跟蹤穩(wěn)定平滑，精度高，225幀左右開(kāi)始轉(zhuǎn)彎角度增大，且與右側(cè)相似背景纏繞粘連，產(chǎn)生了干擾，在276幀之前目標(biāo)頻繁向右偏移，但沒(méi)有丟失目標(biāo)，見(jiàn)235、274幀歷史軌跡。直到276幀左右，目標(biāo)2與右側(cè)背景分離，位置修正。279幀開(kāi)始，目標(biāo)1和2相互粘連纏繞，320幀左右目標(biāo)1與目標(biāo)2并排行駛，到391幀左右兩目標(biāo)分離，整個(gè)過(guò)程都能保持穩(wěn)定跟蹤，并且軌跡平滑、整體弧度與道路基本吻合。392幀之后臨近干擾解除，同時(shí)逐漸從彎道轉(zhuǎn)入直線行駛，跟蹤精度幾乎100%。

圖11 目標(biāo)2跟蹤效果Fig.11 Target 2 tracking results

SkySat視頻1中的目標(biāo)跟蹤面臨的主要挑戰(zhàn)是，在目標(biāo)大旋轉(zhuǎn)半徑轉(zhuǎn)彎時(shí)伴隨臨近高相似目標(biāo)和背景的干擾，導(dǎo)致跟蹤偏移和精度降低，但BMoST方法能有效地抵抗這種干擾，使得整個(gè)跟蹤過(guò)程維持較高的精度和穩(wěn)定性。

2.2.2 SkySat視頻2

SkySat視頻2目標(biāo)3在視頻前半段中行駛在兩種顏色道路的邊緣，邊緣將跟蹤目標(biāo)分成了上、下兩個(gè)部分，下半部分與道路的灰度相似性極高，可認(rèn)為目標(biāo)隱藏在背景中。整個(gè)視頻中礦車(chē)移動(dòng)速度較慢，200幀時(shí)大概移動(dòng)了20個(gè)像素左右。300、400幀時(shí)跟蹤狀態(tài)穩(wěn)定，此時(shí)礦車(chē)的灰度值開(kāi)始變化。800幀時(shí)灰度有了明顯變化，并逐漸向下方高相似背景過(guò)度，跟蹤狀態(tài)較穩(wěn)定，軌跡無(wú)明顯跳變。到1000幀左右時(shí)目標(biāo)幾乎全部進(jìn)入高相似背景中，只有左側(cè)、上側(cè)邊緣具有明顯灰度對(duì)比，此時(shí)跟蹤軌跡已經(jīng)出現(xiàn)輕微跳變，穩(wěn)定性降低。到1200幀左右目標(biāo)幾乎全部隱藏在相似背景中，軌跡跳變較嚴(yán)重，但跟蹤未出現(xiàn)漂移。到1300、1400幀左右，該過(guò)程在目標(biāo)隱藏的情況下進(jìn)行跟蹤，灰度相似性完全失去作用，依靠余弦和歐氏距離相似性以及Kalman濾波的約束，將軌跡跟蹤控制在較穩(wěn)定的狀態(tài)，目標(biāo)未丟失。在1500幀左右，目標(biāo)逐漸旋轉(zhuǎn)向左上方加速行駛，并帶有旋轉(zhuǎn)，過(guò)長(zhǎng)時(shí)間隱藏狀態(tài)下目標(biāo)跟蹤的性能下滑，軌跡跳變嚴(yán)重、雜亂無(wú)章。1521幀左右跟蹤偏移開(kāi)始增大，1522幀開(kāi)始產(chǎn)生了跟蹤漂移，1565幀左右徹底丟失目標(biāo)。

SkySat視頻2中目標(biāo)跟蹤主要面臨的挑戰(zhàn)是，目標(biāo)部分或幾乎全部隱藏在背景中，灰度相似性完全或部分失效。在這種情況下，MoST跟蹤法能夠有效地在目標(biāo)部分隱藏時(shí)進(jìn)行抗差跟蹤，甚至可以在一段時(shí)間內(nèi)(500幀左右)，針對(duì)幾乎完全隱藏的目標(biāo)進(jìn)行相對(duì)穩(wěn)定跟蹤，目標(biāo)的位置雖然有所偏移，但并不會(huì)丟失。

圖12 目標(biāo)3跟蹤效果Fig.12 Target 3 tracking results

2.2.3 吉林一號(hào)視頻1

吉林一號(hào)視頻1的試驗(yàn)主要是為了驗(yàn)證跟蹤算法針對(duì)目標(biāo)大角度旋轉(zhuǎn)時(shí)的跟蹤效果，如圖13所示為本文方法的跟蹤效果。目標(biāo)4前200幀處在勻速直線的運(yùn)動(dòng)狀態(tài)，跟蹤精度幾乎為100%，跟蹤軌跡近似為一條直線。到200幀左右，目標(biāo)開(kāi)始減速，準(zhǔn)備入彎。到250幀左右，開(kāi)始逐漸增加轉(zhuǎn)向的角度。347幀左右開(kāi)始，轉(zhuǎn)向角速率提高，此時(shí)旋轉(zhuǎn)角度大約為10°。383幀時(shí)大約旋轉(zhuǎn)了30°左右；417幀大約45°；450幀60°,494達(dá)到90°左右。

圖13 本文方法的目標(biāo)4跟蹤效果Fig.13 Target 4 tracking results of our method

如圖14所示為一般灰度法的跟蹤效果。在347幀之前目標(biāo)作直線運(yùn)動(dòng)，跟蹤軌跡和效果好；但在進(jìn)入彎道之后，由于一般的灰度法對(duì)較大旋轉(zhuǎn)敏感，相關(guān)系數(shù)的相似性度量不能很好地描述目標(biāo)特征。在目標(biāo)做旋轉(zhuǎn)運(yùn)動(dòng)時(shí)的跟蹤精度降低，大約偏移4個(gè)像素，如417、450和494幀。

圖14 一般灰度法的目標(biāo)4跟蹤效果Fig.14 Target 4 tracking results of general grayscale method

目標(biāo)5的跟蹤效果如圖15所示。目標(biāo)5開(kāi)始處于靜止、待轉(zhuǎn)彎狀態(tài)。到159幀左右，目標(biāo)開(kāi)始啟動(dòng)并開(kāi)始轉(zhuǎn)彎、加速。216幀左右轉(zhuǎn)彎角度大約為30°，250幀45°，275幀60°，320幀左右90°，轉(zhuǎn)彎完畢，進(jìn)入直線加速行駛。直到494幀為直線階段，軌跡平滑，近似真實(shí)軌跡。

吉林一號(hào)視頻1跟蹤試驗(yàn)主要面臨的挑戰(zhàn)，是目標(biāo)小轉(zhuǎn)彎半徑下的大角度旋轉(zhuǎn)(90°)，使得相鄰幀目標(biāo)旋轉(zhuǎn)角度較大。試驗(yàn)表明提出的BMoST跟蹤方法在相鄰幀點(diǎn)目標(biāo)存在較大旋轉(zhuǎn)時(shí)，能保證穩(wěn)定、準(zhǔn)確地跟蹤。

圖15 目標(biāo)5跟蹤效果Fig.15 Target 5 tracking results

2.2.4 吉林一號(hào)視頻2

吉林一號(hào)視頻2的清晰度較差，目標(biāo)6幾乎處在勻速直線行駛狀態(tài)，本文算法的跟蹤效果如圖16所示。前17幀跟蹤狀態(tài)穩(wěn)定，從17幀開(kāi)始目標(biāo)6開(kāi)始進(jìn)入高相似背景區(qū)域，20幀時(shí)，目標(biāo)6有一半?yún)^(qū)域被隱藏；22幀時(shí)目標(biāo)幾乎隱藏背景中，23幀時(shí)目標(biāo)完全隱藏背景中，直到31幀完全脫離隱藏區(qū)域，在這個(gè)過(guò)程中目標(biāo)跟蹤沿運(yùn)動(dòng)方向的偏差較大，但算法依靠運(yùn)動(dòng)平滑約束，并未丟失目標(biāo)。41幀左右目標(biāo)左側(cè)出現(xiàn)高相似區(qū)域，53幀左右脫離相似區(qū)域干擾，跟蹤穩(wěn)定。53幀以后除了背景變化以外無(wú)相似背景干擾，跟蹤精度高，軌跡平滑、近似真實(shí)軌跡。

圖16 本文算法目標(biāo)6跟蹤效果Fig.16 Target 6 tracking results of our method

吉林一號(hào)視頻2的跟蹤試驗(yàn)主要面臨的挑戰(zhàn)是目標(biāo)和背景清晰度低，且存在目標(biāo)隱藏在背景中的情況，試驗(yàn)結(jié)果表明，BMoST方法在該視頻，雖然在目標(biāo)隱藏的幾幀中的跟蹤有2～3個(gè)像素的偏移，但并沒(méi)有丟失目標(biāo)，仍然可以沿著目標(biāo)的運(yùn)動(dòng)方向跟蹤。同時(shí)在目標(biāo)未隱藏時(shí)，能夠保持非常高的跟蹤精度。

3 結(jié) 論

衛(wèi)星視頻條件下點(diǎn)目標(biāo)的跟蹤主要面臨的挑戰(zhàn)有，目標(biāo)尺寸小、特征和紋理信息稀少；影像分辨率和對(duì)比度低、前景和背景可區(qū)分性差；目標(biāo)彼此相似性高、相互干擾嚴(yán)重。針對(duì)這些問(wèn)題，提出的BMoST方法利用了目標(biāo)的運(yùn)動(dòng)平滑性和灰度相關(guān)性，在樸素貝葉斯分類(lèi)的框架下，實(shí)現(xiàn)了衛(wèi)星視頻點(diǎn)目標(biāo)的有效跟蹤，并通過(guò)6組試驗(yàn)驗(yàn)證了該方法的有效性。該方法在目標(biāo)轉(zhuǎn)彎同時(shí)的臨近相似目標(biāo)和背景干擾、目標(biāo)掩藏在背景中、目標(biāo)小轉(zhuǎn)彎半徑下的大角度旋轉(zhuǎn)、視頻質(zhì)量模糊等情況下，都有很好的跟蹤效果和精度。處理結(jié)果可用于后續(xù)的高級(jí)應(yīng)用。

[1] MURTHY K, SHEARN M, SMILEY B D, et al. SkySat-1: Very High-resolution Imagery from a Small Satellite[C]∥SPIE Remote Sensing. International Society for Optics and Photonics. Amsterdam, Netherlands: SPIE, 2014: 9241.

[2] 張過(guò). 衛(wèi)星視頻處理與應(yīng)用進(jìn)展[J]. 應(yīng)用科學(xué)學(xué)報(bào), 2016, 34(4): 361-370.

ZHANG Guo. Satellite Video Processing and Applications[J]. Journal of Applied Sciences-Electronics and Information Engineering, 2016, 34(4): 361-370.

[3] 朱厲洪, 回征, 任德鋒, 等. 視頻成像衛(wèi)星發(fā)展現(xiàn)狀與啟示[J]. 衛(wèi)星應(yīng)用, 2015(10): 23-28.

ZHU Lihong, HUI Zheng, REN Defeng, et al. Development Status and Inspiration of Video Imaging Satellite[J]. Satellite Application, 2015(10): 20-28.

[4] D’ANGELO P, MáTTYUS G, REINARTZ P. Skybox Image and Video Product Evaluation[J]. International Journal of Image and Data Fusion, 2016, 7(1): 3-8.

[5] 王飛, 房勝. 加權(quán)局部特征結(jié)合判別式字典的目標(biāo)跟蹤[J]. 中國(guó)圖象圖形學(xué)報(bào), 2014, 19(9): 1316-1323.

WANG Fei, FANG Sheng. Visual Tracking Based on the Discriminative Dictionary and Weighted Local Features[J]. Journal of Image and Graphics, 2014, 19(9): 1316-1323.

[6] LEICHTER I. Mean Shift Trackers with Cross-bin Metrics[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 695-706.

[7] ZhANG Dongmei, WANG Ronggui, YANG Juan, et al. Research on Sparse Coding Object Tracking Method[J]. Computer Engineering and Applications, 2015, 51(22): 53-60.

[8] HENRIQUES J F, CASEIRO R, MARTINS P, et al. High-speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[9] ZDENEK K, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409-1422.

[10] 周志宇, 彭小龍, 吳迪沖, 等. 在線特征選取的多示例學(xué)習(xí)目標(biāo)跟蹤[J]. 中國(guó)圖象圖形學(xué)報(bào), 2015, 20(10): 1346-1357.

ZHOU Zhiyu, PENG Xiaolong, WU Dichong, et al. Object Tracking Based on Multiple Instance Learning with Online Feature Selection[J]. Journal of Image and Graphics, 2015, 20(10): 1346-1357.

[11] 朱秋平, 顏佳, 張虎, 等. 基于壓縮感知的多特征實(shí)時(shí)跟蹤[J]. 光學(xué) 精密工程, 2013, 21(2): 437-444.

ZHU Qiuping, YAN Jia, ZHANG Hu, et al. Real-time Tracking Using Multiple Features Based on Compressive Sensing[J]. Optics and Precision Engineering, 2013, 21(2): 437-444.

[12] XU Jianqiang, LU Yao, LIU Jinwu. Robust Tracking via Weighted Spatio-temporal Context Learning[C]∥Proceedings of 2014 IEEE International Conference on Image Processing. Paris, France: IEEE, 2014: 413-416.

[13] ZAPPELLA L, DEL BUE A, LLADO X, et al. Joint Estimation of Segmentation and Structure from Motion[J]. Computer Vision and Image Understanding, 2013, 117(2): 113-129.

[14] 王春平, 王暐, 劉江義, 等. 基于色度飽和度-角度梯度直方圖特征的尺度自適應(yīng)核相關(guān)濾波跟蹤[J]. 光學(xué) 精密工程, 2016, 24(9): 2293-2301.

WANG Chunping, WANG Wei, LIU Jiangyi, et al. Scale Adaptive Kernelized Correlation Filter Tracking Based on HHS-OG Feature[J]. Optics and Precision Engineering, 2016, 24(9): 2293-2301.

[15] 修春波, 魏世安, 萬(wàn)蓉鳳. 二維聯(lián)合特征模型的自適應(yīng)均值漂移目標(biāo)跟蹤[J]. 光電子·激光, 2015(2): 342-351.

XIU Chunbo, WEI Shian, WAN Rongfeng. CAMShift Target Tracking Based on Two-dimensional Joint Characteristics[J]. Journal of Optoelectronics·Laser, 2015(2): 342-351.

[16] BERTINETTO L, VALMADRE J, GOLODETZ S, et al. Staple: Complementary Learners for Real-time Tracking[C]∥Proceedings of 2016 IEEE International Conference on Computer Vision and Pattern Recognition. Las Vegas, NV: IEEE, 2016: 1401-1409.

[17] ZHANG Yanning, TONG Xiaomin, YANG Tao, et al. Multi-model Estimation Based Moving Object Detection for Aerial Video[J]. Sensors (Basel, Switzerland), 2015, 15(4): 8214-8231.

[18] SHI Jianbo, TOMASI C. Good Features to Track[C]∥Proceedings of 1994 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Seattle, WA: IEEE, 1994: 593-600.

[19] CHEN Z W, CHIANG C C, HSIEH Z T. Extending 3D Lucas-Kanade Tracking with Adaptive Templates for Head Pose Estimation[J]. Machine Vision and Applications, 2010, 21(6): 889-903.

[20] FORTUN D, BOUTHEMY P, KERVRANN C. Optical Flow Modeling and Computation: A Survey[J]. Computer Vision and Image Understanding, 2015, 134: 1-21.

[21] 王霞, 張過(guò), 沈欣, 等. 顧及像面畸變的衛(wèi)星視頻穩(wěn)像[J]. 測(cè)繪學(xué)報(bào), 2016, 45(2): 194-198. DOI: 10.11947/j.AGCS.2016.20150238.

WANG Xia, ZHANG Guo, SHEN Xin, et al. Satellite Video Stabilization with Geometric Distortion[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(2): 194-198. DOI: 10.11947/j.AGCS.2016.20150238.

[22] 高廣珠, 李忠武, 余理富, 等. 歸一化互相關(guān)系數(shù)在圖像序列目標(biāo)檢測(cè)中的應(yīng)用[J]. 計(jì)算機(jī)工程與科學(xué), 2005, 27(3): 38-40.

GAO Guangzhu, LI Zhongwu, YU Lifu, et al. Application of the Normalized Cross Correlation Coefficient in Image Sequence Object Detection[J]. Computer Engineering & Science, 2005, 27(3): 38-40.

[23] 呂昊, 林君, 曾曉獻(xiàn). 改進(jìn)樸素貝葉斯分類(lèi)算法的研究與應(yīng)用[J]. 湖南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2012, 39(12): 56-61.

Lü Hao, LIN Jun, ZENG Xiaoxian. Research and Application of Improved Naive Bayesian Classification Algorithm[J]. Journal of Hunan University (Natural Sciences), 2012, 39(12): 56-61.

[24] ZHANG Kaihua, ZHANG Lei, YANG Minghsuan. Real-time Compressive Tracking[C]∥European Conference on Computer Vision. Berlin, Heidelberg: Springer, 2012: 864-877.

[25] 耿磊, 王學(xué)彬, 肖志濤, 等. 結(jié)合特征篩選與二次定位的快速壓縮跟蹤算法[J]. 自動(dòng)化學(xué)報(bào), 2016, 42(9): 1421-1431.

GENG Lei, WANG Xue-bin, XIAO Zhitao, et al. Fast Compressive Tracking Algorithm Combining Feature Selection with Secondary Localization[J]. Acta Automatica Sinica, 2016, 42(9): 1421-1431.

[26] HU Ming-kuei. Visual Pattern Recognition by Moment Invariants[J]. IRE Transactions on Information Theory, 1962, 8(2): 179-187.

[27] 黃敏, 馬亞瓊, 朱顥東, 等. 基于Hu修正不變矩的商標(biāo)識(shí)別[J]. 華中師范大學(xué)學(xué)報(bào)(自然科學(xué)版), 2014, 48(2): 182-185.

HUANG Min, MA Yaqiong, ZHU Haodong, et al. Trademark Recognition Based on Hu Modified Invariant Moment[J]. Journal of Huazhong Normal University (Natural Sciences), 2014, 48(2): 182-185.

[28] 閆鈞華, 陳少華, 艾淑芳, 等. 基于Kalman預(yù)測(cè)器的改進(jìn)的CAMShift目標(biāo)跟蹤[J]. 中國(guó)慣性技術(shù)學(xué)報(bào), 2014, 22(4): 536-542.

YAN Junhua, CHEN Shaohua, AI Shufang, et al. Target Tracking with Improved CAMShift Based on Kalman Predictor[J]. Journal of Chinese Inertial Technology, 2014, 22(4): 536-542.

Satellite Video Point-target Tracking in Combination with Motion Smoothness Constraint and Grayscale Feature

WU Jiaqi1,2,4,ZHANG Guo2,WANG Taoyang3,JIANG Yonghua3

1. School of Geomatics, Liaoning Technical University, Fuxin 123000, China； 2. State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China； 3. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China； 4. Zhuhai Orbita Control Engineering Co.,Ltd., Zhuhai, 519080, China

In view of the problem of satellite video point-target tracking, a method of Bayesian classification for tracking with the constraint of motion smoothness is proposed, which named Bayesian MoST. The idea of naive Bayesian classification without relying on any prior probability of target is introduced. Under the constraint of motion smoothness, the gray level similarity feature is used to describe the likelihood of the target. And then, the simplified conditional probability correction model of classifier is created according to the independence assumption Bayes theorem. Afterwards, the tracking target position can be determined by estimating the target posterior probability on the basis of the model. Meanwhile, the Kalman filter, an assistance and optimization method, is used to enhance the robustness of tracking processing. The theoretical method proposed are validated in a number of six experiments using SkySat and JL1H video, each has two segments. The experiment results show that the BMoST method proposed have good performance, the tracking precision is about 90% and tracking trajectory is smoothing. The method could satisfy the needs of the following advanced treatment in satellite video.

satellite video; point-target tracking; Bayesian classification; motion smoothness; SkySat;JL1H

National Key Research and Development Program of China (No. 2016YFB0500801); The National Natural Science Foundation of China (Nos. 91538106; 41501503; 41601490; 41501383); Hubei Provincial Natural Science Foundation of China (No. 2015CFB330); Open Research Fund of State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing(No. 15E02); Open Research Fund of State Key Laboratory of Geo-information Engineering(No. SKLGIE2015-Z-3-1); Fundamental Research Funds for the Central University (No. 2042016kf0163); Fund of Zhuhai Introducing Innovative Team (No. ZH0111-0405-160001-P-WC)

WU Jiaqi(1985—)，male，Ph.D. candidate，majors in satellite video data processing.

ZHANG Guo

TP391：P237

A

1001-1595(2017)09-1135-12

國(guó)家重點(diǎn)研發(fā)計(jì)劃(2016YFB0500801);國(guó)家自然科學(xué)基金(91538106;41501503;41601490;41501383);湖北省自然科學(xué)基金(2015CFB330);測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室資助項(xiàng)目(15E02)；地理信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金(SKLGIE2015-Z-3-1);中央高校基本科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金資助(2042016kf0163);珠海市引進(jìn)創(chuàng)新團(tuán)隊(duì)項(xiàng)目(ZH0111-0405-160001-P-WC)

(責(zé)任編輯：張艷玲)

2016-11-22

修回日期： 2017-07-24

吳佳奇(1985—)，男，博士生，研究方向?yàn)樾l(wèi)星視頻數(shù)據(jù)處理。

E-mail： jiaqiwu@126.com

張過(guò)

E-mail： guozhang@whu.edu.cn