黃 為，汪 毅，張 龍，張煜昕，楊海民

（中國衛(wèi)星海上測控部 技術部，江蘇 江陰 214431）

引言

光電經緯儀利用光學成像原理采集高速運動目標的圖像信息[1-3]，并對傳動機架的角度旋轉情況實時測量，從而獲得目標的運動參數(shù)。隨著傳感器技術、數(shù)字圖像處理技術的飛速發(fā)展，高分辨率、高幀頻圖像采集技術在光電跟蹤領域日趨成熟，高幀頻、高分辨率的圖像序列帶來了更大存儲容量的挑戰(zhàn)[4-5]，特別是在艦載、機載等模式下受傳輸帶寬限制，很難實時進行經緯儀跟蹤目標圖像序列的地基實時傳輸。

不同于普通的視頻圖像序列，經緯儀在穩(wěn)定跟蹤過程中光學圖像變化并不顯著，只在初始搜索狀態(tài)或目標速度劇烈變化時圖像有較大的變化，傳統(tǒng)的關鍵幀提取算法[6-8]會選取大量的非穩(wěn)定跟蹤圖像幀，而將穩(wěn)定跟蹤測量信息遺棄。為了便于經緯儀圖像序列進行快速傳輸與監(jiān)測，同時保留一定數(shù)量的目標穩(wěn)定跟蹤測量圖像幀，需要構建一種適宜于經緯儀圖像序列的關鍵幀提取算法。因此，在艦載、機載經緯儀跟蹤目標情況下，實時通信時只傳輸關鍵圖像幀，可在一定程度上減少傳輸帶寬的影響，使地基工作人員能實時了解跟蹤目標狀態(tài)，有效進行指揮決策。

本文分析經緯儀圖像序列的特點，構建了一種基于局部幀間差分極大值的關鍵幀提取方法。該方法基于局部極大值來選取經緯儀圖像序列關鍵幀，獲取的關鍵幀在整個跟蹤測量圖像序列中分布更為均勻，能更好地表現(xiàn)目標的跟蹤測量信息，具有簡單、高效的優(yōu)點。

1 相關工作

視頻/圖像序列的內容比文本豐富很多，表現(xiàn)力強、信息量大。相應的視頻/圖像序列中存在大量的冗余信息，我們希望能夠從視頻/圖像序列中提取出一些具有顯著特征的幀，這些幀能夠大致表征視頻/圖像序列的語義，這個過程稱為視頻/圖像序列關鍵幀提取。關鍵幀是一種高效、精簡的視頻/圖像序列展現(xiàn)方式，用關鍵幀表征原始圖像序列可以極大地減少圖像序列檢索數(shù)據(jù)量，快速進行檢索和瀏覽，同時降低圖像序列存儲的負擔。關鍵幀提取作為一種可行的解決方案，越來越受到人們的關注。

一般來說，關鍵幀提取方法可以分為以下4種：

1）基于鏡頭邊界的方法

基于鏡頭邊界的關鍵幀提取算法是視頻檢索領域中最先發(fā)展起來的，也是目前最為成熟的方法[9-10]。該方法的優(yōu)點是實現(xiàn)簡單，計算量也很小，但僅適用于經過編輯處理，具有鏡頭切換的視頻源，如新聞等。

2）基于內容分析的方法

基于內容分析的關鍵幀提取方法，是將圖像序列中特征信息有明顯變化的幀作為關鍵幀[11-13]。該方法通常先選取圖像的一類特征，如灰度、紋理來表示其內容，然后計算相鄰幀的特征差異，通過比較幀間差異與閾值的大小來選取關鍵幀。

3）基于運動分析的方法

該方法主要考慮視頻中目標的運動特性，是一種基于光流分析的方法[14-15]。這種方法提取到的關鍵幀能有效地表達視頻運動的特征，但是該方法需要依賴于物體運動的局部特征，因此算法本身的魯棒性較差。

4）基于視頻幀聚類的方法

這種方法考慮了鏡頭內和鏡頭間的相關性，在提取關鍵幀過程中通過聚類的方法來表達視頻的主題[16-17]，通過聚類分析將相似的圖像幀序列劃分到同一類中，再根據(jù)特定準則從每個類中選取關鍵幀。在獲取到聚類中心后，可以選擇離聚類中心最近的圖像幀作為關鍵幀。

2 本文算法

經緯儀光學圖像序列具有高幀頻和高分辨率的特性，但不同于通常的視頻/圖像序列，經緯儀圖像序列往往是長時間跟蹤同一飛行目標得到的一段完整鏡頭，鏡頭單一，大多數(shù)情況下不需要再做鏡頭分割。因此，基于鏡頭分割的關鍵幀提取方法并不適用于經緯儀光學圖像序列。經緯儀光學圖像目標運動特征的變化不顯著，使用基于運動分析的方法計算光流分量的精度不高。此外，基于運動分析的方法提取關鍵幀計算復雜度較高?；诰垲惖年P鍵幀提取算法通過聚類分析可以獲得聚類結果。在各個聚類中可以根據(jù)不同的內容采用不同的準則提取關鍵幀，但由于經緯儀圖像序列長時間跟蹤同一飛行目標，幀之間不存在明顯的聚類中心，聚類算法的閾值設置較為困難。

通過分析不同的圖像序列關鍵幀提取技術，本文構建了一種基于局部幀間差分極大值的關鍵幀提取算法，將2幀圖像進行差分，得到圖像的幀間差分像素強度可以用來衡量兩幀圖像的變化大小。因此，基于幀間差分像素強度的關鍵幀提取方法，是當視頻中某一幀與前一幀畫面內容產生了大的變化，就認為它是關鍵幀，并將其提取出來。

經典的幀間差分關鍵幀提取算法計算過程如下。

設S={f1,f2,…fn}是圖像序列中一個鏡頭，共n幀，取任意2個圖像幀fi、fj為候選關鍵幀。圖像幀間距離計算公式為

在得到幀間距離D后，可將D除以圖像尺寸進行規(guī)范化。將上述幀間距離D與設定閾值T進行比較，若D ＞T，則將fj作為關鍵幀。

具體實現(xiàn)過程中直接設定幀間差分閾值T較為困難，本文使用了幀間差分強度局部極大值作為關鍵幀提取標準。使用局部極大值方法時選擇局部鄰域的大小為1，即檢查每個幀間差分值與其左右鄰域的數(shù)值大小，若大于其左右鄰域的數(shù)值，則為局部極大值，將該幀間差分值對應的圖像幀選取為關鍵幀?；诰植繕O大值的方法可使關鍵幀提取結果在圖像序列中分布更為分散，提取結果豐富度表現(xiàn)更好一些。

在使用上述幀間差分方法時，對圖像序列的幀間差分值本文使用了基于卷積核的平滑。使用平滑后的幀間差分強度作為替代，可有效地移除隨機噪聲，以避免將相似圖像序列下的若干幀均同時提取為關鍵幀，我們使用漢寧窗（hanning）作為卷積核函數(shù)。本文算法整體流程如圖1所示。

圖1 本文算法流程Fig.1 Flow chart of proposed algorithm

作為對比方法，我們同時構建了一種使用幀間差分強度排序的方法。該方法對所有幀按照幀間差分強度進行排序，選擇幀間差分強度最高的若干張圖片作為圖像序列的關鍵幀。

3 實驗

3.1 數(shù)據(jù)集

實驗中使用的數(shù)據(jù)集為“紅外序列圖像中弱小飛機目標檢測跟蹤數(shù)據(jù)集”[18]。該數(shù)據(jù)集使用的傳感器為制冷型中波紅外相機，采集對象為空中固定翼無人機(燃油動力)目標，每幅紅外圖像的分辨率均為256×256像素，8 bit位深。本文實驗中選取了2段空天背景下無人機目標的圖像序列,分別記為Dataset-A、Dataset-B。其中Dataset-A中無人機一直處于穩(wěn)定跟蹤狀態(tài)，圖像序列中無人機大致位于圖像中心位置附近，且背景較為簡單，表現(xiàn)為只有飛行姿態(tài)和2架飛機相對位置的變化；Dataset-B中無人機相對于經緯儀鏡頭飛行速度較大，無人機在圖像中的位置變化較大，且背景有大量云層，較為復雜，在圖像系列的尾部，無人機不再可見。

圖2給出從2個不同圖像序列中選取首尾2幀圖像的樣本示例。其中圖2(a)為Dataset-A中的圖像幀樣本；圖2(b)為Dataset-B的圖像幀樣本。

圖2 經緯儀圖像序列示例Fig.2 Examples of theodolite image sequence

3.2 實驗結果

為了驗證本文算法的有效性，分別使用了幀間差分強度局部極大值和幀間差分強度排序2種方法，從上述2個經緯儀圖像序列中提取關鍵幀，設置幀間差分強度排序方法，提取關鍵幀數(shù)目為圖像序列總幀數(shù)的1/50，幀間差分強度局部極大值的漢寧窗口寬度設置為51。

基于Dataset-A圖像序列得到的幀間差分曲線及關鍵幀如圖3所示。其中橫坐標為圖像序列幀序號；縱坐標為幀間差分值，兩者數(shù)值均無單位。圖3中紅色圓圈代表提取的關鍵幀，其中3(a)為基于強度排序提取的關鍵幀；圖3(b)為基于局部極大值提取的關鍵幀。從圖3可以看出，本文基于局部極大值算法提取到的關鍵幀在整個圖像序列中分布更為均勻，基于幀間差分強度排序的方法提取的關鍵幀分布在少數(shù)的幾個圖像片段中。

圖3 基于Dataset-A的幀間差分曲線及關鍵幀F(xiàn)ig.3 Frame difference curve and key frames based on Dataset-A

Dataset-B的幀間差分曲線及對應的關鍵幀如圖4所示。圖4（a）和圖4（b）中橫坐標為圖像序列幀序號，縱坐標為幀間差分值，兩者數(shù)值均無單位。從圖4中可以看出，分析得到的結果與圖3類似，證明了本文算法提取到的關鍵幀較為均勻地分布于整個圖像序列中。

圖4 基于Dataset-B的幀間差分曲線及關鍵幀F(xiàn)ig.4 Frame difference curve and key frames based on Dataset-B

基于Dataset-B，基于強度排序提取關鍵幀和基于局部極大值提取關鍵幀2種方法提取的關鍵幀數(shù)目分別為16和13。我們均勻采樣，選取了其中5幀圖像，并將運動目標用白色方框進行標注，如圖5所示。

圖5 使用Dataset-B的關鍵幀提取結果Fig.5 Key frame extraction results by using Dataset-B

從圖5(a)可以看出，基于幀間差分強度排序方法提取的關鍵幀圖像集中在圖像序列尾部大約100幀中，在Dataset-B圖像序列尾部經緯儀跟蹤目標丟失，背景中云層差異較大，大量的目標跟蹤測量幀丟棄。從圖5（b）可以看出，由本文提出的基于局部極大值算法得到的結果在整個圖像序列中分布較為均勻，在圖5（b）的前4幀中均包含跟蹤目標信息。從圖5(a)與圖5(b)的對比中可以看到，本文算法提取的關鍵幀圖像內容更具有代表性，關鍵幀中目標跟蹤測量信息更為完整，包含的目標信息更豐富，更好地保存了經緯儀目標跟蹤的測量信息。

4 結論

本文分析了經緯儀圖像序列的特點，提出了一種基于幀間差分強度局部極大值的關鍵幀提取算法，該算法具有簡單、高效的優(yōu)點。實驗結果表明，本文算法提取的經緯儀圖像關鍵幀在整個圖像序列中的分布較為均勻，運動目標的跟蹤測量信息保存較為豐富，能較好地保留原圖像序列中的運動目標信息。