王冬月，姚 敏，趙 敏

?

紅外圖像中水炮射流軌跡的提取

王冬月，姚 敏，趙 敏

（南京航空航天大學，江蘇 南京 211106）

夜間低照度背景下，為了實現(xiàn)水炮對海面可疑目標的精確驅離，需要對水炮發(fā)射的射流軌跡進行提取。通過紅外熱像儀返回的紅外圖像中，射流軌跡、空氣、海水、驅離目標等灰度信息互相干擾，因此在提取射流軌跡曲線前需要對圖像進行基于頻域分析的預處理濾波。對灰度圖像逐行掃描并標記高頻中心點，連接標記的相鄰點成獨立曲線，可以得到較為平滑的射流軌跡曲線與干擾曲線集合。對得到的曲線集合進行基于位置、方位角、軌跡長度、凹凸性、灰度等特征的篩選，確定滿足射流軌跡特征的曲線并分析軌跡落點。實驗結果表明，使用該圖像處理方法提取射流軌跡的實時性和準確性都較為理想。

紅外圖像；射流軌跡；頻域濾波；曲線提取；特征篩選

0 引言

紅外圖像的應用越來越廣，在夜晚低照度的情況下，通過熱像儀實現(xiàn)對目標的觀測是一種常用的方法，所得到的圖像是紅外圖像。本文研究的是利用計算機視覺技術實現(xiàn)可在夜晚執(zhí)行任務的海監(jiān)船水炮自動控制系統(tǒng)中紅外圖像處理的問題。

目前水炮的控制系統(tǒng)方案可分為兩種：開環(huán)控制、閉環(huán)控制。開環(huán)控制即在知道水炮與目標的相對位置時，通過先驗數(shù)據(jù)，計算水炮射流軌跡的參數(shù)，控制水炮打擊目標的功能，文獻[1-2]討論了通過計算水炮射流的方法定位落點的問題。然而水炮的射流軌跡與現(xiàn)場環(huán)境密切相關，實際環(huán)境中的風力、氣壓都對水炮射流有很大的影響，僅用模型計算會存在或大或小的誤差。針對這種情況有學者提出了閉環(huán)控制方案，文獻[3]即是在開環(huán)控制的基礎上結合計算機視覺，確定射流軌跡并計算射流軌跡與打擊目標的偏差，進一步調整水炮參數(shù)構成閉環(huán)控制系統(tǒng)，這種閉環(huán)控制的射流落點準確性顯然優(yōu)于開環(huán)控制。但是在夜晚低照度的情況下，得到的是紅外圖像，其處理方法和普通光的圖像有很大的不同。本文研究了在夜晚低照度的情況下，為了實現(xiàn)通過計算機視覺的方式控制防暴水炮準確驅離可疑目標，紅外圖像中水道及落點的提取問題。

由于海水經(jīng)過高壓水泵抽取并通過水炮以高壓方式噴出，因此射流和周圍的空氣之間存在微小的溫差，這種溫差可以被熱像儀捕捉到，并與圖像背景之間存在較低的灰度差，留下淡淡的痕跡。閉環(huán)控制問題的關鍵是如何快速提取昏暗背景中微弱水道軌跡的問題。

文獻[4]討論了基于Hough變換提取水道的方法，但該方法對于水道的圖像有很多限制因而影響實際使用效果。本文提出了一種針對弱對比度、不受射流軌跡形態(tài)限制的紅外圖像處理方法。用于夜間監(jiān)控的熱像儀返回的紅外圖像中射流軌跡的提取。該算法可以將肉眼都難以分辨的微弱軌跡，從紅外圖像中提取出來，算法的速度快，提取的準確性高。該算法對于紅外圖像中弱特征對象的提取也有很好的借鑒作用。

1 射流軌跡邊緣特征增強

因為溫差比較小，紅外圖像中射流軌跡灰度特征不明顯，與背景之間差別很小。又由于紅外圖像灰度值與氣溫直接相關，目標發(fā)出的熱量對射流軌跡灰度的影響也很大，因此不能用對灰度圖像進行定值二值化處理的方式得到軌跡。文獻[5]討論了紅外測溫成像的問題。但通過分析可以發(fā)現(xiàn)射流軌跡與背景之間的灰度值存在梯度變化，可以通過基于頻域分析的圖像處理方法增強射流軌跡的邊緣梯度特征，再進一步提取射流軌跡的中心曲線。

1.1 傅里葉變換

射流軌跡的灰度值與可疑目標的溫度、氣溫、水溫等密切相關，灰度變化范圍比較大，而射流軌跡與背景之間的灰度雖然差別很小，但它們之間梯度的變化有一定規(guī)律，比較而言，背景的變化總體上更為平滑一點。射流軌跡的圖像細節(jié)邊緣灰度變化劇烈的點梯度大，也就是頻率高；圖像背景平坦區(qū)灰度變化緩慢的點梯度小，也就是頻率低；提取軌跡可以將圖像的高頻部分凸出，將低頻部分減弱。為此提出對紅外圖像首先采用傅里葉變換進行處理，找出圖像頻率高或者頻率低的區(qū)域。

圖1(a)所示為無干擾情況下，通過熱像儀得到的存在射流軌跡的灰度圖，圖中射流軌跡與背景相比灰度值之差比較小，但仍存在一定梯度；圖1(b)為圖1(a)的頻譜圖，以圖形的中心為坐標原點，從圖像中心向外頻率增高。圖1整體比較平滑，主要的頻域成分是低頻，因此頻譜圖高頻部分面積較小，集中在中心區(qū)域。

圖1 無干擾灰度圖及頻譜圖

圖2(a)為存在高頻目標干擾的情況下通過熱像儀得到的灰度圖，圖2(b)為對應的頻譜圖。圖2相比圖1存在高亮的干擾，頻譜成分更復雜，因此頻譜圖中存在亮點的區(qū)域更大，向四周蔓延。

圖2 高頻干擾灰度圖及頻譜圖

圖1、圖2的頻譜成分主要集中在反映背景特點的低頻部分，而所關心的射流軌跡集中在高頻中，這為濾波器的設計提供了很好的處理條件。

1.2 濾波器

射流軌跡的特征增強過程是保留圖像的高頻部分，削弱圖像的低頻部分。根據(jù)這個要求，可以設計高通濾波器來實現(xiàn)這個目標。文獻[6]討論了抑制紅外背景的方法。

高通濾波器設計的目標是很好地保留射流軌跡的梯度特征，這在算法上可以設計高通濾波器與灰度圖像的頻域進行卷積計算，恢復出圖像的高頻成分，并剔除低頻成分。一維高通濾波器的頻譜圖如3所示，當頻譜頻率大于起始頻率時幅度為1，小于起始頻率時幅度為0。

圖3 一維高通濾波器頻譜圖

根據(jù)一維高通濾波器頻譜特征，設計適用于二維圖像的濾波器，以頻譜圖像中心作為坐標原點，高通濾波器的頻域(,)特性可以設計為：

式中：F為高通濾波器的起始頻率，表示為：

式中：(,)表示點(,)處的梯度，由于紅外圖像中射流軌跡與背景之間對比度較低，一般在3～8之間，多次試驗表明(,)為5比較合適，對應的頻率為0.02。

圖4為高通濾波器的頻譜圖，圖像邊界為邊框，與圖像本身無關。頻譜圖中的低頻區(qū)域為黑色，對應幅度為0；高頻部分為白色，對應幅度為1。在卷積過程中，圖像頻譜的低頻部分被剔除。使用該高頻濾波器對兩種不同背景下的射流軌跡灰度圖像進行處理，如圖5為圖1(a)通過高通濾波器處理后的圖像，如圖6為圖2(a)通過高通濾波器處理后的圖像，由于處理后的圖像整體對比度都降低了，通過二值化處理后發(fā)現(xiàn)在無高頻干擾的情況下如圖5(b)，通過高通濾波器得到的圖像可以很好地保留射流軌跡邊緣特征，而從圖6(b)中可以發(fā)現(xiàn)由于存在高頻干擾，弱特征的射流軌跡幾乎被湮沒。

式(4)給出的高通濾波器不足之處是，當存在高頻干擾的情況下射流軌跡的特征可能被湮沒，這是因為對一款設計好的高通濾波器有確定的起始頻率，適應性差。為了克服這個不足，考慮到紅外圖像背景變換可能帶來的影響，本文提出了一種改進型的“高斯型高通濾波器”，不僅對閾值的選取寬容度增加，能夠保留水道的輪廓，而且有很好地背景去除能力。

圖4 二維高通濾波器頻譜圖

圖5 高通濾波后灰度圖及二值圖

圖6 高通濾波后灰度圖及二值圖

高斯濾波器是一種線性平滑濾波器，適用于消除高斯噪聲。針對高通濾波器的頻譜特點設計出一維高斯型高通濾波器如圖7所示。

圖7 高斯型高通頻譜

根據(jù)一維模型設計適用于二維圖像的高斯型高通濾波器。以圖像中心為坐標原點，高斯型高通濾波器的頻域(,)表示為：

根據(jù)熱像儀圖像的特點，取高斯型高通濾波器水平向上的標準差為10，垂直方向上的標準差為3。圖8為高斯型高通濾波器的頻譜圖。

圖9、圖10為高斯型高通濾波器處理后的濾波圖以及對應的二值圖。圖9對比圖5，盡管出現(xiàn)了更多的干擾，但仍能保留完整的射流軌跡；圖10對比圖6可以發(fā)現(xiàn)只有通過高斯型高通濾波器處理后的圖像能保留射流軌跡特征。通過對比兩組圖，可以看到高斯型高通濾波器濾波后的圖像雖然會留下更多的干擾點，但是能夠很好地保留射流軌跡的梯度特征，針對高對比度圖1和低對比度圖2環(huán)境下的圖像，使用高斯型高通濾波器都能完整地保留射流軌跡的特征，寬容度好。因此，選擇高斯型高通濾波器濾波效果更佳。

圖8 高斯型高通濾波器頻譜圖

圖10 高斯型高通濾波后的灰度圖及二值圖

2 射流軌跡梯度提取法

文獻[4]給出的射流軌跡的提取方式是將經(jīng)過二值化留下的射流軌跡邊緣點進行直線擬合，或者直接進行邊緣檢測，但是由于射流軌跡具有一定的寬度，存在兩側邊緣，得到的直線與實際軌跡存在較大偏差。針對這類具有一定寬度的曲線，本文提出一種新的提取方法。

對灰度圖像進行逐行分析，找到該行灰度的極大值點，并判斷該點是否符合水道的高亮要求，若符合則標記該點。對水道，最佳情況是標記的水道的中心點為亮度極大值點，也就是要求水道高亮區(qū)域的亮度分布呈高斯分布形態(tài)，但是分析實際情況時出現(xiàn)干擾，我們截取圖11(a)中包含水道的一行進行分析，用白色直線選中的點(60,79)到點(60,98)，這20個點的灰度值分別為：(100, 101, 108, 109, 111, 111, 108, 109, 110, 111, 111, 110, 109, 107, 106, 106, 104, 102, 102, 102)，發(fā)現(xiàn)在水道的某一行存在兩個亮度極值點(60, 83)，(60, 88)，用黑色標記，在選取水道中心點的時候兩個極值點互相影響。

圖11 截取灰度圖及折線分布圖

若對圖像進行高斯型高通濾波器濾波，使得圖像的高亮部分灰度值呈高斯分布，同樣截取圖12(a)中的一行點(60,79)到點(60,98)，這20個點的灰度值分別為：(102, 103, 105, 107, 108, 109, 109, 109, 109, 110, 109, 109, 108, 108, 107, 106, 104, 103, 102, 102)這20個點灰度值呈高斯分布，只存在一個極值點為(60, 88)，該點位于水道軌跡的正中心，提取較準確。

圖12 截取灰度圖及折線分布圖

對每行提取的極大值點不能直接認為是高亮點，需要給定閾值條件，首先設定極大值點的坐標為(,high)，灰度值為high，再尋找該極大值點之前的極小值點坐標為(,low)，灰度值為low，得到關于極大值點的一個梯度參數(shù)定義為：

值越大，其邊緣越鋒利，特征越明顯，同時還需要設定判定該參數(shù)的閾值范圍high和low，若極大值點的大于high，則該點滿足要求，標記該點；若極大值的小于low，則認為該點不滿足要求，不標記該點；若極值點的處在high和low之間，則需要考慮該點的上一行或下一行周圍是否有點被標記，若有點被標記則也標記該點，否則不標記。設定合適的high和low對提取射流軌跡的影響很大，定義射流軌跡的寬度為，高斯濾波的程度參數(shù)為，梯度范圍[lowhigh]，則可設置high和low分別為：

如果選取為10，為2.5，[low,high]為[8，3]時，得到high為0.278，low為0.104。

高斯型高通濾波器的另外一個優(yōu)點是能夠很好地減少灰度圖像中的噪點，大幅度減少標記點的數(shù)量。如圖13、圖14所示，經(jīng)過高斯型高通濾波器濾波后的圖像中高頻噪點明顯減少。

圖13 濾波后的灰度圖及二值圖

圖14 濾波后的灰度圖及二值圖

通過上述方法得到一系列標記的點后，將相鄰的點進行相連，得到曲線集合，此時的曲線有可能因為提取點的缺失而分段，需要將同一條線上的不同段擬合起來。如圖15所示為兩段曲線，為絕對距離，/為相對距離，為絕對偏差，為絕對偏差角度。當、/、、均滿足一定條件時，可以認為這兩條曲線屬于同一條直線，連接它們?yōu)橐粭l線，即要求：

式中：Dmax為最大絕對距離，設為10pixel；DLmax為最大相對距離，設為0.5；Smax為最大絕對偏差，設為5pixel；Amax為最大偏差角，設為0.5rad。

經(jīng)過處理后得到的結果如圖16和圖17所示。圖16射流曲線已經(jīng)清晰地提取出來了，但是圖像中還有一些非射流曲線存在，這種情況在圖17中尤為明顯，這是由于背景的干擾所致，但是射流曲線和非射流曲線有明顯的差異，因此可以通過曲線的特征排除非射流曲線，并確定射流軌跡。

圖16 無干擾提取曲線

圖17 強干擾提取曲線

3 射流軌跡特征分析

文獻[7-8]針對射流軌跡的成像特征進行了討論，通過對射流的紅外圖像分析可知，在紅外圖像中射流軌跡的特征主要有以下幾個：

1）位置：使用熱像儀跟蹤目標時，始終保持目標在熱像儀的正中間，因此射流軌跡的落點靠近圖像正中心；熱像儀返回的圖像邊緣由于灰度突變，在提取曲線時產(chǎn)生干擾曲線。結合以上兩點，首先剔除圖像邊緣處的曲線。

2）方位角：根據(jù)水炮與目標的相對位置坐標，我們可以通過計算方法模擬出一條理想水道，在水道的理想射流軌跡模型中，如圖18所示，可以將射流軌跡的與水平面的夾角定義為方位角。

圖18 理想射流軌跡模型

實際情況下的現(xiàn)場環(huán)境復雜，受到風速、空氣等影響，射流軌跡與理想模型有較大差別，因此不能僅僅根據(jù)方位角精確提取軌跡。根據(jù)理想方位角設置角度范圍[l,h]，需要注意的是若水炮位于攝像頭的右側，則方位角在[0, 90°]之間，滿足：

若水炮位于攝像頭的左側，則方位角在[90°,180°]之間，滿足：

為給定的角度閾值范圍，通常設為20°，轉換為弧度單位。

3）軌跡長度：射流軌跡的長度與方位角、圖像大小等密切相關。理想情況下，射流軌跡落點與圖像正中心的目標重合，理想方位角為，圖像寬度為，高度為，單位為pixel。如圖15所示，可以近似計算出射流軌跡的長度為：

考慮實際處理中邊緣的截取、落點水花誤差、方位角誤差等因素，選取長度范圍在[0.7×,1.2×]之間。

4）凹凸性：實際的射流軌跡不是一條直線，如圖19所示呈拋物線型。根據(jù)射流軌跡的凸性，認為越靠近落點的軌跡斜率越大。對于一條射流軌跡曲線，height方向上的坐標越大越靠近落點，斜率越大。

圖19 射流軌跡示范圖

5）灰度：通過紅外熱像儀提取得到的圖像灰度值與目標的溫度直接相關，一般情況下我們通過在水炮中混入冷凝水的方式，提高射流軌跡的溫度，因此在圖像中射流軌跡是高亮部分，如果通過其他方式降低射流軌跡的溫度，導致射流軌跡在圖像中是暗的部分，那么在提取射流軌跡時，逐行計算中心點時，選取極小值點。根據(jù)射流軌跡的灰度值，具體情況選擇不同的處理方式。

根據(jù)以上特征提取射流軌跡效果如圖20、圖21所示，可以提取出準確的水道射流軌跡。

圖20 無干擾射流軌跡

圖21 強干擾射流軌跡

4 實驗結果

硬件處理器型號Intel(R) Core(TM) i5-3470 CPU，使用熱像儀型號FLIR TAU2 336，分辨率為336×256。由于低對比度環(huán)境中的射流軌跡更不易于提取，使用該熱像儀采集600幀包含目標及射流軌跡的低對比度灰度圖像進行實驗，如圖22所示。經(jīng)測試用該算法得到軌跡及落點的處理速度約為60ms/幀，在600幀圖像中有487幀圖像檢測成功，準確率約為81%。其中影響準確率的主要原因是射流落點處引起的水花面積過大形成一塊亮度高于背景的區(qū)域，其邊緣曲線干擾射流軌跡。針對該問題，擬采用如下修正方法，即射流軌跡的位置特征，射流軌跡不僅位于靠近中心的地方，同時由于射流從高處向低處打擊到位于中心的目標，那么射流軌跡的主要部分應位于圖像的上半部分。期望通過該方法可以進一步提高準確率。

圖22 低對比度灰度圖像

5 結論

本文針對紅外背景下，弱對比度特征的射流軌跡提取問題，提出一種不受射流軌跡形態(tài)限制的曲線提取方法。根據(jù)射流軌跡邊緣的高頻特征，提出基于傅里葉變換的頻譜濾波方法，減少背景低頻特征，增強射流軌跡高頻特征。對圖像進行逐行掃描，分析灰度極值點，并標記符合特征的點，連接標記點成曲線。在得到的曲線集合中存在所需射流軌跡，根據(jù)射流軌跡的位置、方位角、長度、凹凸性、灰度等特征，找出射流軌跡曲線。經(jīng)測試使用該算法得到軌跡及落點的處理速度約為60ms/幀，可以很好地滿足控制系統(tǒng)的實時性要求。準確率約為81%，并可進一步提高。

[1] 琚學振. 消防炮射流關鍵技術研究[D]. 哈爾濱: 哈爾濱工業(yè)大學, 2012.

JU Xuezhen. Research into key technology of fire cannon jet flow[D]. Harbin: Harbin Institute of Technology, 2012.

[2] 劉正勤. 自動消防水炮性能參數(shù)對射流軌跡的影響[J]. 消防科學與技術, 2015(11): 1471-1474.

LIU Zhengqin. The influence of automatic fire water cannon performance parameters on the jet trajectory [J]., 2015(11): 1471-1474.

[3] 蘇浩, 趙敏. 消防水炮射流軌跡圖像分布逐級篩選方法[J]. 機械制造與自動化, 2015(1): 217-219.

SU Hao, ZHAO Min. The screening solution of water gun jet trajectory image[J]., 2015(1): 217-219..

[4] 房廣江. 熱像儀圖像的海上目標跟蹤、水道識別研究[D]. 南京: 南京航空航天大學, 2015.

FANG Guangjiang. Research on target tracking and jet recognize of infrared image[D]. Nanjing:Nanjing university of aeronautics and astronautics , 2015.

[5] 張波, 呂事桂. 基于雙響應波段工作的紅外熱像儀測溫原理與誤差分析[J]. 宇航計測技術, 2010, 30(6): 11-15.

ZHANG Bo, LV Shigui. Principle and error analysis of infrared thermal imager based on dual response band work[J]., 2010, 30(6): 11-15.

[6] 彭嘉雄, 周文琳. 紅外背景抑制與小目標分割檢測[J]. 電子學報, 1999, 27(12): 47-51.

PENG Jiaxiong, ZHOU Wenlin. Background suppression and small target segmentation detection of infrared image[J]., 1999, 27(12): 47-51.

[7] LONG M, HU G L, LI Z. Analysis of water jet trajectory of auto-targeting fire sprinkler system in interior large space[J]., 2012, 490-495: 171-175.

[8] Trettel B, Ezekoye O A. Theoretical range and trajectory of a water jet[C]// ASME 2015 International Mechanical Engineering Congress and Exposition. 2015:V07AT09A007.

Extracting the Trajectory of Jet Based on Infrared Imagery

WANG Dongyue，YAO Min，ZHAO Min

（Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China）

In order to achieve high precision when expelling suspicious target on the sea at low-light night, it’s needed to extract the trajectory of jet launched from a water gun. In an infrared image which is obtained from the thermal infrared imager, the gray level of jet trajectory, air and sea water will interfere with each other, which results in an image pre-treated filter based on frequency domain before extracting the jet trajectory needed. The gray scale image is scanned line by line and high frequency center points are marked, then smooth curve set including jet trajectory curve and interference is got by linking a marked point to its neighbors. The curves are filtered based on features like position, azimuth, length of trajectory, convexity and concave, and gray level, the curve is selected which confirms with the features of jet trajectory, and the drop point of the selected curve is analyzed. The experiments show comparatively ideal real time and accuracy when the jet trajectory is extracted by using the above methods.

infrared image，jet trajectory，frequency filter，curve detection，feature-based filtering

TP391

A

1001-8891(2017)12-1120-07

2016-06-12；

2016-09-06.

王冬月，（1990-），女，碩士，主要研究方向：圖像處理；E-mail：15189800901@163.com。