摘要:為準(zhǔn)確識別紅外圖像中的弱小點目標(biāo),以遞歸標(biāo)記算法為核心提出了紅外圖像弱小點目標(biāo)自動識別方法。采用平滑濾波器和區(qū)域生長分割法,完成待識別紅外圖像的預(yù)處理;應(yīng)用基于遞歸的二值圖像標(biāo)記模式,掃描所有的紅外圖像像素點并定義相應(yīng)的標(biāo)記值,形成多個圖像連通域;針對每個連通域分別提取幾何特征和形心特征,將其應(yīng)用到稀疏表示分類器和卷積神經(jīng)網(wǎng)絡(luò)分類器中,自動生成弱小點目標(biāo)識別結(jié)果。實驗結(jié)果顯示:應(yīng)用所提方法識別海面紅外圖像、云層紅外圖像和純凈天空紅外圖像的mAP值分別為0.95、0.96與0.91,表明其具有較好的紅外圖像弱小點目標(biāo)自動識別效果。
關(guān)鍵詞:遞歸方法;像素標(biāo)記;紅外圖像;弱小點;目標(biāo)識別;形心特征
中圖分類號:TN911.73文獻(xiàn)標(biāo)識碼:A文章編號:1009-3583(2024)-0085-05
Automatic Recognition of Weak Point Targets in Infrared Images Based on Recursive Tagging
PAN Wen1a,ZHOU Bo2,CAO Zhi-hao1b
(1.a.Information and Finance Department;b.Education and Management Department,XuanchengVocationalamp;TechnicalCollege,Xuancheng 242000,China;2.Computer Information Department,Hefei University of Technology,Hefei 230000,China)
Abstract:To accurately identify weak point targets in infrared images,an automatic recognition method of weak point targets in infrared images is proposed based on recursive marking algorithm.Smoothing filter and region growing segmentation method are used to com-plete the preprocessing of the infrared image to be recognized.The binary image marking mode based on recursion is applied to scan all infrared image pixels and define corresponding marking values to form multiple image connected regions.Geometric features and cen-troid features are extracted for each connected domain,and applied to sparse representation classifier and convolutional neural network classifier to automatically generate weak point target recognition results.The experimental results show that the mAP values of sea sur-face infrared image,cloud layer infrared image and pure sky infrared image are 0.95,0.96 and 0.91 respectively,which shows that the proposed method has a good automatic recognition effect for weak point targets in infrared image.
keywords:recursivemethod;pixelmarker;infraredimage;weakpoints;targetrecognition;centroid characteristics
紅外圖像目標(biāo)識別在夜間導(dǎo)航、國防建設(shè)等夜間觀測領(lǐng)域發(fā)揮了不可替代的作用,但紅外圖像中的背景往往較為復(fù)雜,加之弱小點目標(biāo)幾何特征和形心特征不明顯,造成弱小點目標(biāo)識別效果較差。因此如何進(jìn)一步發(fā)展紅外圖像弱小點目標(biāo)自動識別,備受專業(yè)人員的關(guān)注。
文獻(xiàn)[1]使用特征級融合、決策級融合和混合級融合三個層次的融合獲得最佳編碼方法,通過融合輸出實現(xiàn)了紅外圖像的目標(biāo)識別。文獻(xiàn)[2]結(jié)合傳感器和CT計算空間限制程序的外部方位參數(shù),以此實現(xiàn)目標(biāo)姿態(tài)估計。文獻(xiàn)[3]基于紅外圖像提取目標(biāo)幾何特征,并基于此定義自動識別約束條件,在完成原始圖像的濾波處理后,通過光譜聚類算法結(jié)合約束條件進(jìn)行紅外圖像目標(biāo)識別,但是,該方法識別準(zhǔn)確率較低。文獻(xiàn)[4]將稀疏表示分類技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合形成一種一體化分類器;第一階段采用稀疏表示分類器識別紅外圖像中的弱小目標(biāo),再通要滿足以下條件:過卷積神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行第二階段的分類驗證,(3)輸出目標(biāo)類別決策,但是,該方法可靠性較差。文獻(xiàn)[5]依托一維全卷積結(jié)構(gòu)設(shè)計了一種新型李生神經(jīng)網(wǎng)絡(luò),將原始紅外圖像序列輸入網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行特征提取和知識遷移,得到弱小點目標(biāo)的自動識別結(jié)果,但該方法識別結(jié)果虛警率較高。
鑒于上述文獻(xiàn)方法均無法滿足紅外圖像弱小點目標(biāo)識別要求,本文從像素掃描環(huán)節(jié)入手,應(yīng)用遞歸標(biāo)記算法檢測紅外圖像中的每個像素,完成連通域標(biāo)記,再針對連通域進(jìn)行分析,得出弱小點目標(biāo)識別結(jié)果。
1紅外圖像弱小點目標(biāo)識別
1.1紅外圖像預(yù)處理
根據(jù)待檢測紅外圖像的像素組成結(jié)構(gòu),建立M×N的陣列,定義灰度級為256,采用圖1所示的濾波器進(jìn)行平滑處理,得到噪聲和雜波消除后的紅外圖像[6]。平滑處理后的圖像可表示為:
(1)
公式中,(x,)表示圖像像素點坐標(biāo),f表示原始紅外圖像,h表示平滑處理后的紅外圖像,M表示紅外圖像的行像素數(shù)量,N表示紅外圖像的列像素數(shù)量,i、表示像素點坐標(biāo)增量。
完成紅外圖像平滑濾波處理后,考慮到圖像目標(biāo)區(qū)域與背景區(qū)域的亮度存在一定差異,文中以增強(qiáng)目標(biāo)區(qū)域為目標(biāo),對紅外圖像進(jìn)行指數(shù)變換,具體的變換公式為:
公式中,a、b、c表示調(diào)整參數(shù)。紅外圖像增強(qiáng)處理后,有效提升了背景區(qū)域與目標(biāo)區(qū)域的對比度。再運用區(qū)域生長方法進(jìn)行紅外圖像分割,首先將原始圖像描述為多個子區(qū)域,提取每個區(qū)域中的最大灰度值像素,設(shè)置其為種子點[7]。將種子點看作起始生長點,進(jìn)行區(qū)域生長分割,則連通區(qū)域中灰度值需
公式中,d表示生長點,d0表示起始生長點也是種子點,d表示臨近生長點,表示灰度值,T1、T2表示判斷閾值。
其中:
公式中,表示灰度值,()表示灰度值為的像素點占比,Q表示灰度值累積概率。
公式(4)(5)的應(yīng)用,限制了區(qū)域的過度擴(kuò)張,保證區(qū)域生長方法應(yīng)用后,紅外圖像得到合理分割。
1.2基于遞歸標(biāo)記的連通域像素檢測
對于預(yù)處理分割后的紅外圖像,獲取數(shù)個目標(biāo)區(qū)域,每個區(qū)域?qū)?yīng)著一個目標(biāo)點,為了判斷該區(qū)域是否屬于弱小點目標(biāo),文中采用遞歸標(biāo)記處理方式,對紅外圖像的所有像素進(jìn)行掃描和標(biāo)記,將相同分量的像素點標(biāo)注為相同的標(biāo)號,并將這些連續(xù)像素點結(jié)合起來,形成連通區(qū)域[8]。文中基于遞歸的二值圖像標(biāo)記形式,針對紅外圖像進(jìn)行讀、寫操作,實現(xiàn)連通域標(biāo)記。在遞歸標(biāo)記過程中,應(yīng)用了函數(shù)的遞歸調(diào)用性能,定義父標(biāo)號用來判斷當(dāng)前掃描點是否重復(fù)操作。其中,最小父標(biāo)號推演過程如圖2所示。
根據(jù)圖2可知,在整個紅外圖像中推算出最小父標(biāo)號后,分析其與當(dāng)前標(biāo)號是否連通,若連通則稱其為根標(biāo)號?;谶f歸標(biāo)記的連通域像素檢測實現(xiàn),主要包括三個步驟。
步驟1:針對預(yù)處理后的紅外圖像進(jìn)行標(biāo)記和填充。定義最大標(biāo)號值、中間標(biāo)號圖像用來描述標(biāo)號的動態(tài)指針數(shù)組,針對輸入的待檢測紅外圖像進(jìn)行掃描,面向未標(biāo)記的像素進(jìn)行直接檢測賦予對應(yīng)的標(biāo)號值[9]。將有效標(biāo)號中的較小值填寫入紅外圖像的對應(yīng)區(qū)域,通過遞歸推演程序進(jìn)行像素標(biāo)號的更新,直到圖像掃描結(jié)束,即可完成圖像像素的整體標(biāo)記。
步驟2:針對動態(tài)指針數(shù)組進(jìn)行分析,結(jié)合連通體特征計算不同標(biāo)號對應(yīng)的根標(biāo)號。在根標(biāo)號分析之前,需要先確定根標(biāo)號數(shù)目、根標(biāo)號記錄數(shù)組。按照指針遍歷的方式,分析動態(tài)指針數(shù)組內(nèi)包含的所有標(biāo)號值,再通過遞歸推演程序,求解并更新根標(biāo)號,基于此確定紅外圖像內(nèi)存在的連通體數(shù)量,并定義其對應(yīng)的根標(biāo)號,得到中間標(biāo)號圖像。
步驟3:按照從上到下的順序掃描整個中間標(biāo)號圖像,當(dāng)標(biāo)號值小于背景值后,需要重寫當(dāng)前標(biāo)號,當(dāng)所有圖像標(biāo)號掃描完畢后,形成最終的目標(biāo)標(biāo)記圖像,檢測出紅外圖像內(nèi)包含的連通域像素。
1.3提取紅外圖像連通域特征
針對紅外圖像連通域像素檢測結(jié)果,本文采用遞歸分析連通域形心特征與幾何特征,并以此作為弱小點目標(biāo)自動識別的基礎(chǔ)。先統(tǒng)計紅外圖像包含的連通域數(shù)量,統(tǒng)計公式為:
(7)
公式中,n表示紅外圖像內(nèi)連通域數(shù)量,D表示最大標(biāo)記數(shù),表示等價對,1表示重復(fù)等價對,E、表示等價標(biāo)記鏈表中等價對與重復(fù)等價對的數(shù)量。
每一個連通域采用樹狀搜索方法對每個標(biāo)記進(jìn)行遞歸迭代分析,建立等價對鏈表。若兩個元素均在鏈表內(nèi),需將其定義為重復(fù)等價對,將其從表內(nèi)剔除,直到所有標(biāo)記值都在等價對表之外。匯總所有連續(xù)標(biāo)記值,將其統(tǒng)一輸入至一個數(shù)據(jù)結(jié)構(gòu)內(nèi),確定該連通域的中心點,再基于此計算出區(qū)域面積、周長等幾何特征參數(shù)。
連通域標(biāo)記后的紅外圖像運用像元加權(quán)平均計算模式,以部分像元為基礎(chǔ)建立第二級圖像,再按照同樣的計算方法,基于第二級圖像生成第三級圖像,按照同樣方式生成紅外圖像序列。為了便于提取紅外圖像連通域的形心特征[10],按照隔行隔列的原則,搬移部分像元構(gòu)建新的圖像,實現(xiàn)圖像分層處理。結(jié)合形心公式與遞歸標(biāo)記圖像,可得出形心特征:
公式中,表表示遞歸標(biāo)記后的紅外圖像像素坐標(biāo),Y表示標(biāo)記圖像。
通過上述處理,得到紅外圖像連通域的幾何特征和形心特征,在此基礎(chǔ)上進(jìn)行弱小點目標(biāo)自動識別。
1.4建立弱小點目標(biāo)自動識別方案
以連通域特征為基礎(chǔ),為了自動識別出紅外圖像包含的弱小點目標(biāo),本文定義了兩個基礎(chǔ)分類器:稀疏表示分類器[11]和卷積神經(jīng)網(wǎng)絡(luò)分類器[12,13],其中,稀疏表示分類器是第一階段識別的主要工具,主要負(fù)責(zé)初步篩選圖像連通域,針對圖像樣本的特征進(jìn)一步描述,分析描述求解結(jié)果的規(guī)律性,判斷連通域是否為弱小點目標(biāo)。在實際識別過程中,先定義類別數(shù)量,并定義不同類別連通域的重構(gòu)誤差概率:
(9)
公式中,I表示目標(biāo)類別,Y()表示紅外圖像內(nèi)選定目標(biāo)屬于I類的概率,K表示目標(biāo)類別數(shù)量,r表示重構(gòu)誤差。
在紅外目標(biāo)自動識別過程中,需要預(yù)先定義一個合理的判斷閾值,分析稀疏表示分類器篩選結(jié)果的合理性,當(dāng)重構(gòu)誤差概率計算結(jié)果高于判斷閾值,可確定該識別結(jié)果準(zhǔn)確率較高,反之則表明連通域?qū)儆谌跣↑c目標(biāo)的可能性極小,后續(xù)識別過程中可以直接去除該連通域。應(yīng)用稀疏表示分類器進(jìn)行初步分類后,可完成紅外目標(biāo)的初步識別,但該識別結(jié)果的準(zhǔn)確率較低。因此,本文又應(yīng)用圖3所示的卷積神經(jīng)網(wǎng)絡(luò),構(gòu)建另一個分類器,進(jìn)行第二輪識別分析。
將上文的連通域特征提取結(jié)果輸入圖3所示的卷積神經(jīng)網(wǎng)絡(luò)模型中,進(jìn)行自動訓(xùn)練和學(xué)習(xí),得出紅外目標(biāo)自動識別結(jié)果。依托于線性加權(quán)融合理念,將兩個分類器的自動識別結(jié)果結(jié)合起來,確定紅外弱小點目標(biāo)識別結(jié)果。需要注意的是,稀疏表示分類器輸出結(jié)果,對最終識別結(jié)果的影響較大,當(dāng)轉(zhuǎn)換概率高于判斷閾值的類別只有一個時,可以直接確定其識別結(jié)果為最終識別結(jié)構(gòu),不需要進(jìn)行第二階段的自動識別。
2實驗測試
2.1數(shù)據(jù)集
本文提出的紅外目標(biāo)識別方法,主要針對的是弱點目標(biāo),為了證明該方法的識別結(jié)果符合要求,需要展開實驗測試分析。本次實驗選擇了海面紅外圖像、云層紅外圖像和純凈天空圖像三類典型的紅外圖像,建立三個紅外小目標(biāo)圖像數(shù)據(jù)集,數(shù)據(jù)集詳細(xì)信息如表1所示。每個數(shù)據(jù)集內(nèi)存在多張紅外圖像,應(yīng)用所提方法對這些紅外圖像中包含的弱小點目標(biāo)進(jìn)行識別,根據(jù)識別結(jié)果驗證本文設(shè)計方法的應(yīng)用性能。
需要注意的是,受到紅外成像設(shè)備的影響,上述三個圖像數(shù)據(jù)集中的紅外圖像,都存在豐富的噪聲信息,使得弱小點目標(biāo)自動識別的難度有所提升,基于此進(jìn)行識別測試,可以更加直觀地體現(xiàn)所提方法的應(yīng)用性能。
2.2連通域像素標(biāo)記
應(yīng)用所提方法實現(xiàn)紅外弱小目標(biāo)的檢測,需要依托于遞歸標(biāo)記算法,進(jìn)行連通域像素標(biāo)記。從圖像數(shù)據(jù)集中隨機(jī)選擇紅外圖像,經(jīng)過濾波、分割等預(yù)處理操作后,完成基于遞歸的二值圖像標(biāo)記,得到圖4(a)所示的標(biāo)記圖像。同時,對該標(biāo)記圖像的局部區(qū)域進(jìn)行放大處理,獲得圖4(b)所示的局部放大標(biāo)記結(jié)果。
由圖4可知,采用遞歸標(biāo)記方法,可以對目標(biāo)紅外圖像中包含的每一個像素進(jìn)行標(biāo)記,形成多個連通域。從圖4(b)所示的局部放大圖像可以看出,同樣標(biāo)記為S的像素連接起來,即為一個連通域。對連通域進(jìn)行幾何特征、形心特征提取,再完成弱小點目標(biāo)自動識別。
2.3紅外弱小點目標(biāo)自動識別結(jié)果分析
本次實驗除了應(yīng)用所提方法外,還設(shè)置基于分類器決策融合的識別方法、基于遷移學(xué)習(xí)的識別方法作為對照組,分別針對實驗數(shù)據(jù)集內(nèi)的紅外圖像進(jìn)行弱小點目標(biāo)自動識別。以三個圖像數(shù)據(jù)集中隨機(jī)選取的紅外圖像(a)(b)(c)(d)為例,分別采用方框標(biāo)注其包含的弱小點目標(biāo),經(jīng)過紅外自動識別處理后,得到圖5所示的識別結(jié)果。
如圖5所示,不同方法識別出的紅外弱小點目標(biāo)用方框標(biāo)注出來。對比三種方法識別結(jié)果可以發(fā)現(xiàn),基于分類器決策融合的識別方法對圖(a)和圖(d)所示的紅外圖像進(jìn)行識別時,識別結(jié)果存在不符合要求的目標(biāo)點。而基于遷移學(xué)習(xí)的識別方法,面對圖(a)和圖(b)紅外圖像均無法得到準(zhǔn)確的識別結(jié)果。本文所提方法所得弱小點目標(biāo)識別結(jié)果與紅外圖像方框標(biāo)注結(jié)果一致,表明所提方法可以得到更準(zhǔn)確的識別結(jié)果。
為了體現(xiàn)不同識別方法的識別性能,選用均值平均精度(Mean Average Precision,mAP)作為評價指標(biāo),并定義該指標(biāo)的計算公式為:
公式中,P表示精確率,R表示召回率,α表示弱小目標(biāo)正確識別出來的樣本數(shù)量,表示存在弱小點目標(biāo)卻未被識別出來的樣本數(shù)量,表示不存在弱小點目標(biāo)卻被錯誤識別的樣本數(shù)量,mAP表示均值平均精度。
運用公式(10)進(jìn)行計算后,可得到三種方法自動識別結(jié)果的mAP,并繪制圖6所示的對比圖。
由圖6可知,應(yīng)用本文方法對三個數(shù)據(jù)集進(jìn)行目標(biāo)識別,表現(xiàn)出的mAP分別為0.95、0.96與0.91,比分類器決策融合方法的mAP值0.63、0.69和0.58以及遷移學(xué)習(xí)方法的mAP值0.72、0.69和0.77更高,其主要原因是本文方法在識別前,獲取了紅外弱小點目標(biāo)的幾何特征和形心特征,優(yōu)化了目標(biāo)識別效果。
3結(jié)論
本文針對紅外弱小點目標(biāo)識別問題提出了以遞歸標(biāo)記算法為核心的自動識別方法。該方法在對紅外圖像進(jìn)行預(yù)處理的基礎(chǔ)上,通過遞歸標(biāo)記檢測連通域像素,并以檢測結(jié)果為基礎(chǔ),提取紅外圖像連通域幾何特征和形心特征。最終通過本文設(shè)計的識別方法,實現(xiàn)了對紅外弱小點目標(biāo)的自動識別。從實驗結(jié)果可以看出,該方法識別結(jié)果更加精確,可以準(zhǔn)確識別不同類型紅外圖像中的弱小目標(biāo),具有較高的應(yīng)用價值。
參考文獻(xiàn):
[1]NebiliB,khellolA,nemaA,etal.Multi-Model Fusion of Enco-ding Methods-Based Visual Words for Target Recognition in Infrared Images[J].Unmanned Systems,2023,11(4):351-366.
[2]KarimiM,Zakariyaeinejad Z,A sadegh-Niaraki,etal.A new method for automatic and accurate coded target recognition in oblique images to improve augmented reality precision[J].Transactions in GIS:TG,2022,26(3):1509-1530.
[3]郭文鳳,焦志剛.基于包圍盒約束光譜聚類的紅外目標(biāo)識別算法[J].紅外與激光工程,2021,50(11):377-382.
[4]廖輝傳,趙海霞.基于分類器決策融合的紅外圖像目標(biāo)識別方法[J].紅外與激光工程,2022,51(8):282-287.
[5]劉浩,毛宏霞,肖志河,等.遷移學(xué)習(xí)在天基紅外目標(biāo)識別中的應(yīng)用[J].激光與紅外,2022,52(1):122-128.
[6]謝曉方,劉厚君,張龍杰,等.融合輕量級yoloy4與KCF算法的紅外艦船目標(biāo)識別[J].兵器裝備工程學(xué)報,2021,42(6):175-182.
[7]劉可佳,馬榮生,唐子木,等.采用優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的紅外目標(biāo)識別系統(tǒng)[J].光學(xué)精密工程,2021,29(4):822-831.
[8]史國軍.深度特征聯(lián)合表征的紅外圖像目標(biāo)識別方法[J].紅外與激光工程,2021,50(3):113-118.
[9]郝永平,曹昭睿,白帆,等.基于興趣區(qū)域掩碼卷積神經(jīng)網(wǎng)絡(luò)的紅外-可見光圖像融合與目標(biāo)識別算法研究[J].光子學(xué)報,2021,50(2):84-98.
[10]許來祥,劉剛,劉森,等.基于改進(jìn)CNN的紅外目標(biāo)識別方法研究[J].火力與指揮控制,2020,45(8):136-141.
[11]朱輝.基于數(shù)據(jù)挖掘的高職院校就業(yè)研究[J].遵義師范學(xué)院學(xué)報,2021,23(6):68-72.
[12]李慧.基于卷積神經(jīng)網(wǎng)絡(luò)圖像質(zhì)量評價的技術(shù)研究[J].遵義師范學(xué)院學(xué)報,2021,23(5):84-87.
[13]周燕茹.一種基于統(tǒng)計模型的網(wǎng)絡(luò)阻塞攻擊防御方法[J].遵義師范學(xué)院學(xué)報,2022,24(2):94-98.
(責(zé)任編輯:朱彬)