趙鵬鵬,李庶中,李 迅,羅 軍,常 凱
(1.海軍研究院, 北京100036;2.北方電子設(shè)備研究所, 北京 100036)
光學(xué)圖像目標(biāo)檢測(cè)是利用某種技術(shù)或方法在整幅圖像中搜索尋找并提取感興趣目標(biāo)的過程,長(zhǎng)期以來紅外弱小目標(biāo)的檢測(cè)都是國(guó)內(nèi)外研究的熱點(diǎn)問題[1-5]。國(guó)內(nèi)外很多學(xué)者將紅外弱小目標(biāo)定義為紅外圖像中所占像素?cái)?shù)不超過總像素?cái)?shù)0.15%且信噪比較低、亮度較弱的目標(biāo)[6-7]。復(fù)雜環(huán)境下紅外弱小目標(biāo)的灰度值不一定是最高的,但通常會(huì)在一定層度上高于其局部背景。紅外弱小目標(biāo)的尺寸較小、能量較弱,且缺乏有效的形狀和紋理特征,因而復(fù)雜背景下紅外弱小目標(biāo)的快速準(zhǔn)確檢測(cè)仍然是一個(gè)具有挑戰(zhàn)性的技術(shù)難題。傳統(tǒng)紅外弱小目標(biāo)檢測(cè)方法主要分為可先檢測(cè)后跟蹤[8-9](Detect Before Track,DBT)和先跟蹤后檢測(cè)[10-12](Track Before Detect,TBD)兩類。DBT 類檢測(cè)算法的具體執(zhí)行過程是先在一幅圖像中進(jìn)行單幀檢測(cè),再在連續(xù)的多幀圖像中進(jìn)行確認(rèn),其中第一步的單幀檢測(cè)是DBT類檢測(cè)算法的關(guān)鍵,直接決定著目標(biāo)檢測(cè)的正確與否。常用的單幀檢測(cè)方法主要包括閾值分割方法、背景抑制方法、基于形態(tài)學(xué)濾波器的方法、基于小波變換的方法、基于高階統(tǒng)計(jì)量的方法等。TBD類檢測(cè)方法是首先求出由各時(shí)刻掃描點(diǎn)組成的所有路徑,將每條路徑的回波幅度值相加,累加值超過設(shè)定閾值的路徑即為目標(biāo)的真實(shí)路徑。典型的TBD 方法主要包括動(dòng)態(tài)規(guī)劃算法、三維匹配濾波器法、多級(jí)假設(shè)檢驗(yàn)方法、基于粒子濾波的方法等。
受人眼視覺系統(tǒng)的啟發(fā),基于視覺顯著性的目標(biāo)檢測(cè)算法成為近年來研究的熱點(diǎn)問題[13-16]。ITTI等學(xué)者于1998年最先提出基于Center-Surround的顯著性檢測(cè)算法[17],不久之后,學(xué)者Philip等提出了一種基于局部對(duì)比度(Local Contrast Measure, LCM)的紅外弱小目標(biāo)檢測(cè)算法[18]。然而,該算法是一種像素級(jí)別的操作,而且需要對(duì)全圖像進(jìn)行遍歷計(jì)算,算法的計(jì)算量較大,實(shí)時(shí)性較差。此外,算法利用LCM在增強(qiáng)弱小目標(biāo)的同時(shí),也增強(qiáng)了圖像的像素尺度亮噪聲,這就增加了目標(biāo)檢測(cè)的虛警率。針對(duì)以上問題,本文提出了一種融合視覺顯著性和局部熵的紅外弱小目標(biāo)檢測(cè)方法。首先利用局部熵提取感興趣區(qū)域,對(duì)紅外弱小目標(biāo)進(jìn)行初步定位;然后再利用改進(jìn)的視覺顯著性檢測(cè)方法在感興趣區(qū)域計(jì)算局部對(duì)比度,獲得感興趣區(qū)域的顯著圖;最后利用閾值法分割顯著圖像提取紅外弱小目標(biāo)。與傳統(tǒng)的LCM方法相比,本文提出的方法在提高目標(biāo)檢測(cè)速率的同時(shí),降低了檢測(cè)虛警率。
LCM算法是針對(duì)紅外弱小目標(biāo)的檢測(cè)問題,學(xué)者Philip等提出的一種局部對(duì)比度計(jì)算方法。假設(shè)f表示一幅含有弱小目標(biāo)紅外圖像,u表示圖像中的目標(biāo)區(qū)域,v是可以在圖像中移動(dòng)的窗口,滑動(dòng)窗口v的高度和寬度都設(shè)為u尺寸的3倍,u和v之間的區(qū)域就代表目標(biāo)u的局部背景區(qū)域。利用滑動(dòng)窗口法逐像素移動(dòng)窗口v,就可以在圖像中截取到不同的圖像塊。針對(duì)每個(gè)圖像塊,將其分成9個(gè)子圖像塊,中心圖像塊編號(hào)為“0”,其余按照從左至右、 從上至下分別編號(hào)“1”~“8”。除編號(hào)為“0”的中心子圖像塊以外,周圍相鄰的8個(gè)子圖像塊的灰度均值分別表示為:
i={1,2,···,8},表示第i個(gè)子圖像塊中第j個(gè)像素點(diǎn)的灰度值,Nu表示該圖像塊的像素?cái)?shù)量。將中心子圖像塊與鄰域其他子圖像塊的對(duì)比度定義為:
式中,Ln表示中心子圖像塊中的最大灰度值。定義中心圖像塊的的局部對(duì)比度C為:
計(jì)算出C后,將第n個(gè)圖像塊的中心像素點(diǎn)的灰度值用C來代替,重復(fù)這個(gè)過程,直到遍歷整幅圖像,便能得到原圖像對(duì)應(yīng)的顯著圖S,然后再利用閾值法分割顯著圖像獲取紅外弱小目標(biāo)。
LCM增強(qiáng)了紅外弱小目標(biāo),提高了圖像的信噪比,基于LCM的檢測(cè)算法取得了較好的弱小目標(biāo)檢測(cè)效果。然而LCM的計(jì)算在增強(qiáng)弱小目標(biāo)的同時(shí),也同時(shí)增強(qiáng)了圖像的像素尺度亮噪聲,增加了目標(biāo)檢測(cè)的虛警率。針對(duì)這種情況,本文提出一種改進(jìn)的弱小目標(biāo)顯著性檢測(cè)方法。整個(gè)方法可以分為圖像預(yù)處理、顯著圖像計(jì)算以及目標(biāo)檢測(cè)3個(gè)步驟。
STEP1:圖像預(yù)處理
紅外弱小目標(biāo)的尺寸通常不超過個(gè)9×9個(gè)像素,而像素尺度亮噪聲的能量往往只集中在單個(gè)像素上,為了抑制像素尺度亮噪聲對(duì)目標(biāo)檢測(cè)影響,需對(duì)圖像進(jìn)行預(yù)處理。利用一個(gè)小于的9×9窗口在原始圖像中按照一定的步長(zhǎng)(步長(zhǎng)小于窗口尺寸)從左至右,從上之下依次滑動(dòng),得到一系列子圖像塊subp,q,然后將子圖像塊的整體灰度值設(shè)置為:
式中,(i,j)表示子圖像塊subp,q中的像素點(diǎn),m×n表示的子圖像塊的尺寸大小,gray(i,j)表示像素點(diǎn)(i,j)的灰度值。式(4)的含義為:將子圖像塊的灰度值設(shè)置為其內(nèi)部像素點(diǎn)的灰度均值。然后將得到的一系列子圖像塊按照原來的順序重新組合成一個(gè)新的矩陣W,其內(nèi)部元素定義為:
式中,p={1,2,···,M},q={1,2,···,N},M×N表示矩陣W中的元素總數(shù)。通過設(shè)定適當(dāng)?shù)拇翱诔叽绾鸵苿?dòng)步長(zhǎng),矩陣W中的元素?cái)?shù)目M×N會(huì)遠(yuǎn)小于原始紅外圖像中的像素?cái)?shù),因而目標(biāo)檢測(cè)的速度可以在一定程度上得到提高。最重要的是,通過對(duì)原圖像進(jìn)行預(yù)處理能夠抑制圖像的PNHB噪聲,降低目標(biāo)檢測(cè)的虛警率,將在下一部分對(duì)此進(jìn)行分析。
STEP2:顯著圖的計(jì)算類似 LCM 算法,仍然在圖像中設(shè)置一個(gè)的滑動(dòng)窗口,并使滑動(dòng)窗的中心為預(yù)處理得到的子圖像塊subp,q,然后將滑動(dòng)窗所截取的圖像劃分為9個(gè)子圖像塊,其中子塊subp,q編號(hào)為“0”,其余周邊子塊的編號(hào)分別為“1”~“8”。子塊subp,q的灰度均值gray(subp,q)已經(jīng)在第一步計(jì)算得到,然后分別計(jì)算子塊“1”~“8”的灰度均值:
式中,h={1,2,···,8},gray(h)表示第h個(gè)子塊的灰度均值,(i,j)表示第h個(gè)子圖像塊中的像素點(diǎn),m×n表示子塊中的像素點(diǎn)數(shù)。與LCM算法不同,將subp,q子圖像塊與第i個(gè)子塊的對(duì)比度重新定義為:
式中,Ln仍然表示subp,q子圖像塊中的灰度最大值。計(jì)算出Cn后,利用Cn替換預(yù)處理矩陣M中整個(gè)子塊subp,q的像素灰度,而不是像LCM算法那樣只替換子塊的中心像素的灰度值。然后將矩陣M中的子塊都進(jìn)行以上處理,就可以得到原圖像的顯著圖SW。
STEP3:目標(biāo)檢測(cè)
針對(duì)上一步計(jì)算得到的顯著圖像SW,利用閾值法進(jìn)行自適應(yīng)閾值分割,可得到二值化的顯著圖像BSW,其中分割閾值Th的計(jì)算方法為:
式中,uSW和σSW分別表示顯著圖像SW的均值和方差,k為經(jīng)驗(yàn)系數(shù),通常取10<k<15。
改進(jìn)的弱小目標(biāo)顯著性檢測(cè)方法,用圖像塊的計(jì)算代替LCM算法中的像素計(jì)算,減小了PNHB對(duì)目標(biāo)檢測(cè)的影響,降低了檢測(cè)的虛警率。然而該方法與LCM算法搜索目標(biāo)的方式相同,仍然是利用滑動(dòng)窗口法在全圖像范圍內(nèi)進(jìn)行目標(biāo)搜索工作,在整幅圖像中進(jìn)行多尺度局部對(duì)比度計(jì)算將會(huì)耗費(fèi)大量時(shí)間,影響紅外弱小目標(biāo)檢測(cè)的實(shí)時(shí)性。
為了提高弱小目標(biāo)檢測(cè)算法的實(shí)時(shí)性,降低虛警率,本文提出一種融合視覺顯著性和局部熵的紅外弱小目標(biāo)檢測(cè)方法,先利用局部熵對(duì)目標(biāo)區(qū)域進(jìn)行粗定位,得到一個(gè)含有目標(biāo)的感興趣區(qū)域,然后利用改進(jìn)的顯著性檢測(cè)方法在感興趣區(qū)域內(nèi)檢測(cè)出弱小目標(biāo)。該算法將目標(biāo)的全局搜索工作轉(zhuǎn)變?yōu)橹辉诟信d趣區(qū)域進(jìn)行目標(biāo)檢測(cè),大大提高了顯著性檢測(cè)算法的效率,適用于紅外弱小目標(biāo)的快速檢測(cè)。
圖像的本質(zhì)就是一種圖形化的二維信號(hào),對(duì)于圖像的熵,一般認(rèn)為其含義是圖像在灰度空域分布狀態(tài)的不確定性度量。針對(duì)一幅M×N大小的圖像f,設(shè)f(i,j)為圖像中點(diǎn)(i,j)處的灰度值,圖像f的熵定義為[19]:
式中,M×N為圖像的總像素?cái)?shù),P(i,j)表示灰度值為f(i,j)的像素點(diǎn)在圖像總像素點(diǎn)中所占的比例,具體可表示為:
式中,Xi,j表示圖像中灰度值為f(i,j)的像素點(diǎn)的個(gè)數(shù)。由于式(9)關(guān)于圖像的熵Hf的計(jì)算涉及到對(duì)數(shù)運(yùn)算,計(jì)算量較大,不利于實(shí)時(shí)性的實(shí)現(xiàn),可以采用泰勒級(jí)數(shù)將對(duì)數(shù)項(xiàng)展開,并舍棄高階項(xiàng),最終得 到圖像熵Hf的近似表達(dá)式:
若取M×N為整幅圖像的某一局部區(qū)域,那么利用式(11)計(jì)算出的熵值Hf就為圖像在這一局部區(qū)域的局部熵。由紅外弱小目標(biāo)的特性可知,目標(biāo)的尺寸比較小,能量也比較弱,在整幅圖像內(nèi)很可能不是灰度取值最大的點(diǎn),而僅僅是其局部區(qū)域的灰度最大值。因而計(jì)算圖像熵值時(shí),弱小目標(biāo)對(duì)于整幅圖像熵值的貢獻(xiàn)較小,僅利用熵很難判斷圖像中是否存在紅外弱小目標(biāo);然而在圖像的一個(gè)局部區(qū)域內(nèi),目標(biāo)的能量卻很容易引起局部區(qū)域熵值的較大變化。弱小目標(biāo)周圍的背景區(qū)域由于具有較平穩(wěn)的紋理分布特征,局部熵值較大,而對(duì)于弱小目標(biāo)區(qū)域,由于灰度起伏大,其熵值較小。因此,可以根據(jù)該特性對(duì)弱小目標(biāo)進(jìn)行粗略定位。將含有目標(biāo)的局部區(qū)域稱為感興趣區(qū)域,則利用局部熵提取感興趣區(qū)域的過程可以總結(jié)為3個(gè)步驟:
(1)將一幅大小為M×N的圖像f劃分成l個(gè)大小為m×n的局部區(qū)域{si},其中i={1,2,···,l},l=(M×N)/(m×n);
(2)針對(duì)每一個(gè)局部區(qū)域,分別計(jì)算其局部熵值Hi,并在整個(gè)圖像中搜索局部熵值的最大值Hmax和最小值Hmin;
(3)根據(jù)Hmax和Hmin設(shè)置分割閾值Th,然后判斷局部熵值Hi小于閾值Th的局部區(qū)域即為弱小目標(biāo)存在的區(qū)域,其中Th的計(jì)算方法為
式(12)中,k'為常數(shù),針對(duì)紅外圖像中的弱小目標(biāo)檢 測(cè)問題,一般取3<k′<5。
綜上所述,為了提高復(fù)雜背景下紅外弱小目標(biāo)檢測(cè)算法實(shí)時(shí)性與抗干擾性,受LCM顯著性檢測(cè)算法的啟發(fā),本文提出融合視覺顯著性和局部熵的紅外弱小目標(biāo)檢測(cè)算法。算法的流程如圖1所示。算法先利用局部熵對(duì)感興趣區(qū)域進(jìn)行粗略定位;然后利用改進(jìn)的顯著性檢測(cè)方法計(jì)算感興趣區(qū)域的顯著性圖像;最后利用閾值法對(duì)顯著性圖像進(jìn)行自適應(yīng)閾值分割,從而在實(shí)現(xiàn)紅外弱小目標(biāo)的精確檢測(cè)。
圖1 視覺顯著性和局部熵結(jié)合的弱小目標(biāo)檢測(cè)流程Fig.1 Block diagram of target detection algorithm combining visual salient and local entropy
本文實(shí)驗(yàn)在(CPU@ 2.0 GHz,內(nèi)存4 G,Win7操作系統(tǒng))的PC機(jī)上,利用Matlab2011b開發(fā)工具進(jìn)行實(shí)施。在局部熵粗略定位目標(biāo)的過程中,將整個(gè)圖像劃分成4×4個(gè)尺寸相同的局部區(qū)域,進(jìn)行局部熵計(jì)算并提取感興趣區(qū)域,式(12)中的系數(shù)k'設(shè)置為4;在利用改進(jìn)顯著性算法精確檢測(cè)目標(biāo)的過程中,圖像子塊的像素尺寸設(shè)置為8×8,移動(dòng)步長(zhǎng)設(shè)置為4,式(8)中的k設(shè)置為15。利用檢測(cè)率(Correct Percentage,CP)與虛警率(False Alarm,F(xiàn)A)來評(píng)價(jià)目標(biāo)檢測(cè)算法的性能,分別定義為:
本文設(shè)定,假若目標(biāo)的真實(shí)位置和檢測(cè)出來的目標(biāo)位置相差在一定范圍內(nèi)(3 個(gè)像素)則稱目標(biāo)被正確檢測(cè)到。
為驗(yàn)證本文算法的有效性,采用4組分辨率為128×128的紅外弱小目標(biāo)圖像進(jìn)行實(shí)驗(yàn),圖2為本文算法對(duì)4組紅外圖像進(jìn)行弱小目標(biāo)檢測(cè)的實(shí)驗(yàn)結(jié)果。圖2(a)為原始紅外圖像,其中第1幅為天地交界線處的目標(biāo),第2幅為空中目標(biāo),后兩幅為復(fù)雜背景下的地面目標(biāo);圖2(b)為利用局部熵方法提取的感興趣區(qū)域,即實(shí)現(xiàn)了對(duì)小目標(biāo)存在區(qū)域的粗略定位;圖2(c)為局部區(qū)域的顯著性圖像,從顯著性圖像可以看出,弱小目標(biāo)明顯被加強(qiáng),而背景相對(duì)被抑制,紅外弱小目標(biāo)的顯著度較高;圖2(d)為利用閾值法分割紅外弱小目標(biāo)呈現(xiàn)出的二值圖像,實(shí)現(xiàn)了紅外弱小目標(biāo)的檢測(cè),從圖2(d)可以看出,本文方法將紅外圖像中的弱小目標(biāo)全部檢測(cè)出來,無一漏檢而且也不存在虛警。因此,實(shí)驗(yàn)表明本文方法能夠在低信噪比的 條件下,有效檢測(cè)紅外弱小目標(biāo)。
圖2 本文算法紅外弱小目標(biāo)檢測(cè)實(shí)驗(yàn)結(jié)果Fig.2 IR small target detection results using the proposed algorithm
為了進(jìn)一步衡量本文所提算法的檢測(cè)性能,將本文算法與TOPHAT檢測(cè)算法及基于LCM的檢測(cè)算法進(jìn)行了對(duì)比試驗(yàn)。實(shí)驗(yàn)采用4組分辨率為128×128的紅外圖像進(jìn)行測(cè)試,其中第1幅為天地交界處的目標(biāo),第2幅為復(fù)雜背景下的地面目標(biāo),后兩幅分別為在前兩幅圖像的基礎(chǔ)上添加均值為0、方差為0.005的高斯噪聲形成的低信噪比圖像。
圖3(b)為TOPHAT算法的檢測(cè)結(jié)果;圖3(c)為L(zhǎng)CM算法的檢測(cè)結(jié)果;圖3(d)為本文算法的檢測(cè)結(jié)果。檢測(cè)結(jié)果中,正確檢測(cè)到的目標(biāo)在圖像中用黑色方框標(biāo)注,虛警目標(biāo)在圖像中用黑色圓形標(biāo)注。從檢測(cè)結(jié)果可以看出,由于第1幅圖像的信噪比較高,3種檢測(cè)算法都無虛警地準(zhǔn)確檢測(cè)到了紅外弱小目標(biāo);第2幅圖像的信噪比較低,3種算法雖然都能正確地檢測(cè)到弱小目標(biāo),但TOPHAT算法已經(jīng)出現(xiàn)了虛警;第3幅圖像和第4幅圖像的信噪比都非常低,目標(biāo)幾乎淹沒在噪聲之中,TOPHAT算法和LCM算法在檢測(cè)弱小目標(biāo)的同時(shí),都出現(xiàn)了虛警點(diǎn),而且TOPHAT算法僅在第4幅圖像中正確檢測(cè)到了弱小目標(biāo);本文算法在低信噪比的后兩幅圖像中仍然無虛警地檢測(cè)出了紅外弱小目標(biāo)。實(shí)驗(yàn)結(jié)果表明,本文方法在檢測(cè)性能上優(yōu)于TOPHAT檢測(cè)方法與基于LCM的弱小目標(biāo)檢測(cè)方法,虛警率分別比TOPHAT算法以及LCM算法下降62.5%和33.3%。表1為3種算法對(duì)以上4組圖像進(jìn)行紅外弱小目標(biāo)檢測(cè)的平均運(yùn)行時(shí)間。從表中可以看出,本文方法的檢測(cè)速率僅次于TOPHAT算法,而相比LCM檢測(cè)算法有較大程度的提高,耗時(shí)從1.419 3 s提升到0.548 1 s,降低為原來的38.6%。
圖3 3種目標(biāo)檢測(cè)算法對(duì)比實(shí)驗(yàn)結(jié)果Fig.3 Contrast experiment results with three different target detection algorithms
表1 3種目標(biāo)檢測(cè)算法運(yùn)行時(shí)間對(duì)比Tab.1 Computational cost comparison among three target detection algorithms
本文針對(duì)紅外弱小目標(biāo)檢測(cè)問題,提出了融合視覺顯著性和局部熵的紅外弱小目標(biāo)檢測(cè)方法。該方法將整個(gè)目標(biāo)檢測(cè)方案分為“由粗到細(xì)”兩步來實(shí)現(xiàn):先利用局部熵對(duì)目標(biāo)存在的局部區(qū)域進(jìn)行粗略定位;然后利用改進(jìn)的顯著性檢測(cè)方法對(duì)感興趣區(qū)域的顯著圖進(jìn)行計(jì)算,再利用閾值法對(duì)感興趣區(qū)域的顯著圖像進(jìn)行自適應(yīng)閾值分割,從而在感興趣區(qū)域內(nèi)精確捕獲紅外弱小目標(biāo)。為了驗(yàn)證本文算法的檢測(cè)性能和效率,利用含有紅外弱小目標(biāo)的圖像進(jìn)行了實(shí)驗(yàn),并與其他檢測(cè)方法進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果表明:本文提出的方法能夠在低信噪比的條件下,實(shí)現(xiàn)對(duì)紅外弱小目標(biāo)的有效檢測(cè),而且本文方法的檢測(cè)性能優(yōu)于TOPHAT算法以及LCM檢測(cè)算法,虛警率分別下降62.5%和33.3%;檢測(cè)實(shí)時(shí)性方面算法耗時(shí)降低為L(zhǎng)CM的38.6%,在一定程度上解決了紅外弱小目標(biāo)檢測(cè)虛警率高、實(shí)時(shí)性差的問題。