姜康輝 劉松濤
在航空偵察手段建設(shè)中,圖像目標(biāo)檢測具有十分重要的地位。目標(biāo)檢測的最終目的是定位圖像目標(biāo),從而輔助人工判斷圖像或者實現(xiàn)自動目標(biāo)識別。
常見的目標(biāo)檢測方法包括:基于模板匹配的檢測方法、基于關(guān)鍵點(diǎn)的檢測方法[1~4]、基于分割的檢測方法[5]、基于滑動窗口的檢測方法[6~8]和基于部分(Part-based)的檢測方法[9~10],其中基于滑動窗口的檢測方法可以直接生成包圍盒,能夠和顯著性檢測結(jié)果有效融合,是當(dāng)前的研究熱點(diǎn)?;瑒哟翱诩夹g(shù)[7]通過一個分類函數(shù)給圖像中所有子窗口一個分類值,這個值用來判斷目標(biāo)是否存在于子窗口,然后通過尋找分類值最大的子窗口,即可確定目標(biāo)的位置。該方法的主要不足是計算量比較大,對n×n圖像,算法復(fù)雜度通常是O(n4)。Christoph H.Lampert等[8]在滑動窗口搜索技術(shù)上提出了高效子窗口搜索方法(Efficient Subwindow Search,ESS)。ESS方法允許在所有可能的子圖像上高效的最大化分類器函數(shù)。它依賴于分支定界方案在所有的子圖像上尋找評估函數(shù)的全局最優(yōu)值,返回與窮盡搜索方法相同的目標(biāo)位置。同時,它需要較少的分類器評估,其數(shù)量比圖像中的可選區(qū)域甚至圖像像素數(shù)都要小,通常以線性時間或更快的速度運(yùn)行。但是傳統(tǒng)高效子窗口搜索方法采用支持向量機(jī)進(jìn)行分類,需要大量訓(xùn)練圖像。文獻(xiàn)[11]通過設(shè)計合適的顯著圖最大化策略,避免了支持向量機(jī)需要訓(xùn)練圖像的不足,然而該方法的顯著圖計算和ESS檢測是分開實施,沒能有效的融合在一起。
借鑒文獻(xiàn)[12]的思想,本文融合顯著性計算和高效子窗口搜索方法,將顯著性計算融合到質(zhì)量函數(shù)和定界函數(shù)的設(shè)計中,函數(shù)設(shè)計主要依據(jù)三個特征:目標(biāo)區(qū)域和背景之間的對比度,目標(biāo)區(qū)域包含顯著像素的比例和目標(biāo)區(qū)域的大小。在此基礎(chǔ)上結(jié)合ESS框架實現(xiàn)了航空偵察圖像快速目標(biāo)檢測。文末實驗表明,新方法在保證定位效果的同時,更加簡潔和高效。
高效子窗口搜索方法的核心是分支定界搜索。ESS算法中存在大量的候選子窗口,但只有幾個包含了目標(biāo),含有目標(biāo)的子窗口經(jīng)定界函數(shù)計算后得到的分?jǐn)?shù)高。分支定界能直接對獲得分?jǐn)?shù)最大的子窗口進(jìn)行搜索,它將參數(shù)空間劃分為分解的子集,計算它們的得分上限,在搜索過程中,將低于上限的子集舍棄,從而節(jié)約了大量的搜索空間和時間。
對于ESS方法,參數(shù)空間是圖像中所有可能的矩形。用四個參數(shù)(l,t,r,b)能有效地將一個矩形子窗口用左上右下的間隔表示,從而有效地節(jié)約空間。參數(shù)化后所有矩形子窗口就可以表示為(L,T,R,B),其中 L=[llow,lhigh]等。每次迭代過程中,ESS方法檢查得分更高的矩形集,把最大坐標(biāo)間隔減半,將矩形分成兩個分解的子集,見圖1。
對每個矩形集,計算質(zhì)量函數(shù)得分的上界。當(dāng)發(fā)現(xiàn)某個矩形的分?jǐn)?shù)至少和其他所有子窗口的上界一樣好時,ESS停止計算,這保證了找到全局最優(yōu)值。圖2是ESS方法的偽代碼,利用優(yōu)先隊列來保持搜索狀態(tài)。
分支定界搜索時,質(zhì)量函數(shù)和定界函數(shù)設(shè)計是關(guān)鍵。通過定界函數(shù) (y)計算區(qū)域 y的得分,判斷此區(qū)域?qū)儆谀繕?biāo)的可能性,最終找到最大得分的區(qū)域 y*:
融合顯著性計算和高效子窗口搜索的目標(biāo)檢測方法設(shè)計了新的質(zhì)量函數(shù)和定界函數(shù),并將顯著特征的計算融合到函數(shù)設(shè)計中。
3.1 質(zhì)量函數(shù)
質(zhì)量函數(shù)設(shè)計時首先使用了特征直方圖,因為通常目標(biāo)與背景具有較高的對比度,中心-周圍對比的 χ2值越高表示其越不同于背景區(qū)域,越有可能是目標(biāo)。質(zhì)量函數(shù) f通過下式計算區(qū)域y與背景的對比度:
其中hy是區(qū)域y的特征直方圖,hBx是整個圖像的特征直方圖,k是像素灰度等級。本文采用32個等級的灰度特征直方圖,然而僅僅使用灰度特征直方圖會導(dǎo)致選擇單一灰度級和小的區(qū)域。因此,引入灰度像素的空間分布這一全局特征,使得區(qū)域y盡可能多地包含顯著像素:
其中,W= Σi∈xΣcp(c|i)?wc是整個圖像的特征權(quán)重總和,wc=(1-Vc)·(1-DC)表示該灰度級屬于目標(biāo)的可能性。V(c)是像素位置的方差,高V(c)值表示該灰度的像素分散在圖像中,不可能屬于目標(biāo)。D(c)表示灰度像素到圖像中心的距離,D(c)越大,表示該灰度像素越不可能包含在目標(biāo)中[13]。如果像素i落在灰度等級c,那么 p(c|i)=1,否則p(c|i)=0??傊?,式(3)的第二項計算區(qū)域 y捕獲顯著像素的比例。
最后,區(qū)域 y的大小要合適,利用目標(biāo)和圖像的尺寸比sry進(jìn)行約束,最終的質(zhì)量函數(shù)設(shè)計為:
其中,g(sry)=Ν(μ,σ2)是高斯分布。 α、β是正的常數(shù),用來平衡三個特征的重要性。在實驗中,使用 μ=0.352,σ=0.2,α+β=0.8,α、β的取值與艦船目標(biāo)大小有關(guān),目標(biāo)越大β值也大??傊?,提出的質(zhì)量函數(shù)結(jié)合了三個特征:目標(biāo)區(qū)域和背景之間的對比度,目標(biāo)區(qū)域包含的顯著像素和目標(biāo)區(qū)域的大小。
3.2 定界函數(shù)
定界函數(shù) (y)返回質(zhì)量函數(shù) f的最高值,控制著分支定界搜索的方向。設(shè) yS和 yL表示 y中的最小和最大矩形,rS和rL代表小、大矩形的面積,即矩形中包含的像素個數(shù)。
1)質(zhì)量函數(shù)第一項的上界。假設(shè) pK是區(qū)域y中第k個像素等級的數(shù)目,則
另外,落入?yún)^(qū)域 y中的像素數(shù)目由 yS和 yL界定,則hy(k)的取值范圍為
其中,hy(k)和-hy(k)分別表示較低和較高邊界。為了使定界函數(shù)的分?jǐn)?shù)最高,χ2(hy,hBx)的每個像素灰度等級由下式計算:
2)質(zhì)量函數(shù)第二項的上界。因為最有期望的矩形小于或等于最大可能的區(qū)域yL,所以計算yL區(qū)域捕獲顯著像素的比例表示質(zhì)量函數(shù)第二項的上界,即
3)質(zhì)量函數(shù)第三項的上界。為了防止區(qū)域 y出現(xiàn)過大或過小的情況,其大小比率要有一個合適的值。令分別為最小和最大的可能的矩形的尺寸率,其中rx是圖像區(qū)域。上界的計算考慮三種情況:(1)如果srL≤0.4,上界設(shè)置為 g(srL);(2)如果 srS≥0.4,上界設(shè)置為 g(srS);(3)如果 srS≤0.4≤srL,上界設(shè)為1。
為了檢驗?zāi)繕?biāo)檢測的性能,利用航空偵察艦船圖像進(jìn)行了仿真實驗,從主觀和客觀兩個角度比較融合顯著性計算和高效子窗口搜索方法與之前的ESS目標(biāo)檢測算法[11]的性能。
4.1 主觀評價
圖3是兩種算法對四幅航空偵察圖像的目標(biāo)檢測效果。從實驗結(jié)果可以看出:兩種算法對目標(biāo)定位的結(jié)果相差不大,都可以較好地檢測目標(biāo)。在融合顯著性計算和高效子窗口搜索方法的檢測結(jié)果中,第二行和第四行的圖像包圍框更緊湊。因此,直觀上融合顯著性計算和高效子窗口搜索方法 保留了原方法的定位性能。
4.2 客觀分析
目標(biāo)檢測算法的定位結(jié)果是矩形包圍盒,通過比較檢測結(jié)果和基準(zhǔn)標(biāo)記之間的關(guān)系,可以確定是否檢測到目標(biāo)。本文用F-measure值來評估目標(biāo)檢測性能,具體公式如下:
其中,P是檢測準(zhǔn)確率,表示檢測矩形包圍盒檢測準(zhǔn)確的像素占檢測矩形包圍盒的比例,R是檢測完備率,表示檢測矩形包圍盒檢測準(zhǔn)確的像素占基準(zhǔn)包圍盒像素的比例。實驗結(jié)果如圖4,從圖中可以看出兩種方法檢測結(jié)果的Precision、recall和F-measure值并無很大的差異,因此,客觀上新方法也保留了原方法的定位性能。
關(guān)于算法的復(fù)雜度,理論上,融合顯著性計算和高效子窗口搜索的目標(biāo)檢測方法將顯著特征計算與目標(biāo)定位融合在一起,應(yīng)該比先生成顯著圖再進(jìn)行ESS檢測的方法計算量小。實際中,將不同算法的時間復(fù)雜度用計算機(jī)的實際運(yùn)行時間表示。為了克服隨機(jī)性,對每個顯著圖算法都運(yùn)行10次,然后取平均,見表1。從表中可以看出對不同的圖像運(yùn)行時間快慢不同,分析原因可能是目標(biāo)檢測時顯著圖計算方法不一樣,會導(dǎo)致子窗口的數(shù)量不同,使得搜索時間有快有慢。總之,融合顯著性計算和高效子窗口搜索的目標(biāo)檢測方法速度依然很快,而且對于部分圖像目標(biāo)的檢測速度更快。仿真實驗時軟硬件配置為筆記本電腦,硬件性能為3.4GHzCPU,4G內(nèi)存;操作系統(tǒng)為Windows7 32位,開發(fā)軟件為Matlab2014a和VS2008。
表1 不同檢測方法的時間復(fù)雜度
本文通過新的質(zhì)量函數(shù)和定界函數(shù)設(shè)計,將顯著特征計算與目標(biāo)定位融合在一起,并結(jié)合高效子窗口搜索框架實現(xiàn)了艦船目標(biāo)的快速檢測。實驗表明,與文獻(xiàn)[11]相比,融合顯著性計算和高效子窗口搜索的檢測方法保持了原有的定位效果,并且更加簡潔和高效。
[1]Hakan C,Bill T.Efficient Object Detection Using Cascades of Nearest Convex Model Classifiers[A].In Proceedings of CVPR,Rhode Island,USA,2012:3138-3145.
[2]Suga A,F(xiàn)ukuda K,Takiguchi T,et al.Object recognition and Segmentation Using SIFT and Graph Cuts[A].In Proceedings of the 19th International Conference on Pattern Recognition,Tampa,F(xiàn)lorida,USA,2008:1-4.
[3]Bay H,Tuytelaars T,Van Gool L.SURF:Speeded up Robust Features[A].In Proceedings of the European Conference on ComputerVision, Graz, Austria, 2006:404-417.
[4]Hare S,Saffari A,Torr P.Efficient Online Structured output Learning for Key point-based Object Tracking[A].In Proceedings of CVPR, Rhode Island, USA, 2012:1894-1901.
[5]洪義平,易建強(qiáng),趙冬斌等.自然圖像分割方法及其在目標(biāo)檢測中的應(yīng)用[J].模式識別與人工智能,2006,19(5):658-662.
[6]Bosch A,Zisserman A,Munoz X.Representing Shape with a Spatial Pyramid Kernel[A].In Proceedings of CIVR,Amsterdam,Netherlands,2007:401-408.
[7]Matthew B B,Christoph H L.Object Localization with Global and Local Context Kernels[C]//Proceedings of BMVC,2009:1-11.
[8]Christoph H L Matthew B B,Thomas H.Beyond Sliding Windows:Object Localization by Efficient Subwindow Search[C]//IEEE Conference on Computer Vision and Pattern Recognition,2008:1-8.
[9]Felzenszwalb F P,Girshick R B,McAllester D,et al.Object Detection with Discriminatively Trained Part Based Models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9):1627-1645.
[10]Azizpour H,Laptev I.Object Detection Using Strongly-supervised Deformable Part Models[A].In Proceedings of ECCV,F(xiàn)lorence,Italy,2012:836-849.
[11]劉松濤,黃金濤,劉振興.基于顯著圖生成和顯著密度最大化的高效子窗口搜索目標(biāo)檢測方法[J].電光與控制,2015,22(12):9-14.
[12]Yeh M C,Hsu C F,Lu C J.Fast Salient Object Detection Through Efficient Subwindow Search[J].Pattern Recognition Letters,2014,46(3):60-66.
[13]Liu T,Yuan Z,Sun J,et al.Learning to Detect a Salient Object[J].IEEE Transactionson Pattern Analysis and Machine Intelligence,2010,33(2):353-367.