齊 紅,任洪娥，田少卿,胡 鴻

(1.東北林業(yè)大學(xué)信息與計(jì)算機(jī)工程學(xué)院,黑龍江 哈爾濱 150040 2.國(guó)家林業(yè)局調(diào)查規(guī)劃設(shè)計(jì)院，北京 100714)

穩(wěn)像技術(shù)從早期的機(jī)械穩(wěn)像到光學(xué)穩(wěn)像，再到電子穩(wěn)像，是一個(gè)漫長(zhǎng)的發(fā)展過(guò)程。隨著計(jì)算機(jī)軟硬件的飛速發(fā)展，電子穩(wěn)像技術(shù)逐漸的取代了機(jī)械穩(wěn)像和光學(xué)穩(wěn)像成為目前運(yùn)用最廣泛的穩(wěn)像技術(shù)[1]。而在電子穩(wěn)像技術(shù)的發(fā)展過(guò)程中又根據(jù)算法的不同分為多種穩(wěn)像法，主要包括：代表點(diǎn)匹配算法(RPM)，投影算法(PRA)，位平面匹配算法(BPM)，特征量跟蹤算法(FTA)[2]，代表點(diǎn)比較算法(BERP)，塊匹配算法(BMA)，邊沿檢測(cè)匹配算法(EDA)[3-4]，頻域估計(jì)算法(FDE)和光流算法(OF)等[5-7]。其中，灰度投影算法由于其運(yùn)算速度快[8-9]、性能穩(wěn)定而被廣泛應(yīng)用。而灰度投影算法在處理存在運(yùn)動(dòng)物體的圖像時(shí)，會(huì)產(chǎn)生不盡如人意的結(jié)果——偏移量跳變，這種跳變的表現(xiàn)是偏移量突然大幅度增加或減少。本文提出了一種對(duì)灰度投影改進(jìn)的方法，可以有效的消除灰度投影算法在處理有運(yùn)動(dòng)物體存在的圖像時(shí)所產(chǎn)生的錯(cuò)誤運(yùn)動(dòng)估計(jì)現(xiàn)象。同時(shí)設(shè)計(jì)了一套針對(duì)圖像序列是否需要穩(wěn)像，以及穩(wěn)像后是否達(dá)到穩(wěn)像效果的檢驗(yàn)策略，這樣可以達(dá)到電子穩(wěn)像系統(tǒng)自動(dòng)檢測(cè)并決定何時(shí)對(duì)圖像進(jìn)行穩(wěn)像處理的效果。

1 電子穩(wěn)像算法及灰度投影

電子穩(wěn)像算法是通過(guò)電子設(shè)備采集圖像序列，同時(shí)運(yùn)用數(shù)字圖像處理的方法直接處理所得圖像序列，確定圖像偏移量并進(jìn)行相應(yīng)補(bǔ)償來(lái)達(dá)到圖像穩(wěn)定的一種方法，如圖1所示為電子穩(wěn)像處理過(guò)程。

圖1 電子穩(wěn)像處理過(guò)程

運(yùn)用灰度投影算法主要包括4個(gè)步驟：

1)先將采集來(lái)的圖像轉(zhuǎn)化成灰度圖。

2)進(jìn)行灰度投影運(yùn)算，即將圖像的每一行或列的灰度值相加，投影公式如下：

(1)

上式中row(i)是第i行的投影值，column(j)是圖像第j列的投影值，pic(i,j)是圖像點(diǎn)(i,j)處的灰度值。

3)進(jìn)行相關(guān)運(yùn)算，得到抖動(dòng)偏移量，列相關(guān)運(yùn)算公式如下：

1≤w≤2M+1

(2)

其中C(w)是相關(guān)運(yùn)算值，M是檢測(cè)圖像抖動(dòng)的范圍。Wmin是C(w)最小時(shí)W的值，可得圖像在縱向上的位移量motionc。行相關(guān)運(yùn)算亦如此。

motionc=M+1-Wmin

(3)

4)將發(fā)生抖動(dòng)的圖像反向移動(dòng)motionr，motionc后得到的圖像為穩(wěn)定圖像。

2 改進(jìn)的灰度投影算法

由設(shè)備獲取視頻圖像時(shí)，難免有運(yùn)動(dòng)物體出現(xiàn)在圖像中，因此可能導(dǎo)致兩種情況：

1)圖像沒有發(fā)生抖動(dòng)，而灰度投影算法可能會(huì)誤判為圖像發(fā)生抖動(dòng)而對(duì)圖像進(jìn)行處理。

2)圖像正好發(fā)生抖動(dòng)，而物體的運(yùn)動(dòng)會(huì)對(duì)灰度投影算法造成一定的影響，出現(xiàn)錯(cuò)誤穩(wěn)像。

如何使運(yùn)動(dòng)物體不影響到算法是解決問題的關(guān)鍵。

2.1 檢測(cè)運(yùn)動(dòng)物體的運(yùn)動(dòng)趨勢(shì)及范圍

在視頻捕獲過(guò)程中，運(yùn)動(dòng)物體穿越拍攝區(qū)域時(shí)其走向是不確定的，物體或是橫向運(yùn)動(dòng)，或是縱向運(yùn)動(dòng)，還有可能是斜向運(yùn)動(dòng)。而斜向運(yùn)動(dòng)在連續(xù)單幅圖像中可以被看做是橫向運(yùn)動(dòng)和縱向運(yùn)動(dòng)的組合，因此總的來(lái)說(shuō)可以把物體運(yùn)動(dòng)方向分為：橫向與縱向。下面以橫向?yàn)槔f(shuō)明(后面沒有特殊說(shuō)明，均為橫向)，縱向亦然。

1)情況一：未發(fā)生抖動(dòng)的運(yùn)動(dòng)物體檢測(cè)方法。

在物體開始出現(xiàn)在圖像中的幾幀圖像中，讀取連續(xù)兩幀圖像，一幀為參考圖像A，另一幀為待檢測(cè)圖像B。將A ,B兩圖分別做灰度投影，然后將兩圖像的投影值相減，得到投影差值[10-12]。下列為行的相關(guān)算式：

rowsub(i)=|rowA(i)-rowB(i)|

(4)

(5)

其中rowsub(i)是行投影差值，Rsum是行投影差值的平均值。用投影差值減去平均值后取大于零的部分，行這部分的個(gè)數(shù)多于列的相對(duì)應(yīng)的個(gè)數(shù)，說(shuō)明物體是做橫向運(yùn)動(dòng)的；反之，為縱向運(yùn)動(dòng)。因?yàn)橐话阄矬w進(jìn)入圖像的一剎那，必然有一邊的變化是寬的而另一邊是窄的。同時(shí)根據(jù)大于零的灰度變化區(qū)域可以估計(jì)出物體的大概運(yùn)動(dòng)范圍。通過(guò)對(duì)連續(xù)圖像的運(yùn)動(dòng)范圍值的記錄，取其平均值可以得到比較準(zhǔn)確的物體運(yùn)動(dòng)范圍，如圖2可知物體運(yùn)動(dòng)范圍大概在(110,360)之間。

圖2 無(wú)抖動(dòng)時(shí)物體運(yùn)動(dòng)的區(qū)域與投影差值

2)情況二：發(fā)生抖動(dòng)的運(yùn)動(dòng)物體檢測(cè)方法。

情況二與情況一基本一致，只是情況二讀取的圖像B是穩(wěn)像后的圖像，如圖3所示。這里說(shuō)明一下，在運(yùn)動(dòng)物體進(jìn)入圖像的初期，由于其灰度變化面積較小而不影響灰度投影算法，這一說(shuō)法在隨后的實(shí)驗(yàn)驗(yàn)證中有詳細(xì)證明。

圖3 抖動(dòng)時(shí)物體運(yùn)動(dòng)區(qū)域與投影差值

2.2 圖像裁剪修補(bǔ)處理

在得到運(yùn)動(dòng)范圍之后，便可對(duì)圖像進(jìn)行裁剪修補(bǔ)處理。這里的裁剪修補(bǔ)是將圖像的有變化的部分用變化前的相應(yīng)部分替代，使圖像盡量不要包含有運(yùn)動(dòng)物體的灰度信息。假設(shè)運(yùn)動(dòng)物體的運(yùn)動(dòng)范圍是(a，b)，且a，b滿足0

1)情況一：如圖4所示，直接把(m×n)的圖像B的第a行的灰度信息由A的第a行的灰度信息取代，以此類推，圖像B的第b行的灰度信息由A的第b行的灰度信息取代，得到新的圖像D。

圖4 情況一時(shí)的裁剪修補(bǔ)效果

2)情況二：如圖5所示，圖像B的第a行的灰度信息由A的第(a-dx)行的灰度信息取代，以此類推，圖像B的第b行的灰度信息由A的第(b-dx)行的灰度信息取代，dx為上一幅圖的橫向偏移量，得到新的圖像D。

圖5 情況二時(shí)的裁剪修補(bǔ)效果

裁剪修補(bǔ)完成后，圖像受到運(yùn)動(dòng)物體的影響將會(huì)有很大程度的減少，此時(shí)再次通過(guò)灰度投影算法進(jìn)行穩(wěn)像可以達(dá)到很好的效果。

2.3 實(shí)驗(yàn)分析

結(jié)合灰度投影的知識(shí)解釋上述問題，因?yàn)榛叶韧队爸凳菍⒚恳恍谢蛎恳涣械幕叶戎导悠饋?lái)所得到的。對(duì)于像素比較高的圖像來(lái)說(shuō)，比如640×480的圖像，每一行的投影值可能是0～122 400之間。一般情況下，投影值都會(huì)有幾萬(wàn)。而一些所占面積小且運(yùn)動(dòng)范圍窄的物體，其灰度信息不會(huì)影響整幅圖投影值的趨勢(shì)。

如圖6可以看到行、列投影都沒有明顯的變化，而這些不明顯的變化對(duì)投影穩(wěn)像算法來(lái)說(shuō)，是不會(huì)改變相關(guān)運(yùn)算中最小值的位置的，也就不會(huì)影響穩(wěn)像的性能。而當(dāng)物體的運(yùn)動(dòng)達(dá)到一定寬度時(shí)，同時(shí)物體的所占面積也達(dá)到一定范圍的時(shí)候，就必然會(huì)影響到相關(guān)運(yùn)算中的最小值。

圖6 不影響時(shí)兩幅圖的行、列投影值對(duì)比圖

圖7中的兩行、列投影值圖具有明顯的不同之處，尤其是行投影。經(jīng)過(guò)試驗(yàn)證明這兩副圖做穩(wěn)像處理時(shí)就會(huì)發(fā)生錯(cuò)穩(wěn)現(xiàn)象，如圖9中的C圖。

圖7 有影響時(shí)兩幅圖的行、列投影值對(duì)比圖

此時(shí)就需要裁剪修補(bǔ)方法對(duì)圖像進(jìn)行處理。在經(jīng)過(guò)裁剪修補(bǔ)處理后的對(duì)比圖中，行、列的投影值變化不是很明顯了，這樣就減小了運(yùn)動(dòng)物體在圖像中的影響信息量，改善了在這種情況下灰度投影算法的可靠性，如圖8所示。

圖8 裁剪修補(bǔ)處理后圖像行、列投影值對(duì)比圖

2.4 實(shí)驗(yàn)及對(duì)比結(jié)果

圖9中A為參考幀，B、C為灰度投影穩(wěn)像算法處理的連續(xù)兩幀圖像；D為參考幀，E、F為用改進(jìn)方法處理的連續(xù)兩幀圖像。從圖中可以清楚的看出，當(dāng)運(yùn)動(dòng)物體通過(guò)拍攝區(qū)域時(shí)，會(huì)引起穩(wěn)像系統(tǒng)的錯(cuò)誤判斷，從而導(dǎo)致圖像更加不穩(wěn)定，因此很大程度降低了穩(wěn)像的效果。而經(jīng)過(guò)改進(jìn)方法處理過(guò)的圖像可以很好的避開干擾因素，使灰度投影穩(wěn)像算法保持很高的穩(wěn)定性。

圖9 用灰度投影穩(wěn)像算法與改進(jìn)方法處理的圖像

同時(shí)，在實(shí)驗(yàn)過(guò)程中還發(fā)現(xiàn)不是所有穿越圖像的物體都能影響到灰度投影算法。于是這里根據(jù)物體的大小、顏色、形狀以及物體進(jìn)入圖像的位置，做了詳細(xì)的實(shí)驗(yàn)分析。分析得出運(yùn)動(dòng)寬度占圖像寬度的35%以下時(shí)，不論物體形狀和背景的變化，經(jīng)過(guò)灰度投影穩(wěn)像算法處理后出錯(cuò)的圖像基本沒有。而當(dāng)運(yùn)動(dòng)寬度增加到35%以上時(shí)，經(jīng)過(guò)處理的圖像都不同程度的出現(xiàn)錯(cuò)穩(wěn)現(xiàn)象，且有隨著運(yùn)動(dòng)寬度增大，運(yùn)動(dòng)物體所占面積的增大，錯(cuò)穩(wěn)幀數(shù)也出現(xiàn)逐漸增加的趨勢(shì)。

3 穩(wěn)像結(jié)果檢測(cè)策略

攝像機(jī)或其他視頻采集工具拍攝視頻是一個(gè)連續(xù)不間斷的過(guò)程，而其中設(shè)備發(fā)生抖動(dòng)只是一個(gè)短暫的，甚至不連續(xù)的過(guò)程。如果穩(wěn)像系統(tǒng)對(duì)每幅圖都做穩(wěn)像處理的話，會(huì)做很多無(wú)用功，這樣就造成對(duì)硬件資源的浪費(fèi)。

針對(duì)圖像大部分是穩(wěn)定的這一事實(shí)，本文提出在穩(wěn)像過(guò)程中首先做簡(jiǎn)單的投影差值判斷，判斷圖像是否發(fā)生抖動(dòng)，如果不是，直接跳到下一幀圖像再做投影差值判斷；反之，對(duì)圖像進(jìn)行穩(wěn)像處理，處理后的圖像再做投影差值判斷，進(jìn)一步確定穩(wěn)像是否成功。當(dāng)穩(wěn)像成功時(shí)，直接跳到下一幀，否則，可能有物體進(jìn)入攝像區(qū)域，這時(shí)再采用改進(jìn)方法處理，處理完后跳到下一幀。

這一檢測(cè)過(guò)程，不僅可以節(jié)省硬件資源，同時(shí)還對(duì)穩(wěn)像效果做出檢測(cè)，使整個(gè)系統(tǒng)達(dá)到一個(gè)高效的、穩(wěn)定的穩(wěn)像平臺(tái)。流程圖如圖10所示。

圖10 結(jié)果檢測(cè)策略流程圖

4 結(jié) 論

充分利用灰度信息，并通過(guò)對(duì)運(yùn)動(dòng)物體的形狀、顏色、大小及在圖像中的位置等條件進(jìn)行分析，驗(yàn)證了對(duì)圖像的裁剪修補(bǔ)措施可以很好的消除圖像中出現(xiàn)的運(yùn)動(dòng)物體對(duì)灰度投影算法所造成的影響。同時(shí)結(jié)合運(yùn)動(dòng)物體檢測(cè)的方法，對(duì)投影算法做出了改進(jìn)，并對(duì)穩(wěn)像系統(tǒng)也提出了不盲目穩(wěn)像的策略，使系統(tǒng)以更高效的方式工作。

參考文獻(xiàn)：

[1]韓紹坤，趙躍進(jìn)，劉明奇.電子穩(wěn)像技術(shù)及其發(fā)展[J].光學(xué)技術(shù)，2001,1(1):71-73.

[2]趙紅穎，金宏，熊經(jīng)武.電子穩(wěn)像技術(shù)概述[J].光學(xué)與精密工程，2001,8(4): 353-359.

[3]石佼，李晉惠.電子穩(wěn)像技術(shù)算法研究[J].方法與理論，2007,3(3):18-24.

[4]張德豐,張葡青.基于小波的圖像邊緣檢測(cè)算法研究[J].中山大學(xué)學(xué)報(bào):自然科學(xué)版,2007,46(3):39-42.

[5]POURREZA H R，RAHMATT M，BEHAZIN F.An electronic digital image stabilizer based on stationary wavelet transforms (SWT)[J].ICIP，2003，2:383-386.

[6]ERTURK S， DENNIS T J.Image sequence stabilization based on DFT filtering[J].IEEE Proc on Image Vision and Signal Processing,2000,127:95-102.

[7]CHANG Jyhyeong,HU Wenfeng,CHENG Muhuo,et al.Digital image translational and rotational motion stabilization using optical flow technique[J].IEEE Transactions on Consumer Electronics,2002,48(1):108-115.

[8]余博,郭雷,趙天云.基于對(duì)數(shù)極坐標(biāo)變換的灰度投影穩(wěn)像算法[J].計(jì)算機(jī)應(yīng)用,2008,28(12):3127 -3128.

[9]張國(guó)棟,王明泉,郭棟.基于灰度投影算法的實(shí)時(shí)電子穩(wěn)像研究[J].微電子學(xué)與計(jì)算機(jī),2010,27 (10) :53-56.

[10]張朝陽(yáng)，潘保昌，鄭勝林.基于幀差的灰度投影的快速運(yùn)動(dòng)物體檢測(cè)[J].廣東工業(yè)大學(xué)學(xué)報(bào),2008,9(3):76-80.

[11]趙有婷,李熙瑩,羅東華.基于視頻車輛軌跡模型的交通事件自動(dòng)檢測(cè)方法研究[J].中山大學(xué)學(xué)報(bào):自然科學(xué)版,2011,50(4):56-60.

[12]肖敬文,余志,聶佩林,等.基于幾何與顏色特征的公交車輛視頻檢測(cè)算法[J].中山大學(xué)學(xué)報(bào):自然科學(xué)版,2005,44(2):152-155.