金 陽(yáng)，程江華，任 通，庫(kù)錫樹

(國(guó)防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410073)

電視視頻中的臺(tái)標(biāo)是對(duì)電視節(jié)目來源、類型等屬性的描述。通過臺(tái)標(biāo)自動(dòng)提取的方法，在數(shù)據(jù)量龐大的視頻文件庫(kù)或者實(shí)時(shí)視頻流中快速、準(zhǔn)確地實(shí)現(xiàn)臺(tái)標(biāo)的自動(dòng)定位和提取，能夠?yàn)橄嚓P(guān)的視頻自動(dòng)搜索、收錄、分析和檢索提供有效的技術(shù)支持。因此，能否有效檢測(cè)出視頻中的臺(tái)標(biāo)，對(duì)后續(xù)視頻臺(tái)標(biāo)識(shí)別和視頻分析具有前瞻性的意義。

當(dāng)前電視視頻中的臺(tái)標(biāo)檢測(cè)存在的難點(diǎn)主要有兩個(gè):一是電視視頻背景復(fù)雜，如光強(qiáng)變化大、內(nèi)容切換快等，使得電視臺(tái)標(biāo)在檢測(cè)過程中受背景的影響很大;二是電視視頻臺(tái)標(biāo)趨向半透明化，使用傳統(tǒng)的閾值分割、邊緣檢測(cè)技術(shù)很難提取出效果理想的臺(tái)標(biāo)圖像。一般臺(tái)標(biāo)檢測(cè)算法基于視頻幀灰度差，對(duì)不透明臺(tái)標(biāo)而言，檢測(cè)效果較好，但對(duì)于半透明臺(tái)標(biāo)，臺(tái)標(biāo)的檢測(cè)效果極易受到背景的干擾。Ozay等[1]提出一種基于平均時(shí)間邊界的臺(tái)標(biāo)檢測(cè)方法，能夠有效提取不透明和半透明臺(tái)標(biāo)，但對(duì)單獨(dú)臺(tái)標(biāo)圖形的獲取未作具體算法描述。Meisinger等[2]采用臺(tái)標(biāo)區(qū)域限定統(tǒng)計(jì)模型和場(chǎng)景替換的方法，得到較好的臺(tái)標(biāo)檢測(cè)結(jié)果，但是人為設(shè)置的參數(shù)偏多導(dǎo)致自動(dòng)化和通用性較差。Xiao等[3]提出了基于支持矢量機(jī)(SVM)的臺(tái)標(biāo)識(shí)別方法，能夠有效檢測(cè)并識(shí)別臺(tái)標(biāo)圖像，但其計(jì)算復(fù)雜，算法實(shí)時(shí)性較差。

筆者之前發(fā)表的一種基于二值圖角點(diǎn)匹配的臺(tái)標(biāo)識(shí)別方法[4]在臺(tái)標(biāo)的檢測(cè)這一步驟中存在不足，利用圖像幀間差分累加求平均的方法同樣也特別容易受到復(fù)雜背景變換等情況的干擾。本文針對(duì)當(dāng)前電視臺(tái)標(biāo)檢測(cè)過程中存在的問題，提出一種視頻幀加權(quán)的自動(dòng)臺(tái)標(biāo)檢測(cè)方法，該方法可有效解決復(fù)雜背景變化下和半透明臺(tái)標(biāo)檢測(cè)問題。

1 系統(tǒng)總體設(shè)計(jì)

本文系統(tǒng)流程圖如圖1所示。

圖1 系統(tǒng)流程圖

臺(tái)標(biāo)檢測(cè)分為3步驟:1)確定臺(tái)標(biāo)區(qū)域并利用視頻流背景加權(quán)更新方法，得到較好的含有臺(tái)標(biāo)的背景灰度圖像;2)利用Canny邊緣檢測(cè)算法，在穩(wěn)定的臺(tái)標(biāo)灰度圖像區(qū)域的基礎(chǔ)上，得到二值化臺(tái)標(biāo)輪廓;3)運(yùn)用簡(jiǎn)化的分水嶺填充方法，對(duì)二值化臺(tái)標(biāo)輪廓進(jìn)行有效填充，得到單個(gè)純凈的臺(tái)標(biāo)圖像。

本文摒棄以往先提取視頻關(guān)鍵幀，然后處理關(guān)鍵幀的思路，提出直接對(duì)視頻流進(jìn)行處理的方法，利用視頻流不斷有視頻幀進(jìn)行實(shí)時(shí)數(shù)據(jù)更新的特點(diǎn)，采用基于視頻流背景加權(quán)更新方法，得到的臺(tái)標(biāo)區(qū)域圖像其背景具有較強(qiáng)的穩(wěn)定性，為后續(xù)臺(tái)標(biāo)圖像正確提取提供了保證。

系統(tǒng)設(shè)計(jì)的思想基礎(chǔ)基于以下兩點(diǎn)考慮:

1)復(fù)雜背景情況:為了使臺(tái)標(biāo)所在區(qū)域的圖像背景更加穩(wěn)定，必須要求盡量去除臺(tái)標(biāo)所在區(qū)域背景的更新或者瞬間強(qiáng)光照等對(duì)臺(tái)標(biāo)圖像的影響。采用視頻流加權(quán)處理方法能夠有效避免這些不利因素對(duì)臺(tái)標(biāo)圖像的干擾。

2)臺(tái)標(biāo)半透明情況:半透明臺(tái)標(biāo)圖像隨著視頻背景的更新，其像素點(diǎn)值不斷發(fā)生變化，即使背景變化不太明顯，也能導(dǎo)致臺(tái)標(biāo)圖像受到干擾。利用邊緣提取方法，直接提取臺(tái)標(biāo)圖像輪廓，能夠有效避免像素值隨背景變換發(fā)生改變。

2 臺(tái)標(biāo)檢測(cè)

2.1 視頻流加權(quán)背景更新分割

2.1.1 臺(tái)標(biāo)區(qū)域確定

根據(jù)先驗(yàn)常識(shí)，臺(tái)標(biāo)一般位于視頻圖像幀4個(gè)角落位置之一，如果直接對(duì)電視視頻圖像全圖進(jìn)行臺(tái)標(biāo)搜索，則計(jì)算量較大。本文采用通用的最優(yōu)區(qū)域規(guī)則(GSR)[5]進(jìn)行視頻圖像區(qū)域分塊。

依據(jù)GSR圖像分塊規(guī)則，將圖像按照水平和垂直方向3∶5∶3的比例進(jìn)行劃分，分塊結(jié)果如圖2a所示。

圖2 GSR圖像分塊模型

為便于處理，先將彩色視頻幀轉(zhuǎn)換為灰度圖，利用GSR圖像分塊規(guī)則，按照一定比例得到含有臺(tái)標(biāo)區(qū)域的灰度圖像如圖2b所示，從圖中可以看到，臺(tái)標(biāo)所在的位置為圖像的左上角區(qū)域，這樣直接利用先驗(yàn)知識(shí)結(jié)合一定的圖像分塊規(guī)則，得到包含臺(tái)標(biāo)圖像較精確的區(qū)域位置，為臺(tái)標(biāo)檢測(cè)和定位減少了計(jì)算量。

2.1.2 視頻流背景加權(quán)更新

傳統(tǒng)臺(tái)標(biāo)提取方法先根據(jù)一定的準(zhǔn)則確定視頻關(guān)鍵幀，然后對(duì)視頻關(guān)鍵幀進(jìn)行處理，這樣的處理方法對(duì)關(guān)鍵幀具有很強(qiáng)的依賴性，如果某一關(guān)鍵幀圖像質(zhì)量較差，或受背景干擾較大，勢(shì)必造成臺(tái)標(biāo)檢測(cè)困難。Ozay等[1]提出一種基于平均時(shí)間邊界的臺(tái)標(biāo)檢測(cè)方法，其實(shí)質(zhì)是對(duì)二值化臺(tái)標(biāo)輪廓進(jìn)行時(shí)間平均處理，故對(duì)每一幀的圖像所提取的輪廓質(zhì)量要求較高，換言之，如果有一幅圖像因?yàn)閺?qiáng)光或者強(qiáng)背景干擾導(dǎo)致提取出的臺(tái)標(biāo)輪廓質(zhì)量很差，那么將影響到最后臺(tái)標(biāo)輪廓的確定。

本文在背景更新部分的思想是:先進(jìn)行時(shí)間背景更新，再進(jìn)行臺(tái)標(biāo)輪廓提取。取n幀視頻幀作為一次處理單元(根據(jù)視頻流幀率，選擇人眼能夠觀測(cè)出變化的演示過程，大約2 s)，定義此處理單元的初始幀為f1，第i幀為fi，第一幀加權(quán)幀定義為F1，則第i幀加權(quán)幀可以定義為

式中:α取值為1/n，具體幀數(shù)選擇的原則是臺(tái)標(biāo)所在區(qū)域的背景一直更新到一次性處理單元所取得最后一幀視頻圖像為止，這樣就可以很好地避免因?yàn)樗矔r(shí)強(qiáng)光以及復(fù)雜背景的變換對(duì)臺(tái)標(biāo)圖像造成的干擾，背景更新效果如圖3所示，圖3a～3f分別為初始背景圖像以及不斷進(jìn)行背景加權(quán)更新后的圖像背景，可以看出，該方法能夠有效消除視頻中復(fù)雜背景的干擾以及瞬時(shí)強(qiáng)光照射等問題。

圖3 視頻流加權(quán)背景更新

2.2 臺(tái)標(biāo)的邊緣檢測(cè)和輪廓提取

2.2.1 臺(tái)標(biāo)邊緣檢測(cè)

邊緣檢測(cè)普遍采用的方法有:Prewitt，LoG，Canny和Sobel等算子。2.1節(jié)視頻幀加權(quán)背景處理后的臺(tái)標(biāo)區(qū)域圖像，受復(fù)雜背景影響小，利用Canny邊緣檢測(cè)算法[6]，能夠得到比較好的邊緣效果。其一般步驟為:

1)圖像使用高斯平滑濾波器，減少噪聲的干擾;

3)對(duì)檢測(cè)到的各個(gè)像素點(diǎn)進(jìn)行梯度幅值非極大值抑制;

4)利用兩個(gè)閾值T1和T2進(jìn)行閾值處理實(shí)現(xiàn)線檢測(cè)以及邊緣連接。

2.2.2 輪廓提取

Canny算法最重要的特點(diǎn)是其試圖將獨(dú)立邊緣的候選像素點(diǎn)并入邊緣，進(jìn)行拼接形成輪廓。輪廓的形成需要用到上限和下限兩個(gè)閾值，上限決定強(qiáng)邊緣像素點(diǎn)，即直接歸類為邊緣像素點(diǎn)，下限決定弱邊緣像素點(diǎn)，即直接歸類為非邊緣像素點(diǎn)，如果像素點(diǎn)梯度幅值介于上下限之間，則稱其為亞像素邊緣點(diǎn)，當(dāng)其所在的像素點(diǎn)位置處于強(qiáng)像素點(diǎn)定義的連接區(qū)域內(nèi)，即符合人為程序設(shè)定的“連接點(diǎn)”要求時(shí)，此像素點(diǎn)被歸類為邊緣點(diǎn)，并與強(qiáng)邊緣像素點(diǎn)進(jìn)行連接。

影響Canny算法亞像素邊緣點(diǎn)連接的因素有兩個(gè):一是上下限的比值，Canny所建議運(yùn)用的上下限有一定的比值關(guān)系，上下限的閾值比最好介于2∶1和3∶1之間;二是上下限的具體取值問題。

針對(duì)這兩個(gè)問題，在程序設(shè)計(jì)中，為盡量減少人為因素對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生的影響，只設(shè)置唯一一個(gè)人為控制變量，即確定Canny上下限具體數(shù)值的手動(dòng)滑條，可以更加直觀地看到在不同取值時(shí)獲得的臺(tái)標(biāo)輪廓效果，同時(shí)可以調(diào)節(jié)上下限取值，使輪廓效果達(dá)到最好。不同的上下限取值所獲得的臺(tái)標(biāo)輪廓圖像如圖4所示，實(shí)驗(yàn)設(shè)定的參數(shù)如表1所示。

實(shí)驗(yàn)所用的圖像幀均為視頻圖像初始幀。由實(shí)驗(yàn)結(jié)果可以清楚地看到，只要在2∶1和3∶1之間，上下限取值比相差不太懸殊，其輪廓的效果相差不多，而對(duì)于上下限的具體取值則可以清楚地反映出具體邊緣提取的好壞程度。

2.3 簡(jiǎn)化的分水嶺臺(tái)標(biāo)填充方法

圖4 臺(tái)標(biāo)邊緣檢測(cè)及輪廓提取

表1 實(shí)驗(yàn)參數(shù)取值表

基于形態(tài)學(xué)分水嶺分割算法[6]的主要思想是水壩的構(gòu)造，水壩的構(gòu)造是由所設(shè)置好的在這條路徑上的點(diǎn)的值為比圖像中灰度級(jí)的最大值還要大的值來完成，所有水壩的高度通常設(shè)定為1加上圖像中灰度級(jí)最大允許值。主要方法是將灰度圖像看成地形圖，每一個(gè)像素點(diǎn)的灰度值看成所在點(diǎn)地形的高度，通過不斷地在局部極小值點(diǎn)(低洼地)處加水，并且讓水以均勻的速率上升，從低到高淹沒整個(gè)地形，直到達(dá)到水位的最大值，最后剩下的部分對(duì)應(yīng)于分水線，此分水線即為分割結(jié)果，水壩的構(gòu)造就是建立在此分水線基礎(chǔ)上的。

這種形態(tài)學(xué)的分水嶺分割算法是已知圖像的某些極小值點(diǎn)，然后通過程序設(shè)定的連通規(guī)則，將屬于某一極小值所在的“盆地”進(jìn)行“注水”填充處理，最后得到分水線，在分水線的基礎(chǔ)上構(gòu)造水壩，其過程如圖5a所示。

實(shí)現(xiàn)簡(jiǎn)化的分水嶺臺(tái)標(biāo)區(qū)域填充方法，其過程剛好和分水嶺分割算法相反，如圖5b所示，通過2.2節(jié)臺(tái)標(biāo)圖像輪廓的提取，得到了已知的水壩，現(xiàn)在的任務(wù)是要在被水壩包圍的一個(gè)連通域內(nèi)進(jìn)行“注水”處理，而被水壩孤立和水壩以外的區(qū)域不進(jìn)行“注水”處理，使得被水壩包圍的區(qū)域的水面上升至和水壩一樣的高度，那么這個(gè)被水壩包圍區(qū)域的上升后的水面，再加上水壩，就共同構(gòu)成了所需的臺(tái)標(biāo)圖像區(qū)域。水壩所形成的各個(gè)區(qū)域劃分的二維視圖如圖6a所示，A，B，C三處分別表示水壩以外的區(qū)域，被水壩孤立的區(qū)域以及水壩包圍的區(qū)域;其三維視圖如圖6b所示。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)的條件為Visual C++6.0版本仿真軟件，MATLAB 7.0軟件版本，所用到的視頻文件為湖南衛(wèi)視某一期跨年演唱會(huì)節(jié)目視頻。

臺(tái)標(biāo)檢測(cè)的各個(gè)過程主要演示過程如圖7所示，本文的目的就是要得到只包含有單一純凈的灰度臺(tái)標(biāo)圖像，通過簡(jiǎn)化的分水嶺臺(tái)標(biāo)填充方法可以獲得如圖7d所示填充后的臺(tái)標(biāo)圖像，通過圖7d中填充的相應(yīng)區(qū)域，在原始的視頻流灰度圖像中，通過對(duì)應(yīng)的像素點(diǎn)值，就能夠直接提取出純凈的灰度臺(tái)標(biāo)圖像，如圖7e所示。

圖7 臺(tái)標(biāo)檢測(cè)各個(gè)過程的主要演示圖片

實(shí)驗(yàn)過程中，直接對(duì)視頻文件進(jìn)行處理，能夠完全實(shí)現(xiàn)臺(tái)標(biāo)的自動(dòng)檢測(cè)，唯一人工控制進(jìn)行干預(yù)的變量就是在臺(tái)標(biāo)邊緣檢測(cè)時(shí)，設(shè)置Canny算子上下限取值。由實(shí)驗(yàn)結(jié)果可知:在背景更新部分，能夠較好地得到加權(quán)背景圖像，去除復(fù)雜背景以及瞬時(shí)強(qiáng)光的干擾等因素的影響;在臺(tái)標(biāo)邊緣檢測(cè)部分，充分利用Canny算子利用上下限雙閾值的方法，加入人工控制等因素，能夠有效地提取出連續(xù)的臺(tái)標(biāo)邊緣;在簡(jiǎn)化分水嶺臺(tái)標(biāo)圖像填充部分，利用臺(tái)標(biāo)本身的連通性結(jié)合水壩分割等原理，得到較好的臺(tái)標(biāo)填充圖像;最后從原始視頻幀中提取出純凈的灰度臺(tái)標(biāo)圖像。

4 小結(jié)

復(fù)雜的背景變化及半透明化趨勢(shì)，使得電視臺(tái)標(biāo)的的檢測(cè)變得困難。本文提出基于視頻幀加權(quán)背景處理的臺(tái)標(biāo)檢測(cè)方法，能夠?qū)崿F(xiàn)臺(tái)標(biāo)圖像在抗復(fù)雜背景干擾及半透明情況下，均具有較強(qiáng)的穩(wěn)定性，同時(shí)結(jié)合有效邊緣檢測(cè)算法，得到臺(tái)標(biāo)輪廓，在簡(jiǎn)化分水嶺填充方法基礎(chǔ)上實(shí)現(xiàn)了臺(tái)標(biāo)圖像的填充。實(shí)驗(yàn)結(jié)果表明，提出的算法能夠有效提取出復(fù)雜背景下半透明的電視臺(tái)標(biāo)，為后續(xù)臺(tái)標(biāo)匹配和識(shí)別奠定了技術(shù)基礎(chǔ)。

[1]OZAY N，SANKUR B.Automatic TV logo detection and classification in broadcast videos[C]//Proc.17th European Signal Processing Conference.Glasgow Scotland:EURASIP，2009:839－843.

[2]MEISINGER K，TROEGER T，ZELLER M，et al.Automatic TV logo removal using statistical basedlogo detection and frequency selective inpainting[C]//Proc.European Signal Processing Conference，2005.[S.l.]:EURASIP，2005.

[3]XIAO G，DONG Y，LIU Z，et al.Supervised TV logo detection based on SVMS[C]//Proc.2nd IEEE International Conference on Network Infra-structure and Digital Content.[S.l.]:IEEE Press，2010:174－178.

[4]金陽(yáng)，程江華，任通，等.一種基于二值圖角點(diǎn)匹配的臺(tái)標(biāo)識(shí)別方法[J].電視技術(shù)，2012，36(17):15－19.

[5]EKIN A，BRASPENNING R.Spatial detection of TV channel logos as outliers from the content[C]//Proc.Visual Communication and Image Processing，2006.[S.l.]:SPIE，2006.

[6]岡薩雷斯.數(shù)字圖像處理:MATLAB版[M].阮秋琦，阮宇智，譯.2版.北京:電子工業(yè)出版社，2005:293.