周清
(江西廣播電視網(wǎng)絡(luò)傳輸有限公司,江西 南昌 330000)
有線網(wǎng)絡(luò)公司靜幀監(jiān)測(cè)算法優(yōu)化實(shí)踐
周清
(江西廣播電視網(wǎng)絡(luò)傳輸有限公司,江西 南昌 330000)
圖像靜幀故障的及時(shí)準(zhǔn)確發(fā)現(xiàn)和快速處理,是有線網(wǎng)絡(luò)公司日常運(yùn)維的一項(xiàng)重要工作。傳輸節(jié)目的多樣性導(dǎo)致了靜幀監(jiān)測(cè)算法的復(fù)雜性,結(jié)合機(jī)房運(yùn)維的實(shí)際情況,提出了以靈敏度和靜幀抑制策略為核心,輔以靜幀運(yùn)行圖的一整套靜幀監(jiān)測(cè)優(yōu)化算法,取得了很好的效果,極大地提升了靜幀報(bào)警的有效性,減輕了機(jī)房值班人員的工作強(qiáng)度。
有線網(wǎng)絡(luò)公司;靜幀監(jiān)測(cè);靈敏度;靜幀抑制
隨著廣播電視技術(shù)的不斷發(fā)展,各地有線網(wǎng)絡(luò)公司傳輸?shù)臄?shù)字電視節(jié)目數(shù)量不斷增加,在豐富了人民群眾精神生活的同時(shí),安全播出的工作也面臨著越來(lái)越大的挑戰(zhàn)。圖像靜幀是各級(jí)廣電單位機(jī)房日常值班維護(hù)中需要重點(diǎn)關(guān)注的一種故障現(xiàn)象,對(duì)于各地有線網(wǎng)絡(luò)公司而言,其傳輸?shù)臄?shù)字電視節(jié)目眾多,來(lái)源和節(jié)目播出特征也多種多樣,情況相比電視臺(tái)等單位更為復(fù)雜。一般來(lái)說(shuō),網(wǎng)絡(luò)公司機(jī)房運(yùn)維值班對(duì)于靜幀監(jiān)測(cè)的基本訴求如下:
1)對(duì)于播出、傳輸設(shè)備故障引起的圖像靜止,能快速準(zhǔn)確報(bào)出,為及時(shí)處置提供依據(jù);
2)對(duì)于講座類容易出現(xiàn)圖像不動(dòng)的頻道,能盡量減少甚至規(guī)避節(jié)目正常播出時(shí)可能存在的靜幀報(bào)警;
3)對(duì)于夜間停播的頻道,報(bào)警狀態(tài)能夠穩(wěn)定持續(xù),避免出現(xiàn)報(bào)警在發(fā)生和恢復(fù)之間來(lái)回變化的情況,干擾對(duì)重點(diǎn)播出頻道的安全監(jiān)控;
4)出現(xiàn)靜幀故障時(shí),值班人員需要有途徑能進(jìn)行快速的處理和甄別,以便不影響其他頻道的監(jiān)視。
主流的數(shù)字電視監(jiān)視監(jiān)測(cè)系統(tǒng)都提供了對(duì)圖像靜幀的監(jiān)測(cè)報(bào)警功能,但因?yàn)槿狈?duì)網(wǎng)絡(luò)公司機(jī)房傳輸節(jié)目靜幀特性、機(jī)房值班實(shí)際情況的了解,常規(guī)的靜幀報(bào)警功能不能很好地解決上述問(wèn)題。為此,本文提出了一種以靈敏度和靜幀抑制策略為核心,輔以靜幀運(yùn)行圖的一整套靜幀監(jiān)測(cè)優(yōu)化算法,取得了良好的效果。
1.1 基本原理
對(duì)于數(shù)字電視的靜幀監(jiān)測(cè),基本流程如圖1所示。監(jiān)測(cè)系統(tǒng)接收IP化的TS碼流,分別進(jìn)行解復(fù)用、視頻解碼之后,得到圖像的YUV數(shù)據(jù),再對(duì)YUV數(shù)據(jù)的亮度信息(Y分量)進(jìn)行對(duì)比分析,判斷圖像是否發(fā)生了靜幀故障。
圖1 數(shù)字電視靜幀監(jiān)測(cè)流程
在提取到原始YUV圖像之后,通過(guò)以下幾個(gè)步驟可以實(shí)現(xiàn)靜幀故障的監(jiān)測(cè):
1)圖像歸一化及干擾區(qū)域裁剪
數(shù)字電視有高標(biāo)清多種分辨率和色彩格式,對(duì)于靜幀監(jiān)測(cè)故障而言,352×288分辨率的灰度圖像就足夠了,對(duì)待分析圖像進(jìn)行歸一化有兩個(gè)好處:一是可以顯著減少靜幀算法處理的數(shù)據(jù)量,提高監(jiān)測(cè)效率;二是歸一化后的圖像可以方便地應(yīng)用統(tǒng)一的處理算法,避免不同格式的圖像對(duì)算法產(chǎn)生不必要的復(fù)雜度。
此外,某些電視節(jié)目在制作的過(guò)程中,圖像邊緣會(huì)存在一些抖動(dòng)、條紋等干擾信息,這些干擾信息在做監(jiān)測(cè)時(shí)需要進(jìn)行排除,避免影響算法的準(zhǔn)確性,通常是去除圖像四周各5%的區(qū)域。
2)圖像相似度計(jì)算
靜幀監(jiān)測(cè)的實(shí)質(zhì)是比較兩幅圖像是否一致,也就是相似程度的衡量。為提高效率,步驟1)中處理后的灰度圖像,可以按照8×8像素的大小進(jìn)行網(wǎng)格化區(qū)分,計(jì)算每個(gè)網(wǎng)格的圖像灰度值的總和,作為該網(wǎng)格的特征值,如圖2所示。
圖2 網(wǎng)格化特征提取
對(duì)相鄰兩幅圖像對(duì)應(yīng)網(wǎng)格之間的特征值求差,并將差值累計(jì),計(jì)算相似度S為
式中:K,L分別表示當(dāng)前采樣和上一次采樣時(shí),網(wǎng)格化區(qū)域的特征值;P為參考常量。相似度大于設(shè)定的門(mén)限則認(rèn)為圖像靜止,否則認(rèn)為圖像不靜止。
3)報(bào)警生成與恢復(fù)
將相鄰兩幅圖像中相似度計(jì)算結(jié)果進(jìn)行統(tǒng)計(jì),一段時(shí)間內(nèi)圖像相似的次數(shù)大于一定比例,則認(rèn)為該視頻靜幀,否則認(rèn)為靜幀恢復(fù)。如果將一系列待處理的圖像相似度比對(duì)結(jié)果記為一系列的0或1序列,1代表圖像相似,0代表圖像不相似,那么可以在每個(gè)判斷點(diǎn)對(duì)序列求和,取值大于設(shè)定序列長(zhǎng)度的90%,則認(rèn)為是靜幀,否則認(rèn)為靜幀恢復(fù),即報(bào)警產(chǎn)生的邏輯可表示為
1.2 靈敏度
按照1.1節(jié)中所論述的靜幀監(jiān)測(cè)算法,可以對(duì)真正嚴(yán)格的圖像靜幀故障進(jìn)行準(zhǔn)確的識(shí)別,但實(shí)際運(yùn)維中的情況卻要復(fù)雜得多,不少節(jié)目表面上看起來(lái)靜止,并且從值班的角度也期望報(bào)靜幀,監(jiān)測(cè)系統(tǒng)的報(bào)警狀態(tài)卻經(jīng)常不穩(wěn)定,在靜幀故障和靜幀恢復(fù)之間來(lái)回切換,有的甚至則報(bào)不出靜幀來(lái)。經(jīng)過(guò)分析確定,是圖像的某些細(xì)微變化導(dǎo)致了靜幀報(bào)警狀態(tài)的不穩(wěn)定,為了解決這個(gè)問(wèn)題,需要引入靈敏度的概念。
1)空間靈敏度
一種典型需要處理的問(wèn)題是某些頻道夜間停播時(shí)在畫(huà)面上顯示的時(shí)鐘,雖然時(shí)鐘在走動(dòng),但對(duì)于實(shí)際值班人員來(lái)說(shuō),這種情況最好能統(tǒng)一當(dāng)作靜幀來(lái)處理,主要有兩方面的原因:一是不同頻道的停播畫(huà)面各不相同,有的有時(shí)鐘、有的無(wú)時(shí)鐘,統(tǒng)一報(bào)警的話有助于值班人員的統(tǒng)一判斷;二是同一個(gè)頻道,測(cè)試圖本身也不甚穩(wěn)定,有時(shí)會(huì)有時(shí)鐘有時(shí)沒(méi)有時(shí)鐘,無(wú)法進(jìn)行統(tǒng)一對(duì)待。
如果只是簡(jiǎn)單地調(diào)節(jié)式(1)中的判斷門(mén)限,可以將圖3所示情況統(tǒng)一為靜幀故障,但這樣勢(shì)必引入大量的誤報(bào),其根源是沒(méi)有考慮到圖像變化區(qū)域的空間特性。在通過(guò)式(1)計(jì)算得到的相似度都比較高的情況下,圖3上顯示的變化區(qū)域相對(duì)比較集中,因此可以認(rèn)為是靜幀;但如果圖像變化區(qū)域比較大,例如講座類節(jié)目鼠標(biāo)移動(dòng)的動(dòng)作,就不應(yīng)該認(rèn)為是靜幀,這就是所謂的空間靈敏度。
圖3 靜幀的空間靈敏度
2)時(shí)間靈敏度
有的節(jié)目夜間停播時(shí),會(huì)出現(xiàn)一些短時(shí)的圖像劇烈異常,如圖4所示。相鄰的兩幅圖像明顯存在重大的差異,相似度極低,但因?yàn)檫@些異常圖像出現(xiàn)的頻率非常低,可以通過(guò)時(shí)間靈敏度來(lái)加以規(guī)避。
圖4 靜幀的時(shí)間靈敏度
時(shí)間靈敏度的處理采用了類似于游程的概念,在根據(jù)式(2)判斷視頻是否處于靜幀時(shí),不僅判斷其累加的和,還要判斷圖像連續(xù)不相似的最大次數(shù)(游程),只有兩個(gè)條件都滿足時(shí)才認(rèn)為是靜幀,此辦法可以有效地規(guī)避短時(shí)的圖像抖動(dòng)導(dǎo)致的靜幀恢復(fù),游程判斷表示為
1.3 抑制策略
在加入了靈敏度的策略之后,靜幀報(bào)警的實(shí)用性大大提升,但還是有一個(gè)現(xiàn)實(shí)的問(wèn)題,即時(shí)間判斷門(mén)限的問(wèn)題。考慮到安全播出的重要性,對(duì)于真正的靜幀故障,需要在盡可能短的時(shí)間內(nèi)報(bào)告出來(lái),以便進(jìn)行妥善處置,而這勢(shì)必需要一個(gè)較短的時(shí)間門(mén)限;但如果將這個(gè)較短的時(shí)間門(mén)限應(yīng)用到所有的場(chǎng)合,誤報(bào)情況將會(huì)非常多,比較典型的是攝影、棋牌、講座、政策文件宣講的場(chǎng)景,非常容易報(bào)靜幀,必須要有相應(yīng)的靜幀抑制手段。
由于單純的圖像識(shí)別已經(jīng)無(wú)法區(qū)分真正的靜幀故障和正常播出中的靜止畫(huà)面,因此必須結(jié)合電視節(jié)目的其他方面特征來(lái)進(jìn)行判斷,一種最直觀有效的辦法就是以電視伴音作為輔助判斷。
節(jié)目制作、傳輸過(guò)程中的故障導(dǎo)致的靜幀,往往是因?yàn)榻泳€不牢、設(shè)備死機(jī)、網(wǎng)絡(luò)中斷等引起,出現(xiàn)故障時(shí)經(jīng)常是視頻和音頻同時(shí)出現(xiàn)異常,即圖像靜幀的同時(shí),音量值也非常低,對(duì)于人耳來(lái)說(shuō)就是靜音。而正常播放節(jié)目中的圖像靜止,往往都是伴隨音頻講解播放的。利用這一特點(diǎn),可形成一個(gè)視音頻相結(jié)合的靜幀抑制策略:對(duì)于每個(gè)要監(jiān)測(cè)的節(jié)目,可以定義不同的靜幀抑制參數(shù)K,當(dāng)通過(guò)式(3)檢測(cè)出圖像靜止時(shí),并不立即進(jìn)行靜幀報(bào)警,而是判斷這段時(shí)間內(nèi)的音頻報(bào)警是否正常。如果在靜幀判斷的正常時(shí)間門(mén)限T內(nèi),音頻播放正常,則圖像需要連續(xù)靜止K×T的時(shí)間才進(jìn)行報(bào)警;如果在靜幀判斷的正常時(shí)間門(mén)限T內(nèi),音頻已經(jīng)不正常,則靜止時(shí)間達(dá)到T時(shí)馬上進(jìn)行靜幀報(bào)警。
舉例來(lái)說(shuō),靜幀的時(shí)間門(mén)限典型的可以設(shè)置為10 s,靜幀抑制參數(shù)可取值30。在這種配置情況下,真正的靜幀故障10 s就能識(shí)別出,而對(duì)于那些音頻正常的情況下,需要300 s才會(huì)進(jìn)行靜幀報(bào)警,這樣就可以避免絕大多數(shù)的靜幀誤報(bào)。特別地,如果將靜幀參數(shù)設(shè)置為0,可以認(rèn)為只要音頻播放正常,就不進(jìn)行靜幀報(bào)警,這對(duì)某些節(jié)目的監(jiān)測(cè)也有現(xiàn)實(shí)意義。
1.4 靜幀運(yùn)行圖
通過(guò)上述改進(jìn)措施,靜幀監(jiān)測(cè)算法已經(jīng)比較完善,但仍有一些特殊情況,如圖5所示,有的頻道在夜間停播時(shí)播放的測(cè)試圖會(huì)出現(xiàn)周期性的移動(dòng),按照正常的邏輯,這種情況會(huì)周期性地出現(xiàn)靜幀報(bào)警、靜幀恢復(fù)的情況,給夜間值班人員造成極大的困擾。
圖5 周期性變化的測(cè)試圖
考慮到此類節(jié)目的播出特性,為了在保證安全播出的同時(shí)降低值班人員的強(qiáng)度,需要引入靜幀運(yùn)行圖的概念,即靜幀故障只在設(shè)定的時(shí)間段內(nèi)進(jìn)行監(jiān)測(cè),在此時(shí)間段外只監(jiān)測(cè)視音頻丟失、黑場(chǎng)等嚴(yán)重的故障。相比較而言,一般的監(jiān)測(cè)系統(tǒng)只考慮了節(jié)目的運(yùn)行圖,在運(yùn)行圖內(nèi)就對(duì)所有的故障類型監(jiān)測(cè),在運(yùn)行圖外則什么故障也不監(jiān)測(cè),靜幀運(yùn)行圖的設(shè)計(jì)和使用可以較好地在安全播出防范和值班強(qiáng)度之間做出一個(gè)好的平衡。
使用監(jiān)測(cè)系統(tǒng)默認(rèn)的監(jiān)測(cè)功能,對(duì)網(wǎng)絡(luò)公司傳輸?shù)?00余套節(jié)目進(jìn)行監(jiān)測(cè),對(duì)一天的觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)的結(jié)果如圖6所示,可以看出,棋牌類、學(xué)習(xí)培訓(xùn)類節(jié)目產(chǎn)生的靜幀報(bào)警數(shù)目占據(jù)了絕大多數(shù)。
使用第1部分論述的算法,從靈敏度、抑制策略兩個(gè)方面對(duì)靜幀算法進(jìn)行優(yōu)化,并對(duì)不同類型的節(jié)目設(shè)置合適的監(jiān)測(cè)門(mén)限之后,靜幀報(bào)警數(shù)量有了明顯的變化,如表1所示。
圖6 靜幀故障分布
表1 優(yōu)化結(jié)果對(duì)比
除了上述從算法邏輯上做的改進(jìn)之外,還有一些從日常值班的角度考慮需要進(jìn)行完善的輔助手段,這些手段的應(yīng)用,可以進(jìn)一步提升有線網(wǎng)絡(luò)公司機(jī)房值班運(yùn)維的水平。
3.1 循環(huán)語(yǔ)音提示
語(yǔ)音報(bào)警是各類監(jiān)測(cè)管理系統(tǒng)必備的提示方式,對(duì)于視音頻監(jiān)測(cè)來(lái)說(shuō)亦是如此,來(lái)源于不同監(jiān)測(cè)設(shè)備、不同節(jié)目的不同告警信息匯聚到語(yǔ)音報(bào)警設(shè)備,通過(guò)TTS(Text To Speech)技術(shù)進(jìn)行集中的語(yǔ)音報(bào)警。通常情況下,語(yǔ)音提示只在報(bào)警發(fā)生和恢復(fù)的時(shí)候進(jìn)行提示。實(shí)際值班過(guò)程中,為了防止值班人員因?yàn)楦鞣N情況漏聽(tīng)到語(yǔ)音報(bào)警,進(jìn)而可能存在對(duì)異常現(xiàn)象的漏處理,系統(tǒng)設(shè)計(jì)了循環(huán)語(yǔ)音提示的功能:在報(bào)警恢復(fù)前,語(yǔ)音提示按照預(yù)先設(shè)置好的次數(shù)和頻率進(jìn)行周期性的播報(bào)。
3.2 故障確認(rèn)
和循環(huán)語(yǔ)音提示相關(guān)聯(lián)的,需要引入故障確認(rèn)機(jī)制。當(dāng)值班人員已經(jīng)注意到故障,需要有手段進(jìn)行確認(rèn),一旦對(duì)故障進(jìn)行了確認(rèn),相關(guān)的語(yǔ)音報(bào)警就應(yīng)該暫停。通過(guò)表1可以看出,由于有線網(wǎng)絡(luò)公司監(jiān)測(cè)的頻道眾多,即便應(yīng)用了靜幀優(yōu)化算法,每天仍有一定數(shù)量的靜幀報(bào)警會(huì)產(chǎn)生,對(duì)于這類情況,就需要應(yīng)用到故障確認(rèn)機(jī)制,避免這些報(bào)警影響日常的值班工作。
安全播出是廣播電視永恒的主題,靜幀故障的發(fā)現(xiàn)和處理是廣電網(wǎng)絡(luò)公司日常運(yùn)維工作的一個(gè)重要內(nèi)容。廣播電視技術(shù)是應(yīng)用型的技術(shù),本文給出的辦法也是工程化的解決辦法,通過(guò)實(shí)踐證明能有效提高靜幀報(bào)警的有效性,從根源上杜絕漏報(bào),最大限度避免誤報(bào),有效地提高了運(yùn)維水平。
[1] ISO/IEC 13818-1,Generic coding ofmoving pictures and associat?ed audio,Part1:System[S].1994.
[2] 李廣東,高新波,趙力.一種基于靜幀特征分析的視頻檢索方法[J].數(shù)據(jù)采集與處理,2011(5):334-338.
[3] 劉漢武.基于IP的嵌入式廣播電視信號(hào)監(jiān)測(cè)設(shè)備設(shè)計(jì)與實(shí)現(xiàn)[J].廣播電視與技術(shù),2011,38(9):124-127.
TCL集團(tuán):擬建單獨(dú)公司推智能家居
11月12日,TCL公司公告稱,公司擬與控股子公司TCL多媒體、TCL通訊共同投資9 000萬(wàn)元在香港成立合資公司。通過(guò)該公司,TCL將在中國(guó)境內(nèi)投資成立一家外商獨(dú)資企業(yè),作為智能家庭項(xiàng)目的運(yùn)營(yíng)實(shí)體。TCL集團(tuán)、TCL多媒體、TCL通訊將分別持有該合資公司30%、30%、40%的股權(quán)。該項(xiàng)目擬通過(guò)整合新興物聯(lián)網(wǎng)及服務(wù)業(yè)務(wù),通過(guò)APP完成對(duì)整個(gè)家庭的狀態(tài)監(jiān)控、遠(yuǎn)程遙控和智能服務(wù),打造全流程的智能家庭服務(wù)體驗(yàn)。
Optim ization Practice of Freeze Detection A lgorithm in Cable TV
ZHOU Qing
(Jiangxi Radio&TV Network Corporation,Nanchang 330000,China)
The accurate detection and fast handling of video freeze fault is an important routine to cable TV operators. The variety of TV programs leads to the complexity of freeze detection algorithm.Based on the practice of cable TV monitoring system,an optimization algorithm to freeze detection is given,which uses sensitivity check and freeze control as main principle,freeze monitoring period as a supplement.The optimization algorithm is proved to be effective in spot test, thus the work intensity of staff on duty is obviously reduced.
cable TV;freeze detection;sensitivity;freeze control
TN94
B
?? 京
2014-10-21
【本文獻(xiàn)信息】周清.有線網(wǎng)絡(luò)公司靜幀監(jiān)測(cè)算法優(yōu)化實(shí)踐[J].電視技術(shù),2014,38(24).
周 清(1972—),碩士,從事有線數(shù)字電視信號(hào)傳輸及安全播出工作。