韓洪波 ，孫 鵬 ，倪 宏 ，朱小勇

（1.中國(guó)科學(xué)院研究生院，北京 100039；2.中國(guó)科學(xué)院 聲學(xué)研究所國(guó)家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心，北京 100190）

1 引言

數(shù)字電視的逐步普及使電視成為家庭娛樂(lè)和信息獲取中最主要的方式之一。個(gè)人視頻錄像機(jī)（PVR）的出現(xiàn)改變了人們收看電視節(jié)目的方式，讓用戶可以錄制、時(shí)移收看電視節(jié)目，不再受電視臺(tái)廣播計(jì)劃的約束。隨著節(jié)目制作、數(shù)字化和數(shù)字電視廣播傳輸技術(shù)的逐漸成熟，數(shù)字電視節(jié)目?jī)?nèi)容日益豐富，再加上存儲(chǔ)成本的不斷下降，使得PVR可以錄制存儲(chǔ)的節(jié)目越來(lái)越多。因此，如何對(duì)這日益龐大的節(jié)目?jī)?nèi)容進(jìn)行索引、搜索、過(guò)濾和管理成為新的技術(shù)要求。MPEG組織制定了致力于媒體內(nèi)容描述的MPEG-7標(biāo)準(zhǔn)[1]，TV-Anytime也定義了互動(dòng)相關(guān)的結(jié)構(gòu)和元數(shù)據(jù)描述方法[2]，這些針對(duì)媒體內(nèi)容描述的信息可用于建立對(duì)媒體內(nèi)容的檢索機(jī)制。然而如何對(duì)現(xiàn)在尚未使用這些標(biāo)準(zhǔn)的數(shù)字電視廣播內(nèi)容進(jìn)行索引、搜索、過(guò)濾和管理，已經(jīng)成為使用中的難題。有研究提出了一種基于XML的元數(shù)據(jù)方法來(lái)實(shí)現(xiàn)PVR應(yīng)用中的存儲(chǔ)和檢索[3]，也有人提出了支持基于片段的時(shí)移收看的高級(jí)PVR結(jié)構(gòu)[4]。

筆者基于EPG和音視頻數(shù)據(jù)幀顯示時(shí)間標(biāo)簽（PTS）提出了一種面向PVR應(yīng)用的兩級(jí)元數(shù)據(jù)存儲(chǔ)檢索結(jié)構(gòu)，并在此基礎(chǔ)上，設(shè)計(jì)了PVR應(yīng)用中的節(jié)目錄制、內(nèi)容檢索、時(shí)移電視以及對(duì)已錄制內(nèi)容的非線性回看的實(shí)現(xiàn)方法。

2 兩級(jí)索引元數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)

目前國(guó)內(nèi)正式運(yùn)營(yíng)的數(shù)字電視節(jié)目?jī)?nèi)容主要以MPEG-2傳輸流（TS）的方式廣播下發(fā)。通常一個(gè)頻點(diǎn)的TS中會(huì)復(fù)用多路節(jié)目。通過(guò)對(duì)特定頻點(diǎn)的TS進(jìn)行解復(fù)用可以得到復(fù)用在該頻點(diǎn)中的各路節(jié)目的音視頻分組原始流（PES）和EPG信息表，通過(guò)PES分組頭解析可以得到PES中各幀的顯示時(shí)間標(biāo)簽（PTS）。把要錄制的電視節(jié)目的音視頻PES打包成TS格式存儲(chǔ)下來(lái)，并基于EPG信息和PTS信息為之建立起兩級(jí)索引結(jié)構(gòu)。

2.1 兩級(jí)索引元數(shù)據(jù)語(yǔ)法結(jié)構(gòu)

EPG是數(shù)字電視的重要特性，數(shù)字電視接收終端均可利用DVB-SI表信息建立“頻道-時(shí)間-節(jié)目”形式的電子節(jié)目單[5]。參照DVB中傳遞EPG信息的PSI/SI表的內(nèi)容[6]，定義一級(jí)索引元數(shù)據(jù)語(yǔ)法結(jié)構(gòu)如下：

其中shortDescriptor和longDescriptor可以從事件信息表（EIT）中提取。

根據(jù)MPEG-2標(biāo)準(zhǔn)，音視頻數(shù)據(jù)解碼和顯示通過(guò)相應(yīng)的時(shí)間戳來(lái)控制，以實(shí)現(xiàn)唇音同步。而音視頻數(shù)據(jù)幀的PTS是該幀聲音或圖像呈現(xiàn)給用戶的相對(duì)時(shí)間[7-9]?；谝曨l關(guān)鍵幀的PTS定義二級(jí)索引元數(shù)據(jù)語(yǔ)法結(jié)構(gòu)如下：

2.2 音視頻數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)

音視頻數(shù)據(jù)按照TS格式存儲(chǔ)，通過(guò)二級(jí)索引元數(shù)據(jù)可以對(duì)音視頻數(shù)據(jù)進(jìn)行分段。如圖1所示，IV0，IV1，…，IVN為TS中的視頻關(guān)鍵幀；FV0L，F(xiàn)V1L，…，F(xiàn)VNL為相鄰視頻關(guān)鍵幀間的非關(guān)鍵幀和音頻數(shù)據(jù)的集合；定義SegV0，SegA0，SegV1，SegA1，…，SegVN，SegAN為數(shù)據(jù)片段，則數(shù)據(jù)片段是音視頻幀的集合，數(shù)據(jù)片段的第1幀為視頻關(guān)鍵幀，其余為非關(guān)鍵幀和音頻幀。

圖1節(jié)目TS數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)圖

2.3 兩級(jí)索引元數(shù)據(jù)的建立和更新策略

PVR錄制節(jié)目時(shí)，通過(guò)解析SDT表和EIT表可得到當(dāng)前播放節(jié)目的節(jié)目描述信息以及節(jié)目的開始和結(jié)束時(shí)間，從而為錄制的每個(gè)節(jié)目建立“存儲(chǔ)位置+節(jié)目描述+二級(jí)索引”的一級(jí)索引信息；在將音視頻PES數(shù)據(jù)打包成TS之前對(duì)PES頭進(jìn)行解析，可以得到視頻幀的PTS信息，從中抽取關(guān)鍵幀的PTS以及關(guān)鍵幀存儲(chǔ)到TS中的位置為每個(gè)節(jié)目建立“關(guān)鍵幀位置+關(guān)鍵幀PTS”的二級(jí)索引信息，這樣就為錄制的節(jié)目建立了兩級(jí)索引信息。DVB節(jié)目會(huì)有切換，即當(dāng)前節(jié)目結(jié)束，下一個(gè)節(jié)目開始。根據(jù)EIT中當(dāng)前節(jié)目的開始結(jié)束時(shí)間可以預(yù)測(cè)當(dāng)前節(jié)目的開始和結(jié)束，從而保證在節(jié)目發(fā)生切換時(shí)及時(shí)為新的節(jié)目建立新的兩級(jí)索引項(xiàng)。

3 兩級(jí)索引元數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的應(yīng)用

采用上述的兩級(jí)索引元數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)可以高效的實(shí)現(xiàn)時(shí)移電視、節(jié)目錄制和檢索以及節(jié)目?jī)?nèi)容的非線性回看等功能。

3.1 節(jié)目錄制

PVR錄制節(jié)目時(shí)，使用解復(fù)用模塊將想要錄制的節(jié)目的音視頻PES數(shù)據(jù)從復(fù)用了多路節(jié)目的TS中提取出來(lái)，經(jīng)PES分組頭解析可以得到視頻數(shù)據(jù)幀的PTS以及各視頻幀的起始位置。把音視頻數(shù)據(jù)打成TS寫入本地存儲(chǔ)，同時(shí)利用過(guò)濾得到的PSI/SI信息表以及視頻關(guān)鍵幀的PTS和存儲(chǔ)位置按照2.3中描述的方法建立和更新兩級(jí)索引元數(shù)據(jù)，并將用戶想要同時(shí)觀看的節(jié)目的音視頻PES數(shù)據(jù)送給播放器解碼播放。

圖2為PVR錄制與觀看節(jié)目時(shí)的系統(tǒng)結(jié)構(gòu)圖。復(fù)用了多路節(jié)目的TS數(shù)據(jù)被送入解復(fù)用（DEMUX）處理器，DEMUX 通道【1】，【2】和【3】用于提取用戶想要觀看的節(jié)目音視頻 PES數(shù)據(jù)和 PCR 信息；DEMUX 通道【4】，【5】和【6】用于提取要錄制的節(jié)目音視頻PES數(shù)據(jù)和PCR信息；PES解析器從視頻PES數(shù)據(jù)中解析出各視頻幀的PTS，將視頻關(guān)鍵幀的PTS送給兩級(jí)索引引擎；TS打包器將音視頻PES數(shù)據(jù)打包（需要更改音視頻數(shù)據(jù)及PCR的PID，用于時(shí)移時(shí)使用）成TS后寫入到本地存儲(chǔ)，并將視頻關(guān)鍵幀的存儲(chǔ)位置反饋到兩級(jí)索引引擎；DEMUX通道【7】用于過(guò)濾流中的PSI/SI信息表，將得到的SDT和EIT提交給兩級(jí)索引引擎。

圖2 PVR錄制結(jié)構(gòu)圖

3.2 內(nèi)容檢索

通過(guò)錄制時(shí)建立的一級(jí)索引元數(shù)據(jù)，PVR系統(tǒng)可以建立本地存儲(chǔ)中已錄制內(nèi)容的一級(jí)節(jié)目索引 （“節(jié)目描述-二級(jí)索引-音視頻數(shù)據(jù)”方式的本地電子節(jié)目指南）。通過(guò)一級(jí)節(jié)目索引，PVR系統(tǒng)可快速定位其中的某個(gè)節(jié)目的存儲(chǔ)位置，并得到該節(jié)目的二級(jí)索引元數(shù)據(jù)，建立該節(jié)目“視頻關(guān)鍵幀位置-關(guān)鍵幀PTS”的二級(jí)索引結(jié)構(gòu)，從而建立了PVR內(nèi)容的兩級(jí)索引結(jié)構(gòu)，如圖3所示。根據(jù)2.2分析，該索引列表也可以看作是“PTS-數(shù)據(jù)片段存儲(chǔ)位置”的索引表，其中PTS為數(shù)據(jù)片段第1個(gè)視頻關(guān)鍵幀的PTS。

圖3兩級(jí)索引結(jié)構(gòu)圖

3.3 非線性回看和時(shí)移電視

非線性回看是指用戶可以隨意選擇節(jié)目?jī)?nèi)容中某個(gè)時(shí)間點(diǎn)作為下個(gè)要觀看的畫面，如快進(jìn)、快退、暫停和跳進(jìn)等操作是非線性回看的常用方式。當(dāng)用戶回看某個(gè)節(jié)目時(shí)，可以根據(jù)二級(jí)索引元數(shù)據(jù)在內(nèi)存中建立該節(jié)目的“PTS-數(shù)據(jù)片段存儲(chǔ)位置”索引表。圖4為節(jié)目非線性回看示意圖，其中ST為節(jié)目?jī)?nèi)容播放進(jìn)度時(shí)間軸，STr0和STr1為兩個(gè)隨機(jī)時(shí)間點(diǎn)，ST0為回看起始點(diǎn)，STe為回看終點(diǎn)。該節(jié)目共有（n+1）個(gè)數(shù)據(jù)片段，第1個(gè)和最后1個(gè)數(shù)據(jù)片段的關(guān)鍵幀PTS分別為T0和Tn。

圖4 節(jié)目非線性回看示意圖

式中：αn為最后1個(gè)數(shù)據(jù)片段的播放時(shí)長(zhǎng)，單位為秒（s）；F為顯示標(biāo)簽時(shí)鐘，多為90 000 Hz或45 000 Hz，由節(jié)目制作方在內(nèi)容編碼時(shí)決定?；乜磿r(shí)，假如用戶要求下一畫面播放節(jié)目STr0時(shí)刻的數(shù)據(jù)，可以通過(guò)“時(shí)間-數(shù)據(jù)片段”索引快速定位到STr0所在的數(shù)據(jù)片段m。因?yàn)樵撍饕碇械腜TS值是遞增的，所以可使用二分法進(jìn)行定位，其時(shí)間復(fù)雜度為θ（lbn）。片段m滿足如下條件

由圖4可得如下關(guān)系式

因?yàn)閿?shù)據(jù)片段的第1幀為視頻關(guān)鍵幀，而且每個(gè)音頻幀都可以獨(dú)立解碼，所以所有數(shù)據(jù)片段都可以獨(dú)立解碼。數(shù)據(jù)片段中除第1幀外的其他視頻幀都不是關(guān)鍵幀，所以不能被獨(dú)立解碼。如式（3），（4）所示，用戶想看到的畫面必然包含在數(shù)據(jù)片段m中。通過(guò)二級(jí)索引項(xiàng)可快速找到數(shù)據(jù)片段m，并解碼播放，即完成了該非線性回看功能。這里會(huì)有一段用戶沒(méi)有要求看到的畫面，其持續(xù)時(shí)間應(yīng)小于αm，αm為數(shù)據(jù)片段m的播放時(shí)長(zhǎng)。

時(shí)移觀看是指用戶在收看DVB實(shí)時(shí)節(jié)目時(shí)可以暫停、快退，并可對(duì)已過(guò)時(shí)的節(jié)目進(jìn)行非線性瀏覽。時(shí)移觀看是PVR錄制和內(nèi)容回看的有機(jī)結(jié)合，它是DVB實(shí)時(shí)節(jié)目收看和已錄制內(nèi)容非線性回看的無(wú)縫銜接。

如圖5所示，用戶觀看實(shí)時(shí)節(jié)目時(shí)，播放器直接播放DEMUX 通道 【4】，【5】，【6】提取的實(shí)時(shí)節(jié)目音視頻 PES數(shù)據(jù)，同時(shí)PVR將這些數(shù)據(jù)寫入到本地存儲(chǔ)并建立兩級(jí)索引元數(shù)據(jù)；當(dāng)用戶選擇暫停時(shí)，系統(tǒng)記錄下正在播放的視頻幀PTS，利用兩級(jí)索引快速定位到該P(yáng)TS指向的數(shù)據(jù)片段，在用戶選擇播放后，從該數(shù)據(jù)片段開始回看本地存儲(chǔ)中錄制下來(lái)的內(nèi)容；當(dāng)用戶選擇快退操作時(shí)，用戶從已錄制下來(lái)的最后1個(gè)數(shù)據(jù)片段開始向前以用戶要求的倍率逆序回看本地存儲(chǔ)中的各個(gè)數(shù)據(jù)片段；當(dāng)用戶選擇向前跳轉(zhuǎn)操作時(shí)，系統(tǒng)使用用戶選擇的時(shí)間換算成PVR錄制時(shí)的PTS，并快速定位到本地存儲(chǔ)內(nèi)容中的相應(yīng)數(shù)據(jù)片段，從該片段開始正常播放。時(shí)移觀看時(shí)PVR錄制在同時(shí)進(jìn)行，本地存儲(chǔ)的節(jié)目?jī)?nèi)容實(shí)時(shí)增長(zhǎng)。當(dāng)快進(jìn)操作到達(dá)節(jié)目的實(shí)時(shí)進(jìn)度時(shí)，播放器重新開始播放DEMUX通道【4】，【5】和【6】提取出的實(shí)時(shí)數(shù)據(jù)。 在播放已錄制內(nèi)容時(shí)，DEMUX 通道【1】，【2】和【3】用于對(duì)已錄制的 TS 的解復(fù)用。

4 小結(jié)

提出了一種基于EPG和PTS的兩級(jí)索引元數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，適用于采用MPEG－2標(biāo)準(zhǔn)的數(shù)字電視節(jié)目的PVR應(yīng)用。與文獻(xiàn)[3]相比，該架構(gòu)只需利用當(dāng)前數(shù)字電視廣播流中的信息即可建立，適用于目前的數(shù)字電視系統(tǒng)。與文獻(xiàn)[4]相比，該架構(gòu)的一級(jí)內(nèi)容檢索精度同樣可以精確到每個(gè)節(jié)目，而二級(jí)檢索則可以精確到每個(gè)視頻關(guān)鍵幀，可用于提高非線性回看的精度。筆者采用Sigma Design的EM8623高清平臺(tái)，結(jié)合上海高清的HD2812解調(diào)芯片，采用上述兩級(jí)存儲(chǔ)檢索結(jié)構(gòu)及相關(guān)方法，設(shè)計(jì)實(shí)現(xiàn)了一款面向國(guó)標(biāo)地面廣播高清數(shù)字電視的PVR機(jī)頂盒，證明了該結(jié)構(gòu)及相關(guān)方法的有效性。

圖5 PVR時(shí)移播放結(jié)構(gòu)圖

：

[1]CHANG S F，SIKORA T，PURI A.Overview of the MPEG-7 standard.circuits and systems for video technology[J].IEEE Trans.Circuits and Systems for Video Technology，2001，11（6）：760-764.

[2]TV-Anytime Forum[EB/OL].[2009-10-12].http://www.tv-anytime.org/.

[3]SHIN H.A storage and retrieval method of XML-based metadata in PVR environment[J].IEEE Trans. Consumer Electronics，2003，49 （4）：1136-1140.

[4]LIM S Y，CHOI J H，SEOK J M，et al.Advanced PVR architecture with segment-based time-shift.consumer electronics[C]//Proc.ICCE 2007.Las Vegas，NV：[s.n.]，2007：1-2.

[5]GY/Z 230—2008，數(shù)字電視廣播業(yè)務(wù)信息規(guī)范[S].2008.

[6]EN 300468 v1.6.1，Digital video broadcasting （DVB）； specification for service information （SI）in DVB systems[S].2004.

[7]ISO/IEC 13818-1，Information technology-generic coding of moving pictures and associated audio information-part 1:systems[S].2000.

[8]ISO/IEC 13818-2，Information technology-generic coding of moving pictures and associated audio information-part 2:video[S].1995.

[9]ISO/IEC 13818-3，Information technology-generic coding of moving pictures and associated audio information-part 3:audio[S].1998.