盧成浪,吳宗大,李桂玲

(1.西北工業(yè)大學(xué) 航海學(xué)院,陜西 西安 710072；2.浙江機電職業(yè)技術(shù)學(xué)院 信息技術(shù)系,浙江 杭州 310053;3.溫州大學(xué) 甌江學(xué)院,浙江 溫州 325035;4.中國地質(zhì)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,湖北 武漢 430074)

基于內(nèi)容特征的多媒體信息檢索技術(shù)依賴于多媒體處理技術(shù)和數(shù)據(jù)庫技術(shù)[1-2]。隨著多媒體處理和數(shù)據(jù)庫技術(shù)的發(fā)展,21世紀(jì)伊始,陸續(xù)出現(xiàn)了一些基于內(nèi)容特征的多媒體信息檢索系統(tǒng),例如BVQL[3]，UMQL[4-7]，GMQL[8-9]，CIRS[10]等。通常,這些系統(tǒng)首先描述多媒體數(shù)據(jù)的視覺和聽覺內(nèi)容特征(如圖像的顏色、紋理等),然后基于這些特征描述檢索多媒體目標(biāo)數(shù)據(jù)。然而,由于多媒體內(nèi)容特征描述缺乏統(tǒng)一規(guī)范,導(dǎo)致這些多媒體檢索系統(tǒng)的通用性無法得到保證,限制了它們的實用化進程[11-12]。為此,國際標(biāo)準(zhǔn)化組織ISO的運動圖像專家組MPEG制定了一個國際多媒體內(nèi)容特征描述標(biāo)準(zhǔn),即MPEG-7[13-14]。在MPEG-7中,所有常見的多媒體類型均被涵蓋,包括視頻、音頻、圖像等。MPEG-7通過使用標(biāo)準(zhǔn)化描述接口,統(tǒng)一描述各種不同類型多媒體內(nèi)容信息,并將這些內(nèi)容特征描述與多媒體數(shù)據(jù)相關(guān)聯(lián),使得用戶可以按照多媒體內(nèi)容特征快捷檢索到所需數(shù)據(jù),從而為實現(xiàn)基于內(nèi)容的多媒體檢索奠定技術(shù)基礎(chǔ)。在多媒體數(shù)據(jù)中,視頻是最常見的類型之一,其內(nèi)部結(jié)構(gòu)最為復(fù)雜，涵蓋的信息量也最為豐富,為此,實現(xiàn)基于內(nèi)容的視頻檢索具有重要的理論意義和實際價值。在這樣的背景下,本文深入研究基于MPEG-7的視頻檢索方法,探討一個視頻內(nèi)容檢索系統(tǒng)的設(shè)計與實現(xiàn),從而為實現(xiàn)有效的基于內(nèi)容視頻檢索提供重要的理論和技術(shù)基礎(chǔ)。

1 系統(tǒng)框架

圖1給出基于MPEG-7的視頻檢索系統(tǒng)框架。該框架包括4個功能模塊:① 視頻語義信息提取器，其輸入為MPEG-7視頻特征描述文檔,功能是解析視頻文檔,提取視頻特征,并把視頻特征數(shù)據(jù)通過數(shù)據(jù)庫接口存儲到視頻數(shù)據(jù)庫中;② 內(nèi)容視頻檢索器，其功能是解析用戶給出的視頻查詢,在完成語法語義檢查后,將視頻查詢轉(zhuǎn)化成能在視頻數(shù)據(jù)庫上準(zhǔn)確執(zhí)行的SQL查詢,并提交給視頻數(shù)據(jù)庫執(zhí)行;③ 個性化視頻檢索器，提供個性化視頻檢索界面,基于用戶的興趣模型,通過建立基于用戶興趣點的檢索視圖,返回用戶感興趣的檢索結(jié)果,并通過為相關(guān)屬性建立索引,使得檢索結(jié)果按照用戶興趣權(quán)重排序輸出;④ 結(jié)果輸出界面，負責(zé)輸出服務(wù)器返回的檢索結(jié)果集,把用戶感興趣的視頻信息以MPEG-7文檔的形式呈現(xiàn)出來,并允許用戶播放目標(biāo)視頻。此外,服務(wù)器端的視頻數(shù)據(jù)庫負責(zé)存儲視頻數(shù)據(jù)本身,語義特征庫負責(zé)存儲從MPEG-7視頻描述文檔中提取出來的視頻語義特征信息。

圖1 基于MPEG-7的視頻檢索系統(tǒng)框架Fig.1 The framework of MPEG-7-based video semantic retrieval system

2 系統(tǒng)設(shè)計

2.1 視頻語義提取存儲方案

視頻語義提取存儲方案面向圖1的語義信息提取器模塊,主要包括兩項內(nèi)容:①視頻語義特征提取(即確定需要從MPEG-7視頻描述文檔中提取的視頻語義特征類別);②視頻特征庫設(shè)計和映射(即設(shè)計關(guān)系數(shù)據(jù)庫模式,以存儲提取的視頻語義特征，并設(shè)計映射方案,將視頻語義特征映射存儲到視頻特征庫中)。

2.1.1 視頻語義特征提取 MPEG-7標(biāo)準(zhǔn)由一系列的多媒體描述工具組成,其中,語義描述工具主要從語義和概念兩個角度來描述多媒體視聽內(nèi)容特征,因而是多媒體內(nèi)容檢索的基礎(chǔ),也是本文關(guān)注的重點。為此,要求我們從MPEG-7視頻描述文檔里獲取這些視頻內(nèi)容特征,并存放到視頻特征庫中,從而為后續(xù)視頻內(nèi)容檢索提供基礎(chǔ)。具體來說,需要提取的視頻語義特征信息主要包括以下幾個方面：①視頻對象,即視頻內(nèi)容中人類可感知的事物(分為抽象對象和具體對象),它是最基本的視頻語義元素,是視頻內(nèi)容檢索的基礎(chǔ)；②視頻事件,即各種結(jié)構(gòu)層次的視頻對象的上下文環(huán)境，視頻事件把視頻分割成若干個片段,每個視頻片段包含多個視頻對象,視頻事件可看作這些對象的整體行為呈現(xiàn)；③時間關(guān)系,即兩個視頻事件之間的時間關(guān)系；④空間關(guān)系,即兩個視頻對象之間的空間位置關(guān)系。

2.1.2 視頻特征庫設(shè)計 為了存儲從MPEG-7視頻描述文檔中提取的視頻語義特征,以方便后續(xù)視頻語義查詢,需要確定合適的關(guān)系數(shù)據(jù)庫模式。為此,基于前文給出的視頻語義特征提取方案,定義了視頻特征數(shù)據(jù)庫的關(guān)系模式。表1～表3給出了視頻特征庫的部分關(guān)鍵表。其中,表1用于存儲MEPG-7視頻描述文檔中提取的視頻對象;表2用于存儲視頻事件;表3用于存儲語義關(guān)系(如視頻對象間關(guān)系)。當(dāng)然視頻特征庫是相當(dāng)復(fù)雜的,還包含有很多其他的關(guān)系表。

表1 視頻對象表Tab.1 Video object table

表2 視頻事件表Tab.2 Video event table

表3 視頻語義關(guān)系表Tab.3 Video semantic relation table

2.1.3 視頻特征庫映射 為了提出MEPG-7視頻描述文檔中語義視頻特征,需要解析MEPG-7文檔。目前主要有兩種解析方式:DOM解析和SAX解析。本視頻檢索方案采用DOM解析,對整個MPEG-7視頻描述文檔樹(MPEG-7文檔的內(nèi)部結(jié)構(gòu)可被看作樹形結(jié)構(gòu))進行遍歷解析,遇到MPEG-7視頻語義元素就將其對應(yīng)的語義信息映射存儲到視頻特征數(shù)據(jù)庫中相應(yīng)關(guān)系表中。從MPEG-7 DOM樹到視頻特征數(shù)據(jù)庫表的具體映射過程如算法1所示。

算法1視頻高級語義信息提取和映射算法

輸入：一個MPEG-7視頻描述文檔；

輸出：視頻特征數(shù)據(jù)庫的數(shù)據(jù)記錄。

算法概要：

1)讀取MPEG-7視頻描述文檔的各個元素標(biāo)記，然后判斷標(biāo)記的類型；

2)若標(biāo)記為屬性節(jié)點，則生成屬性節(jié)點記錄，并映射到屬性節(jié)點表中；

3)若標(biāo)記為數(shù)據(jù)節(jié)點，則生成數(shù)據(jù)節(jié)點記錄，并映射到數(shù)據(jù)節(jié)點表中；

4)若標(biāo)記為注釋節(jié)點，則生成注釋節(jié)點記錄，并映射到注釋節(jié)點表中；

5)若標(biāo)記為元素節(jié)點，則生成元素節(jié)點記錄，并映射到元素節(jié)點表中，同時，如果元素節(jié)點為語義節(jié)點，則：

①如果元素節(jié)點為視頻對象節(jié)點，則生成視頻對象記錄，然后將視頻對象記錄映射到視頻對象表中；

②如果元素節(jié)點為視頻事件節(jié)點，則生成視頻事件記錄，然后將視頻事件記錄映射到視頻事件表中；

③如果元素節(jié)點為語義關(guān)系節(jié)點，則生成語義關(guān)系記錄，然后將語義關(guān)系記錄映射到語義關(guān)系表中；

④如果元素節(jié)點為創(chuàng)作信息節(jié)點，則生成創(chuàng)作信息記錄，然后將創(chuàng)作信息記錄映射到創(chuàng)作信息表中，并將創(chuàng)作者信息映射到創(chuàng)作者表中；

⑤如果元素節(jié)點為媒體信息節(jié)點，則生成媒體信息記錄，然后將媒體信息記錄映射到媒體信息表中。

2.2 基于內(nèi)容的視頻檢索方案

基于內(nèi)容的視頻檢索方案面向圖1的內(nèi)容視頻檢索器模塊,主要包括兩項內(nèi)容:①語義查詢接口(即給出有效的視頻查詢接口及其查詢處理方法);②查詢處理(即如何執(zhí)行視頻語義查詢接口給出的語義查詢,從視頻數(shù)據(jù)庫中獲取目標(biāo)視頻)。

2.2.1 視頻檢索器的整體設(shè)計 視頻檢索器給用戶提供了一般性的視頻查詢接口,用戶可以通過它表達自己的視頻查詢需求。視頻檢索器包括語法分析器、查詢執(zhí)行器等部件。對于用戶給出的一個視頻查詢,首先,視頻檢索器通過語法分析器對視頻查詢條件進行解析,檢查視頻查詢語法的有效性;然后,使用查詢執(zhí)行器執(zhí)行視頻查詢,在這個過程中,執(zhí)行器會生成多個SQL查詢語句,逐個提交給視頻特征數(shù)據(jù)庫執(zhí)行,獲取相關(guān)視頻索引,根據(jù)這些索引,執(zhí)行器可以進一步獲取相應(yīng)的目標(biāo)視頻;最后,將目標(biāo)視頻提交給檢索結(jié)果輸出界面顯示。視頻檢索器的整體設(shè)計方案如圖2所示。

圖2 視頻檢索器的整體設(shè)計方案Fig.2 The overall framework of video retrieval component

2.2.2 視頻查詢接口的設(shè)計 本文采用一種聲明式文本語言(稱作SVQL[15])作為視頻查詢接口,以方便用戶表達視頻語義查詢需求。SVQL語法可簡要表述為:一個SVQL查詢一般由3個部分組成,即視頻對象列表、視頻事件列表和語義關(guān)系列表。對象列表用于描述視頻事件中包含的視頻對象和視頻對象屬性;事件列表用于描述視頻包含的視頻事件和視頻事件屬性;語義關(guān)系列表用于描述對象之間、事件之間、對象與事件之間以及其他實體之間的語義關(guān)系。通過例1來說明SVQL查詢的語法形式。

例1查詢在2004年，在北京大學(xué)體育館，劉國梁和孔令輝發(fā)生扣球事件的所有視頻。

1)FIND VIDEO /* FIND VIDEO為關(guān)鍵字*/

/* 1.視頻對象聲明列表 */

2)OBJECT劉國梁 { /*OBJECT為對象聲明關(guān)鍵字，后面跟著對象名*/ 類型 = 運動員; /*“類別”是對象的屬性*/ }

3)OBJECT孔令輝 { 類型 = 運動員; }

/* 2.視頻事件聲明列表 */

4)EVENT扣球事件 /* EVENT為事件聲明關(guān)鍵字，后面跟著事件名*/

5)開始時間> ′2004-01-01 20:57:00′; 發(fā)生地點 = 北京大學(xué)體育館; /*“開始時間”和“地點”均為屬性*/

/* 3.語義關(guān)系聲明列表 */

6)OBJECT 劉國梁AgentOf EVENT扣球事件; OBJECT孔令輝AgentOf EVENT扣球事件;/*AgentOf為關(guān)鍵字*/

SVQL可以描述更加復(fù)雜的視頻查詢,這里不再列舉。在完成視頻查詢需求描述后,還需要對用戶查詢進行解析,檢查語法的正確性，這部分工作由語法分析器模塊完成。我們使用正則表達式定義SVQL的文法規(guī)則,使用邏輯代數(shù)式定義SVQL的語法規(guī)則。然后,使用詞法分析工具LEX[7]生成SVQL的詞法分析器,利用YACC[7],根據(jù)文法規(guī)則生成SVQL的語法分析器,根據(jù)語義規(guī)則,設(shè)計實現(xiàn)SVQL的語法分析器。因此，語法分析器模塊主要包括:詞法分析器、文法分析器和語義分析器。

2.2.3 視頻查詢的處理 圖2的查詢執(zhí)行器模塊負責(zé)查詢從視頻特征數(shù)據(jù)庫和視頻數(shù)據(jù)庫獲取的目標(biāo)數(shù)據(jù)。查詢執(zhí)行器主要通過處理SVQL視頻查詢中的各類聲明式來完成查詢處理。首先,根據(jù)視頻對象列表生成SQL查詢,從視頻特征庫獲取目標(biāo)視頻對象集;然后,根據(jù)視頻事件列表生成SQL查詢,獲取目標(biāo)視頻事件集;其次,根據(jù)語義關(guān)系列表條件對目標(biāo)對象集和目標(biāo)事件集進行篩選;最后,根據(jù)結(jié)果從視頻數(shù)據(jù)庫中獲取目標(biāo)視頻文檔。具體的視頻查詢的處理方案如算法2所示。

算法2視頻語義查詢處理算法

輸入：語法正確有效的SVQL視頻語義查詢；

輸出：滿足查詢條件的目標(biāo)視頻數(shù)據(jù)。

1)對于視頻對象聲明列表{O1, O2, …, On}中的每個視頻對象聲明項Oi，根據(jù)其屬性描述列表構(gòu)造SQL查詢，從視頻特征庫的視頻對象表中獲取目標(biāo)視頻對象集ROi，最終共生成n個對象集，分別為：RO1, RO2, …, ROn；

2)對于視頻事件聲明列表{Q1, Q2, …, Qn}中的每個視頻事件聲明項Qi，根據(jù)其屬性描述列表構(gòu)造SQL查詢，從視頻特征庫的視頻事件表中獲取目標(biāo)視頻事件集RQi，最終共生成n個事件集，分別為：RQ1, RQ2, …, RQn；

3)對于語義關(guān)系聲明列表{D1, D2, …, Dn}中的每個語義關(guān)系聲明項Di：

①若語義關(guān)系聲明項表示事件-事件關(guān)系，且該關(guān)系相關(guān)聯(lián)的事件分別包含在RQa和RQb中，則構(gòu)造SQL查詢，從視頻特征庫的語義關(guān)系表中獲取事件源落在RQa中，而事件目標(biāo)落在RQb中的事件-事件關(guān)系，據(jù)此，剔除RQa和RQb中不滿足條件的視頻事件；

②若語義關(guān)系聲明項表示對象-對象關(guān)系，且該關(guān)系相關(guān)聯(lián)的對象分別包含在ROa和ROb中，則構(gòu)造SQL查詢，從視頻特征庫的語義關(guān)系表中獲取事件源落在ROa中，而事件目標(biāo)落在ROb中的對象-對象關(guān)系，據(jù)此，剔除ROa和ROb中不滿足條件的視頻對象；

③若語義關(guān)系聲明項表示對象-事件關(guān)系，且該關(guān)系分別與對象集ROa和事件集RQb相關(guān)聯(lián)，則構(gòu)造SQL查詢，從視頻特征庫的語義關(guān)系表中獲取事件源落在ROa中而事件目標(biāo)落在RQb中的對象-事件關(guān)系；據(jù)此，剔除ROa中不滿足條件的視頻對象，剔除RQb中不滿足條件的視頻事件；

4)根據(jù)RO1, RO2, …, ROn和RQ1, RQ2, …, RQn等實體集，從視頻數(shù)據(jù)庫中獲取目標(biāo)視頻數(shù)據(jù)。

2.3 個性化視頻檢索方案

個性化視頻檢索方案面向圖1的個性化視頻檢索器模塊,主要包括兩項內(nèi)容:①設(shè)計用戶視頻檢索興趣度模型;②確立個性化的視頻檢索方案,研究其查詢處理方法。

2.3.1 視頻檢索興趣度模型 用戶興趣度模型描述用戶對某些特定主題相對穩(wěn)定的興趣,反映了用戶在一定時間段內(nèi)的檢索偏好傾向,是實現(xiàn)個性化檢索的重要基礎(chǔ)。為了建立用戶興趣度模型,首先需要獲取用戶的個人偏好信息。偏好的采集主要有兩種方法:①通過人機交互獲取用戶個人偏好,這種方法實現(xiàn)簡單,并且可以較準(zhǔn)確地獲得用戶需求,是目前絕大多數(shù)檢索系統(tǒng)所采用的方法,但缺點是主動性差;②通過挖掘用戶檢索記錄,獲取用戶個人偏好,這種方法的主動性強,但缺點是實現(xiàn)復(fù)雜。本文采用的做法是:在用戶第一次進行個性查詢時,讓用戶填寫一份興趣偏好表,然后將其轉(zhuǎn)化為內(nèi)部表示,存放到用戶興趣檔案庫中,建立最初的用戶偏好信息庫。在用戶興趣偏好表中,用戶可以設(shè)置他感興趣的視頻內(nèi)容信息(如視頻事件、視頻對象和語義關(guān)系等)及興趣度值。

2.3.2 個性化視頻檢索 個性化視頻檢索方案建立在一般性視頻查詢方案基礎(chǔ)之上。它首先給用戶提供了一個圖形化視頻檢索界面,該界面擁有與SVQL等價的查詢表達能力。利用圖形化檢索界面,用戶可以很方便地定義視頻查詢，然后將用戶通過圖形化檢索界面定義的視頻查詢描述轉(zhuǎn)換為SVQL描述,從而可以使得后續(xù)查詢處理方法可以建立在前文給出的一般性視頻查詢方案之上。方案的整體思路是:首先,從用戶偏好信息庫中獲取用戶偏好的視頻內(nèi)容(如偏好的對象或事件類型等),構(gòu)造用戶偏好數(shù)據(jù)視圖;然后,通過在用戶偏好數(shù)據(jù)視圖上執(zhí)行算法2,獲取目標(biāo)視頻數(shù)據(jù);最后,從用戶偏好信息庫中獲取用戶偏好內(nèi)容的興趣度值,對結(jié)果重新排序,提交給視頻檢索輸出界面顯示。具體的過程如算法3所示。

算法3個性化視頻查詢處理算法

輸入：語法正確有效的SVQL視頻語義查詢和用戶偏好信息庫；

輸出：滿足查詢條件且符合用戶偏好的目標(biāo)視頻數(shù)據(jù)。

1)從用戶偏好信息庫中獲取用戶偏好的內(nèi)容，構(gòu)造用戶偏好視圖如下：

①如果偏愛信息涉及視頻創(chuàng)作者，則確定創(chuàng)建者表(因為視頻的創(chuàng)作者信息存儲在特征數(shù)據(jù)庫的創(chuàng)建者表中)；

②如果偏愛信息涉及視頻創(chuàng)作工具、創(chuàng)作地點、或創(chuàng)作時間，則確定創(chuàng)建信息表(因為視頻的這些創(chuàng)作信息存儲在特征數(shù)據(jù)庫的創(chuàng)建信息表中)；

③如果偏愛信息涉及視頻的標(biāo)題、類別、分布源、或標(biāo)題關(guān)鍵字，則確定視頻信息表(因為這些信息存儲在特征數(shù)據(jù)庫中的視頻信息表中)；

④如果偏愛信息涉及視頻語義對象，則確定視頻對象表(因為視頻對象存儲在特征數(shù)據(jù)庫中的視頻對象表中)；

⑤如果偏愛信息涉及視頻語義事件，則確定視頻事件表(因為視頻事件存儲在特征數(shù)據(jù)庫中的視頻事件表中)；

⑥如果偏愛信息涉及視頻語義關(guān)系，則確定視頻語義關(guān)系表(因為視頻語義關(guān)系存儲在特征庫中的視頻關(guān)系表中)。

2)根據(jù)用戶偏愛信息所涉及到的數(shù)據(jù)表，建立用戶偏好數(shù)據(jù)視圖。

3)在用戶偏好數(shù)據(jù)視圖上，執(zhí)行算法2，獲取滿足視頻語義查詢條件的目標(biāo)視頻數(shù)據(jù)。

4)從用戶偏好信息庫中獲取用戶偏好內(nèi)容的興趣度值，對查詢結(jié)果按興趣度權(quán)重降序排序。

3 系統(tǒng)測試

圖3給出了視頻檢索系統(tǒng)的視頻檢索界面和結(jié)果輸出界面。視頻檢索界面的左邊允許用戶逐個設(shè)定查詢條件(包括視頻對象條件、視頻事件條件，以及對象或事件間的語義關(guān)系),界面會根據(jù)用戶設(shè)定的查詢條件,生成SVQL查詢語句(展示在界面的右邊)。結(jié)果輸出界面主要展示查詢結(jié)果,其左邊是查詢得到的視頻,點擊后可以在界面右邊分別播放視頻或者查詢視頻的MPEG-7描述文檔。

圖3 視頻檢索系統(tǒng)Fig.3 The video retrieval system

為了驗證系統(tǒng)的查準(zhǔn)率(檢索出的相關(guān)視頻數(shù)量/檢索出的視頻總量)和查全率(檢索出的相關(guān)視頻數(shù)量/系統(tǒng)中相關(guān)視頻總量),選取了50個視頻,并手工對這些視頻描述文檔進行預(yù)處理,將提取出的語義特征存儲到視頻特征庫中,相應(yīng)的視頻存儲到視頻媒體庫中。共進行了10次視頻檢索測試，實驗測試結(jié)果如表4所示?？梢钥闯?平均查全率為80%,平均查準(zhǔn)率為81%。指標(biāo)無法達到100%的原因是:檢索系統(tǒng)是基于MPEG-7視頻描述文檔的,如果文檔沒有對視頻內(nèi)容信息進行足夠詳細的描述,檢索效果將受到極大影響。例如,在一段乒乓球比賽視頻中,真實比賽場地是北京大學(xué)體育館,但是相應(yīng)MPEG-7視頻描述文檔沒有描述比賽場地，當(dāng)搜索發(fā)生在北京大學(xué)的視頻時,就不能檢索出這段視頻。因此,本系統(tǒng)的視頻檢索性能主要取決于MPEG-7描述文檔的質(zhì)量。此外,為了評價個性化視頻檢索效果,手工為10個視頻查詢設(shè)置了相應(yīng)的用戶興趣偏好表,據(jù)此，系統(tǒng)可對檢索到的視頻片段按照用戶興趣從高到低排序。個性化檢索效果為“OK”,當(dāng)且僅當(dāng)檢索結(jié)果中的所有非目標(biāo)視頻均排在結(jié)果列表的最后面(例如查詢10會產(chǎn)生4個非目標(biāo)視頻,但在結(jié)果列表中它們均排在最后)。實驗測試結(jié)果見表4的最后一行，可以看出,借助個性化檢索方案,系統(tǒng)會將符合用戶個人興趣偏好的視頻優(yōu)先推薦給用戶,改善了視頻檢索效果。

表4 實驗結(jié)果Tab.4 Experimental result

4 結(jié) 語

本文討論了基于MPEG-7的視頻內(nèi)容檢索系統(tǒng)的設(shè)計與實現(xiàn)。本文工作包括3個方面:①設(shè)計了基于MPEG-7的視頻存儲方法,以解析MPEG-7 視頻描述文檔,提取視頻語義特征,建立視頻特征庫;②設(shè)計了基于內(nèi)容的視頻檢索方法,通過設(shè)計視頻查詢語言,研究相應(yīng)的視頻查詢處理方法,從視頻數(shù)據(jù)庫中有效地獲取目標(biāo)視頻;③實驗評估驗證了視頻檢索系統(tǒng)的有效性。然而,本文工作建立在MPEG-7視頻描述文檔基礎(chǔ)上，因此,如何為視頻構(gòu)造生成有效的MPEG-7內(nèi)容描述文檔,是后續(xù)研究的重點。

參考文獻：

[1] 查正軍，鄭曉菊.多媒體信息檢索中的查詢與反饋技術(shù)[J].計算機研究與發(fā)展，2017，54 (6)：1267-1280.

[2] GROSKY W I, RUAS T L. The continuing reinvention of content-based retrieval: Multimedia is not dead[J]. IEEE Multimedia, 2017, 24 (1): 6-11.

[3] DONDERLER M E, SAYKOL E, ARSLAN U,et al. BilVideo: Design and implementation of a video database management system[J].Multimedia Tools and Applications, 2005, 27 (1): 79-104.

[4] CAO Z, WU Z, WANG Y. UMQL: A unified multimedia query language[C]∥Third International IEEE Conference on Signal Image Technology and Internet-Based Systems (SITIS 2007).IEEE Computer Society, 2007:109-115.

[5] WU Z, CAO Z, WANG Y,et al. Processing and optimizing UMQL-based multimedia queries[J]. Journal of Southeast University-English Edition，2009, 25 (3): 320-325.

[6] WU Z, CAO Z, WANG Y. Multimedia selection operation placement[J]. Multimedia Tools and Applications，2011, 54 (1): 69-96.

[7] 吳宗大, 曹忠升, 王元珍，等. 多媒體查詢語言UMQL語法分析器的設(shè)計與實現(xiàn)[J]. 小型微型計算機系統(tǒng)，2010, 31 (2): 271-276.

[8] WU Z, XU G, CAO Z, et al. GMQL: A graphical multimedia query language[J]. Knowledge-Based Systems，2012, 26: 135-143.

[9] 盧成浪, 劉明雍, 吳宗大. 有效多媒體查詢代數(shù)的設(shè)計與實現(xiàn)[J]. 西北工業(yè)大學(xué)學(xué)報，2014, 32 (6): 899-905.

[10] MOHAMADZADEH S, FARSI H. Content-based image retrieval system via sparse representation[J]. IET Computer Vision，2016, 10 (1): 95-102.

[11] 曹忠升, 吳宗大, 王元珍. 多媒體查詢語言及其評價準(zhǔn)則[J]. 計算機科學(xué)，2009, 36 (3): 47-53.

[12] SCHOEFFMANN K, HUDELIST M A, HUBER J. Video interaction tools: A survey of recent work[J].ACM Computing Surveys, 2015, 48 (1): 1-34.

[13] CHU Y, CHIA L T, BHOWMICK S S, et al. Looking at mapping, indexing and querying of MPEG-7 descriptors in RDBMS with SM3[C]∥ACM International Workshop on Multimedia Databases.ACM，2004: 55-64.

[14] CHRISTOPOULOS C, BERG D, SKODRAS A. The colour in the upcoming MPEG-7 standard[C]∥Proceeding of the European Signal Processing Conference.IEEE, 2015: 1-4.

[15] LU C,LIU M,WU Z.SVQL:A SQL extended query language for video databases[J].International Journal of Database Theory and Application，2015,8(3): 235-248.