梁俊杰+熊亞軍+余敦輝

摘 要：提出一種基于本體的視頻檢索方法，利用本體的基本概念獲取樣本圖像組，并建立樣本圖像組和未標(biāo)注視頻的共同特征空間來實(shí)現(xiàn)視頻的標(biāo)注;在視頻標(biāo)注的基礎(chǔ)上，對(duì)視頻領(lǐng)域本體的基本概念集進(jìn)行擴(kuò)展來提高查詢的命中率，以對(duì)擴(kuò)展概念集記錄進(jìn)行檢索的方式完成視頻的檢索。

關(guān)鍵詞：領(lǐng)域本體;視頻檢索;共同特征空間;視頻標(biāo)注

中圖分類號(hào)：TP391 ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? 文章編號(hào)：2095-1302（2015）01-00-03

0 ?引 ?言

近年來，隨著多媒體技術(shù)和互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，不斷會(huì)有海量的、非結(jié)構(gòu)化的視頻數(shù)據(jù)產(chǎn)生。視頻數(shù)據(jù)因其強(qiáng)大的內(nèi)容承載能力正在越來越廣泛地作為信息載體應(yīng)用于信息傳播領(lǐng)域。而傳統(tǒng)的信息檢索方式又難以有效應(yīng)用于視頻檢索領(lǐng)域[1]。

通過構(gòu)建計(jì)算機(jī)科普視頻領(lǐng)域本體，條理化計(jì)算機(jī)科普視頻中涉及到的概念，然后借助這些概念在線獲取樣本圖像組，并建立它們與未標(biāo)注視頻的共同特征空間完成視頻的標(biāo)注。在此基礎(chǔ)上，對(duì)該領(lǐng)域本體的基本概念定義存儲(chǔ)結(jié)構(gòu)以建立相應(yīng)的記錄，并對(duì)基本概念集進(jìn)行擴(kuò)展，提高匹配檢索的命中率，最終完成對(duì)海量視頻信息的檢索。

1 ?視頻領(lǐng)域本體的構(gòu)建

本體是共享概念模型的明確形式化規(guī)范說明，廣泛應(yīng)用于信息檢索、語(yǔ)義Web等領(lǐng)域[2]。本文以計(jì)算機(jī)科普視頻為例，基于WordNet知識(shí)庫(kù)提取計(jì)算機(jī)科普的相關(guān)概念，然后運(yùn)用Protégé[3]本體編輯工具建立計(jì)算機(jī)科普視頻的領(lǐng)域本體。該本體比較全面的涵蓋了計(jì)算機(jī)科普領(lǐng)域的基本內(nèi)容，為視頻檢索的圖像集初始化和自動(dòng)視頻標(biāo)注提供了載體，具體的計(jì)算機(jī)科普視頻領(lǐng)域本體如圖1所示。

圖1 ?視頻領(lǐng)域本體的構(gòu)建

2 ?視頻標(biāo)注算法

2.1 ?傳統(tǒng)的視頻標(biāo)注方法及其弊端

目前，大部分搜索引擎在檢索視頻文件時(shí)，是通過視頻文件的標(biāo)簽等文本信息進(jìn)行檢索的。隨著視頻數(shù)量的快速增長(zhǎng)，傳統(tǒng)的視頻標(biāo)注方法存在很多弊端[4]，主要如下：

（1）標(biāo)注量大：對(duì)海量的視頻信息逐個(gè)進(jìn)行標(biāo)注要耗費(fèi)大量時(shí)間;

（2）客觀性差：人工標(biāo)注難免受人為主觀性的影響。

傳統(tǒng)的視頻標(biāo)注方法存在的這些弊端將導(dǎo)致標(biāo)注偏差甚至錯(cuò)誤等問題，進(jìn)而直接影響到視頻檢索準(zhǔn)確性。

2.2 ?視頻標(biāo)注

互聯(lián)網(wǎng)是一個(gè)包含海量圖像的巨大容器，而且蘊(yùn)含了大量的圖像知識(shí)。由此，可以根據(jù)關(guān)鍵字在線檢索得到大量的圖像，用以檢索的關(guān)鍵字即為對(duì)應(yīng)圖像組的標(biāo)注。然后通過CCA方法得到共同特征空間，這樣將標(biāo)注域的中圖像樣本的特征與被標(biāo)注域中的視頻的特征進(jìn)行比較[5]，并將比較得到相似度結(jié)果分別表示為r、rm、ra，其中r表示比較的最終結(jié)果，rm表示被標(biāo)注域視頻特征與圖像組中每一幅圖像的圖像特征通過共同特征空間進(jìn)行比較的得到最大值，ra表示與圖像組中幅圖像比較的均值，即r=rm+ra，即：

（1）

其中ri，i∈（1，2，…，n），n為該圖像組圖像樣本的數(shù)量，最終運(yùn)用式（1）將求得r值最大的圖像組的標(biāo)注作為該視頻的標(biāo)注。

2.2.1 ?圖像庫(kù)的初始化

根據(jù)領(lǐng)域本體的特點(diǎn)，可將領(lǐng)域本體的概念作為結(jié)點(diǎn)，而概念間的關(guān)系作為結(jié)點(diǎn)之間的層次關(guān)系，則領(lǐng)域本體可用樹來描述，從概念作為樹的結(jié)點(diǎn)的位置分，可大致將概念分為兩種，一種為葉子結(jié)點(diǎn)概念，另一種為非葉子結(jié)點(diǎn)概念。

定義1.元概念集：用樹描述的領(lǐng)域本體中處于葉子結(jié)點(diǎn)位置概念的集合，用Cm表示;

定義2.基本概念集：領(lǐng)域本體中所有概念的構(gòu)成的集合，用Cb表示。

圖像庫(kù)的初始化就是將逐個(gè)元概念集中的概念作為關(guān)鍵字在線獲取n幅具有代表性的圖像作為該概念的樣本圖像，該概念的樣本圖像組成的集合稱為對(duì)應(yīng)概念的圖像組，而該概念即為對(duì)應(yīng)圖像組的標(biāo)注。

2.2.2 ?視頻標(biāo)注算法

為方便描述，特作以下定義：

定義3.源域（Source Domain）：以元概念集中的概念為關(guān)鍵字通過互聯(lián)網(wǎng)圖像搜索引擎檢索得到的圖像組、該概念共同組成的數(shù)據(jù)集合，可用一個(gè)二元組SD來表示：SD={Ci，IGi}，IGi={ Imagei1、Imagei2、…、Imagein }，其中i為葉子結(jié)點(diǎn)概念的序號(hào)，imax為葉子結(jié)點(diǎn)位置概念的個(gè)數(shù)，n為每個(gè)葉子結(jié)點(diǎn)概念對(duì)應(yīng)的圖像組的圖像樣本數(shù)目;

定義4.目標(biāo)域（Target Domain）：把未標(biāo)注并且將要借助標(biāo)注域進(jìn)行標(biāo)注的互聯(lián)網(wǎng)視頻組成的集合，可用一個(gè)集合TD表示TD={V1、V2、…、Vm}，其中m為未標(biāo)注視頻的數(shù)目;

由于圖像特征和視頻特征是異構(gòu)的，不能通過分析圖像與視頻的相關(guān)性來決定是否將圖像的標(biāo)注信息作為視頻的標(biāo)注。為解決空間特征異構(gòu)問題，引入共同特征空間的概念[6]。在標(biāo)注域和被標(biāo)注域的特征空間之間建立共同特征空間，這樣任意標(biāo)注域中的圖像樣本和被標(biāo)注域中的視頻樣本均可以借助映射矩陣投影到該共同特征空間中。

利用視頻關(guān)鍵幀提取工具[7]，提取視頻的關(guān)鍵幀建立視頻的圖像特征空間，給z個(gè)樣本對(duì){（K1，V1），…，（Kz，Vz）}，其中K1、K2…、Kz∈Rdi視頻關(guān)鍵幀的圖像特征空間的樣本，V1、V2…、Vz∈Rdv表示視頻特征空間的樣本，然后使用CCA（Canonical Correlation Analysis）方法來學(xué)習(xí)得到映射矩陣wi和wv。視頻標(biāo)注算法如下：

Begin輸入：SD、TD中的某個(gè)Vm

（1）建立每個(gè)IGi中每幅Imagein的圖像特征空間Sin、Vm的視頻特征空間Sa;

（2）提取Vm的關(guān)鍵幀kf，建立kf的圖像特征空間Sb;

（3）運(yùn)用CCA學(xué)習(xí)方法得到映射矩陣wi和wv;

（4）利用wi和wv建立共同特征空間Sc;

（5）For每一個(gè)Sin

①將Sin和Sa→Sb同時(shí)映射到Sc比較得到rin并計(jì)算

②計(jì)算圖像庫(kù)內(nèi)各個(gè)圖像組間的Rm

（6）將Rm對(duì)應(yīng)的圖像組相應(yīng)的概念作為視頻Vm的標(biāo)注;

End輸出：帶標(biāo)注的視頻Vm。

3 ?視頻檢索方法

3.1 ?視頻檢索框架

依據(jù)前文所述，基于計(jì)算機(jī)科普視頻領(lǐng)域本體和自動(dòng)視頻標(biāo)注進(jìn)行視頻檢索的基本框架如下：

圖2 ?計(jì)算機(jī)科普視頻檢索框架

3.2 ?檢索預(yù)處理

3.2.1 ?基本概念集的擴(kuò)展

視頻檢索采用用戶搜索關(guān)鍵字與領(lǐng)域本體中的概念集項(xiàng)進(jìn)行匹配的方式，但是包括漢語(yǔ)在內(nèi)任何語(yǔ)言都會(huì)存在同義詞的特性。而用戶在查詢時(shí)關(guān)鍵字的選取是隨機(jī)的，所以如果單一的采用基本概念集作為用戶查詢關(guān)鍵字匹配庫(kù)，會(huì)造成視頻數(shù)據(jù)的漏查，影響查全率。

為解決上述問題，本文采用對(duì)基本概念集擴(kuò)展的方法來緩解同義詞給查詢帶來的影響。

例如，有元概念集Cm ={E， F， G}，基本概念集Cb={A，B，C，D，E，F(xiàn)，G}，假設(shè)Cb中，僅有概念B有典型同義詞B1、B2、B3，則將B1、B2、B3加入Cb，有擴(kuò)展概念集Ce={ A，B，B1、B2、B3，C，D，E，F(xiàn)，G}。

3.2.2 ?擴(kuò)展概念集記錄存儲(chǔ)結(jié)構(gòu)

為方便對(duì)視頻數(shù)據(jù)記錄進(jìn)行查詢，特對(duì)擴(kuò)展概念集數(shù)據(jù)記錄的存儲(chǔ)結(jié)構(gòu)用如下六元組R[8]定義：

Record={ID，Cei，F(xiàn)lag，Ch_ID，Vi，Vi_path}，且把形如Record記錄構(gòu)成的視頻數(shù)據(jù)庫(kù)記為DBR，其中各部分含義如表1所示，其中各部分含義如表1所示：

表1 ?擴(kuò)展概念集數(shù)據(jù)記錄結(jié)構(gòu)序號(hào) 項(xiàng)名稱 項(xiàng)含義

1 ID 記錄編號(hào)

2 Cei Ce中概念或同義詞項(xiàng)

3 Flag 標(biāo)識(shí)位

當(dāng)Flag=0時(shí)，表示Cei非葉子結(jié)點(diǎn);當(dāng)Flag=1時(shí)，表示Cei為葉子結(jié)點(diǎn)概念或同義詞;

4 Ch_ID Ce中Flag=0項(xiàng)孩子結(jié)點(diǎn)ID

5 Vi 各視頻的編號(hào)和名稱

6 Vi_path 視頻Vi的存儲(chǔ)路徑

3.3 ?檢索原理

本文中的視頻檢索是擴(kuò)展概念集記錄存儲(chǔ)結(jié)構(gòu)的基礎(chǔ)上，采用用戶輸入的查詢關(guān)鍵字KeyWord與擴(kuò)展概念集記錄中Cei進(jìn)行匹配的方法完成用戶的查詢請(qǐng)求并將查詢結(jié)果返回給用戶。根據(jù)Cei在領(lǐng)域本體樹中所處的位置，又分為以下兩種情況：

（1）如果查詢關(guān)鍵字與葉子結(jié)點(diǎn)概念或其同義詞匹配成功，即Flag=1，則將葉子結(jié)點(diǎn)概念所在記錄的視頻數(shù)據(jù)返回給用戶;

（2）如果查詢關(guān)鍵字與非葉子結(jié)點(diǎn)概念或者其同義詞匹配成功，即Flag=0，則需要通過Ch_ID逐層往下尋找其孩子結(jié)點(diǎn)，直至最終找到的結(jié)點(diǎn)沒有孩子為止，則將最后找的一個(gè)或者多個(gè)葉子結(jié)點(diǎn)概念所在記錄的視頻數(shù)據(jù)返回給用戶。

查詢樣例.查詢關(guān)于B1的視頻

Step1：通過用戶輸入的關(guān)鍵字KeyWord-B1與擴(kuò)展概念集記錄進(jìn)行匹配;

Step2：匹配成功后得其Flag=0，為非葉子結(jié)點(diǎn)概念的同義詞，則通過B1所在記錄的Ch_ID信息找到得到B1的孩子結(jié)點(diǎn)概念為E、F，且E、F均是葉子結(jié)點(diǎn)概念;

Step3：返回E、F中的視頻數(shù)據(jù)并通過VE_path和VF_path讀取視頻至檢索結(jié)果列表，檢索完成。

4 ?實(shí)驗(yàn)結(jié)果與分析

從互聯(lián)網(wǎng)上收集與計(jì)算機(jī)相關(guān)的視頻作為實(shí)驗(yàn)的基礎(chǔ)數(shù)據(jù)，借助計(jì)算機(jī)科普視頻領(lǐng)域本體完成圖像庫(kù)的初始化，并利用本文的視頻標(biāo)注算法完成視頻的標(biāo)注。

利用M-OntoMat-Annotizer[9]工具對(duì)視頻基礎(chǔ)數(shù)據(jù)進(jìn)行語(yǔ)義標(biāo)注，并編碼實(shí)現(xiàn)本文的視頻檢索算法。為比較本文提出的視頻檢索算法與傳統(tǒng)的視頻檢索算法優(yōu)劣，同時(shí)借助已有方法完成傳統(tǒng)的基于關(guān)鍵詞的視頻檢索和完成基于內(nèi)容的視頻檢索。

為保證實(shí)驗(yàn)的客觀性，邀請(qǐng)多位區(qū)分度較大的用戶提出5個(gè)查詢要求：查詢有關(guān)計(jì)算機(jī)軟、硬件的視頻、計(jì)算機(jī)應(yīng)用的視頻、互聯(lián)網(wǎng)的視頻、計(jì)算機(jī)發(fā)展歷程的視頻分別進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中，采用查準(zhǔn)率和查全率[10]作為衡量檢索性能的標(biāo)準(zhǔn)，并定義如下：

查準(zhǔn)率= ? 查詢過程中需要的視頻個(gè)數(shù)

查詢過程中的視頻總數(shù)

查全率= ? ? ? 查詢過程中需要的視頻個(gè)數(shù)

視頻基礎(chǔ)數(shù)據(jù)中需要的視頻總數(shù)

根據(jù)以上的實(shí)驗(yàn)設(shè)置，當(dāng)圖像組的圖像樣本數(shù)n=1 000時(shí)，實(shí)驗(yàn)結(jié)果如圖3和圖4所示。

圖3 ?查準(zhǔn)率 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖4 ?查全率

從圖3和圖4的實(shí)驗(yàn)結(jié)果表明：本文提出的視頻檢索方法相對(duì)于基于關(guān)鍵字和內(nèi)容的視頻檢索方法，大部分的查詢請(qǐng)求的查準(zhǔn)率有不同程度的提高，驗(yàn)證了本文方法的有效性。

5 ?結(jié) ?語(yǔ)

本文提出了一種基于領(lǐng)域本體和自動(dòng)標(biāo)注的視頻檢索技術(shù)，通過領(lǐng)域本體的基本概念集收集樣本圖像組，并建立圖像組和未標(biāo)注視頻的共同特征空間完成視頻的標(biāo)注;通過將領(lǐng)域本體用樹來描述，在樹結(jié)構(gòu)的基礎(chǔ)上完成視頻的檢索。實(shí)驗(yàn)結(jié)果表明，基于領(lǐng)域本體和自動(dòng)標(biāo)注的視頻檢索技術(shù)大大提高了視頻檢索的效率。

參考文獻(xiàn)

[1]Rasiwasia N，Costa Pereira J，Coviello E，et al.A new approach to cross-modal multimedia retrieval[A].Proceedings of the International Conference on ACM Multimedia[C].Firence， Italy，2010：253-258.

[2]徐正寧.基于本體的Web數(shù)據(jù)語(yǔ)義信息的表示與處理方法研究[D].長(zhǎng)沙：國(guó)防科技大學(xué)，2002.

[3]張小峰，唐新亭，趙永升，等.基于本體技術(shù)的Internet智能搜索研究[J].計(jì)算機(jī)工程與設(shè)計(jì)，2006，27（7）：1915-1916.

[4]張靜，馬桔.利用本體的視頻語(yǔ)義概念檢測(cè)[J].小型微型計(jì)算機(jī)系統(tǒng)，2008，29（12）：2354-2356.

[5]Yang Na，Luo Hangzai，Xue Xiangyang.A method to detect anchorperson shots for digital TV news[J].Journal of Software，2002，13（8）：1559-1565.

[6]王晗，吳心筱，賈云得.使用異構(gòu)互聯(lián)網(wǎng)圖像的視頻標(biāo)注[J].計(jì)算機(jī)學(xué)報(bào)，2013，36（10）：2063-2065.

[7]隗華，陳曉鷗.一種格式無關(guān)的視頻序列關(guān)鍵幀提取策略[J].計(jì)算機(jī)應(yīng)用，2003（23）：190-191.

[8]尹文杰，韓軍偉，郭雷.圖像與視頻自動(dòng)標(biāo)注技術(shù)最新進(jìn)展[J].計(jì)算機(jī)科學(xué)，2011，38（12）：12-15.

[9]陸琳睿，周竹榮，鄧維.一種基于本體的視頻檢索方法[J].西南大學(xué)學(xué)報(bào)（自然科學(xué)版），2008，30（11）：122-123.

[10]老松楊，白亮，胡艷麗，等.基于領(lǐng)域本體的新聞視頻檢索[J].小型微型計(jì)算機(jī)系統(tǒng)，2007，28（8）：1473-1476.