□ 劉燕權(quán)/美國南康涅狄格州立大學(xué) 美國康州紐黑文 06515

孫秀良/北京化工大學(xué)圖書館 北京 100029

信息媒體數(shù)字視頻圖書館
——開創(chuàng)多媒體數(shù)字圖書館先河

□ 劉燕權(quán)/美國南康涅狄格州立大學(xué) 美國康州紐黑文 06515

孫秀良/北京化工大學(xué)圖書館 北京 100029

信息媒體數(shù)字視頻圖書館（The INFORMEDIA Digital Video Library，簡稱IDVL）項(xiàng)目是美國數(shù)字圖書館創(chuàng)始計(jì)劃（Digital Libraries Initiative，簡稱DLI）最初的六個(gè)項(xiàng)目之一，由卡內(nèi)基?梅隆大學(xué)于1994年創(chuàng)建。該項(xiàng)目一直在深入地開發(fā)數(shù)字視頻及其相關(guān)技術(shù)和工具，致力于建立一個(gè)龐大的在線數(shù)字視頻圖書館，為用戶提供多媒體信息服務(wù)。文章對該數(shù)字圖書館的項(xiàng)目概況、資源組織、技術(shù)特征和服務(wù)特點(diǎn)等進(jìn)行了綜合介紹和評價(jià)。

數(shù)字圖書館，卡內(nèi)基?梅隆大學(xué)，美國數(shù)字圖書館創(chuàng)始計(jì)劃(DLI)，信息媒體項(xiàng)目，數(shù)字視頻，美國國家科學(xué)基金會(huì)（NSF）

1 項(xiàng)目概述

信息媒體數(shù)字視頻圖書館（The INFORMEDIA Digital Video Library，簡稱IDVL）項(xiàng)目由美國卡內(nèi)基?梅隆大學(xué)計(jì)算機(jī)學(xué)院于1994年創(chuàng)建，是美國數(shù)字圖書館創(chuàng)始計(jì)劃（Digital Libraries Initiative，簡稱DLI）項(xiàng)目之一，也是當(dāng)時(shí)美國唯一研究視頻信息的項(xiàng)目。Informedia項(xiàng)目的參與機(jī)構(gòu)以卡內(nèi)基?梅隆大學(xué)為主，合作機(jī)構(gòu)包括Microsoft公司、數(shù)字設(shè)備公司、貝爾大西洋網(wǎng)絡(luò)服務(wù)公司、QED廣播公司、英格蘭米爾頓?基尼斯的開放大學(xué)、溫徹斯特Thurston中學(xué)和費(fèi)爾法克斯縣的公立學(xué)校等，目標(biāo)是建立一個(gè)聯(lián)機(jī)交互的在線數(shù)字視頻圖書館系統(tǒng)，使用戶能夠通過網(wǎng)絡(luò)查詢、檢索和獲取科學(xué)與數(shù)學(xué)方面的視聽資料。Informedia項(xiàng)目的網(wǎng)址為http://www.informedia.cs.cmu.edu/，主頁如圖1所示。

Informedia項(xiàng)目的開發(fā)經(jīng)歷了兩個(gè)階段：1994—1998年為第一階段，稱為Informedia-I；1999年以后為第二階段，稱為Informedia-II。Informedia-I是DLI-I的一個(gè)組成部分，接收美國國家科學(xué)基金會(huì)（NSF）、美國國防部高級研究計(jì)劃署（DARPA）和美國宇航局（NASA）480萬美元的資助，目標(biāo)是賦予音頻、視頻在查詢、檢索、分類和摘要各方面與文字文獻(xiàn)相同的功能。Informedia-II在DLI-II中繼續(xù)得到400萬美元資助，除DLI-I的三個(gè)贊助單位（NSF、DARPA和NASA）外，贊助單位還增加了美國醫(yī)學(xué)圖書館、美國國會(huì)圖書館、美國人文學(xué)科基金會(huì)、美國聯(lián)邦調(diào)查局，目標(biāo)是繼續(xù)在視頻信息處理方面進(jìn)行探索，增強(qiáng)視頻信息提取的速度和準(zhǔn)確性，加強(qiáng)信息的顯示能力，有效處理大量視頻文獻(xiàn)，提高系統(tǒng)的訪問效率。

圖1 Informedia項(xiàng)目主頁

2 資源組織

2.1 資源范圍和類型

Informedia系統(tǒng)提供對現(xiàn)在和過去的電視、廣播新聞、紀(jì)錄片和廣播的全文查詢及檢索。自1994年開始，卡內(nèi)基?梅隆大學(xué)的信息媒體項(xiàng)目對來自CNN的新聞視頻信息、英國開放大學(xué)、QED通信機(jī)構(gòu)（QED Communications）、發(fā)現(xiàn)頻道（the Discovery Channel）以及美國許多政府機(jī)構(gòu)（如美國宇航局、國家公園服務(wù)處National Park Service、美國地質(zhì)調(diào)查局U.S. Geological Survey等）的紀(jì)錄片及教育錄像制品進(jìn)行數(shù)字化。Informedia項(xiàng)目的開始階段，該系統(tǒng)通過網(wǎng)絡(luò)向用戶提供1000小時(shí)的錄像資料；2000年，視頻數(shù)字圖書館己擁有2000小時(shí)5000個(gè)片段的視頻信息，并且繼續(xù)以每周10小時(shí)的速度增長；到2002年，Informedia系統(tǒng)擁有2TB的每日新聞和公眾電視、政府機(jī)構(gòu)的紀(jì)錄片，視頻信息已經(jīng)增加到大約3000小時(shí)。

2.2 元數(shù)據(jù)方案

Informedia系統(tǒng)以全自動(dòng)化的方式對每天的內(nèi)容進(jìn)行捕獲和信息抽取，并把它們存儲在在線檔案中；利用廣播電視節(jié)目中的腳本信息構(gòu)造文本索引，通過語音識別器將伴音轉(zhuǎn)換為文本；使用視頻分析模塊提取人臉特征、疊加在屏幕上的文本和視頻鏡頭邊界等，然后將這些信息全部綁定形成最終的索引結(jié)構(gòu)，支持快速多媒體相似檢索；同時(shí)，允許根據(jù)聲道、封閉字幕和屏幕上的文本對個(gè)別視頻段落進(jìn)行快速檢索，支持任意說出的或文字輸入的主題詞提問；它還能夠?qū)ο嗨频哪樅蛨D像進(jìn)行匹配。該系統(tǒng)能將文本和視頻信息融合起來，尤其是把底層和中層的視頻特征，包括鏡頭邊界、人臉等，與語音識別出來的伴隨文本和視頻的字符識別（Optical Character Recognition，簡稱OCR）出來的鏡頭標(biāo)題和字幕集成起來使用。

為了提高視頻信息的檢索效果，Informedia視頻數(shù)字圖書館對錄像制品進(jìn)行自動(dòng)編碼處理，并從中提取有關(guān)信息生成地點(diǎn)附注。在該檢索界面中，可以將特定事件與其發(fā)生地建立關(guān)聯(lián)，實(shí)現(xiàn)從事件、時(shí)間到地點(diǎn)的論題檢索，或從地點(diǎn)入手檢索視頻信息的空間查詢方法。在信息媒體圖書館視頻信息中，描述性的文本信息是地點(diǎn)附注（Geographic Reference）的主要來源。通過對視頻文件中的文本元數(shù)據(jù)進(jìn)行信息源處理，就能產(chǎn)生地理編碼。Informedia圖書館項(xiàng)目所使用地名詞典是從環(huán)境系統(tǒng)研究所（Environmental Systems Research Institute，ESRI）的世界地名詞典中派生出來的數(shù)據(jù)子集。該地名數(shù)據(jù)子集包括全世界約300個(gè)國家、州、行政實(shí)體以及17000個(gè)主要城市。經(jīng)過處理，最后將文本元數(shù)據(jù)和視頻的播放時(shí)間聯(lián)系起來，并根據(jù)與之對應(yīng)的地理編碼簿標(biāo)出該地的經(jīng)度和緯度。同時(shí)，對文本式的元數(shù)據(jù)進(jìn)行語法分析，從中抽取包含地名的句子。通過對來源元數(shù)據(jù)的上下文分析，系統(tǒng)能夠辨別它們的不同含義，確定它是人名還是地名，并按專有名詞歸類，從而更精確地表示其地理方位。

3 技術(shù)特征

3.1 界面設(shè)計(jì)

卡內(nèi)基?梅隆大學(xué)Informedia數(shù)字視頻圖書館的主頁設(shè)計(jì)清晰實(shí)用（圖1），使用戶能夠在最短的時(shí)間內(nèi)方便快速地找到Informedia項(xiàng)目的具體內(nèi)容。頁面整體可分為三大部分，最上面是頁面的logo；下左方是主菜單模塊，各個(gè)主題菜單依次順延，可以直接瀏覽進(jìn)入Informedia各個(gè)子項(xiàng)目以及該項(xiàng)目的出版物、團(tuán)隊(duì)和更新情況等，主菜單的下面還提供了谷歌搜索，并設(shè)有檢索框；下正中模塊包括項(xiàng)目的基本內(nèi)容介紹、研究成果介紹和聯(lián)系方式，還提供了Informedia的大事年表。這種設(shè)計(jì)風(fēng)格讓讀者易接近，方便讀者對該項(xiàng)目進(jìn)行了解、評價(jià)。

3.2 技術(shù)分析

Informedia-I把語音、視頻、圖像與自然語言理解技術(shù)相集成，將語音、圖像和自然語言理解相互融合，以實(shí)現(xiàn)智能搜索和圖像檢索為目的，對線性視頻進(jìn)行自動(dòng)轉(zhuǎn)錄、分段和索引。采用高質(zhì)量的語音識別系統(tǒng)把視頻錄像帶上的音頻內(nèi)容轉(zhuǎn)換成文本文件，然后通過語言識別系統(tǒng)的分析和組織，把文件保存到全文信息檢索系統(tǒng)中。同樣，在視頻流的自動(dòng)切割中，應(yīng)用了圖像識別技術(shù)來確定邊界。這些工具也同樣運(yùn)用在智能視頻監(jiān)視、導(dǎo)航和選擇性檢索中。這個(gè)過程自動(dòng)為每個(gè)故事片段生產(chǎn)各種摘要，如標(biāo)題、幻燈影片的故事概要和視頻速覽。

在Informedia-II系統(tǒng)中，采用了視頻文件集的摘要、多模型查詢、自適應(yīng)總結(jié)和基于本體的視頻檢索（video indexing ontology）等技術(shù)，提高了系統(tǒng)的訪問效率。將各種音視頻信息拼貼在一起是該階段的關(guān)鍵技術(shù)，這一技術(shù)是通過加強(qiáng)對信息顯示能力的研究來實(shí)現(xiàn)的，能夠更有效地處理大量視頻文獻(xiàn)。拼貼技術(shù)可以讓用戶方便查詢數(shù)字視頻圖書館中不同方面的信息，具有可擴(kuò)展和基于語義縮放的特點(diǎn)?；诒倔w的視頻檢索技術(shù)利用本體在概念級建模多媒體語義內(nèi)容，使用構(gòu)建的概念本體作為多媒體語義內(nèi)容標(biāo)注、索引和用戶檢索概念匹配的統(tǒng)一術(shù)語集，以提高多媒體內(nèi)容標(biāo)注的有效性和檢索的準(zhǔn)確性。在Ontology的應(yīng)用中基于MPEG-7國際標(biāo)準(zhǔn)，解決對多媒體信息描述的標(biāo)準(zhǔn)問題。同時(shí)，采用XML可拓展標(biāo)記語言與Ontology結(jié)合應(yīng)用。Informedia-II系統(tǒng)還可以從語音識別系統(tǒng)和視頻流的 OCR輸出中抽取命名實(shí)體，并綜合多個(gè)特征來獲取更好的查詢結(jié)果。

Informedia數(shù)字視頻圖書館系統(tǒng)結(jié)構(gòu)原型是在一個(gè)商業(yè)化的關(guān)系數(shù)據(jù)庫系統(tǒng)上建立的，并把所有的分析模塊和元數(shù)據(jù)轉(zhuǎn)移過去。目前的系統(tǒng)使用 Informix，但是可以在很多標(biāo)準(zhǔn)的關(guān)系數(shù)據(jù)庫系統(tǒng)上運(yùn)行（如Oracle、Sybase）。為了減少系統(tǒng)遷移時(shí)客戶端的改變，系統(tǒng)提供了新的應(yīng)用程序接口，可以分離數(shù)據(jù)庫、查詢模塊和視頻文件，這種結(jié)構(gòu)還提供了函數(shù)和數(shù)據(jù)的復(fù)制功能。

4 信息服務(wù)

4.1 目標(biāo)用戶

Informedia項(xiàng)目致力于將多媒體的信息應(yīng)用于教育、信息和娛樂的環(huán)境中，主要目標(biāo)用戶是廣大的教育工作者，包括小學(xué)、中學(xué)和大學(xué)的學(xué)生、老師和教授，使用戶能進(jìn)入、開發(fā)、檢索利用可視文獻(xiàn)，并通過公共學(xué)校系統(tǒng)為函授大學(xué)設(shè)計(jì)可視教程，滿足用戶對錄像和視頻信息的檢索需求。

4.2 檢索功能

在視頻信息的檢索方面，用戶最關(guān)心的是快速找到符合自己需求的視頻情節(jié)或片段。Informedia項(xiàng)目開發(fā)了信息可視化界面，可以讓用戶瀏覽整個(gè)檢索結(jié)果，而不對結(jié)果集進(jìn)行耗費(fèi)時(shí)間的重新排序和在結(jié)果集內(nèi)往返移動(dòng)。同時(shí)，在錄像片段的收集過程中自動(dòng)提供文摘，即根據(jù)豐富的信息資源自動(dòng)生成元數(shù)據(jù)，并將自動(dòng)生成的視頻文摘與揭示人物、事件、機(jī)構(gòu)、論題以及地點(diǎn)和時(shí)間的“視頻拼貼畫”聯(lián)系起來。這些拼貼畫（關(guān)鍵視頻幀）是從眾多的錄像片段中提取出來的信息。

Informedia數(shù)字視頻檢索系統(tǒng)（IDVL）如圖2所示，允許用戶訪問、挖掘和檢索海量的數(shù)字視頻庫。例如，檢索厄爾尼諾效應(yīng)時(shí)，1997年初它所影響的地區(qū)和1998年影響的地區(qū)是不同的，在地圖上顯示的“點(diǎn)”分布的情況也不同。圖2展示了IDVL接口顯示12個(gè)從“El Ni?o”查詢返回的文檔以及不同多媒體從這些文檔中提取的信息。左上屏幕是檢索詞輸入欄，左下屏幕是查詢返回的文檔，右側(cè)屏幕是不同多媒體從這些文檔中提取的信息。當(dāng)選中一個(gè)視頻時(shí)，在右下屏幕將播放該視頻，并且在其下面，也將顯示真正的文本，其中“El Ni?o”一詞會(huì)突出顯示。關(guān)鍵視頻幀匯集了最能反映錄像中心內(nèi)容的畫面，同時(shí)也可以讓用戶聚焦于自己感興趣的某些特殊細(xì)節(jié)。

圖2 基于內(nèi)容的Informedia數(shù)字視頻檢索系統(tǒng)

Informedia-II項(xiàng)目增強(qiáng)了底層信息提取的速度以及準(zhǔn)確性，還包括對名字、地點(diǎn)、日期和時(shí)間引用的解釋，并且增加了對動(dòng)態(tài)事件片段、語音以及人臉識別和視頻事件特征的識別。概要信息而不是文檔本身成為敘述的單元，如圖3所示。視頻源可以在這些概要的上下文中看到，以顯示事件如何隨時(shí)間跨越地理邊界發(fā)展，從而允許從時(shí)間和空間視角來展現(xiàn)。

圖3 Informedia-II接口對于“El Ni?o effects”查詢提供的附加的視圖

5 評價(jià)及建議

卡內(nèi)基梅隆大學(xué)的Informedia項(xiàng)目是六個(gè)初始NSF/DLI-Ⅰ項(xiàng)目之一，是其中唯一一個(gè)著眼于視頻媒體的項(xiàng)目，開創(chuàng)了一個(gè)專注于方便用戶訪問以及檢索視頻信息的時(shí)代。自1994年至今，該項(xiàng)目一直在深入地開發(fā)數(shù)字視頻及其相關(guān)的技術(shù)和工具。Informedia數(shù)字視頻圖書館使用戶能夠從視頻數(shù)字圖書館里接近、探索和檢索科學(xué)資料，已成為數(shù)字圖書館建設(shè)中一個(gè)比較成功的范例。其優(yōu)勢主要體現(xiàn)在：一、資金和設(shè)備基礎(chǔ)方面，Informedia項(xiàng)目起步早，獲得機(jī)構(gòu)的資助合作較多，對信息資源采集整理有較好的設(shè)備和技術(shù)支持；二、資源建設(shè)方面，以視頻、音頻多媒體資源建設(shè)為重點(diǎn)，資源優(yōu)勢獨(dú)特，滿足教育、信息和娛樂用戶對錄像和視頻的檢索需求；三、檢索方面，不僅賦予視頻檢索具有文本檢索中的所有功能，自動(dòng)進(jìn)行內(nèi)容獲取，信息提取以及在線存檔，還增強(qiáng)了視頻信息提取的速度以及準(zhǔn)確性，提高了系統(tǒng)的訪問效率；四、服務(wù)方面，Informedia系統(tǒng)的視頻音頻自動(dòng)標(biāo)引、導(dǎo)航、可視化、搜索與檢索，以及在此基礎(chǔ)上的多模型查詢、視頻的自動(dòng)提供摘要等功能給用戶提供了莫大的便利，是很有針對性的特色服務(wù)。視頻信息除了用日期、時(shí)間、論題檢索外，還可以通過定位等方式進(jìn)行檢索。文字檢索的結(jié)果可顯示在一幅地圖上，并選擇自己喜歡的方式進(jìn)行揭示，這些都改進(jìn)了信息的展現(xiàn)方式。授權(quán)的用戶可以按時(shí)間的模式對視頻圖書館中的所有元數(shù)據(jù)進(jìn)行管理。

雖然Informedia數(shù)字視頻圖書館有很多優(yōu)勢，但在發(fā)展建設(shè)中也有一些應(yīng)注意的問題：一、文本、視頻、音頻三者融合的方法適用于帶有非常清楚的語音、文字的視頻，如教育片、紀(jì)錄片。但是對于包括復(fù)雜類型聲音的視頻，如故事片，這種文字或關(guān)鍵詞的方法就可能難以達(dá)到令人滿意的的效果。二、靜態(tài)視頻摘要和全景拼接圖方式實(shí)現(xiàn)的方法相對比較簡單，在一定程度上能夠滿足人們?yōu)g覽信息的需要。但是靜態(tài)視頻摘要和全景拼接作瀏覽時(shí)把視頻中的很多東西都丟失了，造成瀏覽信息的片面。三、基于文字的視頻摘要方式，由于需要有清晰的人工文字，且OCR系統(tǒng)也并非十全十美，因而限制了摘要的應(yīng)用場所。動(dòng)態(tài)視頻摘要和多媒體信息摘要可以滿足人們?nèi)找嬖L的需求，但是實(shí)現(xiàn)起來比較困難。四、Informedia系統(tǒng)還未對公眾開放，需要授權(quán)。五、頁面上的站內(nèi)Google搜索鏈接暫時(shí)不能訪問。需要Informedia進(jìn)一步完善，以進(jìn)一步促進(jìn)其數(shù)字圖書館的優(yōu)化服務(wù)。

Informedia項(xiàng)目基于內(nèi)容的多媒體信息檢索是一種新興的網(wǎng)絡(luò)信息處理和檢索技術(shù)，它包含了自然語音處理、圖像處理、視頻處理、語音識別、數(shù)據(jù)庫與數(shù)據(jù)挖掘、模式識別、人工智能、機(jī)器學(xué)習(xí)等眾多學(xué)科，是一個(gè)長期的、復(fù)雜的、富有挑戰(zhàn)性的研究課題。

[1] 朱強(qiáng).數(shù)字圖書館：21世紀(jì)圖書館的原型──美國“數(shù)字圖書館創(chuàng)始”計(jì)劃簡介[J].大學(xué)圖書館學(xué)報(bào), 1995(4): 50-54.

[2] 沈正華.數(shù)字視頻圖書館的交互式地圖[J].現(xiàn)代圖書情報(bào)技術(shù), 2004(2): 4-9.

[3] 蘇新寧.信息檢索理論與技術(shù)[M].科學(xué)技術(shù)文獻(xiàn)出版社,2004.

[4] WACTLAR H D. Multi-Document Summarization and Visualization in the Informedia Digital Video Library [C]//Invited speaker at New Information Technology 2001 Conference, Tsinghua University,Beijing, May 29-31, 2001.

[5] WACTLAR H D. Exploring Cultural Origins and Evolution by Navigating Searchable Video and Film Archives [C]//International Conference on Digital Libraries, IT Opportunities and Challenges in the New Millenium (invited speaker), Beijing, China, July 8-12, 2002.

[6] Informedia Digital Video Library [EB/OL]. [2014-01-10]. http://www.informedia.cs.cmu.edu/.

[7] Research Informedia-I [EB/OL]. [2014-1-10]. http://www. informedia.cs.cmu.edu/dli1/index.html.

[8] ResearchInformedia-II [EB/OL]. [2014-01-10]. http://www. informedia.cs.cmu.edu/dli2/index.html.

[9] ResearchOntotlgy [EB/OL]. [2014-01-10]. http://www. informedia.cs.cmu.edu/ontology/index.html.

[10] Research Timeline [EB/OL]. [2014-01-10]. http://www. informedia.cs.cmu.edu/timeline/index.html.

The INFORMEDIA Digital Video Library——The Forerunner of Multimedia Digital Libraries

Yan Quan Liu/Southern Connecticut State University, New Haven, CT, USA, 06515
Sun Xiuliang/Beijing University of Chemical Technology Library, Beijing, 100029

Carnegie Mellon University's INFORMEDIA Digital Video Library is one of six original Digital Libraries Initiative projects in USA since 1994. Its overarching goal is to enable users to achieve machine understanding of video and film media, including all aspects of search, retrieval, visualization and summarization in both contemporaneous and archival content collections. This review examines various aspects of the library, including the project's background, organization of resources, technologies, and service features. Authors' comments are also given.

Digital library, Carnegie Mellon University, Digital Libraries Initiative (DLI), INFORMEDIA, Digital video, National Science Foundation (NSF)

2014-02-08）

10.3772/j.issn.1673—2286.2014.03.010

劉燕權(quán)，男，博士，畢業(yè)于美國麥迪遜大學(xué)信息圖書館學(xué)院，現(xiàn)任南康涅狄格州立大學(xué)教授。近年的出版物主要集中在數(shù)字圖書館、數(shù)據(jù)挖掘、多媒

體技術(shù)、軟件管理、國家信息基礎(chǔ)結(jié)構(gòu)、信息存儲、圖書館統(tǒng)計(jì)及管理等。E-mail: liuscsu@gmail.com

孫秀良，男，博士，北京化工大學(xué)圖書館副研究館員。E-mail: sunxl@buct.edu.cn