劉 菲 孟祥增

【摘要】Flash動(dòng)畫(huà)是網(wǎng)絡(luò)上流行的媒體,由文本、圖形、圖像、聲音等多種媒體元素組成,文章基于Flash動(dòng)畫(huà)的文件結(jié)構(gòu),通過(guò)分析Flash動(dòng)畫(huà)的內(nèi)容特征,建立內(nèi)容特征提取平臺(tái),完成圖像信息的提取,為Flash動(dòng)畫(huà)的圖像特征建立索引庫(kù),是基于內(nèi)容的Flash動(dòng)畫(huà)檢索系統(tǒng)的研發(fā)工作的一部分。

【關(guān)鍵詞】 Flash動(dòng)畫(huà);基于內(nèi)容;特征分析;圖像提取

【中圖分類(lèi)號(hào)】 G434 【文獻(xiàn)標(biāo)識(shí)碼】 A 【論文編號(hào)】1009—8097(2009)12—0091—04

Flash是一個(gè)基于矢量的交互性影片格式,集各類(lèi)媒體元素、動(dòng)態(tài)效果、用戶(hù)交互于一體,通過(guò)內(nèi)部對(duì)象及其屬性特征表達(dá)豐富的語(yǔ)義信息,是Internet上高效傳遞矢量圖形、文本、視頻和聲音的媒體格式,在教學(xué)領(lǐng)域發(fā)揮著越來(lái)越重要的作用?，F(xiàn)階段Flash動(dòng)畫(huà)檢索的研究主要集中在基于Flash動(dòng)畫(huà)外部特征和網(wǎng)頁(yè)上下文信息的檢索(比如Google),包括Flash動(dòng)畫(huà)的文件名、元數(shù)據(jù)信息、創(chuàng)作時(shí)間、所在網(wǎng)頁(yè)的超鏈接和錨文本等[1],檢索結(jié)果的效率和準(zhǔn)確性都不高,因此,如何提取Flash動(dòng)畫(huà)的內(nèi)容特征、建立基于內(nèi)容的Flash動(dòng)畫(huà)檢索模型、提高Flash動(dòng)畫(huà)檢索的效率和準(zhǔn)確性,成為近年來(lái)多媒體研究領(lǐng)域的新課題。

香港城市大學(xué)楊駿教授等提出FLAME框架,將Flash動(dòng)畫(huà)按對(duì)象、事件和交互三個(gè)層次進(jìn)行內(nèi)容表征,這種方法能夠比較全面地描述Flash的內(nèi)容結(jié)構(gòu),促進(jìn)了基于內(nèi)容的Flash動(dòng)畫(huà)檢索的發(fā)展。本文從Flash動(dòng)畫(huà)的文件結(jié)構(gòu)出發(fā),建立了Flash動(dòng)畫(huà)內(nèi)容特征提取平臺(tái),并完成了Flash動(dòng)畫(huà)中圖像信息的提取。

一 Flash動(dòng)畫(huà)的結(jié)構(gòu)分析

Flash動(dòng)畫(huà)有FLA和SWF兩類(lèi),FLA文件是Flash動(dòng)畫(huà)的源文件(*.fla),SWF文件是嵌入網(wǎng)頁(yè)或獨(dú)立播放的Flash影片壓縮格式(*.swf),我們研究的是SWF文件。SWF文件使用一系列二進(jìn)制標(biāo)簽來(lái)定義各種對(duì)象、事件和交互,與XML文件有著相似的內(nèi)部結(jié)構(gòu),前者是二進(jìn)制文件,后者是ASCII文本文件。隨著Flash研究的深入和XML文件格式的迅速發(fā)展,應(yīng)用JaveSWF或SWFmill[2]可以將一個(gè)SWF文件轉(zhuǎn)換為XML文件(如圖1),SWF文件的每個(gè)標(biāo)簽數(shù)據(jù)塊都映射到XML文件對(duì)應(yīng)的標(biāo)簽中,在XML標(biāo)簽中采用屬性和參數(shù)值來(lái)表征SWF標(biāo)簽的結(jié)構(gòu)化數(shù)據(jù),XML文件的可讀性便于我們挖掘和理解Flash動(dòng)畫(huà)的存儲(chǔ)結(jié)構(gòu)和內(nèi)容信息。

圖1Flash-To-XML

由圖1所示,SWF文件由文件頭、文件主體、文件結(jié)束標(biāo)記三部分組成,文件主體由順序排列的定義型標(biāo)簽(Definition tag)和控制型標(biāo)簽(Control tag)組成。文件頭定義了SWF文件的基本信息,包括壓縮標(biāo)識(shí)、文件版本、文件長(zhǎng)度、舞臺(tái)大小、幀率和幀數(shù)。文件主體中,定義型標(biāo)簽定義了所有組成元素的屬性及特征參數(shù),控制型標(biāo)簽控制各類(lèi)組成元素的屬性變化、動(dòng)態(tài)效果和人機(jī)交互等。比如,DefineShape和DefineText都是定義型標(biāo)簽,分別用來(lái)定義形狀和文本;PlaceObject和ShowFrame都是控制型標(biāo)簽,前者在舞臺(tái)上放置一個(gè)對(duì)象,后者顯示一幀的內(nèi)容。文件結(jié)束標(biāo)記即END標(biāo)簽,標(biāo)識(shí)著動(dòng)畫(huà)文件的結(jié)束。SWF動(dòng)畫(huà)文件中的標(biāo)簽遵循“先定義,后使用”的原則,如果動(dòng)畫(huà)文件有File Attributes標(biāo)簽,則File Attributes標(biāo)簽必須是第一個(gè)標(biāo)簽[3]。

在SWF動(dòng)畫(huà)文件中,首先由定義型標(biāo)簽定義不同的媒體對(duì)象,比如文本、圖形、聲音等,并為每個(gè)對(duì)象分配唯一的ID值;Flash播放器在解析SWF文件時(shí),將各種媒體對(duì)象放到一個(gè)稱(chēng)為“Dictionary”的庫(kù)中;控制型標(biāo)簽根據(jù)對(duì)象的ID在對(duì)象庫(kù)中搜索,找到該對(duì)象并施加特定的動(dòng)作,比如顯示、旋轉(zhuǎn)、縮放對(duì)象或改變整個(gè)動(dòng)畫(huà)的播放流程等。定義型標(biāo)簽、對(duì)象庫(kù)和控制型標(biāo)簽是SWF文件實(shí)現(xiàn)豐富的動(dòng)態(tài)效果必不可少的組成部分,三者相互配合、相互作用形成了Flash動(dòng)畫(huà)。

二 Flash動(dòng)畫(huà)的內(nèi)容特征分析

1 Flash動(dòng)畫(huà)特征描述

Flash動(dòng)畫(huà)的特征包括外部特征和內(nèi)部特征,外部特征指文件名、創(chuàng)建日期等外部屬性,內(nèi)部特征指文本、圖形、圖像等組成元素的參數(shù)及屬性值,要實(shí)現(xiàn)基于內(nèi)容的Flash動(dòng)畫(huà)檢索就必須提取Flash動(dòng)畫(huà)的內(nèi)部特征。Flash動(dòng)畫(huà)的文本可以由關(guān)鍵詞、功能描述,圖形通過(guò)模式識(shí)別分為圓形、橢圓、正方形、長(zhǎng)方形、凹多邊形、凸多邊形和復(fù)雜形狀等,圖像由位置、大小、效果等屬性描述,效果包括旋轉(zhuǎn)、縮放、漸變、運(yùn)動(dòng)。與基于像素點(diǎn)的視頻及圖像的對(duì)象不同,Flash動(dòng)畫(huà)的媒體對(duì)象是矢量格式的,可以根據(jù)SWF文件的結(jié)構(gòu)特征,利用內(nèi)容分析的方法,通過(guò)數(shù)學(xué)計(jì)算從定義型標(biāo)簽中提取出來(lái),而各種動(dòng)態(tài)效果可以從控制型標(biāo)簽中提取出來(lái)[4]。Flash動(dòng)畫(huà)的各種媒體元素特征描述如表1。

表1Flash動(dòng)畫(huà)媒體元素特征描述

表1中,文本的“內(nèi)容”指從該文本中提取的關(guān)鍵詞,“功能”指該文本在Flash中所起的作用,如標(biāo)題、目錄、正文、隱現(xiàn)提示等;圖形的“形狀”根據(jù)圖形在SWF文件中的存儲(chǔ)數(shù)據(jù),通過(guò)模式識(shí)別分為圓形、橢圓、正方形、長(zhǎng)方形、凹多邊形、凸多邊形和復(fù)雜形狀等;圖像的“位置、大小、效果”是指應(yīng)用于形狀填充時(shí),圖像在舞臺(tái)上的位置、大小、效果等屬性;圖像、視頻、影片剪輯的“效果”指旋轉(zhuǎn)、縮放、漸變、運(yùn)動(dòng)等;所有媒體對(duì)象的“所在幀號(hào)”都是指該對(duì)象在SWF文件中的哪一幀。

2 Flash動(dòng)畫(huà)內(nèi)容特征提取平臺(tái)

SWF文件格式是開(kāi)源的,通過(guò)閱讀SWF文件格式說(shuō)明書(shū),分析Flash動(dòng)畫(huà)的形成原理,我們建立了Flash動(dòng)畫(huà)內(nèi)容特征提取平臺(tái)(如圖2)。同時(shí),利用SWFmill工具將SWF文件轉(zhuǎn)換為XML文件作為評(píng)估標(biāo)準(zhǔn),如果Flash動(dòng)畫(huà)內(nèi)容特征提取平臺(tái)提取的內(nèi)容信息與XML文件的標(biāo)簽內(nèi)容能完全吻合,說(shuō)明實(shí)驗(yàn)結(jié)果完全正確,再進(jìn)一步提取Flash動(dòng)畫(huà)中組成元素的內(nèi)容特征描述參數(shù),建立Flash動(dòng)畫(huà)內(nèi)容特征索引庫(kù),實(shí)現(xiàn)基于內(nèi)容的Flash動(dòng)畫(huà)檢索平臺(tái)。

圖2 Flash動(dòng)畫(huà)內(nèi)容特征提取平臺(tái)

首先提取SWF的文件頭信息,包括文件頭、壓縮標(biāo)識(shí)、文件版本、文件長(zhǎng)度、舞臺(tái)大小、幀數(shù)、幀率,描述Flash動(dòng)畫(huà)的總體特征;然后提取文件主體包含的所有標(biāo)簽,直到標(biāo)識(shí)文件結(jié)束的END標(biāo)簽。Flash動(dòng)畫(huà)的內(nèi)容特征采用標(biāo)簽類(lèi)型、編碼、標(biāo)簽長(zhǎng)度、幀號(hào)、幀的位置來(lái)描述,標(biāo)簽類(lèi)型指動(dòng)畫(huà)文件中定義型標(biāo)簽和控制型標(biāo)簽的名稱(chēng),通過(guò)標(biāo)簽的編碼值來(lái)標(biāo)識(shí);標(biāo)簽長(zhǎng)度以字節(jié)為單位,指標(biāo)簽的數(shù)據(jù)內(nèi)容所占的字節(jié)數(shù);幀號(hào)即處于動(dòng)畫(huà)文件中的第幾幀;幀的位置以字節(jié)為單位,標(biāo)識(shí)該幀所在的字節(jié)位置,當(dāng)我們要修改或刪除一幀的內(nèi)容時(shí),通過(guò)幀的位置來(lái)判斷。

SWF動(dòng)畫(huà)文件中的標(biāo)簽由兩部分組成:標(biāo)簽頭和標(biāo)簽內(nèi)容。根據(jù)標(biāo)簽內(nèi)容的長(zhǎng)度不同,標(biāo)簽頭又分兩種:短型標(biāo)簽頭和長(zhǎng)型標(biāo)簽頭[5]。當(dāng)標(biāo)簽的內(nèi)容長(zhǎng)度不超過(guò)62個(gè)字節(jié)時(shí),標(biāo)簽采用短型標(biāo)簽頭;大于等于63個(gè)字節(jié)時(shí)采用長(zhǎng)型標(biāo)簽頭。短型標(biāo)簽頭占2個(gè)字節(jié),長(zhǎng)型標(biāo)簽頭占6個(gè)字節(jié),因此,計(jì)算幀的位置時(shí)需要加上標(biāo)簽頭的字節(jié)數(shù)。圖2所示,橢圓(填充).swf動(dòng)畫(huà)只有一幀內(nèi)容,幀率為每秒12幀,幀的位置是第292字節(jié),END標(biāo)簽標(biāo)簽長(zhǎng)度為0,標(biāo)簽頭占2個(gè)字節(jié),因此,文件長(zhǎng)度為294個(gè)字節(jié)。

Flash動(dòng)畫(huà)內(nèi)容特征提取平臺(tái)首先解析動(dòng)畫(huà)的基本內(nèi)容,然后再針對(duì)不同的標(biāo)簽,提取標(biāo)簽中的數(shù)據(jù)信息,并通過(guò)基于內(nèi)容的分析方法獲取特征信息,比如圖形的形狀為圓形。我們通過(guò)解析相關(guān)的所有標(biāo)簽,提取了Flash動(dòng)畫(huà)中文本、圖形、圖像、聲音、視頻、影片剪輯、按鈕的特征描述參數(shù),并將其放到Flash動(dòng)畫(huà)的特征索引庫(kù)中,采用一定匹配算法返回符合用戶(hù)請(qǐng)求的檢索結(jié)果,提高Flash動(dòng)畫(huà)檢索的效率和準(zhǔn)確率。

三 Flash動(dòng)畫(huà)的圖像信息提取

SWF文件支持多種圖像格式,比如bmp、jpg、gif、png等,為了減小動(dòng)畫(huà)文件大小,SWF嵌入的圖像都經(jīng)過(guò)壓縮,包括JPEG提供的有損壓縮和ZLIB提供的無(wú)損壓縮兩種壓縮圖像。JPEG采用的數(shù)據(jù)格式由ITU T.81或ISO/IEC 10918-1[6]文件描述,ZLIB庫(kù)采用的數(shù)據(jù)格式由1950-1952 RFCs[7]文件描述。對(duì)于精確度不高的圖像采用JPEG壓縮格式,如照片;對(duì)于精確圖像采用ZLIB壓縮算法,如圖表、圖示、屏幕截圖等,SWF動(dòng)畫(huà)中的兩種壓縮圖像都可以選擇包含alpha通道信息。SWF動(dòng)畫(huà)中的JPEG圖像采用JPEG Interchange 格式(即JFIF),Flash Player能夠友好地解析常用的JFIF格式。

JPEG格式是一個(gè)由獨(dú)立聯(lián)合圖像專(zhuān)家組(Joint Photographic Experts Group)開(kāi)發(fā)的開(kāi)放標(biāo)準(zhǔn),被廣泛應(yīng)用于多媒體和網(wǎng)絡(luò)中,是HTML語(yǔ)言支持的標(biāo)準(zhǔn)圖像格式之一。JPEG編碼采用YCbCr顏色系統(tǒng),Y是亮度信息,CbCr是色調(diào)信息,編碼時(shí)對(duì)Y進(jìn)行細(xì)量化,對(duì)CbCr進(jìn)行粗量化,以提高壓縮比。JPEG格式可分為基于離散余弦變換(DCT)的有失真壓縮和使用預(yù)測(cè)器的無(wú)失真壓縮,按編碼順序又分為順序式編碼(sequential encoding)和遞增式編碼(progressive encoding),順序式編碼按從左到右、從上到下編碼,遞增式編碼按從模糊到清晰的方式分次處理?；贒CT變換的有失真壓縮的編碼模式,分為僅能接受每像素點(diǎn)以8位標(biāo)識(shí)的基本圖像處理模式(Baseline Process)和接受每像素點(diǎn)8位或12位表示的擴(kuò)展圖像處理模式(Extended Process),我們依據(jù)基于DCT變換的順序式基本圖像處理模式(Baseline Process)分析Flash動(dòng)畫(huà)的JPEG壓縮圖像,其編碼過(guò)程如圖3[8]。

圖3 基于DCT變換的JPEG壓縮編碼

在SWF動(dòng)畫(huà)中,圖像的定義與存儲(chǔ)分別由DefineBits、JPEGTables、DefineBitsJPEG2、DefineBitsJPEG3、DefineBitsLossless、DefineBitsLossless2六個(gè)標(biāo)簽完成,具體內(nèi)容及功能如表2。

表2 SWF動(dòng)畫(huà)中的圖像定義及存儲(chǔ)格式

JPEG壓縮圖像的內(nèi)容結(jié)構(gòu)包括一個(gè)開(kāi)始標(biāo)識(shí)SOI、一個(gè)幀F(xiàn)rame(Baseline Process只有一幀)、一個(gè)結(jié)束標(biāo)識(shí)EOI,Frame中包含編碼表和壓縮數(shù)據(jù)。DefineBits標(biāo)簽中只包含JPEG圖像的壓縮數(shù)據(jù),即Frame Header(幀頭)后面的內(nèi)容,JPEGTables標(biāo)簽中包含了用來(lái)編碼圖像所使用的編碼表和量化表等,即Tables/Misc的內(nèi)容,因此必須綜合DefineBits和JPEGTabels的數(shù)據(jù)內(nèi)容才能提取SWF動(dòng)畫(huà)中的某些圖像。一個(gè)SWF動(dòng)畫(huà)只能有一個(gè)JPEGTables標(biāo)簽,所有DefineBits標(biāo)簽定義的圖像都必須共享相同的編碼表和量化表。DefineBitsJPEG2標(biāo)簽不同于DefineBits,它既包含JPEG編碼表,也包含JPEG圖像壓縮數(shù)據(jù),支持采用不同編碼表的多類(lèi)JPEG圖像。DefineBitsJPEG3標(biāo)簽是DefineBitsJPEG2的擴(kuò)展,增加了alpha通道數(shù)據(jù),alpha通道信息(即透明度)不是JPEG圖象的標(biāo)準(zhǔn)特征,與JPEG圖像的數(shù)據(jù)分開(kāi)存儲(chǔ),alpha通道采用ZLIB標(biāo)準(zhǔn)壓縮存儲(chǔ)。

SWF動(dòng)畫(huà)中的無(wú)損壓縮圖像由DefineBitsLossless和DefineBitsLossless2定義。DefineBitsLossless定義了采用ZLIB壓縮的RGB位圖數(shù)據(jù),支持8位colormapped圖像和15位或24位direct圖像,colormapped圖像定義了一個(gè)包含256種顏色的調(diào)色板,每一種顏色由一個(gè)24位RGB值表示,圖像的每一個(gè)像素采用8位索引值來(lái)關(guān)聯(lián)調(diào)色板;direct圖像采用15位或24位存儲(chǔ)實(shí)際的像素顏色值。DefineBtisLossless2是DefineBitsLossless的擴(kuò)展,增加了alpha通道信息,支持8位colormapped圖像和32位direct圖像,colormapped圖像的調(diào)色板顏色采用RGBA值定義,direct圖像每個(gè)像素采用32位ARGB顏色值描述。

綜上所述,通過(guò)分析Flash動(dòng)畫(huà)的圖像定義標(biāo)簽(見(jiàn)表2),提取不同壓縮格式的圖像的內(nèi)容數(shù)據(jù),依據(jù)不同的編碼格式,將提取的圖像數(shù)據(jù)信息寫(xiě)成特定格式的圖像,就完成了Flash動(dòng)畫(huà)中的圖像對(duì)象的提取。需要注意的是,DefineBits、JPEGTables、DefineBitsJPEG2、DefineBitsJPEG3標(biāo)簽中定義圖像數(shù)據(jù)的字段以JPEG圖像的SOI 開(kāi)始標(biāo)記0xFF、0xD8開(kāi)始,以EOI結(jié)束標(biāo)記0xFF、0xD9結(jié)束,但是SWF8之前的版本,在SOI標(biāo)識(shí)之前有一個(gè)錯(cuò)誤的頭,即0xFF、0xD9、0xFF、0xD8。因此,在提取圖像數(shù)據(jù)時(shí),必須排除這4個(gè)字節(jié)的錯(cuò)誤頭。再者,DefineBitsLossless和DefineBitsLossless2提供的無(wú)損壓縮,記錄的是圖像每個(gè)像素的顏色信息,例如RGB、RGBA、ARGB等,包含這些像素顏色信息的每個(gè)數(shù)據(jù)結(jié)構(gòu)都是作為一個(gè)單獨(dú)的數(shù)據(jù)塊壓縮的,因此,圖像行寬必須是24位或32位位齊的。

四 結(jié)束語(yǔ)

基于內(nèi)容的Flash動(dòng)畫(huà)檢索將促進(jìn)Flash動(dòng)畫(huà)的發(fā)展與應(yīng)用,為教育資源的獲取和管理帶來(lái)新的活力,使教學(xué)活動(dòng)更好地適應(yīng)數(shù)字時(shí)代的要求。隨著研究的深入,Flash動(dòng)畫(huà)的內(nèi)容特征提取還將包括媒體對(duì)象的動(dòng)態(tài)特征和交互特征,對(duì)動(dòng)畫(huà)中媒體對(duì)象的運(yùn)動(dòng)軌跡、運(yùn)動(dòng)方式等動(dòng)態(tài)特征進(jìn)行提取。在媒體對(duì)象、動(dòng)態(tài)特征和交互特征提取的基礎(chǔ)上,將來(lái)還可以自動(dòng)提取交互程度、動(dòng)畫(huà)節(jié)奏、動(dòng)畫(huà)類(lèi)別等高層語(yǔ)義特征,從而根據(jù)這些高層語(yǔ)義特征在一定程度上能夠推斷出動(dòng)畫(huà)的創(chuàng)作者創(chuàng)作動(dòng)畫(huà)的意圖。用戶(hù)檢索動(dòng)畫(huà)關(guān)注的每一個(gè)特征都要包含在檢索平臺(tái)中,為教師和學(xué)生更好地應(yīng)用Flash動(dòng)畫(huà),充分發(fā)揮Flash的功能提供保證。

——————————

參考文獻(xiàn)

[1] Yang Jun, Qing Li, et al. FLAME: A Generic Framework for Content-Based Flash Retrieval [EB/OL].

[2] Jun Yang, Qing Li, Liu Wenyin, Yueting Zhuang. Searching for Flash Movies on the Web: A Content and Context Based Framework[EB/OL].

[3] SWF File Format Specification (Version 10)[EB/OL].

[4] 劉磊. Flash動(dòng)畫(huà)的內(nèi)容分析與特征提取研究[D].山東:山東師范大學(xué),2008.

[5] Meng Xiang-zeng,Liu Lei. On Retrieval of Flash Animations based on Visual Features[J].Lecture Notes of Computer Science,2007:5093, 270-277.

[6] Internet RFC/FYI/STD/BCP Archives Search[EB/OL].

[7] RFC 1950[EB/OL].

[8] 張益貞,劉滔.Visual C++實(shí)現(xiàn)MPEG/JPEG編解碼技術(shù)[M].北京:人民郵電出版社,2002:134-135.