余驍捷，吳 及，孔繁庭，李樹森

(1. 清華大學(xué) 電子工程系，北京 100084；2. 甘肅聯(lián)合大學(xué) 電子信息工程學(xué)院，甘肅 蘭州 730000)

1 引言

新聞節(jié)目通常包含多個新聞故事單元，用戶在檢索時關(guān)注的是某一新聞事件，利用節(jié)目名稱以及播出時間等信息的存儲與索引方式缺乏對音頻內(nèi)容信息的結(jié)構(gòu)化描述，難以滿足基于新聞故事內(nèi)容的檢索需求。新聞節(jié)目的主題劃分技術(shù)能夠檢測新聞播報節(jié)目中具有不同主題的故事單元邊界，根據(jù)主題內(nèi)容將新聞播報節(jié)目分割成故事單元，對于實現(xiàn)新聞故事的主題分類管理和內(nèi)容信息檢索有著重要的意義。

隨著計算機技術(shù)及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，來源于廣播、電視以及網(wǎng)絡(luò)的新聞類音頻數(shù)據(jù)也越來越豐富。采用人工標注新聞故事單元不僅費時費力，標注的格式和標準也難以統(tǒng)一，為此迫切的需要對新聞節(jié)目的故事單元進行自動劃分。新聞播報節(jié)目的自動主題劃分技術(shù)能夠依據(jù)節(jié)目的語義信息和音頻信息，自動提取各新聞故事之間的邊界線索，將新聞節(jié)目劃分為不同的故事單元。

現(xiàn)在的新聞播報節(jié)目以音頻和視頻為主要載體，其中的視頻信息、音頻信息以及語音識別文本等都可用于自動劃分單元劃分。視頻信息包括鏡頭的切換，主題字幕提示，主持人以及演播室的鏡頭邊界等，目前有許多相關(guān)方面的研究[1-2]；音頻中的停頓、播音員聲紋特征[3]也可以用于尋找故事邊界；語音識別文本中包含有節(jié)目內(nèi)容的語義，可以使用基于規(guī)則方法，例如,使用深度值的TextTiling算法[4]、使用詞匯鏈計算邊界強度的SeLeCT(Segmentation using Lexical Chaining on Text)算法[5]等進行基于文本的主題劃分，傅間蓮等采用基于連續(xù)段落相似度方法[6]進行主題劃分，楊玉蓮等提出了一種基于子詞鏈的新聞故事單元自動分割方法[7]，使用投票法融合不同級別詞匯，F(xiàn)-估值比傳統(tǒng)詞鏈方法提高9.04%。同時還有一些基于統(tǒng)計的方法，例如，局部上下文分析法(LCA)，隱馬爾可夫模型(HMM)，指數(shù)模型等方法[8]，文獻[9]中使用了指數(shù)模型和決策樹融合的方法，在TDT測試集上錯誤概率Pk達到7.8%。

上述的信息有它們各自的適用范圍，為新聞故事單元分割提供了多種途徑。但是單一來源的信息不足，不能達到令人滿意的分割結(jié)果，為了提高系統(tǒng)性能，需要使用多信息融合的方法。對于新聞視頻節(jié)目，在使用融合視頻、音頻和文本多信息的分割方面已開展了大量的研究，文獻[10]中利用鏡頭檢測、關(guān)鍵幀技術(shù)，以及音頻類型信息及說話人切換檢測，結(jié)合OCR技術(shù)識別畫面上的字幕文本，綜合得到分割結(jié)果，文獻[11]利用最大熵模型融合不同層次的特征得到分割結(jié)果，F(xiàn)-估值達到76%，該方法提取視頻的動作、人臉、音頻的類型、韻律信息和語音識別結(jié)果，復(fù)雜度較高。這些研究中視頻的信息都起主導(dǎo)作用，音頻信息作為輔助特征沒有得到充分的挖掘和利用。對音頻中的語音數(shù)據(jù)進行語音識別，可以得到包含語義的文本信息來進行主題劃分，目前的特征融合方法，對識別文本提取常用文本特征，但并沒有特別針對語音識別錯誤采取有效措施。使用詞匯鏈的SeLeCT算法通過串聯(lián)文本中的詞匯，有效的避免了識別錯誤帶來的詞匯失配問題，同時音頻中的類型、韻律等信息對于廣告、體育比賽、天氣預(yù)報以及新聞片頭等檢測時效果較好[12]，根據(jù)語音識別結(jié)果中的語義信息和音頻信息各自對于主題劃分的優(yōu)勢，可以設(shè)計規(guī)則來融合不同層次的信息，以達到較好的分割性能。

本文設(shè)計了一種多信息融合的新聞節(jié)目的自動主題劃分方法。對于新聞播報類節(jié)目的音頻數(shù)據(jù)，利用語音識別結(jié)果文本中的語義信息作為主題劃分的主要依據(jù)，首先通過自動分段得到一系列間隔點作為主題劃分候選點，根據(jù)語音識別結(jié)果的特點，利用改進的SeLeCT算法進行基于文本的主題劃分，同時結(jié)合候選點鄰域內(nèi)的音頻類型信息，例如，靜音、音樂等，設(shè)計了一套基于規(guī)則的信息融合方法，從而完成故事單元的分割。第二部分介紹了使用語音識別結(jié)果的語義信息進行主題劃分的方法，第三部分介紹了用于主題劃分的音頻信息，第四部分介紹了信息融合的規(guī)則，最后給出了劃分結(jié)果并分析劃分性能。

2 用于主題劃分的語義信息

為了充分的利用音頻數(shù)據(jù)中的信息，我們對音頻信號中的語音數(shù)據(jù)進行識別，利用得到的識別結(jié)果進行基于語義信息的主題劃分。自動分段模塊會將音頻文件按句切分以達到較好的識別效果。由于故事單元的邊界一般也都是語句的邊界，所以自動分段得到的切分點可以作為故事單元邊界的候選點。

2.1 改進的SeLeCT算法

目前的語音識別系統(tǒng)很難保證識別的結(jié)果完全準確，錯誤的識別結(jié)果會對利用相似度或深度等的文本主題劃分系統(tǒng)造成很大的影響，而SeLeCT算法[5]統(tǒng)計文本中的詞匯鏈(Lexical Chain)，計算邊界候選點處的邊界強度，從而進行文本主題劃分。詞匯鏈是在基于詞匯的語義關(guān)系構(gòu)成的上下文中的詞序列，可以使不相鄰的語句得以連通，從而在一定程度上減少了錯誤識別結(jié)果的影響。

語音識別的結(jié)果按音頻自動分段模塊得到的分段點切分成句。采用中國科學(xué)院計算技術(shù)研究所的漢語詞法分析系統(tǒng)ICTCLAS[13]對識別文本進行分詞并標注詞性，根據(jù)詞性對于故事主題的代表性，選取其中的名詞和動詞，相同的詞匯在符合句子間隔距離的限制下串聯(lián)起來，構(gòu)成詞匯鏈，表示為如下形式：

{詞匯|起始句序號，結(jié)束句序號}

兩個不同新聞故事邊界處的詞匯鏈開頭和結(jié)尾的點具有高度密集性，即詞匯鏈的開始和結(jié)束越集中的地方，越有可能是事件劃分的邊界。根據(jù)詞匯鏈的首尾信息可以計算邊界強度。邊界強度的計算方法較為靈活，Stokes等人根據(jù)劃分性能采用求和計算[5]，即定義每個段落之間的邊界強度w(n,n+1)為： 以第n個句子結(jié)束的詞匯鏈的個數(shù)與以第n+1個句子開始的詞匯鏈的個數(shù)之和。

w(n,n+1)=N(En)+N(Sn+1)

(1)

式(1)中En為以第n句結(jié)束的詞匯鏈集合，Sn+1是以第n+1句開始的詞匯鏈集合，N(*)表示集合元素個數(shù)。

根據(jù)在中文新聞?wù)Z音測試數(shù)據(jù)的劃分性能，我們對邊界強度的計算方法加以改進，采用第n個句子結(jié)束的詞匯鏈的個數(shù)與以第n+1個句子開始的詞匯鏈的個數(shù)的加權(quán)和，即：

其中wi是第i個詞匯鏈的權(quán)值：

Nlc是整個新聞節(jié)目中出現(xiàn)該詞匯的詞匯鏈個數(shù)，N是識別文本的詞匯鏈總數(shù)。原有的求和計算方法可以認為是wi=1時的特例。通過這種權(quán)重計算方式，只在某個故事中出現(xiàn)的詞匯鏈會比在大部分故事單元中都出現(xiàn)的詞匯鏈獲得更大的權(quán)重，即更具代表性。

邊界強度越大的候選點越有可能對應(yīng)真實的邊界點。因此可以設(shè)定閾值，當(dāng)某候選點的邊界強度大于該閾值時將被判為邊界點，否則為非邊界點。在此設(shè)置高低雙門限，分別用thH和thL表示：

(4)

其中E(w)為邊界強度的均值，σ(w)是標準差，k是常數(shù)。雙門限的用途在融合規(guī)則中具體說明。

2.2 過渡性語句模板

另外新聞播報類節(jié)目通常都有相對固定的結(jié)構(gòu)編排，所以主持人在播報時會使用相同或相近的過渡性語句，這些語句通常代表著播報主題內(nèi)容的切換，我們總結(jié)出一個主題切換提示性語句模板，在根據(jù)文本內(nèi)容劃分時首先檢測這些模板句，如果發(fā)生匹配，則直接判斷為故事單元的邊界。

表1 主題切換提示性語句模板

3 用于主題劃分的音頻信息

新聞音頻中的聲音事件轉(zhuǎn)換對于故事單元劃分提供了有效的信息，包括音頻類型、說話人切換等。本文選取主題邊界候選點鄰域的音頻類型，作為用于主題劃分的音頻信息。

新聞故事單元在切換時，通常會有較長時間的靜音，或使用音樂作為過渡，以《新聞聯(lián)播》節(jié)目為例，選取了三天的標注數(shù)據(jù)，對其主題邊界的音頻類型進行統(tǒng)計，結(jié)果如表2所示。

表2 《新聞聯(lián)播》主題邊界音頻類型統(tǒng)計

《新聞聯(lián)播》節(jié)目的欄目相對固定，所以以音樂過渡作為主題邊界的次數(shù)也是固定的，對于以靜音分隔的故事單元邊界，統(tǒng)計其平均長度約為1.91秒，而語音中正常的句間停頓則相對較小。

在自動分段時得到了一系列主題劃分的候選邊界，根據(jù)上面的統(tǒng)計結(jié)果，我們可以在候選邊界點的鄰域片段中提取音頻類型信息，使用GMM進行音頻類型判斷得到相應(yīng)的信息作為主題劃分的依據(jù)，當(dāng)某個候選邊界點的鄰域出現(xiàn)音樂或長時的停頓時，這里可能會是故事單元的邊界。

但是同一個新聞故事單元中，場景或說話人的切換的也可能出現(xiàn)較長時間的靜音停頓，所以單獨使用這些音頻信息會出現(xiàn)很多虛警。

4 語義信息和音頻信息的融合規(guī)則

識別結(jié)果和音頻信息都有其局限性，單獨使用就不足以得到很好地切分效果，為此我們設(shè)計了一套信息融合規(guī)則，有效的綜合文本語義和音頻信息進行處理。

首先對候選邊界點進行預(yù)處理。自動分段得到的結(jié)果語句長短變化較大，每句包含的信息量不一致，這會改變詞匯鏈的生成結(jié)果，從而對邊界強度的計算造成一定的影響，因此我們希望能夠盡量使句子包含的信息量一致，即希望句子長度能夠向著長度一致的方向有所調(diào)整。為此對候選邊界點的鄰域音頻類型做初步判斷，如果該鄰域音頻是語音，則對語句進行合并。這樣可以使平均的句子長度變長，從而使處理單元的信息量呈現(xiàn)平均的趨勢。由于后面還將結(jié)合語義信息進行劃分，為了保證這一步不把真實的故事單元邊界過濾掉，采用較小的鄰域長度L0。

然后從文本和音頻兩方面查找最可能是主題邊界的音頻分段點。音頻信息方面，候選邊界點的鄰域出現(xiàn)長度大于LM的音樂片段則可以直接判定為故事單元的邊界；文本中如果出現(xiàn)提示性語句，或者使用SeLeCT算法中計算得到的邊界強度大于高閾值thH，說明此處語義信息較強，可以直接判斷為故事單元邊界。如果邊界強度大于thL而小于thH，則判斷為可能的邊界，再采用的鄰域長度L1(L0

圖1 語義信息和音頻信息的融合規(guī)則

信息融合規(guī)則如下(圖1)：

1) 對于某一邊界候選點，如果它的前句中出現(xiàn)提示性語句，則判斷為故事單元邊界；

2) 如果某一邊界候選點處計算得到的邊界強度大于高門限thH，則判斷為故事單元邊界；

3) 如果某一邊界候選點的鄰域長度大于LM，且音頻類型為音樂，則判斷為故事單元邊界；

4) 對于其他的邊界候選點，如果邊界強度小于thH且大于低門限thL，且該邊界候選點的L1鄰域音頻類型為靜音，則判斷為故事單元邊界；

5) 不滿足上述條件的邊界候選點不是故事單元的邊界。

5 實驗結(jié)果及分析

實驗數(shù)據(jù)采用CCTV的《新聞聯(lián)播》、《新聞二十分》和《中國新聞》節(jié)目，其中以《新聞聯(lián)播》節(jié)目為主，長度約300分鐘，《新聞二十分》和《中國新聞》各約100分鐘，采用人工標注得到主題劃分的真實結(jié)果。

包含以上三類節(jié)目的實驗數(shù)據(jù)集語音識別字正確率約為83.9%。

5.1 評價指標

5.1.1 精確率、召回率和F-估值

準確率(Precision)、召回率(Recall)以及F-估值(F-measure)是信息提取方面最基本的評測指標，在主題劃分方面的定義為：

這三個指標能夠在一定程度上反映系統(tǒng)的主題劃分性能。但是這些指標不能反映那些接近邊界的錯誤，即將劃分對與錯界定的特別明確，舉例來說，系統(tǒng)識別的邊界與真實的邊界間隔一句或間隔多句所體現(xiàn)的系統(tǒng)性能應(yīng)當(dāng)是不同的，這套評價指標無法表現(xiàn)出來。

5.1.2 Pk

為了解決以上指標不能充分反映分割性能的問題，Beeferman等人提出的新量度Pk[9]逐漸成為衡量分段性能的標準。Pk表示隨機抽取間隔k個處理單元的處理單元對，判斷其屬于同一單元片段或者屬于不同單元片段的概率，定義如下：

式中，δref(i,i+k)和δhyp(i,i+k)為指示函數(shù)，表示在分割模式中，i和j對應(yīng)的處理單元是否屬于同一主題，是則為1，否則為0。0≤Pk≤1，當(dāng)算法或系統(tǒng)得到的分割邊界越準確時，得到的Pk值越小。

5.1.3 WindowDiff

用Pk衡量分割性能仍存在一些問題，例如，漏檢的錯誤比虛警要對Pk值的貢獻更大，同時接近正確邊界的錯誤對Pk值的貢獻度過大等。針對這些不足，Pevzner和Hearst提出了改進的評價指標——WindowDiff[14]。

其中，b(refi,refi+k)代表標注結(jié)果中i和i+k對應(yīng)處理單元之間的邊界數(shù)量，b(hypi,hypi+k)代表系統(tǒng)劃分結(jié)果中i和i+k對應(yīng)處理單元之間的邊界數(shù)量，I(*)為示性函數(shù)，當(dāng)|b(refi,refi+k)-b(hypi,hypi+k)|>0取1，否則取0。

0≤WindowDiff≤1，當(dāng)算法或系統(tǒng)得到的分割邊界越準確時，得到的WindowDiff值越小。

5.2 實驗結(jié)果

SeLeCT算法中邊界強度的計算方法根據(jù)測試集上的實驗結(jié)果來確定，實驗中使用了文獻[5]中的求和方法以及修改的加權(quán)和方法，對比結(jié)果如表3所示。

方法1： 使用加權(quán)和計算邊界強度，對語音識別結(jié)果做主題劃分。

方法2： 使用求和計算邊界強度，對語音識別結(jié)果做主題劃分。

在計算邊界強度門限時，根據(jù)劃分性能將常數(shù)k設(shè)為0.7。

P，R，F(xiàn)，Pk，WD依次為5.1節(jié)中所述的各項評價指標。

表3 不同邊界強度主題劃分性能對比

從結(jié)果中可以看出，《新聞聯(lián)播》和《中國新聞》節(jié)目中使用加權(quán)和計算邊界強度的SeLeCT算法在劃分性能上略高于使用求和計算邊界強度，盡管《新聞二十分》節(jié)目使用求和計算邊界強度的方法劃分性能更高，但是根據(jù)總體的性能我們選擇了使用加權(quán)和計算邊界強度的SeLeCT算法處理語音識別結(jié)果文本。

對于語音識別文本，自動分段導(dǎo)致句子的長度和實際句子不一致和語音識別錯誤都會影響詞匯鏈的長度，導(dǎo)致詞匯鏈變短，從而邊界強度的峰值出現(xiàn)頻繁，得到的主題段落偏多，所以精確率較低。

為了說明語義信息和音頻信息的融合規(guī)則

方法1： 單獨使用語義信息做主題劃分，即前述實驗中的方法1。

方法2： 使用音頻類型信息做主題劃分，這里采用語音自動分段點鄰域的類型作為判據(jù)，當(dāng)出現(xiàn)非語音時即為主題邊界。

方法3： 根據(jù)規(guī)則融合語義和音頻信息進行主題劃分。

使用音頻信息劃分時，主題邊界候選點鄰域長度為1.6s。信息融合時使用的參數(shù)，L1為1.6s，LM為4s，L0為1.4s。

上述方法的劃分性能如下(表4)：

表4 信息融合前后主題劃分性能對比

采用音頻類型信息進行主題劃分有著較高的召回率，精確率仍偏低，這一結(jié)果符合預(yù)期，由于采用了長時停頓和音樂作為劃分依據(jù)，節(jié)目中播報員和記者的語速相對穩(wěn)定，但被采訪人說話時需要思考，容易出現(xiàn)較長的停頓，從而被判斷為主題邊界，造成虛警。

通過總體結(jié)果的對比可以看出，融合了語義信息和音頻信息的主題劃分方法相比于單獨使用語義信息，F(xiàn)-估值提高了27.9%，Pk和WindowDiff分別降低了18.9%和19.7%，相比于單獨使用音頻信息，F(xiàn)-估值提高了16.9%，Pk和WindowDiff別降低了7.5%和8.7%，主題劃分性能顯著提高了。音頻信息的引入消除了采用語義信息進行劃分時部分較小的邊界強度峰值帶來虛警，使得精確率上升，彌補了語音識別結(jié)果文本不準確導(dǎo)致的SeLeCT算法的劃分錯誤，同時音樂信息的引入定位到了語義信息沒能檢測到的邊界，降低了漏檢。同時語義信息也能在一定程度上消除音頻信息的中被采訪人語音長時停頓帶來的虛警。信息融合效果明顯。

《新聞聯(lián)播》節(jié)目作為一個十分正式且受人關(guān)注的節(jié)目，其組織結(jié)構(gòu)相對比較嚴整和清晰，故事單元之間的停頓和音樂過渡都有嚴格的規(guī)范，音頻信息明顯，單獨采用音頻信息進行主題劃分時性能較好。

《新聞二十分》和《中國新聞》的劃分性能略低，因為這兩者的組織結(jié)構(gòu)遠不如《新聞聯(lián)播》清晰，識別結(jié)果也不夠準確。這些節(jié)目中含有比較多的外景采訪，這對于語音識別來說是比較困難的，同時由于采訪人語音停頓較長的特點，在音頻信息的利用方面也有比較大的影響，單獨使用音頻信息進行劃分性能明顯低于《新聞聯(lián)播》。另外節(jié)目中一些欄目出現(xiàn)的背景音樂，以及欄目中插播的廣告，都會對主題劃分造成一定的影響。

F-估值反映了一種劃分的正確程度，使用1-F-估值定義相應(yīng)的錯誤程度衡量，可以與其他的兩種評價指標進行比較。可以看到，雖然《新聞二十分》和《中國新聞》在F-估值的評價下與《新聞聯(lián)播》相差不小，但在Pk和WindowDiff的評價體系下差距沒有那么大，這是由于前者的組織結(jié)構(gòu)不夠清晰，使得劃分結(jié)果會更多的出現(xiàn)小范圍的偏差，雖然確實找到的故事劃分的邊界，但是并不準確，這在F-估值的評價系統(tǒng)中被認為是完全錯誤的，而在后兩種評價指標中給予了一定程度的肯定。

在引入信息融合規(guī)則后，Pk和WindowDiff的相對提升比F-估值要高，這說明信息融合更多的修正的是在Pk和WindowDiff下貢獻大的錯誤，也就是大范圍的邊界偏差，根據(jù)這種現(xiàn)象，后續(xù)我們可以研究小范圍偏差的特點并進行一些針對性處理。

6 總結(jié)與展望

本文設(shè)計并實現(xiàn)了一種多信息融合的新聞節(jié)目自動主題劃分系統(tǒng)，初步完成了音頻的自動主題分割。

目前系統(tǒng)對音頻信息的利用比較簡單，后續(xù)可以考慮提取音頻中其他可用于主題劃分的聲音事件，例如，說話人變換，韻律等信息，完善音頻處理模塊。同時，可以考慮結(jié)合不同的信息融合方式，例如，可以將多種語義信息和音頻信息分別量化，構(gòu)成特征向量，使用統(tǒng)計方法進行劃分，并在此基礎(chǔ)上針對錯誤的具體情況引入一些規(guī)則加以處理，以得到更加準確的新聞故事單元劃分。

[1] Liu Hua-yong. News story automatic segmentation based on audio-visual feature and text information[J]. Journal of System Simulation, 2004, 16(11)： 2608-2610.

[2] Zhang Chun-lin, Zhang Peng-lin, Hu Rui-min. News story detection based on anchorpersons identification in news video[J]. Computer Engineering, 2003, 29(14)： 20-26.

[3] 徐新文, 李國輝, 甘亞莉. 基于播音員識別的新聞視頻故事單元分割方法[J]. 計算機工程與應(yīng)用, 2008, 44(19)： 4-7.

[4] Marti A. Hearst. TextTiling： Segmenting Text into Multi-paragraph Subtopic Passages[J]. Computational Linguistics, 1997, 23(1)： 33-64.

[5] Nicola Stokes, Joe Carthy， Alan F. Smeaton. SeLeCT： a lexical cohesion based news story segmentation system[J]. Journal of AI Communication, 2004, 17(1)： 3-12.

[6] 傅間蓮, 陳群秀. 自動文摘系統(tǒng)中的主題劃分問題研究[J]. 中文信息學(xué)報, 2005, 19(6)： 28-35.

[7] 楊玉蓮, 謝磊. 基于子詞鏈的中文新聞廣播故事自動分割[J]. 計算機應(yīng)用與研究, 2009, 26(2)： 583-586、594.

[8] Allan J, Carbonell J, Doddington G, et al. Topic detection and tracking pilot study final report[C]//Proceedings of DARPA Broadcast News Transcription and Understanding Workshop, Lansdowne, Virginia, USA, 1998： 194-218.

[9] Doug Beeferman, Adam Berger， John Lafferty. Statistical Models for Text Segmentation[J]. Machine Learning, 1999, 34(1-3)： 177-210.

[10] Qi W, Gu L, Jiang H, et al. Integrating visual, audio and text analysis for news video[C]//Proceedings of 7th IEEE Intn’l Conference on Image Processing, 2000.

[11] Hsu W, Kennedy L, Huang C-W. News video story segmentation using fusion of multi-level multi-modal features in trecvid 2003[C]//Proceedings of ICASSP2004, 645-648.

[12] Liu Z, Huang J C, Wang Y. Classification of TV programs based on audio information using hidden Markov model[C]//Proceedings of IEEE Workshop on Multimedia Signal Processing, Redondo Beach, CA, USA, 1998： 27-32.

[13] 劉群, 張華平, 俞鴻魁,等. 基于層疊隱馬模型的漢語詞法分析[J]. 計算機研究與發(fā)展, 2004, 41(8)： 1421-1429.

[14] Lev Pevzner, Marti A. Hearst. A Critique and Improvement of an Evaluation Metric for Text Segmentation[J]. Computational Linguistics, 2002, 28(1)： 19-36.