劉素芳 張 紅

（內(nèi)蒙古工業(yè)大學外國語學院，內(nèi)蒙古 呼和浩特 010018）

?

【語言與文化】

口語詩多模態(tài)意義的建構(gòu)

劉素芳 張 紅

（內(nèi)蒙古工業(yè)大學外國語學院，內(nèi)蒙古 呼和浩特 010018）

口語詩屬于現(xiàn)代詩的一個分支，從其誕生到現(xiàn)在，已成為詩壇的新主流。本文以系統(tǒng)功能語言學和多模態(tài)話語分析為理論框架，對Sarah Kay的口語詩Point B進行多模態(tài)意義建構(gòu)。研究重點是利用視頻標注軟件ELAN對口語詩中的文本、音韻特征和手勢進行分層標注和統(tǒng)計，從而分析文字模態(tài)的概念、人際、語篇功能及視覺模態(tài)的分布意義。研究結(jié)果表明：聽覺與視覺模態(tài)的相互配合、協(xié)同能更好地解讀作者想要傳達的話語意義。

多模態(tài)；ELAN；意義建構(gòu)；口語詩

“口語詩”是一個現(xiàn)代概念。以往的詩歌分析模式局限于單一的語言形式，對其他模態(tài)如手勢、音韻特征等非語言形式的研究還尚不足，因而不能很好地詮釋創(chuàng)作者所要傳達的意圖。這時，多模態(tài)話語分析理論的興起為口語詩的研究提供了一套新的思路。

一、多模態(tài)話語分析研究狀況

朱永生指出，模態(tài)、媒介、媒體三者之間存在一定的區(qū)別，因此有必要明確區(qū)分其各自含義。［1］多模態(tài)（multimodal）是指除了文本之外，還帶有圖像、圖表等符號話語，或者說是任何由一種以上符號編碼實現(xiàn)意義的文本。因此，在某種程度上來說，“所有的話語都是多模態(tài)的”［2］。

多模態(tài)話語分析的意義在于它可以看到語言在意義的交換過程中所起到的作用，同時可以看到如圖像、音樂、顏色等其他符號系統(tǒng)在這個過程中所產(chǎn)生的效果，從而更全面、精準地解讀話語的意義，進而發(fā)現(xiàn)人們?nèi)绾尉C合使用多種模態(tài)來達到社會交際的目的。［3］

二、口語詩的多模態(tài)話語分析模式

（一）研究語料

本研究語料為美國口語詩人Sarah Kay在TED（指technology、entertainment、design在英語中的縮寫，即技術(shù)、娛樂、設計）演講中的口語詩Point B。Sarah Kay從14歲開始創(chuàng)作口語詩，是VOICE項目的創(chuàng)始人，在美國很受年輕人喜愛，其口語詩Point B在演講開頭贏得觀眾熱烈的掌聲。

（二）研究方法

本文利用ELAN軟件①ELAN視頻標注軟件下載網(wǎng)址為http：／／tla．mpi．nl／tools／tla－tools／elan。對口語詩Point B進行分割、轉(zhuǎn)寫和標注。ELAN軟件可以通過對視頻、音頻文件的多層級同步標注來分析說話者的話語內(nèi)容、面部表情、姿態(tài)手勢、語音語調(diào)等。在進行各種模態(tài)分析之前，要先對所要研究的模態(tài)進行賦碼。本文探討的是多模態(tài)話語中不同模態(tài)是如何配合來構(gòu)建意義的，因此需要對視覺模態(tài)中的手勢和聽覺模態(tài)中的語言符號和音韻特征進行賦碼。其中，音韻特征包括語調(diào)、重音和語速；手勢特征采用Norris的分類，分為具象性手勢、意象性手勢、指示性手勢和節(jié)奏性手勢。［4］賦碼如下：文本轉(zhuǎn)寫［T－］；音韻特征［P－］，其中音調(diào)降低［PIF］，音調(diào)升高［PIR］，音調(diào)先升后降［PIRF］，音調(diào)先降后升［PIFR］，慢速［PTS］，快速［PTF］，強調(diào)［PS］，停頓［Pause］；手勢特征［G－］，意象手勢［GM］，具象性手勢［GI］，指示性手勢［GD］，節(jié)奏性手勢［GB］。根據(jù)以上賦碼，用ELAN軟件對視頻進行切分和標注后，該標注文件共3個層級，聽覺和視覺模態(tài)分別為文本轉(zhuǎn)寫、語音語調(diào)、重音、語速、停頓和手勢特征?？谡Z詩Point B在文本轉(zhuǎn)寫中被分為31段，在音韻特征中被分為34段，在手勢特征中被分為35段，在這一過程中需要極大的耐心，對不確定的地方可以反復修改。

三、Point B多模態(tài)意義的建構(gòu)

（一）文字模態(tài)

文字模態(tài)即視頻中詩人所說的口頭話語。我們將從語言的三大元功能——概念功能、人際功能和語篇功能，進行簡要分析。

1．概念功能

“我要在她的手背上畫太陽系，這樣在她學習整個太陽系之前，她就可以自豪地和別人說，‘噢，我對整個宇宙了如指掌＇?！雹赟arah Kay－Point B薩拉·凱點B翻譯http：／／blog．sina．com．cn／s／blog＿be4003480101lfev．html。在交際過程中，詩人通過語言向人們傳達了在現(xiàn)實生活中的各種體驗（概念功能）。

2．人際功能

語言交流的互動主要是通過語法系統(tǒng)中的語氣和情態(tài)來實現(xiàn)的。語氣和情態(tài)不僅表達了語篇的人際意義，而且為語篇的建構(gòu)提供了重要的語法資源。［5］全詩采用的時態(tài)均為現(xiàn)在時和將來時，且全文語氣均為直陳語氣?？梢钥闯觯髡叩膭?chuàng)造手法以敘事為主，且主題是一個現(xiàn)實的主題。作者向我們傳達的是一個事實，它就發(fā)生在我們周圍，不是偶然發(fā)生的。情態(tài)系統(tǒng)表達的是說話者的意愿和判斷。例如，“即使無數(shù)次你要重新開始，即使遇到多少困難，你要堅定信心，駐足生活中的美好”③Sarah Kay－Point B薩拉·凱點B翻譯http：／／blog．sina．com．cn／s／blog＿be4003480101lfev．html。。在這里，作者使用了“will”這個表示將來的情態(tài)動詞，充分表達了作者如果有一個女兒時急切想要告訴她什么是生活的情感狀態(tài)。

3．語篇功能

語篇功能是指語言將其本身與其使用者所處的情境環(huán)境相聯(lián)系的功能，它主要是由主位和述位來實現(xiàn)的。［6］詩文中的兩個小句的主位相同，屬于平行性主位推進類型。例如，“當你張開雙手，迎來的只有抨擊和中傷；當你走出公用電話亭想要翱翔天空，你會發(fā)現(xiàn)你想拯救的人正踩在你的披肩上”④同上。。作者選用這一主位推進模式，方便聽者理解，并且以“when you”作為主語，充分體現(xiàn)了作者對女兒的愛，一切以女兒為主的情感。

（二）視覺模態(tài)

口語詩中詩人的音調(diào)和手勢分布十分廣泛。各模態(tài)使用的情況如下：降調(diào)占總數(shù)的43%，升調(diào)占6%，先升后降占29%，停頓占3%，慢速占9%，強調(diào)占9%；意象性手勢占24%，具象性手勢占24%，節(jié)奏性手勢占21%。在口語詩中，詩人的口頭模態(tài)、音韻特征以及手勢特征共同建構(gòu)了話語的意義。

四、結(jié)語

對文字模態(tài)的分析表明，作者在該詩歌中所要傳達的意義：假如我有一個女兒，我希望她叫我Point B而不是mom，因為無論她遇到什么困難，她都會順著一端找到我。對視覺模態(tài)的分析表明，對口語詩的研究，需要考慮詩文的音韻、手勢、語境等因素。正是詩人那種動容的演說，更加有力地強化了詩歌所要傳達的詩意，進一步體現(xiàn)了詩歌的主題。在語篇分析過程中，其他非語言模態(tài)所發(fā)揮的作用也應引起我們的重視，因為它們對語篇意義的建構(gòu)所起的強化作用不容小覷。此外，通過研究發(fā)現(xiàn)，ELAN軟件對多模態(tài)文本的分析非常實用，希望可以對未來語言學的研究提供一個不同的視角。

［1］［3］朱永生．多模態(tài)話語分析的理論基礎與研究方法［J］．外語學刊，2007，（5）：83－85．

［2］Kress，van Leeuwen．Front Images：The Critical Analysis of Newspaper Layout［A］．In A．Bell＆P．Garrett（eds．）Approach to Multimodal Discourse ［C］．London：Times New Roman，1998．186．

［4］Norris，S．Analyzing Multimodal Interaction：A Methodological Framework［M］．London：Routledge，2004．215．

［5］［6］張旭紅．視覺詩Me up at does多模態(tài)意義的構(gòu)建［J］．外語學刊，2010，（1）：85－90．

【責任編輯：周 丹】

漢 富貴萬歲

H03

A

1673－7725（2016）08－0180－03

2016－06－05

本文系內(nèi)蒙古地區(qū)大學英語多模態(tài)教學模式下學生多元文化認知能力培養(yǎng)的研究（項目編號：WYZX2015－02）的階段性成果。

劉素芳（1991－），女，內(nèi)蒙古呼和浩特人，主要從事外國語言學及應用語言學研究。