湛穎 高妍 謝凌云

[摘要]采用語義聯想的方法，進行基于視聽跨模態(tài)語義一致理論的國畫一民樂的通感研究。經主觀實驗驗證，該方法能在視聽匹配中提升國畫審美感知，在演藝科技行業(yè)的多媒體創(chuàng)作與視聽融合方面有廣闊的應用前景。

[關鍵詞]國畫;民樂;視聽覺;通感;聯想實驗;多媒體

文章編號：10.3969/j.issn.1674-8239.2019.05.004

1引言

視聽覺通感是多媒體創(chuàng)作中的一個基礎課題，視聽多媒體的語義和美感的一致是藝術作品的重要組成部分。為了探究觀眾對多媒體藝術的跨模態(tài)感知機制，需對大眾的視聽覺審美聯想和通感進行深入分析。審美和文化背景有著密切的關聯，所以，本文以中國傳統(tǒng)文化中的國畫為對象，研究其與民樂之間的通感關系。

該研究通過問卷調查、因子分析（factor cmcdysis）的實驗心理學方法，獲得5個國畫主要美感因子及高頻形容詞匯，并將它們應用于64幅國畫的審美評價。接著，進行國畫畫面到民樂美感的通感實驗。根據實驗結果，在民樂庫中配對相應的樂曲，進行視聽通感條件下美感增效的實驗驗證。結果表明，相對于單獨欣賞國畫而言，在國畫與產生通感的民樂同時呈現的情況下，被試能獲得更多的藝術美感。

2國畫與民樂美感的視聽覺共性

音樂和繪畫是不同的藝術形式，根據李偉的研究，中國畫獨特的藝術形式、空間表達及審美意涵，與民樂有天然的內在聯系。徐復觀認為，“線實際上是對中國古典音樂的一種造型，使它表現為一種可視的東西”。中國文化藝術廣泛包含“線”的概念，國畫中工筆畫以“線”作為主要藝術表達手段;民樂“吹拉彈打”中的管樂和拉弦音樂也是典型的線型音樂。

中國畫的線造型在曲折的線條表達中具有類似建筑的飛動之美，在起、承、轉、合的細節(jié)變化中，體現音樂般的節(jié)奏美。這種視覺藝術與聽覺藝術之間的感知關聯，就來自于通感?！爱斈闶褂脦追N聲音或色彩的組合來作畫或作曲時，有時候你會感到你的手指像被針扎似的微微作痛，有時會感到你的手指像在撫摩絲綢和天鵝絨，康定斯基認為，藝術創(chuàng)作者有時會產生不同的感覺通道的通感。

通感研究表明，感知上的跨模態(tài)一致性（cross-modol correspondences）是產生通感的前提?？缒B(tài)一致是由Chorles Spence于2011年提出的概念，目前得到廣泛采用。視聽跨模態(tài)一致是多年實證研究總結出的、人類對視聽信號的一種感知特性，有研究認為，它是通感的一種神經基礎。在以往研究中，跨模態(tài)一致有三種基本模型，即統(tǒng)計一致、結構一致和語義一致。其中，語義一致指視聽覺信號的特征（identity）或含義（meaning）的匹配與否，本文的視聽多通道感知實驗也基于此概念進行。

本文將基于視聽跨模態(tài)一致及國畫與民樂的視聽審美共性，面向國畫、民樂的視聽覺通感，使用實驗心理學方法，探索國畫的聽覺聯想問題。

3實驗過程

3.1國畫美感范疇獲得

通過詞頻篩選、問卷調查和因子分析“方法，獲得國畫的五個美感因子。查閱《現代漢語詞典》《美學辭典》等文獻，綜合獲得每個因子釋義和高頻詞集，見表1。

3.2國畫美感評價

通過互聯網搜索等渠道，收集篩選國畫信號64幅，通過主觀評測的方式對它們進行美感類別評價，評價標準為從表1中的“名稱”欄里五者擇一。把20名被試（其中女性11名，男性9名，平均年齡24歲）對每幅畫的最多頻次被選美感作為其主要美感，獲得結果分布，見表2。

3.3國畫的聽覺通感

國畫到民樂的通感實驗，通過選擇描述內容的方式進行。其中，用于描述聯想內容的詞匯及民樂美感因子見表3。表格通過與3.1節(jié)類似的實驗方法獲得，為民樂的美感主要因子和對應詞匯。

聯想實驗全程在光照合適、隔音良好的室內完成，屏幕的色溫、亮度等情況被調整為被試觀看舒適、且適合呈現國畫圖片的程度。在實驗過程中，所有國畫信號在背景為純黑色的屏幕上放映，顯示器型號為DELL1504FP，屏幕分辨率1024×768，方向橫向，畫作以原長寬比盡量平鋪適配整個屏幕。被試總人數12人，女性7人，男性5人，平均年齡24歲，年齡標準差1歲。

被試在觀賞每一幅圖片后，被要求聯想一個音樂情景，然后在表格中選擇適合描述該情景的形容詞。每個信號的對應形容詞表格，為表3中第三列（“詞集”部分）所有形容詞的一個隨機亂序版。對于所有25個詞匯，可選個數不限，但被試需對所選詞匯進行合適度從高至低的排序。

3.4美感提升驗證

依照聯想實驗的結果，從民樂數據庫中查詢符合聯想結果的民樂，見表4。由被試進行單獨欣賞國畫的單通道，和國畫、民樂同時呈現的雙通道這兩種情況下的美感強度評價。美感分值為1～9的整數，1為最低強度美感，9為最高強度美感，單雙通道分別進行評分。

該部分實驗參與人數13人，男性6人，女性7人，平均年齡24歲，年齡標準差1歲。實驗在光照合適的室內完成，屏幕的色溫、亮度等情況被調整為被試觀看舒適、且適合呈現國畫圖片的程度。使用監(jiān)聽耳機AKG K240MKII播放民樂，校準到使人能聽清聲音細節(jié)、且聽感舒適的程度。單通道實驗中，所有國畫信號在背景為純黑色屏幕上放映，以原長寬比盡量平鋪適配整個屏幕;雙通道實驗中，民樂同步于配對的國畫呈現。

4實驗結果

4.1語義關聯分析

按照表2中國畫美感分布類別，統(tǒng)計對應的高頻聯想詞匯分布，照詞頻和排序優(yōu)先度順序列于表5。

從表5中所陳列的詞匯，觀察到所聯想音樂語義與國畫美感類的語義關聯較密切。另外，國畫所聯想的音情境并非由單一的民樂美感組成。以氣勢為例，其所聯想到的民樂就由深沉、激昂等復雜的美感等二級詞匯組成。

4.2美感關聯分析

依照表5中各類民樂美感形容詞被選頻率在五個民樂美感中的分布，統(tǒng)計國畫美感與所聯想民樂美感之關聯，繪制國畫一民樂語義聯想拓撲圖，見圖1。觀察發(fā)現，國畫聽覺語義聯想結果與被聯想內容有較強語義關聯，“輕柔”和“深沉”美感的民樂在增強多通道美感方面，有比其他美感更廣泛的適用性。

4.3美感增效

單雙通道美感變化見圖2。整體來看，所有美感都能得到10%以上增幅，證明本文方法在提升美感上有一定效果。另外，本文方法對越負向的美感越有美感增強效應。具體來說，蕭瑟、清幽二者，在情緒上更偏向負向，也更容易在視聽雙通道匹配中得到美感增幅;本身更為積極正向的美感，如生機、雅致、氣勢三者，則相對來說不易在語義匹配的雙通道感知中得到增強。

5總結

本文的研究基于視聽覺通感，提出基于國畫審美和語義聯想的視聽通感研究方法、美感提升方法。經過主觀評測實驗驗證，該匹配方法相較于單通道國畫視覺美感感知，可以實現一定程度美感增幅。通過語義聯想的通感方法進行視聽美感融合，可為多媒體創(chuàng)作提供一定參考。