王功利

(中國傳媒大學(xué) 動畫與數(shù)字藝術(shù)學(xué)院，北京100024)

1 引言

在電子游戲領(lǐng)域，聲音可視化通常將背景音樂、交互反饋音效等聽覺元素與游戲場景的視覺元素結(jié)合，將抽象的聽覺與具象的視覺融入游戲，從而豐富游戲內(nèi)容表現(xiàn)形式，有助于展現(xiàn)游戲藝術(shù)風(fēng)格。[1]音樂游戲如今是電子游戲門類中的一大分支，在此類游戲設(shè)計(jì)中，背景音樂與交互音效等聽覺元素成為“主角”，游戲規(guī)則、交互操作、美術(shù)等諸多設(shè)計(jì)環(huán)節(jié)均會與聲音元素建立高度關(guān)聯(lián)。因此在音樂游戲中，聲音可視化元素的設(shè)計(jì)與運(yùn)用理念，會成為影響音樂游戲品質(zhì)的重要因素。

借助引用文學(xué)翻譯領(lǐng)域中提倡的“信達(dá)雅”理念模型，以此建立音樂游戲中聲音可視化元素的設(shè)計(jì)運(yùn)用理念?！靶胚_(dá)雅”最初提及于作者嚴(yán)復(fù)所著的《天演論·譯例言》。嚴(yán)復(fù)在該著作中指出：“譯事三難，信、達(dá)、雅。求其信已大難矣，顧信矣不達(dá)，雖譯猶不譯也，則達(dá)尚焉”。[2]如今的“信達(dá)雅”理念已延伸到文學(xué)翻譯領(lǐng)域之外，被諸多研究學(xué)者在非文學(xué)領(lǐng)域的研究理念建構(gòu)中進(jìn)行借鑒、轉(zhuǎn)化與運(yùn)用。

隨著音樂游戲與聲音可視化技術(shù)均不斷更新迭代，兩者間的運(yùn)用關(guān)系日益密切?；诮梃b文章翻譯表達(dá)中的“信達(dá)雅”理念，本文將探究音樂游戲中聲音可視化創(chuàng)意表達(dá)的“信達(dá)雅”設(shè)計(jì)理念。一方面，以音樂游戲與聲音可視化作為主題，對近幾年相關(guān)領(lǐng)域的研究學(xué)者的文獻(xiàn)進(jìn)行整理與總結(jié)，分析學(xué)者們對音樂游戲與聲音可視化設(shè)計(jì)的觀點(diǎn)及其依據(jù)；另一方面，基于Steam、TapTap等主流游戲平臺，分析近幾年來體現(xiàn)聲音可視化運(yùn)用且受歡迎度較高的音樂類電子游戲。結(jié)合音樂游戲案例與學(xué)者觀點(diǎn)論據(jù)，對當(dāng)今國內(nèi)外音樂游戲領(lǐng)域中聲音可視化的“信達(dá)雅”設(shè)計(jì)理念展開論述。

2 音樂游戲與聲音可視化的現(xiàn)狀

2.1 音樂游戲

本文研究對象的服務(wù)運(yùn)用范圍為“音樂游戲”，主要指借助電子游戲設(shè)備，進(jìn)行圍繞音樂為娛樂體驗(yàn)主題的電子游戲。玩家將感知、識別、跟隨并探索游戲中的音樂節(jié)奏等游戲聽覺信息，運(yùn)用外設(shè)輸入設(shè)備實(shí)施交互，使屏幕等輸出設(shè)備展現(xiàn)交互反饋效果。貫穿音樂游戲的設(shè)計(jì)聚焦點(diǎn)是“音樂”，它區(qū)別于其他類型的電子游戲設(shè)計(jì)理念，“音樂”在音樂游戲中不僅承擔(dān)背景音樂的角色，更為推進(jìn)游戲進(jìn)程、把握游戲節(jié)奏、控制游戲難度、營造游戲氛圍、彰顯藝術(shù)風(fēng)格、激發(fā)情感共鳴等發(fā)揮重要作用。

隨著游戲設(shè)計(jì)技術(shù)與游戲藝術(shù)理念的不斷完善，音樂游戲設(shè)計(jì)倡導(dǎo)的形式和內(nèi)容也在不斷變化。從初期借助大型游戲機(jī)與電子舞蹈交互墊游玩，到運(yùn)用鍵盤鼠標(biāo)等PC輸入設(shè)備進(jìn)行游玩，再到近幾年借助移動智能設(shè)備、VR硬件設(shè)備、體感交互設(shè)備等展開游玩的音樂游戲逐漸誕生，音樂游戲的機(jī)制類型、交互形式、主題內(nèi)涵等設(shè)計(jì)理念均得到擴(kuò)充。因此，針對音樂游戲設(shè)計(jì)與表現(xiàn)形式的相關(guān)話題也逐漸成為了游戲創(chuàng)作者群體與相關(guān)學(xué)者討論與研究的熱點(diǎn)，同期也誕生了很多交互形式豐富、游戲體驗(yàn)舒適、并具備藝術(shù)審美價(jià)值的音樂游戲作品。不僅有《Beat Saber》、《節(jié)奏大師》、《太鼓達(dá)人》、《別踩白塊兒》等諸多傳統(tǒng)音樂游戲，還有《Just Shapes and Beats》、《Geometry Dash》、《Sayonara Wild Hearts》、《Just Dance》等混合式音樂游戲。其中，混合式音樂游戲是將傳統(tǒng)音樂游戲的玩法與其他類型電子游戲的機(jī)制、規(guī)則等進(jìn)行融合，玩家在游玩混合式音樂游戲過程中，也能感受到其它類型游戲帶來的體驗(yàn)效果。

2.2 聲音可視化

聲音可視化是將聲音信息進(jìn)行數(shù)據(jù)化處理，并通過構(gòu)建視覺元素與聲音數(shù)據(jù)間相關(guān)聯(lián)的規(guī)則，以聲音數(shù)據(jù)為驅(qū)動源，借助圖像輸出設(shè)備進(jìn)行視覺呈現(xiàn)的一種技術(shù)，屬于數(shù)據(jù)信息可視化運(yùn)用的其中一種。以主客觀特征進(jìn)行分類，聲音的客觀特征包含振幅、頻率及諧波等，主觀特征有音色、響度及音調(diào)等。時(shí)康凱作者在研究聲音特征提取與優(yōu)化與視覺化方法中提出，人接收聽覺與視覺的信息刺激是共通的，對聲音中的特征信息予以合理的視覺轉(zhuǎn)換和處理，從而為用戶提供一致的心理反饋效果。[3]因此，相比于記憶關(guān)于聲音特征的聽覺信息，人們更容易接收并記憶圖像視頻等視覺信息。將原始的聲音信息進(jìn)行得體的視覺轉(zhuǎn)化，為幫助用戶更快地領(lǐng)會聲音信息起到重要作用。

視覺元素的設(shè)計(jì)是實(shí)現(xiàn)聲音可視化的重要環(huán)節(jié)之一，視覺元素的巧妙設(shè)計(jì)與運(yùn)用可促使讀者的視聽覺聯(lián)合感知，在可視化的視覺信息解讀與暗示中起到主導(dǎo)作用。其中，以音樂作為聲音信息來源的音樂可視化從視覺上拓展了人們對音樂藝術(shù)作品的欣賞形式，讓音樂可以被看見，從而提高了音樂作品主題內(nèi)涵的表現(xiàn)力。

人們?nèi)粘＝佑|的視覺、聽覺內(nèi)容包含著諸多意識形態(tài)、精神傳遞與情感表達(dá)。聲音可視化技術(shù)的廣泛運(yùn)用能夠服務(wù)人們理解與表達(dá)音樂中復(fù)雜的主客觀信息，使聽覺和視覺在感性層面獲得了更高層次的融合，滿足用戶更高的審美需求和音樂情感體驗(yàn)，讓用戶更加全面、深入地理解到音樂作品蘊(yùn)含的精神內(nèi)涵。例如早期Windows XP操作系統(tǒng)內(nèi)置的音樂媒體播放器Windows Media Player，其包含的“海上薄霧”等可視化效果就是聲音可視化的一些典型案例，為同時(shí)期聲音可視化的藝術(shù)化表現(xiàn)形式提供了有效參考。聲音可視化涉及的研究領(lǐng)域眾多，包含了音樂音頻處理、圖像處理等的技術(shù)研究方向，并且在數(shù)字娛樂、音樂教育等領(lǐng)域擁有重要運(yùn)用前景。

2.3 聲音可視化在音樂游戲中的運(yùn)用

從信號處理技術(shù)角度來看，聲音可視化是一項(xiàng)對聲音數(shù)據(jù)進(jìn)行轉(zhuǎn)化與預(yù)加工處理的過程，即“聲音—數(shù)據(jù)—圖形”過程。從聲音到數(shù)據(jù)再到圖形，聲音可視化實(shí)現(xiàn)可劃分為多道“工序”。圖1演示了其“工序”流程與參與工序處理的信息類型。

圖1 聲音可視化處理工序流程示意圖

“聲音—數(shù)據(jù)—特征”的工序如今已日益成熟，設(shè)計(jì)師可以直接根據(jù)音樂游戲的設(shè)計(jì)需要，運(yùn)用游戲引擎、游戲設(shè)計(jì)程序中的聲音數(shù)據(jù)處理工具，高效便捷地對聲音信息進(jìn)行數(shù)據(jù)化處理，讓游戲中運(yùn)用的聲音內(nèi)容快速轉(zhuǎn)化為數(shù)據(jù)形式的信息，再通過對數(shù)據(jù)信息的解析得到可量化的聲音特征。在這些階段的“工序”完成后，設(shè)計(jì)師如何用好這些數(shù)據(jù)特征信息，進(jìn)一步轉(zhuǎn)化為音樂游戲場景中的圖像、符號、背景等可視化元素，則是最后一道“工序”的主要任務(wù)目標(biāo)。特征信息到圖形的轉(zhuǎn)化方式主要包含兩類，一是利用這些特征信息直接控制圖形、符號等可視化內(nèi)容生成的基本屬性，以聲音轉(zhuǎn)化而成的數(shù)據(jù)作為圖形形狀、顏色、透明度、光照強(qiáng)度、材質(zhì)紋理等屬性的關(guān)鍵參數(shù)；[4]二是使用設(shè)計(jì)師預(yù)設(shè)的視覺美術(shù)素材與聲音數(shù)據(jù)特征信息進(jìn)行自定義關(guān)聯(lián)，根據(jù)提取數(shù)據(jù)的變化規(guī)律與關(guān)聯(lián)規(guī)則，來決定對游戲中可視化元素的展現(xiàn)形式。這兩類運(yùn)用體現(xiàn)了聲音可視化元素在大部分音樂游戲設(shè)計(jì)環(huán)節(jié)、玩家體驗(yàn)環(huán)節(jié)中的運(yùn)用和參與。

從學(xué)術(shù)研究來看，音樂游戲與聲音可視化各自所涉及的學(xué)科領(lǐng)域復(fù)雜，國內(nèi)外對音樂游戲與聲音可視化的研究方式多呈交叉學(xué)科融合研究的趨勢。在討論音樂游戲范疇下的聲音可視化運(yùn)用研究中，主要涉及的學(xué)科包含游戲心理學(xué)、計(jì)算機(jī)圖形學(xué)、人機(jī)工程學(xué)、數(shù)理統(tǒng)計(jì)學(xué)等等，并與音樂表演、視覺藝術(shù)與聽覺藝術(shù)、聲畫蒙太奇等相關(guān)理論進(jìn)行融合運(yùn)用。國外相關(guān)研究中，聲音可視化技術(shù)在音樂游戲的交互行為、藝術(shù)呈現(xiàn)、表現(xiàn)反饋、情感表達(dá)方面都有較為完整的研究探討。[5]國內(nèi)針對聲音可視化技術(shù)在音樂游戲設(shè)計(jì)中的研究文獻(xiàn)較少，此外，國內(nèi)以“音樂游戲”為主題的文獻(xiàn)多是以音樂教育、學(xué)生音樂能力與樂感培養(yǎng)等作為研究側(cè)重點(diǎn)，而針對以音樂游戲玩家為目標(biāo)群體的“非嚴(yán)肅游戲”型音樂娛樂游戲設(shè)計(jì)理論成果相對較少。

分析國內(nèi)外主流音樂游戲的案例可得出，聲音可視化的設(shè)計(jì)運(yùn)用較為集中圍繞“節(jié)奏”這一特征，即音樂節(jié)奏、可視化呈現(xiàn)節(jié)奏與玩家交互節(jié)奏的同步執(zhí)行與呈現(xiàn)。此外，一些音樂游戲中的聲音可視化不僅緊握“節(jié)奏”特征，將游戲中的視覺元素與音樂元素進(jìn)行整合，其更深入到結(jié)合音樂其他特征的設(shè)計(jì)，豐富音樂游戲的交互玩法，滿足音樂的情感表達(dá)，從而帶給玩家深層次的音樂游戲體驗(yàn)。從國外的部分混合式音樂游戲案例中可以看到，聲音可視化元素的介入加深了音樂與電子游戲的融合，不僅滿足節(jié)奏的同步，更將音樂游戲體驗(yàn)變得煥然一新，打造出更兼具聲畫藝術(shù)欣賞與游戲娛樂的體驗(yàn)形式。

3 音樂游戲中聲音可視化的“信達(dá)雅”

3.1 聲音的準(zhǔn)確量化表達(dá)——“信”

“信”原旨追求翻譯清晰、正確，能夠?yàn)樽x者傳達(dá)與原文相符的內(nèi)容與思想，無致命性翻譯錯誤，并且符合原文創(chuàng)作的文化、歷史、社會背景。將“信”的理念映射到音樂游戲的聲音可視化設(shè)計(jì)運(yùn)用要求中，體現(xiàn)在對聲音信息的實(shí)時(shí)轉(zhuǎn)化、準(zhǔn)確量化與合理表達(dá)。這些是作為聲音可視化運(yùn)用與設(shè)計(jì)在音樂游戲中的“底線”保障，若失去這些保障，后續(xù)的“達(dá)”與“雅”就無從談起。缺乏了“信”的音樂游戲難以被音樂游戲資深玩家，甚至是新手玩家能夠接受。

相較于剛剛接觸音樂游戲的新手玩家，音樂游戲提供給資深玩家的考驗(yàn)不只在于識別可視化交互元素的難易度，還在于對玩家交互動作的精度、速度與強(qiáng)度的要求，著重考驗(yàn)玩家的身心協(xié)調(diào)力與快速反應(yīng)力。玩家了解并遵守音樂游戲的機(jī)制與規(guī)則，通過聲音與圖形的提示內(nèi)容進(jìn)行繁雜且快速的交互體驗(yàn)。游戲程序也將在運(yùn)行期間實(shí)時(shí)接收玩家的大量交互信息，并同樣根據(jù)設(shè)定的游戲機(jī)制與規(guī)則，識別、分析并計(jì)算交互輸入數(shù)據(jù)，最后及時(shí)反饋玩家的交互結(jié)果。玩家與游戲程序在上述的游戲行為中實(shí)現(xiàn)雙向交互循環(huán)，其執(zhí)行將一直持續(xù)到玩家完成一局完整的游戲體驗(yàn)。聲音可視化元素在這一游戲體驗(yàn)循環(huán)中參與并發(fā)揮著游戲提示、交互、反饋等重要作用(如圖2所示)。

圖2 音樂游戲體驗(yàn)循環(huán)中聲音可視化元素參與關(guān)系示意圖

在手機(jī)音樂游戲《節(jié)奏大師》中，音樂的節(jié)拍等特征會轉(zhuǎn)化為不同顏色的長條狀“擋板”，它們將會從游戲屏幕由上而下，由遠(yuǎn)及近地出現(xiàn)，在軌道上呈下落式運(yùn)動，快速靠近玩家的多個(gè)交互按鈕，其出現(xiàn)的速度與數(shù)量會與選取音樂的節(jié)奏快慢，玩家設(shè)置的游戲難度呈正相關(guān)。操作表現(xiàn)會取決于按下按鈕的瞬間“擋板”與接觸判定范圍之間的位置關(guān)系，并以得分形式來反饋其表現(xiàn)。需要強(qiáng)調(diào)的是，“擋板”落到交互區(qū)域的一瞬間會與音樂的節(jié)拍點(diǎn)保持高精度的視聽同步，玩家也需要在這一極短瞬間及時(shí)做出觸屏反饋，才能取得得分。

在VR音樂游戲《Beat Saber》中，不同切割方向與不同顏色指示的方塊從玩家正面視角由遠(yuǎn)及近迎面而來。玩家為確保盡可能不遺漏任何可切割方塊，需要以音樂的節(jié)拍鼓點(diǎn)作為提示，跟隨音樂節(jié)奏，使用傳感手柄進(jìn)行音樂方塊的切割，切割的力度與切割速度會決定得分的高低。作為象征音樂節(jié)奏的可視化交互元素，可切割方塊的顏色差異與箭頭指示等視覺符號將影響到用戶對游戲玩法的快速識別、理解與掌握，進(jìn)而也會影響到玩家的游戲表現(xiàn)。與《節(jié)奏大師》相同，音樂節(jié)拍的播放與切割方塊的到達(dá)也需要在其中確保準(zhǔn)確的視聽同步，引導(dǎo)玩家跟隨節(jié)奏做好即將到來的一系列連續(xù)的交互行為。

作者李玥在電子游戲與大腦功能活動的研究中指出，玩家在對電子游戲場景中呈現(xiàn)的諸多視覺進(jìn)行認(rèn)知和處理，長時(shí)間反復(fù)地游玩將不斷考驗(yàn)并鍛煉用戶的直覺空間處理能力。[6]靳晶等作者指出，游戲中音樂信息轉(zhuǎn)化為視覺信息的過程中，需要緊握音樂節(jié)奏特征，從音樂可視化元素中的畫面顏色、運(yùn)動速度、圖形形狀等三方面塑造游戲中的視覺音樂元素，易于玩家主觀認(rèn)知上對可視化元素的理解與分析。[7]結(jié)合學(xué)者觀點(diǎn)與上述游戲案例的分析可知，在快節(jié)奏的音樂電子游戲中，用戶需要在很短的時(shí)間內(nèi)通過大腦解讀由聲音可視化呈現(xiàn)的大量圖像、符號、形狀等視覺信息。聲音可視化元素的設(shè)計(jì)要有助于為玩家對游戲交互方式、規(guī)則機(jī)制等關(guān)鍵信息提供有效、易懂的提示，從而有助于玩家發(fā)揮更出色的游戲表現(xiàn)。雖然不同音樂游戲之間的主題風(fēng)格略有差異，但總體上聲音可視化的視覺元素設(shè)計(jì)要易于音樂游戲玩家的普遍理解。

設(shè)計(jì)師除了對聲音可視化元素設(shè)計(jì)運(yùn)用做到準(zhǔn)確得體的量化表達(dá)，也要考慮其對音樂游戲?qū)崟r(shí)反饋準(zhǔn)確性、運(yùn)行流暢性產(chǎn)生的影響。音樂游戲中繁雜的交互處理過程將會考驗(yàn)音樂游戲運(yùn)行設(shè)備的運(yùn)算處理能力，而輸出反饋數(shù)據(jù)的過程則考驗(yàn)設(shè)備的數(shù)據(jù)吞吐能力。前文提到的“第二道工序”會涉及實(shí)時(shí)數(shù)據(jù)運(yùn)用與實(shí)時(shí)圖形渲染，其間包含了大量的數(shù)據(jù)實(shí)時(shí)計(jì)算和處理，將大量消耗計(jì)算機(jī)的處理性能以保障游戲運(yùn)行質(zhì)量。如果聲音可視化元素實(shí)時(shí)渲染繪制細(xì)節(jié)的需求過高，則可能出現(xiàn)游戲界面卡頓的異步現(xiàn)象。一旦視聽發(fā)生了異步，就會連帶導(dǎo)致音樂聲音節(jié)奏、畫面節(jié)奏與交互節(jié)奏之間產(chǎn)生異步現(xiàn)象，作為游戲交互提示的聲音可視化元素會產(chǎn)生“誤導(dǎo)”玩家做出交互行為的負(fù)面影響。玩家會在這樣的異步節(jié)奏中容易感到不適，進(jìn)而影響游戲體驗(yàn)與游戲表現(xiàn)。

因此，在音樂游戲設(shè)計(jì)中對聲音可視化元素的設(shè)計(jì)與運(yùn)用，也要考慮到聲音特征的數(shù)據(jù)化處理性能 效率、可視化元素的視覺渲染細(xì)節(jié)程度與游戲流暢性的平衡和保障，為玩家盡可能降低因視覺與性能而對音樂游戲帶來的負(fù)面隱患。如今主流游戲引擎在不斷更新迭代，圖像處理與渲染技術(shù)工具的不斷升級能夠日益滿足游戲設(shè)計(jì)師的聲音可視化設(shè)計(jì)高細(xì)節(jié)需求，更好地處理游戲可視化元素繪制渲染細(xì)節(jié)與運(yùn)行流暢性之間的平衡。基于Unity創(chuàng)作的《Sayonara Wild Hearts》音樂游戲就是其中的“受益者”，這款融合多種游戲機(jī)制的音樂類游戲運(yùn)用了Unity高清晰渲染管線技術(shù)(High Definition Render Pipeline technology)，保障玩家在其體驗(yàn)過程中流暢地欣賞這款音樂游戲中嘆為觀止的可視化藝術(shù)效果。

3.2 視聽通感心流的交融——“達(dá)”

“達(dá)”建立在“信”的基礎(chǔ)上，原旨文章翻譯需語句通順，邏輯合理，易于讀者理解與感悟。音樂游戲需要打造出對音樂游戲玩家友好、舒適的游戲氛圍，易于玩家沉浸在音樂游戲的聽覺、視覺、互動等多維度體驗(yàn)空間中，同時(shí)盡可能避免過多的游戲消極體驗(yàn)帶給玩家的厭倦感與抵觸感。聲音可視化元素的設(shè)計(jì)運(yùn)用需要融合音樂游戲的場景布局、交互模式、機(jī)制規(guī)則等內(nèi)容，呈現(xiàn)效果能夠讓玩家感受到音樂游戲所帶來的獨(dú)特體驗(yàn)感。本節(jié)將以視聽覺通感在游戲中的聲音可視化呈現(xiàn)、聲音可視化運(yùn)用影響游戲玩家心流體驗(yàn)的因素等兩方面，展開聲音可視化在音樂游戲中“達(dá)”的設(shè)計(jì)理念探討。

通感是人類感官功能出現(xiàn)互相溝通與感受轉(zhuǎn)化的現(xiàn)象。在不同感官的轉(zhuǎn)化過程中，個(gè)體將對某一知覺的印象，將通過其他知覺的聯(lián)合感知得到進(jìn)一步加深。視覺、聽覺、觸覺是玩家在音樂游戲中最主要運(yùn)用的三大感知形式。音樂游戲場景的音樂與視覺之間存在物理性質(zhì)與規(guī)則機(jī)制下的對應(yīng)關(guān)系，它們將同時(shí)呈現(xiàn)給玩家，引導(dǎo)玩家主動識別這種感知，并驅(qū)使玩家執(zhí)行一系列的交互行為。玩家對游戲中的聲音可視化元素與聽覺做出的交互反饋，將同時(shí)加深玩家對這些視覺，聽覺的理解，從而有助于玩家對理解游戲規(guī)則、掌握交互方式，并不斷摸索出一套音樂游戲的通關(guān)技巧與經(jīng)驗(yàn)。

例如移動設(shè)備的音樂游戲《Maimai》。該游戲不同于《節(jié)奏大師》等傳統(tǒng)的“下落式”觸屏交互模式，其執(zhí)行交互的區(qū)域是游戲中的紫色圓圈。在游戲過程中，音樂會對應(yīng)圖形完成從聽覺到視覺符號的轉(zhuǎn)化，圖形會在圓圈的圓心處生成，并向四周呈擴(kuò)散式位移(如圖3所示)。游戲會根據(jù)音樂播放過程中的旋律急促或舒緩、節(jié)拍的輕或重、音調(diào)的高或低、音樂片段的連續(xù)性或間斷性等變化，生成一系列需要玩家在屏幕上連按、按住、滑動、雙按、單按等不同的可視化圖形符號。這些視覺符號引導(dǎo)玩家去做出不同力度、不同幅度、不同速度的交互行為。從觸覺的反饋上來加深對每首游戲音樂的聽覺感受。

圖3 《Maimai》中的多種觸屏交互模式展示

閔圣策等作者在研究音樂可視化的視聽互通方法中指出，音樂視覺化運(yùn)用終將以如何用視覺凸顯音樂表達(dá)作為根本目的，設(shè)計(jì)師們需要回歸到音樂，感悟音樂，理解音樂的節(jié)奏、旋律等各要素細(xì)節(jié)與相關(guān)聯(lián)系。[8]作者王暄結(jié)合視覺化通感的轉(zhuǎn)譯與符號學(xué)觀念指出，將聽覺進(jìn)行通感化的視覺轉(zhuǎn)譯，能夠?qū)⒁资诺穆犛X信息運(yùn)用可連續(xù)感知的視覺信息進(jìn)行增強(qiáng)式呈現(xiàn)，用具象的圖形、顏色、材質(zhì)、造型、光照等視覺元素符號進(jìn)行對抽象化的音樂之視覺創(chuàng)意表現(xiàn)，刺激受眾對聽覺的感知與理解。[9]

從上述案例與作者觀點(diǎn)中可總結(jié)得出，音樂游戲中聲音可視化元素的設(shè)計(jì)運(yùn)用會加強(qiáng)場景中的視覺、聽覺、交互之間的聯(lián)系。在游戲規(guī)則與機(jī)制的引導(dǎo)下，圖形符號跟隨音樂產(chǎn)生，引導(dǎo)玩家執(zhí)行與這些圖形符號之間的交互行為，從而在其中建立了交互觸覺、符號視覺與音樂聽覺的合而為一，為玩家塑造一種圖形符號、音樂旋律、交互行為之間的互通互感(如圖4所示)。

圖4 聲音可視化元素在音樂游戲中的“通感”關(guān)系

滿足“達(dá)”的需求，不僅需要讓聲音可視化運(yùn)用在音樂游戲中帶給玩家互通互感的游戲體驗(yàn)，還需要讓音樂游戲帶給玩家舒適、愉悅、刺激的娛樂體驗(yàn)。利用“心流理論”的相關(guān)理念論述，可理解為帶給玩家一種音樂游戲活動的“最優(yōu)體驗(yàn)”。借鑒作者米哈里在《心流：最優(yōu)體驗(yàn)心理學(xué)》中對心流的定義描述，電子游戲的“心流”解釋為“令玩家主動并完全沉浸在電子游戲的體驗(yàn)之中，不受游戲外一切事物的干擾。玩家愿意在其中投入時(shí)間和精力甚至其他成本，來尋求電子游戲帶來的愉悅體驗(yàn)”。

尋求提升音樂游戲的心流體驗(yàn)，其核心在于能否控制好“游戲難度”。大多數(shù)玩家自我主觀認(rèn)定的可接受難度與實(shí)際的游戲難度較為接近時(shí)，容易引發(fā)更加積極的心流體驗(yàn)。在音樂游戲中，為玩家設(shè)置好合理的難度，能夠令玩家保持對游戲的專注力、感知游戲難度帶來的挑戰(zhàn)、促使其產(chǎn)生內(nèi)在動力去完成對力所能及的游戲挑戰(zhàn)。[10]音樂游戲中的聲音可視化元素可以成為干擾或引導(dǎo)玩家達(dá)成游戲目標(biāo)、促使集中或刻意分散玩家的游戲操作注意力、考驗(yàn)玩家對游戲技巧的運(yùn)用等關(guān)鍵因素，從而間接影響到玩家對音樂游戲的難易程度的主觀評價(jià)，影響到其接下來的游戲體驗(yàn)心理。

獨(dú)立游戲平臺Indienova曾提出劃分電子游戲中對玩家的兩種交互玩法，即“積極玩法”與“消極玩法”。在一款音樂游戲中，“積極玩法”是指玩家根據(jù)音樂與其可視化元素的提示，主動執(zhí)行需要跟隨提示進(jìn)行某些交互操作，不斷重復(fù)這些操作從而逐漸達(dá)成游戲通關(guān)的條件；“消極玩法”與之相反，是根據(jù)音樂或音效轉(zhuǎn)化的可視化元素提示，玩家需要“回避”某些交互操作，從而避免招致游戲通關(guān)失敗等一些負(fù)面結(jié)果。在一些音樂電子游戲中，聲音可視化元素在游戲場景的布置與規(guī)則設(shè)定，會令游戲的交互機(jī)制呈現(xiàn)“積極玩法”與“消極玩法”的有機(jī)結(jié)合，有助于滿足音樂游戲玩家的“游戲最優(yōu)體驗(yàn)”。

例如在《Geometry Dash》中，玩家需要快速識別場景中的跳環(huán)、彈簧、反重力觸發(fā)器等可交互可視化元素，依靠玩家的反應(yīng)能力與判斷力，判斷并執(zhí)行與這些元素的交互行為，從而讓角色躲避障礙(消極玩法)，并嘗試收集場景中的金幣(積極玩法)以解鎖交互元素更豐富且通關(guān)難度更大的關(guān)卡。令《Geometry Dash》玩家在通關(guān)過程中感到困難的因素在于游戲規(guī)則，游戲關(guān)卡場景中不設(shè)置存檔點(diǎn)(Checkpoint)。這意味著玩家需要一氣呵成地通關(guān)，任何一次誤操作導(dǎo)致的失敗都會導(dǎo)致功虧一簣，只能回到關(guān)卡的起始點(diǎn)進(jìn)行新的嘗試。如今該游戲添加了關(guān)卡編輯器，并面向廣大游戲玩家開放，不少音樂玩家們選取并搭配電子音樂，對關(guān)卡場景中交互元素、障礙物等可視化元素進(jìn)行布置與搭配，創(chuàng)作出比官方游戲關(guān)卡更加復(fù)雜、容錯率更低、交互頻率更加繁瑣的高難度自定義關(guān)卡。國內(nèi)彈幕視頻網(wǎng)站Bilibili曾于2017年10月3日開始收錄《Geometry Dash》全球最難關(guān)卡排行，并展示通關(guān)完整流程。據(jù)該視頻統(tǒng)計(jì)，目前其排行第一的關(guān)卡“Tartarus”已被某玩家通過累計(jì)205，179次嘗試完成首次通關(guān)。單一關(guān)卡超過20萬次的挑戰(zhàn)嘗試，可見該游戲中可視化元素對游戲難度提升的顯著影響，也體現(xiàn)出該游戲關(guān)卡中的聲音可視化的搭配設(shè)計(jì)，對資深音樂游戲玩家?guī)淼挠螒蛐牧黧w驗(yàn)帶來的顯著影響。

不論是新手玩家還是資深玩家，接觸一款新的音樂游戲均需要花費(fèi)一段時(shí)間進(jìn)行適應(yīng)。在不斷嘗試游戲通關(guān)的過程中，玩家逐漸掌握游戲通關(guān)技巧，并運(yùn)用技巧挑戰(zhàn)更高難度。難度的設(shè)置對于不同能力的玩家而言，達(dá)到最優(yōu)的游戲體驗(yàn)需求也存在差異。難度過低容易感到無趣與乏味，但對于剛接觸音樂游戲的玩家而言，這樣的難度有助于玩家快速上手；難度過高容易帶來挫敗感與疲勞感，但是資深音樂游戲玩家往往對其挑戰(zhàn)樂此不疲，并期待著最終完成高難度游戲挑戰(zhàn)瞬間帶來的榮譽(yù)感與滿足感。因此，聲音可視化內(nèi)容的生成、展示與交互模式設(shè)計(jì)，需要充分考慮配合音樂游戲的難度設(shè)置，預(yù)測玩家體驗(yàn)的疲勞程度，從而更加合理地考驗(yàn)著音樂游戲玩家的鑒別力、操作力、注意力與反應(yīng)力。

3.3 藝術(shù)審美的情感共鳴——“雅”

聲音可視化的運(yùn)用如何在“信”與“達(dá)”的基礎(chǔ)上，為音樂游戲增添“雅”的韻味，這是設(shè)計(jì)師們將面對的又一關(guān)鍵問題?！把拧弊⒅氐氖俏恼路g要講究文采與韻味。引申到音樂游戲中，“雅”所注重的是音樂游戲中的美術(shù)設(shè)計(jì)風(fēng)格、游戲情感體驗(yàn)、交互創(chuàng)意創(chuàng)新等。如果將聲音可視化在音樂游戲中的“達(dá)”之理念比喻為一次身臨其境、帶來快感與刺激的交互節(jié)奏派對，那么“雅”更是追求呈現(xiàn)一場感悟音樂游戲主題內(nèi)涵、蘊(yùn)含音樂視聽藝術(shù)審美、引發(fā)音樂欣賞與情感共鳴的視聽盛宴。

探討音樂游戲中聲音可視化運(yùn)用設(shè)計(jì)之“雅”，主要分以下三方面：

第一，探尋音樂游戲的主題內(nèi)容表達(dá)。音樂游戲結(jié)合了音樂表演與電子游戲的特征，這樣的結(jié)合將原有的游戲背景音樂轉(zhuǎn)化為塑造音樂游戲的主題核心，也促使誕生了可交互的音樂藝術(shù)表演新形態(tài)。玩家既是這場“音樂表演”的“主角”，也是“觀眾”，完成這場“音樂表演”的演出需要設(shè)計(jì)師與玩家跨越時(shí)空的共同努力。作者陳瑤指出，音樂情感表達(dá)是音樂藝術(shù)表演的核心，需要設(shè)計(jì)師與表演者不斷鉆研音樂本身傳達(dá)的情感，有助于任何形式的音樂藝術(shù)作品情感與欣賞其中的“觀眾”產(chǎn)生共鳴，抒發(fā)音樂主題帶來的情感。[11]聲音可視化元素除了通過配合玩家的交互行為來呈現(xiàn)高潮迭起的音樂節(jié)奏感，游戲場景中的非交互視覺風(fēng)格與音樂的情感抒發(fā)也需要與其做到珠聯(lián)璧合。《Sayonara Wild Hearts》將復(fù)雜多變的游戲交互機(jī)制進(jìn)行組合，游戲設(shè)計(jì)師與玩家之間依靠這款具有街機(jī)感的音樂游戲建立共情，進(jìn)行主題呈現(xiàn)與情感共鳴。該游戲設(shè)計(jì)師介紹，游戲想要表達(dá)的主題是“專輯”，在其的表現(xiàn)手法上發(fā)揮新靈感，一連串按鍵的音效伴隨色彩、形狀、光影等視覺畫面的連續(xù)沖擊，讓游戲場景中瞬息萬變、簡約的聲音可視化元素與狂熱的音樂主題緊密結(jié)合，呈現(xiàn)“專輯”的主題魅力。

第二，探尋音樂藝術(shù)風(fēng)格的可視化呈現(xiàn)。一款音樂游戲會包含諸多音樂曲目，這些曲目之間傳達(dá)的藝術(shù)風(fēng)格會因其演奏形式、流派、樂器等而各有差異。音樂本身的審美體驗(yàn)可以意會，但是本身無法利用我們的視覺將藝術(shù)風(fēng)格可見且可形。在音樂游戲中運(yùn)用聲音可視化，對這些隱藏在音樂中的藝術(shù)風(fēng)格實(shí)體化、形象化、意境化。在音樂游戲場景中，聲音可視化元素與游戲音樂形成了聲畫并行、聲畫疊加、聲畫相悖之組合。將聲畫蒙太奇表現(xiàn)手法運(yùn)用在聲音可視化元素與音樂游戲場景、背景音樂的交相輝映之中，提升對音樂游戲整體藝術(shù)風(fēng)格的抒發(fā)與傳達(dá)。[12]以網(wǎng)頁式Flash音樂游戲《Line Rider》為例，玩家使用畫筆(鼠標(biāo))隨意畫出線條成為滑道，再點(diǎn)擊播放鍵后游戲角色會坐著雪橇滑行，搭配玩家導(dǎo)入音樂，并結(jié)合音樂節(jié)奏旋律、音階、和聲等聽覺屬性，將音樂的五線譜塑造成雪橇的滑道建立聯(lián)系，從而通過線條把音階的起伏變化具象化，在結(jié)合了音樂風(fēng)格的同時(shí)契合了音樂視覺元素的運(yùn)用，并與游戲化形成了有機(jī)結(jié)合，生動形象地為玩家呈現(xiàn)樂譜上的音樂游戲體驗(yàn)。

第三，探尋相關(guān)技術(shù)迭代對聲音可視化在音樂游戲中的表現(xiàn)多樣性?？萍驾o助聲音可視化技術(shù)的迭代發(fā)展，讓可視化元素在音樂游戲中變得更加多姿多彩。體感，XR擴(kuò)展現(xiàn)實(shí)，人工智能等能夠?yàn)楦巳雱俚囊魳酚螒蚵曇艨梢暬Ч宫F(xiàn)提供了支持，也為音樂的情感體驗(yàn)帶來的主觀特征提取與模式化運(yùn)用帶來可能。[13]諸如《Beat Saber》、《Spin Rhythm XD》等運(yùn)用體感交互、虛擬現(xiàn)實(shí)等技術(shù)的音樂游戲發(fā)展將會在這些技術(shù)的迭代與支持下拓寬發(fā)展的空間，與其搭配的聲音可視化技術(shù)的迭代也會更加完善，令音樂游戲的發(fā)展形勢與潛力不斷增強(qiáng)。設(shè)計(jì)師們結(jié)合藝術(shù)靈感創(chuàng)意與不斷迭代的未來聲音可視化技術(shù)運(yùn)用，將更加雅致的表達(dá)形式呈現(xiàn)在未來的音樂游戲中。在《Just Dance》中，很多音樂舞蹈曲目關(guān)卡參考了原曲目創(chuàng)作的MV等媒體作品，在游戲運(yùn)行過程中都會搭配與音樂主題、藝術(shù)風(fēng)格契合的視覺場景元素，通過聲音可視化元素與玩家舞蹈動作的節(jié)奏來豐富場景中音樂主題的表達(dá)。最新版本的《Just Dance2020》與Bilibili合作，將音樂曲目《彩虹節(jié)拍》的關(guān)卡游戲界面與Bilibili代言虛擬偶像“2233”結(jié)合，豐富了玩家在游玩此關(guān)卡中的音樂主題體驗(yàn)感。

3.4 “信達(dá)雅”理念總結(jié)

作為音樂游戲中的重要組成部分，聲音可視化的設(shè)計(jì)運(yùn)用追求“信、達(dá)、雅”理念的建立，旨在更好地厘清對音樂游戲的塑造要求，并準(zhǔn)確定位與滿足音樂游戲玩家群體的游戲作品之期待。這三類理念環(huán)環(huán)相扣、層層遞進(jìn)，但都不可或缺。結(jié)合對音樂游戲的機(jī)制規(guī)則、交互特征、主題內(nèi)涵、視聽審美等多方面要求，對聲音可視化的設(shè)計(jì)運(yùn)用理念提出以下觀點(diǎn)概括。

“信”，確保聲音可視化在音樂游戲中運(yùn)用的準(zhǔn)確表達(dá)與流暢展現(xiàn)。一方面，聲音可視化是游戲音樂的視覺形象代言，呈現(xiàn)給音樂游戲玩家的視覺元素要易識別、易理解，引導(dǎo)玩家掌握音樂游戲的基本游戲技巧。另一方面，善于運(yùn)用游戲引擎與聲音可視化技術(shù)為可視化元素設(shè)計(jì)提供的支持，注重可視化元素繪制細(xì)節(jié)需求與游戲運(yùn)行性能需求之間的平衡，以免干擾游戲視聽節(jié)奏與交互節(jié)奏的同步。

“達(dá)”，要塑造音樂游戲中視覺、聽覺與交互行為之間的互通互感。要準(zhǔn)確把握音樂節(jié)奏、游戲難度與可視化元素之間的相互聯(lián)系，促使熟練度各異的音樂游戲玩家在游玩中感受到心流狀態(tài)，獲得刺激愉悅的游戲體驗(yàn)。聲音可視化元素不僅伴隨著游戲中音樂節(jié)奏與玩家的交互行為，提供視、聽、觸于一體的通感體驗(yàn)，還會影響游戲整體難度，滿足資深玩家對更高難度的音樂游戲體驗(yàn)需求。

“雅”，聲音可視化的運(yùn)用需要為音樂游戲升華主題內(nèi)涵、塑造藝術(shù)表達(dá)、帶來富有美感的游戲體驗(yàn)。各類高新技術(shù)的支持助力了聲音可視化技術(shù)的迭代發(fā)展，從而讓聲音可視化為音樂游戲提供更深層、更廣泛、更友好的技術(shù)服務(wù)支持。音樂游戲是一種技術(shù)支撐與藝術(shù)表達(dá)與情感體驗(yàn)的融合體，又是一種新形式的音樂藝術(shù)表演。處理并運(yùn)用好聲音可視化技術(shù)支持和游戲化音樂表演的藝術(shù)表現(xiàn)的“供需關(guān)系”，滿足玩家對音樂游戲的審美體驗(yàn)需求，激發(fā)音樂游戲?yàn)橥婕規(guī)淼膶徝狼楦泄缠Q。

4 結(jié)語

“行之力則知愈進(jìn)，知之深則行愈達(dá)”。國內(nèi)的聲音可視化在音樂游戲中的創(chuàng)作理論需要被不斷深入實(shí)踐，也需要在深入實(shí)踐中不斷積累并精進(jìn)其配套的設(shè)計(jì)理論。我國的音樂電子游戲創(chuàng)作任重道遠(yuǎn)，在需要進(jìn)一步認(rèn)真學(xué)習(xí)國外優(yōu)秀的音樂電子游戲的創(chuàng)作理念的同時(shí)，也要避免趨之若鶩，堅(jiān)定以具有中國特色的傳統(tǒng)音樂、電子音樂、數(shù)字音樂藝術(shù)發(fā)展為挖掘點(diǎn)，以中國音樂游戲玩家的體驗(yàn)需求為創(chuàng)作理念根基的音樂游戲設(shè)計(jì)進(jìn)行探索與實(shí)踐。聲音可視化技術(shù)的日益成熟與不斷迭代，能夠?yàn)檎蔑@中國特色音樂文化意蘊(yùn)的音樂電子游戲創(chuàng)作提供有力支撐。

希望本文提供的觀點(diǎn)能夠?yàn)橐魳酚螒蚺c聲音可視化的相關(guān)設(shè)計(jì)師們提供一些思路借鑒，并以此期待未來更多兼具“信達(dá)雅”、符合音樂游戲設(shè)計(jì)普遍規(guī)律、堅(jiān)定塑造音樂游戲中的中國音樂審美定位與傳達(dá)、令大眾音樂玩家們期待的國產(chǎn)音樂游戲精品的問世。