文字_薛蕙心

在音樂創(chuàng)作領(lǐng)域，人工智能的加持在技法、效果與理念等方面都為作曲家提供了更多的可能性?！耙羯边@一音樂作品中較為復(fù)雜的參數(shù)，在人工智能技術(shù)的輔助下得以在一定程度上被分析與復(fù)現(xiàn)。德國作曲家亞歷山大·舒伯特（Alexander Schubert）在2020至2021年創(chuàng)作的《合流》（Convergence），正是一部為弦樂合奏與人工智能而作的作品。該作品采用了自編碼器（Auto Encoder）的音色合成技術(shù)，產(chǎn)生了獨(dú)特的音色效果。作曲家通過這一技術(shù)，表達(dá)了人與人工智能之間在某種程度上的“合流”。

基于人工智能的音色合成技術(shù)

人工智能技術(shù)參與音樂創(chuàng)作并不是近幾年才出現(xiàn)的，相關(guān)研究與實(shí)踐表明，這項(xiàng)技術(shù)很多年前就已開始應(yīng)用在音樂創(chuàng)作中。聚焦當(dāng)下，人工智能參與音樂創(chuàng)作的主要原理是運(yùn)用遺傳算法、神經(jīng)網(wǎng)絡(luò)、馬爾科夫鏈和混合型算法等，將音樂作品中一些能夠總結(jié)、量化出的規(guī)律“投喂”給計(jì)算機(jī)，給計(jì)算機(jī)制定規(guī)則并建立包含海量“學(xué)習(xí)素材”的數(shù)據(jù)庫，計(jì)算機(jī)會(huì)進(jìn)一步分析素材的各項(xiàng)特征信息，在此基礎(chǔ)上生成新的音樂。在這個(gè)過程中，研究者們嘗試使用計(jì)算機(jī)從多種維度分析、模仿、學(xué)習(xí)構(gòu)成作品的音樂元素，如音高、節(jié)奏、結(jié)構(gòu)等，以此參與音樂創(chuàng)作。

相比其他音樂元素，計(jì)算機(jī)對(duì)音色的分析與復(fù)現(xiàn)更為困難。探究單個(gè)音符的音色往往需要依賴其他參數(shù)特征，例如音量、時(shí)間甚至是演奏法等。基于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network）的方法能夠?qū)⒁患菲鞯囊羯D(zhuǎn)化并映射到另一件樂器，但它本身不夠靈活，無法對(duì)音色進(jìn)行建模。為了實(shí)現(xiàn)可控的音色建模，我們需要使用基于自編碼器的神經(jīng)網(wǎng)絡(luò)?；谧跃幋a器模型的神經(jīng)合成器（Neural Synthesizer）是著名的神經(jīng)音頻合成（Neural Audio Synthesis）模型，它可以使用隱空間的插值（interpolation）來對(duì)音色進(jìn)行建模，將多個(gè)聲音輸入編碼器，將輸出結(jié)果按一定比例混合后給到解碼器，即可合成新的聲音。

圖一 自編碼器原理圖示

眾所周知，目前人工智能視域中比較常用的幾種音色合成技術(shù)均為“編碼——解碼”的結(jié)構(gòu)。相比傳統(tǒng)模型，“編碼——解碼”結(jié)構(gòu)的靈活性體現(xiàn)在其能夠直接選擇合成哪幾種聲音，并控制其合成比例。如作曲家想要實(shí)現(xiàn)A音色到B音色的轉(zhuǎn)換，只需要使用A音色的編碼器和B音色的解碼器即可完成，而其他一些音色合成技術(shù)都需要選定好A與B音色的種類，再訓(xùn)練A到B音色合成的模型才能夠?qū)崿F(xiàn)。如果想更進(jìn)一步，實(shí)現(xiàn)A、B、C三種音色的互相轉(zhuǎn)換，“編碼——解碼”結(jié)構(gòu)同樣只需要訓(xùn)練三個(gè)模型，再將它們按需組合即可，其他技術(shù)則通常需要訓(xùn)練六種模型，即AB、AC、BA、BC、CA、CB。因此“編碼——解碼”結(jié)構(gòu)能夠更靈活地控制和影響輸出的結(jié)果，從而解決音色合成中“是否可控”這一問題。

自編碼器是一類在半監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)中使用的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks），其功能是通過將輸入信息作為學(xué)習(xí)目標(biāo)，對(duì)輸入信息進(jìn)行表征學(xué)習(xí)（representation learning）。它是深度學(xué)習(xí)中的一種常用的生成算法，常被運(yùn)用于計(jì)算機(jī)視覺與自然語言處理任務(wù)中，例如圖像去噪、圖像恢復(fù)、圖像生成、降維和文本生成等。

圖一展示的便是自編碼器的工作原理。編碼器（Encoder）首先將原始數(shù)據(jù)映射到較低維度空間中，神經(jīng)元逐漸減少的過程是其中的關(guān)鍵。從圖中我們可以看到，隱空間（Latent Space）是編碼器運(yùn)算的結(jié)果，是對(duì)輸入數(shù)據(jù)的特征提取，以低維數(shù)據(jù)來代表輸入的數(shù)據(jù)。例如訓(xùn)練人聲的自編碼器，編碼器并不需要額外的音色信息來表示人聲的數(shù)據(jù)，便可直接將原始的人聲數(shù)據(jù)（波形或語譜圖）映射為一個(gè)低維數(shù)組，從而表示原始的人聲數(shù)據(jù)。而解碼器（Decoder）是對(duì)編碼過程的反轉(zhuǎn)，使用較低維度數(shù)據(jù)去創(chuàng)造較高維度數(shù)據(jù)，由此得到最終的輸出數(shù)據(jù)，例如訓(xùn)練人聲的自編碼器時(shí)，解碼器會(huì)盡可能去還原原始的人聲數(shù)據(jù)來優(yōu)化其自身。

自編碼器的優(yōu)勢在于其能夠從數(shù)據(jù)樣本中進(jìn)行無監(jiān)督學(xué)習(xí)，算法能夠直接從原始數(shù)據(jù)中捕捉到最顯著的特征。就好像是給一個(gè)人看一張貓的圖片，然后要求他在一段時(shí)間后畫出那只貓，通常他會(huì)畫出貓的兩只眼睛、三角形的耳朵和長長的胡須，這就是所謂提取到的最“顯著”的特征。

亞歷山大·舒伯特的《合流》

德國作曲家亞歷山大·舒伯特出生于1979年，在漢堡音樂戲劇大學(xué)獲得多媒體作曲博士學(xué)位，任教于漢堡音樂學(xué)院，其作品曾在維也納現(xiàn)代音樂節(jié)中演出。

他的作品以實(shí)驗(yàn)性音樂為主，因在作品中巧妙使用技術(shù)手段展現(xiàn)出了超前、先鋒的藝術(shù)理念而受到關(guān)注。他常在作品中使用多媒體、傳感器、交互、人工智能等技術(shù)手段，并將爵士音樂、電子音樂等風(fēng)格融入其中，如為小提琴、傳感器、現(xiàn)場電子設(shè)備和現(xiàn)場視頻而作的《首選武器》（Weapon of Choice），為配備傳感器的合奏和現(xiàn)場電子設(shè)備而作的《嚴(yán)肅微笑》（Serious Smile）和裝置藝術(shù)《圓滿輪回》（A Perfect Circle）等，其對(duì)技術(shù)的大膽使用和獨(dú)特的藝術(shù)效果給人留下了深刻的印象。

近幾年，許多音樂創(chuàng)作者都試圖將人工智能融入自己的作品，亞歷山大·舒伯特也不例外?！逗狭鳌肥且徊砍晒Φ貙⑷斯ぶ悄軕?yīng)用在音樂創(chuàng)作中的作品，其中具有典型性的基于自編碼器的音色合成技術(shù)尤其具有分析與研究的價(jià)值。

亞歷山大·舒伯特在作品簡介中寫道：《合流》使用了人工智能的概念來學(xué)習(xí)人類音樂家的特征，根據(jù)演奏錄音來重建新的實(shí)體。在這部作品中，演奏家與人工智能生成的對(duì)應(yīng)部分進(jìn)行交互，他們看到自己的轉(zhuǎn)換與重塑。從隱喻的角度，作品展示了一個(gè)被構(gòu)造和參數(shù)化的世界。機(jī)器感知和人類世界感知之間的摩擦是解決自我流動(dòng)性和感知限制問題的起點(diǎn)。

《合流》中基于自編碼器的音色合成技術(shù)實(shí)現(xiàn)過程

在創(chuàng)作這部作品之前，作曲家的構(gòu)想是探索、創(chuàng)造新的聲音與視覺形態(tài)，演奏者能在作品中和使用人工智能技術(shù)創(chuàng)建出的實(shí)體相遇、互動(dòng)、協(xié)同演出，并在作品中展現(xiàn)出人工智能技術(shù)捕捉的過程。

在聆聽作品時(shí)，我們能夠發(fā)現(xiàn)許多新奇聲音的存在，例如尖叫的小提琴、像樂器一樣夸張的人聲以及一些“像樂器又好像不是樂器”的聲音。作曲家將許多弦樂與人聲的聲音片段，包括弦樂的演奏法、歌聲、說話聲和尖叫聲等輸入到計(jì)算機(jī)中，讓其進(jìn)行學(xué)習(xí)，由此訓(xùn)練出多個(gè)弦樂與人聲的“聲音模型”。在此學(xué)習(xí)過程中，編碼器會(huì)分析出每個(gè)聲音片段中最獨(dú)特且區(qū)別于其他聲音的代表性特征。除此之外，聲音的“共性特征”也會(huì)被整個(gè)自編碼器學(xué)習(xí)并記錄。

圖二 “人聲尖叫聲”音頻語譜圖

圖三 “小提琴演奏聲”音頻語譜圖

圖四 “人聲尖叫聲”與“小提琴演奏聲”音色合成后的音頻語譜圖

圖五 創(chuàng)作團(tuán)隊(duì)為《合流》研發(fā)的音色合成工具

在《合流》這部作品的創(chuàng)作過程中，自編碼器模型主要做了兩件事：音色復(fù)現(xiàn)與音色遷移，可統(tǒng)稱為音色合成。音色復(fù)現(xiàn)為分析學(xué)習(xí)聲音特征，訓(xùn)練自編碼器模型還原聲音。在復(fù)現(xiàn)過程中，模型會(huì)一遍遍地比較復(fù)現(xiàn)結(jié)果與原始音頻，以此進(jìn)行優(yōu)化，作品中聽到的一些“像樂器又好像不是樂器”的聲音大多就是音色復(fù)現(xiàn)的結(jié)果。而音色遷移的實(shí)現(xiàn)則更依賴于作曲家的音頻庫。若原素材為一個(gè)“人聲尖叫聲”與一個(gè)“小提琴演奏聲”，那么人聲的編碼器模型將提取該聲音的個(gè)性特征，并將此數(shù)據(jù)存于隱空間中，然后再輸入給小提琴模型的解碼器。由此生成的聲音，聽感上便像是“尖叫的小提琴”。

從圖二、圖三、圖四這幾張音頻語譜圖中可以發(fā)現(xiàn)，合成后音頻的中高頻能量比人聲音頻更加飽滿，且具有不同的泛音特征。這些參數(shù)變化，一方面與合成后的聲音音色具有小提琴特征有關(guān)，另一方面也與模型特征有關(guān)。

為了方便音色合成的實(shí)現(xiàn)，創(chuàng)作團(tuán)隊(duì)研發(fā)了一個(gè)音色合成工具，操作界面如圖五所示。在此過程中，團(tuán)隊(duì)對(duì)自編碼器特定模型進(jìn)行訓(xùn)練，模型包含錄制的大量不同演奏技巧的聲音數(shù)據(jù)，然后通過上述計(jì)算機(jī)訓(xùn)練過程對(duì)代表這些演奏技巧的模型進(jìn)行訓(xùn)練。在基于訓(xùn)練的模型界面中，“audio loader”部分顯示加載的聲音，“l(fā)atent series”部分表示在隱空間中對(duì)聲音進(jìn)行編碼。接下來，想要用何種聲音來展示這段加載聲音的個(gè)性特征，只需將其放入該聲音模型中即可。

“人工智能”在《合流》中的藝術(shù)化呈現(xiàn)

《合流》時(shí)長為三十四分二十五秒，其中的元素包括弦樂演奏者的現(xiàn)場演奏和表演，以及計(jì)算機(jī)處理后的聲音與視覺等。

圖六 演奏者面對(duì)攝像機(jī)，向計(jì)算機(jī)輸入“小提琴演奏”的聽覺與視覺信息

作品結(jié)構(gòu)大致可分為三個(gè)部分（存在過渡與交錯(cuò)的部分）。開頭至第十二分鐘左右為第一部分，由計(jì)算機(jī)播放指令，演奏者根據(jù)指令完成相應(yīng)行為，向計(jì)算機(jī)輸入數(shù)據(jù)；第十二分鐘左右至第二十分鐘左右為第二部分，多角色進(jìn)行相遇、對(duì)話與碰撞，包括現(xiàn)場演奏與人工智能生成的聲音之間、人類音樂家與計(jì)算機(jī)之間等，作品中的元素明顯增多；第二十分鐘左右至結(jié)尾為作品第三部分，這一部分蘊(yùn)含了作曲家對(duì)人類、人工智能、世界、宇宙等問題的思考。

我們都知道，人工智能深度學(xué)習(xí)需要收集大量的數(shù)據(jù)，這是一個(gè)枯燥的過程，而《合流》的獨(dú)特之處便在于將此過程搬上了舞臺(tái)，使之成為最終呈現(xiàn)的一部分。在作品第一部分，由預(yù)置的一個(gè)機(jī)械化的女聲發(fā)出“下弓”“上弓”“重復(fù)”“放慢”“加快”等指令，演奏者面對(duì)攝像機(jī)根據(jù)指令完成演奏。如圖六所示，畫面以攝像機(jī)的視角呈現(xiàn)，畫面下方顯示其演奏聲音的各個(gè)參數(shù)。

在此過程中，演奏者仿佛進(jìn)入了近似恍惚、冥想的狀態(tài)，所有演奏均聽從指令執(zhí)行，純粹地面對(duì)計(jì)算機(jī)展示自己，并接受著計(jì)算機(jī)的掃描和讀取。這一過程像是演奏者與計(jì)算機(jī)之間的一種互動(dòng)：計(jì)算機(jī)通過這些指令向演奏者發(fā)出請(qǐng)求，而演奏者也在指導(dǎo)計(jì)算機(jī)進(jìn)一步了解我們。

這個(gè)過程讓我想起，當(dāng)我們剛剛開始學(xué)習(xí)演奏一件樂器時(shí)，老師會(huì)手把手教我們?nèi)绾稳パ葑啵纭跋鹿薄吧瞎狈謩e是什么，應(yīng)當(dāng)如何操作。我們?cè)趯W(xué)習(xí)過程中會(huì)根據(jù)自己的理解和認(rèn)知，聽、看、模仿，從而領(lǐng)悟并“內(nèi)化”其中的要領(lǐng)。老師與我們的這種關(guān)系，現(xiàn)在似乎被放到了演奏家與計(jì)算機(jī)之間。但此刻，演奏家與計(jì)算機(jī)之間究竟是誰在向誰學(xué)習(xí)，答案似乎不是確定的。正如作曲家所說，計(jì)算機(jī)正在觀察我們，而我們也在試圖去理解計(jì)算機(jī)是如何觀察我們的，如何在其內(nèi)部用數(shù)據(jù)分析、表示音樂，并在一遍遍學(xué)習(xí)中不斷優(yōu)化與比較。計(jì)算機(jī)似乎擁有與人類相似的思維方式，包含“輸入”“分析”“映射”這些過程，每一步都十分重要且必不可少。

作品中許多以“計(jì)算機(jī)視角”發(fā)出的聲音都使用了人聲的音色，包括第一部分與第三部分計(jì)算機(jī)的指令與提問，以及出現(xiàn)于第二部分的許多合成聲音的音色。個(gè)人認(rèn)為從藝術(shù)處理的角度來講：一是作曲家對(duì)計(jì)算機(jī)的一種擬人化的藝術(shù)處理，以突出計(jì)算機(jī)在作品中的“角色感”；二是用音樂暗示計(jì)算機(jī)與人類思維方式的相似性，計(jì)算機(jī)也在觀察人類，學(xué)習(xí)、模仿人類的行為，模仿人類音樂家的演奏。

《合流》十分三十秒處的畫面

在作品的第三部分，出現(xiàn)了許多包含作曲家思考的句子，如“這究竟是一個(gè)夢境，還是一種清晰的感知？……所有感知都是經(jīng)過重建的，沒有哪種呈現(xiàn)是絕對(duì)化的……我們是參數(shù)化的，所有參數(shù)都可以被替代……我在一個(gè)永恒的循環(huán)中對(duì)自己進(jìn)行編碼與解碼，放大所有的特征……”預(yù)置音頻以計(jì)算機(jī)的身份播放出這些句子。

關(guān)于人類對(duì)事物的感知問題，大量心理學(xué)與神經(jīng)科學(xué)研究顯示，人類對(duì)自我的感知模式也是一個(gè)參數(shù)化的模型。人類思考的過程往往發(fā)生在潛意識(shí)情況中，對(duì)一些現(xiàn)象、概念或身份的認(rèn)知常常過于絕對(duì)化。而通過人工智能重建的模型是具有可塑性的，例如自編碼器的表達(dá)可以被人為調(diào)整，可以編輯與轉(zhuǎn)換，使之發(fā)生變化。從這個(gè)意義上來說，人工智能系統(tǒng)實(shí)現(xiàn)了這種可塑性：不同的人、角色特征、評(píng)價(jià)或性別等，代表其特征的參數(shù)可以從社會(huì)、臨床或生物等許多角度進(jìn)行改變。人工智能系統(tǒng)用于實(shí)現(xiàn)這種改變，告訴人們對(duì)事物的認(rèn)識(shí)不應(yīng)當(dāng)是絕對(duì)化的。

人工智能就像一面鏡子，反映了人類感知事物的一部分過程與特征，鏡子里所發(fā)生的與人類構(gòu)建認(rèn)知的過程相平行。因此從某種意義上講，對(duì)人工智能及自編碼器程序的應(yīng)用可以讓我們從一個(gè)新的角度去認(rèn)識(shí)世界、認(rèn)識(shí)自己。而這種思維方式或是觀點(diǎn)，究竟是人類引領(lǐng)的，還是計(jì)算機(jī)驅(qū)動(dòng)的？這部作品中存在的對(duì)這些問題的思考與隱喻，是對(duì)它們的一種開放式的展現(xiàn)，作曲家并沒有在作品中給出絕對(duì)的答案。

關(guān)于《合流》這部作品，亞歷山大·舒伯特在聲音層面的創(chuàng)意為“音色合成”，基于自編碼器的音色合成技術(shù)較為靈活而可控，以此來實(shí)現(xiàn)作品中獨(dú)特而創(chuàng)新的聲音效果；在呈現(xiàn)上，他將人工智能技術(shù)的實(shí)現(xiàn)過程搬上了舞臺(tái)，讓聽眾清晰地了解到數(shù)據(jù)是如何進(jìn)行輸入，計(jì)算機(jī)是如何分析學(xué)習(xí)的；在理念層面，作曲家表達(dá)了人與人工智能之間在“感知”與表現(xiàn)力等方面的“合流”。

這部作品是在智能化環(huán)境下對(duì)人類本身具有的感知力和表現(xiàn)力的一種形式化展示，在此過程中引發(fā)觀眾對(duì)人類學(xué)習(xí)與感知事物過程的聯(lián)想、對(duì)自我的思考、對(duì)人類以及人類外部世界在存在、意識(shí)、生命、身份等方面的新的理解。在人工智能越來越多地對(duì)音樂創(chuàng)作產(chǎn)生影響的今天，我們除了需要關(guān)注技術(shù)本身外，也應(yīng)當(dāng)對(duì)音樂人工智能的美學(xué)以及哲學(xué)、倫理方面的問題進(jìn)行跟進(jìn)。

科技的發(fā)展會(huì)對(duì)音樂的創(chuàng)作、呈現(xiàn)、接受和音樂哲學(xué)等產(chǎn)生深遠(yuǎn)的影響，人類的音樂藝術(shù)也將因人工智能的參與而更加豐富多彩。