文/潘溯源

數(shù)字媒體藝術(shù)是伴著隨計(jì)算機(jī)技術(shù)的發(fā)展而產(chǎn)生的新興藝術(shù)模式，也被稱為新媒體藝術(shù)、多媒體藝術(shù)。隨著科技的創(chuàng)新又出現(xiàn)了包括裝置藝術(shù)、交互藝術(shù)、數(shù)字游戲藝術(shù)、虛擬現(xiàn)實(shí)藝術(shù)等多種基于數(shù)字媒體的藝術(shù)形式。其中，交互藝術(shù)以其交互性為最主要特點(diǎn)，結(jié)合軟硬件設(shè)計(jì)、藝術(shù)內(nèi)容創(chuàng)作和表演形成了自己的藝術(shù)模式[1]。

交互藝術(shù)根據(jù)其藝術(shù)展示形式的區(qū)別，分為非現(xiàn)場(chǎng)交互藝術(shù)與現(xiàn)場(chǎng)交互藝術(shù)。非現(xiàn)場(chǎng)交互藝術(shù)主要指通過(guò)網(wǎng)絡(luò)與計(jì)算機(jī)或移動(dòng)終端所實(shí)現(xiàn)的信息交互藝術(shù)。此類交互藝術(shù)作品主要的交互結(jié)構(gòu)產(chǎn)生于數(shù)字信息與用戶之間的交互，因此通常不需要復(fù)雜的輔助外部設(shè)備，通過(guò)簡(jiǎn)單的鼠標(biāo)鍵盤(pán)或桌面交互完成指令即可。現(xiàn)場(chǎng)交互藝術(shù)的展示表演則需要一個(gè)固定的空間或場(chǎng)地，例如博物館、游樂(lè)場(chǎng)、舞臺(tái)等?，F(xiàn)場(chǎng)交互藝術(shù)作品相比非現(xiàn)場(chǎng)作品，可以利用更多的展示媒體與交互模式，通過(guò)輔助性外部設(shè)備完成更加多變的交互形式，以實(shí)現(xiàn)藝術(shù)的表演性和展示性。各類高精度的體感捕捉設(shè)備的普及與產(chǎn)品化，也為現(xiàn)場(chǎng)交互藝術(shù)作品的展示表演提供了更多的可能性，從固定位置動(dòng)作捕捉的Kinect、Leap Motion到可穿戴式的5DT數(shù)據(jù)手套、Myo腕帶等[2]。在擁有各類設(shè)備輔助之后，藝術(shù)家如何設(shè)計(jì)交互系統(tǒng)與表演行為，是現(xiàn)場(chǎng)交互藝術(shù)作品的成敗關(guān)鍵。本文以Myo腕帶為案例，對(duì)現(xiàn)場(chǎng)交互藝術(shù)的交互系統(tǒng)與控制行為兩方面的設(shè)計(jì)規(guī)則展開(kāi)討論。

1.矩陣信號(hào)轉(zhuǎn)換與有效控制信號(hào)選擇

交互藝術(shù)不論以何種方式進(jìn)行交互，其目的是為了實(shí)現(xiàn)對(duì)信息的控制。因此，在設(shè)計(jì)系統(tǒng)的時(shí)候首先要完成信號(hào)篩選工作，以確保在信號(hào)采集前端將無(wú)效信號(hào)源過(guò)濾并完成有效信號(hào)的分組輸出，保證信號(hào)轉(zhuǎn)換模塊能夠直接獲得相應(yīng)的有效控制信號(hào)。Myo腕帶以8個(gè)電極裝置通過(guò)探測(cè)手臂的生物電變化對(duì)使用者的肌肉運(yùn)動(dòng)與手勢(shì)進(jìn)行探測(cè)，可以感知包括手臂運(yùn)動(dòng)、手勢(shì)甚至手指動(dòng)作的信號(hào)。通過(guò)Myo Diagnostics Page[3]診斷程序提供的信息可以得知，Myo包含了IMU微慣性測(cè)量系統(tǒng)（圖1）和EMG肌電測(cè)量系統(tǒng)（圖2）兩種偵測(cè)模式。

圖1 Myo腕帶的IMU微慣性測(cè)量系統(tǒng)信號(hào)界面

圖2 Myo腕帶的EMG肌電測(cè)量系統(tǒng)信號(hào)界面

IMU微慣性傳感器由三個(gè)單軸加速度計(jì)量?jī)x和三個(gè)單軸陀螺儀組成，對(duì)使用者的運(yùn)動(dòng)進(jìn)行偵測(cè)，進(jìn)而在三維空間中展開(kāi)基礎(chǔ)定位、相對(duì)位移、方向角度和傾斜角的判斷，是如今主流運(yùn)動(dòng)偵測(cè)的模式之一，包括WII、HTC VIVE等游戲控制器大部分主流品牌的智能手機(jī)中都會(huì)置入。而在藝術(shù)表演的過(guò)程中，無(wú)論是樂(lè)器演奏、舞蹈還是戲劇表演，表演者身體必然會(huì)產(chǎn)生局部或整體的運(yùn)動(dòng)，通過(guò)在身上不同的部位放置IMU微慣性傳感器即可將表演動(dòng)作直接轉(zhuǎn)換為針對(duì)數(shù)字影像、聲音等媒體信息的控制信號(hào)，使之產(chǎn)生交互控制。

EMG肌電傳感器則用來(lái)測(cè)量肌肉收縮時(shí)伴隨的電信號(hào)，目前，醫(yī)學(xué)領(lǐng)域和軍事領(lǐng)域?qū)υ摷夹g(shù)使用較廣，在數(shù)字媒體領(lǐng)域則主要運(yùn)用于穿戴式動(dòng)作捕捉系統(tǒng)的輔助系統(tǒng)。由于EMG肌電傳感器直接針對(duì)肌肉運(yùn)動(dòng)產(chǎn)生的生物電信號(hào)進(jìn)行偵測(cè)，即使像鋼琴演奏或弦樂(lè)器揉弦這樣細(xì)微的動(dòng)作都可以通過(guò)EMG肌電傳感器準(zhǔn)確識(shí)別。相比IMU微慣性傳感器，它可以表現(xiàn)出更多內(nèi)在力量的改變。因此，在表演中即使在保持固定動(dòng)作的前提下，使用EMG肌電傳感器和肌肉舒張等細(xì)微動(dòng)作也能夠?qū)崿F(xiàn)交互控制。

在Myo腕帶上，工程師為了能夠精確地對(duì)手臂及手部動(dòng)作和肌肉運(yùn)動(dòng)進(jìn)行捕捉，設(shè)置了8塊EMG肌電傳感器環(huán)繞于整個(gè)小臂對(duì)肌肉的電信號(hào)實(shí)施偵測(cè)，以此判斷使用者手部的細(xì)微動(dòng)作。目前的腕帶可識(shí)別手掌內(nèi)翻、外翻，五指張開(kāi)，握拳和搖滾羊頭五種手型。很可惜雖然Myo腕帶開(kāi)放了部分開(kāi)發(fā)工具包，但目前由于手勢(shì)識(shí)別的運(yùn)算是在腕帶內(nèi)直接完成，所以用戶無(wú)法根據(jù)自己的喜好去添加其他控制手勢(shì)。雖然它限制了腕帶的多種可能性，但同時(shí)也確保了腕帶在運(yùn)行中的穩(wěn)定性并減小了宿主計(jì)算機(jī)的運(yùn)算壓力。

設(shè)計(jì)基于Myo的交互式系統(tǒng)時(shí)，首先要做的工作無(wú)疑是將腕帶輸入的矩陣信號(hào)轉(zhuǎn)換為獨(dú)立信號(hào)源。在MaxMSP平臺(tái)中，有兩種方式可以分解Myo腕帶發(fā)送的信號(hào):第一種方式是將Myo腕帶的信號(hào)轉(zhuǎn)換為OSC信號(hào)，然后再發(fā)送至MaxMSP平臺(tái)，利用“OSC-Route”物件分解矩陣，以獨(dú)立信號(hào)源的模式發(fā)送至各輸出端口[4]；另一種則是使用基于“Thalmic Lab”開(kāi)發(fā)包的“Myo”物件，直接接收Myo腕帶的信號(hào)并分解發(fā)送至相應(yīng)的輸出端[5]。相比之下OSC信號(hào)接口更為通用，對(duì)系統(tǒng)環(huán)境的要求也較低，對(duì)裝有Xcode的OS X系統(tǒng)都適用。而基于開(kāi)發(fā)包的獨(dú)立物件則必須使用OS X 10.11.5以上的操作系統(tǒng)，并且系統(tǒng)內(nèi)安裝XQuartz才能使用。從功能上來(lái)看，“Myo”物件能直接調(diào)取Myo腕帶的8條EMG肌電信息，相比目前版本的OSC 接口信號(hào)只能調(diào)取5種基礎(chǔ)手型而言提供了更多的備選信號(hào)源（圖3）。

圖3 Myo開(kāi)發(fā)物件與OSC信號(hào)橋接的分解信號(hào)

在現(xiàn)場(chǎng)交互藝術(shù)作品創(chuàng)作的過(guò)程中，調(diào)用、更換控制信息的情況時(shí)常出現(xiàn)，因此完成信息分解及分組的工作十分重要。只有盡可能地將可能使用到的信號(hào)從矩陣模式分解為獨(dú)立信號(hào)源，才能為后期有效控制信息的選擇提供更多的可能性，才能保證控制信息的最大精確度。

2.控制參數(shù)設(shè)置與控制行為設(shè)計(jì)

有了分解的獨(dú)立信號(hào)之后，第二步則要根據(jù)展示方式進(jìn)行數(shù)據(jù)的選擇與動(dòng)作行為的設(shè)計(jì)。交互藝術(shù)中，由于場(chǎng)地空間的不同，使用技術(shù)的不同甚至表演、展示方式的不同，其針對(duì)參與者的交互行為也會(huì)受到影響。根據(jù)Myo腕帶所裝置的傳感器與佩戴方式來(lái)看，理論上使用者可以通過(guò)身體的運(yùn)動(dòng)實(shí)現(xiàn)腕帶的全角度翻轉(zhuǎn)、移動(dòng)控制和小臂甚至手部動(dòng)作的控制。然而，現(xiàn)實(shí)操作中的要求更為復(fù)雜，選擇使用包括Myo腕帶在內(nèi)的體感交互裝置的數(shù)據(jù)和演奏弓弦類樂(lè)器時(shí)選用對(duì)應(yīng)的琴弦與把位的原則同樣重要，如果使用了錯(cuò)誤的琴弦，即使演奏出同樣的音高，音色也會(huì)受到影響。

Myo腕帶對(duì)手臂運(yùn)動(dòng)的偵測(cè)極為敏感，矩陣內(nèi)的數(shù)據(jù)組也提供了非常全面的運(yùn)動(dòng)數(shù)據(jù)。相對(duì)地，在決定使用哪一組參數(shù)作為控制參數(shù)的同時(shí)，使用何種行為進(jìn)行控制也十分重要。例如，在手臂自然下垂?fàn)顟B(tài)下僅需要旋轉(zhuǎn)90度，腕帶中的微慣性傳感器中的X軸定位信息就已經(jīng)產(chǎn)生了極大的變化，參數(shù)值從0升至0.5（閾值為-1.0～1.0），而若要在Y軸或Z軸上獲得同樣的參數(shù)變化，則需要將自然垂下的手臂橫向向外（Y軸）或向前（Z）軸伸平，動(dòng)作明顯相較改變X軸的信號(hào)大得多（圖4）。

圖4 手臂完成規(guī)定動(dòng)作前后定位器的參數(shù)變化

為了獲得同樣的參數(shù)，可以使用簡(jiǎn)單細(xì)微的小動(dòng)作，也可以使用舒展夸張的動(dòng)作，具體的動(dòng)作設(shè)計(jì)則需要根據(jù)以下兩條原則。

第一，交互行為產(chǎn)生的關(guān)聯(lián)信號(hào)干擾與有效控制信號(hào)的組合。一般意義的關(guān)聯(lián)信號(hào)指的是由函數(shù)關(guān)系產(chǎn)生的相對(duì)關(guān)系數(shù)值，而此處的關(guān)聯(lián)信號(hào)則是指由人為行為習(xí)慣導(dǎo)致相互影響的信號(hào)。人的行為不同于機(jī)器硬件，人的行為動(dòng)作大多由多個(gè)肌肉韌帶組織甚至骨骼關(guān)節(jié)共同完成，若沒(méi)有長(zhǎng)期專業(yè)的訓(xùn)練，相似動(dòng)作之間影響是不可避免的。例如，使用Myo腕帶時(shí)，舉臂時(shí)由于肌肉習(xí)慣產(chǎn)生的橫向偏移和手臂旋轉(zhuǎn)的角度，都會(huì)對(duì)微慣性探測(cè)數(shù)據(jù)產(chǎn)生直接影響。對(duì)于此類情況，一方面使用者或控制員長(zhǎng)期的練習(xí)是不可避免的；另一方面則是交互設(shè)計(jì)過(guò)程中對(duì)信號(hào)的選擇與行為動(dòng)作的合理設(shè)計(jì)，控制系統(tǒng)設(shè)計(jì)過(guò)程中應(yīng)避免此類干擾信號(hào)，例如，此處的定位信號(hào)組XYZW四組信號(hào)可以分配給不同的時(shí)間軸或獨(dú)立的控制內(nèi)容，也通過(guò)換算合為一條控制信息，通過(guò)點(diǎn)定位的方式用以觸發(fā)特定的開(kāi)關(guān)元件。

第二，交互行為的可實(shí)現(xiàn)性與有效性。人有很多種行為動(dòng)作，但并不是所有的行為都可以用于交互行為。Myo腕帶雖然設(shè)置了8個(gè)EMG肌電傳感器，但想直接通過(guò)這8個(gè)傳感器的靜電信號(hào)進(jìn)行交互行為感應(yīng)并不是最好的選擇。首先，肌電傳感器的瞬時(shí)信號(hào)變化過(guò)于敏感，即使將信號(hào)單位換算為千位信息也很難獲得一個(gè)相對(duì)穩(wěn)定的數(shù)值；其次，肌肉的張弛控制也并非易事。所以，比起EMG肌電信號(hào)的使用整租數(shù)據(jù)進(jìn)行精密控制，僅利用強(qiáng)度差進(jìn)行簡(jiǎn)單控制更容易實(shí)現(xiàn)。Myo腕帶中EMG肌電信號(hào)的使用最便捷的方法則是利用五種基礎(chǔ)手勢(shì)。Myo開(kāi)發(fā)團(tuán)隊(duì)通過(guò)大量的測(cè)試與采樣確保五種基礎(chǔ)手勢(shì)的精確識(shí)別，通過(guò)基礎(chǔ)手勢(shì)與微慣性探測(cè)儀共同生成控制數(shù)據(jù)形成的行為控制遠(yuǎn)比使用單個(gè)傳感器接收的數(shù)據(jù)更為豐富。

在現(xiàn)場(chǎng)交互藝術(shù)作品創(chuàng)作的過(guò)程中，傳感器的矩陣信號(hào)分解后會(huì)產(chǎn)生大量數(shù)據(jù)，而此過(guò)程中準(zhǔn)確地使用參數(shù)，合理的動(dòng)作行為才能提供有效的控制信息，完成有效交互。數(shù)據(jù)選擇時(shí)要注意關(guān)聯(lián)數(shù)據(jù)的分配與使用，同時(shí)根據(jù)傳感器的特點(diǎn)與信號(hào)變化模式設(shè)計(jì)展示、表演的行為動(dòng)作，通過(guò)使用不同的傳感器分配、組合使用傳感器信息，實(shí)現(xiàn)最有效的交互控制設(shè)計(jì)。

現(xiàn)場(chǎng)交互藝術(shù)作品的交互設(shè)計(jì)需要考慮空間、行為動(dòng)作以及交互裝置三大要素。體感技術(shù)使現(xiàn)場(chǎng)交互藝術(shù)更具創(chuàng)造性，其中包括Myo腕帶在內(nèi)的各類多傳感組合系統(tǒng)構(gòu)成的體感裝置提供給藝術(shù)家更多的選擇。在設(shè)計(jì)的過(guò)程中，通過(guò)矩陣信號(hào)的分解將有效信號(hào)源獨(dú)立分組，再根據(jù)作品需求設(shè)計(jì)交互行為并調(diào)制控制參數(shù)的閾值與控制目標(biāo)，實(shí)現(xiàn)交互的完整性、合理性與藝術(shù)性。

[1]李四達(dá).數(shù)字媒體藝術(shù)概論第3版[M].北京:清華大學(xué)出版社，2015.

[2]Kutz M.Eshbach’s Handbook of Engineering Fundamentals Eshbach 5th Edition[M].New Jersey: John-Wiley，2009.

[3]Myo腕帶官方信號(hào)測(cè)試頁(yè)面.http://diagnostics.myo.com/

[4]加利福利亞大學(xué)伯克利分校CNMAT Max/MSP OSC Externals.http://cnmat.berkeley.edu/

[5]Francoise J.Thalmic Labs.Myo Max/MSP Externals.https://www.julesfrancoise.com/myo/