王晨,朱世范,邱信賢
1.哈爾濱工程大學,哈爾濱 150001;2.哈爾濱工業(yè)大學,哈爾濱150001
在社會學理論中,場域理論是關于人類行為及與其關聯(lián)元素的一種描述。如果把“場域”拆開來看,其中“場”源于物理學概念,表示的是物質(zhì)存在的一種形式,幫助人們理解物質(zhì)間如何進行溝通、交流和相互作用;而“域”來自數(shù)學概念,代表了一個集合和定義在這個集合上的一系列操作。法國社會學家皮爾?!げ嫉隙蛟f:“我將一個場域定義為位置間客觀關系的網(wǎng)絡或一個形構,這些位置是經(jīng)過客觀限定的”,布迪厄認為人的每一個行為都受人所處的場域影響[1],場域并非只能針對物理環(huán)境,也包括他人的行為和與此相連的許多因素,依賴形成的共識與制定的規(guī)則進行運作。因此,對于場域這一概念,可以總結為是一種人可以發(fā)生連接和相互影響的空間存在,而這個空間既可以是實體的也可以是虛擬的。它與游戲類似,人與物在規(guī)則下發(fā)生關聯(lián),出于場景設計(設計對象和建立在對象上的一系列操作)的需要,稱這種以人的活動為核心,混合了現(xiàn)實與虛擬的空間形態(tài)為數(shù)字化場域空間。
虛擬化身是一種由人來扮演的數(shù)字化對象,在場域空間中,作為人的替身與數(shù)字化世界開展接觸。虛擬化身是一種接口,也是一種角色形象,同時又在空間中發(fā)生。因此虛擬化身的設計離不開表演與體驗、審美與感知、空間與交互。尋找涉及這些方面的虛擬替身設計要素,是進行設計實踐的關鍵。同時,當前虛擬替身規(guī)模比較大,應用場景比較多,具備了比較好的案例分析條件和價值。文中主要從互動的角度出發(fā),分析面向數(shù)字化互動環(huán)境,如何開展虛擬替身的設計工作。
自然場域包括光場、聲場、重力場、磁場等,這些被設計師利用并將其設計應用于互動空間之中。人工場域主要是感知場或感知環(huán)境,無論混合現(xiàn)實還是在虛擬現(xiàn)實都由各種傳感器組成。比如北京冬季奧運會場內(nèi)的定位器,讓冰雪特效在場地上奔跑的小舞者腳下綻放;TeamLab的《花舞森林與未來游樂園》中,地面的花朵會根據(jù)觀者的動作和前進路線進行變化。數(shù)字化場域空間是一個泛指的概念,包括混合現(xiàn)實、展陳環(huán)境和公共藝術等所有涉及虛實混合的互動場景。在比較典型的MIT 媒體實驗室《孩童之家(The Kids Room)》作品中,可以看到由多種感知器組成的人工場域里,參與游戲的人融合了多種角色身份,既是游客,也是體驗者;既是用戶,也是驅(qū)動數(shù)字對象的扮演者,或者參與故事情境的敘事者。而數(shù)字化身正是人們進入數(shù)字化場域的接口,用來引導人參與到空間中的交互事件,從而實現(xiàn)互動關系,生成場域空間。
化身不僅可以表現(xiàn)身體,還可以把對身體的意象通過數(shù)字化手段表現(xiàn)出來,是一種從知覺到意識的外顯,也是身體意象到身體圖式的轉換。策展人史蒂夫·迪茨(Steve Dietz)對新媒體藝術的3個分類:“互動性(Interactivity)”“連接性(Connectivity)”“運算性(Computability)”,三者可以以任何方式組合[2]——這個論斷也符合虛擬化身與所在的場域空間形態(tài)下的新媒體藝術特征。布迪厄認為場域也是游戲,而伽達默爾認為“游戲最突出的意義就是自我表現(xiàn)?!盵3]而虛擬化身正是這種自我表現(xiàn)的媒介途徑。
圖1 數(shù)字人類別與圖例
虛擬化身可以來自數(shù)字人(Digital humans)這一大的范疇,這個范疇還包括了虛擬人(Virtual humans),數(shù)字替身(Digital doubles),還有一種就是深度偽造(Deepfakes)。數(shù)字人是一個比較廣泛的概念,在外觀上接近真實的人類,能夠針對皮膚進行著色或有著高真實感的發(fā)質(zhì),在運動上有著精確的骨骼綁定和面部動畫。正是因為數(shù)字人在這些方面與人類有高度逼真的表現(xiàn),所以可以在視覺上拉近和用戶的心理距離,并能帶來更真實的情感交流。虛擬人是一種數(shù)字人,這2 個概念可以交替使用,但虛擬人的虛擬意思是對人物的身份而言,外表與職業(yè)都可以虛擬出來,比如虛擬主播、虛擬網(wǎng)紅、數(shù)字助理、有影響力的IP 角色等,身份是虛擬出來的,可以認為是一種有工作的數(shù)字人。而反觀數(shù)字人則是一個復雜、高端、昂貴的3D 資產(chǎn)。數(shù)字替身是一個真實人類的復制品,多是明星或名人。其目的不是創(chuàng)造一個隨機的代理,或從頭開始設計一個人,而是盡可能忠實地復制一個可識別的公眾人物的外觀和表情。從技術的實現(xiàn)上來講,數(shù)字替身一般是用三維掃描的方式來創(chuàng)建的。比如數(shù)字化的奧巴馬、紀錄片飛向月球的張騰岳,游戲高爾夫大師巡回賽中的老虎伍茲和電影特效中的演員。文中要討論的虛擬化身是在虛擬人和數(shù)字替身之間的一種類型,強調(diào)虛擬人的“角色”屬性,在外觀上可以擬人,主要是由用戶來扮演或驅(qū)動的。要在場景里與內(nèi)容互動,與他人互動,需要特定的空間與語境,因此認為虛擬化身更適合這一類虛擬角色的描述。
文中闡述的虛擬化身則多在沉浸環(huán)境、混合現(xiàn)實環(huán)境得以應用,在場域的概念下,從用戶感知層面上進行設計。根據(jù)場域特點,將從“視角性(Perspective)”“具身性(Embodiment)”“在地性”(Localization)”這3個要素(簡稱為PEL)來分析如何進行虛擬化身的設計,提升用戶參與度與體驗感。
在虛擬化身的具體設計任務中,傳統(tǒng)的設計與制作任務包括了對媒介的選擇,涉及電影、電視、綜藝、直播和互動裝置等;對外觀形象的設定涉及演員、歌手、主播和主持人等;對化身動作的采集涉及動作捕捉系統(tǒng)與體感設備等,以及對單向播報與雙向互動的設計涉及視頻與互動媒體等。目前,以傳統(tǒng)的方式設計虛擬化身缺少設計方法與設計思路。愛德華·霍爾曾指出“在不同的距離上,感官能感知的信息是不同的,這將導致人們在互動中采取不同的行為”[4]。人們與媒介存在著距離,對視頻來說,人們一般是遠觀,而互動場景則通常是近看,所以視域與行為存在著聯(lián)系,影響著用戶的行為,這一問題使設計團隊在設計中提出并采用了“視角”的概念。同時,在實時互動場景中,為了便于研究,將數(shù)字化場域空間分為全沉浸場景與半沉浸場景。
全沉浸場景,即第一視角。例如頭戴顯示器等虛擬現(xiàn)實平臺,互動設計需要考慮到用戶體驗的“臨場”感,人是用習得的身體經(jīng)驗來驅(qū)動虛擬化身以獲得“臨場”感,這樣在互動中的用戶就顯示出了“具身性”的心理特點,即用身體來建立和虛擬世界的聯(lián)系。在全沉浸場景下,虛擬化身和用戶同為一個身體,用戶與化身之間沒有距離,化身獲得的反饋等同于身體獲得的反饋。身體是直接的驅(qū)動器。
半沉浸場景,即第三視角。例如Teamlab 等混合現(xiàn)實環(huán)境互動平臺,互動設計需要考慮虛實交織的“語境”如何影響用戶感受所在現(xiàn)實空間,顯示出了某種“在地性”,即場景會賦予作品以意義。在半沉浸場景里,虛擬化身不等同于身體,身體只是驅(qū)動化身,用戶與化身之間有距離,因此作用于化身上的反饋,并不能作用于用戶的身體上。這里的虛擬化身接近于牽線木偶,用戶更像是操控,而身體是間接的驅(qū)動器。
基于此,針對全沉浸與半沉浸的數(shù)字化場域空間,提出了“視角性”“具身性”和“在地性”的設計理念,以此來完善虛擬化身的設計制作方法。
虛擬化身的功能與應用定位需要基于對視角(Perspective)的選擇,因此將虛擬化身分為兩大類:“第一人稱視角(First-person Perspective,簡稱FPP)”虛擬化身和“第三人稱視角(Third-person Perspective,簡稱TPP)”虛擬化身。在互動中,用戶以全知視角還是以限知視角看待虛擬化身在場景中的表現(xiàn)是一個關鍵的設計要素,在具身交互也有著進入“上手狀態(tài)”和“在手狀態(tài)”的區(qū)分。在全沉浸數(shù)字場域空間,第一視角增強了用戶的臨場感,虛擬化身與用戶合二為一,交互界面被隱藏起來,虛擬化身作為交互工具使身體融入數(shù)字化空間之中,就像海德格爾所言“它(工具)并不構成我的對象,而是融入了活的‘事件’之中”[5],身體更能直接與空間中的對象建立聯(lián)系,產(chǎn)生情緒的連接。人們可以從這些VR作品中進行考察:以FPP的方式——虛擬化身固定或可以進行有限移動,如VR短片《入侵(Invasion)》,《大圣歸來》等;以TPP的方式——虛擬化身可以自由移動,如VR游戲《漁夫的故事(A Fisherman's Tale)》等。
第三人稱視角是用戶以客觀視角去控制虛擬化身或觀看虛擬化身,化身在概念上接近“代理(Agent)”。用戶對TPP 下的虛擬化身來說更像是一位旁觀者,以全知的視角去看待自己和周圍環(huán)境,這種形式在游戲中很常見,玩家可以通過多種輸入方式實現(xiàn)對游戲角色的控制,可以依賴道具(如任天堂的Wii或Switch游戲機)作為控制端,獲得“間接”體感。梅洛龐蒂認為人結合成長中的視覺、聽覺、觸覺和各種感覺,在動覺與感知中建立起與世界的聯(lián)系,類似格式塔的“完形”,在身心體驗上建立起一種身體在世界上存在的方式,并將其視為“身體圖式”[6]。從視角上進行虛擬化身的設計,也是身體圖式建構的一種選擇。自我知覺理論(Self-perception Theory)認為人們從第三視角觀察自己的行為和外表進行自我知覺,推斷自己的態(tài)度、情感和內(nèi)部特征[7]。在實踐中,這些也成為很多裝置藝術家的追求——丹尼爾·羅津(Daniel Rozin)通過不同材質(zhì)塑造身體鏡像化身,以裝置和雕塑來探尋和改變觀眾的視角,觀眾變成了他們所觀賞的藝術作品的一部分,見圖3??死锼埂っ谞柨耍–hris Milk)設計的《圣域的背叛(The Treachery of Sanctuary)》將人的身影轉化為飛鳥與羽翼,觀眾通過化身感受異體幻化之美,見圖4。拉斐爾·洛扎諾-亨默(Rafael Lozano-Hemmer)的《正在掃描(Under Scan)》等作品,擅長在交互中轉換觀眾的視角,混合投影與影子,在社交網(wǎng)絡與相應的各種虛擬身份泛濫的時代,讓人對自身在虛擬化身中的自我進行反思,見圖5。
圖3 丹尼爾·羅津以不同材質(zhì)做成的身體鏡像
圖4 《圣域的背叛》
圖5 《正在掃描》
“具身”是心理學的一個研究領域,具身認知理論認為身體感受與心理意向之間有著強烈的聯(lián)系,強調(diào)身體知覺具有主動性,身體是知覺與環(huán)境互動的媒介,身體是構成對環(huán)境理解的重要組成部分[8]。可以說認知是心理的也是身體的,就如同情感是心理的也是身體的一樣[9]。而建構在具身觀上的交互則關注把人作為一個具身化的角色,用日常生活中已經(jīng)習得的方式在物理世界中進行交互、理解與學習。
保羅·多羅西(Paul Dourish)[10]的《行動在哪里:具身交互的基礎》中把“具身”確立為人機交互的一個基礎概念,形成了人機交互領域內(nèi)具身交互研究的基礎。《存在:遙控機械和虛擬環(huán)境》(Presence:Teleoperators and Virtual Environments)上發(fā)表的《Evaluating Control Schemes for the Third Arm of an Avatar》定義了虛擬用戶控制的第三只手臂從胸部向外延伸的三種方法[11]。這是一個以FPP視角來完成的研究工作。只有在FPP中用戶才能習得對新生成身體的適應與控制,更多以具身的心理認知去理解身體,使用身體以及“幻肢”或“義肢”和虛擬的物理世界進行交互。幻肢理論解決的則是身體性向他物延伸的問題,梅洛·龐蒂認為“幻肢并非客觀因果關聯(lián)衍生的事物,更非我思的意識活動。唯有當我們找尋到聯(lián)通“心理狀況”與“身體”“自為”與“自在”,并讓其可以合并的方式把第三人行為與個體行為可以規(guī)整至其所共處的外部環(huán)境里,幻肢才可以讓二者完全混合。”[12]
具身性設計原則在大型互動藝術裝置中經(jīng)常得以體現(xiàn)。如由蘭登國際(Random International)的藝術組織創(chuàng)作的《雨屋》中得以體現(xiàn)?!队晡荨返膭?chuàng)作團隊利用3D 攝像頭檢測在場觀眾,用感應控制系統(tǒng)來控制雨水,讓觀眾在雨中穿梭而不用擔心淋雨。他們在雨中游走、停留與駐足欣賞這周圍的環(huán)境。在這個過程中,他們自身也成為《雨屋》裝置藝術的一部分,并且在參與展覽的過程中身心得到了與平日雨季體驗不一樣的愉悅感受。因此,《雨屋》帶給觀眾一個用身體去感知、用心靈去體會的藝術場域。該案例不僅為大眾展現(xiàn)了藝術呈現(xiàn)與感知的多樣性,還為當代公共藝術空間展陳的場域設計提供了十分有價值的參考[13]。在這個場域中,身體和雨的關系構成了圖式,人的認知經(jīng)驗不斷發(fā)生著同化和順應。因此,從具身角度上來說,場景的意義可在多個層面產(chǎn)生,由用戶來創(chuàng)建意義和傳遞意義。
圖6 《雨屋》
從身體圖式的角度來看,在梅洛龐蒂的直覺現(xiàn)象學中,身體從來都不僅是一個生物客體或者對象,它同時也是一個文化主體或主體的某種文化意識。情境性和文化性是身體圖式的2 個核心要素。羅伯特·莫里斯(Robert Morris)1966 年的文章《雕塑筆記之二(Notes on Sculpture:Part II)》通常被視為早期關于場域特性原則的一個關鍵表述:藝術作品要“脫離作品的關系,使之跟空間、光和觀眾的視域發(fā)生關系”[14]。藝術設計的在地性的討論包括地點特殊性、文化身份策略和藝術自治等,根據(jù)作品涉及的范圍可以分為地域(Localization)、地點(Site-specific),在空間尺度上有所劃分。而唐·伊德(Don Ihde)在《技術中的身體》中認為身體具有微觀知覺和文化的宏觀知覺經(jīng)驗[15]。對于公共藝術來說,在地性就是“不可復制”“非此地不可”,離開這個地方、背景,這個作品也就毫無意義了。場域空間也是由物理空間、信息空間和虛擬空間三元空間整合而成。在地性設計來自建筑設計語境,強調(diào)建筑與環(huán)境要和諧統(tǒng)一于所在地域特征或者根植于當?shù)匚幕寥溃米约旱恼Z言體系對設計進行構建,避免產(chǎn)生趨同化的作品。西班牙建筑師羅伯特·特拉達斯(Robert Terradas)認為建筑與場所之間的關系直接反應在設計之上,建筑設計應該尊重原有的場所特點而展開。這里的建筑既是空間,也是公共藝術所發(fā)生的場所。
數(shù)字化裝置中,在地性設計很好地體現(xiàn)在了“穿越百年,叩問初心——‘時光之鏡’沉浸式互動體驗”活動之中。2021年,該活動在上海漁陽里廣場舉行?;顒友?位青年演員飾演5位先烈,通過“時光之鏡”體驗亭,與當今的觀眾“對話”,現(xiàn)場觀眾與百年前在上海就義的革命先烈以演員化身的形式進行互動——“我是陳延年,你可能沒有聽說過我。我有一個有名的爸爸,他叫陳獨秀。還有一件事情,你也不一定知道。96年前,我親手給一個中學生戴上了紅領巾,那是中國的第一條紅領巾?!焙芏嗪⒆勇牭搅诉@句話,不由得為之動容。“在地性”設計,圍繞當前的場景、敘事語境去發(fā)揮本地域文化特色或傳統(tǒng),可以跨越時空,使互動角色融入文化與歷史元素以發(fā)揮“在地”的優(yōu)勢,從而提升觀眾或體驗者的文化身份認同感,這也是在地性設計的目的之一。
此案例為筆者所指導學生的畢設作品。Dourish提出了具身交互設計原則,認為計算是一種媒介,互動是一種合作系統(tǒng),讓人們相互了解彼此在進行的工作與行動。其中,反饋系統(tǒng)的必要性體現(xiàn)在,通過反饋系統(tǒng),人的行為能變?yōu)樗恕翱梢暋?。這種“可視”的行為在虛擬主播中有著重要的設計應用。主播需要扮演者驅(qū)動虛擬化身進行表演,目前虛擬舞臺的活動區(qū)域幾乎都是平坦地面,被用作動作捕捉的基本場地環(huán)境,同時也保障表演者在表演過程中的安全。而在現(xiàn)實表演舞臺中可能存在如樓梯、回廊等各種高低落差地形。若沒有按照虛擬場地的場地進行設計,虛擬化身則無法與演員的動作同步。因此,對實時動作捕捉表演的虛擬環(huán)境展開了研究,利用反向運動學、比例微分(Proportional Integral Derivative,簡稱PD)控制等方式,最終實現(xiàn)平地環(huán)境下的演員表演到虛擬場景中化身動作的自動調(diào)整與適配。在這個案例中體現(xiàn)場域下第三人稱視角的設計要素。首先根據(jù)需求給定表演者表演的目標行為,表演者根據(jù)目標行為進行表演;其次由動作捕捉系統(tǒng)轉換為骨骼動畫數(shù)據(jù)輸入處理系統(tǒng),經(jīng)過動畫姿態(tài)修正和物理模擬后得到最終輸出動畫,輸出動畫是最終展示給第三人稱視角觀眾的內(nèi)容,同時也將經(jīng)過處理計算的效果反饋給表演者;最后讓表演者結合反饋效果與表演目標調(diào)整動作幅度,整體流程與效果見圖8(表演者坐在地上而虛擬化身坐在了椅子上;表演者在平地上行走,而虛擬化身可以在有坡度或臺階上行走)。
圖7 《時光之鏡》
圖8 虛擬化身交互效果
此案例為設計團隊對在2019 年深圳文博會的策展作品。它也是一種可進行互動的環(huán)境媒體,即將設計作品放置于公共空間里與觀眾發(fā)生交互作用。環(huán)境媒體常見于廣告宣傳,是一種新式的媒介形態(tài),它兼具媒體傳播特點與環(huán)境設計理念,融入了數(shù)據(jù)分析、感知與交互元素后,環(huán)境媒體提供了擁有可以兼具連接、交互與計算的新媒體藝術特點,強化了人與環(huán)境的關系,人與人之間的關系,重塑了公共空間,因此具備了場域空間的特點。作品取名為《東北鄉(xiāng)村過大年》,是一種想象性的預演(Imaginative Rehearsal),用作品來比擬人類使用符號或語言的過程,用皮影風格角色與畫面,呈現(xiàn)一種東北鄉(xiāng)土氣氛的互動環(huán)境媒體。作品依靠普通攝像頭對觀眾的身體動作進行捕捉,實時生成骨骼動畫,進入到場景里來的觀眾即可驅(qū)動二維的虛擬化身。在互動中,化身可以點爆竹、貼窗花、打燈籠和趕小雞,觀眾體驗代入感,體驗東北鄉(xiāng)村過年的喜慶氛圍。這個案例體現(xiàn)了第三視角表演驅(qū)動與在地性要素的設計,建立與體驗者現(xiàn)有經(jīng)驗產(chǎn)生有意義聯(lián)系的互動情境,提供了無標記點的動作捕捉為場域感知手段。約翰·杜威(John Dewey)將“情境”定義為“由主體及客體所構成的整體范圍”,當體驗者步入場域感知的范圍后,便處于懷疑狀態(tài)時,即構成了一種問題情境。隨著適應環(huán)境的行為不斷進行,體驗者的焦點和區(qū)域轉化會推動問題情境持續(xù)衍變。把身體經(jīng)驗轉化為互動行為,從而將不確定性轉向確定性,表現(xiàn)了身體知覺對行為意識的驅(qū)動[16]。此案例嘗試了這種具身互動情境,讓用戶從不確定的意圖轉化為確定性的行為,建立身體姿態(tài)與虛擬化身的對應關系,在場域空間下完成交互敘事。
圖9 《東北鄉(xiāng)村過大年》
圖10 《賽博的并置世界》
此案例為設計團隊在2020 年上海教博會的策展作品。設計團隊在會上搭建了全息投影的作品,取名為《賽博的并置世界(Cyber Juxtaposition)》,作品通過即時通信方式建立了哈爾濱和上海2個空間的用戶交流,這是一種跨越空間的連接,在這個作品中我們體現(xiàn)了在地性與具身性的數(shù)字化場域特征。策展地點位于上海西岸藝術中心,觀眾在公共空間中游走,依賴于廣眾他人的“在場”,人與人之間建立了共同體驗的聯(lián)系,人與自身建立了身份的聯(lián)系,這種連接的構建是場域空間的關鍵要素。設計作品實現(xiàn)了以公共藝術為目標、以公眾為體驗對象、以公共空間為依歸的藝術創(chuàng)作,強調(diào)了大眾的參與和需求,并嘗試體現(xiàn)一種人文和在地的關懷,人們需要紐帶和連接,以身體空間的“完形”狀態(tài)進行交流,作品在視覺體驗上構建完整的具身形象。在具體的實踐中,此案例打造了獨特的室內(nèi)建筑,放置了貼有全息膜的玻璃墻,人物形象以立體投影的方式呈現(xiàn)于鏡面中,由于是透明薄膜,觀眾可以看到玻璃墻后面的布景墻,在布景墻上張貼了建筑學院土木樓的內(nèi)部環(huán)境,主要是由二樓步入一樓大廳的臺階,整體呈現(xiàn)的視覺寓意是在校師生從土木樓向上?,F(xiàn)場走來,使觀眾可以身臨其境地感受到哈爾濱的觀眾。遠在異地的觀眾相互揮手致意并進行了交流,在此情境之下,時空發(fā)生了重疊,拉近了2個城市之間的距離。
虛擬化身在多種數(shù)字化場域空間中得以應用,并能夠喚醒體驗者的記憶,改變?nèi)伺c數(shù)字世界的關系,動人心弦,給人以設計之美的驚喜,可以引領體驗者進入更深層次的思考境界。首先,設計者在設計互動場域空間的過程中,可以從視角設計出發(fā),根據(jù)設計目標,選取用戶與數(shù)字化身的距離,以第一視角設計使用戶身體功能進行延伸,空間更具備臨場感;以第三視角設計能夠讓用戶對場景整體有所覺察,也可以重新審視自身,通過對化身形象的改變來得到對身體想象和再造。其次,設計者以具身觀設計虛擬化身,建立身體、認知與運動的全方位體驗,激活用戶最鮮活、最生動的審美經(jīng)驗,使設計對場域空間下人的行為做出最積極的回應,融合信息世界、物理世界與心理世界,而虛擬化身就是這種融合的自然接口。最后,通過在地性設計,把作品置身于當前的環(huán)境中,虛擬化身不僅可以通過形象與風格傳遞地域文化元素,同時也可以結合所處空間,發(fā)揮公共藝術活動中用戶的身份特點,以特定地點的角色身份進行互動,并通過場域進行時空連接與重疊,制作多重體驗。在未來,基于視角、具身與在地,設計團隊會進一步進行設計研究,增強虛擬化身的自主行為設計,提供浮露情感機制,增加不為用戶控制的額外情感化表現(xiàn)動作,即使表演者沒有情感的表達動作,也可以通過這種機制實現(xiàn)浮露情感行為,以增強虛擬化身的自主表達能力;繼續(xù)構建場域空間,擴展物理的感知能力,增強虛擬化身的媒介特性,為具身交互找到更廣闊的應用領域。