付麗麗?樓小龍?李欣怡?張羽皓哲?吳迪
摘 要:以“皮影”和“木偶”兩類“非遺”表演藝術(shù)為研究對象,并以Microsoft Kinect、Leap Motion等體感控制設備和交互技術(shù)為手段,提出了一種基于自然體態(tài)和手勢感知交互的數(shù)字化“非遺”體驗新形式和文化傳承教育新手段。通過一個60人規(guī)模的教學對比實驗證明了基于自然人機交互技術(shù)的“非遺”體驗教學模式有利于激發(fā)青少年對傳統(tǒng)文化的學習興趣和探索欲,最終有助于提高青少年對中國傳統(tǒng)文化的傳承熱情和創(chuàng)新意識。
關(guān)鍵詞:自然人機交互;非物質(zhì)文化遺產(chǎn);數(shù)字化體驗;傳統(tǒng)文化教育;數(shù)字化教學
中圖分類號:TP311;G40-057 ? ? ? ? ? ?文獻標識碼:A文章編號:2096-4706(2022)06-0128-05
Application Research on Natural Human-Computer Interaction in the Intangible Cultural Heritage Inheritance Education
FU Lili1, LOU Xiaolong1,2, LI Xinyi1, ZHANG-YU Haozhe1, WU Di2
(1.School of Humanities, Arts and Digital Media, Hangzhou Dianzi University, Hangzhou? 310018, China; 2.Wenzhou Research Institute of Hangzhou Dianzi University, Wenzhou? 325011, China;)
Abstract: This paper takes two types of“intangible cultural heritage” performance arts including “shadow play” and “puppet” as the research objects, and uses Microsoft Kinect, Leap Motion and other motion sensing control equipment and interaction technologies as methods, proposes a new method of digital “intangible cultural heritage” new experience form and new cultural inheritance education method based on the interaction between natural posture and gesture perception. Through a 60-person teaching comparison experiment, it is proved that the “intangible cultural heritage” experience teaching mode based on natural human-computer interaction technology is conducive to stimulating teenagers ‘interest in learning and exploring traditional culture, and ultimately helps to improve teenagers inheriting enthusiasm and innovation consciousness of Chinese traditional culture.
Keywords: natural human-computer interaction; intangible cultural heritage; digital experience; traditional cultural education; digital teaching
0? 引? 言
非物質(zhì)文化遺產(chǎn),簡稱“非遺”,是人類歷史文明中流傳下來的一種主流藝術(shù)形式,也是弘揚和傳承中華優(yōu)秀傳統(tǒng)文化和民族精神的重要承載物,對于宣傳和增強中華文化的影響力具有很高的價值[1]。但是在經(jīng)濟全球化發(fā)展以及外來文化沖擊的大背景下,“非遺”被逐漸忽視并淹沒在文化大雜燴中。特別是對于“00后”“10后”等青少年群體而言,由于缺少主動認知和直觀感受的體驗和過程,對“非遺”及其傳統(tǒng)文化內(nèi)容十分陌生[2]。在當前形勢下,“重視‘非遺的現(xiàn)代化復現(xiàn),并在青少年一代中延續(xù)和傳承其文化價值”[3]成為傳統(tǒng)文化保護領域重點關(guān)注的一個問題。如何更好地使“非遺”內(nèi)容在青少年一代中被廣泛接受并進行延續(xù)和傳承?本文認為“基于直觀體驗的教育傳承”是最好的方式之一。雖然傳統(tǒng)的幻燈播放、音視頻內(nèi)容觀閱以及通過網(wǎng)頁、電視媒體等多形態(tài)知識閱讀等方式可以建立起對“非遺”的直觀認識,但是這種靜態(tài)的知識接受和認知建立過程缺少對內(nèi)容的參與感,受眾的興趣度并不高[4]。
在數(shù)字信息技術(shù)蓬勃發(fā)展并不斷升級完善的背景下,以“體感交互”“虛擬現(xiàn)實”(virtual reality,簡稱VR)為代表的“沉浸式”自然人機交互技術(shù)成為一類創(chuàng)新載體并不斷應用在影視娛樂、教育培訓等領域[5]?!皧蕵?教育”(Edutainment)[6]成為一種新的教育模式被提出并引起廣泛關(guān)注,在認知教育、體驗式教學等方面展現(xiàn)出巨大優(yōu)勢與潛力。本文選擇“體感交互”這一誕生于數(shù)字娛樂領域的自然人機交互技術(shù)作為載體,將其應用在“非遺”文化的體驗式教學活動中,并通過與傳統(tǒng)教學手段的效果對比來論證自然人機交互技術(shù)在“非遺”文化傳承與教育中的應用價值,為發(fā)展新媒體時代體驗式教學創(chuàng)新手段與文化傳承教育創(chuàng)新模式提供參考。F1FE5913-3AD1-4A50-9F86-65BD14EBA964
1? 自然交互技術(shù)在文化傳承教育中的應用價值
1.1? 自然交互技術(shù)特點
以“體感交互”為代表的自然人機交互技術(shù)具有高度沉浸性(immersion)、豐富交互性(interaction)和想象性(imagination)等特點,是其區(qū)別于傳統(tǒng)交互技術(shù)的主要特征[7]?!绑w感交互”通常以Microsoft Kinect[8]、Leap Motion[9]等非接觸式多維圖像傳感器為基礎,結(jié)合圖像識別與目標追蹤算法,實現(xiàn)自然體態(tài)和手勢操作的人機互動[10]。對比一般的鼠標鍵盤交互和觸摸屏交互方法,“體感交互”具有操作自然性更高、上手更容易、適用人群和場所更廣泛等優(yōu)勢[11-13]。
1.2? 基于自然人機交互技術(shù)的文化傳承與體驗式教學優(yōu)勢
“非遺”及其傳統(tǒng)文化內(nèi)容的傳承教育是一個抽象理解的過程,傳統(tǒng)教育缺少將以上抽象理解過程進行具象化處理并提供直觀體驗的手段?;凇绑w感交互”技術(shù)的體驗式教學為直觀感受“非遺”背后的傳統(tǒng)文化和藝術(shù)形式提供了一種有效途徑。以最能代表我國“非遺”文化的兩類藝術(shù)表演形式——“皮影戲”和“木偶戲”為例,兩者同屬舞臺道具表演且表現(xiàn)方式相近,因此容易被現(xiàn)代人混淆[14]。在傳統(tǒng)的知識傳播與授學方式中,青少年群體對于兩類“非遺”藝術(shù)形式與歷史文化,特別是關(guān)于兩者異同點的理解缺乏直觀認識。但是,以“體感交互”為代表的自然人機交互技術(shù)則為青少年群體直觀感受這兩種“非遺”藝術(shù)的差異化提供了便利。概括起來,自然人機交互技術(shù)在“非遺”文化傳承與青少年教育中的應用價值有兩方面:
(1)提供仿真體驗和直觀操作感受,為文化認知提供跨時空的便利條件?,F(xiàn)代人對“非遺”文化的認知通常來源于信息閱讀和表演觀看,與“非遺”文化的直觀體驗還有一定距離。而基于自然人機交互技術(shù)的虛擬仿真手段為“非遺”文化的直觀體驗提供了很大便利性[15]。
(2)增強傳統(tǒng)文化的表現(xiàn)形式,為文化復現(xiàn)和價值延伸提供更多可能性。基于自然人機交互技術(shù)的虛擬仿真應用不僅賦予用戶參與“非遺”文化體驗的真實感,還為“非遺”作品的現(xiàn)代化升級和創(chuàng)新表現(xiàn)提供延伸空間。以“川劇變臉”為例,自然人機交互技術(shù)不僅可以創(chuàng)造一種數(shù)字化變臉的快捷方式[16],還可以將這種悠久而古老的“非遺”藝術(shù)元素植入現(xiàn)代動畫與影視特效創(chuàng)作中,構(gòu)建數(shù)字媒體時代的“非遺”新形態(tài)。
2? “非遺”數(shù)字化開發(fā)與體驗設計
研究選取“皮影戲”和“木偶戲”作為研究對象,通過體態(tài)與手勢感知的自然人機交互技術(shù)實現(xiàn)傳統(tǒng)文化藝術(shù)表現(xiàn)形式的仿真體驗教學應用。在上述應用中,“非遺”不再只是停留在書本或博物館中的靜態(tài)文物,更成為了一種被直觀操作和感受的文化載體和教學平臺。針對青少年群體的認知學習特征,在面向該群體的文化傳承與教育中應注重興趣的引導和動手體驗的結(jié)合[17]。具體包括充滿趣味的文化與教育相結(jié)合的內(nèi)容以及新穎的操作體驗方式。
2.1? 基于ASUS Xtion深度相機的“皮影戲”自然交互系統(tǒng)設計
“皮影戲”,又叫“影子戲”或“驢皮影”,是發(fā)源于中國民間戲劇的一種古老藝術(shù)表演形式[14]。在挖掘“皮影戲”文化背后的創(chuàng)造性價值時發(fā)現(xiàn),這種通過道具進行角色二維動作控制的互動方式具有豐富的創(chuàng)造性,使其成為現(xiàn)代“逐幀動畫”的雛形和重要參照物[18]。本文通過體感交互技術(shù)將“皮影戲”中的角色控制方式轉(zhuǎn)換為體態(tài)控制方式,以廣受青少年群體喜歡的體感游戲形式展開對“皮影戲”文化和作品的體驗式學習。設計內(nèi)容有:
(1)內(nèi)容設計。從《白蛇傳》《紅燈記》《牛郎織女》等十多個經(jīng)典劇目和橋段中選取10個“皮影戲”角色作為交互對象。對每個角色進行二維形象繪制并按照頭部、上軀干、上臂段、下臂段、雙手、下肢段、雙腳等14個部位進行劃分管理,形成皮影形象素材數(shù)據(jù)庫。并通過Processing可視化編程環(huán)境實現(xiàn)數(shù)字化“皮影互動”軟件程序交互界面。該交互程序與軟件界面如圖1所示。
(2)操作體驗方式設計。研究將ASUS Xtion RGB-D深度相機作為體感交互設備,通過OpenNI自然交互框架[19]所提供的人體骨骼識別與追蹤技術(shù)實現(xiàn)用戶與皮影的體感互動應用。上述自然交互技術(shù)可以實現(xiàn)對人體13個關(guān)節(jié)點位置的三維空間位置識別與追蹤;繼而將關(guān)節(jié)點位置與皮影角色中的關(guān)節(jié)點位置進行綁定,實現(xiàn)對皮影角色的體感驅(qū)動。由于人的體態(tài)動作是三維運動數(shù)據(jù),而皮影角色的動作是在二維界面上顯示與控制的,因此在程序設計中將深度相機提取到的人體關(guān)節(jié)深度坐標映射到皮影角色的姿態(tài)控制中[20],實現(xiàn)原理如圖2所示。
為了兼顧上述應用在故事性和交互體驗上的趣味性,研究組選取《白蛇傳》《杜十娘傳》《紅燈記》《牛郎織女》等傳統(tǒng)皮影故事作為創(chuàng)作基礎,將其中的代表性橋段和人物形象進行數(shù)字化創(chuàng)作和程序?qū)ο蠡?,并通過射擊、回合擊打、裝扮、找茬等各類游戲機制和玩法進行趣味包裝,形成不同的數(shù)字體驗應用。
2.2? 基于Leap Motion的“木偶戲”自然交互系統(tǒng)設計
“木偶戲”,又被稱為“傀儡戲”,是興起于中國漢唐時期的另一種表演雜耍藝術(shù)[14]。因為源于特定的歷史發(fā)展時期和文化背景,“木偶戲”這一傳統(tǒng)文化在現(xiàn)代化傳承與保護中也存在嚴峻的挑戰(zhàn),表現(xiàn)為其表現(xiàn)形式落后單一不受現(xiàn)代人喜歡、傳承人隊伍培育落后等[1]。本文將“木偶戲”的傳統(tǒng)表演形式與自然手勢交互技術(shù)結(jié)合,為實現(xiàn)“教娛融合”的非遺文化傳承與青少年傳統(tǒng)文化教育提供新途徑。設計內(nèi)容有:
(1)內(nèi)容設計。從《大鬧天宮》《嫦娥奔月》《花木蘭》等經(jīng)典“木偶戲”橋段中選取十個木偶人物,通過3Ds Max軟件實現(xiàn)人物三維建模和材質(zhì)貼圖,以及基本的三維場景設計。通過Processing平臺進行交互界面的開發(fā),并實現(xiàn)三維角色和場景數(shù)據(jù)的導入,實現(xiàn)角色切換、視角轉(zhuǎn)換、角色互動過程錄制等基本的界面交互功能。軟件交互界面與使用環(huán)境如圖3所示。F1FE5913-3AD1-4A50-9F86-65BD14EBA964
(2)操作體驗方式設計。采用Leap Motion傳感器作為自然手勢捕捉設備,將操作者手指的細微動作進行捕捉并通過運動放大算法轉(zhuǎn)換為虛擬木偶的提線操作。通過Leap Motion傳感器能高精度識別運動手勢中的各個手指關(guān)節(jié)點的三維空間坐標并形成時序變化的坐標集,將上述變化的手指關(guān)節(jié)點坐標映射至木偶角色各個關(guān)節(jié)點提線位移中,實現(xiàn)原理如圖4所示。
在上述運動映射與轉(zhuǎn)換過程中,由于手指運動相對于木偶提線動作幅度而言過于細微,因此在映射過程中通過一個數(shù)值介于1.0和18.0之間的動態(tài)轉(zhuǎn)換因子(Dynamic User-Display Ratio, 簡稱UD)[21]將手指關(guān)節(jié)點的運動變化轉(zhuǎn)換為木偶的提線位移。手指關(guān)節(jié)點的瞬時移動速度決定轉(zhuǎn)換因子數(shù)值大小,移動速度越大則轉(zhuǎn)換因子數(shù)值越大。
3? “非遺”數(shù)字體驗與教育傳承應用實踐
3.1? 應用效果測評實驗
實驗從當?shù)匦W招募60名年齡分布在9歲~12歲之間的學生作為研究對象并隨機分為A、B兩個組,每組各有30名學生且年齡分布和性別比例無明顯差異。前期測試發(fā)現(xiàn),兩組學生在學習能力和對“非遺”文化的知識儲備方面無明顯差異。實驗通過組間對比測試進行,分別對A、B兩組學生開展體驗式教學和傳統(tǒng)電化教學活動。針對A組學生,先進行1個課時關(guān)于“皮影戲”和“木偶戲”傳統(tǒng)文化介紹,配以幻燈片展示教學,然后進行1個課時的互動體驗教學活動。體驗內(nèi)容與平臺為“皮影互動”和“數(shù)字木偶”互動體驗系統(tǒng)。將30位學生分為5個小隊,各個小隊同時進行“皮影互動”和“數(shù)字木偶”的探索體驗過程。在上述過程中,穿插進行操作體驗方式和關(guān)于兩類“非遺”文化的講解。針對B組學生,前面1個課時的課堂教學與A組保持一致,后面1個課時則通過5段關(guān)于”皮影戲”和”木偶戲”的影視資料進行觀閱學習。
在上述教學活動結(jié)束后1小時內(nèi),對A、B兩組學生發(fā)放“課堂學習專注度”測評問卷并在限定時間內(nèi)完成問卷回收。在教學活動結(jié)束1周后,針對兩組學生開展“學習效果與知識轉(zhuǎn)化”測評并回收測評結(jié)果。上述兩項測試均采用5點Likert量表打分方式,測評內(nèi)容如表1所示。
3.2? 應用效果分析與討論
實驗回收有效問卷120份,包括60份“課堂學習專注度”問卷和60份“學習效果與知識轉(zhuǎn)化”問卷。統(tǒng)計結(jié)果如圖5所示。在“課堂學習專注度”問卷測評中發(fā)現(xiàn),接受過體驗教學的A組學生在各項問卷描述打分中普遍高于B組學生:體驗式教學使學生對“非遺”課程內(nèi)容更感興趣(p=0.012);體驗式教學更有助于學生對課程內(nèi)容的理解(p=0.003),也更受學生喜歡(p=0.009);在體驗式教學輔助下,學生對兩類非遺文化的理解也更為深刻(p<0.001)。有超過70%的學生在測評后的反饋中表示愿意花更多的時間來研究數(shù)字技術(shù)環(huán)境下的“非遺”互動作品。
上述結(jié)果表明數(shù)字人機交互技術(shù)作為一種親民的體驗手段為傳統(tǒng)藝術(shù)形式的仿真和復現(xiàn)提供便利,使當代青少年能夠更近距離地理解和認知中國傳統(tǒng)“非遺”藝術(shù)?;谧匀惑w態(tài)和手勢動作識別的人機交互技術(shù)使普通用戶與數(shù)字影像內(nèi)容的互動接觸以一種更貼近原型態(tài)的方式進行;同時,數(shù)字化人機交互方式又跳脫出傳統(tǒng)藝術(shù)表演物理態(tài)的諸多限制,通過數(shù)字程序的增強優(yōu)化手段表現(xiàn)出傳統(tǒng)藝術(shù)不具有的特殊表現(xiàn)力。例如,通過程序的優(yōu)化設計算法可以將操作者的動作以一種更適合的方式被轉(zhuǎn)譯為虛擬角色動作;通過程序的動畫設計功能還可以在皮影表演的基礎上增加數(shù)字特效。
對“學習效果與知識轉(zhuǎn)化”測評結(jié)果統(tǒng)計分析發(fā)現(xiàn),在課程開展一周后A、B兩組學生對課程內(nèi)容的記憶深度沒有顯著差異。但是A組學生對于體驗式教學模式留有更深印象(p=0.005);同時,在自然交互體驗式教學模式增益效果下,學生對“非遺”文化有更深入理解(p=0.017),對“非遺”文化的熱愛程度也明顯高于對照組(p=0.002)。在關(guān)于“非遺”傳統(tǒng)文化知識水平測試中,A組相比B組學生有較高得分。上述結(jié)果表明,體驗式教學模式相比傳統(tǒng)的電化教學更有助于激發(fā)青少年學生的學習與探索興趣,對于學生理解和內(nèi)化傳統(tǒng)文化知識內(nèi)涵也有增益作用。在實驗后期的用戶體驗反饋中發(fā)現(xiàn),實驗組60%以上比例的學生認為在接觸了“皮影互動”和“數(shù)字木偶”體驗教學系統(tǒng)以后對這兩類“非遺”藝術(shù)有了完全不一樣的理解。例如,有的學生原先把傳統(tǒng)皮影和木偶表演看成是一類技術(shù)含量很低的傳統(tǒng)手工技術(shù)。但是通過數(shù)字化形式的親身參與體驗,他們開始接受這類傳統(tǒng)藝術(shù)的精妙和操作難度,并開始對表演中涉及的光影成像知識和動作控制原理產(chǎn)生學習和探索興趣。在這種親身體驗的過程中,青少年對于“非遺”文化的藝術(shù)魅力及其反映出來的中國傳統(tǒng)民間智慧產(chǎn)生興趣。
4? 結(jié)? 論
將自然人機交互技術(shù)應用在“非遺”文化傳承與數(shù)字化教育實踐中,為青少年群體提供了一種"教娛融合"的沉浸式知識學習與探索新模式。本文以“皮影戲”和“木偶戲”這兩類“非遺”藝術(shù)為代表,展示了用體感交互技術(shù)實現(xiàn)“非遺”藝術(shù)數(shù)字化互動體驗的實現(xiàn)過程,使“非遺”文物被更近距離、更真實地了解和體驗。通過教學對比實驗發(fā)現(xiàn),相比傳統(tǒng)的幻燈片講解結(jié)合影視觀閱教學模式,互動體驗式教學更有利于激發(fā)學生的學習興趣并增強學生對傳統(tǒng)文化的理解力和探索欲,最終更有利于知識內(nèi)化并激發(fā)青少年對“非遺”文化的傳承熱情和創(chuàng)新意識。
參考文獻:
[1] 劉魁立.非物質(zhì)文化遺產(chǎn)及其保護的整體性原則 [J].廣西師范學院學報,2004(4):1-8+19.
[2] 申茂平.非物質(zhì)文化遺產(chǎn)的教育傳承及其實現(xiàn)途徑 [J].教育文化論壇,2009,1(1):49-53+77.
[3] 計衛(wèi)舸.“非遺”資源思想政治教育價值的發(fā)現(xiàn)與利用 [J].中國高等教育,2011(2):38-40.F1FE5913-3AD1-4A50-9F86-65BD14EBA964
[4] 曾真.基于沉浸體驗的互動影像在非遺推廣中的應用 [J].藝術(shù)科技,2017,30(4):32-33.
[5] REN F J,BAO Y W.A Review on Human-Computer Interaction and Intelligent Robots [J].International Journal of Information Technology and Decision Making,2020,19(1):5-47.
[6] MA M H,OIKONOMOU A,JAIN L C.Serious Games and Edutainment Applications [M].London:Springer,2011.
[7] 黃超.自然人機交互相關(guān)技術(shù)研究與系統(tǒng)實現(xiàn) [D].上海:上海交通大學,2010.
[8] IZADI S,NEWCOMBE R A,KIM D,et al.KinectFusion:Real-time dynamic 3D surface reconstruction and interaction [C]//International Conference on Computer Graphics and Interactive Techniques,Vancouver:SIGGRAPH,2011:1.
[9] ADHIKARLA V K,SODNIK J,SZOLGAY P,et al.Exploring Direct 3D Interaction for Full Horizontal Parallax Light Field Displays Using Leap Motion Controller [J].Sensors,2015,15(4):8642-8663.
[10] YEO H S,LEE B G,LIM H.Hand tracking and gesture recognition system for human-computer interaction using low-cost hardware [J].Multimedia Tools and Applications,2015,74(8):2687-2715.
[11] MEWES A,HENSEN B,WACKER F,et al.Touchless interaction with software in interventional radiology and surgery:a systematic literature review [J].International Journal of Computer Assisted Radiology & Surgery,2016,12(2):291-305.
[12] 李清水,方志剛,沈模衛(wèi),等.手勢識別技術(shù)及其在人機交互中的應用 [J].人類工效學,2002(1):27-29+33.
[13] AGARWAL R,SAMPATH H A,INDURKHYA B.A Usability Study on Natural Interaction Devices with ASD Children [C]//International Conference on Universal Access in Human-computer Interaction:User & Context Diversity.Berlin:Springer,2013:447-453.
[14] 江玉祥.皮影·木偶戲的傳承與保護 [J].四川戲劇,2011(1):79-81.
[15] 朱幸爾.面向設備作業(yè)虛擬仿真的人體動作和手勢識別交互技術(shù)研究 [D].浙江:浙江大學,2018.
[16] 吳賢星,趙杰煜,沈明炘.人機交互中的人臉信息曲波分析 [J].中國圖象圖形學報,2010,15(9):1309-1317.
[17] 靳玉樂,李葉峰.中小學生學習效能的水平、演變規(guī)律及啟示 [J].教育研究與實驗,2017(1):58-63.
[18] 陳亞偉.現(xiàn)代動畫造型對傳統(tǒng)皮影造型的借鑒方式初探 [J].藝術(shù)科技,2012,25(4):78.
[19] CHO O H,LEE W H.Gesture Recognition Using Simple-OpenNI for Implement Interactive Contents [J].Lecture Notes in Electrical Engineering,2012,179:141-146.
[20] SHI Y,YING F T,CHEN X,et al.Restoration of traditional Chinese shadow play-Piying art from tangible interaction [J].Computer Animation and Virtual Worlds,2013,25(1):33-43.
[21] CASIEZ G,VOGEL D,BALAKRISHNAN R,et al.The Impact of Control-Display Gain on User Performance in Pointing Tasks [J].Humancomputer Interaction,2008,23(3):215-250.
作者簡介:付麗麗(2000—),女,漢族,浙江杭州人,本科在讀,研究方向:體驗設計、新媒體藝術(shù);通訊作者:樓小龍(1988—),男,漢族,浙江義烏人,講師,博士,研究方向:計算機輔助教育信息技術(shù)、人機交互技術(shù)與體驗式教學;李欣怡(2000—),女,漢族,浙江杭州人,碩士在讀,研究方向:計算機輔助設計與圖形學、新媒體藝術(shù);張羽皓哲(1998—),男,漢族,浙江溫州人,碩士在讀,研究方向:人機交互與人因工程;吳迪(1963—),男,漢族,浙江杭州人,院長,教授,碩士,研究方向:傳統(tǒng)藝術(shù)數(shù)字化、數(shù)字媒體藝術(shù)。
收稿日期:2022-02-04
基金項目:浙江省哲學社會規(guī)劃課題(19NDQN301YB);浙江省自然科學基金項目(Q19F020010);溫州市科技計劃項目(S20180018);杭州電子科技大學教改項目(YBJG201956)F1FE5913-3AD1-4A50-9F86-65BD14EBA964