歐靜，譚瑜，方瀅潔，康慶春，許盈

基于多感官交互的阿爾茨海默老人智能穿戴產(chǎn)品設(shè)計(jì)研究

歐靜1，譚瑜1，方瀅潔1，康慶春1，許盈2

（1.湖南大學(xué)，長(zhǎng)沙 410012；2.湖南中醫(yī)藥大學(xué)，長(zhǎng)沙 410208）

研究聽(tīng)覺(jué)、觸覺(jué)與視覺(jué)多感官刺激因素介入阿爾茨海默病老人護(hù)理的反饋效果，借助智能軟硬件技術(shù)增強(qiáng)其對(duì)音樂(lè)的感知，設(shè)計(jì)多感官交互的老人智能穿戴產(chǎn)品。根據(jù)感知替換及通感原理，創(chuàng)建能夠?qū)⒁魳?lè)轉(zhuǎn)化為振動(dòng)及視覺(jué)信息的感官替代方法，并通過(guò)實(shí)驗(yàn)測(cè)試分別驗(yàn)證聽(tīng)–觸覺(jué)和聽(tīng)–觸–視覺(jué)兩類(lèi)多感官交互原型的可行性。在融合聽(tīng)–觸覺(jué)的基礎(chǔ)上加入視覺(jué)設(shè)計(jì)，可以更好地激發(fā)老人的言語(yǔ)行為能力。在收集被試者使用反饋分析結(jié)論的基礎(chǔ)上設(shè)計(jì)了一款指尖振動(dòng)音樂(lè)可穿戴設(shè)備——指尖鋼琴，通過(guò)提供以觸覺(jué)、聽(tīng)覺(jué)、視覺(jué)融合的多感官體驗(yàn)來(lái)促進(jìn)患者的主動(dòng)行為。多感官交互產(chǎn)品的設(shè)計(jì)對(duì)改善阿爾茨海默病患者的情緒和主動(dòng)行為具有一定的效果，對(duì)老年患者身體健康和生活質(zhì)量的提高具有積極意義。

阿爾茨海默?。ˋD）；多感官交互；感知替換；振動(dòng)觸覺(jué)；可穿戴設(shè)計(jì)

隨著我國(guó)社會(huì)老齡化程度加劇，老年疾病患病人數(shù)也逐年升高，其中阿爾茨海默病（Alzheimer's Disease，AD）尤為突出，目前我國(guó)AD患者約為750萬(wàn)[1]，是全球老年癡呆癥患者數(shù)量最多的國(guó)家。阿爾茨海默病患者的癥狀通常表現(xiàn)為：認(rèn)知功能下降，常面臨負(fù)面情緒并普遍存在沮喪、抑郁心理，對(duì)事物缺乏興趣和行動(dòng)力，進(jìn)而表現(xiàn)為行為退縮[2-3]。阿爾茨海默病嚴(yán)重威脅著老年人的健康，給照護(hù)者、家人和社會(huì)都帶來(lái)了巨大的負(fù)擔(dān)，因此面向AD患者的老年醫(yī)療護(hù)理成為重要的社會(huì)問(wèn)題。在對(duì)阿爾茨海默病的治療中，多感官交互產(chǎn)品被越來(lái)越多地用于輔助高齡患者接受非藥物的治療干預(yù)。盡管藥物干預(yù)能從一定程度上緩解癥狀，但其療效有限，有些藥物甚至?xí)?lái)副作用，因此近年來(lái)諸多研究人員建議用非藥物干預(yù)手段替代藥物用于一線治療中。在眾多非藥物療法中，多感官刺激干預(yù)由于具有無(wú)侵入性、低成本且無(wú)不良反應(yīng)等優(yōu)點(diǎn)，被越來(lái)越多地用于對(duì)老年患者的治療中[4]。

1 多感官設(shè)計(jì)在老年醫(yī)療護(hù)理中的應(yīng)用

1.1 多感官交互設(shè)計(jì)

在醫(yī)療領(lǐng)域的多感官交互設(shè)計(jì)研究中，研究人員綜合運(yùn)用視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等感官進(jìn)行體驗(yàn)活動(dòng)設(shè)計(jì)，以達(dá)到促進(jìn)患者主動(dòng)行為、激發(fā)積極情緒和輔助認(rèn)知康復(fù)的目的。其中，音樂(lè)早已被證明能夠有效改善阿爾茨海默病患者的負(fù)面情緒，并能緩解其認(rèn)知和行為問(wèn)題，因此音樂(lè)作為聽(tīng)覺(jué)刺激是較為基礎(chǔ)的干預(yù)輔助方式[5]。此外，視覺(jué)和聽(tīng)覺(jué)刺激的組合也較為常見(jiàn)，例如，Huldtgren等[6]借助嵌入式傳感技術(shù)設(shè)計(jì)制作了一款交互式書(shū)籍，見(jiàn)圖1a，用戶在瀏覽書(shū)頁(yè)圖像的同時(shí)能夠通過(guò)翻頁(yè)、觸摸、按壓等簡(jiǎn)單的手勢(shì)來(lái)觸發(fā)對(duì)應(yīng)的聲音和音樂(lè)。該設(shè)計(jì)被運(yùn)用于對(duì)老年癡呆患者的回憶療法中，被證明能夠有效喚起患者的回憶，誘發(fā)他們進(jìn)行更多的自主行為（如自主閱讀、交流談話等）。近年來(lái)，研究人員又開(kāi)始著眼于探索觸覺(jué)刺激對(duì)老年群體的影響和干預(yù)效果。Schelle等[7]設(shè)計(jì)了一款觸覺(jué)枕頭，見(jiàn)圖1b，用戶撫摸、輕拍枕頭等動(dòng)作能夠觸發(fā)不同的觸覺(jué)振動(dòng)反饋模式，該設(shè)計(jì)旨在通過(guò)一種有趣的交互方式來(lái)鼓勵(lì)老年癡呆患者與其家人進(jìn)行交流，在產(chǎn)品測(cè)試中五分之三的患者被觀察到更樂(lè)意主動(dòng)與家人進(jìn)行交談和肢體接觸。

1.2 多感官可穿戴設(shè)備

除了常規(guī)的交互產(chǎn)品形式之外，基于可穿戴設(shè)備形式的多感官設(shè)計(jì)研究也已廣泛存在。香港理工大學(xué)的Kim等[8]設(shè)計(jì)開(kāi)發(fā)了一系列適老化交互式紡織品，見(jiàn)圖1c、圖1d，由聚合物光纖材料織物（POF）和集成的傳感器制作而成，通過(guò)提供視覺(jué)、觸覺(jué)感官刺激來(lái)提示行動(dòng)不便的老人適時(shí)進(jìn)行鍛煉。另外，干預(yù)類(lèi)醫(yī)療設(shè)備面臨的一個(gè)障礙就是老年患者的抵觸、恐慌心理，因此Yamazaki等[9]提出有必要開(kāi)發(fā)更加輕便、更宜人的可穿戴設(shè)備。他們所開(kāi)發(fā)的音樂(lè)振動(dòng)設(shè)備能夠?yàn)榛颊咛峁┞晫W(xué)振動(dòng)刺激，可應(yīng)用于日常場(chǎng)景來(lái)緩解患者的緊張和疼痛。可穿戴形式的多感官交互設(shè)備有其便捷性——不依賴于環(huán)境和專業(yè)醫(yī)護(hù)人員的全程參與，僅僅穿戴在患者身上就能提供輔助，因此具有更大的發(fā)展前景和應(yīng)用潛力[10]。

圖1 多感官交互設(shè)計(jì)

1.3 多感官應(yīng)用趨勢(shì)分析

眾多研究已表明，多感官設(shè)計(jì)在老年醫(yī)療護(hù)理中的應(yīng)用正逐步增多，對(duì)老年人的精神行為及心理狀態(tài)有較為積極的改善。在對(duì)阿爾茨海默病老年患者的交互設(shè)計(jì)中，觸覺(jué)的介入可以通過(guò)多感官的刺激增強(qiáng)多維度的體驗(yàn)及系統(tǒng)的交互性。但由于觸覺(jué)技術(shù)具有一定的復(fù)雜性，過(guò)去的多感官研究通常以視覺(jué)和聽(tīng)覺(jué)刺激作為主導(dǎo)手段，與觸覺(jué)等其他感官刺激的組合應(yīng)用實(shí)例還較少，基于多感官的系統(tǒng)性交互設(shè)計(jì)案例較為匱乏。因此，觸覺(jué)結(jié)合視、聽(tīng)覺(jué)在老年護(hù)理中的交互設(shè)計(jì)產(chǎn)品開(kāi)發(fā)還有待進(jìn)一步探索和驗(yàn)證。

2 面向阿爾茨海默病患者的多感官交互原型構(gòu)建

2.1 聽(tīng)–觸覺(jué)交互原型構(gòu)建

2.1.1 基于感知替換理論的聽(tīng)覺(jué)與觸覺(jué)轉(zhuǎn)換方法

在聽(tīng)覺(jué)和觸覺(jué)的感官層面，針對(duì)老年人聽(tīng)力下降的問(wèn)題，基于感知替換理論研究創(chuàng)建了一種能夠?qū)⒁魳?lè)轉(zhuǎn)化為振動(dòng)的算法[11]，來(lái)增強(qiáng)阿爾茨海默病患者對(duì)音樂(lè)的感知。感知替換理論即在兩種不同的模態(tài)之間建立特征映射關(guān)系，從而通過(guò)替代模態(tài)表達(dá)原始模態(tài)。在音樂(lè)的諸多特征中，音強(qiáng)可以通過(guò)觸覺(jué)的振動(dòng)感知強(qiáng)度被重新構(gòu)建[12]，該種轉(zhuǎn)換方式能夠反映音樂(lè)節(jié)奏的變化，從而增進(jìn)聽(tīng)眾對(duì)音樂(lè)的感知和理解，特征圖解見(jiàn)圖2。通過(guò)將音強(qiáng)特征轉(zhuǎn)換為振動(dòng)強(qiáng)度特征的方法來(lái)開(kāi)發(fā)原型，可以控制觸覺(jué)刺激模式的變化，進(jìn)而重構(gòu)音樂(lè)的節(jié)奏信息。

圖2 感知替換特征解析

2.1.2 觸覺(jué)振動(dòng)原型架構(gòu)

觸覺(jué)振動(dòng)原型的硬件端是基于Arduino的微控制器系統(tǒng)和振動(dòng)電機(jī)，軟件端是基于p5.js的網(wǎng)頁(yè)程序。聽(tīng)覺(jué)和觸覺(jué)兩種模態(tài)之間的轉(zhuǎn)換過(guò)程見(jiàn)圖3，網(wǎng)頁(yè)端可將獲取到的音樂(lè)振幅值提取出來(lái)后傳輸給主控制器，主控制器會(huì)對(duì)信號(hào)作進(jìn)一步分析，將音樂(lè)振幅數(shù)據(jù)與電機(jī)振動(dòng)的不同強(qiáng)度和數(shù)量相對(duì)應(yīng)，完成對(duì)應(yīng)關(guān)系轉(zhuǎn)換后，Arduino平臺(tái)再給振動(dòng)電機(jī)發(fā)送PWM信號(hào)從而驅(qū)使電機(jī)振動(dòng)。原型結(jié)構(gòu)本質(zhì)上是將音樂(lè)的振幅值轉(zhuǎn)換為PWM信號(hào)發(fā)送給電機(jī)，最終反映到電機(jī)的振動(dòng)強(qiáng)度和振動(dòng)數(shù)量上，當(dāng)音樂(lè)振幅值低時(shí)，只有一個(gè)電機(jī)振動(dòng)，隨著振幅增強(qiáng)，則有更多的電機(jī)依次振動(dòng)，該結(jié)構(gòu)旨在通過(guò)振動(dòng)觸覺(jué)刺激幫助阿爾茨海默病患者感知音樂(lè)的節(jié)奏變化。

2.2 聽(tīng)-視覺(jué)交互原型構(gòu)建

2.2.1 基于通感原理的聽(tīng)覺(jué)與視覺(jué)映射構(gòu)建方法

在聽(tīng)覺(jué)和視覺(jué)的感官層面，基于通感原理構(gòu)建聽(tīng)覺(jué)和視覺(jué)的映射關(guān)系，進(jìn)行音樂(lè)可視化的視聽(tīng)映射設(shè)計(jì)。對(duì)于通感，淺層次的理解可將其看作是以一種感覺(jué)為引導(dǎo)去體驗(yàn)和理解另一種感覺(jué)的過(guò)程，而更深層次的理解則將其表述為一種由外界刺激所產(chǎn)生的多感官映射的認(rèn)知現(xiàn)象，視覺(jué)和聽(tīng)覺(jué)的感覺(jué)域可以在不同層次的相互轉(zhuǎn)換和映射中構(gòu)建通感體驗(yàn)[13]。Miller等[14]的研究構(gòu)建了音樂(lè)符號(hào)可視化設(shè)計(jì)的結(jié)構(gòu)化方法，方法具體為：第一步將音樂(lè)進(jìn)行特征提取，第二步將音樂(lè)特征進(jìn)行數(shù)據(jù)轉(zhuǎn)化，第三步將音樂(lè)特征的數(shù)值進(jìn)行視覺(jué)映射，對(duì)應(yīng)格式塔原則和視覺(jué)要素，第四步構(gòu)建視覺(jué)結(jié)構(gòu)設(shè)計(jì)，第五步輸出給用戶。通過(guò)該方法構(gòu)建聽(tīng)–視覺(jué)交互原型，將音樂(lè)特征轉(zhuǎn)化為視覺(jué)特征，表達(dá)出符合阿爾茨海默病老人情感認(rèn)知的音樂(lè)內(nèi)涵，提升音樂(lè)體驗(yàn)。

2.2.2 音樂(lè)可視化設(shè)計(jì)原型架構(gòu)

在音樂(lè)聽(tīng)–觸覺(jué)融合的基礎(chǔ)上，結(jié)合視覺(jué)感官刺激可以幫助阿爾茨海默病患者更好地感受音樂(lè)。依據(jù)布魯夏（Brucha）[15]理論，音樂(lè)的體驗(yàn)層次可以分為：前音樂(lè)層、音樂(lè)層和外音樂(lè)層。振動(dòng)觸覺(jué)可以有效增強(qiáng)前音樂(lè)層和音樂(lè)層的體驗(yàn)，而視覺(jué)可以更好地表達(dá)外音樂(lè)層的特征。本設(shè)計(jì)中的聽(tīng)覺(jué)和視覺(jué)映射轉(zhuǎn)化見(jiàn)圖4。第一步：對(duì)音樂(lè)特征進(jìn)行分析，在三個(gè)音樂(lè)體驗(yàn)層級(jí)上獲得不同的音樂(lè)物理及語(yǔ)義情感特征。第二步：提取特征的具體數(shù)值或元素，例如歌詞語(yǔ)意特征及音樂(lè)振幅數(shù)據(jù)等。第三步和第四步將提取出的音樂(lè)特征數(shù)值或元素進(jìn)行特征映射和視覺(jué)設(shè)計(jì)。最后一步進(jìn)行實(shí)驗(yàn)原型輸出，獲取用戶反饋。利用通感映射，可以獲取音樂(lè)視覺(jué)感知的關(guān)鍵要素，實(shí)現(xiàn)音樂(lè)可視化表達(dá)。

圖3 聽(tīng)覺(jué)和觸覺(jué)的轉(zhuǎn)換過(guò)程

圖4 聽(tīng)覺(jué)和視覺(jué)映射轉(zhuǎn)化過(guò)程

3 交互原型可用性實(shí)驗(yàn)

可用性實(shí)驗(yàn)使用了聽(tīng)–觸覺(jué)和聽(tīng)–觸–視覺(jué)兩種多感官交互原型進(jìn)行活動(dòng)設(shè)計(jì)和驗(yàn)證，以探索在聽(tīng)覺(jué)單感官的基礎(chǔ)上，多感官交互在認(rèn)知、情緒和行為層面對(duì)老年患者的改善效果。實(shí)驗(yàn)一通過(guò)設(shè)定振動(dòng)位置、音樂(lè)類(lèi)型等變量進(jìn)行比較分析，驗(yàn)證振動(dòng)觸覺(jué)的有效性。實(shí)驗(yàn)二在聽(tīng)–觸覺(jué)的基礎(chǔ)上，加入視覺(jué)感官要素，驗(yàn)證聽(tīng)–觸–視覺(jué)三種感官融合的有效性。

3.1 聽(tīng)–觸覺(jué)的多感官實(shí)驗(yàn)

3.1.1 實(shí)驗(yàn)設(shè)計(jì)方法

1）實(shí)驗(yàn)?zāi)康模和ㄟ^(guò)比較穿戴音樂(lè)振動(dòng)設(shè)備與不穿戴兩種干預(yù)情況，分析聽(tīng)－觸覺(jué)交互原型對(duì)實(shí)驗(yàn)被試者在認(rèn)知、情緒、行為三層面的改善效果；比較三種佩戴于手腕、腳腕與指尖的原型設(shè)備和舒緩型、節(jié)奏型與懷舊型音樂(lè)三種音樂(lè)類(lèi)型，得出適于穿戴振動(dòng)設(shè)備的身體部位和適于播放的音樂(lè)類(lèi)型。

2）實(shí)驗(yàn)對(duì)象：選取從長(zhǎng)沙市永濟(jì)養(yǎng)老院挑選出的8名身體狀況相近、聽(tīng)、觸覺(jué)感知均正常的阿爾茨海默病患者（其中包括5名女性，3名男性，年齡均在75歲以上），提前為老年被試者講解實(shí)驗(yàn)注意事項(xiàng)并邀請(qǐng)其填寫(xiě)用戶知情同意書(shū)。將8名老年被試者進(jìn)行編號(hào)并隨機(jī)分成4組，1、5號(hào)為手腕振動(dòng)組，2、8號(hào)為腳腕振動(dòng)組，3、6號(hào)為手指振動(dòng)組，4、7號(hào)為無(wú)振動(dòng)對(duì)照組。

3）評(píng)估方法：采取定性與定量結(jié)合的評(píng)估方法。量化指標(biāo)包括測(cè)試量表和生物生理信號(hào)收集，定性指標(biāo)包括實(shí)驗(yàn)前后訪談和實(shí)驗(yàn)期間對(duì)參與者的觀察。評(píng)估層面分為以下幾點(diǎn)：在認(rèn)知層面，使用簡(jiǎn)易智力狀態(tài)檢查量表即MMSE量表對(duì)實(shí)驗(yàn)前后被試者的認(rèn)知進(jìn)行評(píng)估；在情緒層面，采用GDS老年抑郁篩查量表衡量被試者的抑郁癥狀和情緒狀態(tài)，運(yùn)用攝像機(jī)觀察記錄被試者的面部表情，并使用BITalino心率檢測(cè)套裝收集心電信號(hào)ECG；在行為層面，運(yùn)用攝像機(jī)全程記錄被試者的身體動(dòng)作和言語(yǔ)交流，并用ATLAS.ti進(jìn)行視頻定性分析。

3.1.2 實(shí)驗(yàn)過(guò)程

在正式體驗(yàn)振動(dòng)設(shè)備前，阿爾茨海默病患者需要先完成MMSE量表與GDS抑郁量表的評(píng)測(cè)，由于阿爾茨海默病老年患者的讀寫(xiě)能力不足以獨(dú)立完成問(wèn)卷，因此兩份量表均通過(guò)研究人員口頭詢問(wèn)老人并現(xiàn)場(chǎng)記錄答案的方式完成。房間布局被設(shè)定為允許護(hù)工坐在被試者身邊，以便緩解其緊張情緒。

接著為老年被試者依次佩戴心率檢測(cè)設(shè)備與音樂(lè)振動(dòng)設(shè)備，圖5所示為三種不同類(lèi)型的可穿戴原型，分別穿戴于手腕、指尖、腳腕。在佩戴完成后，要求被試者靜坐放松兩分鐘以保持心率平穩(wěn)；接下來(lái)依次為被試者播放舒緩型音樂(lè)、快節(jié)奏音樂(lè)與懷舊型音樂(lè)，被試者可隨著音樂(lè)自然地進(jìn)行反應(yīng)；每聽(tīng)完一段音樂(lè)，都有兩分鐘的休息時(shí)間。在依次感受完三段音樂(lè)后，阿爾茨海默病患者再次在研究人員的詢問(wèn)下完成MMSE量表與GDS抑郁量表，最后詢問(wèn)被試者對(duì)音樂(lè)振動(dòng)干預(yù)過(guò)程的體驗(yàn)性評(píng)價(jià)。

3.1.3 實(shí)驗(yàn)數(shù)據(jù)分析

通過(guò)對(duì)實(shí)驗(yàn)前后量表數(shù)據(jù)的對(duì)比分析和視頻定性分析，對(duì)應(yīng)生理指標(biāo)數(shù)據(jù)從生理認(rèn)知、情緒變化和主動(dòng)行為三個(gè)維度來(lái)評(píng)估被試者的狀態(tài)變化，并通過(guò)半結(jié)構(gòu)化訪談獲取被試者的態(tài)度和評(píng)價(jià)，其中2號(hào)老人因?yàn)閷?shí)驗(yàn)中途退出導(dǎo)致2號(hào)數(shù)據(jù)缺失。

在認(rèn)知層面上，絕大多數(shù)被試者對(duì)音樂(lè)振動(dòng)可穿戴設(shè)備持可接受的態(tài)度，并且他們能感受到觸覺(jué)刺激模式是隨著音樂(lè)變化的。對(duì)比實(shí)驗(yàn)前后四組被試者的MMSE認(rèn)知量表（根據(jù)MMSE癡呆嚴(yán)重程度進(jìn)行分級(jí)：≥21分為輕度；10～20分為中度；≤9分為重度）總得分情況，見(jiàn)圖6a，在音樂(lè)與觸覺(jué)多感官活動(dòng)后，各組被試者的MMSE認(rèn)知量表得分均有不同程度的提高，且佩戴在手指部位的老人比無(wú)振動(dòng)對(duì)照組的老人得分的提高更為明顯。

在情緒層面上，通過(guò)對(duì)實(shí)驗(yàn)前后GDS抑郁量表（根據(jù)抑郁程度分級(jí)：0～10分可視為正常范圍，11～20分為輕度抑郁，21～30分為中重度抑郁）的得分進(jìn)行對(duì)比，見(jiàn)圖6b，可知實(shí)驗(yàn)對(duì)85.7%的老年被試者有效果，在音樂(lè)與觸覺(jué)多感官活動(dòng)后，老年人的抑郁評(píng)分有所下降，說(shuō)明老人們?cè)诨顒?dòng)后對(duì)某些問(wèn)題的想法變得更加積極。根據(jù)視頻分析，佩戴了多感官交互裝置的被試者在感受觸覺(jué)和音樂(lè)刺激的過(guò)程中微笑、開(kāi)心等積極的面部情緒頻次增多。心率也是常見(jiàn)的反映人們情緒變化的定量生理指標(biāo)之一[16]，在實(shí)驗(yàn)中發(fā)現(xiàn)有6名老年患者的心率都出現(xiàn)了不同程度的增加，并且心率增速均在10%以上。以上指標(biāo)表明，所設(shè)計(jì)的多感官交互原型能夠提供令人愉悅的刺激。

圖5 不同部位的穿戴設(shè)備

Fig.5 Wearing devices for different parts

在行為層面上，對(duì)實(shí)驗(yàn)期間所錄制的被試者全身視頻進(jìn)行分析，可以總結(jié)出阿爾茨海默病老人在接受干預(yù)期間出現(xiàn)的八種典型行為動(dòng)作，以及被試者在傾聽(tīng)舒緩型、節(jié)奏型與懷舊型三段音樂(lè)下的動(dòng)作持續(xù)時(shí)長(zhǎng)見(jiàn)圖6c，可見(jiàn)被試者在接受干預(yù)的過(guò)程中多次出現(xiàn)如手部、腳部打節(jié)拍、頭部點(diǎn)動(dòng)等節(jié)奏性行為，且老人在指尖部位佩戴交互原型時(shí)，會(huì)表現(xiàn)出更為豐富的手部動(dòng)作，包括食指點(diǎn)動(dòng)和手部摩擦等，驗(yàn)證了該

交互裝置能夠有效刺激阿爾茨海默病患者主動(dòng)行為的發(fā)生。在測(cè)試的三種音樂(lè)類(lèi)型中，發(fā)現(xiàn)懷舊型歌曲可以引起被試者的主動(dòng)跟唱，說(shuō)明熟悉的歌曲能夠進(jìn)一步喚起、激發(fā)被試者的積極情緒和主動(dòng)行為。

3.1.4 實(shí)驗(yàn)結(jié)論

1）在聽(tīng)–觸覺(jué)多感官交互實(shí)驗(yàn)后，老人在認(rèn)知和情緒層面較實(shí)驗(yàn)前均有所提高；被試者穿戴音樂(lè)振動(dòng)設(shè)備相對(duì)于單純音樂(lè)聆聽(tīng)在認(rèn)知層面的表現(xiàn)有明顯提高；被試者在行為層面表現(xiàn)出八種典型行為動(dòng)作。

2）手指部位的振動(dòng)觸覺(jué)刺激能激發(fā)阿爾茨海默病患者更豐富的手部活動(dòng)，在醫(yī)學(xué)上被證明有助于促進(jìn)患者的腦部活動(dòng)[17]，因此指尖可穿戴設(shè)備是更為適宜的多感官交互設(shè)備形式。

3）懷舊型音樂(lè)相比較其他音樂(lè)形式能夠進(jìn)一步喚起、激發(fā)被試者的積極情緒和主動(dòng)行為，因此適宜選取懷舊音樂(lè)作為阿爾茨海默病患者干預(yù)體驗(yàn)的音樂(lè)類(lèi)型。

圖6 實(shí)驗(yàn)一結(jié)果分析

3.2 聽(tīng)–觸–視覺(jué)的多感官實(shí)驗(yàn)

3.2.1 實(shí)驗(yàn)設(shè)計(jì)方法

1）實(shí)驗(yàn)?zāi)康?。由?shí)驗(yàn)一可知懷舊音樂(lè)與手指振動(dòng)觸覺(jué)結(jié)合，可以讓用戶增進(jìn)積極情緒、提高認(rèn)知能力和主動(dòng)行為。實(shí)驗(yàn)二在聽(tīng)－觸覺(jué)交互原型的基礎(chǔ)上加入視覺(jué)界面交互模式，測(cè)試聽(tīng)–觸–視覺(jué)的多感官交互原型在老人認(rèn)知、情緒和行為三個(gè)層面的提升效果，同時(shí)驗(yàn)證指尖觸發(fā)畫(huà)面反饋方式的有效性。

2）實(shí)驗(yàn)對(duì)象：考慮到實(shí)驗(yàn)一的老年被試者后期身體狀況不佳及疫情等原因，實(shí)驗(yàn)二的被試者選取了另外8名身體狀況相近、聽(tīng)、觸、視覺(jué)均正常的阿爾茨海默病患者（其中包括4名女性，4名男性，年齡均在60歲以上）。提前為老年被試者講解實(shí)驗(yàn)注意事項(xiàng)并邀請(qǐng)其填寫(xiě)用戶知情同意書(shū)。

3）評(píng)估方法：實(shí)驗(yàn)二仍然采取定性與定量相結(jié)合的評(píng)估方法，通過(guò)訪談、量表測(cè)試和攝像記錄來(lái)評(píng)估實(shí)驗(yàn)前后被試者的認(rèn)知、情緒及行為層面的差異。相較于實(shí)驗(yàn)一，實(shí)驗(yàn)二增加了電腦端的音樂(lè)視覺(jué)刺激，在實(shí)驗(yàn)過(guò)程中老人們需佩戴迭代后的指尖振動(dòng)觸覺(jué)可穿戴交互原型，以完成交互過(guò)程，全程運(yùn)用攝像機(jī)全程記錄被試者的面部表情與身體動(dòng)作，并使用ATLAS.ti軟件進(jìn)行視頻定性分析。

3.2.2 實(shí)驗(yàn)過(guò)程

將8名老年被試者進(jìn)行隨機(jī)編號(hào)，實(shí)驗(yàn)前幫助被試者填寫(xiě)MMSE認(rèn)知量表和GDS抑郁量表。實(shí)驗(yàn)中幫助老人佩戴指尖可穿戴設(shè)備，然后聆聽(tīng)?wèi)雅f類(lèi)型歌曲《瀏陽(yáng)河》，并觀看音樂(lè)可視化視頻。老人可以通過(guò)手指的接觸點(diǎn)動(dòng)等動(dòng)作觸發(fā)產(chǎn)生相應(yīng)的畫(huà)面，與視覺(jué)內(nèi)容進(jìn)行互動(dòng)，被試者的測(cè)試畫(huà)面見(jiàn)圖7。音樂(lè)結(jié)束后，詢問(wèn)被試者對(duì)音樂(lè)交互過(guò)程的理解和感受，并填寫(xiě)老年認(rèn)知及抑郁量表。

3.2.3 實(shí)驗(yàn)數(shù)據(jù)分析

在認(rèn)知層面上，通過(guò)MMSE認(rèn)知量表進(jìn)行實(shí)驗(yàn)前后的測(cè)量，得分情況前后對(duì)比見(jiàn)圖8a，可知實(shí)驗(yàn)對(duì)75%的老年被試者有效果，被試者的認(rèn)知量表得分都有不同程度的提高，說(shuō)明音樂(lè)、振動(dòng)、視覺(jué)結(jié)合的干預(yù)手段對(duì)提高阿爾茨海默病患者的認(rèn)知能力具有有效性。在情緒層面上，實(shí)驗(yàn)前后的GDS抑郁量表得分對(duì)比見(jiàn)圖8b，可知實(shí)驗(yàn)對(duì)87.5%的老年被試者有效果，被試者的抑郁量表得分都有不同程度的下降，說(shuō)明經(jīng)過(guò)音樂(lè)視覺(jué)交互活動(dòng)后，老人對(duì)日常生活問(wèn)題的主觀體驗(yàn)更加積極。老人面部表情以微笑、大笑等積極情緒為主，可見(jiàn)被試者在情緒上有了很好的改善，說(shuō)明多感官的融合對(duì)輕度認(rèn)知障礙老年人的主觀情緒體驗(yàn)有一定的效果。

圖7 被試者觀看音樂(lè)可視化視頻

Fig.7 Subject watching the music visualization video

圖8 實(shí)驗(yàn)二結(jié)果分析

在行為層面上，實(shí)驗(yàn)二根據(jù)被試者的活動(dòng)部位和形式對(duì)動(dòng)作和語(yǔ)言進(jìn)行了分類(lèi)，動(dòng)作與時(shí)長(zhǎng)統(tǒng)計(jì)見(jiàn)圖8c。可見(jiàn)被試者的行為類(lèi)型較實(shí)驗(yàn)一中的八種典型動(dòng)作明顯增加了言語(yǔ)互動(dòng)和交流行為，他們會(huì)主動(dòng)講述自己點(diǎn)擊后出現(xiàn)的圖像，會(huì)談?wù)摳枨a(chǎn)生的背景，說(shuō)明添加視覺(jué)圖像有效激發(fā)了老人對(duì)音樂(lè)內(nèi)容的思維和言語(yǔ)行為。不同手指的點(diǎn)動(dòng)仍是主要的活動(dòng)方式，說(shuō)明可交互的音樂(lè)可視化設(shè)計(jì)增加了不同手指的活動(dòng)機(jī)會(huì)，提高了手部行為的發(fā)生概率和主動(dòng)性。

3.2.4 實(shí)驗(yàn)結(jié)論

1）音樂(lè)、振動(dòng)、視覺(jué)結(jié)合的多感官干預(yù)手段對(duì)阿爾茨海默病患者的認(rèn)知能力和情緒體驗(yàn)有很好的改善效果，證明了三種感官形式結(jié)合的有效性。

2）聽(tīng)–觸–視覺(jué)的多感官融合交互體驗(yàn)可以進(jìn)一步促進(jìn)用戶語(yǔ)言交流和主動(dòng)行為的產(chǎn)生，提高用戶的音樂(lè)互動(dòng)性。

3）手指點(diǎn)動(dòng)觸發(fā)相應(yīng)畫(huà)面的動(dòng)態(tài)反饋模式，利于患者接收視覺(jué)反饋，同時(shí)增加了手部動(dòng)作的主動(dòng)性。

4 多感官交互產(chǎn)品設(shè)計(jì)

研究基于聽(tīng)–觸及聽(tīng)–觸–視覺(jué)的實(shí)驗(yàn)結(jié)論，進(jìn)行音樂(lè)特征可視化和可觸化設(shè)計(jì)，為阿爾茨海默病患者設(shè)計(jì)了一款多感官交互產(chǎn)品——指尖鋼琴，搭配可穿戴設(shè)備硬件及軟件控制端，產(chǎn)品使用框架見(jiàn)圖9。

圖9 音樂(lè)治療產(chǎn)品使用框架

4.1 硬件端及使用場(chǎng)景

硬件端為可穿戴手套形態(tài)，外觀設(shè)計(jì)見(jiàn)圖10a，使用過(guò)程見(jiàn)圖10b，首先由護(hù)工或家人為用戶佩戴交互手套，之后在手機(jī)端或者瀏覽器端選擇播放曲目?？纱┐魇痔椎姆答伳Ｊ接袃煞N，模式一通過(guò)振動(dòng)和LED燈光進(jìn)行實(shí)時(shí)反饋提示，用戶能在欣賞音樂(lè)時(shí)感受到觸覺(jué)模式的刺激，同時(shí)按照指尖端LED燈的提示敲擊桌面，即可彈奏出相應(yīng)的音符。模式二通過(guò)連接軟件端，進(jìn)行視覺(jué)畫(huà)面的動(dòng)效反饋，將音樂(lè)的振幅實(shí)時(shí)轉(zhuǎn)換為包含不同強(qiáng)度和數(shù)量的觸覺(jué)模式，以反映音樂(lè)節(jié)奏的變化并觸發(fā)相應(yīng)畫(huà)面。阿爾茨海默病老人還可以與同伴一起使用指尖鋼琴，在聆聽(tīng)同一首歌曲的情況下敲擊音符。硬件端以觸覺(jué)和聽(tīng)覺(jué)為主，觸聽(tīng)同步，以視覺(jué)為輔，創(chuàng)造了阿爾茨海默病患者干預(yù)輔助設(shè)備的交互新模式。不僅能夠用于音樂(lè)療法中輔助阿爾茨海默病患者參與醫(yī)療干預(yù)，也可作為日常娛樂(lè)放松和陶冶情操的休閑產(chǎn)品。

4.2 軟件端及使用場(chǎng)景

軟件端以《瀏陽(yáng)河》為例通過(guò)processing軟件進(jìn)行音樂(lè)可視化的核心功能設(shè)計(jì)，構(gòu)建了三個(gè)音樂(lè)場(chǎng)景，使用場(chǎng)景見(jiàn)圖11。動(dòng)態(tài)視覺(jué)畫(huà)面元素（如雨點(diǎn)大小、河流水位等）與音樂(lè)節(jié)奏和響度等音樂(lè)參數(shù)分別建立視覺(jué)映射關(guān)系，隨著音樂(lè)的播放出現(xiàn)相應(yīng)的視覺(jué)特征變化。用戶在穿戴手套后用手指進(jìn)行點(diǎn)擊，可觸發(fā)不同的交互畫(huà)面元素，控制畫(huà)面的雨點(diǎn)大小及水位高低等，從而呈現(xiàn)出動(dòng)態(tài)的多層次場(chǎng)景，讓用戶主動(dòng)進(jìn)行故事場(chǎng)景的發(fā)現(xiàn)與構(gòu)建，實(shí)現(xiàn)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)的多感官交互性音樂(lè)體驗(yàn)。

圖10 硬件端外觀與使用場(chǎng)景

圖11 軟件端使用場(chǎng)景

5 結(jié)語(yǔ)

面對(duì)老齡化這樣一個(gè)綜合的社會(huì)問(wèn)題，設(shè)計(jì)學(xué)科逐漸發(fā)展出以老人為對(duì)象的包容性設(shè)計(jì)理念，失智老年群體更是備受關(guān)注[18]。新型的可穿戴音樂(lè)多感官交互設(shè)計(jì)旨在通過(guò)新穎的交互形式和多通道刺激來(lái)激發(fā)阿爾茨海默病患者的主動(dòng)行為，改善其情緒，以達(dá)到減緩患者癥狀的目的。實(shí)地用戶研究及兩次原型實(shí)驗(yàn)表明，所開(kāi)發(fā)的原型易于穿戴使用，老年患者的認(rèn)知、情緒、行為層面均有所改善，懷舊型音樂(lè)可以幫助阿爾茨海默病患者進(jìn)行情緒喚醒，聽(tīng)–觸–視覺(jué)多感官結(jié)合的方式可以很好地激發(fā)老年患者的音樂(lè)討論和動(dòng)作主動(dòng)性。此次短期干預(yù)實(shí)驗(yàn)對(duì)設(shè)計(jì)原型的可用性進(jìn)行了初步證明，后期將對(duì)可穿戴設(shè)計(jì)原型進(jìn)行迭代優(yōu)化，尋找更多實(shí)驗(yàn)被試者進(jìn)行設(shè)計(jì)的可用性分析，同時(shí)對(duì)適用于阿爾茨海默病患者的音樂(lè)類(lèi)型及曲目進(jìn)行更廣泛深入的探索，進(jìn)一步驗(yàn)證音樂(lè)、觸覺(jué)和視覺(jué)對(duì)阿爾茨海默病患者的長(zhǎng)期性影響。

[1] 馬善新, 宋魯平. 阿爾茨海默病康復(fù)管理中國(guó)專家共識(shí)要點(diǎn)解讀[J]. 中國(guó)醫(yī)刊, 2020, 55(8): 833-840. MA Shan-xin, SONG Lu-ping. Interpretation of China Expert Consensus on Rehabilitation Management of Alzheimer's Disease[J]. Chinese Journal of Medicine, 2020, 55(8): 833-840.

[2] 李晨萌, 時(shí)晶, 魏明清, 等. 阿爾茨海默病精神行為癥狀分布特點(diǎn)(附216例報(bào)告)[J]. 北京醫(yī)學(xué), 2020, 42(5): 366-369. LI Chen-meng, SHI Jing, WEI Ming-qing, et al. Distribution Characteristics of Mental and Behavioral Symptoms of Alzheimer's Disease (Report of 216 Cases)[J]. Beijing Medical Journal, 2020, 42(5): 366-369.

[3] BENDER M P, CHESTON R. Inhabitants of a Lost Kingdom: A Model of the Subjective Experiences of Dementia[J]. Ageing and Society, 1997, 17(5): 513-532.

[4] SáNCHEZ A, MASEDA A, MARANTE-MOAR M P, et al. Comparing the Effects of Multisensory Stimulation and Individualized Music Sessions on Elderly People with Severe Dementia: A Randomized Controlled Trial[J]. Journal of Alzheimer’s Disease: JAD, 2016, 52(1): 303-315.

[5] 王宏超, 張奇. 音樂(lè)干預(yù)改善阿爾茨海默癥自傳體記憶障礙的效果[J]. 中國(guó)心理衛(wèi)生雜志, 2020, 34(6): 482-486. WANG Hong-chao, ZHANG Qi. A Review of Effect of Music Intervention on Improving Autobiographical Memory Impairment in Patients with Alzheimer Disease[J]. Chinese Mental Health Journal, 2020, 34(6): 482-486.

[6] HULDTGREN A, MERTL F, VORMANN A, et al. Reminiscence of People with Dementia Mediated by Multimedia Artifacts[J]. Interacting With Computers, 2017, 29(5): 679-696.

[7] SCHELLE K J, NARANJO C G, TEN BH?MER M, et al. Tactile Dialogues: Personalization of Vibrotactile Behavior to Trigger Interpersonal Communication[C]. Proceedings of the Ninth International Conference on Tangible, Embedded, and Embodied Interaction. Stanford, California, USA. New York: ACM, 2015: 637-642.

[8] KIM H Y, Tan J, Toomey A. Co-designing interactive textile for multisensory environments(Conference Paper)[J]. Advances in Intelligent Systems and Computing, 2019, Vol.849: 205-211.

[9] YAMAZAKI Y, MITAKE H, HASEGAWA S. Tension-Based Wearable Vibroacoustic Device for Music Appreciation[C]. Bello F, Kajimoto H, Visell Y. International Conference on Human Haptic Sensing and Touch Enabled Computer Applications. Cham: Springer, 2016: 273-283.

[10] 孫效華, 馮澤西. 可穿戴設(shè)備交互設(shè)計(jì)研究[J]. 裝飾, 2014(2): 28-33. SUN Xiao-hua, FENG Ze-xi. Research on Interactive Design of Wearable Devices[J]. Art & Design, 2014(2): 28-33.

[11] KARAM M, RUSSO F A, FELS D I. Designing the Model Human Cochlea: An Ambient Crossmodal Audio-Tactile Display[J]. IEEE Transactions on Haptics, 2009, 2(3): 160-169.

[12] FLORIAN H, MOCANU A, VLASIN C, et al. Deaf People Feeling Music Rhythm by Using a Sensing and Actuating Device[J]. Sensors and Actuators A: Physical, 2017, 267: 431-442.

[13] Wang, WZ (Wang, Weizhen); Nagai, Y (Nagai, Yukari); Fang, Y (Fang, Yuan); Maekawa, M (Maekawa, Masami). Interactive technology embedded in fashion emotional design: Case study on interactive clothing for couples (Article)[J]. International Journal of Clothing Science and Technology, 2018, Vol.30(3): 302-319

[14] MILLER M, H?U?LER J, KRAUS M, et al. Analyzing Visual Mappings of Traditional and Alternative Music Notation[EB/OL]. https://arxiv. org/abs/1810.10814.

[15] BRUSCIA K E, Standards of Integrity for Qualitative Music Therapy Research[J].Journal of music therapy, 1998, Vol.35(3): 176-200.

[16] 張曉敏, 尹愛(ài)青. 音樂(lè)誘發(fā)情緒的測(cè)量方式研究[J]. 中央音樂(lè)學(xué)院學(xué)報(bào), 2017(1): 136-149. ZHANG Xiao-min, YIN Ai-qing. Research on the Meas-urement Method of Music-Induced Emotion[J]. Journal of the Central Conservatory of Music, 2017(1): 136-149.

[17] TREADAWAY C, TAYLOR A, FENNELL J. Compassionate Design for Dementia Care[J]. International Journal of Design Creativity and Innovation, 2019, 7(3): 144-157.

[18] 胡飛, 張曦. 為老齡化而設(shè)計(jì): 1945年以來(lái)涉及老年人的設(shè)計(jì)理念之生發(fā)與流變[J]. 南京藝術(shù)學(xué)院學(xué)報(bào)(美術(shù)與設(shè)計(jì)), 2017(6): 33-44, 235. HU Fei, ZHANG Xi. Design for Aging: Development and Evolution of the Design Concept Involving the Elderly since 1945[J]. Journal of Nanjing Arts Institute (Fine Arts & Design), 2017(6): 33-44, 235.

Design of Smart Wearable Products for the Elderly of Alzheimer's Disease Based on Multi-sensory Interaction

OU Jing1, TAN Yu1, FANG Ying-jie1, KANG Qing-chun1, XU Ying2

(1.Hunan University, Changsha 410012, China; 2.Hunan University of Chinese Medicine, Changsha 410208, China)

The work aims to investigate the involvement of auditory, tactile and visual multi-sensory stimuli in the care of the elderly with Alzheimer's disease, to enhance their perception of music with the help of smart hardware and software technologies, and to design a smart wearable product for the elderly with multi-sensory interaction. Based on the principles of perceptual substitution and empathy, a sensory substitution method was created to transform music into vibratory and visual information. And experimental tests were conducted to verify the feasibility of the auditory-tactile and the auditory-tactile-visual multi-sensory interaction prototypes. Adding visual design based on the integration of auditory-tactile senses can better stimulate the speech behavior ability of the elderly. A fingertip vibrating music wearable device, the Fingertip Piano, was designed based on the result of analysis on feedback from the subjects to promote active behavior by providing a multi-sensory experience that integrates touch, hearing and vision. The design of the multi-sensory interactive product is effective in improving the mood and active behavior of Alzheimer's patients and has positive implications for the physical health and living quality of elderly patients.

Alzheimer's disease; multi-sensory interaction; sensory substitution; vibratory tactile; wearable design

TB472

A

1001-3563(2023)10-0116-09

10.19554/j.cnki.1001-3563.2023.10.011

2022–12–13

教育部人文社會(huì)科學(xué)研究項(xiàng)目（21YJC760056）；湖南省普通高等學(xué)校教學(xué)改革研究項(xiàng)目（HNJG-2020-0093）

歐靜（1981—），女，博士，副教授，主要研究方向?yàn)楣I(yè)設(shè)計(jì)人機(jī)工程學(xué)、智能交互硬件及產(chǎn)品開(kāi)發(fā)、智能可穿戴設(shè)計(jì)及智能裝備等。

責(zé)任編輯：馬夢(mèng)遙