姜建浩

衢州市人民醫(yī)院設(shè)備處 （浙江衢州 324000）

隨著人口結(jié)構(gòu)的老齡化發(fā)展，我國老年人口在總?cè)丝谥兴急壤絹碓酱?。老年人機(jī)體抵抗力差，是各種疾病的高發(fā)人群，而且老年人普遍存在行動(dòng)不便、就醫(yī)困難的問題[1]。解決老年人看病和保健的難題，實(shí)現(xiàn)智慧健康養(yǎng)老是我國醫(yī)療服務(wù)體系改革的重要目標(biāo)[2]?，F(xiàn)階段的養(yǎng)老服務(wù)不夠人性化，存在獨(dú)居老年人缺乏親情關(guān)愛、安全隱患多、醫(yī)療服務(wù)需求不能滿足、子女無法實(shí)時(shí)了解老年人生活狀況等問題。情緒是人對(duì)客觀事物的態(tài)度體驗(yàn)以及相應(yīng)的行為反應(yīng)，情緒狀態(tài)成為檢測(cè)老年人對(duì)生活狀態(tài)態(tài)度的一個(gè)定量指標(biāo)，研究一種能夠及時(shí)獲取老年人情緒狀態(tài)，尤其是負(fù)面（悲傷）情緒狀態(tài)的遠(yuǎn)程監(jiān)控系統(tǒng)具有重要意義?；诿娌勘砬榈那榫w識(shí)別方法是一種不影響老年人日常生活的檢測(cè)方法。本研究設(shè)計(jì)了一種基于情緒識(shí)別的遠(yuǎn)程老年人看護(hù)系統(tǒng)，該系統(tǒng)通過英特爾開放式視覺推理和神經(jīng)優(yōu)化模塊Openvino 進(jìn)行基于表情的情緒識(shí)別以判斷家中老年人的情緒，利用Python 的微信操作模塊Wxpy 進(jìn)行微信信息交互，使用圖靈機(jī)器人進(jìn)行用戶語句的模糊查詢[3]。

1 系統(tǒng)架構(gòu)

該系統(tǒng)基于微信構(gòu)建聊天機(jī)器人，以微信為操作終端構(gòu)建聊天平臺(tái)，通過圖靈機(jī)器人對(duì)微信中的查詢內(nèi)容進(jìn)行匹配，反饋查詢結(jié)果。其中，聊天機(jī)器人采用Python 的Wechat_sender 模塊進(jìn)行構(gòu)建，Wechat_sender 模塊是一個(gè)基于微信操作模塊Wxpy 和Tornado 的可以將網(wǎng)站、爬蟲、腳本等其他應(yīng)用中的各種消息發(fā)送至微信的工具[4]。

系統(tǒng)采用微信群作為用戶界面，將檢測(cè)老年人情緒狀態(tài)的聊天機(jī)器人和家屬加入微信群中。于老年人家中設(shè)置一個(gè)常規(guī)攝像頭和服務(wù)器，該服務(wù)器包含兩個(gè)運(yùn)行單元，其中情緒識(shí)別檢測(cè)單元用于獲取攝像頭圖像并進(jìn)行識(shí)別，然后將識(shí)別到的悲傷情緒信息發(fā)送至微信交互單元，由微信交互單元將悲傷情緒信息發(fā)送至聊天群組，同時(shí)存儲(chǔ)相應(yīng)的悲傷情緒圖片到指定位置。

微信交互單元為圖像獲取程序，負(fù)責(zé)在微信群組通信。微信交互單元檢測(cè)群組發(fā)出的文字信息，當(dāng)接收到用戶文字信息后，將文字消息傳送至圖靈機(jī)器人平臺(tái)進(jìn)行處理；圖靈機(jī)器人平臺(tái)接收信息后，查詢語料知識(shí)庫進(jìn)行模糊匹配，并將匹配查找的內(nèi)容反饋給微信交互單元；微信交互單元判斷是否為需應(yīng)答指令，如果為需應(yīng)答指令，則提供悲傷情緒圖片。系統(tǒng)架構(gòu)見圖1。

圖1 系統(tǒng)設(shè)計(jì)架構(gòu)

2 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

2.1 服務(wù)器搭建

通過可以接入網(wǎng)絡(luò)的電腦作為服務(wù)器，搭載情緒識(shí)別、微信信息交互相應(yīng)程序。服務(wù)器配置如下：Inter?Core?i5 CPU 4.5GHz，Windows 7 專業(yè)版 64 位，4G 內(nèi)存，500GB硬盤。Python 使用3.7版本。

2.2 情緒識(shí)別

情緒識(shí)別硬件使用英特爾神經(jīng)計(jì)算棒二代，插入服務(wù)器USB 端，情緒識(shí)別通過搭載在神經(jīng)計(jì)算棒的英特爾Openvino 工具套件實(shí)現(xiàn)[5]。Openvino 工具套件是英特爾于2018年發(fā)布的，主要用于計(jì)算機(jī)視覺、實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型優(yōu)化和推理計(jì)算加速的軟件工具套件。本系統(tǒng)使用Python 面向Openvino 的模塊進(jìn)行數(shù)據(jù)處理[6]。

情緒識(shí)別的模型采用在Caffe，TensorFlow 等框架中預(yù)先訓(xùn)練的深度學(xué)習(xí)計(jì)算機(jī)視覺模型，然后使用Openvino 工具套件進(jìn)行優(yōu)化，獲得模型的中間表示[7]。中間表示包括兩個(gè)文件，一個(gè)是存儲(chǔ)模型權(quán)重參數(shù)的*.bin 文件，另一個(gè)是描述神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的*.xml 文件。獲得中間表示文件后，就可以在用戶應(yīng)用程序中調(diào)用推理引擎完成推理計(jì)算。本系統(tǒng)直接獲取中間表示文件實(shí)現(xiàn)情緒識(shí)別，具體流程如下。

2.2.1 載入硬件插件和中間表示文件

2.2.2 準(zhǔn)備輸入輸出張量

2.2.3 載入模型

2.2.4 準(zhǔn)備輸入數(shù)據(jù)

2.2.5 執(zhí)行推理計(jì)算，獲取情緒識(shí)別輸出

2.3 微信信息交互

2.3.1 情緒信息發(fā)送

在服務(wù)器上使用Python 搭建情緒識(shí)別程序，程序中使用Wechat_sender 模塊與微信交互單元進(jìn)行交互，即：

sender = Sender(token='test', receivers='家庭群')

2.3.2 微信信息交互

2.3.3 智能應(yīng)答系統(tǒng)設(shè)計(jì)

這部分內(nèi)容在圖靈機(jī)器人的語料庫完成。通過查詢圖靈機(jī)器人的開發(fā)者文檔，開發(fā)者可通過創(chuàng)建自己的語料庫實(shí)現(xiàn)自定義的智能問答功能[8]。此外，對(duì)于同一個(gè)返回答案，可以在圖靈機(jī)器人語料庫中添加相似問法，從而使圖靈機(jī)器人能夠更加準(zhǔn)確地理解用戶意圖，如“幫我獲取現(xiàn)在照片”的相似問法有“返回現(xiàn)在照片”“給我拿現(xiàn)在照片”等。為了進(jìn)一步提高圖靈機(jī)器人的應(yīng)答準(zhǔn)確率，可以修改應(yīng)答匹配度。

在微信中輸入的查詢語句主要包含兩類文字?jǐn)?shù)據(jù)。一類為獲取檢測(cè)到悲傷情緒的圖像，如“幫我獲取悲傷時(shí)照片”，應(yīng)答數(shù)據(jù)為“PIC_SAD_OUT”，當(dāng)獲取到該應(yīng)答數(shù)據(jù)時(shí)，返回悲傷時(shí)照片；另一類為獲取當(dāng)下及時(shí)的圖像，如“幫我獲取現(xiàn)在照片”，應(yīng)答數(shù)據(jù)為“PIC_NOW_OUT”，當(dāng)獲取到該應(yīng)答數(shù)據(jù)時(shí)，返回及時(shí)照片。

3 系統(tǒng)的應(yīng)用

當(dāng)聊天機(jī)器人進(jìn)入家屬群之后，群內(nèi)家屬用戶等待悲傷情緒檢測(cè)信息。當(dāng)檢測(cè)到悲傷情緒時(shí)，聊天機(jī)器人會(huì)給出“檢測(cè)到悲傷情緒”的信息，家屬通過發(fā)布文字信息，如“幫我獲取悲傷時(shí)照片”，聊天機(jī)器人返回最近檢測(cè)到的悲傷照片。

4 討論

本系統(tǒng)為一種基于情緒識(shí)別的遠(yuǎn)程老年人看護(hù)系統(tǒng)，是通過情緒識(shí)別和微信交互模塊構(gòu)建的實(shí)時(shí)監(jiān)控老年人情緒的看護(hù)系統(tǒng)，目的是實(shí)現(xiàn)對(duì)老年人的及時(shí)關(guān)愛。本系統(tǒng)基于Openvino 的情緒識(shí)別判斷家中老年人的情緒，通過Python 的微信操作模塊Wxpy 進(jìn)行微信信息交互，利用圖靈機(jī)器人進(jìn)行用戶語句的模糊查詢。本系統(tǒng)實(shí)例實(shí)現(xiàn)了家中監(jiān)控老年人情緒狀態(tài)，檢測(cè)到悲傷情緒后發(fā)送到微信群，老年人家屬通過文字信息獲取悲傷情緒時(shí)圖片。

雖然面部表情可以相對(duì)直接地反映出人們的心理活動(dòng)和情緒狀態(tài)，是情緒表達(dá)的重要方式，但在真實(shí)環(huán)境中，姿勢(shì)、光照、距離等因素會(huì)對(duì)表情的識(shí)別產(chǎn)生較大影響。通過觀察身體動(dòng)作、姿勢(shì)、語調(diào)等不同的形式可提高對(duì)情緒狀態(tài)的識(shí)別準(zhǔn)確度[9]。因此，研究如何通過整合身體姿態(tài)、面部表情等多模態(tài)信息以提高情緒識(shí)別準(zhǔn)確率是下一步的研究重點(diǎn)。