周神美　朱屹誠　李星燁　張大秀

摘? 要：在信息爆炸的時代，針對人們常伴有焦慮抑郁等不良情緒會對其生理和心理造成不可逆轉(zhuǎn)傷害的問題，文章設(shè)計了一款私人心理“醫(yī)生”。該私人心理“醫(yī)生”通過所收集的用戶面部表情的照片或視頻，運(yùn)用面部識別技術(shù)來識別人臉;繼而通過微表情技術(shù)，精準(zhǔn)地識別微表情中隱藏和壓抑的情緒信號;最后通過情感識別技術(shù)推測和初步判斷用戶的情緒，并對其心理問題做出診斷。

關(guān)鍵詞：面部情感識別;微表情;心理健康;緩解推薦

中圖分類號：TP391.4? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2021）20-0011-05

Design and Implementation of Private Psychological “Doctor”

ZHOU Shenmei， ZHU Yicheng， LI Xingye， ZHANG Daxiu

（Bengbu University， Bengbu? 233030， China）

Abstract： In the era of information explosion， aiming at the problem that people are often accompanied by adverse emotions such as anxiety and depression， which will cause irreversible damage to their physiology and psychology， this paper designs a private psychological “doctor”. The private psychological “doctor” uses face recognition technology to recognize faces through the collected photos or videos of users facial expressions; then， through micro expression technology， it can accurately identify the hidden and repressed emotional signals in micro expression; finally， the emotion of users is inferred and preliminarily judged through emotion recognition technology， and their psychological problems are diagnosed.

Keywords： facial emotion recognition; micro expression; mental health; mitigation recommendation

0? 引? 言

2020年初，受新冠肺炎疫情的影響，人們需要居家隔離減少社會活動，網(wǎng)絡(luò)的過度使用以及身體活動受限，影響了人們的心理狀態(tài)，使其更容易產(chǎn)生負(fù)面情緒。由于出行受限，許多群眾不能及時前往醫(yī)院就醫(yī)。近幾年出現(xiàn)了如好醫(yī)生、健康小屋、欣九康健康等一系列網(wǎng)絡(luò)問診平臺，這些平臺具有智能診斷、智能病例分析、快速復(fù)診等功能，使醫(yī)生可以方便快捷地為患者診療，為出行不便的患者就醫(yī)提供便利。然而，這些網(wǎng)絡(luò)問診平臺基本上只關(guān)注生理方面的診斷治療，心理方面的診療卻寥寥無幾。本文提出的私人心理“醫(yī)生”可以完成對患者心理問題的初步診斷，給出科學(xué)的建議，從而達(dá)到輔助治療、緩解壓力的效果。

1? 系統(tǒng)設(shè)計

私人心理“醫(yī)生”的整體結(jié)構(gòu)如圖1所示，主要包括圖像采集、人臉識別系統(tǒng)、情感匹配數(shù)據(jù)庫、控制系統(tǒng)等部分。其整體工作流程為：首先自動打開攝像頭，對用戶進(jìn)行圖像采集，通過攝像頭讀取用戶的臉部模型和臉部表情;然后通過人臉識別系統(tǒng)對用戶的微表情進(jìn)行識別分析，并將分析結(jié)果傳送至情感匹配數(shù)據(jù)庫進(jìn)行匹配，從而得到用戶當(dāng)前的情感狀態(tài);隨后將情緒匹配結(jié)果傳送至控制系統(tǒng)，控制系統(tǒng)對聽覺、視覺、空氣條件三大模塊發(fā)布指令，通過智能設(shè)備調(diào)節(jié)出一個相對舒適的環(huán)境，從而達(dá)到改善用戶心情的目的。用戶也可以依照自己的生活習(xí)慣，通過操作系統(tǒng)自行設(shè)置待啟動的模塊，從而實現(xiàn)更加人性化、個性化的調(diào)節(jié)。

1.1? 圖像采集

圖像采集是指相機(jī)將采集到的光學(xué)圖像轉(zhuǎn)換成視頻信號，然后把視頻信號送入圖像采集卡，進(jìn)行數(shù)字化處理，再轉(zhuǎn)換成圖像數(shù)據(jù)的過程，最后通過計算機(jī)對這些數(shù)據(jù)進(jìn)行處理和存儲。圖像采集有灰度和采集分辨率兩個指標(biāo)，將視覺傳感器采集到的光信號轉(zhuǎn)換為電信號，經(jīng)過空間采樣和幅度轉(zhuǎn)換后，信號被轉(zhuǎn)換成數(shù)字圖像。

1.2? 人臉識別系統(tǒng)

二十世紀(jì)六十年代，西方國家德國、日本、美國率先開始研究人臉識別，到九十年代后期，人臉識別技術(shù)才開始在中國起步。人臉識別是一項復(fù)雜的技術(shù)，人體面部檢測和面部身份認(rèn)證都屬于面部識別技術(shù)的范疇，并涉及許多領(lǐng)域的知識內(nèi)容，例如人工智能、圖像數(shù)字化處理、計算機(jī)視覺層面和神經(jīng)網(wǎng)絡(luò)。人臉識別通過人臉特征采集、人臉部位檢測、人臉匹配等環(huán)節(jié)，快速識別和獲取目標(biāo)的身份信息，從而達(dá)到解鎖設(shè)備、人臉支付、考察考勤、偵查犯罪分子等目的，具有無須接觸、侵?jǐn)_性弱、采集便捷等優(yōu)點。

人臉識別系統(tǒng)[1-3]有兩個模塊：人臉檢測模塊和人臉識別模塊。人臉檢測模塊采用自帶人臉檢測器的dlib庫，并采用經(jīng)典的方向梯度直方圖加線性分類器的方案，提高人臉識別的準(zhǔn)確性。人臉識別模塊需要用到兩個模型，一個是人臉關(guān)鍵點檢測模型，另一個是人臉識別模型。人臉關(guān)鍵點檢測模型用于檢測和收集面部的68個特征點。為了使人臉識別更加精準(zhǔn)，同時使不同表情的人臉置于相同的位置時，系統(tǒng)均會對整個五官和面部輪廓進(jìn)行有效識別，在繪制完68個特征點之后，人臉識別模型可以將面部信息提取成128維的向量空間，并對所收集的信息進(jìn)行分析。編碼人臉識別過程如圖2所示。

1.3? 微表情

人們通過觀察某人面部表情、肢體語言或者聽聞其聲音達(dá)到認(rèn)識了解該人的目的，其中通過表情分析情緒在心理學(xué)領(lǐng)域受到廣泛的關(guān)注[2]。但由于人類的自我保護(hù)意識較強(qiáng)，在很多情況下習(xí)慣于通過偽裝或者抑制自己的真實情感來自我保護(hù)，這將導(dǎo)致通過正常的面部表情分析所得到的情感并不準(zhǔn)確。然而，在人們偽裝的情緒下會產(chǎn)生一種局部、瞬間的面部表情，即微表情。微表情是指人們在試圖隱藏或壓抑情緒信號，卻又無法做到完全隱藏或壓抑情緒信號而不自覺流露出來的不易覺察的表情。此外，由于微表情呈現(xiàn)時間極短，只會在臉上持續(xù)1/25到1/5秒的時間，而且無法被有意識地壓制，所以通常它又被視為揭示人類隱藏真實情緒的重要途徑。

1.4? 情感識別

情感識別有兩種方式：一種是通過給定圖片路徑對獲取的圖片進(jìn)行情感識別;另一種是通過攝像頭獲取圖片進(jìn)行識別并且實時顯示識別結(jié)果。情感識別的主要流程如圖3所示，即先用dlib庫的人臉檢測算法獲取圖片中的人臉，將人臉圖片部分截取下來后進(jìn)行大小調(diào)整以及灰度化，接著通過已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型對圖片進(jìn)行情感識別，最后顯示識別的結(jié)果[4，5]。

因為面部表情具有豐富性和復(fù)雜性等特征，所以采用了客觀的編碼標(biāo)準(zhǔn)，即采用面部動作編碼系統(tǒng)（Facial Action Coding System， FACS）對面部表情進(jìn)行客觀的編碼。根據(jù)面部的運(yùn)動強(qiáng)度分解面部表情，分析各個面部肌肉。

1.5? 識別功能實現(xiàn)

1.5.1? 圖片剪輯

圖片剪輯是利用dlib.get_frontal_face_detector（）初始化人臉檢測器detector，檢測人臉在圖片中的位置，再進(jìn)行圖片裁剪，只保留圖片中的人臉部分，具體代碼為：

gray = cv2.cvtColor（image， cv2.COLOR_BGR2GRAY）

clahe = cv2.createCLAHE（clipLimit=2.0， tileGridSize=（8， 8））

clahe_image = clahe.apply（gray）

detections = detector（clahe_image， 1）

for k， d in enumerate（detections）：

1.5.2? 提取特征

圖片剪輯后，通過提取人臉的坐標(biāo)特征、動作單位（AUs）、動作特征獲取整個人臉的主要特征：

Step1：提取人臉坐標(biāo)特征，圖片剪輯后利用dlib.shape_predictor（）初始化predictor，提取出68個人臉坐標(biāo)。

for k， d in enumerate（detections）：

shape = predictor（clahe_image， d）

xlist = []

ylist = []

for i in range（0， 68）：

cv2.circle（clahe_image， （shape.part（i）.x， shape.part（i）.y）， 1， （0， 0， 255）， thickness=2）

xlist.append（float（shape.part（i）.x））

ylist.append（float（shape.part（i）.y））

Step2：提取動作單位（AUs），利用68個人臉坐標(biāo)特征，通過幾何法運(yùn)算得出動作單位。

Step3：提取動作特征，結(jié)合opencv2的Video Capture? （），遍歷視頻的每一幀圖像，得到整個人臉表情特征。

def getVideoFeature（path_video， path_feature）：

1.6? 控制模塊

檢測識別面部表情之后，需要對檢測出的對應(yīng)情感進(jìn)行緩解治療，具體的控制模塊如圖4所示。

1.6.1? 聽覺調(diào)節(jié)模塊

聽覺是影響人們情緒變化的重要因素，人們的喜怒哀樂等情緒可以通過音樂來表達(dá)，音樂對人的心理具有一定的調(diào)節(jié)作用。例如，悠長的音樂會讓管理人類情緒和感覺的大腦產(chǎn)生自主反應(yīng)，從而引起個人情緒上的變化。人的不同意識和狀態(tài)會產(chǎn)生不同頻率的腦電波，頻率在8～12 Hz之間的α波通常出現(xiàn)在人們輕松、愉悅、舒適時;大腦處于β波狀態(tài)時，說明人們感到焦慮或不安。利用這些特征，對不同的音樂進(jìn)行相應(yīng)的分類，將其保存在系統(tǒng)數(shù)據(jù)庫中，以便為處于不同情感狀態(tài)的個人給出相應(yīng)的音樂。系統(tǒng)成功識別出用戶情緒后，由控制系統(tǒng)發(fā)出指令，控制音樂播放器播放適當(dāng)?shù)囊魳罚ㄉ踔潦强刂埔魳返念l率和波形），通過控制聲樂，達(dá)到調(diào)節(jié)用戶心情的目的。

1.6.2? 視覺調(diào)節(jié)模塊

人的視力也是影響情緒的重要因素之一，不同的顏色會對人產(chǎn)生不同的影響。比如，充滿活力的紅色，可以讓人富有激情;藍(lán)色可以讓人的內(nèi)心平靜下來，使人放松。外在的意象豐富，內(nèi)在的心理復(fù)雜，外在意象對內(nèi)在心理的影響是神奇而微妙的。同一人不同境況下對于相同的景物，產(chǎn)生的情緒可能大有不同。比如，某人看到一朵花，當(dāng)其處于高興狀態(tài)時就會覺得花在嬌艷中透著可愛，難過時不禁覺得花在美麗中暗含幾分憂傷;同樣的景色，初次觀看的人欣賞它的秀美，經(jīng)常過目的人感受它的平淡。與聽覺模塊類似，系統(tǒng)在接收到來自控制系統(tǒng)的命令后，可以根據(jù)當(dāng)前的情緒匹配結(jié)果控制視頻播放不同的畫面，達(dá)到色彩控制的目的，從而調(diào)節(jié)用戶的情緒。

1.6.3? 空氣條件調(diào)節(jié)模塊

除了聽覺和視覺會影響情緒外，觸覺和嗅覺也會在一定程度上影響情緒。例如，新鮮的空氣可以為大腦帶來更多的氧氣，使人體細(xì)胞擁有大量的氧氣，從而確保其能夠高效運(yùn)行。悶熱的空氣會使人心煩意亂、無精打采，沮喪和困倦。當(dāng)一個人的情緒處于緊張、焦慮狀態(tài)時，淡淡的清香可以使其大腦放松，情緒逐漸得以改善?？諝鈼l件調(diào)節(jié)模塊主要利用空調(diào)、加濕器等裝置來改變空氣環(huán)境，控制系統(tǒng)發(fā)出指令后，可以根據(jù)用戶的情緒匹配情況調(diào)整溫度和濕度。同時，芳香精油被設(shè)置在加濕器內(nèi)部，如有必要，可以將其自動添加到加濕器的水中，飄出一絲絲淡淡的芳香，協(xié)助調(diào)整用戶的情緒[6]。

2? 程序流程設(shè)計

2.1? 初始化

產(chǎn)品的開啟可以通過微信一鍵登錄功能實現(xiàn)，在用戶同意授權(quán)后即可完成微信號免密登錄（無須驗證），給用戶帶來更高的安全性和更好的使用體驗，也可使用賬號密碼登錄。為提高識別的準(zhǔn)確性，首次使用時，用戶需要在喜、怒、哀、樂四個圖標(biāo)中分別上傳對應(yīng)的表情，作為四種基礎(chǔ)表情，如圖5所示。

2.2? 識別

初始化完成后，進(jìn)入識別頁面，用戶需點擊一鍵識別，并將手機(jī)的前置攝像頭正對面部，穩(wěn)定地保持一會，即可得到表情分析報告。情感報告以六邊形的模塊實現(xiàn)，體現(xiàn)用戶的情感區(qū)間，再點擊解決方案。私人心理“醫(yī)生”將會根據(jù)用戶的表情分析報告給出適當(dāng)?shù)慕ㄗh，同時控制系統(tǒng)會控制智能家居對室內(nèi)環(huán)境進(jìn)行調(diào)節(jié)，讓用戶處在一個更加舒適的環(huán)境之中，具體識別過程如圖6所示。

2.3? 個人

如圖7所示，在個人頁面中用戶可以綁定自己佩戴的手環(huán)、智能家居等健康監(jiān)測設(shè)備。用戶佩戴設(shè)備，系統(tǒng)可以記錄其每日的運(yùn)動消耗，睡眠質(zhì)量等參數(shù)。借助藍(lán)牙可以將參數(shù)上傳到該應(yīng)用，用戶可以隨時在該應(yīng)用中查看自己的身體狀況。智能家居則會根據(jù)所識別的用戶情感情況，從舒適度方面適度調(diào)節(jié)室內(nèi)環(huán)境，從而更好地調(diào)節(jié)用戶情緒。

2.4? 其他功能設(shè)計

2.4.1? 青少年模式和老年模式

老年模式與子女賬號綁定，子女可以實時查看了解老年人心理狀況，有助于將老年人的生活起居照顧周全。青少年模式與父母賬號綁定，便于父母隨時了解孩子的心理健康狀況，有利于青少年身心健康發(fā)展。

2.4.2? 交流社區(qū)

用戶可以通過社區(qū)交流功能，與社區(qū)其他用戶進(jìn)行必要的交流和分享。用戶通過分享自己的生活意趣，激勵自己多做一些感興趣的事情，調(diào)動其生活的積極性。適當(dāng)?shù)慕涣骱头窒砑瓤梢詭椭脩臬@得和諧的人際關(guān)系，交到志同道合的朋友，又對舒緩用戶焦慮的心情和治療起到積極的作用。

2.4.3? 智能家居環(huán)境

私人心理“醫(yī)生”可以與智能家居綁定，智能家居可以根據(jù)用戶的狀態(tài)智能調(diào)節(jié)環(huán)境，從視覺、聽覺、空氣質(zhì)量三個方面為用戶營造舒適的環(huán)境，協(xié)助調(diào)理用戶的情緒，同時解放雙手，給用戶帶來更好的體驗。

2.4.4? 用戶反饋

好的產(chǎn)品并非是一蹴而就的，為了提高用戶體驗感，以為用戶提供更加有效的幫護(hù)，設(shè)置用戶反饋模塊，用戶在使用過程中有任何問題或建議都可以隨時進(jìn)行反饋，產(chǎn)品也會根據(jù)用戶反饋不斷地予以完善。

3? 測試

如圖8所示，私人心理“醫(yī)生”設(shè)計完成之后，進(jìn)行了相應(yīng)的測試。主要包括對登錄注冊、人臉識別分析等功能進(jìn)行測試：

測試1：正確注冊的賬號和密碼登錄。

測試2：注冊的賬號和錯誤的密碼登錄。

測試3：未注冊賬號和已注冊賬號密碼登錄。

測試4：只輸入賬號不輸入密碼登錄。

測試5：不輸入賬號只輸入密碼登錄。

結(jié)果：測試2、測試3、測試4、測試5如圖9測試結(jié)果所示，均無法登錄。

測試1可以登錄，測試1的結(jié)果如圖10所示。

測試6：打開攝像頭，正常檢測正臉，觀察能否在人臉檢測中識別到人臉。

測試7：打開攝像頭，正常檢測側(cè)臉，觀察能否在人臉檢測中識別到人臉。

結(jié)果：測試6可以識別到人臉，測試6的結(jié)果如圖11所示。

測試7無法識別到人臉，測試7的結(jié)果如圖12所示。

經(jīng)過測試可知，私人心理“醫(yī)生”基本可以實現(xiàn)需求的功能，具有一定的可行性。

4? 結(jié)? 論

基于在重大災(zāi)難之際人們出行不便，許多人對便利的心理問題診療平臺有剛性需求的狀況，本文設(shè)計并實現(xiàn)了私人心理“醫(yī)生”，能夠在用戶足不出戶的情況下對其進(jìn)行心理診斷和治療。本項目投入實踐，將為不方便出行的群眾帶來諸多便利，節(jié)約醫(yī)生方對患者心理問題診斷的時間和成本，及時緩解和輔助心理問題的治療，且能夠提高用戶對心理問題的重視。

參考文獻(xiàn)：

[1] 巫春玲，馮志文，鐘沈豪，等.基于人臉識別技術(shù)的高校課堂自動考勤管理系統(tǒng) [J].智能建筑與智慧城市，2020（5）：20-24.

[2] 張人，何寧.微表情識別研究綜述 [J].計算機(jī)工程與應(yīng)用，2021，57（1）：38-47.

[3] 鄭浩鑫，林楷焱，陶銘.視覺情感識別系統(tǒng)的設(shè)計與實現(xiàn) [J].計算機(jī)時代，2021（3）：33-36.

[4] 何正軒.基于面部識別的情感輔助調(diào)節(jié)系統(tǒng) [J].中國新技術(shù)新產(chǎn)品，2017（1）：10-11.

[5] 許嘉誠.基于并行算法的快速人臉識別系統(tǒng)設(shè)計與實現(xiàn) [J].無線互聯(lián)科技，2020，17（6）：63-65.

[6] Kotsia I， Pitas I. Facial Expression Recognition in Image Sequences Using Geometric Deformation Features and Support Vector Machines [J].IEEE Transactions on Image Processing，2007，16（1）：172-187.

作者簡介：周神美（2000—），男，漢族，安徽合肥人，本科在讀，研究方向：計算機(jī)與信息技術(shù);

朱屹誠（2001—），男，漢族，安徽宣城人，本科在讀，研究方向：計算機(jī)與信息技術(shù);

李星燁（2000—），女，漢族，安徽淮南人，本科在讀，研究方向：計算機(jī)與信息技術(shù);

張大秀（1992—），女，漢族，安徽宿州人，助教，碩士研究生，研究方向：移動邊緣計算、深度學(xué)習(xí)、計算機(jī)技術(shù)。