多模態(tài)人類情感識別系統(tǒng)結(jié)合了語言和非語言表達(dá)數(shù)據(jù)，可實(shí)時(shí)識別人類情緒。研究團(tuán)隊(duì)整合了對面部肌肉變形和聲帶振動(dòng)的檢測，收集了面部肌肉和聲音等多模態(tài)數(shù)據(jù)，在最少的訓(xùn)練下，實(shí)現(xiàn)了表達(dá)的較高準(zhǔn)確性。首創(chuàng)的雙向摩擦應(yīng)變和振動(dòng)傳感器，無需借助外部電源或復(fù)雜的測量設(shè)備，可同時(shí)感應(yīng)并收集語言與非語言表達(dá)數(shù)據(jù)，再通過無線數(shù)據(jù)傳輸實(shí)現(xiàn)情緒的實(shí)時(shí)識別。