胡宇森 禹素萍 許武軍 范紅

（東華大學(xué)信息科學(xué)與技術(shù)學(xué)院 上海市 201620）

1 引言

人臉表情識別一直都是計算機視覺領(lǐng)域的重要研究課題之一。作為多學(xué)科交叉的領(lǐng)域，近年來隨著信息技術(shù)和人工智能技術(shù)的發(fā)展，表情分析從定性到量化，使得計算機可以通過算法對表情進行分類，對強度進行定量化。面部表情識別是實現(xiàn)人機交互、賦予機器情緒識別能力的重要環(huán)節(jié)，而面部表情識別包括了對表情的分類和對表情強度的識別。目前對表情表情分類的研究較多，而對表情強度的識別研究較少。在已有的表情強度識別的方法中，Lien J 等采用對一段表情序列進行標(biāo)記再訓(xùn)練的方法，這種方法雖然方便快捷，但對表情強度的定義具有很強的人為主觀性。Ka Keung Lee等依賴序列的前后關(guān)系給出表情強度值。陳偉宏提出的方法可以自動提取出表情強度值，但由于其在特征提取步驟采用的L-K 光流法的跟蹤不穩(wěn)定，故給后續(xù)的強度識別造成了很大影響。對LK 光流法提取的特征點進行進行校正，采用特征降維的方法實現(xiàn)了對單類表情的強度度量。本文將通過提取特征點，提出了基于相似度統(tǒng)計的ISOMAP 方法，實現(xiàn)了對高維人臉特征點數(shù)據(jù)進行降維，并實現(xiàn)自適應(yīng)表情強度度量。

2 面部特征提取

根據(jù)Ekman對人類表情的系統(tǒng)性研究，人類的基本面部表情都是基于面部肌肉變化所產(chǎn)生的，之后的實驗中將面部劃分為額-眉、眼-瞼、鼻-唇三大區(qū)，研究三大區(qū)域面部肌肉的變化和表情的聯(lián)系從而提出六大基本情緒：愉快、驚奇、悲傷、厭惡、憤怒和恐懼。為了提高算法效率和準(zhǔn)確率，需要對數(shù)據(jù)集中的圖片進行預(yù)處理。而從直觀角度上描述人臉表情，本文使用ASM 算法檢測并提取面部器官關(guān)鍵角點，并以器官形變作為輔助的方法描述人臉表情特征，得到的特征可用于后續(xù)表情分類和表情強度度量。

2.1 數(shù)據(jù)預(yù)處理

在人臉圖像的識別和分類任務(wù)中，彩色圖像雖然在人眼視覺方面可以體現(xiàn)更多的細節(jié)，但直接對彩色圖像進行分析和處理會增加計算的復(fù)雜度，且由于圖像采集過程中環(huán)境不斷變化會造成采集圖像的光照分布不均。而在人臉圖像的識別和分類任務(wù)中更加關(guān)注人臉整體的輪廓和器官的邊緣細節(jié)，這些關(guān)鍵特征和細節(jié)并不會壓縮圖像通道而造成較大影響。故需要對圖像進行灰度化處理，減少外界環(huán)境和采集設(shè)備不同對成像的影響的同時，保留重要的人臉圖像特征和細節(jié)。如圖1 和圖2 所示。

圖1： 原圖像

圖2： 灰度圖像

由于采集的人臉圖片中并不是所有部分都可用于后續(xù)分析，部分背景或場景還可能產(chǎn)生干擾信息，所以需要通過人臉檢測算法對圖片中的人臉部分進行檢測并裁剪。由于裁剪之后的若干樣本圖像尺寸往往不一樣，會對后續(xù)檢測點的坐標(biāo)造成極大影響，故對所有樣本圖片采取尺寸歸一化。如圖3 所示。

圖3： 裁剪及歸一化前后

2.2 特征點提取

提取特征點需要借助主動形狀模型(active shape model,ASM)該方法由Tim Coots 等提出，通過建立關(guān)鍵節(jié)點并制定節(jié)點之間的相互限制條件來對物體的形狀進行描述，在建立形狀模型之后用向量和距離對目標(biāo)物體進行抽象。ASM通過在一系列的形狀模型中學(xué)習(xí)出該類物體的平均形狀，從而利用關(guān)鍵點之間的向量對描述某類物體。

ASM 算法主要分為3 個步驟：樣本定義、樣本訓(xùn)練、樣本搜索。

樣本定義：手動對訓(xùn)練集中的n 個樣本圖像中的目標(biāo)進行標(biāo)記，每個目標(biāo)標(biāo)記k 個特征點，記錄這些特征點的坐標(biāo)，并用一個形狀向量表示每張圖片中的目標(biāo)：

樣本訓(xùn)練：對訓(xùn)練樣本中的形狀向量利用Procrusts 分析法進行逐一對齊，以保證目標(biāo)物體在空間中的方向和位置保持一致，計算這些形狀向量對應(yīng)的平均位置，得到該目標(biāo)的平均形狀。將所有訓(xùn)練樣本向平均形狀進行對齊直到收斂。通過PCA 降維減少冗余維度，描述每個已知特征點的局部特征，以方便后續(xù)尋找新的特征點的位置。

樣本搜索：根據(jù)初步的形狀檢測結(jié)果確定目標(biāo)的大致位置，以訓(xùn)練好的平均形狀進行仿射變換的模板，對目標(biāo)進行初步對齊，在每個特征點附近進行特征匹配，最后更新模板上的特征點位置得到最后用于描述特定目標(biāo)的特征點。

人臉面部表現(xiàn)的所有表情都可以通過特征點跟蹤和定位，即對每一種表情以及表情的發(fā)生過程進行定量分析。如圖4 所示是人臉五官的47 個關(guān)鍵點，人臉的眼睛、眉毛、嘴巴形態(tài)和運動幅度在表情分析中發(fā)揮關(guān)鍵性作用，故本文拋棄了有關(guān)人臉輪廓的關(guān)鍵點，只提取了包括眉毛、眼睛、外唇和內(nèi)唇等共計47 個特征點，在減少后續(xù)模型計算量的同時保證最關(guān)鍵的信息特征可以被提取。

圖4： 人臉47 個關(guān)鍵點

3 表情強度識別

3.1 SVM表情強度分類

3.2 基于相似度統(tǒng)計的ISOMAP表情強度度量

針對特征偏多的高維數(shù)據(jù)，想要了解數(shù)據(jù)之間的相互聯(lián)系，一般思路是通過降維方法對數(shù)據(jù)進行降維，過濾篩選冗余維度，如PCA 方法。而ISOMAP（等距特征映射）是在MDS 算法框架下的一種改進，該方法認為高維數(shù)據(jù)在其高維空間中的分布并不是隨機，其分布而是符合一定維度的流形的假設(shè)。由于MDS 算法通過歐式距離來約束數(shù)據(jù)點之間的相對關(guān)系，但這只適用于描述樣本之間線性關(guān)系的情況。對于存在非線性關(guān)系的樣本，ISOMAP 使用測地線距離代替歐式距離。而為了確定所有數(shù)據(jù)點在二維流行上的相關(guān)性，需要通過KNN 方法構(gòu)建樣本間的鄰接圖，因此在鄰接圖上的兩點的真實距離不應(yīng)該是歐式距離表示，而是用鄰接圖上構(gòu)建樣本間的最短路徑矩陣表示。將最短路徑矩陣作為MDS 算法的輸入計算低維空間的坐標(biāo)。

每一個表情的特征點集合都代表了該類表情的某一強度，每個特征點的坐標(biāo)都是該強度的一維特征。由于描述人臉的特征維度遠大于樣本數(shù)量，過高的樣本維度對強度的區(qū)分并沒有太大幫助，故需要對特征維度進行降維。由于一段視頻序列，變化的只有表情的強度這一個變量，故理論上降為1 維即可對區(qū)分開每幀圖片的相對強度。將采集的人臉特征點作為ISOMAP 算法的輸入，得到高維特征在1 維空間的等距映射。以視頻幀數(shù)為橫軸，1 維等距映射結(jié)果為縱軸，可以得到人臉表情強度在二維坐標(biāo)軸上的散點分布圖。

ISOMAP 算法需要依靠KNN 算法構(gòu)建近鄰點，而在k值選擇上針對不同數(shù)據(jù)集并沒有一個合適的標(biāo)準(zhǔn)，目前對于近鄰點個數(shù)的選擇上統(tǒng)一采用的是實驗法，而我們無法對高維空間中的數(shù)據(jù)分布有直觀的認識，近鄰點選擇的不合理將直接影響鄰接圖的構(gòu)建，在破壞數(shù)據(jù)流形的情況下是無法對保證降維的效果的。

本文受Chittaranjan Pradhan 等的啟發(fā)，通過考慮數(shù)據(jù)值之間的相似性來構(gòu)造鄰域圖而不是使用k 近鄰的概念，以構(gòu)造的相似矩陣來構(gòu)建近鄰圖。

對于樣本數(shù)位N，特征數(shù)為K 的樣本數(shù)據(jù)集，可求樣本間的距離為:

以此構(gòu)造出樣本距離矩陣D，并根據(jù)以下公式構(gòu)造相似矩陣S：

最后將得到的鄰接矩陣G 輸入MDS 算法中完成對數(shù)據(jù)的降維。由于用于構(gòu)造鄰接矩陣的區(qū)分閾值d 主要依賴于數(shù)據(jù)本身的統(tǒng)計特征，如果閾值d 的選擇過大，將導(dǎo)致高維空間點之間的距離全部斷開，根據(jù)迪杰斯特拉算法就無法找到樣本在高維空間的最短距離，從而導(dǎo)致所有樣本分散度過大而無法區(qū)分，如果閾值d 的選擇過小，構(gòu)造的鄰接矩陣將會非常復(fù)雜，出現(xiàn)了過多的冗余從而失去了降維的效果。因此本文結(jié)合積分平均值和算數(shù)平均值，以得到最適合數(shù)據(jù)分布的閾值d。同時該方法不依賴人的主觀判斷，能夠自動地確定閾值的大小，實現(xiàn)了ISOMAP 降維的參數(shù)自適應(yīng)。

4 實驗結(jié)果分析

本實驗所采用的數(shù)據(jù)S 集來自于CK+數(shù)據(jù)集，該數(shù)據(jù)集主要收集了18 到50 歲共123 位成年人表情，共計327個圖像序列，相比CK 數(shù)據(jù)集增加了更多樣化的樣本。數(shù)據(jù)集包含7 種基本，表情，每個序列樣本都是一種情緒由產(chǎn)生到峰值的波動變化，第一幀代表無表情狀態(tài)，最后一幀為表情達到峰值時的狀態(tài)。本實驗取數(shù)據(jù)集中所有樣本的最后一幀作為表情分類的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，取整段表情序列分析單個樣本的表情強度。

對比圖5 和圖6，可以發(fā)現(xiàn)傳統(tǒng)ISOMAP 方法在第4 幀和第5 幀表現(xiàn)不佳，而本文改進后ISOMAP 方法的強度劃分結(jié)果符合我們對人臉產(chǎn)生表情是具有很強的連貫性，這符合樣本表情序列由無表情到表情飽滿的過程。表情變化的過程在起始階段和完成階段相對變化幅度較小，而在中間階段前后序列的變化幅度是最大的，這點在圖6 中得到很好體現(xiàn)。

圖5： 傳統(tǒng)ISOMAP 的強度劃分結(jié)果

圖6： 本文改進ISOMAP 的強度劃分結(jié)果

將表情特征降維后的一維數(shù)據(jù)值區(qū)間限定在[0,1]區(qū)間內(nèi)，對整個[0,1]區(qū)間進行均勻劃分，當(dāng)表情降維后數(shù)值位于[0,0.2]記Ⅰ級表情強度，(0.2,0.4]記為Ⅱ級表情強度，(0.4,0.6]記為Ⅲ級表情強度，(0.6,0.8]記為Ⅳ級表情強度，(0.8,1.0]記為Ⅴ級表情強度。

圖7： 傳統(tǒng)ISOMAP 提取表情強度的殘差

圖8： 改進ISOMAP 提取表情強度的殘差

在得到一段視頻序列的表情分割強度結(jié)果之后，將單幀圖像的47 個特征點和對應(yīng)的表情強度標(biāo)簽整理為新的數(shù)據(jù)集，訓(xùn)練SVM 分類器并測試，通過測試結(jié)果判斷ISOMAP改進前后強度劃分方法的效果。表1 為SVM 分類器對表情強度的劃分結(jié)果。

表1： SVM 對高興表情的強度劃分結(jié)果

本文統(tǒng)計對同一表情數(shù)據(jù)集，強度分離成功的數(shù)據(jù)占總數(shù)據(jù)量的比例，設(shè)定了指標(biāo)分離成功率。通過比較兩個模型對同一數(shù)據(jù)集的分離成功率，兩個模型對于同一組數(shù)據(jù)集的分離性能也不同。其分離性能如表2 所示。

表2： ISOMAP 改進前后分離成功率

表1 和表2 說明在同一組數(shù)據(jù)中，本文方法在劃分表情強度的性能方面更優(yōu)，對于某些分離難度較大的表情序列，本文方法在劃分各序列強度上擁有更好的性能。

5 結(jié)語

本文提出了一種基于相似度統(tǒng)計的ISOMAP 表情度量方法，建立了自適應(yīng)表情強度度量模型，實現(xiàn)了對一段表情序列輸入的強度度量。本文算法添加了自適應(yīng)因子，可以根據(jù)當(dāng)時輸入的數(shù)據(jù)統(tǒng)計這組數(shù)據(jù)的數(shù)學(xué)特性，依靠雙均值找到并設(shè)定一個合理閾值分割點，并構(gòu)建表情數(shù)據(jù)的特征點鄰接矩陣，計算特征之間的測地線距離，來衡量不同特征之間的相似度，相似度越高，特征之間的距離越近。由于本文方法沒有過多復(fù)雜的算法設(shè)計，本文方法在實時強度分割方面也要優(yōu)于其他方法，實驗證明該方法適用于處理連續(xù)的表情強度度量，模型簡單有效。由于本文的改進使模型實現(xiàn)了自適應(yīng)。實際應(yīng)用中的難點在于表情復(fù)雜程度遠遠高于數(shù)據(jù)集所包含的，且現(xiàn)實生活中的表情強度估計任務(wù)將面對更多的噪聲干擾，任務(wù)將更多出現(xiàn)在被動環(huán)境中。另一個難點是微表情強度識別領(lǐng)域，在微表情任務(wù)中，人臉面部肌肉的活動將更小更精細，其對應(yīng)情緒的判定也更加困難，對應(yīng)的情緒邊界也將更加模糊。未來也將在這一任務(wù)領(lǐng)域繼續(xù)完善算法。