人臉表情是一種重要且自然的情緒表現(xiàn)形式,因而人臉表情自動識別也是人機和諧交互的重要基礎。近三十年來,人臉表情識別(FER)研究一直是人工智能領域的一個熱點

。近些年,隨著深度學習技術發(fā)展,FER研究從實驗室限制條件下的表情樣本逐漸轉移到了現(xiàn)實世界(自然)表情圖像。自然表情圖像復雜多變,如光照強度、頭部姿態(tài)變化、有無遮擋物等,導致表情識別的難度增加

。

FER是一個典型的多分類任務,每一個樣本必歸屬某一個類別,且只屬于一個類別。Softmax Loss (SL)是一種交叉熵損失,經(jīng)過Softmax變換,每一個樣本最終輸出對應多個類別的概率值(相對概率)。SL通過優(yōu)化預測概率與目標概率之間的誤差,會持續(xù)拉高正確類別的概率和降低錯誤分類的概率。在多分類問題上,SL直觀、易理解,而且反向求導簡潔,是FER領域應用最廣泛的一種監(jiān)督函數(shù)。

SL盡力把不同類別樣本特征在角度空間分開,在SL監(jiān)督下學習到的深度特征的區(qū)分度不夠好

,因此研究者們對SL進行了改進

。針對SL的改進技術主要分兩類:一類是改變SL本身(即SL的變體),例如人臉識別領域中的ArcFace

、Normface

和CosFace

等;另一類是增加約束項協(xié)同SL一起工作,如Center loss(CL)

和Island Loss(IL)

等。

分類任務有個共同原則,深度特征的區(qū)分度越高越好,即不同類別樣本特征之間的距離(差異性)越大越好?，F(xiàn)有技術主要通過減小類內距離和增大不同類之間的距離兩個方面來提高特征區(qū)分度。

CL采用中心聚類思想,減小同類樣本之間的歐式距離,有效降低類內變化。Luo等

認為同一種表情并非高度相似,同一種表情中也應該分成幾個子類,從而提出了Subcenter Loss(SCL)。Li等

則減小每個樣本與其相鄰幾個同類樣本中心的距離,從而促使同類樣本收斂在一起,這種方法兼具了CL、SCL的優(yōu)點,但是計算復雜度高,且需要額外的內存開銷。

IL在SL的基礎上采用了CL,同時通過最小化不同類中心夾角的余弦值,期望不同類之間的夾角盡量大。IL需要約束每一類與其他類的夾角,難以處理類別數(shù)量多的任務,Zhao等

用于人臉識別的“排他正則化”本質上是IL的一種特例。Jiang等

證明了類間夾角相等且等于arccos(1/(1-

))(

為類別數(shù)量)是類間角度距離最大化的一種理想狀態(tài),基于此提出了一種改進Softmax損失(ASL)。

ASL能夠有效最大化類間角度距離,CL能夠有效地減小類內變化,但是ASL、CL單純地協(xié)同工作,即ASL+CL并非更優(yōu)秀,可能比ASL更差。針對此問題,本文提出了一種孤立中心聚類損失(ICL)方法,以ASL為基礎融合中心聚類思想,即改進CL以符合ASL,再最大化類間歐式距離,使各類成為徹底的“孤島”。實驗結果表明,所提方法在識別精度和穩(wěn)定性方面都有較好的提升。

1 相關工作

1.1 改進Softmax損失函數(shù)

無偏量的SL一般定義為

(1)

一個訓練理想的模型,第

類特征的中心就在其對應權值向量

的方向上,即

可以代表第

類中心的方向。若用

表示第

和

類(中心)的夾角,則

的余弦值為

精準調控水分不但能提高作物產(chǎn)量和品質，還能有效地提高水分利用效率[11]。定量分析水分與作物生長發(fā)育之間的關系，對農(nóng)田水分管理具有重要意義。研究表明[12-15]，減少作物蒸騰作用而不影響光合作用，則植物的水分利用效率會明顯增加，合理的農(nóng)林間作群體有利于提高土壤貯水量，減少作物蒸騰，促進光合作用，提高水分利用效率。本試驗中，輕度水分虧缺下棉花產(chǎn)量與正常灌水差異不顯著，考慮到水分投入相對較少，在一定程度上大大提高了間作系統(tǒng)的水分利用效率，這與之前的研究結果一致[16-17]。

(2)

測試階段采用10-crop方法,100×100×3的圖像被剪裁成10幅90×90×3的圖像塊(左上、右上、左下、右下和中心部分共5張,以及它們水平翻轉后的5幅),然后對這10幅子圖的輸出結果進行平均,再選擇概率最高的類別作為識別結果。

(3)

式中:

為所有夾角的余弦值之和,

越小表示各類之間的夾角越大,區(qū)分度越好。

譯文舍棄了原文的形式,采用了漢語常用的四字格,顯得典雅,保存了原文的意境,原文邊品咖啡邊嘖嘖稱贊的意境描繪得淋漓盡致,讓消費者產(chǎn)生了最佳關聯(lián)性期待,也按捺不住想嘗嘗,實乃譯作精品。

UPS的配置應根據(jù)發(fā)信臺設備的用電功率以結合其他因素做精確計算后進行配置，經(jīng)統(tǒng)計，目前發(fā)信臺正在運行的設備及所需功率如表2。

(4)

對比式(1)、式(4),ASL只是對SL的權值做了限制。ASL在初始化時,權值向量

由文獻[20]的算法1生成

,在訓練時固定不變。

ASL的優(yōu)勢有兩點:ASL的權值向量等角度分布,可以緩解多樣本類容易擠壓少樣本類角度空間的問題,在一定程度上可以解決樣本不平衡的問題;ASL采用的權值是固定的,在訓練過程中不需要更新,所以ASL的訓練速度比SL快。

每年初夏，當聞到梔子花的香氣時，我都會想起剛入職時的情景。那是一段關于梔子花的美麗記憶，每每想起，我都會不自覺地嘴角上揚……

內部審計的重擔要求內部審計人員不僅需要通曉財務知識，還應當掌握經(jīng)濟、法律、金融、稅收、計算機、企業(yè)管理等知識。但是，在現(xiàn)實生活中，由于有些中小型企業(yè)對內部審計工作的重要性認識不足，加之內部審計人員普遍存在著學歷偏低、專業(yè)結構較為單一等問題，影響了內部審計作用的發(fā)揮和組織目標的實現(xiàn)。

1.2 中心聚類損失函數(shù)

針對SL只注重類間差異,忽略類內差異性過大的問題,文獻[13]提出了一個減小類內離散度的約束函數(shù),即著名的中心聚類損失函數(shù)(center loss,CL),其定義為

(5)

式中

表示第

類的中心。

CL是對SL的一種輔助,與SL一起監(jiān)督學習,學習時總損失可以表示為

=

+

(6)

式中

是一個權值,決定了CL約束效果。

=0時,CL無效;

過大,則同類樣本有可能被聚集在同一個點,這也不利于分類,因為同類樣本特征不可能完全相同,同類樣本之間也存在細微差別。

CL的核心思想是減小同類樣本之間的(歐氏)空間距離,讓同類樣本盡量聚集在一起,從而增大不同類樣本之間的距離,提升區(qū)分度。

2 孤立中心損失函數(shù)

增大類間差異、減小類內差異是監(jiān)督學習提高區(qū)分度的基本原則。ASL本質上是類間角度距離最大化的結果,本文以ASL為基礎,再在歐式空間減小類間離散度和增大類間距離,提出一種孤立中心損失方法(ICL)。

2.1 前向傳播

ASL已經(jīng)假定了第

類的中心在其對應的權值向量

方向上,因而可以設第

類的中心為

(

是一個可學習的值),則減小類內空間距離的損失函數(shù)可表示為

(7)

式中

代表深度特征

所對應的第

類的中心,

與其類中心

的距離越小,

的值越小。

ICL監(jiān)督學習過程

Strategic marketing modes of cosmetic enterprises 3 54

神經(jīng)網(wǎng)絡參數(shù)

1:隨機初始化網(wǎng)路參數(shù)

和

(

∈

),利用文獻[20]的算法1生成權重

2:for

=1 to

do

RAF-DB數(shù)據(jù)集上的性能對比如表3所示,在識別準確度方面,SL+CL和ICL的識別率最高,達到88.26%,但是ICL的穩(wěn)定度是0.180,要比SL+CL的穩(wěn)定度0.288好得多。

6: 更新

:

province ZHANG Ting FU Bi-chang ZHOU Zhi-guo et al.(12)

7: 更新網(wǎng)絡參數(shù)

:

挖鞭筍要注意以下幾點：沿山坡方向穿行的縱鞭不挖，橫鞭則挖；“梅鞭”埋、“伏鞭”挖；干旱季不挖；竹林空隙處少挖，土層深厚處不挖；挖掘后筍穴及時覆土踩實。鞭筍型竹林經(jīng)營一般以2年為間隔期比較合理。

8:end for

創(chuàng)業(yè)型企業(yè)是指處于創(chuàng)業(yè)階段，高成長性與高風險性并存的創(chuàng)新開拓型企業(yè)。隨著國家鼓勵民營經(jīng)濟的發(fā)展以及當前就業(yè)形勢的日趨嚴峻，創(chuàng)業(yè)已成為促進區(qū)域經(jīng)濟發(fā)展和解決就業(yè)問題的一條重要途徑。許多國家意識到，只有通過創(chuàng)新、創(chuàng)業(yè)，尤其是創(chuàng)建高新技術企業(yè)，它們才能參與新產(chǎn)品、新市場、新產(chǎn)業(yè)的發(fā)展，從而進入世界經(jīng)濟的高增長行列。

不同類中心的空間距離越遠越好,可以考慮如下約束函數(shù)

受眾理論的“使用—滿足說”認為受眾群體接受媒體的動機和得到的滿足都是極其多樣的[]，研究生作為校園新媒體平臺的受眾，利用新媒體可以快速獲取到學術講座、招生就業(yè)、校園新聞、生活服務等方面的信息。作為新媒體的用戶，研究生每天都會閱讀和瀏覽大量的信息，而其中真正寫的生動、吸引人的信息屈指可數(shù)?？梢姡旅襟w運營模式是至關重要的。

采用SPSS 19.0統(tǒng)計學軟件處理數(shù)據(jù)，計量資料采用（±s）表示，進行 t檢驗，計數(shù)資料采用[n（%）]表示，進行χ2檢驗，P＜0.05為差異有統(tǒng)計學意義。

(8)

式中‖

-

‖為第

類中心

到第

類中心

的歐式距離,距離越大,其倒數(shù)越小,

越小。

ICL以ASL為基礎,再用

損失減小類內空間距離,以

損失增加類間空間距離。ICL定義為

=

+

+

(9)

式中

、

為權值。

2.2 反向傳播

實驗采用3個經(jīng)典的非限制性表情數(shù)據(jù)集:FER2013

、FERPlus

和RAF-DB

。

(10)

只有

和

中含有

,

的反向梯度為

(11)

式中:

(

)當條件

為真時取值1,為假則取值0;

是一個極小的常量,防止除數(shù)可能為零時出錯,文中取值10

。

青菜、蔬菜、生菜是蘇南地區(qū)的四季栽培蔬菜，在蘇南氣候條件下，夏季高溫多雨對其構成了高溫和高濕脅迫，所以青菜、菠 菜、生菜在夏季生產(chǎn)中往往表現(xiàn)生長緩慢，死苗率高，病蟲害嚴重，葉片易變黃、腐爛等[1]，因此夏季栽培中篩選耐高溫高濕的品種成為青菜新品種選育的重要目標之一。鑒于此，筆者選取3個品系(生菜、菠菜、青菜)15份不同蔬菜材料，在不同溫度和濕度下對其分別進行高溫高濕處理，篩選適宜蘇南夏季氣候特征的蔬菜品種，旨在降低高溫高濕脅迫對蔬菜產(chǎn)量的影響。

3 實驗結果及分析

3.1 實驗相關設置

實驗采用Python開發(fā)平臺和PyTorch庫,運行平臺為一臺Dell服務器,其配置為CPU:Intel Xeon Silver 4114 @ 2.20 GHz,內存為64 GB,顯卡為NVIDIA GeForce RTX 3090。

3.1.1 深度卷積網(wǎng)絡結構

實驗采用經(jīng)典ResNet-18的變體,如圖1所示,網(wǎng)絡輸入大小為90×90的三通道圖像,輸出為512×1特征向量。

從表1～表3可知,總體而言,ASL優(yōu)于SL,SL+CL也很優(yōu)秀,但是ASL+CL在FER2013數(shù)據(jù)庫上的識別率和穩(wěn)定性都比ASL差,在RAF-DB數(shù)據(jù)集上識別率也低于ASL,說明ASL+CL可能比單獨的ASL更差,這也是本文提出ICL的出發(fā)點。ICL是以ASL為基礎,融合了CL的思想,再加入了最大化類間空間距離的思想,ICL在3個數(shù)據(jù)庫上都表現(xiàn)優(yōu)異,表明了ICL的合理性和有效性。

在反向傳播時,ASL的權值向量

固定不變,只需要更新深度特征

和第

類中心的

。

關于

的偏導數(shù)為

FER2013數(shù)據(jù)集有7類表情共35 886張圖像,用于訓練、驗證和測試的圖像分別是28 709、3 589和3 589張。訓練表情樣本包括憤怒3 995張、厭惡436張、恐懼4 097張、悲傷4 830張、開心7 215張、驚訝3 171張以及中性4 965張。

FER2013中含有一些標注錯誤的數(shù)據(jù),因而FERPlus數(shù)據(jù)集則對FER2013中的圖像重新進行了人工標注,在FER2013的7類基本表情上又增加了蔑視、未知和非人臉這3類。FERPlus每一張圖像有10個分類標簽,10個標簽上的得分總和為10。本文只考慮7種基本表情,采用文獻[22]提供的最大投票方式篩選后的訓練圖像有24 941張、驗證圖像3 186幅、測試圖像3 137張。

RAF-DB有15 339表情圖片,其中12 271和3 068分別用于訓練和測試。訓練圖像含有的7類基本表情是憤怒705張、厭惡717張、恐懼281張、悲傷1 982張、開心4 772張、驚訝1 290張以及中性2 524張。

FER2013和FERPlus都含有驗證集和測試集,本文只給出測試集的測試結果,結果如表1～4所示。

在圖1中，實線箭頭表示直接聯(lián)系，即“鄉(xiāng)愁”萌生于詩人（我）的心中，通過4個不同的意象載體，分別傳達給4個不同的目標；而虛線箭頭則表示間接聯(lián)系，即“鄉(xiāng)愁”在詩人心中所指向的實際目標。

3.1.3 圖像預處理

FER2013和FERPlus的圖片是48×48灰度圖,先擴大成100×100圖片,然后通過復制通道方式轉換為100×100×3的圖像。RAF-DB提供100×100 RGB彩色圖像,無需轉換。

訓練時,從100×100×3人臉圖像中隨機剪切出90×90×3圖像塊,再把每一個像素值除以255歸一化。為了增強數(shù)據(jù),在±10°范圍內隨機旋轉,且以50%的概率隨機水平翻轉。

3.1.4 訓練/測試策略

采用隨機梯度下降法對模型進行端對端訓練,每批128個表情樣本,動量矩參數(shù)為0.9,采用的Heinitialization方法初始化卷積網(wǎng)絡系數(shù)

,L2正則系數(shù)為3×10

,迭代次數(shù)為200,初始學習率為0.005,迭代80次后,每20代衰減率0.8。ICL的參數(shù)

和

分別為0.005和7。

基于類間角度距離(夾角)越大,區(qū)分度越高的原則,考慮如下?lián)p失函數(shù)

3.2 性能評價標準及實驗結果

3.2.1 性能評價標準

本文采用文獻[20]中的平均準確率和穩(wěn)定度兩個標準。對每種方法測試

(

=10)次,以

次結果的平均值作為最終準確率,定義為

(12)

式中Acc

為第

次實驗的識別率。由于網(wǎng)絡參數(shù)隨機初始化和訓練樣本隨機分批的原因,相同設置下每一次的識別結果有一定的誤差,所以采用多次實驗的平均值更加公平可靠。

穩(wěn)定度是

次實驗結果的均方差,定義為

(13)

穩(wěn)定度

體現(xiàn)了相同設置下實驗結果的變化程度,

越小,表明模型性能越穩(wěn)定。

3.2.2 表情識別性能對比

本文ICL是在SL基礎上的改進,為了驗證ICL的有效性,主要與SL及其改進技術進行對比,對比方法有:SL、ASL

、SL+CL

、ASL+CL、IL

、L2SL

和LP

。

本文在FER2013、FERPlus和RAF-DB數(shù)據(jù)集上進行了對比測試,為了公平對比,所有方法均采用圖1中卷積網(wǎng)絡,且采用相同的訓練步驟和網(wǎng)絡參數(shù)。ASL代碼由原論文作者提供,其他方法則是按照文獻所述原理另行編寫程序。

ASL可定義為

在FER2013數(shù)據(jù)集上的性能對比結果如表1所示,ICL的平均識別率Acc最高,達到了73.02%,比SL和ASL分別提高了1.25%和0.66%。在穩(wěn)定度

方面,ICL也取得了最佳成績0.210,相比于SL的0.422,提升了一倍,穩(wěn)定度性能提升是指

的數(shù)值下降。

FERPlus數(shù)據(jù)庫的測試結果如表2所示,在識別準確率和穩(wěn)定度方面,ICL都取得了最好成績,分別是88.56%和0.192。相比于SL和ASL,ICL的準確度提高了0.44%和0.39%,其性能提升程度沒有FER2013上顯著。

3.1.2 實驗數(shù)據(jù)集

3.2.3 參數(shù)選擇

ICL有兩個人為設置的權值

、

,理論上應該采用網(wǎng)格計算最優(yōu)權值。文獻[13-15,17]表明,減小類內變化的約束權值在0.001～0.01區(qū)間比較合理,因而本文首先設置

為0

005,然后

取1到10共10個值,在FER2013數(shù)據(jù)集上的識別率如圖2(b)所示,雖然不是嚴格的上凸曲線,整體而言,

=7時的識別率明顯優(yōu)于其他值。

設置為7,

分別取值0.000 5、0.001、0.005、0.01及0.05,在FER2013數(shù)據(jù)集上的識別結果如圖2(a)所示,可知

=0.005時的識別率最高。

綜上所述,本文選取

=0

005和

=7。

3.2.4 消融實驗

ICL損失函數(shù)由ASL損失

SL

、類內損失

和類間距離損失

這3部分構成,本次消融實驗測試了

SL

(ASL)、

SL

+

和

SL

+

+

(ICL),其結果如表4所示,其中

SL

+

與對比實驗中的ASL+CL是不同的方法。

在FER2013數(shù)據(jù)庫上,

SL

的識別率和穩(wěn)定度分別是72.36%和0.348。加入

損失(

SL

+

)后則分別是72.23%和0.188,識別率反而略微下降,但是穩(wěn)定度性能大幅提升。再加入

(

SL

+

+

)后的成績分別是73.02%和0.210,

SL

+

+

在識別率方面有了明顯的提高;在穩(wěn)定性方面,比

SL

+

的穩(wěn)定度稍差一點,但仍然比

SL

優(yōu)秀很多。

在FERPlus數(shù)據(jù)集中,

SL

、

SL

+

和

SL

+

+

3種方式的識別率分別是88.17%、88.47%和88.56%,依次略微提升。這3種方式的穩(wěn)定度分別是0.308、0.167和0.192,

SL

+

的穩(wěn)定度好,

SL

+

+

的穩(wěn)定度反而比

SL

+

稍微差一點,但比

SL

仍然好很多。

在RAF-DB數(shù)據(jù)庫上,

SL

、

SL

+

和

SL

+

+

的識別準確率分別是85.58%、85.89%和86.26%,依次增高。三者的穩(wěn)定度分別是0.271、0.187和0.180,也是依次變好;

SL

+

和

SL

+

+

的穩(wěn)定度非常接近,幾乎差不多。

由此可見,大體上

SL

+

可以大幅增加穩(wěn)定性,

SL

+

+

在保持穩(wěn)定性優(yōu)勢的基礎上可以提高一定的識別準確度。

3.2.5 時間復雜度

各種監(jiān)督方法在FER2013數(shù)據(jù)集上訓練一個Epoch所需的平均時間如表5所示,ASL速度最快,只需33.51 s。SL是33.92 s,ASL+CL與SL幾乎差不多,需要33.97 s。ICL是以ASL為基礎融合了CL思想,再增加了一部分約束,所以ICL比ASL+CL計算復雜度高,需要34.31 s,仍然比SL+CL略微快一點,比IL和L2SL快很多。

4 結 論

針對傳統(tǒng)SL監(jiān)督學習的深度特征區(qū)分度不足,本文提出了一種孤立中心損失方法(ICL),它主要包含了最大化類間角度距離、減小類內變化以及最大化類間(歐氏)空間距離3種約束,從而使各類成為徹底的“孤島”,以提高各類之間的區(qū)分度。在FER2013、FERPlus和RAF-DB 3個數(shù)據(jù)集上的實驗結果表明:ICL在識別準確率和穩(wěn)定性兩個方面都有明顯的提升。ICL雖然由3部分組成,但是計算復雜度并未增加太多,運行速度只比傳統(tǒng)SL略微慢一點,仍然比一些其他方法快。

ICL的基礎是ASL,ASL中生成等角分布固定權值向量過程的計算量隨著類別數(shù)量增大而呈幾何形式增長,難以處理類別特別多的分類任務,ICL仍然存在這個問題,這是將來工作需要改進的一個方向。多損失函數(shù)融合模型在許多領域非常有效,未來工作將在這方面進行嘗試。

:

[1] JIANG Ping,WAN Bo,WANG Quan,et al.Fast and efficient facial expression recognition using a Gabor convolutional network [J].IEEE Signal Processing Letters,2020,27:1954-1958.

[2] RUAN Delian,YAN Yan,LAI Shenqi,et al.Feature decomposition and reconstruction learning for effective facial expression recognition [C]∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway,NJ,USA:IEEE,2021:7656-7665.

[3] WANG Kai,PENG Xiaojiang,YANG Jianfei,et al.Suppressing uncertainties for Large-Scale facial expression recognition [C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway,NJ,USA:IEEE,2020:6896-6905.

[4] YANG Huiyuan,CIFTCI U,YIN Lijun.Facial expression recognition by de-expression residue learning [C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE,2018:2168-2177.

[5] LI Danyang,WEN Guihua,HOU Zhi,et al.RTCRelief-F:an effective clustering and ordering-based ensemble pruning algorithm for facial expression recognition [J].Knowledge and Information Systems,2019,59(1):219-250.

[6] LI Shan,DENG Weihong.Deep facial expression recognition:a survey [J/OL].IEEE Transactions on Affective Computing [2021-08-30].https:∥ieeexplore.ieee.org/document/9039580.

[7] DENG Jiankang,GUO Jia,XUE Niannan,et al.ArcFace:additive angular margin loss for deep face recognition [C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway,NJ,USA:IEEE,2019:4685-4694.

[8] 吳慧華,蘇寒松,劉高華,等.基于余弦距離損失函數(shù)的人臉表情識別算法 [J].激光與光電子學進展,2019,56(24):188-194.

WU Huihua,SU Hansong,LIU Gaohua,et al.Facial expression recognition algorithm based on cosine distance loss function [J].Laser &Optoelectronics Progress,2019,56(24):188-194.

[9] 龍鑫,蘇寒松,劉高華,等.一種基于角度距離損失函數(shù)和卷積神經(jīng)網(wǎng)絡的人臉識別算法 [J].激光與光電子學進展,2018,55(12):402-413.

LONG Xin,SU Hansong,LIU Gaohua,et al.A face recognition algorithm based on angular distance loss function and convolutional neural network [J].Laser &Optoelectronics Progress,2018,55(12):402-413.

[10] 張文萍,賈凱,王宏玉,等.改進的Island損失函數(shù)在人臉表情識別上的應用 [J].計算機輔助設計與圖形學學報,2020,32(12):1910-1917.

ZHANG Wenping,JIA Kai,WANG Hongyu,et al.Application of improved Island loss in facial expression recognition [J].Journal of Computer-Aided Design &Computer Graphics,2020,32(12):1910-1917.

[11] WANG Feng,XIANG Xiang,CHENG Jian,et al.NormFace:L

hypersphere embedding for face verification [C]∥Proceedings of the 25th ACM International Conference on Multimedia.New York,NY,USA:ACM,2017:1041-1049.

[12] WANG Hao,WANG Yitong,ZHOU Zheng,et al.CosFace:large margin cosine loss for deep face recognition [C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE,2018:5265-5274.

[13] WEN Yandong,ZHANG Kaipeng,LI Zhifeng,et al.A discriminative feature learning approach for deep face recognition [C]∥Computer Vision — ECCV 2016.Cham:Springer International Publishing,2016:499-515.

[14] WEN Yandong,ZHANG Kaipeng,LI Zhifeng,et al.A comprehensive study on center loss for deep face recognition [J].International Journal of Computer Vision,2019,127(6):668-683.

[15] CAI Jie,MENG Zibo,KHAN A S,et al.Island loss for learning discriminative features in facial expression recognition [C]∥2018 13th IEEE International Conference on Automatic Face &Gesture Recognition (FG 2018).Piscataway,NJ,USA:IEEE,2018:302-309.

[16] LUO Zimeng,HU Jiani,DENG Weihong.Local subclass constraint for facial expression recognition in the wild [C]∥2018 24th International Conference on Pattern Recognition (ICPR).Piscataway,NJ,USA:IEEE,2018:3132-3137.

[17] LI Shan,DENG Weihong,DU Junping.Reliable crowdsourcing and deep locality-preserving learning for expression recognition in the wild [C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway,NJ,USA:IEEE,2017:2584-2593.

[18] LI Shan,DENG Weihong.Reliable crowdsourcing and deep locality-preserving learning for unconstrained facial expression recognition [J].IEEE Transactions on Image Processing,2019,28(1):356-370.

[19] ZHAO Kai,XU Jingyi,CHENG Mingming.RegularFace:deep face recognition via exclusive regularization [C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway,NJ,USA:IEEE,2019:1136-1144.

[20] JIANG Ping,LIU Gang,WANG Quan,et al.Accurate and reliable facial expression recognition using advanced softmax loss with fixed weights [J].IEEE Signal Processing Letters,2020,27:725-729.

[21] DHALL A,GOECKE R,JOSHI J,et al.Emotion recognition in the wild challenge 2013 [C]∥Proceedings of the 15th ACM on International Conference on Multimodal Interaction.New York,NY,USA:ACM,2013:509-516.

[22] BARSOUM E,ZHANG Cha,FERRER C C,et al.Training deep networks for facial expression recognition with crowd-sourced label distribution [C]∥Proceedings of the 18th ACM International Conference on Multimodal Interaction.New York,NY,USA:ACM,2016:279-283.

[23] HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al.Delving deep into rectifiers:surpassing human-level performance on ImageNet classification [C]∥2015 IEEE International Conference on Computer Vision (ICCV).Piscataway,NJ,USA:IEEE,2015:1026-1034.