国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

新疆維吾爾族男性三維人臉圖像的年齡估計與年齡面貌重構

2018-10-08 06:36潘思宇陳詩婷李彩霞趙雯婷
法醫(yī)學雜志 2018年4期
關鍵詞:臉部人臉向量

潘思宇 ,陳詩婷 ,唐 鯤 ,李彩霞 ,劉 京 ,葉 健 ,趙雯婷

(1.中國人民公安大學,北京 100038;2.公安部物證鑒定中心 北京市現場物證檢驗工程技術研究中心 現場物證溯源技術國家工程實驗室,北京 100038;3.中國科學院上海生命科學研究院,上海 200031)

基于DNA的三維面貌刻畫是法醫(yī)遺傳學領域發(fā)展起來的新技術,通過檢驗人類DNA序列中的遺傳標記,結合種族、性別及年齡等人類相關生物特征重建人臉面貌。當短串聯重復(short tandem repeat,STR)序列個體識別技術沒有比中任何信息時,基于DNA的三維面貌刻畫技術有望為案件提供新的偵查線索。在三維面貌刻畫過程中,年齡和衰老是影響面貌刻畫真實性及可辨認性的重要因素[1-2]。人臉年齡估計就是通過提取與年齡相關的臉部圖像特征,構建年齡特征模型,對輸入的待測圖像的年齡或年齡范圍進行推測[3]。除年齡外,疾病、種族、性別、生活方式及環(huán)境地域等因素也會影響人面部衰老的進程[4-6]。由于這些難以完全量化的因素,人臉識別系統(tǒng)的準確率和魯棒性并不是很高,這也使得臉部衰老進程研究成為人臉識別領域的挑戰(zhàn)[7]。

由于人臉年齡模型的建立在刑事偵查、未成年人保護、失蹤人口追蹤及動畫、電影制作等諸多領域具有巨大的潛在應用價值,國內外研究機構對此進行了眾多的深入研究,如國外的延世大學[8]、杜倫大學[9]、西弗吉尼亞大學[10]以及國內的華中科技大學[11]、天津大學[12]、中南大學[13]、中國科學院上海生命科學研究院[14]等在人臉年齡模式研究中取得了較好的成果。人臉年齡估計的主要步驟分為圖像預處理、面部特征標示和年齡估計模型構建,其中后兩者是研究人員關注的重點[15]。圖像預處理主要是通過對圖像的灰度化、尺度歸一化等弱化非年齡因素的干擾[16],是重要的基礎工作。面部特征標示是通過分析面部形態(tài)隨著年齡的變化趨勢,將圖像中與年齡相關的特征提取出來[17]。年齡估計模型則是利用年齡標簽的離散性與連續(xù)性特征,使用分類、回歸或二者相結合的混合算法[18]建立的。例如,基于仿生學特征(bio-inspired features,BIF)[19]提取人臉年齡特征,使用支持向量機(support vector machine,SVM)[20]學習年齡估計模型。

早期研究主要使用二維人臉圖像來評估年齡[9,21]。隨著三維成像技術的發(fā)展,許多三維成像儀器,如Artec Spider、3dMDface等被應用到三維人臉圖像研究中[14,22]。相比于二維圖像,用三維人臉圖像分析診斷疾病、比較種族面貌形態(tài)、年齡估計更加精細化[23-24]。在我們的前期研究[14]中,以300多張中國漢族人群面部三維圖像為研究對象,發(fā)現了一系列人臉衰老相關的形態(tài)特征,構建了一張人臉年齡變化圖譜,并基于此進行人臉年齡估計及人臉年齡圖像推測。

為研究不同人群衰老特征的差異,并驗證該模型在其他人群中的使用效果,本研究選取了中國典型亞歐混合人群——維吾爾族人的三維人臉圖像,計算不同年齡段樣本平均臉,觀察平均臉隨年齡變化的老化趨勢,通過偏最小二乘回歸(partial least square regression,PLSR)法[25]將采集的三維圖像與年齡做回歸分析,并進行年齡估計,以臉部回歸系數熱圖展現臉部不同區(qū)域對年齡模型的影響程度,基于該年齡模型重塑個體更年輕及更年老時的圖像。

1 材料與方法

1.1 圖像采集

采用Artec Spider掃描儀(盧森堡Artec 3D公司)采集新疆地區(qū)維吾爾族男性105人的人臉圖像,年齡范圍為18~57歲(年齡通過采樣年與出生年之差得到),平均年齡35.82歲,BMI為18~24,無影響臉部發(fā)育或臉部形態(tài)的遺傳、代謝或其他疾病,未做過面部整形手術或化妝。所有志愿者依照公安部物證鑒定中心倫理委員會規(guī)定簽署知情同意書。

采集過程中,志愿者保持端正的坐姿及中性的面目表情,采集者手持Artec Spider掃描儀通過調整儀器與志愿者的距離,使Artec Studio軟件(盧森堡Artec 3D公司)中呈現人臉圖像,從志愿者一側的耳部經過面部至另一側耳部進行面部圖像的掃描,得到完整三維臉部圖像。根據年齡將上述樣本分為5組(表1)。

表1 觀察對象年齡分布 (N=105)

1.2 圖像處理流程及平均臉計算

(1)通過設定Artec Studio軟件中的參數對原始三維圖像進行預處理,去除圖像噪聲,生成紋理尺寸為 1024px×1024px(長×寬)的人臉圖像。

(2)基于中國科學院唐鯤研究組[26]提出的高精度全自動非剛性人臉配準方法,利用其自主研發(fā)的FaceAnalysis軟件(中國科學院上海生命科學研究院)實現高通量批次處理人臉圖像。該方法主要是基于主成分分析(principal component analysis,PCA)投影的方法,自動識別并標記解剖學上面部顯著凸起的15個特征點[左外眼角、左內眼角、右內眼角、右外眼角、鼻尖點、鼻根點、左鼻翼端點、右鼻翼端點、鼻下點、右唇角、左唇角、口裂點(上、下唇閉合時,口裂的正中點)、上唇點、下唇點、下巴(頦)點]。由于特征點自動識別標記誤差的大小影響后續(xù)人臉模型的建立,因此需要通過3dMDpatient軟件(美國3dMD公司)對存在較大偏差的特征點進行人工調整校準[14]。

(3)利用FaceAnalysis軟件以選定圖像完整且質量較好的樣本臉或平均臉作為參考臉,在15個特征點的匹配下,使參考臉覆蓋包裹在每個樣本臉上,使臉部之間建立解剖學結構對應,將參考臉上的致密網格點一一對應投射至每個樣本臉上,依次重新定義每個樣本臉上的網格點,參考臉及15個面部特征點見圖1。由于使用的是同一張參考臉,所以重新獲得的三維人臉數據點與原始圖像是一致的。通過以上步驟使每個樣本可被32 251個點所表示,每個點都具有相應的x、y、z軸坐標值,形成 3×32 251 的數據矩陣,經矩陣轉換,最終每個樣本用1×96753的形狀向量所表示。

圖1 參考臉及15個面部特征點

(4)通過廣義普魯克分析(generalized Procrustes analysis,GPA)法[27]對所有三維人臉圖像中心化校正,并將所有樣本臉統(tǒng)一到同一坐標系中以備后續(xù)分析使用。

通過上述處理,每張人臉圖像可使用1×96753的形狀向量所表示,即每行數據代表一個樣本臉。將每個樣本臉的形狀向量逐行添加形成包含一定樣本量的人臉矩陣,對矩陣中所有樣本臉對應維度上的數據進行算數平均,得到該樣本量下的平均臉。

1.3 模型建立

本研究應用PLSR建立三維人臉圖像數據與年齡的回歸模型,PLSR用于年齡估計的形式如下:

每一個樣本Xi用包含x、y、z軸坐標n個頂點的形狀向量所表示,將人臉數據作為自變量X,年齡作為因變量Y,基于R軟件中的“pls”包[28]建立回歸模型。

年齡估計使用留一法(leave one out,LOO),每次取出一個樣本作為測試集,其余的樣本作為訓練集來訓練模型,隨后用該模型預測測試樣本的年齡。

1.4 回歸系數熱圖

熱圖主要是用顏色變化來反映二維矩陣或表格中的數據信息,可以直觀地將數據值的大小以定義的顏色深淺表示出來。本文為展現臉部不同區(qū)域對年齡估計模型的影響程度,基于R軟件中的“rgl”包[29],選用回歸系數在樣本平均臉上繪制臉部熱圖。主要從構建的年齡估計PLSR回歸方程中提取回歸方程的系數,將色域定義為藍色至紅色并均分為100份,從X、Y、Z三個方向將回歸方程系數按照大小映射到色域范圍中,并呈現在人臉圖像上。

1.5 模型評估

模型預測準確性的評價指標主要有實際年齡與估計年齡之間的Pearson相關系數(Pearson correlation coefficient,PCC)及平均絕對偏差(mean absolute deviation,MAD),公式分別如下:

其中,x、y為數據對象,N為變量取值個數。

1.6 老化向量構建

基于構建人臉圖像與年齡的PLSR回歸模型,為便于研究,我們假設人臉隨時間的變化是線性的,即一個人在時間長度相等的年齡段,人臉形狀向量的向量差相等,因此,存在一個反映人臉隨時間變化的老化向量Aging Vector(Vage),則可以將人臉形狀向量表示為時間的函數 X(t):

式(4)中,Δt為時間長度。

將年齡與三維人臉數據矩陣的PLSR回歸模型表示為:

將公式(4)帶入公式(5),則有:

得到:

假定人臉隨年齡的變化是一個最小的變化,即||Vage||最小。應用拉格朗日乘子法求解 s.t.Vage×β=1,min(||Vage||)。 解得:

Vage是一個1×96753的向量。通過以上計算,根據PLSR回歸模型的回歸系數向量,得到了該群體人臉隨時間變化的老化向量。通過在個體樣本臉或者平均臉上添加老化向量Vage與時間長度Δt的累積變化量Vage×Δt,可以重構不同時間長度的年輕臉或衰老臉。

根據以上原理,本研究隨機選擇實際年齡分別為35、44、50、53、57 歲的樣本,分別推測、重構其年輕10、20歲和變老10、20歲的三維臉部圖像。

2 結 果

2.1 模型預測效果

2.1.1 圖像預處理

如圖2,其中圖2A為Artec Spider掃描儀采集的原始三維人臉圖像,通過Artec Studio軟件進行降噪整合處理獲得紋理尺寸為1 024 px×1 024 px的人臉圖像(圖2B),通過FaceAnalysis軟件對所有樣本的15個面部特征點批量逐點自動識別標記,在臉部圖像中生成綠色標記點,并經參考臉配準移除非面部區(qū)域獲得人臉圖像(圖2C)。

圖2 圖像預處理過程

2.1.2 樣本平均臉

根據前述年齡分組,將各組每個樣本臉1×96753形狀向量逐行添加,形成各年齡組包含多個樣本人臉的數據矩陣,對各自矩陣中所有樣本對應維度上的數值進行算數平均,得出五組不同年齡段的正、側面平均臉。不同年齡段的平均臉反映人臉衰老的平均趨勢。如圖3所示,隨著年齡的增加,平均臉呈現鼻唇溝加深、臉頰凹陷、顴骨突出、眼角下垂等衰老特征。

圖3 不同年齡段維吾爾族男性樣本的平均臉

2.1.3 年齡估計

使用PLSR方法建立人臉數據與年齡的回歸模型,由于人臉數據的高維性及復雜性,為減小變量間的相關性及建模復雜度,以最少的變量最大程度地解釋人臉變異。在回歸模型中,使用10折交叉驗證計算不同PLSR成分個數下驗證集的MAD,當選定10個與年齡相關的PLSR成分時,MAD最小,可以解釋該群體中臉部83.35%的變異。實際年齡與估計年齡之間的 PCC為0.71(P<0.05),估計年齡與真實年齡之間的MAD值為6.37歲。從圖4可以看出,散點絕大多數分布在直線的兩側,年齡估計結果較為準確。如表2,所有年齡組中,>30~40歲人群的年齡估計的MAD(4.27歲)和標準差(3.23歲)均最小,表明該年齡組年齡估計的準確度相對于其他年齡段較高。

2.1.4 年齡估計模型回歸系數熱圖

為展示臉部區(qū)域對年齡估計模型的影響,使用PLSR回歸方程中的系數在樣本平均臉上繪制臉部熱圖(圖5)。為便于表示,熱圖標尺上的回歸系數乘以10000。圖5中x、y、z軸分別從橫向、縱向、凹凸三個不同的方向表示臉部不同區(qū)域對年齡估計的影響。鼻唇溝的寬度(x軸)、人中長度(y軸)、顴骨的高低(z軸)、嘴唇周圍臉頰的凹陷程度(z軸)等區(qū)域顏色與其他區(qū)域顏色相比,均較深。

2.2 基于年齡模型的年齡面貌重構

5個樣本變年輕10、20歲和變老10、20歲的三維臉部圖像(圖6)顯示:合成年老化的人臉時,臉部形態(tài)會呈現明顯的臉頰凹陷、紋路加深及軟組織下垂等衰老特征;合成年輕化的人臉時,衰老特征會消失,臉部已有的下垂、凹陷等狀況有所改善,臉部在視覺上更加平滑、飽滿。

圖4 PLSR年齡估計模型的預測效果

表2 不同年齡段樣本年齡估計的MAD和標準差(歲)

圖5 PLSR年齡估計模型的回歸系數熱圖

圖6 對5個個體進行基于年齡模型的人臉合成

3 討 論

基于人臉年齡估計和年齡面貌重構是近年來計算機視覺領域和圖像處理領域的研究熱點,未來機器學習將是法醫(yī)圖像識別的主要研究方向之一,在刑偵、法醫(yī)、信息等領域有著巨大的潛力和應用價值。比如:公安刑偵部門可以根據早期人臉圖像推測現年齡人臉圖像,提高偵查效率;為失蹤人口的查找提供搜尋方向;為法醫(yī)圖像年齡推斷及研究人類面部老化特征提供重要依據。

人臉特征很大程度上由遺傳因素決定,然而由于發(fā)育、衰老等進程會使臉部形態(tài)產生明顯的改變,給基于圖像視頻技術的人臉識別、基于遺傳關聯的人臉特征刻畫帶來了技術上的難題,削弱了兩項技術在實際應用中的有效性。本研究通過觀察三維人臉形態(tài)特征變化與年齡之間的關系,建立了年齡估計模型,并嘗試對個體不同年齡階段的臉部形態(tài)進行合成,以期能為臉部年齡特征變化問題提供解決方法。

PLSR是一種多元統(tǒng)計分析方法,在人臉數據及年齡建立回歸模型的過程中,既可以提取人臉數據中的主成分,又能使主成分與年齡間的相關性最大化,同時該算法對三維人臉樣本觀測數遠遠小于變量維數和變量間的多重共線性都具有較好的適應性,因此本研究采用了PLSR方法構建年齡估計模型。通過該模型,我們研究了105個新疆維吾爾族男性個體年齡與三維人臉的相關性并進行年齡估計,預測的誤差為6.37歲,與前期研究中針對163個漢族男性個體得到的PLSR偏差(MAD值為6.11歲)結果[14]相近。同樣,年齡估計的準確性與研究對象的年齡范圍也呈現明顯的關聯性,在>30~40歲的群體中準確度最高,MAD值為4.27歲,而在接近老年的>50~57歲群體中準確度最低,MAD值為9.35歲。這一現象與通過甲基化檢測推測年齡時觀察到的現象相近,即對青中年群體的年齡推測準確性大大高于老年群體[30-31]。同時說明由于遺傳背景、生活環(huán)境等方面的影響,衰老進程會逐漸顯現出明顯的個體差異,也表明基于臉部形態(tài)特征的改變所估計的年齡值,相比實際年齡更接近個體的生物學年齡,與個體身體整體衰老程度具有較高一致性。

回歸系數是每個與年齡相關的PLSR成分的負荷向量(loading values)的加權和,比年齡相關的PLSR成分更能綜合反映臉部形態(tài)改變和年齡之間的關系,因此,回歸方程系數熱圖可以展示臉部區(qū)域對年齡模型的影響。從不同年齡段的平均臉的衰老趨勢可以看出,隨著年齡的增加,平均臉呈現鼻唇溝加深、臉頰凹陷、顴骨突出、眼角下垂等衰老特征,而且鼻唇溝的寬度、顴骨的高低、人中長度、嘴唇周圍臉頰的凹陷程度等區(qū)域相比其他區(qū)域對年齡都有較大影響。這些影響年齡估計準確度的特征區(qū)域與人眼視覺識別臉部衰老的特征相一致。這一結果在漢族人群、亞歐混合人群(維吾爾族)中都得到了驗證[14],說明衰老對臉部特征的改變在各人群中十分相似,本研究建立的年齡估計模型可能適用于多個種族人群。基于人臉年齡估計的PLSR模型,本研究重構了5個個體更年輕及更年老時的臉部形態(tài),重構的人臉形態(tài)較為逼真,老化模擬效果較好,說明構建的模型可以較好地模擬人臉老化過程。然而,人臉衰老受遺傳、性別、光照、生活方式等眾多因素影響,一個統(tǒng)一的年齡模型難以達到很高的年齡估計和年齡面貌合成精確性,需要對研究人群進行細致分類,分別建立有針對性的模型。

此外,雖然當前人臉數據庫較多,但大多基于二維人臉且樣本年齡分布并不理想[32-33],可應用的三維人臉數據庫有限,多年齡樣本不易采集且數量較少,這也是本研究的不足之一。人臉圖像的預處理、人臉特征的提取、年齡估計和年齡面貌重構的方法選擇也都會影響年齡模型的準確性和可靠性。針對存在的問題及目前已有的研究成果,我們未來的工作將從以下幾個方面逐步推進:嚴格控制采樣條件,增加樣本量,完善多年齡人臉數據庫,提高人臉年齡特征提取方法的魯棒性;對人群進行背景調查和分類,減少環(huán)境等因素在計算中的不確定性影響;研究人臉膚色紋理衰老特征,結合已有形態(tài)特征,更加真實地模擬人臉面貌老化過程,提高人臉年齡估計的準確度和人臉重構效果,使獲得數據和結論更具有科學性和實際的指導意義,為法醫(yī)學研究提供重要的參考價值。

猜你喜歡
臉部人臉向量
臉部美容須知
向量的分解
有特點的人臉
一起學畫人臉
聚焦“向量與三角”創(chuàng)新題
三國漫——人臉解鎖
做臉部運動讓你顯得更年輕
The Lovely Face
向量垂直在解析幾何中的應用
向量五種“變身” 玩轉圓錐曲線