孫會(huì)強(qiáng) 呂佳 吳秀敏

摘? 要： 針對(duì)傳統(tǒng)人臉圖像合成算法存在過度平滑的問題，文中提出一種使用引導(dǎo)圖像濾波的改進(jìn)合成算法。通過引入K近鄰基準(zhǔn)算法和機(jī)器學(xué)習(xí)等理論，測(cè)試人臉圖像可以得到訓(xùn)練圖像塊的線性組合表示，從而獲取初始的合成結(jié)果。并在此基礎(chǔ)上，利用引導(dǎo)圖像濾波的方法，增強(qiáng)人臉?biāo)孛鑸D像的細(xì)節(jié)特征，進(jìn)一步優(yōu)化人臉細(xì)節(jié)紋理的展示。相關(guān)的仿真結(jié)果表明，文中所提出的合成算法有效回避了傳統(tǒng)合成算法過度平滑的弊端，能夠合成效果更加優(yōu)秀的人臉?biāo)孛鑸D像。

關(guān)鍵詞： 人臉圖像合成; 引導(dǎo)圖像濾波; 人臉圖像測(cè)試; 特征檢測(cè); 細(xì)節(jié)增強(qiáng); 仿真實(shí)驗(yàn)

Abstract： In allusion to the excess smoothness in the traditional facial image synthesis algorithm， an improved synthesis algorithm using guided image filtering is proposed. By introducing the k?nearest?neighbor benchmark algorithm and machine learning theory， the face image is tested to get the linear combination representation of the training image block， so as to obtain the initial synthesis results. On this basis， the detail features of the face sketch image is enhanced by means of the method of guided image filtering， and the display of the face detail texture is further optimized. The simulation results show that the proposed synthesis algorithm can effectively improve the excess smoothness of the traditional synthesis algorithm， and can synthesize excellent face sketch images.

Keywords： facial image synthesis; guided image filtering; facial image test; feature detection; detail enhancement; simulation experiment

0? 引? 言

在互聯(lián)網(wǎng)不斷發(fā)展的背景下，圖像與視頻處理技術(shù)獲得了廣泛的普及和應(yīng)用，為人類的娛樂及生活帶來(lái)了更加優(yōu)秀的體驗(yàn)。與指紋、掌紋等生理特征相比，人臉圖像具有容易獲取和處理的優(yōu)點(diǎn)，因此被推廣到公共安全、動(dòng)漫制作等領(lǐng)域中。在這些領(lǐng)域的應(yīng)用中，跨越多種類別的圖像轉(zhuǎn)換，即跨模態(tài)人臉圖像轉(zhuǎn)換屬于人臉圖像的重點(diǎn)研究?jī)?nèi)容。在這些研究中，如何利用照片生成素描風(fēng)格的人臉圖像，逐漸成為一個(gè)熱點(diǎn)研究方向。

為了解決這一問題，國(guó)內(nèi)外的眾多學(xué)者做出了大量值得借鑒的工作[1?3]。然而這些算法并未徹底解決這一問題[4?6]，均存在過度平滑的情況。換言之，人臉照片與素描圖像之間的轉(zhuǎn)換效果依舊存在較大的優(yōu)化空間，本文則是致力于研究此問題[7?8]。

為了避免經(jīng)典合成算法產(chǎn)生的過度平滑效果，本文選取基準(zhǔn)算法K近鄰（K?Nearest Neighbor，KNN），使用線性組合表示的方法實(shí)現(xiàn)圖像塊的估計(jì)與測(cè)試。在這些技術(shù)的基礎(chǔ)上，基于引導(dǎo)圖像濾波的細(xì)節(jié)增強(qiáng)效應(yīng)，本文優(yōu)化了算法的初始轉(zhuǎn)化結(jié)果，顯著地豐富了素描圖像的細(xì)節(jié)與紋理。

1? 基準(zhǔn)算法

為了生成較好的初始合成結(jié)果，本文引入基于K近鄰的基準(zhǔn)算法。該算法包含兩個(gè)關(guān)鍵步驟，即K近鄰查詢和線性組合表示計(jì)算，具體說明如下：

1） 算法需要將人臉照片的訓(xùn)練圖像和測(cè)試圖像劃分為若干個(gè)圖像塊，并查詢與測(cè)試圖像最接近的[K]個(gè)圖像塊。其詳細(xì)過程為：對(duì)于某張測(cè)試照片，算法平均地將其分割為若干個(gè)圖像塊，設(shè)某一個(gè)圖像塊的中心坐標(biāo)點(diǎn)為[i，j]，這一點(diǎn)的像素值為[pij]。同時(shí)，搜索半徑為[r]范圍內(nèi)的[N]個(gè)圖像塊，計(jì)算這些圖像塊與訓(xùn)練圖像的中心像素值之間的歐氏距離，獲取搜索范圍內(nèi)與訓(xùn)練圖像最接近的[K]個(gè)圖像塊，并利用共軛梯度法計(jì)算線性映射的系數(shù)。

2） 利用獲取的[K]個(gè)圖像塊的線性組合，得到初始素描圖像。其詳細(xì)過程為，設(shè)[Is，p]是測(cè)試圖像中像素值為[p]的某一圖像塊估算結(jié)果，其計(jì)算公式為：

式中：[Bks，p]表示第[k]個(gè)與測(cè)試圖像最接近的圖像塊;[lkp]表示其線性組合的系數(shù)。而對(duì)于任意的[p]，所有系數(shù)均滿足[k=1Klkp=1]。由式（1）分析可知，線性組合系數(shù)[lkp]必然與訓(xùn)練和測(cè)試圖像塊之間的歐氏距離呈現(xiàn)反比的關(guān)系。因此，本文利用式（2）計(jì)算未知的線性組合系數(shù)。

式中：[v]表示已定義的常量;[L]表示具有歸一化作用的因子，是眾多項(xiàng)之和。其計(jì)算公式如下：

經(jīng)過反復(fù)的迭代與優(yōu)化，算法可以獲取測(cè)試圖像的初始合成結(jié)果，其表達(dá)式為：

式中：[It，p]表示測(cè)試圖像的初始合成結(jié)果;[Bkt，p]（[1≤k≤K]）表示訓(xùn)練圖像中與測(cè)試圖像接近的[K]個(gè)圖像塊;[lkp]（[1≤k≤K]）表示初始的線性組合系數(shù)，基準(zhǔn)算法的完整描述如下：

Input：訓(xùn)練圖像[X]，測(cè)試圖像[Y]，估算結(jié)果[Is，p]，圖像塊大小[s]，半徑[r]和鄰近圖像塊數(shù)量[K]。

Output：初始合成結(jié)果[It，p]。

1） 將訓(xùn)練圖像[X]、測(cè)試圖像[Y]劃分為若干個(gè)圖像塊，利用式（1）計(jì)算其估算結(jié)果[Is，p];

2） 在測(cè)試圖像[Y]中，尋找[K]個(gè)最接近的中心像素值為[p]圖像塊;

3） 利用式（2）計(jì)算測(cè)試圖像的線性組合系數(shù);

4） 利用式（4）計(jì)算測(cè)試圖像的初始合成結(jié)果。

2? 細(xì)節(jié)增強(qiáng)算法

使用KNN的基準(zhǔn)算法，本文可以得到測(cè)試圖像的初始合成結(jié)果。通常該合成結(jié)果存在過平滑的效果，缺少細(xì)致的人臉展示，例如眼睫毛、頭發(fā)和嘴唇等人臉細(xì)節(jié)[9?10]。為了更加細(xì)致地展示人臉的諸多特征，本文引入了引導(dǎo)圖像濾波的算法。在KNN基準(zhǔn)算法的基礎(chǔ)上，進(jìn)一步優(yōu)化算法的合成效果，增強(qiáng)人臉?biāo)孛鑸D像的細(xì)節(jié)。

2.1? 引導(dǎo)圖像濾波

引導(dǎo)圖像濾波是一種新型有效的圖像濾波算法，其靈感最初來(lái)自于圖像的局部線性變換模型[11]。該算法的優(yōu)勢(shì)在于可以同時(shí)保留圖像的整體結(jié)構(gòu)與細(xì)節(jié)紋理，其詳細(xì)說明如下：

通常在濾波過程中，不妨使用[u]表示引導(dǎo)圖像，[I]表示輸入圖像，[O]表示輸出圖像。在這3個(gè)指標(biāo)中，引導(dǎo)圖像[u]與輸入圖像[I]是已知的，則令[i]和[j]表示像素的索引。[nij]表示引導(dǎo)圖像[u]的濾波核函數(shù)，且該函數(shù)與輸入圖像[I]存在線性關(guān)系，則第[i]個(gè)像素位置的輸出圖像的計(jì)算公式為：

由于輸出圖像[O]與引導(dǎo)圖像[u]之間滿足局部線性關(guān)系，在以像素值[k]為中心的窗口[wk]，第[i]個(gè)像素位置（[i∈wk]）的濾波輸出公式可以簡(jiǎn)化為：

式中，對(duì)于半徑為[r]的窗口[wk]，[ak]和[bk]是不變的線性系數(shù)。其計(jì)算方式為，已知輸出圖像[Oi]與輸入圖像[Ii]，設(shè)[vi]為噪聲，則存在以下公式：

令[ε]為正則化的參數(shù)，則最小化函數(shù)的數(shù)學(xué)定義為：

令[μk]表示窗口[wk]中[u]的均值，[σ2k]表示其方差，[w]表示窗口[wk]中像素個(gè)數(shù)，[Ik]表示窗口[wk]中輸入圖像的平均值，則其線性系數(shù)[ak]和[bk]的計(jì)算公式為：

經(jīng)過推導(dǎo)、簡(jiǎn)化和變換，本文得到了線性函數(shù)的計(jì)算方法，如下：

此時(shí)，線性系數(shù)[ai]和[bi]的計(jì)算公式分別為：

2.2? 算法步驟

基于引導(dǎo)圖像濾波的算法原理，本文以基準(zhǔn)算法的初始合成結(jié)果為輸入。使用引導(dǎo)圖像濾波方法進(jìn)行精細(xì)地調(diào)整和優(yōu)化，逐漸合成細(xì)致的素描人臉圖像。根據(jù)上述研究目的，本文設(shè)計(jì)了處理算法的具體步驟：

Input：基準(zhǔn)算法結(jié)果[It，p]，測(cè)試圖像[Y]，搜索半徑[r]，中間參數(shù)[ε]。

Output：最終合成圖像結(jié)果[u″]。

1） 計(jì)算測(cè)試圖像[Y]和初始結(jié)果[It，p]的均值[meanY=fmY]，[meanIt，p=fmIt，p]，同時(shí)計(jì)算兩者之間的相關(guān)函數(shù)值[corI=fmY·Y]，[corIt，p=fmY·It，p];

2） 計(jì)算中間參數(shù)[var=corY-mean2Y]，協(xié)方差[covY=corY-meanY·meanIt，p];

3） 計(jì)算線性系數(shù)[a=covYvar+ε]，[b=meanIt，p-a·meanY];

4） 計(jì)算線性系數(shù)的均值[meana=fma]，[meanb=fmb];

5） 計(jì)算最終合成結(jié)果[u″=meana·Y+meanb]。

3? 仿真與分析

為了驗(yàn)證算法的有效性，本文分別使用K近鄰基準(zhǔn)算法與引導(dǎo)濾波算法進(jìn)行了仿真和比較。為了比較這兩種算法的合成效果，本文引入香港中文大學(xué)的CUHK數(shù)據(jù)集作為算法的輸入圖像[12?13]。在該數(shù)據(jù)集中，訓(xùn)練圖像的數(shù)量為88對(duì)，其他圖像均為測(cè)試圖像。

基于Matlab軟件平臺(tái)，本文實(shí)現(xiàn)了這兩種算法，分別對(duì)圖1給出的人臉照片進(jìn)行相應(yīng)的處理，得到K近鄰基準(zhǔn)算法與引導(dǎo)圖像濾波算法的運(yùn)行結(jié)果，如圖2、圖3所示。

為了對(duì)比這兩種算法的運(yùn)行效果，本文截取這3張人臉圖像的特定位置進(jìn)行更加細(xì)致的對(duì)比，如圖4～圖6所示。

由圖5和圖6對(duì)比可知，引導(dǎo)圖像濾波算法的運(yùn)行結(jié)果更加細(xì)膩，展示了更多人臉的細(xì)節(jié)。而基于K近鄰的基準(zhǔn)算法運(yùn)行結(jié)果相對(duì)較為粗糙，其細(xì)膩度明顯弱于引導(dǎo)圖像濾波算法的運(yùn)行結(jié)果。

4? 結(jié)? 語(yǔ)

基于引導(dǎo)圖像濾波的原理，本文提出一種人臉?biāo)孛鑸D像的合成算法。該算法在K近鄰基準(zhǔn)算法的基礎(chǔ)上，進(jìn)一步豐富人臉?biāo)孛鑸D像的細(xì)節(jié)，更多地保留人類面部的細(xì)節(jié)特征。然而由于計(jì)算資源的限制，本文未使用大量的人臉照片測(cè)試文中所提出算法的穩(wěn)定性，也未對(duì)該算法進(jìn)行必要的推廣。因此，下一步將致力于解決這一問題。

參考文獻(xiàn)

[1] 劉光蓉，王文靖，李詩(shī)高，等.一種圖像素描特效處理算法及實(shí)現(xiàn)[J].武漢輕工大學(xué)學(xué)報(bào)，2015，34（4）：51?55.

[2] 周汐，曹林.分塊LBP的素描人臉識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào)，2015，20（1）：50?58.

[3] 李偉紅，付偉鋒，張鎮(zhèn)，等.素描梯度方向直方圖用于人臉畫像識(shí)別[J].儀器儀表學(xué)報(bào)，2015，36（2）：368?376.

[4] 吳仕超，劉滿祿，朱波，等.基于圖像層級(jí)的機(jī)器素描研究[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2017，26（9）：264?268.

[5] 吉娜燁，柴秀娟，山世光，等.局部回歸模型驅(qū)動(dòng)的人臉?biāo)孛枳詣?dòng)生成[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014，26（12）：2232?2243.

[6] 趙艷丹，趙漢理，許佳奕，等.基于人臉特征和線積分卷積的肖像素描生成[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014，26（10）：1711?1719.

[7] 姚敏，趙振剛，高立慧，等.基于離散小波變換的圖像素描生成算法[J].計(jì)算機(jī)與數(shù)字工程，2017，45（6）：1207?1210.

[8] 趙京晶，方琪，梁植程，等.超分辨率重建的素描人臉識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào)，2016，21（2）：218?224.

[9] 曹林，李猛，張華.結(jié)合改進(jìn)Surf特征的素描人臉識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（21）：188?193.

[10] 高晨昊.基于深度神經(jīng)網(wǎng)絡(luò)特征表達(dá)的人臉?biāo)孛韬铣蒣D].上海：上海交通大學(xué)，2018.

[11] 孫會(huì)強(qiáng)，呂佳，吳秀敏.基于最小二乘法的人臉?biāo)孛杩ㄍ▓D像算法[J].現(xiàn)代電子技術(shù)，2019，42（18）：143?146.

[12] 孫玉紅，張?jiān)疲响o，等.基于紋理和草圖的圖像鉛筆畫繪制[J].計(jì)算機(jī)應(yīng)用，2016，36（7）：1976?1980.

[13] 黃雙萍，王衛(wèi)星，吳偉斌，等.基于特征融合的人臉?biāo)孛枳詣?dòng)生成系統(tǒng)研究[J].計(jì)算機(jī)應(yīng)用與軟件，2015，32（4）：175?180.

[14] 楊旭.人臉?biāo)孛枭膳c加強(qiáng)[D].南京：東南大學(xué)，2016.

[15] 鄭華昌.基于智能移動(dòng)終端的人臉識(shí)別技術(shù)在高校課堂考勤中的應(yīng)用研究：以江門職業(yè)技術(shù)學(xué)院為例[J].計(jì)算機(jī)產(chǎn)品與流通，2019（10）：222.

[16] 黃紹倫，孫東旭.人工智能在校園智慧圖書館中的應(yīng)用與研究：基于人臉識(shí)別與RFID技術(shù)[J].現(xiàn)代信息科技，2019（19）：133?135.

[17] 左國(guó)才，韓東初，蘇秀芝，等.基于深度學(xué)習(xí)人臉識(shí)別技術(shù)的課堂行為分析評(píng)測(cè)系統(tǒng)研究[J].智能計(jì)算機(jī)與應(yīng)用，2019（5）：135?137.