姚肇亮,劉宇男,張姍姍,楊 健

(南京理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,江蘇 南京 210094)

作為圖像超分辨率(Image super-resolution,ISR)領(lǐng)域中的一個(gè)特定任務(wù),人臉圖像超分辨率(Face image super-resolution,FISR)任務(wù)在許多與面部相關(guān)的任務(wù)中起著至關(guān)重要的作用,例如人臉分析[1]、人臉識別[2,3]、人臉對齊[4]和人臉檢測[5]等,獲取更高分辨率的人臉圖像進(jìn)行任務(wù)間的輔助。人臉圖像超分辨率,旨在使用低分辨率(Low resolution,LR)人臉圖像恢復(fù)高分辨率(High resolution,HR)人臉圖像,然而,人臉圖像超分辨率是一種一對多的病態(tài)問題。輸入一張?zhí)囟ǖ牡头直媛嗜四槇D像,模型以低分辨率圖像生成高分辨率圖像的方式有很多種,存在多種可能的合理解,即超分辨率的解是不確定的。

憑借強(qiáng)大的學(xué)習(xí)能力,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNNs)在計(jì)算機(jī)視覺中被廣泛使用[6-9],包括圖像超分辨率領(lǐng)域,并顯現(xiàn)出較其他傳統(tǒng)方法[10-12]的優(yōu)越性。典型的基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率方法,采用像素級別的損失,例如L1損失[13],采用迭代訓(xùn)練的方式,迫使輸入的低分辨率圖像逐漸逼近高分辨率真實(shí)圖像,最終輸出令人滿意的高分辨率圖像。為了獲取更好的超分辨率效果,大多數(shù)基于神經(jīng)網(wǎng)絡(luò)的方法往往傾向于設(shè)計(jì)更深、更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。然而,這樣的結(jié)構(gòu)設(shè)計(jì)往往會使得網(wǎng)絡(luò)訓(xùn)練消耗大量的計(jì)算資源和計(jì)算時(shí)間。為解決這些問題,本文提出一種高效的基于多尺度特征融合的屬性感知人臉圖像超分辨率網(wǎng)絡(luò)(Multi-scale feature fusion based attribute-aware face image super-resolution network,MSFFN),這種網(wǎng)絡(luò)不僅超分辨率性能優(yōu)秀,并且能夠根據(jù)需要進(jìn)行按屬性控制的人臉圖像超分辨率。首先,本文提出一種新的多尺度特征融合模塊(Multi-scale feature fusion block,MSFFB),有效地提取不同尺度的圖像特征。此外,MSFFB作為網(wǎng)絡(luò)子模塊級聯(lián)構(gòu)成MSFFN網(wǎng)絡(luò),并通過一個(gè)多層次特征融合模塊(Hierarchical feature fusion module,HFFM)共同學(xué)習(xí)。其次,本文將面部屬性作為先驗(yàn)知識,提出一種屬性感知模塊(Attribute-aware module,AAM)用以將面部屬性整合到人臉圖像重建過程中。不同于以往直接將面部屬性標(biāo)簽作為輸入的方法,本文將面部屬性以二進(jìn)制掩膜的形式映射進(jìn)多尺度特征提取的中間階段。試驗(yàn)結(jié)果表明,使用面部屬性輔助多尺度特征抽取,能夠明顯地提升人臉圖像超分辨率效果,并且可修改面部屬性進(jìn)行人臉圖像超分辨率效果控制。最后,在大規(guī)模數(shù)據(jù)集上進(jìn)行的廣泛試驗(yàn)證明,對比其他優(yōu)秀方法,本文提出的方法具有出色的人臉圖像超分辨率性能。

一般圖像超分辨率方法,已有的包括插值法[14]、重構(gòu)法[15,16]和基于學(xué)習(xí)的傳統(tǒng)方法等[10-12]。近年來,自Dong等[17]首次基于卷積神經(jīng)網(wǎng)絡(luò)提出SRCNN用以圖像超分辨率,相繼出現(xiàn)許多基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率方法[13,17-22]。SRCNN學(xué)習(xí)從低分辨率圖像到高分辨率圖像的一種端到端映射,從而實(shí)現(xiàn)圖像超分辨率,并在當(dāng)時(shí)超越了以前的傳統(tǒng)方法。在SRCNN之后,相繼出現(xiàn)許多基于CNN的方法,例如EDSR[18]、RCAN[19]和DPSR[20]等,這些方法關(guān)注于尋找從低分辨率到高分辨率的更優(yōu)映射方式。殘差通道注意力超分辨率網(wǎng)絡(luò)[19](Residual channel attention network,RCAN)是一個(gè)非常深的卷積神經(jīng)網(wǎng)絡(luò),通過使用殘差通道注意力的方式,在提高性能的同時(shí),解決深層超分辨率網(wǎng)絡(luò)難以訓(xùn)練的問題。Zhang等[20]提出一個(gè)靈活高效的深度即插即用超分辨網(wǎng)絡(luò)(Deep plug-and-play super-resolution network,DPSR),用以解決更復(fù)雜的圖像超分辨率問題。但是,訓(xùn)練這些模型需要很多技巧和計(jì)算資源。接著,出現(xiàn)了一些優(yōu)秀而又輕便的方法。Li等[13]提出一個(gè)多尺度殘差網(wǎng)絡(luò)(Multi-scale residual network,MSRN),利用來自多個(gè)感受野的多尺度特征,為高分辨率圖像的構(gòu)建提供豐富的紋理信息。然而,MSRN僅對多尺度特征進(jìn)行簡單融合,忽略了特征之間的不同,導(dǎo)致了多尺度特征的未充分利用。受MSRN的啟發(fā),本文提出了充分利用多尺度特征和面部屬性進(jìn)行人臉圖像超分辨率的MSFFN模型。

較之僅使用低分辨率圖像作為輸入的一般圖像超分辨率任務(wù),人臉圖像超分辨率可以使用額外的面部屬性信息作為輸入,得到更好的超分辨率效果。盡管已有許多人臉圖像超分辨率方法被提出,一些早期方法[23-25]的訓(xùn)練和實(shí)際應(yīng)用難度較大,因?yàn)樗麄兏盍蚜巳四槇D像超分辨率和人臉屬性先驗(yàn)估計(jì)兩個(gè)任務(wù)。于是,一些方法嘗試將圖像重構(gòu)和先驗(yàn)估計(jì)整合到一個(gè)端到端的多任務(wù)框架中。與此同時(shí),出現(xiàn)了一些人臉屬性先驗(yàn)的研究,例如人臉解析[25,26]、人臉區(qū)域分割[27,28]和人臉屬性分析[29-31]等。Yu等[32]使用上采樣和鑒別器兩個(gè)網(wǎng)絡(luò)分支,將人臉屬性整合到一個(gè)屬性嵌入式網(wǎng)絡(luò)中。受Yu等[33]的啟發(fā),本文將人臉屬性作為一種抗人臉姿態(tài)變化且易在網(wǎng)絡(luò)推理階段被準(zhǔn)確估計(jì)的先驗(yàn)知識。相比于Yu等[29],本文提出的MSFFN將人臉屬性整合到網(wǎng)絡(luò)中間模塊中,更加高效且易于實(shí)現(xiàn)。

1 基于多尺度特征融合的屬性已知人臉圖像超分辨率

本節(jié)主要交代本文提出的基于多尺度特征融合的屬性感知人臉圖像超分辨率網(wǎng)絡(luò)模型(Multi-scale feature fusion based attribute-aware face image super-resolution network,MSFFN)。MSFFN由兩個(gè)模塊構(gòu)成:(1)多尺度特征抽取模塊(Multi-scale feature fusion extraction module,MSFFEM),由多個(gè)MSFFB堆疊而成;(2)MFFM由多個(gè)MSFFB的特征級聯(lián)組成,可提高圖像重構(gòu)表現(xiàn)。

如圖1所示,本文將輸入圖像記作ILR,使用一個(gè)卷積層進(jìn)行特征粗體取,由ILR提取得到R0

R0=f0(ILR)

(1)

式中:f0表示卷積操作。接著,R0被送到網(wǎng)絡(luò)的多個(gè)MSFFB中逐層抽取特征。假設(shè)網(wǎng)絡(luò)的第一個(gè)模塊MSFFEM由N個(gè)MSFFB組成,則第n個(gè)MSFFB的輸出可表示為

Rn=fn(Rn-1)=fn(fn-1(…(f1(R0))…))

(2)

式中:fn表示第n個(gè)MSFFB中的所有卷積過程。

圖1 基于多尺度特征融合的屬性感知人臉圖像超分辨率網(wǎng)絡(luò)模型(MSFFN)示意圖

受Li等[13]的啟發(fā),本文使用HFFM自適應(yīng)融合來自N個(gè)MSFFB的輸出

RG=C[R0,R1,…,RN]

相對而言，弱勢群體在社會政治、經(jīng)濟(jì)、法律、文化等資源的占有上明顯處于劣勢，使得他們的權(quán)益與訴求更容易遭受忽視與侵害。以本次疫苗事件為例，本次疫苗事件在曝光之前，很多受害人對于損害事實(shí)的發(fā)生根本不知情，而扭轉(zhuǎn)這一局面的契機(jī)正是網(wǎng)絡(luò)媒體對于相關(guān)違法事實(shí)的曝光與揭發(fā)。

(3)

(4)

1.1 多尺度特征抽取模塊

MSFFEM由多個(gè)MSFFB級聯(lián)組成,用以提取多尺度特征并且整合人臉屬性信息進(jìn)行更好的人臉圖像超分辨。如圖2所示,以第n個(gè)MSFFB模塊的特征抽取、融合舉例,本文先用3×3和5×5的卷積層抽取淺層的多尺度特征,接著使用局部特征融合模塊進(jìn)行特征融合,過程如式(5)

(5)

(6)

為使網(wǎng)絡(luò)能夠從人臉圖像多尺度特征和人臉屬性特征中獲取到更多的信息,本文將這兩種特征一起作為輸入,使用一個(gè)屬性感知模塊(Attribute-aware module,AAM),進(jìn)一步得到屬性感知的特征圖,AAM結(jié)構(gòu)如圖3所示。使用公式解釋AAM的作用流程

(7)

AAM的使用,使得多尺度人臉特征和人臉屬性信息能夠更好地進(jìn)行自適應(yīng)融合,提高了人臉圖像超分辨率的效果,如圖3所示。本文用到了7種人臉屬性,即K=7,并將7種人臉屬性轉(zhuǎn)化為二值特征圖用作AAM網(wǎng)絡(luò)的輸入。例如,性別屬性,男性標(biāo)簽對應(yīng)的二值特征圖由0組成,女性對應(yīng)二值特征圖由1組成。圖中:⊕表示特征逐像素相加操作。

圖2 屬性感知模塊示意圖

圖3 多尺度特征融合模塊

1.2 多層次特征融合模塊

在圖像超分辨任務(wù)中,輸出圖像和輸入圖像高度相關(guān)[9]。因此,挖掘輸入圖像的特征,并且將其轉(zhuǎn)移至網(wǎng)絡(luò)的后續(xù)層,對網(wǎng)絡(luò)的輸出圖像至關(guān)重要。然而,深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)加深,會導(dǎo)致特征在轉(zhuǎn)移過程中逐漸損耗甚至消失。為解決這一問題,出現(xiàn)了許多方法,這些方法中的網(wǎng)絡(luò)跳級連接(skip-connection)操作是一種最為簡單卻又很有效的方法。本文中的HFFM模塊便包含網(wǎng)絡(luò)跳級連接的應(yīng)用。通過跳級連接,每個(gè)MSFFB的輸出得以傳輸至網(wǎng)絡(luò)的后續(xù)層,被用以輔助最終的高分辨率人臉圖像輸出。一方面,這些中間層網(wǎng)絡(luò)特征帶有大量的冗余信息;另一方面,直接使用這些網(wǎng)絡(luò)特征進(jìn)行高分辨率人臉圖像預(yù)測會帶來很大的計(jì)算資源消耗。因此,為了更高效地提取這些多層級網(wǎng)絡(luò)特征中的有效信息,本文的HFFM模塊還包含了由1×1卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的瓶頸層(bottle-neck layer)設(shè)計(jì)。如圖1所示,HFFM模塊包含上述的跳級連接和瓶頸層設(shè)計(jì),式(3)是對圖4的補(bǔ)充說明。

圖4 不同方法的PSNR和SSIM對比

表1 MSFFN與部分已有的最優(yōu)方法對比

2 試驗(yàn)結(jié)果與分析

2.1 試驗(yàn)細(xì)節(jié)

參照J(rèn)iang等[28]的設(shè)計(jì),本文試驗(yàn)用到的數(shù)據(jù)集是CelebA人臉圖像數(shù)據(jù)集[32]的一個(gè)子集,包含20000張訓(xùn)練圖像和260張測試圖像。此外,本文使用的7種人臉屬性分別為化濃妝(是否)、魅力(高低)、高顴骨(是否)、嘴張開(是否)、微笑(是否)、涂抹口紅(是否)和性別(男女)。高分辨率人臉圖像HR從原數(shù)據(jù)集中裁取得到,分辨率為128像素×128像素,對應(yīng)的低分辨率人臉圖像LR由HR經(jīng)過雙3次插值得到,分辨率為16像素×16像素。在訓(xùn)練階段,采用了在線隨機(jī)旋轉(zhuǎn)(旋轉(zhuǎn)角度包括90°、180°和270°)和在線隨機(jī)水平翻轉(zhuǎn)的數(shù)據(jù)增廣方式。學(xué)習(xí)率(Learning rate,Lr)設(shè)置為Lr=0.0001,并且每200個(gè)迭代下降為原來的二分之一大小。網(wǎng)絡(luò)的訓(xùn)練選用Adam[33]優(yōu)化器,batch size為20,共訓(xùn)練1 000個(gè)epoch。

2.2 試驗(yàn)性能以及對比

本文方法與已有的方法做對比,如表1和圖4所示,不管是超分辨率客觀值(PSNR和SSIM)還是主觀效果,表現(xiàn)都不錯。如表1所示,本文的MSFFN超分辨率表現(xiàn)優(yōu)于大部分已有的其他方法,如明顯優(yōu)于傳統(tǒng)的雙三次插值方法和LLE方法,同時(shí)也優(yōu)于基于卷積神經(jīng)網(wǎng)絡(luò)的其他方法,如VDSR、DPSR、MNCE、FSRNet和MSRN方法。此外,本文的方法在對比旨在解決任意尺寸自然圖像超分辨的SRWarp方法[34]以及基于GAN網(wǎng)絡(luò)從而借助大量自然圖像訓(xùn)練超分辨先驗(yàn)的GLEGAN方法[35]時(shí)略有不足,原因可能在于SRWarp的針對任意尺度訓(xùn)練時(shí)能夠?qū)W習(xí)到更多的超分辨信息,而GLEGAN則是因?yàn)槠涫褂昧舜罅款~外的自然圖像進(jìn)行GAN網(wǎng)絡(luò)訓(xùn)練。值得注意的是,部分方法的超分變率結(jié)果,如LLE、VDSR和MNCE直接取自于一個(gè)已有工作的開源網(wǎng)站(https://github.com/junjun-jiang/IJCAI-18),沒有再經(jīng)過額外的訓(xùn)練,而其余方法的超分結(jié)果,如DPSR、FSRNet、SRWarp、GLEGAN和MSRN等則是采用與本文方法一致的訓(xùn)練超參數(shù)重新訓(xùn)練獲取。如圖4所示,本文的MSFFN方法不僅能夠取得更優(yōu)的超分誤差PSNR和SSIM,還能夠生成質(zhì)量更高、效果更逼真的人臉圖像。

2.3 消融試驗(yàn)

2.3.1 網(wǎng)絡(luò)深度設(shè)計(jì)

如圖5所示,本文的方法MSFFN的性能表現(xiàn)受網(wǎng)絡(luò)深度(主要指本文的網(wǎng)絡(luò)模塊MSFFB個(gè)數(shù)N)的影響,在網(wǎng)絡(luò)深度較小時(shí)候,網(wǎng)絡(luò)深度的增加有助于性能的提升。然而,試驗(yàn)結(jié)果表明,網(wǎng)絡(luò)深度的增加不一定總是有助于性能的提升,例如PSNR指標(biāo),而且網(wǎng)絡(luò)深度的增加會引入更多的網(wǎng)絡(luò)參數(shù),增加了網(wǎng)絡(luò)訓(xùn)練難度。因此,合理設(shè)計(jì)MSFFN的網(wǎng)絡(luò)深度尤為重要。本文在權(quán)衡網(wǎng)絡(luò)復(fù)雜度(例如網(wǎng)絡(luò)深度和網(wǎng)絡(luò)參數(shù)量)以及性能表現(xiàn)過后,將網(wǎng)絡(luò)深度設(shè)計(jì)為8個(gè)MSSFFB子模塊(即N=8)。

圖5 不同網(wǎng)絡(luò)深度對性能的影響

2.3.2 屬性感知模塊

如表2所示,為驗(yàn)證屬性感知模塊對人臉圖像超分辨率任務(wù)具有輔助效果,本文設(shè)置了4組對比試驗(yàn):(a)原始的MSRN網(wǎng)絡(luò),即不包含屬性感知模塊的使用;(b)減配版的MSFFN網(wǎng)絡(luò),即本文提出的MSFFN方法,但是不包含屬性感知模塊;(c)完整版的MSFFN網(wǎng)絡(luò),即包括屬性感知模塊;(d)在完整版MSFFN網(wǎng)絡(luò)基礎(chǔ)上使用self-ensemble增強(qiáng)手段[18]的試驗(yàn)。從表2中的(a)和(b)的結(jié)果對比來看,減配版的MSFFN性能明顯優(yōu)于原始的MSRN方法,驗(yàn)證了本文方法的有效性。從(b)和(c)的結(jié)果對比來看,完整版的MSFFN性能優(yōu)于減配版的MSFFN,驗(yàn)證屬性感知模塊AAM在本文方法上的有效性此外。從(c)和(d)的結(jié)果對比來看,借助sel-ensemble增強(qiáng)手段能夠小幅提升本文的MSFFN超分辨率性能表現(xiàn)。

表2 屬性感知模塊的消融試驗(yàn)

2.3.3 人臉屬性對人臉圖像超分辨率的影響

本節(jié)主要探索人臉屬性對人臉圖像超分辨率任務(wù)的影響。首先,在表3中給出本文測試集的測試樣本統(tǒng)計(jì),每種屬性的PSNR、SSIM值無明顯差異,表明單一屬性值的改變不會對最終的超分辨率性能產(chǎn)生負(fù)面影響。

表3 不同屬性的圖像樣本超分性能統(tǒng)計(jì)(測試集)

接著，本文在圖6展示了兩張男性人臉圖像超分辨率效果示例圖。第一列是使用雙三次插值方法得到的結(jié)果,第二列是不使用人臉屬性標(biāo)簽得到的MSFFN方法結(jié)果,第三列是使用原始人臉屬性標(biāo)簽(男性)得到的MSFFN方法結(jié)果,第四列是使用更改的人臉屬性標(biāo)簽(女性)得到的MSFFN方法結(jié)果,第五列是高分辨率人臉圖像真實(shí)圖像。

圖6 人臉屬性對人臉圖像超分辨率的影響

從圖6的第二列和第一列的對比來看,第二列明顯優(yōu)于第一列,更加近似于最后一列的真實(shí)圖像,驗(yàn)證了MSFFN的有效性。從第三列和第二列的對比來看,第三列的男性特征較第二列更明顯,驗(yàn)證了正確的人臉屬性特征對人臉圖像超分辨率任務(wù)的正向輔助作用。然而,當(dāng)本文把人臉屬性從男性更改為女性后,如第四列和第三列的試驗(yàn)對比,人臉圖像超分辨率的結(jié)果發(fā)生了明顯的改變,第三列人臉圖像更具男性特征;第四列人臉圖像更傾向于具備女性特征,例如臉部線條更加柔和,眉毛、嘴巴和胡子更女性化等,表明了MSFFN通過改變?nèi)四槍傩詷?biāo)簽操縱人臉圖像超分辨率效果的有效性。

3 結(jié)論

本文提出了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的人臉圖像超分辨率方法,即基于多尺度特征融合的屬性感知人臉圖像超分辨率網(wǎng)絡(luò)。試驗(yàn)結(jié)果表明,本文的方法優(yōu)于其他傳統(tǒng)的方法,以及已有的一些基于卷積神經(jīng)網(wǎng)絡(luò)方法。此外,本文的方法還能夠利用人臉屬性對人臉圖像超分辨率的效果進(jìn)行操縱。未來,本文考慮繼續(xù)擴(kuò)展本文的研究,提出性能更好、體量更輕便的網(wǎng)絡(luò),并在人臉圖像超分辨任務(wù)中關(guān)注更多的人臉屬性細(xì)節(jié)。