高 杰，霍智勇

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京210003；2.南京郵電大學(xué) 教育科學(xué)與技術(shù)學(xué)院，江蘇 南京210003)

圖像修復(fù)技術(shù)[1](Inpainting)是圖像處理領(lǐng)域研究的一項(xiàng)重要內(nèi)容，其目的是根據(jù)圖像或視頻中的已知部分來(lái)重建丟失區(qū)域[2]?，F(xiàn)有的圖像修復(fù)方法包括基于序列的方法、基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)的方法和基于生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)的方法?；谛蛄械姆椒ㄓ志唧w分為：基于擴(kuò)散的方法[3-5]和基于補(bǔ)丁的方法[6-9]。這些方法在針對(duì)小區(qū)域遮擋和裂縫修復(fù)任務(wù)時(shí)非常有效，但是當(dāng)圖像包含很多紋理或者圖像掩碼區(qū)域比例超過(guò)10%時(shí)，修復(fù)效果較差[10]。

近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)[11]的圖像修復(fù)技術(shù)逐漸成為主流研究方向。文獻(xiàn)[12]在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)并首次應(yīng)用了生成對(duì)抗網(wǎng)絡(luò)，提出了編解碼器網(wǎng)絡(luò)，將網(wǎng)絡(luò)的輸出送至判別器檢測(cè)真?zhèn)?，大大增加了結(jié)果的合理性，但該網(wǎng)絡(luò)僅能修復(fù)固定且規(guī)則形狀的掩碼的圖像，在修復(fù)具有自由形狀掩碼的圖像時(shí)，會(huì)產(chǎn)生不自然的結(jié)果。文獻(xiàn)[13]中提出使用部分卷積(Partial Convolution)對(duì)不規(guī)則孔洞進(jìn)行圖像修復(fù)，將包含無(wú)效輸入的卷積屏蔽并重新歸一化，僅對(duì)有效像素卷積，結(jié)合其提出的掩碼更新機(jī)制取得了較好的修復(fù)結(jié)果。但隨著層的加深，掩碼與圖像之間的關(guān)系很難學(xué)習(xí)，導(dǎo)致修復(fù)后的圖像中有掩碼邊界殘留。文獻(xiàn)[14]將修復(fù)任務(wù)分為并行處理的粗網(wǎng)絡(luò)和細(xì)網(wǎng)絡(luò)，提升了修復(fù)的效率，但該算法只適用于較小掩碼區(qū)域的修復(fù)。文獻(xiàn)[15]提出了一種結(jié)合邊緣信息先驗(yàn)的兩階段生成對(duì)抗網(wǎng)絡(luò)來(lái)進(jìn)行圖像修復(fù)，準(zhǔn)確地重建了圖片中的高頻信息。它包括邊緣修復(fù)網(wǎng)絡(luò)和紋理修復(fù)網(wǎng)絡(luò)，邊緣修復(fù)網(wǎng)絡(luò)在圖像的掩碼區(qū)域生成預(yù)測(cè)邊緣，然后紋理修復(fù)網(wǎng)絡(luò)使用預(yù)測(cè)邊緣作為先驗(yàn)來(lái)填充掩碼區(qū)域。該方法得到了具有豐富紋理細(xì)節(jié)的修復(fù)結(jié)果，但由于網(wǎng)絡(luò)中空洞卷積的各個(gè)卷積層的結(jié)果之間沒(méi)有相關(guān)性，同樣很難獲得掩碼與圖像之間的關(guān)系，導(dǎo)致有時(shí)不能保證填充區(qū)域和已知區(qū)域的一致性。

針對(duì)上述方法存在的問(wèn)題，筆者提出了一種門控卷積生成對(duì)抗網(wǎng)絡(luò)的圖像修復(fù)算法。針對(duì)任意形狀掩碼區(qū)域的修復(fù)任務(wù)，算法在生成對(duì)抗網(wǎng)絡(luò)中利用門控卷積[16]，使得網(wǎng)絡(luò)可以針對(duì)每個(gè)通道和每個(gè)空間位置，學(xué)習(xí)一種動(dòng)態(tài)特征選擇機(jī)制，可以根據(jù)一些通道的語(yǔ)義分割結(jié)果來(lái)選擇特征圖[17]。在網(wǎng)絡(luò)深層，門控卷積還可針對(duì)不同的通道對(duì)遮蔽區(qū)域進(jìn)行突出表示[18]。另外，算法針對(duì)網(wǎng)絡(luò)生成器的輸出，用譜歸一化馬爾科夫判別器來(lái)穩(wěn)定訓(xùn)練過(guò)程，以獲得更好的修復(fù)結(jié)果。

1 相關(guān)工作

文獻(xiàn)[15]采用邊緣修復(fù)加紋理修復(fù)的兩階段生成對(duì)抗修復(fù)網(wǎng)絡(luò)，將圖像修復(fù)任務(wù)分步驟進(jìn)行，其結(jié)構(gòu)如圖1所示。

圖1 兩階段生成對(duì)抗修復(fù)網(wǎng)絡(luò)結(jié)構(gòu)

首先用邊緣檢測(cè)算法檢測(cè)出破損圖像中已知區(qū)域的結(jié)構(gòu)；然后將掩碼區(qū)域中的邊緣與已知區(qū)域的顏色和紋理信息結(jié)合起來(lái)進(jìn)行結(jié)構(gòu)修復(fù)；再將完整結(jié)構(gòu)與待修復(fù)圖像一起送入紋理修復(fù)網(wǎng)絡(luò)中進(jìn)行紋理修復(fù)，最終得到完整圖像。這種兩階段網(wǎng)絡(luò)充分利用了先驗(yàn)的圖像結(jié)構(gòu)信息，從而提高了修復(fù)結(jié)果在結(jié)構(gòu)上的合理性。

該網(wǎng)絡(luò)中兩段網(wǎng)絡(luò)的生成器結(jié)構(gòu)是相同的，都由兩種卷積組成：① 普通卷積，用于上采樣和下采樣；② 與殘差塊結(jié)合的空洞卷積，用于擴(kuò)大卷積的感受野?？斩淳矸e雖然在參數(shù)不變的情況下保證了更大的感受野，但在面對(duì)掩碼區(qū)域較小的情況時(shí)容易丟失細(xì)節(jié)信息，導(dǎo)致算法無(wú)法達(dá)到生成對(duì)抗網(wǎng)絡(luò)的最佳性能[19]。為了解決這一問(wèn)題，用門控卷積代替空洞卷積，通過(guò)自動(dòng)地從數(shù)據(jù)中學(xué)習(xí)掩碼，獲得掩碼通道與圖像通道的關(guān)系，從而實(shí)現(xiàn)靈活調(diào)整卷積的感受域，提升修復(fù)結(jié)果的合理性。

2 門控卷積生成對(duì)抗網(wǎng)絡(luò)圖像修復(fù)模型

圖像修復(fù)網(wǎng)絡(luò)將修復(fù)任務(wù)分解成掩碼區(qū)域高頻信息(邊緣)和低頻信息(紋理)的補(bǔ)全，分3個(gè)步驟完成修復(fù)：① 預(yù)處理(邊緣檢測(cè))，即用整體嵌套邊緣檢測(cè)算法[20](Holistically-Nested Edge Detection，HED)對(duì)破損圖像進(jìn)行邊緣檢測(cè)，得到圖像邊緣的破損信息；② 邊緣修復(fù)，即將檢測(cè)到的破損邊緣圖像、掩碼以及破損圖像一起輸入到邊緣修復(fù)網(wǎng)絡(luò)，網(wǎng)絡(luò)包含生成器G1和判別器D1，在判別器檢測(cè)生成的邊緣為真時(shí)，輸出完整邊緣；③ 紋理修復(fù)，即將完整邊緣與破損圖像送到紋理修復(fù)網(wǎng)絡(luò)，網(wǎng)絡(luò)包含生成器G2和判別器D2，在判別器檢測(cè)生成器填充的紋理為真時(shí)，輸出修復(fù)后的完整圖像。

算法的網(wǎng)絡(luò)如圖2所示，由結(jié)構(gòu)相同的邊緣修復(fù)網(wǎng)絡(luò)和紋理修復(fù)網(wǎng)絡(luò)兩部分組成，每個(gè)部分都是生成對(duì)抗網(wǎng)絡(luò)，均由含14層卷積層的生成器和含6層卷積層的判別器組成。

圖2 門控卷積生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)圖

網(wǎng)絡(luò)在生成器的下采樣層和上采樣層之間構(gòu)建內(nèi)嵌門控卷積的殘差塊，提高對(duì)抗梯度彌散和網(wǎng)絡(luò)退化的能力；在馬爾科夫判別器上應(yīng)用了譜歸一化，改善迭代過(guò)程中權(quán)重變化緩慢的問(wèn)題；采用鉸鏈損失函數(shù)(HingeLoss)[21]作為生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練的約束。

2.1 生成器網(wǎng)絡(luò)結(jié)構(gòu)

生成器的功能為根據(jù)真實(shí)樣本生成一些類似于真實(shí)樣本的假樣本，并不斷提高生成樣本的真實(shí)性，直至判別網(wǎng)絡(luò)無(wú)法判斷輸入的是真實(shí)樣本還是生成的假樣本。邊緣修復(fù)網(wǎng)絡(luò)的生成器G1和紋理修復(fù)網(wǎng)絡(luò)的生成器G2結(jié)構(gòu)相同，門控卷積是G1和G2的核心組成部分。生成器的具體結(jié)構(gòu)設(shè)置為：第1層是歸一化層，以防止反向傳播過(guò)程中梯度爆炸或消失，其卷積層包含64個(gè)7×7的卷積核；第2層和第3層為下采樣層，分別使用128個(gè)和256個(gè)大小均為4×4的卷積核，不斷降低圖像分辨率以增加輸出接收?qǐng)?；?層至第11層為連續(xù)的8個(gè)殘差塊，均使用卷積核為3×3的門控卷積并且不改變圖像尺寸，在減少梯度消失的同時(shí)利用門控卷積進(jìn)行相似于背景特征的掩碼特征填充；第12層和第13層均為4×4的上采樣層，以逐步將圖像恢復(fù)至原始分辨率；第14層為卷積核大小為7×7的激活函數(shù)層，以避免非線性因素的影響。各卷積層之間采用實(shí)例歸一化以使各生成樣本之間相互獨(dú)立[22]。

生成器G1的輸入通道數(shù)為3，包括破損灰度圖像的1個(gè)通道、掩碼圖像的1個(gè)通道和破損邊緣圖像的1個(gè)通道。經(jīng)過(guò)生成器G1得到完整邊緣Cout。生成過(guò)程用公式可表示為

Cout=G1(Iin，Cin，M) ，

(1)

其中，Iin為破損圖像，Cin為HED算法檢測(cè)出的邊緣圖像，M表示掩碼圖像。

生成器G2的輸入通道數(shù)為4，包括破損RGB圖像的3個(gè)通道和完整邊緣圖像的1個(gè)通道，經(jīng)過(guò)生成器G2最終輸出通道數(shù)為3的完整圖像Iout。該過(guò)程用公式可表示為

Iout=G2(Iin，Cout) ，

(2)

其中，Iin為破損圖像，Cout為完整邊緣。

2.2 譜歸一化馬爾科夫判別器

判別器用于確定輸入判別器的是真實(shí)樣本還是生成器生成的假樣本。判別器D1和D2均選擇譜歸一化馬爾科夫判別器來(lái)分別判斷G1和G2修復(fù)結(jié)果的真假。訓(xùn)練過(guò)程分兩步。第1步，固定生成器訓(xùn)練判別器，若輸入為真實(shí)樣本數(shù)據(jù)，則可信度置1；若輸入為生成的數(shù)據(jù)，則可信度置0。在生成器參數(shù)不變的前提下，讓生成器損失函數(shù)值取最大，使判別器具有辨別真實(shí)樣本和生成樣本的能力。第2步，固定判別器訓(xùn)練生成器，在判別器的參數(shù)不變的前提下讓生成器損失函數(shù)值取最小，使生成器學(xué)會(huì)生成出判別器無(wú)法區(qū)分真假的圖像。通過(guò)不斷地重復(fù)上述極大極小值的博弈過(guò)程，模型最終達(dá)到平衡狀態(tài)，從而穩(wěn)定了訓(xùn)練過(guò)程。同時(shí)，使用譜歸一化以改善迭代過(guò)程中權(quán)重變化緩慢的問(wèn)題。

譜歸一化馬爾科夫判別器的結(jié)構(gòu)為：6個(gè)卷積核大小為5、步長(zhǎng)為2的卷積層，卷積核數(shù)目分別為64、128、256、256、256、256。通過(guò)每一層的堆疊來(lái)獲得馬爾科夫塊特征的統(tǒng)計(jì)信息，以捕捉輸入圖像在不同位置和不同語(yǔ)義通道中的不同特征，并直接對(duì)特征圖中的每一個(gè)特征元素應(yīng)用生成對(duì)抗網(wǎng)絡(luò)損失，應(yīng)用次數(shù)等于圖像的高×寬×通道數(shù)。

2.3 帶門控卷積的殘差塊

生成器網(wǎng)絡(luò)的中間層用于生成破損區(qū)域特征，所以需要用連續(xù)的殘差塊來(lái)保持傳播過(guò)程中的梯度，以防止梯度消失或者突變。而一般的殘差塊中通常采用空洞卷積，雖然獲得了較大感受野，但犧牲了較多已知區(qū)域與未知區(qū)域相關(guān)聯(lián)的細(xì)節(jié)信息，相較于特征感受野的變化，這些細(xì)節(jié)信息的多少對(duì)修復(fù)結(jié)果的影響更加明顯。為了保證在傳播過(guò)程中能夠獲得這些信息，在生成器網(wǎng)絡(luò)的殘差塊中引入了門控卷積。門控卷積oy，x由門控選擇單元Gy，x和特征提取單元Fy，x兩部分組成，其定義如下：

Gy，x=∑∑Wg·I，

(3)

Fy，x=∑∑Wf·I，

(4)

Oy，x=φ(Fy，x)⊙σ(Gy，x) ，

(5)

其中，I表示輸入，在網(wǎng)絡(luò)中即為下采樣后的特征；Wg和Wf分別表示用于計(jì)算門控值和特征值的卷積濾波器；φ(·)是任意的激活函數(shù)，一般采用ReLU或者LeakyReLU；σ(·)表示對(duì)輸出在[0，1]范圍的門控計(jì)算值使用sigmoid激活函數(shù)；⊙表示像素級(jí)別的乘積；(y，x)代表像素的坐標(biāo)。

對(duì)于圖像修復(fù)任務(wù)來(lái)說(shuō)，殘差塊的輸入特征由已知區(qū)域的有效像素特征和掩碼區(qū)域中的無(wú)效像素特征組成。由門控卷積中的門控選擇單元根據(jù)輸入特征的關(guān)聯(lián)性選擇不同的門控值，再將門控值與特征提取單元所提取的特征值相乘得到門控卷積輸出，作為填充特征的依據(jù)。由于門控卷積會(huì)改變輸入的特征，在每次卷積后，門控選擇單元和特征提取單元都會(huì)根據(jù)輸入特征更新一次濾波器參數(shù)，為下一層已知區(qū)域特征以及相對(duì)應(yīng)的掩碼區(qū)域特征的更新做準(zhǔn)備?；谝陨喜僮?，在對(duì)生成器網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練的過(guò)程中，網(wǎng)絡(luò)學(xué)習(xí)到了已知區(qū)域與掩碼區(qū)域的聯(lián)系，增強(qiáng)了填充結(jié)果的合理性，提高了修復(fù)性能。

2.4 損失函數(shù)

2.4.1 邊緣修復(fù)網(wǎng)絡(luò)損失函數(shù)

為了保證訓(xùn)練的穩(wěn)定，邊緣修復(fù)網(wǎng)絡(luò)中生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)使用鉸鏈損失來(lái)判斷輸入的真假，包含了生成器損失LG和譜歸一化馬爾科夫判別器(SN-PatchGAN)損失LDsn：

LG=-Ez～Pz(z)[Dsn(G(z))] ，

(6)

LDsn=Ex～Pdata(x)[ReLU(1-Dsn(x))]+Ez～Pz(z)[ReLU(1+Dsn(G(z)))] ，

(7)

其中，G(z)是生成器G1修復(fù)不完整圖像z的輸出結(jié)果，Dsn代表譜歸一化馬爾科夫判別器。

因?yàn)閳D像中相似的邊緣補(bǔ)丁信息已經(jīng)在Dsn中進(jìn)行了編碼，所以無(wú)須使用感知損失，僅用懲罰損失程度大的L1損失函數(shù)即可。故邊緣修復(fù)網(wǎng)絡(luò)的最終損失函數(shù)僅由像素級(jí)L1重建損失Lrec和SN-PatchGAN損失LDsn兩部分組成，默認(rèn)損失平衡的超參數(shù)比為1∶1，具體表達(dá)式為

L=Lrec+LDsn，

(8)

Lrec(x)=‖M⊙(x-F((1-M)⊙x))‖1，

(9)

其中，F(xiàn)(·)表示編碼器的采樣過(guò)程。

2.4.2 紋理修復(fù)網(wǎng)絡(luò)損失函數(shù)

紋理修復(fù)階段填充了大量紋理信息，致使各卷積層的激活圖出現(xiàn)較大差異。為了捕捉這些激活圖協(xié)方差之間的差異，引入風(fēng)格損失。給定大小為Ci×Hi×Wi的特征圖，風(fēng)格損失函數(shù)的表達(dá)式為

(10)

L=Lstyle+LDsn，

(11)

其中，LDsn的表達(dá)式與式(7)相同。

3 實(shí)驗(yàn)方法與結(jié)果分析

3.1 實(shí)驗(yàn)方法

為了驗(yàn)證算法網(wǎng)絡(luò)的魯棒性和泛化能力，實(shí)驗(yàn)數(shù)據(jù)集采用包含400種不同場(chǎng)景的Places數(shù)據(jù)集；掩碼數(shù)據(jù)集采用文獻(xiàn)[13]中貢獻(xiàn)的數(shù)據(jù)集，它包含了12 000張掩碼區(qū)域比例從1%到90%的掩碼圖像。為了驗(yàn)證和優(yōu)化門控卷積針對(duì)不同掩碼的特征提取和門控選擇能力，每張?jiān)紙D像都是經(jīng)過(guò)任意地、可重復(fù)地疊加隨機(jī)掩碼區(qū)域后輸入網(wǎng)絡(luò)訓(xùn)練。

實(shí)驗(yàn)計(jì)算平臺(tái)為主頻Intel(R) Core CPU i7-7700 @3.60 GHz×4處理器和NVIDIA 1080Ti顯卡，平臺(tái)環(huán)境為Centos7系統(tǒng)和Pytorch 1.2.0深度學(xué)習(xí)框架。根據(jù)網(wǎng)絡(luò)模型參數(shù)以及環(huán)境配置，實(shí)驗(yàn)在二十萬(wàn)張帶掩碼的、分辨率為256×256的Places2數(shù)據(jù)集上迭代30個(gè)周期，每批次訓(xùn)練樣本數(shù)設(shè)為8，生成器網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)為10-4，對(duì)G1和G2進(jìn)行端到端訓(xùn)練。針對(duì)譜歸一化馬爾科夫判別器采用Adam優(yōu)化，一階、二階矩估計(jì)的指數(shù)衰減率分別設(shè)置為0和0.9，并設(shè)置判別器的學(xué)習(xí)率為10-5對(duì)網(wǎng)絡(luò)微調(diào)，直至收斂為止。

3.2 實(shí)驗(yàn)結(jié)果與分析

3.2.1 評(píng)價(jià)指標(biāo)

為了評(píng)估實(shí)驗(yàn)的修復(fù)結(jié)果，選取峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity，SSIM)作為評(píng)價(jià)指標(biāo)。

峰值信噪比用Φ表示，其定義為

(12)

結(jié)構(gòu)相似性用Ω(x，y)表示，基于圖像樣本x和y之間的亮度、對(duì)比度和結(jié)構(gòu)三個(gè)衡量標(biāo)準(zhǔn)來(lái)定義：

Ω(x，y)=[l(x，y)c(x，y)s(x，y)] ，

(13)

其中，l(·)、c(·)、s(·)分別表示對(duì)圖像亮度、對(duì)比度和結(jié)構(gòu)的估計(jì)度量，其定義分別為

3.2.2 算法結(jié)果對(duì)比分析

為了驗(yàn)證算法的有效性，實(shí)驗(yàn)使用Places數(shù)據(jù)集的測(cè)試集，在不同的掩碼區(qū)域比例條件下，將算法與CE[12]、PConv[13]、PEPSI[14]和EdgeConnect[15]算法進(jìn)行主觀結(jié)果和客觀評(píng)價(jià)指標(biāo)的比較。

掩碼區(qū)域比例為10%～20%的測(cè)試結(jié)果對(duì)比圖如圖3所示。可以看出，文中算法能修復(fù)出紋理清晰的結(jié)果，而其他算法填充的紋理較模糊。

圖3 掩碼區(qū)域比例為10%～20%的測(cè)試結(jié)果對(duì)比圖

掩碼區(qū)域比例為20%～30%的測(cè)試結(jié)果對(duì)比圖如圖4所示?？梢钥闯觯闹兴惴苊翡J地捕捉到缺損的旗桿并進(jìn)行修復(fù)，而其他算法并不能捕捉到這一信息。

圖4 掩碼區(qū)域比例為20%～30%的測(cè)試結(jié)果對(duì)比圖

掩碼區(qū)域比例為30%～40%的測(cè)試結(jié)果對(duì)比圖如圖5所示?？梢钥闯觯珻E和PConv方法在修復(fù)過(guò)程中破壞了窗戶的結(jié)構(gòu)并產(chǎn)生了多余的孔洞，PEPSI和EdgeConnect方法在缺損的窗戶區(qū)域沒(méi)有填充正確的紋理，只有算法結(jié)果中的窗戶區(qū)域有合理的亮光。

由以上主觀對(duì)比結(jié)果可以看出，算法紋理和結(jié)構(gòu)上的修復(fù)結(jié)果更貼近真實(shí)圖像，并且在掩碼區(qū)域生成了更豐富的紋理細(xì)節(jié)，門控卷積的使用對(duì)修復(fù)效果的提升比較明顯。

圖5 掩碼區(qū)域比例為30%～40%的測(cè)試結(jié)果對(duì)比圖

除主觀對(duì)比之外，還對(duì)客觀評(píng)價(jià)指標(biāo)進(jìn)行了比較分析。表1為Places數(shù)據(jù)集上不同圖像修復(fù)方法、不同掩碼區(qū)域比例條件下的峰值信噪比和結(jié)構(gòu)相似性結(jié)果，圖6為這兩項(xiàng)指標(biāo)的變化曲線。

表1 在Places數(shù)據(jù)集上不同圖像修復(fù)方法、不同掩碼區(qū)域比例的PSNR/SSIM

(a) 峰值信噪比變化曲線

(b) 結(jié)構(gòu)相似性變化曲線

由圖6(a)可見(jiàn)，當(dāng)掩碼區(qū)域比例為1%～50%時(shí)，算法的峰值信噪比與其他算法相比提升較大，比EdgeConnect網(wǎng)絡(luò)的結(jié)果平均提升了約4.5%，這是由于網(wǎng)絡(luò)使用門控卷積獲得了背景與掩碼之間的關(guān)系，增強(qiáng)了已知區(qū)域與填充區(qū)域的一致性和合理性；同時(shí)證明了兩階段網(wǎng)絡(luò)模型具有良好的修復(fù)性能。當(dāng)掩碼區(qū)域比例為50%～90%時(shí)，由于已知信息不足，所有算法的峰值信噪比均出現(xiàn)明顯下降，而所提出的算法仍高于其他算法，這說(shuō)明譜歸一化馬爾科夫判別器能有效提升網(wǎng)絡(luò)的魯棒性。

由圖6(b)可見(jiàn)，當(dāng)掩碼區(qū)域比例為1%～10%時(shí)，所有方法的結(jié)構(gòu)相似性均較高，都能完成修復(fù)任務(wù)。但隨著掩碼區(qū)域逐漸增大，CE方法修復(fù)效果的結(jié)構(gòu)合理性較差，結(jié)構(gòu)相似性曲線下降速度更快，這是因?yàn)樵摲椒ǖ木幗獯a器網(wǎng)絡(luò)只適用于掩碼區(qū)域?yàn)檎叫吻椅挥趫D像中央的修復(fù)任務(wù)。當(dāng)掩碼區(qū)域比例為1%～60%時(shí)，算法的結(jié)構(gòu)相似性相較于其他4種算法均有明顯提升；在比例為60%～90%時(shí)，算法的結(jié)構(gòu)相似性相較于EdgeConnect方法略有提高。這是由于帶有重建損失的鉸鏈損失函數(shù)約束邊緣修復(fù)網(wǎng)絡(luò)，使其重建出完整度較高的結(jié)構(gòu)信息，該先驗(yàn)信息輸入至紋理修復(fù)網(wǎng)絡(luò)后獲得結(jié)構(gòu)相似度更高的結(jié)果。

3.2.3 算法速度對(duì)比分析

在基于生成對(duì)抗網(wǎng)絡(luò)的圖像修復(fù)工作中，算法的修復(fù)速度主要取決于網(wǎng)絡(luò)收斂速度，而影響網(wǎng)絡(luò)收斂速度的主要因素是判別器。為了驗(yàn)證譜歸一化馬爾科夫判別器的引入對(duì)算法速度的提升效果，設(shè)計(jì)了算法速度和參數(shù)量對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)使用500張來(lái)自Places測(cè)試集的256×256圖像，疊加500張掩碼圖像后分別送入CE、Pconv、PEPSI、EdgeConnect以及文中網(wǎng)絡(luò)進(jìn)行測(cè)試對(duì)比，對(duì)比結(jié)果如表2所示。

表2 在1080Ti上不同算法修復(fù)速度及參數(shù)量對(duì)比

由表2可知，相較于EdgeConnect方法，文中方法在沒(méi)有明顯增加參數(shù)量的前提下提升了修復(fù)速度。這說(shuō)明譜歸一化馬爾科夫判別器的引入能優(yōu)化訓(xùn)練過(guò)程中的網(wǎng)絡(luò)參數(shù)，過(guò)濾掉冗余信息，從而改善迭代過(guò)程中權(quán)重變化緩慢的問(wèn)題，加快網(wǎng)絡(luò)收斂速度。

綜上，CE、Pconv和PEPSI這3種非兩階段網(wǎng)絡(luò)方法的指標(biāo)均低于使用兩階段修復(fù)網(wǎng)絡(luò)的EdgeConnect方法和文中方法，說(shuō)明兩階段網(wǎng)絡(luò)在修復(fù)任意掩碼比例的圖像時(shí)性能更強(qiáng)。而在使用了兩階段網(wǎng)絡(luò)的方法中，文中方法的峰值信噪比和結(jié)構(gòu)相似性分別比EdgeConnect方法提升了3.8%和3.0%，尤其在修復(fù)掩碼區(qū)域?yàn)?%～50%的圖像時(shí)優(yōu)勢(shì)更明顯，這說(shuō)明使用門控卷積可以顯著提升掩碼區(qū)域占圖像面積一半以內(nèi)時(shí)的修復(fù)效果。而經(jīng)過(guò)算法速度對(duì)比，說(shuō)明譜歸一化馬爾科夫判別器的引入穩(wěn)定了網(wǎng)絡(luò)訓(xùn)練過(guò)程，并有效提升了算法修復(fù)速度和精度。

4 結(jié)束語(yǔ)

筆者提出了一種門控卷積生成對(duì)抗網(wǎng)絡(luò)的圖像修復(fù)算法，通過(guò)動(dòng)態(tài)學(xué)習(xí)已知區(qū)域與掩碼區(qū)域的關(guān)系，獲得了掩碼與圖像的深層聯(lián)系，從而有效改善了之前方法易產(chǎn)生不自然孔洞、填充區(qū)域與已知區(qū)域不一致導(dǎo)致填充錯(cuò)誤的問(wèn)題，提升了圖像的修復(fù)質(zhì)量，特別是在修復(fù)掩碼區(qū)域比例小于50%時(shí)提升明顯。此外，采用的譜歸一化馬爾科夫判別器以及鉸鏈損失函數(shù)，能增強(qiáng)重建的細(xì)節(jié)，并且穩(wěn)定了網(wǎng)絡(luò)訓(xùn)練過(guò)程，提升了算法的修復(fù)速度和精度。下一步的研究將偏重紋理修復(fù)方面，嘗試進(jìn)行生成對(duì)抗網(wǎng)絡(luò)內(nèi)容生成方面的實(shí)驗(yàn)，以進(jìn)一步提升網(wǎng)絡(luò)在修復(fù)含有50%以上缺損的圖像時(shí)的修復(fù)效果。