陳夢偉，毛 琳，楊大偉

(大連民族大學 機電工程學院，遼寧 大連 116605)

在圖像處理領(lǐng)域，圖像風格遷移是現(xiàn)階段的研究熱點之一。現(xiàn)有圖像風格遷移技術(shù)，對圖像整體風格映射遷移效果較為優(yōu)越，但圖像特征在遷移映射過程中出現(xiàn)偏差，導致生成圖像內(nèi)容失真，圖像還原質(zhì)量有待進一步提高。

目前，風格遷移算法主要基于生成對抗網(wǎng)絡(Generative Adversarial Networks, GAN)[1]。由GAN衍生的網(wǎng)絡框架大致可分為單個生成對抗網(wǎng)絡和多個生成對抗網(wǎng)絡。

單個生成對抗網(wǎng)絡結(jié)構(gòu)以原始生成對抗網(wǎng)絡GAN為基礎(chǔ)，是Goodfellow等人在2014年提出的一種新的生成式模型。GAN包括兩個網(wǎng)絡，分別是生成網(wǎng)絡和判別網(wǎng)絡，生成網(wǎng)絡使真實樣本遷移為虛假樣本，判別網(wǎng)絡用于判斷樣本真假，并引入對抗損失，通過對抗訓練使生成器能夠遷移高質(zhì)量樣本圖像。但原始GAN并不成熟，存在著諸多問題，如梯度消失、模式崩潰(Collapse Mode)和降低生成圖像多樣性，嚴重限制GAN完成高質(zhì)量風格遷移工作。隨后出現(xiàn)的CGAN(Conditional GAN)[2]在原始GAN基礎(chǔ)上增加約束條件，控制GAN生成器過于自由的問題，但其模型訓練不穩(wěn)定，圖像特征不能保證被完整遷移，生成圖像還原度不高。Pix2pix[3]在CGAN的基礎(chǔ)上提出，用于有監(jiān)督圖像到圖像翻譯任務，其生成器使用U-net網(wǎng)絡提取細節(jié)，判別器使用PatchGAN處理圖像高頻信息，增強兩個域之間圖像映射關(guān)系，生成清晰圖像。但Pix2pix必須使用成對數(shù)據(jù)集，這種一對一映射應用范圍十分有限，當輸入數(shù)據(jù)與訓練數(shù)據(jù)差距較大時，難以實現(xiàn)圖像內(nèi)容一致的風格遷移。DCGAN(Deep Conditional GAN)[4]將卷積神經(jīng)網(wǎng)絡和GAN結(jié)合起來，利用卷積網(wǎng)絡強大的特征提取能力提高GAN的學習效果，但DCGAN生成器隨著卷積加深，特征信息在傳遞過程中會產(chǎn)生部分丟失，生成圖像在內(nèi)容上無法保持一致，生成圖像質(zhì)量不高。BigGAN[5]通過將模型擴大得到性能提升，它在訓練中使用很大的批次，并且在卷積層設計上使用更大的通道數(shù)，使模型性能得到提升，但BigGAN的缺點也較為明顯，它的模型很大、參數(shù)多、訓練成本高，保持圖像完整內(nèi)容特征的信息遷移需要以極高的性能成本為代價，可實施性和應用性不強。

多個生成對抗網(wǎng)絡結(jié)構(gòu)以CycleGAN[6]最為經(jīng)典，實現(xiàn)不同域之間圖像轉(zhuǎn)換，使用生成器和判別器完成圖像不同域之間的轉(zhuǎn)換，學習不同域之間隱含的映射關(guān)系，再添加循環(huán)一致項，提高不同域之間的轉(zhuǎn)換效果。但由于圖像在映射過程中特征提取能力不強，導致生成圖像在內(nèi)容上部分信息映射出錯，圖像失真，風格遷移質(zhì)量不高。幾乎同一時期提出的DiscoGAN[7]和DualGAN[8]同樣是基于多個生成對抗網(wǎng)絡，DiscoGAN強調(diào)不同域之間一對一的雙向映射關(guān)系，生成器采用常規(guī)卷積和反卷積結(jié)構(gòu)，雖然在遷移過程中能夠保留關(guān)鍵屬性，但對于圖像細節(jié)的特征向量沒有很好地映射到生成圖像中，無法實現(xiàn)圖像內(nèi)容高質(zhì)量遷移。DualGAN生成器采用U-net對稱結(jié)構(gòu)的編解碼形式，在編碼過程中能獲取更多特征信息，但特征以單通道形式進行傳遞，隨著網(wǎng)絡加深，局部信息無法完整傳遞，生成圖像無法保證內(nèi)容風格遷移的一致性。

單個生成對抗網(wǎng)絡算法大多實現(xiàn)圖像的單向映射，在映射過程中圖像內(nèi)容信息捕捉能力不足，使生成圖像內(nèi)容不完整，生成質(zhì)量不高。隨后出現(xiàn)的多個生成對抗網(wǎng)絡算法對不同圖像域之間形成雙向映射，使圖像在遷移過程中更好地保留特征信息，但多數(shù)算法是以單通道或少通道形式對特征信息進行提取傳遞，網(wǎng)絡在信息傳遞過程中存在風格內(nèi)容特征映射出錯或丟失情況，且隨著網(wǎng)絡加深，特征誤差不斷累積，降低算法整體性能，使生成圖像內(nèi)容特征多樣性較弱，風格遷移質(zhì)量不高。

為使圖像在完成既定風格的遷移條件下，保證圖像特征信息映射的一致性，本文提出多通道特征增強風格遷移算法(Multi-channel Feature Enhancement Style Transfer Algorithm Based on CycleGAN, MCGAN)，在CycleGAN網(wǎng)絡基礎(chǔ)上，借用深度可分離卷積網(wǎng)絡思想，引入多通道特征提取機制，增強每個通道對圖像特征的非線性表達能力，獲取圖像更豐富的特征信息，使圖像內(nèi)容特征得到有效提取，實現(xiàn)高質(zhì)量遷移任務，能更好地應用于自動駕駛、工廠車間和天眼監(jiān)控等領(lǐng)域，特別是環(huán)境昏暗場景。

1 MCGAN算法

基于CycleGAN圖像風格遷移算法，生成器由多層卷積構(gòu)成，卷積以單通道形式對特征進行傳遞，特征在映射過程中出現(xiàn)偏差，圖像風格沒有被完整遷移，內(nèi)容丟失，圖像還原質(zhì)量不高。CycleGAN網(wǎng)絡生成圖像和MCGAN網(wǎng)絡生成圖像對比如圖1。

圖1 CycleGAN和MCGAN風格遷移對比圖

圖1a為原始冬天圖像，圖1b、圖1c分別為經(jīng)過CycleGAN和MCGAN算法遷移生成的夏天圖像，與CycleGAN相比，MCGAN算法對目標邊緣特征更為敏感，可以明顯看出圖中山頂與天空交界處邊緣較為清晰，內(nèi)容特征映射一致，生成圖像質(zhì)量更高。

1.1 多通道特征增強模塊

多通道特征增強風格遷移算法借用深度可分離卷積網(wǎng)絡思想，引入多通道特征增強機制，增強網(wǎng)絡對圖像內(nèi)容信息的提取能力。本方法將常規(guī)卷積分為兩個部分：多通道卷積和空間融合。將卷積層間相關(guān)性和空間相關(guān)性進行分開映射，獲取圖像更多特征，增強圖像特征信息。多通道卷積對圖像每個通道獨立執(zhí)行卷積操作，在保持通道獨立性的同時，增強每個通道對圖像特征的非線性表達能力，讓網(wǎng)絡在每一次卷積中獲取更加豐富的特征。保證圖像內(nèi)容特征在映射過程中的完整性。通過空間融合將上一層輸出的不同通道特征圖進行線性組合，保證通道前后特征維度輸出的一致性，整合多個通道特征圖信息，有效利用不同通道特征在相同空間位置上的特征信息，實現(xiàn)對不同通道的特征融合，提高風格遷移質(zhì)量。多通道特征增強模塊如圖2。

圖2 多通道特征增強模塊

多通道特征增強算法中，多通道卷積公式：

(1)

式中，K代表多通道卷積的卷積核，大小為i×j，通道數(shù)為M。將K中第m個濾波器應用于大小為h×w特征圖F中的第m個通道，卷積后輸出在大小為k×l特征圖G的第m個通道。

空間融合公式：

(2)

式中，P為空間融合函數(shù)，將上一層通道數(shù)為M的每個通道輸出特征圖G使用空間融合方法，得到輸出尺寸不變特征圖Y，大小為k×l，通道數(shù)為N。圖像特征經(jīng)過多通道獨立卷積，再進行相同空間位置信息融合，提取更加豐富的深層特征，保證圖像特征的多樣性，增強對圖像特征的表達能力，提高通道間特征非線性程度。

1.2 多通道特征增強可視化

為說明多通道特征增強效果，本文將CycleGAN網(wǎng)絡與MCGAN網(wǎng)絡特征熱力圖進行可視化對比，如圖3。其中，圖3a為原始圖像；圖3b為CycleGAN網(wǎng)絡算法經(jīng)卷積輸出的特征熱力圖；圖3c為MCGAN網(wǎng)絡算法經(jīng)多通道特征增強模塊輸出的特征熱力圖。

由圖3行(1)可見，在簡單風景圖像中，MCGAN網(wǎng)絡算法對不同類別的邊緣及區(qū)域特征信息劃分更為精準，利于遷移成與原圖相似度更高的圖像，在行(2)中，當圖像中樹木色彩及輪廓較為接近時，MCGAN網(wǎng)絡算法比CycleGAN網(wǎng)絡算法能更好區(qū)分相似樹木邊緣信息，使圖像在遷移過程中更好地增強目標多樣性特征。在行(3)中，MCGAN網(wǎng)絡算法比CycleGAN網(wǎng)絡算法能更好地處理山峰紋理和樹木邊緣輪廓信息，獲取圖像邊緣特征信息更加豐富，在遷移中有效還原圖像中目標細節(jié)紋理特征，提升風格遷移生成圖像質(zhì)量。

1.3 網(wǎng)絡結(jié)構(gòu)

MCGAN網(wǎng)絡生成器結(jié)構(gòu)如圖4。主要由編碼器、轉(zhuǎn)換器和解碼器三部分組成。由于編碼器負責圖像特征提取，因此主要對編碼器部分進行改進，以增強網(wǎng)絡對圖像特征的提取能力，豐富圖像特征信息，提高圖像遷移質(zhì)量。改進后的編碼器在原始網(wǎng)絡基礎(chǔ)上加入多通道特征增強模塊，提高網(wǎng)絡對圖像特征映射的準確性，增強特征非線性表達能力。轉(zhuǎn)換器用來組合提取到的不同特征，并利用這些特征信息，確定如何將圖像的特征向量從原域(輸入圖像)轉(zhuǎn)換為目標域(生成圖像)的特征向量。解碼器由兩層反卷積和一層卷積組成，采用反卷積逐級將高維特征向量重新復原成圖像低級特征，最后將獲取的特征送入一層卷積得到風格遷移后的生成圖像。

圖4 MCGAN網(wǎng)絡生成器結(jié)構(gòu)

算法實施步驟如下：

步驟1：特征提取。將尺寸為256×256×3的原始圖像輸入網(wǎng)絡中，首先經(jīng)過一個7×7卷積模塊，將3通道圖像變?yōu)?4通道。其次通過多通道特征增強模塊，使用3×3多通道卷積對每個通道進行獨立卷積，輸出每個通道對應特征圖，再經(jīng)過空間融合方式，對不同通道輸出特征圖進行融合，輸出特征維度為256×256×64。對通道維度和空間維度分開映射，獲取圖像更豐富的特征，為后續(xù)特征映射重構(gòu)圖像提供更多的內(nèi)容信息。然后通過兩個卷積模塊，進一步全面獲取圖像特征信息，第一個3×3卷積模塊輸出特征維度為128×128×128，第二個3×3卷積模塊輸出特征維度為64×64×256。

步驟2：圖像轉(zhuǎn)換。采用6層殘差塊使圖像特征向量從原域轉(zhuǎn)換到目標域，通過這種殘差塊的結(jié)構(gòu)，將輸入特征信息傳遞輸出，較大程度上保護特征信息再傳遞過程的完整性和一致性。經(jīng)過殘差網(wǎng)絡后輸出特征維度為64×64×256。

步驟3：特征還原。采用兩層反卷積將輸入的高維特征向量重構(gòu)為圖像的淺層特征，重建圖像目標屬性和色彩紋理等特征信息。第一層反卷積輸出特征維度為128×128×128，第二層反卷積輸出特征維度為256×256×64。

步驟4：生成圖像。最后一層卷積對步驟3輸出的特征維度調(diào)整，得到最終尺寸為256×256×3的生成圖像。

2 仿真分析

2.1 仿真設計

本算法使用NVIDIA GeForce 1080Ti顯卡，在Ubuntu16.04環(huán)境中配置Pytorch0.4.1深度學習框架，訓練和測試風格遷移網(wǎng)絡模型。使用CycleGAN網(wǎng)絡算法中提供的1 231對冬-夏季圖片和995對蘋果-橘子圖片，圖像大小256×256。對網(wǎng)絡進行訓練，訓練網(wǎng)絡模型時，批尺寸設定為1，學習率設定為0.000 1，迭代次數(shù)為200次，在前100次迭代中保持相同學習率，從100次起學習率線性下降。

為評估生成圖像的清晰度和多樣性，體現(xiàn)風格遷移生成圖像的效果，采用Inception得分(Inception Score, IS)作為評價生成圖像清晰度和多樣性的指標，這里的清晰度并不是指圖像分辨率的高低或圖像邊緣是否清晰，而是指圖像中目標物體的歸類是否清晰，代表生成圖像中目標分類的準確性。生成圖像的多樣性也很重要，傳統(tǒng)GAN易發(fā)生模式坍塌，即生成器在與判別器的對抗過程中找到一種能較為容易地騙過判別器的模式，從而生成這種模式圖像的概率會越來越大，導致生成圖像趨于一致而多樣性降低。具體計算公式：

(3)

IS評價指標只考慮生成圖像的質(zhì)量，無法反映生成圖像與原始圖像之間的特征空間距離分布，因此采用Fréchet Inception距離(Fréchet Inception Distance, FID)作為評估生成圖像與原始圖像之間的特征距離映射關(guān)系。具體計算公式如下：

(4)

式中：μr表示原始圖像的特征均值；μg表示生成圖像的特征均值；∑r表示原始圖像的特征協(xié)方差矩陣；∑g表示生成圖像的特征協(xié)方差矩陣；Tr表示矩陣對角線上元素的總和。當均值之差的平方越小，協(xié)方差也越小，它們相加之和FID越小時，說明生成圖片和真實圖片特征越相近，即圖像質(zhì)量越高。

2.2 仿真結(jié)果

本文在1 231對冬-夏季節(jié)場景數(shù)據(jù)集上進行實驗仿真測試，記錄和統(tǒng)計在冬-夏季節(jié)場景數(shù)據(jù)集上MUNIT[9]風格遷移算法、CycleGAN算法和MCGAN算法的實驗結(jié)果，結(jié)果對比見表1。

表1 冬-夏季節(jié)場景數(shù)據(jù)集仿真結(jié)果

從表1仿真結(jié)果可以看出，對比現(xiàn)有風格遷移算法，本文提出的MCGAN算法實驗結(jié)果在IS和FID評價指標上均有所提高。其中IS評價指標在冬-夏季數(shù)據(jù)集上，MCGAN算法相較于MUNIT提高15.9%，相較于CycleGAN提高6.2%；在FID評價指標上，MCGAN算法相較于MUNIT提高31.9%，相較于CycleGAN提高25.7%。MCGAN算法在完成所需風格遷移的條件下，在一定程度上提高了生成圖像內(nèi)容特征的完整性，圖像內(nèi)容映射過程特征保持不變。CycleGAN網(wǎng)絡和MCGAN網(wǎng)絡在冬-夏的風格遷移結(jié)果對比如圖5。

在圖5中，如行(1)可見，CycleGAN網(wǎng)絡生成夏天圖像，圖中右側(cè)樹木并沒有遷移為夏天綠色樹木，風格遷移不完整，而MCGAN網(wǎng)絡不僅風格遷移較為完整，細節(jié)部分的天空山頂邊緣處特征映射一致。如行(2)可見，CycleGAN網(wǎng)絡生成夏天圖像，左邊雪地以及樹木仍舊保持遷移前風格，風格遷移質(zhì)量不高。而MCGAN網(wǎng)絡遷移的夏天風格較為真實，色彩還原度較高，細節(jié)處的雪地和樹木遷移效果也十分優(yōu)越。如行(3)可見，CycleGAN網(wǎng)絡生成夏天圖像，圖中右側(cè)雪地遷移效果不佳，圖像還原度不高，而MCGAN網(wǎng)絡生成夏天圖像更加逼真，雪地遷移為綠地，風格特征遷移較為一致，圖像色彩更加真實，遷移質(zhì)量較高。

圖5 CycleGAN和MCGAN風格遷移對比圖

在995對蘋果-橘子靜物數(shù)據(jù)集上進行實驗仿真測試，記錄和統(tǒng)計在蘋果-橘子靜物數(shù)據(jù)集上MUNIT風格遷移算法、CycleGAN算法和MCGAN算法的實驗結(jié)果，結(jié)果對比見表2。

表2 蘋果-橘子靜物數(shù)據(jù)集仿真結(jié)果

從表2仿真結(jié)果可以看出，對比現(xiàn)有風格遷移算法，本文提出的MCGAN算法實驗結(jié)果在IS和FID評價指標上均有顯著提高。其中IS評價指標在蘋果-橘子數(shù)據(jù)集上，MCGAN算法相較于MUNIT提高5.5%，相較于CycleGAN提高9.3%；在FID評價指標上，MCGAN算法相較于MUNIT提高34.4%，相較于CycleGAN提高24.4%。MCGAN算法在完成既定風格的遷移條件下，保證生成圖像內(nèi)容特征的一致性。CycleGAN網(wǎng)絡和MCGAN網(wǎng)絡對蘋果-橘子的風格遷移結(jié)果對比如圖6。

在圖6中，如行(1)可見，當圖像中包含大量蘋果目標時，CycleGAN對蘋果紋理和邊緣風格遷移效果較弱，內(nèi)容特征映射出現(xiàn)偏差導致遷移效果不佳，圖像還原度不高。而MCGAN能更好地對多目標圖像進行風格遷移，遷移生成的橘子在色彩及紋理等方面更加真實。如行(2)可見，當圖像背景單一且包含少量目標時，CycleGAN網(wǎng)絡遷移的橘子，由于特征映射出錯導致橘子失真，遷移質(zhì)量不高，而MCGAN在保證背景遷移一致條件下，遷移生成的橘子更具真實性。如行(3)可見，當圖像前景和背景色彩相差較大時，CycleGAN不能保證對圖像前景和背景遷移效果的一致性，而MCGAN遷移后的圖像，不僅橘子遷移效果較為優(yōu)越，而且對圖像背景的草地同樣實現(xiàn)較為成功的遷移。

圖6 CycleGAN和MCGAN風格遷移對比圖

3 結(jié) 語

為保證風格遷移前后圖像特征信息的一致，確保圖像內(nèi)容特征一一映射，提高圖像還原度，本文提出MCGAN風格遷移算法，引入多通道特征增強機制，采用多通道獨立并行卷積，最后空間融合方式，提高通道間特征非線性表達能力，增強網(wǎng)絡對圖像內(nèi)容信息的提取能力，豐富圖像特征，保證圖像特征信息一致，提升風格遷移算法性能，使之更好地應用于自動駕駛、天眼監(jiān)控和工廠車間等領(lǐng)域，尤其是環(huán)境昏暗和天氣惡劣等場景中。后續(xù)工作中，將進一步提升風格遷移生成圖像的像素分辨率，提高圖像清晰度。