李 超，石劍平，姜 麟

（昆明理工大學 理學院，云南 昆明 650500）

0 引言

圖像風格遷移又稱為圖像風格轉換，是在保持原圖像語義內容不變的情況下，將藝術圖像的風格遷移到內容圖像上。該操作被廣泛應用于社交活動、娛樂應用、戶外創(chuàng)作等領域，通過風格遷移可得到新的藝術作品。

早期風格遷移方法為非真實感繪制（Non-photorealis?tic Rendering，NPR），其圖像渲染方法主要分為以下4 種：筆觸渲染［1］、區(qū)域渲染［2］、實例渲染［3］和基于圖像處理濾波器技術的渲染［4-5］。這些渲染技術雖然能有效對內容圖片進行風格化處理，但都是通過原始圖像的底層信息完成，并沒有利用高層抽象信息。在傳統的風格遷移過程中，內容圖的風格與語義信息分離是前提條件，也是重點和難點。在深度學習理論被提出后，Gatys 等［6］首次將卷積神經網絡應用于圖像風格遷移中，并取得了良好效果，解決了傳統方法的局限性；Li 等［7］應用拉普拉斯損失增強邊緣信息，使細節(jié)和輪廓邊緣更加明顯；Dmitry 等［8］提出一種實時神經網絡風格算法；Johnson 等［9］通過引入前饋式傳輸網絡實現了圖像的快速風格轉換。但上述學者提出的神經網絡算法均喪失了原始算法［6］的靈活性，風格遷移網絡的目的單一性問題沒有被解決，更換風格樣式時需要重新訓練網絡，增加了風格遷移的工作量。

綜上所述，目前風格遷移方法局限于單一風格，且當語義信息與風格信息不匹配時容易發(fā)生色彩溢出現象。在實際應用中，原始圖像的語義信息不同，所要求的風格信息也不同，因此單一風格遷移會導致原圖像中所有語義信息均偏向于單一風格，使生成的語義信息被破壞。本文以多種藝術繪畫為研究對象，提出一種多風格特點融合的風格遷移算法，將多種風格匯聚在一起得到多風格融合圖像。該算法可根據用戶需要自由組合藝術圖片，為探索新的繪畫風格提供了可行性方案。

1 基礎工作

自深度學習理論被提出以來，其代表性算法卷積神經網絡（Convolutional Nearal Network，CNN）在圖像特征提取領域廣泛應用并表現出強大性能。CNN 不僅可以提取淺層圖像特征，還能很好地捕捉深層抽象特征，為風格遷移提供了更加豐富的原材料。

1.1 CNN 模型

CNN 的本質是多層感知機，其采用的局部鏈接與全局共享方式，一方面減少了權值數量，使網絡更容易優(yōu)化，另一方面降低了模型復雜度和過擬合的風險。CNN 中的VGG 網絡模型包括VGG16 和VGG19［10］。本文選取預訓練的VGG19 網絡，其由16 個卷積層、5 個池化層、3 個全連接層以及1 個分類層組成［8］，網絡模型如圖1 所示［11］。

Fig.1 VGG19 network structure圖1 VGG19 網絡結構

CNN 的核心部分為卷積層和池化層。在卷積層中，卷積核會進行局部感知，匯總后可得到全局信息。池化層主要用于特征降維，以便壓縮數據和參數數量，減小過擬合風險，提高模型容錯性［12］。

1.2 圖像特征分析

采用預訓練的VGG19 網絡得到輸入圖片的特征圖，當圖像以數據流的形式傳入神經網絡時，通過卷積響應得到每一層的響應特征圖，根據這些特征圖進行圖像重建［13］。

針對圖2 所示的原始圖像，選取神經網絡的conv2_1 層和conv4_1 層，通過卷積響應得到這兩層的特征圖，如圖3、圖4 所示。結果顯示，淺層網絡得到的特征圖3 與原圖像信息吻合度較高，細節(jié)信息被很好地保留。但在深層網絡中，特征圖中的細節(jié)像素信息丟失，而高級的、抽象的內容信息被保留下來，如圖4 所示。

Fig.2 Original image圖2 原始圖像

Fig.3 Single feature of conv2_1（left）and summary of feature of conv2_1（right）圖3 conv2_1 層單個特征圖（左）與conv2_1 層特征匯總圖（右）

Fig.4 Single feature diagram of conv4_1（left）and summary of feature diagram of conv4_1（right）圖4 conv4_1 層單個特征圖（左）與conv4_1 層特征匯總圖（右）

量化和精確捕獲圖像中的抽象風格信息是兩個重要的基本問題。在CNN 中，不同的卷積核會得到不同的特征圖，不同深度的特征圖也會表現不同，每個特征圖可抽象為風格信息的一種特征［14］。針對風格信息，本文采用Gat?ys 等［6］提出的Gram 矩陣刻畫風格。Gram 矩陣是一個對稱矩陣，其元素由多個特征圖矢量化后進行內積運算定義。通過該矩陣可得到不同特征圖之間的相關性，然后根據相關性重建風格。

1.3 評價標準

針對風格轉換的效果，本文提出一種新的評價標準：①采用經過訓練的分類器提取兩幅圖像的高級特征，特征之間的歐式距離越小，兩幅圖像的語義信息相似度越高；②兩幅圖像在分離器上得到的由特征圖組成的Gram 矩陣間的歐式距離越小，兩幅圖像的風格越相似。

內容判定標準根據圖像分類層提出，即一幅圖像的語義信息更多的是由圖像骨架體現。例如黑熊和北極熊的膚色等紋理信息不同，但其骨骼、軀體形狀相同，屬于同一類。高級語義信息可以捕獲到更加抽象的信息，通過兩幅圖像高級特征的“距離”可以刻畫內容損失情況。

風格判定標準將風格看作一種視覺紋理且在空間上分布均勻，是由重復的結構、色彩等組成的低階統計度量［15-16］。根據其間的相關性構建出Gram 矩陣，通過比較兩幅圖像的Gram 矩陣可以刻畫風格信息的相似度情況。

定義1：在n 維空間上，兩個向量x=(x1,x2,x3,…xn)與y=(y1,y2,y3,…yn)的歐式距離為：

定義2：

通過上述公式可知，兩個向量的歐式距離越接近，其代表內容之間的相似度越高。

2 多重風格算法

以CNN 風格轉換算法［1］為基礎，提出基于深度學習的圖像多風格融合算法。利用VGG19 網絡提取圖像特征，對每幅風格圖分別構建風格損失，得到圖像損失信息，最后匯聚所有風格信息，得到新的藝術圖片［17］。該算法主要分為以下3 個步驟：

（1）內容重建。較深層的網絡保留了更高級的語義信息，因此采用CNN 對較深層的特征響應進行內容重建。

（2）風格重建。通過CNN 響應得到不同特征之間的相關性，并構建Gram 矩陣獲取圖像的風格信息。打亂原風格圖的場景布局，構建給定圖像的樣式匹配。

（3）神經網絡風格遷移。構建內容損失函數與多風格損失函數，通過不斷優(yōu)化迭代得到結果圖。

定義內容圖像C和初始化圖像I，將二者捆綁成一個批次輸入到VGG19 網絡。該網絡模型的每一層都會通過卷積的形式對輸入圖像進行重新編碼，得到相應特征圖。假設在第l層有Nl個卷積核，可以得到Nl張?zhí)卣鲌D，每一張?zhí)卣鲌D的尺寸為H×W，令Ml=H×W，將第l層的特征圖信息儲存到矩陣Fl∈RNl×Ml中。Fij為第l層第i個特征圖上的第j個元素，將較高層的相關特征作為輸入圖像的內容特征，Fl和Cl分別作為初始化圖像和內容圖像在第l層的語義信息特征，定義內容損失函數為：

該層損失函數的梯度為：

在VGG19 模型的同一卷積層上可以得到多個不同特征圖，見圖3 和圖4。將不同特征圖之間的相關性作為風格圖像的特征，采用Gram 矩陣計算特征圖之間的相關性，并將得到的Gram 矩陣作為風格信息。Gram 矩陣為Gl∈RNl×Nl，其中Nl為卷積核數量，Glij表示圖像在第l層的特征圖轉成向量后第i個卷積核得到的特征圖與第j個卷積核得到的特征圖之間的內積值，即：

對于風格圖像S和初始化圖片I，Gl和Al分別表示風格圖像和新生成圖像在第l層的風格信息，定義風格損失函數為：

將多層風格損失函數組合在一起，得到該幅圖片的風格損失為：

式中，wl為各層對風格損失貢獻的權重因子，該損失函數對第l層的響應為：

將內容損失Lcontent與風格損失Lstyle加權聯立，可定義總損失為：

根據式（9）構建的風格損失，可通過不斷迭代優(yōu)化得到單風格的新圖像［18］。而針對多種風格而言，需分別構建單風格損失，將多個單風格損失函數匯總后再進行多種風格的融合處理，最終形成一組風格特征的損失函數。經融合處理后得到的風格損失為：

式中，αi代表第i種風格的比重。

最終的損失函數為：

式中，Lcontent表示內容圖與生成圖之間的損失函數，Ltotal_style表示多種風格圖與生成圖之間的損失函數，γ1和γ2分別表示內容損失與風格損失的函數比重，選擇不同的γ12可以控制風格化程度。圖5 為圖像多風格遷移流程。

Fig.5 Image multi-style migration flow圖5 圖像多風格遷移流程

3 實驗結果與分析

3.1 實驗環(huán)境

Intel（R）Xeon（R）CPU E7-4809 V3 @2.00GHz 處理器，8GB 內存，配備NVIDIA GeForceRTx 2060 顯卡，在Win?dows10 操作系統下，配置Python 3.7.1、深度學習框架Ten?sorFlow、Keras，使用CUDA 和CuDNN 實現GPU 加速。

3.2 風格結果分析

3.2.1 單風格轉換

針對單風格遷移，選取3 張內容圖片（金門大橋、摩天大樓、公園）與3 種風格圖片（抽象畫、油畫、山水畫）進行風格遷移。在conv4_1 層進行內容重建，在conv1_1、conv2_1、conv3_1、conv4_1 層進行風格重建，設置內容與風格的參數比分別為α/β=10-2、α/β=10-3，得到的生成圖如圖6 和圖7 所示。

Fig.6 Renderings of single style and parameter ratio of 10-2圖6 單一風格且參數比為10-2的效果圖

Fig.7 Renderings of single style and parameter ratio of 10-3圖7 單一風格且參數比為10-3的效果圖

單風格遷移結果顯示，在一幅圖像中有諸多語義信息，無論風格比重是大是小，當內容圖片與風格圖片的語義信息相似時，轉化的視覺感受較好。當內容圖片與風格圖片的語義信息不相似時，若風格比重較小，藝術風格信息在新圖像中表現不明顯；而當風格比重較大時，則會出現語義信息與風格信息不匹配的現象，色彩溢出明顯［18］。單風格遷移只保留單一繪畫風格，無法為藝術形象的多樣性提供豐富的視覺信息。

3.2.2 多風格遷移

應用本文提出的算法，將金門大橋作為內容圖，選取4種風格圖（如圖8 的4 個角所示），內容與風格的比值設為γ1/γ2=10-3。設置風格損失中的α1+α2+α3+α4=1，以保證線性同輪，得到如圖8 所示的具有漸進風格色彩的新圖片。

通過調整風格比重可得到不同的藝術圖像，生成的新圖像會隨著風格比重的變化出現漸進的色彩效果，為藝術創(chuàng)作提供了豐富的原材料。

3.2.3 單風格與多風格損失對比

根據本文提出的新的評價標準，將融合后的新圖片與單風格圖片進行對比，截取相同語義信息特征，如圖9、圖10 所示。將截取的特征放入分類網絡，在較深層網絡計算特征之間的歐幾里得距離，在淺層網絡計算Gram 矩陣之間的距離，最終得到語義信息相似度與風格信息相似度，如表1 所示。

Table 1 Comparison results表1 對比結果

Fig.8 The multi-style conversion network combining any artistic style圖8 可任意組合藝術風格的多風格轉換網絡

Fig.9 Comparison between the effect of single style and multi-style migration圖9 單風格與多風格遷移特征效果對比

Fig.10 Comparison between the effect of single style and multi-style migration圖10 單風格與多風格遷移效果對比

由表1 可知，在風格遷移過程中，單風格與多風格的語義信息相似度均超過90%，語義信息得到了很好地保留。風格信息相似度數據表明，在風格遷移過程中，不同語義信息擁有了不同的風格信息，色彩分布也更加合理。

除上述對比外，本文還對多風格遷移結果進行了視覺質量的用戶評估。邀請10 名圖像處理專業(yè)人士和20 名非專業(yè)人士參與評價，評估單風格圖像與多風格圖像的視覺質量、色彩豐富度和色彩分布合理性。評估分為3 個等級，分別為好、一般、差，依次用5 分、3 分和1 分表示，計算出每一種樣式的平均分。評估人員給出的分數統計結果如圖11 所示。

Fig.11 Average assessment scores given by assessors圖11 評估人員給出的分數平均值

本文提出的多風格融合算法解決了單一風格中色彩單一和色彩溢出問題，一方面提取多種風格圖的特征共同作用，以填補內容圖中的特征空缺；另一方面抑制了色彩溢出，使色彩分布更加合理。在總體風格方面，該算法具有更加豐富的藝術特點，為新的藝術創(chuàng)作提供了借鑒。

4 結語

本文以不同風格圖作為研究對象，提出了基于深度學習的圖像多風格融合算法。與單風格轉換算法相比，本文算法在很好地保留內容圖片語義信息的同時，實現了多風格圖的風格遷移，可在單幅藝術圖像中看到多種風格信息，增加了色彩豐富度，使色彩分布更加合理，特征轉換效果良好。但該方法也存在以下問題：一是風格遷移時間較長，二是在內容圖片與風格圖片語義信息相差較大時存在邊緣扭曲現象。為解決上述問題，后續(xù)計劃應用最新的生成對抗網絡方法［19］進行深入探索與研究。