宋俊芳

摘要：深度卷積生成對抗網絡的超分辨任務包括生成網絡和判別網絡建模過程。實現分為尋找到低分辨圖與高分辨圖之間的關系模型和利用量化后的關系將低分辨圖像通過恢復生動紋理和顆粒細節(jié)達到高分辨圖兩步。方法重建的圖像可為高精度的目標檢測提供保障。

關鍵詞：深度卷積；生成對抗網絡；超分辨重建；低分辨圖像；高分辨圖像

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2018）06-0075-01

1 深度學習超分辨重建

超分辨任務是指將同一場景的低分辨圖變?yōu)楦叻直鎴D的過程，任務的難點是要對知高分辨圖退化為低分辨圖的機理，作出合理的假設（如低分辨率圖完全擁有用于推理預測其所對應的高分辨率的部分信息），來逆向（低分辨到高分辨）建模倒逼，尋找這種內蘊性的表達。目前比較流行的就是采用深度學習的思路訓練這樣的網絡模型，較為經典的如基于深度卷積生成式對抗網絡的超分辨任務。它包括兩個部分，生成網絡（可用各種深度神經網絡，如卷積神經網絡、深度置信網絡等）與判別網絡（帶有二分類器的各種深度神經網絡）；其中生成網絡用于將低分辨圖變?yōu)楦叻直鎴D，也稱偽高分辨圖；判別網絡用于區(qū)分真實的高分辨圖和偽高分辨圖，進而實現指導生成網絡的過程；需要注意的是偽高分辨圖與真實高分辨圖的尺寸是—致的。優(yōu)化時，需要滿足判別網絡盡可能以最大的概率判別真?zhèn)?，同時又需要生成網絡得到的偽高分辨圖盡可能與真實的高分辨圖分布特性一致，即判別網絡以最小的概率將生成的偽高分辨圖判斷為真實的高分辨圖。當生成式對抗網絡訓練完成后，取出生成網絡部分怦可實現低分辨圖到高分辨圖的恢復；其中的求解仍采用交替迭代，即固定判別網絡時，優(yōu)化生成網絡的參數；同理，固定生成網路時，優(yōu)化判別網絡的參數。

2 深度卷積對抗式生成網絡建模

生成式對抗網絡是一個整體架構，其中的生成模型和判別模型可以采用各種深度神經網絡，唯一不一樣的是它包含兩個網絡。而深度卷積對抗生成網絡模型是將生成模型與判別模型都采用傳統卷起神經網絡的架構來實現。下面分別對生成模型和判別模型如何用卷積神經網絡實現數據的輸入-輸出作出描述。

2.1 生成模型構建

假設模型的輸入噪聲z服從均勻分布下的采樣即：R100～ ，如何利用卷積神經網絡得到穩(wěn)定的輸出（即得到生成圖像，其尺度與自然圖像的尺寸一致），可以將傳統卷積神經網絡替換為轉置卷積神經網絡，其池化操作被轉置或者微步卷積層替代，它可以被看作是傳統卷積操作的一種逆向傳遞過程。

2.2 判別模型構建

判別模型的輸入是自然數據和生成模型的輸出數據，輸出是所對應的類標1和0；這一部分仍采用傳統的經典卷積神經網絡模型實現，如LetNet5，VGGNet等。改進之處是將所有的池化層被卷積操作代替，并且真?zhèn)畏诸惼鞒怂粚油猓械碾[層使用的非線性函數修正為線性單元的改進版Leaky ReLU。而判別模型中的卷積流、卷積、非線性和批量歸一化保持不變。

3 任務實現

超分辨任務包括兩部分：（1）尋找到低分辨圖與高分辨圖之間的關系模型；（2）利用量化后的關系將低分辨圖像通過恢復生動紋理和顆粒細節(jié)等以達到高分辨圖的效果。具體過程如圖1所示，輸入為低分辨圖，輸出為重建的相對高分辨圖，當整個網絡收斂時，取出圖中左下腳的虛線部分，并將對應的生成圖像作為最后恢復的高分辨圖像。

詳細算法步驟如下：

輸入：采集圖像，人工獲取的高分辨率圖像訓練樣本。

輸出：和高分辨率圖像同樣尺寸的生成圖像。

（1）初始化深度卷積網絡參數：，通過深度卷積網絡獲取得到對應的特征圖；初始化深度對抗網絡參數：初始化目標函數參數：。（2）對判別模型參數和生成模型參數進行交替迭代優(yōu)化。（3）取出生成網絡部分即只關注生成模型，輸入低分辨圖，通過深度卷積網絡預測其輸出。

4 結語

將深度卷積生成對抗式網絡模型用于圖像的超分辨重建，在生成網絡和判別網絡中都引入深度轉置卷積神經網絡，所有的池化層被卷積操作代替，并且真?zhèn)畏诸惼鞒怂粚油?，所有隱層使用的非線性函數修正為線性單元的改進版Leaky ReLU。結果使得用該方法重建圖像，不僅清晰度變好，且邊緣信息得到了很好的保留，可為高精度的目標檢測與分類識別提供保障。

參考文獻

[1]張喜升.對抗樣本和生成對抗網絡——深度學習中的對抗方法綜述[D].南開大學，2016.

[2]虢齊.基于深度學習的圖像生成技術研究與應用[D].電子科技大學，2017.

[3]朱純，王翰林，魏天遠，等.基于深度卷積生成對抗網絡的語音生成技術[J].儀表技術，2018，（2）：13-15+20.

[4]滕達，宋曉，龔光紅，等.深度神經網絡圖像識別魯棒性增強方法研究[C].中國體視學與圖像分析學術會議.2015.

Abstract：The super-resolution task of deep convolution generation against network includes generation network and discriminative network modeling process. The realization is divided into finding the relationship model between the low-resolution map and the high-resolution map and using the quantified relationship to achieve the high-resolution map by recovering the low-resolution image through vivid texture and particle details. The reconstructed image can provide high-precision target detection.

Key words：deep convolution； generation of confrontation network； super-resolution reconstruction； low-resolution image； high-resolution image