王 洋，陳朝新，張月光，郭 磊，沈 鵬

（1.河南奇測電子科技有限公司，鄭州 453000；2.鄭州大學(xué)，鄭州 450001）

0 引言

當(dāng)前在電力系統(tǒng)故障檢測中，基于視覺的檢測無人機(jī)開始逐漸替代人力，然而在無人機(jī)巡檢的過程中由于相機(jī)云臺的運(yùn)動和周圍環(huán)境的影響，導(dǎo)致采集的混凝土電桿現(xiàn)場圖像質(zhì)量退化，甚至由于嚴(yán)重模糊而使圖像無法進(jìn)行后續(xù)的圖像識別。故提高圖像質(zhì)量對后續(xù)圖像識別很重要。因為無人機(jī)相機(jī)焦距固定，所以本文基于相機(jī)在曝光時間內(nèi)運(yùn)動導(dǎo)致圖像產(chǎn)生模糊的問題，提出一種對圖像清晰度增強(qiáng)處理的方法。

在圖像復(fù)原中，針對運(yùn)動散焦造成的圖像模糊常用的經(jīng)典方法包括逆濾波算法，LR 迭代去卷積算法等，該類算法特點(diǎn)在于需要根據(jù)點(diǎn)擴(kuò)散函數(shù)的模糊長度和模糊角度，可實(shí)際情況中，對這兩個參數(shù)的不理想估計會造成還原效果不佳。近幾年采用深度學(xué)習(xí)的圖像處理方法得到廣泛應(yīng)用，使用深度學(xué)習(xí)可對運(yùn)動模糊圖像進(jìn)行盲還原，其效果較為理想。生成對抗式網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）模型在人工智能領(lǐng)域已經(jīng)成為熱門方向，將GAN用于圖像復(fù)原與重建方面均取得了不錯的效果，利用生成對抗網(wǎng)絡(luò)方法對由于相機(jī)高速運(yùn)動產(chǎn)生的模糊圖像復(fù)原有著極大的潛力。

1 圖像清晰度增強(qiáng)方法

1.1 圖像退化模型

圖像在獲取、存儲及傳輸?shù)倪^程中，由于成像設(shè)備、存儲介質(zhì)及拍照周圍環(huán)境的影響，造成圖像清晰度下降或內(nèi)容丟失，圖像退化模型可表示為：

式中，*表示卷積，（，）為退化后圖像。（，）為散焦點(diǎn)擴(kuò)散函數(shù)，（，）為原始圖像，（，）表示噪聲。

1.2 圖像復(fù)原方法

傳統(tǒng)的圖像清晰度增強(qiáng)方法都是對模糊核進(jìn)行求解，但這些方法或多或少地對模糊核做了一部分假設(shè)，在具體的現(xiàn)實(shí)場景中，一幅圖像的模糊往往是由目標(biāo)物體和相機(jī)多個因素引起的，而很多方法將運(yùn)動模糊的產(chǎn)生僅看作由相機(jī)運(yùn)動導(dǎo)致的，忽略掉目標(biāo)物體的運(yùn)動特性。故Kim等提出將一張圖像進(jìn)行分割再進(jìn)行非均勻性去模糊的方法，這種方法適用于動態(tài)場景的去模糊。但是，該方法仍存在一些缺點(diǎn)，在圖像中目標(biāo)物體運(yùn)動不連續(xù)和捕捉不到的情況，會出現(xiàn)比較差的結(jié)果，產(chǎn)生振鈴效應(yīng)。

近些年來，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在圖像處理視覺領(lǐng)域大放異彩，其中在去模糊問題中有著良好的效果，但是，采用CNN 模型只適用于幾種特定種類的模糊，在空間變化模糊還存在一定的限制，因此，本文將一種多尺度遞歸網(wǎng)絡(luò)引入到生成器網(wǎng)絡(luò)方法，用于動態(tài)場景去模糊問題。

1.3 生成器網(wǎng)絡(luò)

本文生成器網(wǎng)絡(luò)包含三層結(jié)構(gòu)，分別是由粗到精，為了讓每一層的圖像特征利用得更加充分，網(wǎng)絡(luò)采用逐層遞進(jìn)由粗到精的方式，該網(wǎng)絡(luò)以三個不同尺寸的模糊圖像作為輸入，在該層網(wǎng)絡(luò)上，輸出的是與輸入尺寸大小相同的圖像，三個尺寸輸入的分辨率分別是64×64，128×128 和256×256，每一層網(wǎng)絡(luò)生成去模糊之后較為粗糙圖像特征都會作為下一層較為精細(xì)網(wǎng)絡(luò)的輸入。第一層卷積層將輸入圖像處理為相應(yīng)圖像大小的特征映射，為了更深層次提取圖像特征，整個尺度的網(wǎng)絡(luò)包括輸入塊、編碼塊、解碼塊和輸出塊，其中每一個殘差塊前面都包含一個實(shí)例正則化，加速網(wǎng)絡(luò)模型的收斂，保持圖像實(shí)例之間的獨(dú)立，在最后解碼塊的部分，會通過反卷積的方法將圖像上采樣到原來圖像的兩倍，從而作為下一層結(jié)構(gòu)的輸入。在每層尺度網(wǎng)絡(luò)結(jié)束時，都會輸出一張該尺度對應(yīng)的清晰圖像，然后通過和清晰圖像進(jìn)行反向傳播，從而對該尺度網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，網(wǎng)絡(luò)經(jīng)過迭代優(yōu)化，最終輸出清晰圖像，其結(jié)構(gòu)如圖1所示。

圖1 生成器網(wǎng)絡(luò)

1.4 鑒別器網(wǎng)絡(luò)

鑒別器網(wǎng)絡(luò)架構(gòu)如圖2所示。該網(wǎng)絡(luò)一共分為輸入層、卷積層和輸出層三個部分。輸入層主要是將生成圖像和清晰圖像輸入；卷積層一共有9 層，每層后面都連接了Leaky ReLU 函數(shù)，使得收斂的速度更快，然后經(jīng)過全連接層。最后由sigmoid 轉(zhuǎn)化為二分類問題，輸出對生成圖像的置信度，來辨別其真實(shí)性。然后兩者之間相互優(yōu)化，不斷更新網(wǎng)絡(luò)參數(shù)，使生成的圖像越來越清晰。

圖2 鑒別器網(wǎng)絡(luò)

1.5 損失函數(shù)

損失函數(shù)的選擇對生成對抗網(wǎng)絡(luò)性能至關(guān)重要，生成模型訓(xùn)練過程本質(zhì)在于對損失函數(shù)的不斷優(yōu)化。本文采用生成對抗損失和多尺度內(nèi)容損失組合的損失函數(shù)，由粗到精希望每個相應(yīng)尺寸為清晰圖像，對于多尺度生成對抗網(wǎng)絡(luò)而言，文獻(xiàn)［7］中使用損失函數(shù)，表達(dá)式為:

其中，L、S表示在k 級模型的生成圖像和清晰圖像。c表示通道的數(shù)量，w表示寬度，h表示高度，對其進(jìn)行歸一化之后用來表示在該尺度上的損失。

生成對抗損失函數(shù)定義如式（3）所示：

其中，代表生成的樣本，代表對真實(shí)的樣本進(jìn)行判別，在訓(xùn)練時，生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)分別對損失函數(shù)進(jìn)行相反的操作，不斷對抗優(yōu)化。通過結(jié)合多尺度的內(nèi)容損失和對抗損失，總的損失函數(shù)表示如公式（4）所示:

其中，為權(quán)重系數(shù)，經(jīng)過多次的試驗，=1×10獲得最優(yōu)解。

2 算例分析

2.1 計算環(huán)境

圖像增強(qiáng)計算環(huán)境如表1所示，在訓(xùn)練過程中涉及到大量的卷積運(yùn)算，而圖像處理單元比中央處理單元具有更大的運(yùn)算能力，本文將實(shí)驗放在GPU 上運(yùn)行能極大地提高運(yùn)算的速度和效率，縮短訓(xùn)練時間。

表1 實(shí)驗環(huán)境

2.2 數(shù)據(jù)集及預(yù)處理

本次實(shí)驗采用原始的GoPro 的數(shù)據(jù)集，它由Nah等于2017年提出。該數(shù)據(jù)集被廣泛應(yīng)用于圖像去模糊實(shí)驗中，該數(shù)據(jù)集一共由3214 對模糊-清晰圖像對組成。每一對圖像均是來自于不同場景1280×720 的高質(zhì)量的圖像，且所有的模糊圖像都不知道模糊核，實(shí)驗過程中生成器網(wǎng)絡(luò)要求圖像的輸入大小比數(shù)據(jù)集中的圖像要小，因此需要將原圖像作裁剪處理。在模型訓(xùn)練階段使用數(shù)據(jù)集中模糊圖像作為生成器網(wǎng)絡(luò)的輸入，將生成圖像與清晰圖像作為圖像對放入鑒別器網(wǎng)絡(luò)判斷這兩張圖像是否匹配。最終將模糊圖像放入已經(jīng)預(yù)訓(xùn)練好的生成器網(wǎng)絡(luò)中輸出一張清晰圖像，其結(jié)果如圖3所示。

圖3 圖像清晰度增強(qiáng)前后對比

2.3 圖像清晰度評價結(jié)果

圖像清晰度的評價目前主要包括主觀評價和客觀評價兩種。主觀評價為評價人員按照評價規(guī)則和評價尺度對圖像模糊進(jìn)行評分，但依靠人工觀測容易受到個人主觀因素的影響，且長時間的觀測極易造成視覺疲勞，導(dǎo)致后續(xù)的評價工作質(zhì)量下降；客觀評價則采用量化指標(biāo)對圖像清晰程度進(jìn)行評價，具有較高的效率和可靠性。這里使用了結(jié)構(gòu)相似度測量和峰值信噪比兩種客觀的評價標(biāo)準(zhǔn)以及基于邊緣特征的圖像清晰度評價方法來比較判斷圖像增強(qiáng)后的清晰度。

由Wang 等提出的圖像質(zhì)量評價方法圖像結(jié)構(gòu)相似度，其定義為:

在圖像壓縮等領(lǐng)域中，最常使用的重建質(zhì)量評價是峰值信噪比方法，它通過均方差進(jìn)行定義:

則峰值信噪比的定義為:

基于邊緣特征的圖像清晰度評價方法是對圖像進(jìn)行灰度變換后定義一種利用灰度差值尋求邊緣的方法。分別逐行和逐列掃描每個像素點(diǎn)的灰度值，當(dāng)相鄰灰度差值大于一定閾值的時候，即選取灰度差值大于灰度閾值附近三點(diǎn)，分別計算三條直線的斜率，最后求平均值，然后對整幅圖像所有的灰度邊緣坡度值求和sum，用同樣的方法在垂直方向上求灰度邊緣坡度值的和sum，最后對灰度邊緣坡度值在整幅圖像上求平均值，用來表征圖像的模糊程度，定義為:

用以上三種客觀評價方法對生成對抗網(wǎng)絡(luò)增強(qiáng)前后的圖像進(jìn)行評價，結(jié)果如表2所示。

表2 評價結(jié)果

從表2可以看出，增強(qiáng)后的圖像較之前的清晰度評價值均有所提升，說明生成對抗網(wǎng)絡(luò)方法對圖像的清晰度有明顯增強(qiáng)效果。

3 結(jié)語

本文提出一種生成對抗網(wǎng)絡(luò)和多尺度遞歸網(wǎng)絡(luò)相結(jié)合的圖像增強(qiáng)方法。該方法通過使用由粗到精的多尺度遞歸網(wǎng)絡(luò)作為生成器網(wǎng)絡(luò)，同時將損失函數(shù)由生成對抗損失和多尺度內(nèi)容損失相組合，避免了生成圖像的棋盤偽影現(xiàn)象，能較好地恢復(fù)模糊圖像。計算實(shí)例結(jié)果也進(jìn)一步驗證了本文所采用圖像增強(qiáng)方法的有效性。