張恒志 李曉明

（太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 太原 030024）

1 引言

1.1 海底圖像的修復(fù)

圖像修復(fù)［1］，又叫做inpainting，是由圖像的已知區(qū)域來推斷生成未知區(qū)域，未知區(qū)域處于圖像的內(nèi)部?，F(xiàn)在絕大數(shù)的研究都是在人臉、街景、風(fēng)景圖等這種具有明顯的結(jié)構(gòu)和顏色區(qū)分的圖片上進(jìn)行的。本文首次提出了在海底圖像上進(jìn)行圖像修復(fù)工作，海底圖像整體顏色偏暗，而且在拍攝過程中還會(huì)造成光照不一致，所以對(duì)這類圖片的研究具有很大的價(jià)值。

圖1 海底圖像與現(xiàn)有數(shù)據(jù)集圖像的對(duì)比

現(xiàn)有圖像修復(fù)的方法主要分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)的方法主要又分為基于補(bǔ)?。?～3］的方法和基于擴(kuò)散［4～5］的方法?；谘a(bǔ)丁的方法是通過在圖像的已知區(qū)域中來進(jìn)行搜索找到匹配良好的候選塊?；谘a(bǔ)丁的方法會(huì)使用已知區(qū)域的圖像塊信息來填充未知區(qū)域，而且需要很高的計(jì)算代價(jià)。PatchMatch［6］方法通過使用快速最近鄰場(chǎng)來解決這個(gè)問題，但基于補(bǔ)丁的方法在重建未知區(qū)域的細(xì)節(jié)方面做的很差。基于擴(kuò)散的方法是利用未知區(qū)域的輪廓信息，確定擴(kuò)散的方向，向輪廓內(nèi)擴(kuò)散已知的信息。但是該方法在未知區(qū)域比較大時(shí)（如64*64，128*128 的矩形塊）或紋理結(jié)構(gòu)復(fù)雜時(shí)，會(huì)存在生成區(qū)域模糊和結(jié)構(gòu)不一致的問題。

最早的基于深度學(xué)習(xí)的方法之一是上下文編碼器［7］，通過使用編碼器-解碼器結(jié)構(gòu)。編碼器具有將缺失區(qū)域的圖像映射到低維特征空間，并通過解碼器來構(gòu)建輸出的圖像。根據(jù)周圍的環(huán)境來生成未知區(qū)域的內(nèi)容，在理解整張圖像的基礎(chǔ)之上對(duì)未知區(qū)域產(chǎn)生一個(gè)可信的填充。但是這種方法在訓(xùn)練時(shí)固定輸入大小只能為128*128，且不能保持局部一致性。2017年，Li等提出的全局和局部一致性的圖像修復(fù)網(wǎng)絡(luò)［8］，全局鑒別器和局部鑒別器分別用于保證生成的區(qū)域在全局和局部上保持一致，但需要大量的訓(xùn)練集來學(xué)習(xí)細(xì)節(jié)，而且需要一些后處理過程。2019 年，劉等提出了一種基于語義的精細(xì)圖像修復(fù)方法［9］，不僅可以保留上下文結(jié)構(gòu)，而且還可以通過模擬特征之間的語義關(guān)聯(lián)來有效的預(yù)測(cè)未知區(qū)域，但是也只能是在固定區(qū)域上進(jìn)行修復(fù)。2020 年，余等提出了一種區(qū)域歸一化方法［10］，根據(jù)輸入的掩膜將空間像素劃分為不同的區(qū)域，并計(jì)算每個(gè)區(qū)域的均值和方差進(jìn)行歸一化，有效避免了均值和方差偏移的情況。

本文使用的方法是基于輪廓生成的深度學(xué)習(xí)方法［11］，通過更改其殘差塊的使用位置并在殘差塊［12］中引入SEnet［13］通道注意力機(jī)制來增加輪廓生成階段的生成能力。本方法分為兩個(gè)階段，第一階段先把待修復(fù)圖像的輪廓描繪出來，第二階段再對(duì)所生成的輪廓進(jìn)行顏色填充。

1.2 海底圖像空洞區(qū)域的填充

由于陸地資源、能源已經(jīng)日趨減少，而海洋中則蘊(yùn)含著豐富的生物和能源，所以人類開始把目光投向海洋。但單張圖片或幾張圖片很難能清晰地獲取海底的細(xì)節(jié)信息，想要獲取大規(guī)模的清晰地海底圖片需要多張圖片進(jìn)行拼接。由于深海環(huán)境復(fù)雜，光照條件差，想要探索海底資源有很大的困難。隨著社會(huì)和經(jīng)濟(jì)發(fā)展，研發(fā)出了水下拍照機(jī)器人，可以按照預(yù)定的路線深入海底進(jìn)行拍照作業(yè)。

但是由于復(fù)雜的海底環(huán)境和機(jī)器人的智能性，機(jī)器人在拍照過程會(huì)有偏離原來的路線。這就使得在進(jìn)行圖像拼接時(shí)會(huì)有一部分空洞區(qū)域產(chǎn)生。本文的目的就是填充這些空洞區(qū)域，生成在視覺上保持一致的海底圖像，對(duì)于人類對(duì)海洋的探索具有重大意義。

圖2 海底圖像拼接之后的空洞區(qū)域

本文先對(duì)海底圖像進(jìn)行預(yù)處理，得到光照均勻，亮度相對(duì)較高的圖像。然后本文在固定的方形區(qū)域?qū)５讏D像進(jìn)行實(shí)驗(yàn)，隨后擴(kuò)展到隨機(jī)任意區(qū)域，最后是在真實(shí)場(chǎng)景中對(duì)海底圖像的空洞區(qū)域進(jìn)行填充。

2 圖像預(yù)處理

直接使用原圖像作為數(shù)據(jù)集進(jìn)行訓(xùn)練，當(dāng)原圖像比較模糊或者整體偏暗時(shí)生成的結(jié)果也是模糊和偏暗的，所以原圖的質(zhì)量對(duì)于圖像修復(fù)的結(jié)果具有重大的影響。海底圖像的亮度低，再加上是人照光源拍攝，所以在拍攝時(shí)會(huì)導(dǎo)致大部分的圖片會(huì)有整體顏色偏暗（如圖3）和光照不均（如圖4）的情況。本文針對(duì)海底圖像的這些特殊性使用有針對(duì)性的方法進(jìn)行預(yù)處理，使海底圖像的光照變得均勻，同時(shí)還增加了圖像亮度，為后續(xù)的圖像修復(fù)工作提供了良好的基礎(chǔ)。針對(duì)不同特點(diǎn)的圖像進(jìn)行針對(duì)性的預(yù)處理對(duì)于圖像修復(fù)是一個(gè)很有價(jià)值的參考。

圖3 整體偏暗的海底圖片

圖4 光照不均的海底圖片

圖5 預(yù)處理圖像與原圖對(duì)比

圖6 輪廓生成網(wǎng)絡(luò)

圖7 顏色填充網(wǎng)絡(luò)

圖8 SENet結(jié)構(gòu)圖

圖9 結(jié)果對(duì)比圖

圖10 隨機(jī)區(qū)域生成效果圖

表2 隨機(jī)掩膜區(qū)域兩個(gè)指標(biāo)上的得分

圖11 帶有空洞的海底圖像

圖12 截取空洞區(qū)域

圖13 掩膜圖像

圖14 填充空洞區(qū)域

圖15 生成的完整圖像

本文的圖片數(shù)據(jù)是由水下機(jī)器人在5000m 深的海域里拍攝得到的，由于拍攝時(shí)是由水下機(jī)器人的閃光燈作為光源，所以在拍攝時(shí)會(huì)造成一大部分海底圖像有光照不均和整體偏暗的特點(diǎn)。

基于現(xiàn)有海底圖像的特點(diǎn)，在對(duì)海底圖像進(jìn)行預(yù)處理時(shí)，首先先對(duì)海底圖像進(jìn)行像素值平均操作，得到圖像Nc，然后對(duì)海底圖像平均處理后的圖像Nc 進(jìn)行多次高斯平滑處理得到圖像Nz，對(duì)Nz 進(jìn)行歸一化處理得到光照補(bǔ)償因子x，最后根據(jù)成像模型（1）得到原始圖像和光照因子x 的比值就是所得到的預(yù)處理之后的圖像。

從圖中可以清晰地看到經(jīng)過預(yù)處理之后的圖片與原圖相比，在圖像亮度，對(duì)比度都有提升，而且光照變得均勻了。

3 網(wǎng)絡(luò)結(jié)構(gòu)

本文使用的方法是一個(gè)由兩個(gè)階段組成的圖像修復(fù)網(wǎng)絡(luò)：1）輪廓生成網(wǎng)絡(luò)［16～18］；2）顏色填充網(wǎng)絡(luò)。這兩個(gè)階段都遵循對(duì)抗生成網(wǎng)絡(luò)模型［14］，即每個(gè)階段都由一個(gè)生成器和一個(gè)鑒別器對(duì)組成。設(shè)S1 和D1 分別是輪廓生成網(wǎng)絡(luò)的生成器和鑒別器，S2和D2分別是顏色填充網(wǎng)絡(luò)的生成器和鑒別器。

S1 的輸入是原圖以及自己設(shè)置的掩膜圖像，用來預(yù)測(cè)完整的輪廓圖像。之后把預(yù)測(cè)的輪廓圖和加了掩膜的彩色圖像又作為輸入傳遞給S2 來進(jìn)行顏色填充。通過先生成輪廓，再進(jìn)行顏色填充可以更好地使生成的圖片與原圖保持一致。

生成器由對(duì)圖像進(jìn)行兩次下采樣的編碼器，第一次卷積之后跟著2 個(gè)維度為256 的殘差塊，第二次卷積之后跟著3 個(gè)維度為128 的殘差塊，第三次卷積之后跟著4個(gè)維度為64的殘差塊，接著是對(duì)圖像進(jìn)行上采樣回到原始大小的解碼器組成。本文方法在殘差塊中加入了SENet 注意力層，SENet 主要是通過顯式地建模通道之間的相互依賴關(guān)系，自適應(yīng)地重新校準(zhǔn)通道的特征響應(yīng)，通過學(xué)習(xí)通道之間的相關(guān)性，篩選出了針對(duì)通道的注意力。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)中進(jìn)行對(duì)比的深度學(xué)習(xí)方法是近兩年的圖像修復(fù)方法，分別是Region Normalization for Image Inpainting 方法和Coherent Semantic Attention for image inpainting 方法。本文采用PSNR（Peak Signal to Noise Ratio，峰值信噪比）和SSIM［15］（Structural Similarity，結(jié)構(gòu)相似性）兩個(gè)指標(biāo)來衡量所修復(fù)圖像的質(zhì)量。PSNR是計(jì)算原圖和生成的圖對(duì)應(yīng)像素點(diǎn)之間的誤差的，是基于誤差敏感的圖像質(zhì)量評(píng)價(jià)。SSIM 則是從亮度、對(duì)比度、結(jié)構(gòu)三方面度量圖像之間的相似性。PSNR 和SSIM 的值越大，代表生成的圖和原圖越相近，誤差越小，修復(fù)的效果越好。

表1 結(jié)果指標(biāo)對(duì)比

從實(shí)驗(yàn)結(jié)果以及指標(biāo)的得分中可以看出，使用RN和CSA方法生成低紋理的海底圖像填充的有一定的效果，但是在細(xì)節(jié)上會(huì)有很多偽影的出現(xiàn)，而本文的方法填充的比較自然，和周圍區(qū)域保持高度的一致性。而在復(fù)雜紋理的海底圖片上RN和CSA方法則表現(xiàn)的不好，學(xué)不到相應(yīng)紋理結(jié)構(gòu)，而使用本方法可以看出修復(fù)工作效果還是很好的，在PSNR 和SSIM 指標(biāo)上都是最高的，但有一些局部的小區(qū)域會(huì)出現(xiàn)失真的現(xiàn)象。使用未經(jīng)過預(yù)處理的圖片和經(jīng)過預(yù)處理的圖片對(duì)比，可以看出經(jīng)過預(yù)處理的圖片保留了更多的細(xì)節(jié)信息，圖像整體是偏亮的，比未經(jīng)預(yù)處理的圖片在視覺效果上有一定的提升。

4.2 任意區(qū)域的圖像修復(fù)

本文將缺失區(qū)域從固定大小擴(kuò)展到任意區(qū)域。

實(shí)驗(yàn)結(jié)果證明使用本方法可以修復(fù)具有任意缺失區(qū)域的海底圖像，在低紋理圖像上效果很好，在具有精細(xì)結(jié)構(gòu)的海底圖像上顏色會(huì)有一定的失真現(xiàn)象。經(jīng)過預(yù)處理的圖片在PSNR 上有所下降，但在SSIM指標(biāo)上有一定的提升。

4.3 進(jìn)行空洞區(qū)域的填充

基于以上對(duì)海底圖像進(jìn)行修復(fù)工作的研究，我們使用本文方法對(duì)真實(shí)場(chǎng)景的空洞區(qū)域進(jìn)行填充。

填充步驟：

1）先在海底圖片中找到全黑的圖片，這些全黑圖片就是拍照所沒有拍到的。

2）將全黑的圖片與其相鄰的幾張圖片進(jìn)行拼接，就會(huì)產(chǎn)生帶有空洞區(qū)域的圖片。

3）截取空洞區(qū)域及其周圍一部分場(chǎng)景，添加相應(yīng)的掩膜，制作成測(cè)試圖片。

4）將生成的圖片代替截取的區(qū)域。填充流程及結(jié)果如下所示。

5 結(jié)語

本文使用基于輪廓生成的方法應(yīng)用于海底圖像的修復(fù)及空洞區(qū)域的填充工作，通過先生成邊緣輪廓再進(jìn)行顏色填充，能更好地生成精細(xì)的結(jié)構(gòu)。通過對(duì)海底圖片進(jìn)行預(yù)處理，得到預(yù)處理之后的圖片細(xì)節(jié)更加明顯，亮度更亮，光照變得均勻，通過實(shí)驗(yàn)證明預(yù)處理對(duì)圖像修復(fù)的工作具有重要意義。本文對(duì)海底圖像拼接之后的空洞區(qū)域進(jìn)行了填充，保持了高度的視覺和語義的一致性，對(duì)海底資源的探索提供了良好的基礎(chǔ)。