張 璽, 金正猛, 姜亞琴

(南京郵電大學理學院, 江蘇 南京 210023)

0 引 言

圖像著色是借助計算機技術(shù)將灰度圖像轉(zhuǎn)化為彩色圖像的過程,目前廣泛應(yīng)用于廣告、醫(yī)療、影視、古畫修復等領(lǐng)域。傳統(tǒng)的圖像著色方法可以分為兩類:一類是基于顏色轉(zhuǎn)移的圖像著色方法,另一類是基于顏色擴散的圖像著色方法?；陬伾D(zhuǎn)移的圖像著色方法需要用戶首先輸入一幅與目標灰度圖像內(nèi)容信息相近的彩色源圖像,再通過合適的算法將源圖像中的顏色轉(zhuǎn)移到輸入的灰度圖像上,該方法的著色效果依賴于彩色源圖像的選取?；陬伾珨U散的圖像著色方法需要人為地將部分顏色添加到目標灰度圖像中,再利用適當?shù)乃惴▽⑺o的顏色信息擴散到整個灰度圖像,該方法的著色效果依賴于人為添加的顏色。隨著人工智能的快速發(fā)展,基于深度學習的圖像著色方法已得到越來越廣泛的應(yīng)用,該方法利用在大量數(shù)據(jù)集下訓練好的卷積神經(jīng)網(wǎng)絡(luò),以端對端的方式直接對灰度圖像進行著色,減少了人工參與,但其著色效果取決于網(wǎng)絡(luò)本身的設(shè)計和訓練集的選取。

近20年來,基于變分偏微分方程的顏色擴散著色方法已得到廣泛研究。Sapiro首次將圖像修復的偏微分方程(partial differential equation,PDE)方法用于圖像著色,將待著色區(qū)域作為顏色修補區(qū)域,通過亮度信息Y的梯度所決定的引導場將色度信息Cb和Cr擴散至整幅圖像。Yatziv等人利用加權(quán)距離色度混合技術(shù),通過最短路徑來進行圖像的快速著色。滕升華等人在灰度圖像上人工添加顏色線條后求解拉普拉斯方程,使得所給顏色均勻地擴散到目標灰度圖像中。但這些方法都沒有考慮保留圖像輪廓,以致會出現(xiàn)顏色越界和顏色邊緣模糊的問題。為克服顏色在擴散過程中的越界現(xiàn)象,Kang等人提出基于加權(quán)調(diào)和映射的全變差(total variation,TV)模型(以下簡稱Kang模型),用目標灰度圖像的亮度梯度信息來刻畫顏色的邊緣,從而阻止顏色在擴散過程中越界。其他形式的加權(quán)TV模型也陸續(xù)被提出,用于指導顏色擴散。這些加權(quán)TV模型都是利用亮度的梯度信息來控制顏色擴散,著色效果容易受到圖像輪廓中偽邊緣的影響,以致著色范圍較小。為了克服這一缺陷,Jin等人提出基于曲率驅(qū)動的耦合TV模型(以下簡稱Jin模型),該模型使用亮度的曲率信息來控制顏色擴散,減弱了偽邊緣的影響,對結(jié)構(gòu)信息明顯的圖像著色效果較好。Min等人在Jin模型的基礎(chǔ)上,提出一種基于自然矢量TV的著色模型(以下簡稱Min模型),該方法能更好地保留顏色邊緣,減少顏色越界。

現(xiàn)有的基于亮度信息驅(qū)動的顏色擴散模型在對結(jié)構(gòu)圖像進行著色時,能較好地保護圖像的顏色輪廓。但由于這些模型中的擴散函數(shù)無法有效地刻畫紋理等多細節(jié)圖像的顏色邊緣,在對紋理圖像著色時會出現(xiàn)顏色擴散不均勻和越界等問題。Zhao等人結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN),利用深度圖像先驗來提取圖像中的紋理等細節(jié)。在低采樣率下,該方法能很好地修復圖像的細節(jié)缺損信息。受文獻[19]中深度圖像先驗思想的啟發(fā),本文在YCbCr顏色空間機制下,把深度圖像先驗融入到基于曲率驅(qū)動的耦合TV模型中,提出融合深度圖像先驗的TV著色模型。同時在即插即用(plug-and-play,PnP)框架下,結(jié)合交替方向乘子法(alternating direction method of multipliers,ADMM)給出該模型的數(shù)值求解算法,并分析該算法的收斂性。本文首先介紹相關(guān)知識點及本文模型;然后給出求解本文模型的算法;接著給出本文模型和其他模型在結(jié)構(gòu)圖像和紋理圖像上的著色實驗結(jié)果及數(shù)據(jù),驗證本文所提模型的有效性,并給出算法的收斂性分析;最后對所做工作進行總結(jié)。

1 模型介紹

1.1 預(yù)備知識

對目標灰度圖像進行著色,需要選擇合適的顏色空間。RGB(red,green,blue)顏色空間是目前廣泛使用的顏色空間之一,除此之外還有YCbCr(luminance, two color-difference components)空間,YIQ(luminance, hue, and saturation)空間和CB(chromaticity and brightness)空間等。這些空間將彩色圖像分解為色度和亮度,并與RGB顏色空間有某種聯(lián)系。在本文中,?記為圖像的支持域,?表示待著色區(qū)域,=表示圖像中給予顏色信息的區(qū)域。 RGB顏色空間中的彩色圖像可以表示為

:→={(,,):,,>0}

(1)

對于灰度圖像：(,)∈→,定義拉普拉斯算子:

Δ：=?+?

(2)

用Δ來表示中等值線的曲率信息。

在YCbCr顏色空間中,彩色圖像的亮度信息為灰度圖像的灰度值,通過某種合適的算法恢復該灰度圖像的色度信息(Cb,Cr),再通過YCbCr空間與RGB空間的變換關(guān)系計算出R,G,B三通道的像素值,即完成了著色的過程。

PnP框架靈活地利用了ADMM或其他臨近點算法中去噪器的功能。經(jīng)過變量分離技術(shù),優(yōu)化問題被分解為更簡單的子問題,而正則化的臨近點算子即為其中之一的子問題。正則化的臨近點算子prox:→被定義為

(3)

即將輸入的映射到式(3)的極小值。在PnP框架下,正則化的臨近點算子被去噪算法(稱為去噪器)取代。本文使用去噪CNN FFDNet來替換相應(yīng)的正則化臨近點算子,以更好地解決相關(guān)子問題。

1.2 Jin模型

Jin等人在YCbCr顏色空間中對灰度圖像進行著色,提出如下基于亮度曲率驅(qū)動的耦合TV模型:

(4)

式中:*表示卷積運算；=(Cb,Cr)為YCbCr空間中色度信息；=(Cb,Cr)為已知的色度信息;()為高斯磨光核;()=11+(∈)為單調(diào)遞減函數(shù);為權(quán)重系數(shù)。

模型式(4)中的擴散函數(shù)(|Δ(*)|)利用拉普拉斯算子能有效地刻畫圖像的結(jié)構(gòu)邊緣信息并驅(qū)動顏色擴散,從而實現(xiàn)對目標灰度圖像進行大面積著色。但是紋理等細節(jié)豐富的圖像的結(jié)構(gòu)、邊緣不清晰,(|Δ(*)|)無法有效地刻畫出這些圖像的邊緣,如圖1(b)所示。其結(jié)果就是Jin模型在對紋理圖像進行著色時,會出現(xiàn)顏色擴散不均勻等問題。對圖1中紋理圖像圖1(a)進行著色,Jin模型的著色結(jié)果如圖1(d)所示。很容易看出,在圖1(d)中,人為添加的初始顏色與擴散后的顏色有較大的偏差。

圖1 g(|Δ(Gσ*Y0)|) 的繪圖及兩種模型的著色效果Fig.1 Plot of g(|Δ(Gσ*Y0)|) and coloring result of two models

1.3 本文模型

為克服亮度信息驅(qū)動的局部顏色擴散模型在對紋理圖像著色時出現(xiàn)的顏色擴散區(qū)域較小、擴散不均勻等問題,本文在Jin模型的基礎(chǔ)上,結(jié)合CNN,提出融合深度圖像先驗的TV著色模型:

(5)

式中:=(Cb,Cr)為YCbCr空間中色度信息;=(Cb,Cr)為已知的色度信息;()、()分別為式(4)中的高斯磨光核和單調(diào)遞減函數(shù);和均是權(quán)重系數(shù);()是隱式正則項。在PnP框架下把在自然圖像數(shù)據(jù)集上訓練好的二維去噪CNN FFDNet插入到模型式(5)中,以解決與()相關(guān)的子問題。

本文模型具有大數(shù)據(jù)的優(yōu)勢,在給定顏色較少的情況下,能有效整合耦合TV邊緣捕獲和CNN細節(jié)捕捉的功能,對結(jié)構(gòu)圖像和紋理等細節(jié)豐富的圖像,均能實現(xiàn)較大范圍的有效著色。本文對圖1(a)中圖像的著色結(jié)果如圖1(e)圖像所示,不難發(fā)現(xiàn),本文模型能很好地克服Jin模型對紋理圖像著色出現(xiàn)擴散不均勻的問題,對紋理等細節(jié)豐富的圖像能實現(xiàn)較大范圍的有效著色。

2 本文算法

本節(jié)在PnP框架下,結(jié)合ADMM算法,給出本文模型式(5)的快速數(shù)值求解算法。先引入符號

(6)

以及輔助變量、和,模型式(5)等價為如下約束優(yōu)化問題:

(7)

將式(7)轉(zhuǎn)化為無約束極值問題,得到其增廣拉格朗日函數(shù):

(8)

式中:,,是拉格朗日乘數(shù);>0是懲罰參數(shù);定義為

(9)

下面分別對,,,4個子問題進行求解。

(1) 求解關(guān)于的子問題:

(10)

等價于

(11)

其中,對所有∈,都有()≥>0,為常數(shù)?？傻?/p>

(12)

(2) 求解關(guān)于的子問題:

(13)

(14)

在PnP框架下,正則化的臨近點算子prox:××→××被快速靈活的去噪 CNN FFDNet替換。將+饋入FFDNet中,可以解得

(15)

在FFDNet中,參數(shù)與噪聲水平有關(guān),此處與估計值與真實值情況之間的誤差水平有關(guān)。

(3) 求解關(guān)于的子問題:

(16)

可對求導并令其等于0,解得

(17)

式中:

(18)

(4) 求解關(guān)于的子問題:

(19)

等價于求解

(20)

根據(jù)Euler-Lagrange方程得出

2μ-Δ=(+)---div+div

(21)

再利用快速傅里葉變換求出

(22)

其中,及分別為傅里葉變換及其逆變換。

結(jié)合式(12)、式(15)、式(17)和式(22),本文算法的具體步驟如下。

在第步迭代

由式(22)得

由式(12)得

由式(15)得

由式(17)得

(23)

(24)

(25)

=+1

(26)

3 實驗步驟及結(jié)果分析

本文圖像著色的具體步驟如下。

在RGB 顏色空間上,輸入一幅灰度圖像,并在圖上繪出適當?shù)牟噬€條。

將步驟1中輸入的帶有少量顏色的圖像轉(zhuǎn)換到Y(jié)CbCr顏色空間中,并獲取色度信息和亮度信息。

表1 實驗中10幅圖的參數(shù)設(shè)置

將彩色圖像轉(zhuǎn)換到RGB顏色空間中,輸出圖像,完成著色。

本文采用PSNR、均方誤差(mean square error,MSE)和四元數(shù)結(jié)構(gòu)相似性(quaternion structural similarity,QSSIM)作為著色效果的評價標準,定義如下:

(27)

(28)

QSSIM詳見Amir等人的文章,其中表示原始彩色圖像,是著色后圖像。的PSNR值和QSSIM值越高,MSE值越低,表示圖像著色效果越佳。

為驗證本文模型和算法的適用性以及有效性,本節(jié)對結(jié)構(gòu)圖像和紋理圖像進行著色實驗,并與其他模型進行比較, 其中包括兩個基于深度學習的全自動著色方法: Larsson模型、Iizuka模型以及3個基于顏色擴散的著色方法:Kang模型、Jin模型和Min模型。在實驗中,使用Kang模型、Jin模型和Min模型中的參數(shù)設(shè)置,并如Jin等人所提,*僅用做數(shù)學分析,采用Δ并通過有限差分法代替Δ*進行計算。由于 Larsson模型和Iizuka模型是基于深度學習的全自動著色,所以僅需輸入相應(yīng)的灰度圖像,而在Kang模型、Jin模型、Min模型和本文模型中,輸入帶有部分顏色的圖像。

3.1 結(jié)構(gòu)圖像著色

本小節(jié)展示各著色方法在結(jié)構(gòu)圖像(見圖2)上的著色效果,實驗結(jié)果如圖3所示。從圖3中的圖像可以看出,Larsson模型和Iizuka模型所輸出彩色圖片與實際圖像相差較大,不符合視覺效果;從圖3(c)第1幅圖和圖3(c)第4幅圖可以看出,Kang模型的顏色信息擴散范圍較小;Jin模型和Min模型對結(jié)構(gòu)圖像著色效果較好,但在圖3(d)的孩子手肘部分和左下角的番茄,圖3(e)第1幅圖的右上角和圖3(e)第3幅圖的右邊蘋果處顏色仍有擴散不均勻和少量越界。從圖3(f)可以看出,本文模型將深度圖像先驗用于捕捉顏色細節(jié)部分,所以在圖像細節(jié)處的著色效果較佳,生成的顏色更為準確。由此可見,本文模型對結(jié)構(gòu)圖像的著色效果更佳。

圖2 添加部分顏色的灰度結(jié)構(gòu)圖像和原始結(jié)構(gòu)圖像Fig.2 Grayscale structural image with some color given and original color structural image

圖3 使用不同模型得到的彩色結(jié)構(gòu)圖像Fig.3 Colorized structural image with different methods

表2列出了圖3中各彩色圖像的PSNR、MSE和QSSIM值,從而可以得到各模型在這4幅圖上的平均PSNR、平均MSE和平均QSSIM值,如表3所示，其中最高值以藍色標記,第二高值以粗體標記。從表3可以看出,本文模型的平均PSNR值最高,平均MSE值最低,平均QSSIM值排在第三名,但相較于第一名的 Larsson模型和第二名的Iizuka模型,其所生成的彩色圖像更符合視覺效果。

表2 圖3中彩色圖像的PSNR、MSE和QSSIM值

表3 圖3中彩色圖像的平均PSNR、平均MSE和平均QSSIM值

3.2 算法的收斂情況

圖4 本文算法在紋理圖像5～10上的相對變化曲線Fig.4 Relative changing curve of the proposed algorithm in texture image 5～10

3.3 紋理圖像著色

本節(jié)展示各著色方法在紋理圖像(見圖5)上的著色效果,實驗結(jié)果如圖6所示。 Larsson模型和Iizuka模型對圖像5～圖像10的著色效果都不佳,著色后的彩色圖像與原始彩色圖像相差較大,也不符合視覺效果;從圖6(c)可以看出,對于紋理圖像,Kang模型的顏色信息擴散范圍較小;從圖6(d)可以看出,Jin模型在對紋理圖像著色時會出現(xiàn)顏色擴散不均勻,顏色越界的問題;從圖6(e)中人的衣袖、草原、沙灘和鼻子邊緣可以看出,Min模型對紋理圖像著色依舊有明顯的顏色擴散不均勻和顏色越界現(xiàn)象。較于這些方法,從圖6(f)中的第一幅下側(cè)、草地、沙漠、草原、沙灘、鼻子可以看出,本文模型有效整合耦合TV邊緣捕獲和CNN細節(jié)捕捉的功能,減少了顏色的越界,同時對圖像的細節(jié)和紋理部分著色效果更佳。由此可見,本文模型對紋理圖像著色效果較好。

表4列出各個模型對不同紋理圖片著色后彩色圖像的PSNR、MSE和QSSIM值。本文模型的PSNR值均為最高,MSE值均為最低,在圖像5和圖像6上取得了最高QSSIM值。表5中列出了各模型在6幅圖像上的平均PSNR、平均MSE和平均QSSIM值。在平均QSSIM值上,本文模型排在第二名,與第一名的Iizuka模型相比,本文模型所生成的彩色圖像更符合視覺效果。

圖5 添加部分顏色的紋理灰度圖像和原始紋理圖像Fig.5 Grayscale texture image with some color given and original color texture image

圖6 使用不同模型得到的彩色紋理圖像Fig.6 Colorized texture image with different methods

表4 圖6中彩色圖像的PSNR、MSE和QSSIM值

表5 圖6中彩色圖像的平均PSNR、平均MSE和平均QSSIM值

3.4 計算時間

在相同設(shè)備上,本文將40張圖片分別在 Larsson模型、Iizuka模型、Kang模型、Jin模型、Min模型以及本文模型上進行運算,各模型的平均計算時間如表6所示。

表6 圖像的平均計算時間

從表6可以看出,相較于基于深度學習的全自動圖像著色方法(Larsson方法和Iizuka方法),本文算法的耗時更多,但相較于基于顏色擴散的圖像著色方法(Kang方法和Min方法),本文算法的耗時更少。同時,通過對結(jié)構(gòu)和紋理圖像進行數(shù)值實驗可知,本文算法的著色效果較上述其他方法更佳,總體優(yōu)勢較大。

4 結(jié)束語

本文從Jin模型出發(fā),結(jié)合CNN 的數(shù)據(jù)補償和細節(jié)捕捉功能,提出融合深度圖像先驗的TV著色模型,并在PnP框架下,結(jié)合ADMM算法進行數(shù)值求解。通過與 Larsson模型、Iizuka模型、Kang模型、Jin模型和Min模型的著色效果進行比較,可以發(fā)現(xiàn),該模型能有效整合耦合TV邊緣捕獲和CNN細節(jié)捕捉的功能,對結(jié)構(gòu)圖像和紋理等細節(jié)豐富的圖像,均能實現(xiàn)較大范圍的有效著色。