王真真,楊 欣,朱松巖,周大可
(1.南京航空航天大學 自動化學院,江蘇 南京 210016;2.江蘇工程技術(shù)學院,江蘇 南通 226000)
圖像超分辨率重建技術(shù)的目的是恢復圖像細節(jié)得到更高質(zhì)量的圖像.近年來,基于稀疏性的超分辨率技術(shù)已成為一種主要的圖像重建技術(shù),文獻[1]顯示稀疏編碼已經(jīng)作為一種常用的機器學習技術(shù)用于圖像處理.文獻[2]中,通過提高稀疏編碼系數(shù)的精確度來提高重建方法的性能.通過學習詞典,稀疏性的方法試圖找到低分辨率和高分辨率的示例圖像之間的一些映射關(guān)系作為先驗知識,以更好地重建.Zeyde等[3]采用基于主成分分析(PCA)進行降維,并且利用OMP算法進行K-SVD字典訓練,對Yang模型[4]在計算時間和重建質(zhì)量方面進行了改進;此外,Zhang等[5]利用基于PCA的子空間字典訓練來對Yang模型進行擴展和延伸,并且用非局部均值(NLM)約束代替反投影約束.與此同時,圖像的自相似性也被廣泛使用,文獻[6]中把自相似學習和基于實例學習相結(jié)合,從輸入的圖像自身和它們的退化版本訓練字典,并且設(shè)計了一個漸進的放大框架與自學習字典相兼容,證明了自相似學習的有效性;在文獻[7]中,利用圖像間的冗余信息,根據(jù)圖像自相似性構(gòu)造l1范數(shù)正則項補償對,抑制稀疏系數(shù)噪聲提高重建效果.
但針對用于學習的字典單一、圖像退化(噪聲、模糊和下采樣等)的問題,傳統(tǒng)的稀疏模型不足以精確地重建原始圖像.因此,本文提出一種多字典學習和稀疏編碼約束項相結(jié)合的SISR算法.訓練過程中,利用聚類結(jié)果訓練得到不同類別的子字典,以便為重建圖像塊選擇合適的子字典;求解α時,引入稀疏編碼噪聲,利用圖像非局部自相似性來獲得原始圖像稀疏編碼系數(shù)的良好估計,然后將觀測圖像的稀疏編碼系數(shù)集中到那些估計中,作為約束項來去除噪聲的影響.
圖像重建中選擇合適的字典是一個關(guān)鍵的問題,但傳統(tǒng)的字典學習并沒有在最佳的稀疏域[8-9],所有的圖像塊重建均使用同一個字典,針對此問題,本文在字典訓練時,利用圖像的特征將它們合理地劃分成若干個簇,然后每個聚類訓練生成子字典對,通過特征提取和隸屬度計算確定最佳字典對,獲得更好的重建目標.具體步驟如下:
1)k-means聚類.重建的精確度和有效性取決于合理的特征聚類,在進行聚類時,利用波長、顏色、相位等特征將圖像塊分為不同的類.將原始的HR圖像分為小的圖像塊{xi},i=1,2,…,p,利用Gabor濾波器對圖像塊進行特征提取用于聚類,最優(yōu)的聚類數(shù)在2~6,實際的聚類過程由k均值聚類算法[10-11]完成.隨機選擇K個像素作為初始聚類的中心Ck,計算每個像素到聚類中心的Euclidean距離,將其分為K類,在此過程中,利用式(1)對Ck進行更新,
(1)
其中,Di為簇內(nèi)像素間距離的平均值,n為簇內(nèi)像素的個數(shù).第k類中,當Di最小時,相對應的第i個像素被更新為新的聚類中心,若更新后的聚類中心和被替換的聚類中心之間的距離相差較小,則聚類結(jié)果對于訓練分類字典對是可行的,否則重新進行聚類.
稀疏重建模型是一個將訓練得到的字典中的原子進行線性組合的過程,包括訓練字典和求解稀疏表示系數(shù).其模型可表示為下面的約束函數(shù):
(2)
傳統(tǒng)模型中,字典(如DCT、小波字典等)的學習并沒有在最佳的稀疏域,稀疏過完備字典編碼是不穩(wěn)定.式(2)中的稀疏正則項是為了選擇合適的稀疏域,而本文中,用于訓練的圖像塊利用聚類的方法被分成k個類別,訓練得到k對子字典,重建的圖像塊可以選擇最優(yōu)的子字典,使該圖像塊的編碼系數(shù)在其他子字典上為0,因此‖α‖1可以刪除.
(3)
其中αy是所有αy,i的級聯(lián).
為了獲得更好的IR,就期望式(2)得到的稀疏碼αy盡可能接近原始圖像的真實稀疏碼αx,但由于圖像退化過程中,模糊、噪聲等的影響,求得的稀疏碼αy總會和αx存在偏離,即為稀疏編碼噪聲υα=αy-αx,圖像重建的質(zhì)量依賴于噪聲稀疏編碼的水平.由于稀疏編碼αx是未知的,所以很難直接計算υα,但若可以對αx進行合理良好的估計即β,則αy-β即為υα的良好估計,隨著迭代次數(shù)的增加,抑制υα(提高αy)即可以增加重建圖像的精確度.
根據(jù)稀疏編碼系數(shù)之間的強非局部相關(guān)性,從相似的自然圖像塊中學習估計β.基于圖像的冗余性,從原始HR圖像塊中獲得同尺度的相似圖像塊數(shù)據(jù)集;對原始圖像以sI(s=2;I=0,-1,-2,-3,-4,-5)倍縮減得到圖像金字塔,從圖像金字塔中得到多尺度相似圖像塊數(shù)據(jù)集,兩數(shù)據(jù)集中圖像塊大小相同,共同構(gòu)成相似圖像塊集Ψ.采用最近鄰搜索法來縮短搜索時間,得到Ρ塊最近鄰的圖像塊,在搜索的過程中,與圖像塊xi間的歐氏距離大于設(shè)定閾值時既舍棄.搜索得到圖像塊xi的非局部相似圖形塊集Ψi,可利用Ψi中圖像塊的稀疏編碼對βi進行加權(quán)平均估計.
αi,k為Ψi中圖形塊xi,k的稀疏編碼,Ψi中的圖像塊大小與xi相同,則對αi的良好估計(即βi)可以通過計算αi,k(l=1,2,…,Ρ)的加權(quán)平均值得到:
βi=∑k∈Ψiωi,kαi,k.
(4)
其中ωi,k是權(quán)重系數(shù),利用非局部均值[12]的方法,設(shè)定權(quán)重與圖像塊間距離成反比:
(5)
引入稀疏編碼噪聲后得到的目標函數(shù)模型為:
(6)
步驟2:通過k-means和PCA訓練得到字典Φ;
步驟3:利用最近鄰搜索法得到同尺度和多尺度的相似圖形塊集Ψi,通過公式(5)獲得權(quán)重矩陣;
步驟4:利用式(4)估計計算βi;
步驟5:將式(4)和式(5)以及求得的子字典Φi代入式(6),利用梯度下降法迭代求解稀疏系數(shù);
為了驗證本文算法的有效性,我們選擇圖像重建中常用的7幅圖進行實驗.字典訓練時,將7×7網(wǎng)格劃分為5個簇,對5個字典對進行訓練,字典大小為512,參數(shù)λ=0.1.原始HR圖像通過模糊降采樣(降采樣因子為3,加標準差為1.6的7×7高斯噪聲)得到LR圖像作為輸入.重建過程中參數(shù)為:圖像塊為3×3,重疊1個像素,相似圖像塊的個數(shù)取Ρ=10,權(quán)值矩陣中h值為10,迭代次數(shù)l(l=1,2,…,L),L=240.將本文的算法與ASDS[13]和SSIM[14]進行對比,在主觀判斷的同時,也通過峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)來比較重建結(jié)果.
圖1~2中顯示了不同方法的視覺重建結(jié)果.圖1中(b)和(c)重建結(jié)果較為模糊,并且可以觀察到沿邊緣的鋸齒狀痕跡,但本文算法中,選擇合適的子字典在最佳稀疏域上進行重建,字典中的原子線性組合得到的重建結(jié)果更好;在引入稀疏噪聲的過程中,去噪的同時,也間接的將自相似性用到了圖像的重建中,因此本文重建結(jié)果獲得了較為清晰的圖像邊緣,和更為豐富和清晰的圖像細節(jié);同時從表1中也可以看到,本文算法的PSNR和SSIM值基本上均高于其他兩種算法.
圖2中對于帶有噪聲的圖像,通過表2,可以發(fā)現(xiàn)由于噪聲的影響,其重建效果均低于不帶有噪聲圖片的重建,但本文算法的PSNR和SSIM值依舊高于其他2種算法.對于輸入帶有噪聲的圖像,算法通過引入稀疏噪聲編碼來抑制噪聲的影響.圖2(b)和(c)雖然也能恢復圖像的大部分細節(jié),但邊緣仍受鋸齒效應的影響,本文算法由于引入了稀疏噪聲編碼約束項,利用非局部自相似性獲得原始圖像稀疏編碼系數(shù)的良好估計,抑制噪聲的同時也引入非局部自相似,減小塊效應帶來的影響和重建時產(chǎn)生的人工痕跡,獲得較為清晰的邊緣,并且對噪聲具有一定的魯棒性.
從表3可以看出,重建效果并沒有隨著σ的增大而越來越差,并且σ=20和σ=100相比,PSNR(db)和SSIM幾乎沒有差別,即在噪聲增大的同時,噪聲對圖像重建結(jié)果的影響越來越小,因此可以看出本文算法可以抑制噪聲的影響,對噪聲具有魯棒性.
表1 無噪聲圖像重建結(jié)果的PSNR(db)和SSIM對比
表2 帶有噪聲圖像(σ=5)重建結(jié)果的PSNR(db)和SSIM對比
表3 不同σ重建結(jié)果的PSNR(db)和SSIM對比
本文通過聚類之后訓練生成子字典對,并且利用圖像非局部自相似性來獲得原始圖像稀疏編碼系數(shù)的良好估計,引入稀疏編碼噪聲.實驗表明,與ASDS算法[13]和SSIM算法[14]相比較,本文算法有更好的重建結(jié)果,獲得了更豐富的圖像細節(jié)和更清晰的邊緣,并且本文的算法對噪聲具有一定的抑制作用.