孫雯雯，陶 勝

(集美大學(xué) 理學(xué)院，福建 廈門 361021)

人們在日常生活中經(jīng)常需要在各式各樣的設(shè)備上顯示圖像，圖像經(jīng)常需要改變尺寸或縱橫比以適應(yīng)日益多樣化的顯示設(shè)備，因此圖像縮放技術(shù)已成為圖像處理領(lǐng)域的一個研究熱點問題。作為傳統(tǒng)的圖像縮放技術(shù)，均勻縮放[1]在處理非等比例的圖像縮放時，會使圖像被壓扁或拉伸，尤其在縱橫比變化很大時，圖像會產(chǎn)生明顯失真，視覺效果不好。而作為另一種傳統(tǒng)縮放技術(shù)的裁切技術(shù)雖能避免壓扁或拉伸圖像，但容易丟失過多圖像信息，特別是在目標尺寸明顯減小的情況下。

為此，很多學(xué)者提出了基于內(nèi)容感知的圖像縮放方法[2,3]。2007年Avidan,Shamir[4]首次提出的Seam Carving圖像縮放算法較為經(jīng)典，它通過每次刪除圖像中能量值最小的八連通曲線，達到圖像所滿足的條件。但存在計算量大和可能結(jié)構(gòu)畸變的缺陷,很多學(xué)者在此基礎(chǔ)上提出了改進算法[5-8]。此外，施美玲等[9]提出了一種形變量度量模型，該模型考慮網(wǎng)格形狀和大小，讓用戶通過參數(shù)調(diào)整有選擇地控制主體對象的大小，以達到保持圖像重要特征的目的。趙旦峰等[10]提出基于隨機置亂的內(nèi)容感知縮放方法，利用顯著圖對列/行能量向量進行隨機重排,抽取滿足條件的列/行，可以提高縮放速度。郭迎春等[11]提出了基于概率隨機裁剪的圖像縮放方法，該方法結(jié)合依概率隨機裁剪與閾值學(xué)習(xí)，對非保護區(qū)域與保護區(qū)域使用不同的縮放比例。谷香麗等[12]提出一種基于彈簧變形模型的圖像縮放方法，該方法利用彈簧系統(tǒng)的變形帶動網(wǎng)格的變形，最終實現(xiàn)圖像縮放。

較好的圖像縮放算法需要在保持圖像重要內(nèi)容的同時，還要顧及圖像的整體概貌與視覺的連貫性。據(jù)此，本文提出一種基于相關(guān)分析和顯著性檢測的圖像縮放方法，首先結(jié)合相關(guān)分析與顯著性檢測這兩種方法，定義各列/行的影響度值，進而標注影響度值低的列/行，使縮放只發(fā)生在影響度值低的列/行上。然后采用影響度擴散的方法，將被縮放列/行的影響度轉(zhuǎn)移到相鄰兩列/行,避免了因連續(xù)過多縮放列/行而導(dǎo)致的整體概貌失真，最終實現(xiàn)即能保護圖像重要內(nèi)容又可以顧及整體視覺效果的目的。

1 本文提出的方法

對于寬度為N，高度為M的原始圖像I，縮放為寬度為N′，高度為M′的目標圖像I′。本文是從寬度與高度雙方向進行縮放，不失一般性，下面以寬度縮放為例闡述縮放過程，對于高度的縮放，用相同方法處理即可。

1.1 相關(guān)分析

將原始圖像I轉(zhuǎn)化為灰度圖像，可以用M×N階矩陣來表示，即

(1)

將數(shù)字圖像的列看作隨機變量，相關(guān)分析可以發(fā)現(xiàn)變量間的相互關(guān)系，其方法有很多，為簡便起見，本文采用Pearson相關(guān)系數(shù)度量不同列之間關(guān)系密切程度，計算公式如下：

(2)

(3)

在圖像上它能反映該列與相鄰兩列的相似程度，一定程度上可以衡量該列對圖像的影響程度。Rcol(j)越大意味著第i列與相鄰兩列相關(guān)程度越強，對圖像主體內(nèi)容的影響越小，于是對Rcol(j)由大到小進行排序，標注出前|N′-N|列，使縮放只發(fā)生在這些列上。為直觀顯示，將這|N′-N|列用黑線進行標注，對于行的標注，只需對矩陣F轉(zhuǎn)置得到Rrow(i)再進行相同操作即可，如圖1(b)所示。

(a)原圖

可以看出，利用相關(guān)分析標注的縮放部分能避開絕大部分圖像的重要內(nèi)容(花朵)，但仍有少許黑線穿過，為了更好地保護圖像的重要內(nèi)容，下面結(jié)合顯著性檢測優(yōu)化該方法。

1.2 顯著性檢測

人類視覺系統(tǒng)具有快速定位感興趣區(qū)域的能力, 在計算機視覺領(lǐng)域中,顯著性檢測利用計算機來模擬人的視覺注意機制，通過在一定區(qū)域內(nèi)突出某個事物,從而獲取圖片上相對比較重要的信息。近年來，許多學(xué)者提出了不同的顯著性檢測方法，其中Achanta等[13]提出的基于頻率調(diào)諧(Frequency-tuned)的顯著性檢測算法(FT算法)，首先對圖像進行高斯低通濾波，然后在CIELab顏色空間中計算濾波后圖像的單個像素與原圖像全體像素平均值的歐氏距離，作為該像素的顯著值。FT算法簡單，可生成與原圖像分辨率相同的顯著圖，且在突出顯著區(qū)域的同時有較為清晰的邊界，測試效果較好。因此，本文采用FT顯著性檢測算法建立顯著圖。

對于寬度為N，高度為M的原始圖像I，F(xiàn)T算法具體實現(xiàn)步驟如下：

首先計算圖像I在CIELab顏色空間中3個特征分量的均值Iμ=(Lμ,aμ,bμ)T:

(4)

然后對圖像I進行高斯濾波得到圖像IG:

IG=I?G

(5)

其中G為p×p的高斯濾波器，尺寸一般為3×3或5×5。 圖像IG在CIELab顏色空間中3個特征分量為IG=(LG,aG,bG)T。

圖像I在點(i,j)的顯著值計算公式:

S(i,j)=‖IG(i,j)-Iμ‖=[LG(i,j)-Lμ]2+[aG(i,j)-aμ]2+[bG(i,j)-bμ]2

(6)

最后得到圖像I的顯著圖，如圖2(b)所示。

(a)原圖

1.3 列/行的影響度值

在相關(guān)分析的基礎(chǔ)上，通過計算各列/行的相關(guān)系數(shù)標注了待縮放的列/行，為避免刪去圖像的重要區(qū)域，再與顯著性檢測相結(jié)合進行進一步優(yōu)化，重新對列/行進行標注，標注出對圖像的重要內(nèi)容影響最小的|N′-N|列和|M′-M|行。下面將結(jié)合相關(guān)分析理論與顯著性檢測定義列/行的影響度值。

由式(6)點(i,j)的顯著值S(i,j)來定義各列的顯著值Scol(j)，為第j列上所有像素點的顯著值之和:

(7)

同理定義各行的顯著值Srow(i):

(8)

顯著度圖可以反映出圖像顏色、亮度等信息，式(7)中的Scol(j)越大意味著第j列對圖像內(nèi)容的影響越大，式(3)中的Rcol(j)可以反映第j列與相鄰兩列的相似程度，其Rcol(j)越大意味著相關(guān)程度越強，對圖像內(nèi)容的影響越小，因此，各列對圖像的影響度值Infcol(j)可以定義為:

j=1,2,…,N.

(9)

同理定義各行對圖像的影響度值Infrow(i):

i=1,2,…,M.

(10)

這里ω設(shè)置為0.5，分別計算各列和行的影響度值并進行相應(yīng)的排序標注，從中選取影響度值最低的|N′-N|列和|M′-M|行。讓圖像縮放發(fā)生在這些列和行上。為了直觀顯示用黑線進行標注，如圖3(b)所示。可以看出結(jié)合相關(guān)分析和顯著性檢測，依據(jù)各列/行的影響度值進行標注的縮放區(qū)域，很好地保護了圖像的重要內(nèi)容。

(a)原圖436×660

1.4 采用影響度擴散的縮放優(yōu)化

在標注了影響度值低的列/行后，最簡單有效的做法是直接刪除這些影響度值低的列/行。但過多地連續(xù)刪除列/行時，圖像會出現(xiàn)不連續(xù)的塊，或者出現(xiàn)過多非重要區(qū)域的缺失，影響圖像的整體概貌。因此在縮放過程中，為避免出現(xiàn)這種明顯的人為痕跡，我們進行折中處理，既要保護圖像的重要內(nèi)容又要顧及圖像的整體結(jié)構(gòu)。

當(dāng)某列/行被刪除時，提升其相鄰兩列/行的影響度值，這樣使得非重要區(qū)域列/行的影響度值會隨著相鄰列/行的刪除而逐步提升，可以避免連續(xù)過多地刪除列/行。于是當(dāng)刪除某列/行時，其相鄰兩列/行的影響度值更新規(guī)則如下設(shè)置：

Infrow(i′)←Infrow(i′)+w(i,i′)Infrow(i)

(11)

Infcol(j′)←Infcol(j′)+w(j,j′)Infcol(j)

(12)

其中i′與j′分別為被刪除行i與列j的相鄰行與列，w(i,i′)和w(j,j′)分別為行與列的影響度擴散的權(quán)值，衡量了影響度擴散到相鄰列與行的比例。簡便起見，本文將擴散權(quán)值設(shè)置為被刪除列/行的相鄰兩列/行各自的原始影響度值在兩列/行影響度值之和所占的比例，即設(shè)置為：

(13)

(14)

其中i′=i+1或i′=i-1,j′=j+1或j′=j-1。

圖4是采用影響度擴散前后的對比，圖4(b)直接刪除圖3(b)標注的100列46行，圖4(c)采用了影響度擴散方法，首先標注影響度值最低的列/行，將該列/行的影響度轉(zhuǎn)移到相鄰列/行,然后按照更新后的影響度值，在未標注的列/行中再次標注影響度值最低的列/行，如此重復(fù)操作，直至達到目標圖像的尺寸要求。刪除最終標注的列和行，從而實現(xiàn)圖像的縮小。圖4(d)可以看出采用影響度擴散的方法，圖像縮放有很好的視覺連貫性，而圖4(b)在多處出現(xiàn)明顯的不連續(xù)塊。

(a)原圖(436×660))

放大圖像時，同樣采用影響度擴散的方法，首先標注影響度值最低的列/行，然后將該列/行的影響度擴散到相鄰列/行，對未標注的列/行按照更新后的影響度值，再標注影響度值最低的列/行，如此重復(fù)操作，直至標注的列/行數(shù)符合目標圖像的尺寸要求。在被標注的列/行后插入新的列/行，考慮到圖像的連續(xù)性，它是被標注的列/行與其后一列/行的均值,若最后一列/行被標注，則直接復(fù)制最后一列/行。如圖5在圖像I上增加100列，46行。圖5(a)未采用影響度擴散的方法，即直接放大圖3(b)標注的列/行，仔細觀察可發(fā)現(xiàn)在底部出現(xiàn)不連續(xù)塊，相較而言，圖5(b)采用了影響度擴散方法，即在圖4(c)標注的列/行上進行放大，可以看出視覺連貫性更好，未出現(xiàn)不連續(xù)塊。

(a)未采用影響度擴散方法的放大

2 實驗結(jié)果與分析

本文使用MATLAB R2018b作為實驗平臺，利用本文方法選取不同圖像進行雙方向的尺寸調(diào)整實驗，與傳統(tǒng)的均勻采樣和裁切技術(shù)進行比較分析。

圖6從寬度方向進行縮小，圖像原始大小為532×800，縮小為532×532，即刪除262列。明顯地，傳統(tǒng)的采樣方法使得圖像的重要內(nèi)容女孩被橫向壓縮，變形嚴重，而剪切技術(shù)雖然能保證女孩原貌，但圖像信息缺失較多，如左右兩側(cè)的樹木。

(a)原圖

圖7從寬度方向進行放大，圖像原始大小為500×400，放大為500×500，即添加100列，可以看出，均勻采樣使得圖像的重要內(nèi)容船只被水平拉伸，而單純使用剪切則無法放大圖像。

(a)原圖 (b)均勻采樣

圖8從高度方向進行縮小，圖像原始大小為742×552，縮小為552×552，即刪除190行，均勻采樣方法使圖像重要內(nèi)容房屋被縱向壓縮，而剪切雖能保證房屋原貌，但圖像信息丟失較多，如位于原圖像底部的湖泊被剪切掉。

(a)原圖

圖9從高度與寬度雙方向縮放，原始大小為333×450，縮放為370×370，即刪除80列，增加37行，從效果來看，傳統(tǒng)的均勻采樣使圖像重要內(nèi)容荷花花瓣被拉長，失真嚴重，也無法直接使用剪切來實現(xiàn)這種尺寸的縮放。

(a)原圖

3 結(jié)束語

本文提出一種基于相關(guān)分析和顯著性檢測的圖像縮放方法。首先將數(shù)字圖像的列/行看作隨機變量，計算各列/行之間的Pearson相關(guān)系數(shù)，再利用FT顯著性檢測算法得到各點的顯著值，在這兩者的基礎(chǔ)上定義了各列/行的影響度值，標注出影響度值低的列/行，使縮放只發(fā)生在影響度值低的列/行上。另外，通過采用影響度擴散的方法，將被縮放列/行的影響度值轉(zhuǎn)移到相鄰兩列/行上,避免了因連續(xù)過多地縮放列/行而導(dǎo)致的整體概貌失真，最終實現(xiàn)即能保護圖像重要內(nèi)容又可以顧及圖像結(jié)構(gòu)的目的，整體視覺效果良好。