李如春，李　林，常麗萍

（浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023）

基于變采樣率壓縮感知的視頻壓縮研究*

李如春，李林，常麗萍

（浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023）

業(yè)界分塊視頻壓縮感知通常對所有圖像塊均采用相同的測量矩陣進行測量，這種方式未考慮到視頻中不同區(qū)域的變化程度不同的事實。在視頻幀間相關(guān)性的基礎(chǔ)上提出一種自適應(yīng)分配采樣率的方法，即在編碼端根據(jù)圖像塊的幀間相關(guān)性大小分類并分配不同的采樣率；在解碼端使用全變差算法以充分利用幀間相關(guān)性。為減小網(wǎng)絡(luò)環(huán)境影響，此算法不區(qū)分參考幀與非參考幀，并對每一幀作相同處理。實驗結(jié)果表明，該方法能夠在較低采樣率下重構(gòu)出較高質(zhì)量的視頻圖像，并且縮短計算時間。

壓縮感知；視頻編碼；全變差算法；變采樣率；分塊

0　引言

壓縮感知理論（Compressed Sensing，CS）于2004年由Candès，Donoho和 Tao等人提出，2006年 Candès等人從數(shù)學(xué)上證明壓縮傳感可以從部分傅里葉變換系數(shù)中精確重構(gòu)出原始信號,奠定了壓縮感知的理論基礎(chǔ)[1-2]。壓縮感知理論的基本思想為，如果某個變換域下信號是稀疏的,那么使用與該變換算子不相關(guān)的測量矩陣對原始信號投影,就可以通過稀疏優(yōu)化算法從少量測量值中高概率地重構(gòu)出原始信號。

基于壓縮感知的視頻壓縮，通常把整幀圖像作為一個整體進行處理，由此使得測量矩陣需要非常大的存儲空間，并且增加了重構(gòu)過程的復(fù)雜度。為此，Gan于2007年提出一種分塊采樣模式，將單幀圖像分塊并對每一塊采用相同的測量矩陣采樣[3]，但這種采用相同采樣率的分塊模式忽略了每個塊具有不同復(fù)雜度的事實，為了克服這一缺陷，文獻[4-5]提出了率失真優(yōu)化法、像素熵方法對塊進行分類并分配不同的采樣率的方法，文獻[6]又提出一種易于用硬件實現(xiàn)的自適應(yīng)測量率方法。但這些方法在處理過程中需要獲取圖像原始數(shù)據(jù)，違背了壓縮感知中采樣與壓縮同步進行的基本精神。

綜上，本文提出一種簡便且有效的基于變采樣率的分塊視頻壓縮感知方法，使用全變差(Total Variation，TV)算法重構(gòu)壓縮視頻，并且不區(qū)分關(guān)鍵幀與非關(guān)鍵幀，避免因網(wǎng)絡(luò)環(huán)境不穩(wěn)定造成參考幀的丟失，造成無法重構(gòu)視頻的后果。

1　分塊自適應(yīng)測量率壓縮感知算法

由于視頻的不同區(qū)域具有不同場景復(fù)雜度和變化強度，據(jù)此，本文根據(jù)分塊視頻幀間的變化程度合理分配采樣率，即變化程度較小的塊分配較低的采樣率，變化程度較大的塊分配較高的采樣率，并將視頻塊分成近似靜止塊、緩慢變化塊和快速變化塊3類，這樣保證了在較低的總采樣率下仍能較高質(zhì)量地重構(gòu)視頻圖像[7]。具體處理流程如圖1所示。

圖1　基于變采樣率壓縮感知的視頻處理流程

進行自適應(yīng)測量率設(shè)定時，首先選取合適的塊大小B，將視頻幀不重疊分塊得到K個B×B大小的塊，然后利用相同的測量矩陣進行預(yù)采樣，得到每個圖像塊的測量向量。由于視頻場景復(fù)雜度和變化強度與幀間像素的差值直接相關(guān)，因此，可以根據(jù)殘差能量進行視頻塊的分類，即分類判別標(biāo)準設(shè)定為：

上述方法需要在采集端獲得原始數(shù)字圖像，這在實際的壓縮成像設(shè)備中無法實現(xiàn)。為了克服這一缺陷，采用測量域的殘差能量密度作為判別標(biāo)準，具體如式(3)所示。

為確保式(3)能夠準確分類，需要對塊進行預(yù)采樣得到測量向量，保證測量向量能夠提供足夠的信息量，使得其能夠正確反映當(dāng)前塊的變化程度，但預(yù)采樣率太高會影響采樣速度，加大存儲硬件的實現(xiàn)難度[9]以及采樣時間。因此，要選擇合適的預(yù)采樣率，保證能夠?qū)崿F(xiàn)準確分類，并且避免影響采樣速度。

2　重構(gòu)算法

壓縮感知的重構(gòu)算法很多，主要有貪婪迭代算法和凸優(yōu)化算法兩大類，其中全變差(TV)算法[10]是凸優(yōu)化算法中較為典型的一種，雖然重構(gòu)速度較慢，但重構(gòu)效果好，其基本思想是基于梯度的二維信號重構(gòu)。TV算法以信號的稀疏性為基礎(chǔ)，對粗糙的初值圖像進行連續(xù)迭代，逐步減小誤差直至恢復(fù)出最小誤差信號。定義大小為n×n的圖像數(shù)據(jù)用U表示，i和j分別表示圖像的行坐標(biāo)與列坐標(biāo)，則可以用 Ui，j表示坐標(biāo)點的像素值，圖像的水平與垂直一階微分算子表示如下：

由于TV算法是以梯度算法為基礎(chǔ)，圖像中的導(dǎo)數(shù)可以用相鄰像素間的差值表示，因此要求出圖像在水平與豎直方向的導(dǎo)數(shù)，并以這兩個方向的導(dǎo)數(shù)判斷圖像的最快變化方向，并以最快變化的反方向作為梯度的搜索方向，從而最快逼近原始圖像，結(jié)束迭代過程。

由式(4)、(5)得出離散梯度向量，可表示如下：

由全變差的定義以及以上3個公式，可得知全變差值為所有像素離散梯度向量模的總和，如下式：

二維圖像信號每個像素的總變差梯度為：

迭代過程中，迭代閾值可以設(shè)為全變差的值，當(dāng)?shù)档陀陂撝禃r可認為重構(gòu)出原始圖像[11－12]。

基于上述TV重構(gòu)算法的思想，利用其進行圖像重構(gòu)時，像素梯度即為幀間殘差，可以無需選取關(guān)鍵幀，對每一幀做相同的處理，更適合無線視頻的壓縮處理。

3　實驗結(jié)果

本文基于MATLAB軟件平臺，在傅里葉域下測試提出基于自適應(yīng)采樣率的壓縮感知方法，采用TV重構(gòu)算法，對視頻序列進行壓縮。使用4組標(biāo)準視頻序列測試文中提出的方法性能：Football、Foreman、News、Suzie。Foreman的分辨率為176×144，其余3個序列的分辨率都為352×288。其中Football序列的場景變化較劇烈，其余3個序列變化較緩慢，并且選取每個序列的前50幀圖像作為測試對象。

（1）預(yù)采樣率設(shè)定

采用32×32大小的塊，由于變采樣率方法中需要進行預(yù)采樣，下面對預(yù)采樣率的選取進行試驗。選用上述4種視頻序列作為測試對象，分別設(shè)置預(yù)采樣率從10%～30%，計算視頻幀的峰值信噪比PSNR和重構(gòu)得平均時間，測試結(jié)果如表1～表4所示。

從表1中可以看出，采用的預(yù)采樣率越高，重建效果越好，但是重建所用時間也越多，綜合圖像 PSNR以及編碼時間，本文選取預(yù)采樣率25%。

（2）變采樣率視頻壓縮

表1　預(yù)采樣率大小對重建效果與平均時間對比(Football)

表2　預(yù)采樣率大小對重建效果與平均時間對比(Foreman)

表3　預(yù)采樣率大小對重建效果與平均時間對比(News)

表4　預(yù)采樣率大小對重建效果與平均時間對比(Suzie)

視頻幀的塊大小設(shè)置為32×32，固定采樣率取45%；關(guān)于自適應(yīng)采樣率大小，通過對視頻序列進行多次試驗選擇了一組通用性較強的參數(shù)，既可以保證采樣率較低，又可以保證重構(gòu)質(zhì)量較好，3種類別的塊采樣率分別設(shè)為S1＝10%，S2＝20%，S3＝45%。針對表1～表4所列的測試序列，對固定采樣率和變采樣率分別基于壓縮感知進行視頻壓縮測試，其迭代次數(shù)及PSNR變化結(jié)果如圖2所示。

觀察圖2可知，本文提出的自適應(yīng)采樣率方法比固定采樣率處理的圖像PSNR值提高約3～4 dB，而趨于收斂的重構(gòu)迭代次數(shù)并沒有增加。

關(guān)于兩種方法處理視頻圖像所消耗的時間，以Foreman前 50幀圖像為例，使用固定采樣率方法處理所用的平均時間為 264.2 s，自適應(yīng)采樣率方法所需時間略低，約為253.4 s。這是由于自適應(yīng)變采樣率雖然增加了計算能量殘差的步驟，但是可以根據(jù)不同場景的變化程度和結(jié)構(gòu)復(fù)雜度，自適應(yīng)分配采樣率，減少了運算時間。由此可見，在重構(gòu)質(zhì)量和時間上，自適應(yīng)采樣率方法性能均較優(yōu)。

對于內(nèi)容變化較簡單的測試序列，如Foreman序列，自適應(yīng)采樣率方法可以降低采樣率，獲得較好的重構(gòu)效果。而對于內(nèi)容變化較復(fù)雜的測試序列，如 Football序列，自適應(yīng)采樣率方法可以提高采樣率，在所用時間不會大幅增加的前提下，使得重構(gòu)效果可以接受?？傊?，本文提出的自適應(yīng)采樣率方法可以根據(jù)視頻內(nèi)容與變化程度自適應(yīng)地調(diào)整采樣率，使本文方法應(yīng)用于不同視頻時可以獲得較好的重構(gòu)質(zhì)量。

圖2　固定采樣率與自適應(yīng)采樣率壓縮效果對比圖

4　結(jié)論

本文基于壓縮感知思想提出一種自適應(yīng)分配測量采樣率的視頻壓縮方法。在編碼端，選取合適的塊大小，將圖像分成不重疊的相同大小塊，按照幀間相關(guān)性對圖像塊進行分類并分配不同的采樣率。在解碼端采用全變差算法以充分利用幀間相關(guān)性，使得視頻壓縮時不需要參考幀與非參考幀，更適合于無線網(wǎng)絡(luò)的傳輸。實驗結(jié)果表明，本文提出的方法能夠在總采樣率較低的情況下，重構(gòu)出較高質(zhì)量的視頻圖像，而且重構(gòu)時間縮短。

[1]CANDES E J，ROMBERG J，TAO T.Robust uncertainty principles：exact signal reconstruction from highly incomplete frequency information[J].IEEE Transactions on Information Theory，2006，52(2)：489－509.

[2]DONOHO D L.Compressed sensing[J].IEEE Transaction on Information Theory，2006，52(4)：1289－1306.

[3]GAN L.Block compressed sensing of natural images[C]. Proceedings of the 15th International Conference on DigitalSignal Processing，Cardiff，UK，2007：403-406.

[4]VIJAYANAGAR K R，LIU Y，KIM J.Adaptive measurement rate allocation for block-based compressed sensing of depth maps[C].Image Processing(ICIP)，2014 IEEE International Conference on.IEEE，2014：1307-1311.

[5]BAI H，ZHANG M，LIU M，et al.Depth image coding using entropy-based adaptive measurement allocation[J]. Entropy，2014，16(12)：6590-6601.

[6]李然，干宗良，崔子冠，等.圖像分塊壓縮感知中的自適應(yīng)測量率設(shè)定方法[J].通信學(xué)報，2014，35(7)：77-85.

[7]張秋余，孫媛，晏燕.基于分塊自適應(yīng)壓縮感知的可逆水印算法[J].電子與信息學(xué)報，2013，35(4)：797-804.

[8]田天.基于幀間相關(guān)性的視頻壓縮感知算法[D].秦皇島：燕山大學(xué)，2013.

[9]練秋生，田天，陳書貞，等.基于變采樣率的多假設(shè)預(yù)測分塊視頻壓縮感知[J].電子與信息學(xué)報，2013，35(1)：203-208.

[10]LI C，JIANG H，ZHANG Y.Video coding using compressive sensing for wireless communications[C].IEEE Wireless Communications and Networking Conference.2011：2077-2082.

[11]王田川.壓縮感知算法改進及其在圖像和視頻編碼中的應(yīng)用[D].南京：南京郵電大學(xué)，2013.

[12]趙彥孟，宋建新.一種基于壓縮感知全變差算法的圖像去噪方法[J].電視技術(shù)，2014，38(5)：5-8.

Block compressed sensing of video based on variable sampling rates

Li Ruchun，Li Lin，Chang Liping
(School of Information and Engineering，Zhejiang University of Technology，Hangzhou 310023，China)

The current block compressed sensing of video usually uses the same measurement matrix to all image block,this method ignores the fact that the structural complexity and the movement varies from different regions in video.Therefore,an adaptive allocation of sampling rate compressed sensing method is proposed according to the distribution feature of the correlations between neighboring frames.It classified blocks into different types depending on the inter-frame correlation,and adjusted different sampling rate to different blocks,total variation algorithm was used to reconstruct the videos to make fully use of the inter-frame correlation.In order to overcome the network environment,this algorithm didn′t distinguish the reference frame and the non-reference frame,each frame was treated equally.The experimental results show that the method can reconstruct high quality video image under low sampling rate,and with the variable sampling rate measurement method,a higher reconstruction quality can be achieved for the regions containing relatively fast movement.

compressed sensing；video coding；total variation algorithm；variable sampling rates；block

TN911.73

A

10.16157/j.issn.0258-7998.2015.10.040

2013年青年科學(xué)基金項目（61304124）

2015-05-10)

李如春（1968-），女，博士，副教授，主要研究方向：微型傳感器設(shè)計、視頻信號處理等。

李林（1990-），通信作者，女，碩士研究生，主要研究方向：基于壓縮感知的視頻信號處理等，E-mail：270299417@qq.com。

常麗萍（1980-），女，博士，副教授，主要研究方向：通信與信號處理、光纖傳感技術(shù)等。

中文引用格式：李如春，李林，常麗萍.基于變采樣率壓縮感知的視頻壓縮研究[J].電子技術(shù)應(yīng)用，2015，41(10)：147-149，153.

英文引用格式：Li Ruchun，Li Lin，Chang Liping.Block compressed sensing of video based on variable sampling rates[J].Application of Electronic Technique，2015，41(10)：147-149，153.