黃 濤,熊繼平,宣利峰,趙 健
(浙江師范大學(xué) 數(shù)理與信息工程學(xué)院,浙江 金華 321004)
分布式視頻編碼[1-2]DVC(Distributed Video Coding)是多媒體視頻傳感器網(wǎng)絡(luò)[3-4]MVSN(Multimedia Video Sensor Networks)中視頻信號處理常用的一種技術(shù)。由于受到帶寬和能耗等條件的限制,為了使編碼端(多媒體視頻傳感器節(jié)點)對視頻信息的編碼復(fù)雜度降低,傳統(tǒng)的基于奈奎斯特采樣定理的視頻編碼標準并不適用于多媒體傳感器網(wǎng)絡(luò)的低成本、低能耗的要求。近年來信號與信息領(lǐng)域的研究熱點壓縮感知[5-6]CS(Compressive Sensing)技術(shù)的出現(xiàn),由于其以全新的采樣技術(shù)進行采樣,實現(xiàn)了采樣和壓縮同時進行,大大減少了采樣率,從而降低了編碼端的運算復(fù)雜度。Guillemot C[7]等人提出一種分布式視頻編碼方法來解決視頻信號的編碼問題,利用分布式視頻編碼大大降低了編碼端的運算復(fù)雜度,實現(xiàn)了編碼端的簡單、低功率的要求。但這種方法還是采用的傳統(tǒng)的奈奎斯特采樣,其采集的海量數(shù)據(jù)使得性能并不高,如果應(yīng)用到MVSN中將使得編碼復(fù)雜度極高,實用性差。周燕[8]等人提出把壓縮感知CS應(yīng)用到MVSN的視頻信息處理中,減少視頻信號稀疏分解過程的計算量和存儲量,但遺憾的是未采用DVC技術(shù),所以重構(gòu)幀的峰值信噪比(PSNR)不高,效果不佳。Pereira F[9]等人提出一種基于CS的分布式視頻編碼框架,這種方法具有兩大優(yōu)點:(1)在信號的稀疏處理上,利用每一幀對首幀的差值,得到稀疏視頻信號,再利用CS低壓縮采用率進行采樣處理,最后恢復(fù)的視頻信號效果得到改善;(2)使CS幀在低采樣率的情況下也可以良好地恢復(fù)重構(gòu)。然而其缺點也十分明顯,一旦視頻信號中場景變化較快,其重構(gòu)視頻幀的效果將大打折扣。汪瀅[10]提出了一種基于基本圖像組 GOP(Group of Picture)和壓縮感知的分布式視頻編碼,即把所有采集幀進行GOP分組,然后再對每一個GOP組分別進行處理,從而在一定程度上改善了重構(gòu)效果,具有一定的場景變換適用性,然而不足之處是分組顯得單調(diào)固定,不具備靈活變換性。針對以上問題,本文在研究總結(jié)前人所做工作的基礎(chǔ)上,提出并實現(xiàn)了一種新穎的自適應(yīng)動態(tài)圖像組分組的CS分布式視頻編碼方法,這種方法首先繼承了基本分組法的優(yōu)點,同時避免了基本分組法造成的組數(shù)固定、不靈活的缺點,通過設(shè)定門限閾值T來實現(xiàn)自適應(yīng)動態(tài)調(diào)整圖像組分組的目的。實驗仿真表明:(1)重構(gòu)后的峰值信噪比(PSNR)得到大大改善和提高,重構(gòu)效果非常良好;(2)具有場景變化的適用性。
本文首先介紹Pereira F[9]等人提出的基于差值處理的CS分布式視頻編碼方法(差值法),以及汪瀅[10]的基本圖像組和壓縮感知的分布式視頻編碼方法(基本分組法),最后提出一種自適應(yīng)分組的CS分布式視頻編碼方法(動態(tài)分組法),并與上面兩種方法對比證明所提出的動態(tài)分組法的優(yōu)勢。
圖1所示為基于差值法處理的CS分布式視頻編碼框架,在這種框架下,首先對第1幀x1標定為關(guān)鍵幀(KEY 幀),即基本層。 第 2 幀到最后一幀(x1,…,xj)標定為WZ幀,然后再對采集的視頻幀從第2幀開始,每幀都對第 1幀進行作差值處理,其產(chǎn)生的差值(Δx1,…,Δxj)也叫做增強層,同時采用CS技術(shù)對數(shù)據(jù)進行壓縮編碼處理,在恢復(fù)端對首幀基本層采用傳統(tǒng)的CS重構(gòu)技術(shù),對增強層采用聯(lián)合稀疏解碼(JSM-1)模型[11]進行重構(gòu)。最后再進行簡單疊加運算即可得到重構(gòu)視頻信號。
圖1 差值法
圖2所示為基本圖像組分組的原理及框架結(jié)構(gòu),其基本流程是:首先對原始視頻信號進行固定GOP分組,然后再對每一個GOP組分別進行處理,對每一GOP組的幀圖像的處理方法采用上面介紹的差值法進行處理,最后再對每一個GOP分組的幀信息進行合并疊加得到總體的重構(gòu)視頻信號。可以看出,用這種基本分組方法得到的每一個GOP,其所含有的視頻幀數(shù)相對固定,即每一分組的視頻幀數(shù)相等,因此還是沒有實現(xiàn)真正意義上的根據(jù)視頻場景變換的動態(tài)調(diào)整GOP分組的目的。
圖2 基本分組法
針對第1.1節(jié)基本分組法所造成的GOP組數(shù)固定、不靈活的缺點,提出了一種自適應(yīng)動態(tài)圖像分組法,簡稱為動態(tài)分組法。圖3所示為所提出的基于自適應(yīng)分組和壓縮感知的分布式視頻編碼框架圖,與基本分組方法相比,在基本分組的基礎(chǔ)上插入一個自適應(yīng)分組分離器,目的是為了真正意義上實現(xiàn)能夠根據(jù)視頻場景變換的動態(tài)調(diào)整GOP分組的目的。
圖3 動態(tài)分組法
算法1自適應(yīng)分組算法
這樣所得的每一組GOP組數(shù)由實際場景變換來決定,從而實現(xiàn)自適應(yīng)動態(tài)調(diào)整圖像分組的目的,分組后的后期處理方法和基本分組法相同,在此不再贅述。
實驗仿真基于2.79 GHz CPU,512 MB內(nèi)存的個人計算機環(huán)境下的Matlab 7.0實驗平臺。實驗的測試視頻信號為測試序列 foreman_cif.yuv[12],每幀尺寸大小 176×144,采用序列的前50幀來進行實驗,分別利用文中介紹的三種不同的方法進行仿真測試。測試中在編碼端利用CS技術(shù)進行壓縮采樣,其測量率對KEY幀采樣率取高采樣率0.7,對WZ幀取采樣率0.2進行處理,設(shè)GOP=5,解碼端重構(gòu)方法用的是梯度投影算法(GPSR),如圖4所示為foreman序列重構(gòu)后各幀峰值信噪比。
圖4 重構(gòu)后各幀峰值信噪比對比圖
對每一幀視頻信號,首先從橫向看,使用差值法隨著視頻幀數(shù)增大,PSNR值逐漸下降,效果比較差。比較基本分組法和動態(tài)分組法,(1)首先從分組上進行比較,由于設(shè)置的GOP=5,所以基本分組每一個GOP就比較固定,自始至終都以5個一組劃分開來,從而在分組上單調(diào)呆板,不具有靈活性,而所提出的動態(tài)分組法在分組上就顯得動態(tài)靈活了很多;(2)再從重構(gòu)效果(PSNR)上進行比較,雖然少數(shù)幾個點的PSNR相同外,動態(tài)分組法整體效果的PSNR值要明顯高于基本方法的整體效果的PSNR值,尤其在WZ幀上,動態(tài)分組的主要目的就是改善WZ幀的重構(gòu)效果。
差值方法模糊化了圖像的重要關(guān)鍵信息,所以重構(gòu)出來的效果就很差,foreman序列是人物表情變化 (即場景變化)比較大序列,所以差值法和基本分組方法整體重構(gòu)效果不理想,因此證明了所提出的動態(tài)分組方法具有良好的場景變化適應(yīng)性。
從主觀評價上來看,由于第30幀圖像恰好為WZ幀,比較用上面敘述的三種不同的方法對第30幀進行重構(gòu),得到的峰值信噪比PSNR值,如表1所示,可以看出所提出動態(tài)分組方法的優(yōu)勢,其PSNR遠遠大于前兩種。再比較圖像的紋理視覺效果,如圖5所示。
表1 第30幀圖像的PSNR比較
圖5 foreman序列第30幀重構(gòu)后的效果
從圖5中可以看出,(d)幀圖像的圖像紋理均比(b)、(c)好。 首先與(b)比較,可以發(fā)現(xiàn)(b)圖像中效果特別差,里面的關(guān)鍵人物幾乎不見了,這樣就失去了圖像的重要信息了;再與(c)比較,發(fā)現(xiàn)(c)圖像中人物邊緣出現(xiàn)白斑,由于人物是不斷運動的,具有動態(tài)特征,而基本分組并不具備這種動態(tài)特性,所以最后重構(gòu)的效果會比較差;從(d)中可以看出采用本文所提出的基于自適應(yīng)分組方法所重構(gòu)的視頻幀(d)圖像的效果良好,人物也清晰可見,邊緣紋理也比較理想。同樣測試hall序列等也有類似的效果。
利用本文提出的基于自適應(yīng)分組與壓縮感知的分布式視頻編碼方法,重構(gòu)后的視頻幀整體效果良好,峰值信噪比大大改善,能夠適用于視頻場景變化劇烈的場合。門限閾值的選擇是本文自適應(yīng)算法的關(guān)鍵,本文中采用的是簡單但行之有效的求列向量均值的方法設(shè)置門限閾值,下一步的研究方向可以針對具體的應(yīng)用場景在自適應(yīng)算法復(fù)雜性和重構(gòu)效率之間權(quán)衡,選擇其他智能算法來優(yōu)化閾值,進而達到更完善的分組目的。
[1]GIROD B, AARON A, RANE S.Distributed video coding[J].Proceedings of the IEEE Special Issue on Advances in Video Coding and Delivery, 2005, 93(1):71-83.
[2]王尊亮,李學(xué)俊.分布式視頻編碼技術(shù)研究進展[J].計算機工程與設(shè)計, 2010, 31(3): 31-34.
[3]魯琴.無線多媒體傳感器網(wǎng)絡(luò)多節(jié)點協(xié)同圖像采集與壓縮技術(shù)研究[D].北京:國防科學(xué)技術(shù)大學(xué),2009.
[4]http://www.eefocus.com/article/07-12/4155121112071731.htm l.
[5]GUILLEMOT C.Distributed monoview and multiview video coding: basics, problems and recent advances[J].IEEE Signal Processing Magazine, 2007, 24(5): 67-76.
[6]DONOHO D.Compressed sensing[J].IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306.
[7]CANDéS E, WAKIN M. A sensing paradigm that goes against the common knowledge in data acquisition[J].IEEE Signal Processing Magazine, 2008, 25(2): 21-30.
[8]周燕,王東,鐘勇.壓縮傳感在無線視頻監(jiān)控中的應(yīng)用研究[J].計算機應(yīng)用研究, 2010,27(6): 73-75.
[9]PEREIRA F.Selecting the most promising application scenarios[J].Signal Processing: Image Communication,2008, 23(9):339-352.
[10]汪瀅.壓縮感知在視頻編碼中的應(yīng)用研究[D].北京:北京郵電大學(xué),2010.
[11]蔡述庭,王欽若.視頻傳感網(wǎng)中魯棒多視角分布式視頻編碼[J].計算機工程,2009,35(24):219-221.
[12]http://trace.eas.asu.edu/yuv/