崔金鵬,周 洋,殷海兵,黃曉峰,陸 宇
(杭州電子科技大學通信工程學院,浙江杭州 310018)
目前三維(Three Dimension,3D)視頻日漸獲得人們的關注與喜愛,為此國際標準化組織推出了高性能3D視頻編碼標準(3D High Efficiency Video Coding,3DHEVC)來對3D視頻數(shù)據(jù)進行高效壓縮.然而壓縮后的3D數(shù)據(jù)包在無線信道下傳輸時易發(fā)生數(shù)據(jù)包丟失,進而造成解碼出錯[1].錯誤隱藏技術是利用碼流幀間和幀內的冗余性來重建丟失幀信息,但由于傳統(tǒng)二維視頻編碼主要基于IPPP預測結構,其相應的錯誤隱藏方法對于基于分層B幀預測結構(Hierarchical B Prediction,HBP)的3D視頻適用性較差.
根據(jù)編碼中有無深度信息,3D視頻數(shù)據(jù)格式主要分為無深度信息的多視點視頻與多視點視頻加深度序列兩類.針對多(或雙)視點視頻傳輸中的整幀丟失,文獻[2,3]利用相鄰視點運動矢量(Motion Vector,MV)的相似性來重建當前視點的丟失幀,文獻[4]利用MV外推技術來恢復丟失幀.但文獻[2,3]是基于傳統(tǒng)IPPP預測結構,未面向HBP預測結構的多視點視頻.文獻[4]中的運動矢量外推技術更適用于IPPP編碼結構,在雙向分層編碼的HBP結構下難取得良好的效果.針對多視點視頻中部分宏塊(Macro Block,MB)丟失的錯誤隱藏,主要方法有宏塊分類修復法[5]、數(shù)據(jù)隱藏[6]、貝葉斯濾波法[7].但文獻[5~7]只能解決單幀圖像中的部分塊出錯并未面向整幀丟失的問題.此外,文獻[2~7]都是基于H.264/AVC(Advanced Video Coding)編碼標準壓縮后的視頻流進行錯誤隱藏,未針對目前流行的H.265/HEVC壓縮視頻流.
多視點視頻加深度的錯誤隱藏除了利用視點內時空相關性與視點間相關性外,還可采用深度信息來提升重建質量.其中,深度序列的時域平滑度[8]、視點間兩對應塊間的深度值差異[9]以及重建塊與周邊塊之間的深度差[10]等常被用于丟失塊的MV和視差矢量(Disparity Vector,DV)恢復上.面向視頻幀整幀丟失,Tai等[11]采用高精度運動估計和深度圖信息外推來重建丟失幀.Khattak等[12]采用一致性模型來對中間視點整幀丟失進行錯誤隱藏.Lin等[13]利用深度差對參考像素進行加權來恢復丟失幀.此外,針對深度圖出錯問題,近來常用方法有基于模糊推理的自適應錯誤隱藏法[14]、結合輪廓曲線擬合的三步錯誤隱藏法[15]、采用像素聚類的空洞隱藏法[16]、繪制驅動的多模式隱藏法[17].但是,文獻[8~16]是針對H.264/AVC標準壓縮后的視頻流進行錯誤隱藏,且大多數(shù)碼流都是基于IPPP編碼結構的,尚未針對基于HBP編碼結構的3D-HEVC標準展開研究.文獻[14~17]都是面向深度圖丟失的隱藏算法,無法有效地重建丟失的彩色圖.
當3D視頻在傳輸中發(fā)生彩色圖整幀丟失時,首先由于沒有相鄰塊作為參考信息,無法利用基于空域的鄰塊信息來恢復丟失塊,因此面向部分宏塊丟失的錯誤隱藏算法不能直接應用于整幀丟失中;其次,如果依靠對應的深度圖信息進行重建,由于彩色圖整幀丟失不能準確地提取深度圖與彩色圖之間的相關性,導致其恢復效果不夠理想;最后由于3D-HEVC編碼標準在編碼端采用雙向分層預測的HBP結構,解碼端的錯誤隱藏方法也需基于HBP結構來設計.
針對上述存在的問題,本文基于3D-HEVC編碼標準,提出了一種結合立體視覺顯著性的彩色圖整幀丟失錯誤隱藏方法.不同于先前算法,本文算法是首個基于3D-HEVC編碼標準的多視點視頻加深度格式的3D視頻彩色圖整幀丟失錯誤隱藏算法;同時,結合了3D視頻的視覺顯著性,根據(jù)整幀丟失圖像各編碼單元的顯著性等級不同進行分區(qū)錯誤隱藏.
首先提取丟失圖像的分塊顯著性圖,然后根據(jù)各丟失區(qū)域的視覺顯著性等級不同采用不同的錯誤隱藏方法.圖1所示為分塊顯著性圖提取總體流程框圖,先分別求出運動顯著性圖、深度顯著圖和深度邊緣顯著圖,然后將運動顯著圖和深度顯著圖相互融合獲取運動深度顯著圖,最后將塊化后的運動深度顯著圖與塊化后深度邊緣顯著圖相互融合,獲取最終的塊化顯著等級圖.
圖1 分塊顯著性圖提取流程框圖
運動顯著性圖能反映視頻序列中物體的運動顯著性[18].將相鄰可用視點作為參考視點,在時域上獲取當前丟失幀F(xiàn)n的前向參考幀F(xiàn)n,t-k和后向參考幀F(xiàn)n,t+k,并在視點域上獲取當前時刻的相鄰視點參考幀F(xiàn)n-1,t,求得丟失幀中像素p的運動顯著性Sm(p)如下:
其中下標n表示視點位置,t表示時域位置,pn,t-k,pn,t+k和pn-1,t分別表示在Fn,t-k,F(xiàn)n,t+k和Fn-1,t與p同位置的像素值.
通常來說,深度圖中像素值大的前景區(qū)域對人眼產生的視覺刺激大,像素值小的背景區(qū)域產生的視覺刺激小.但深度像素值并不能直接決定物體的顯著程度,有時距離相機較近的物體的顯著程度不一定高,比如地面.物體的顯著程度還與深度值變化快慢有關,圖像中深度值變化大的區(qū)域一般是顯著程度高的區(qū)域[19].
考慮到深度圖只包含一路反映拍攝景物距離遠近的灰度信息,而彩色圖攜帶包含豐富紋理信息的Y/U/V三路通道的信息,深度圖編碼后的比特流要遠小于彩色圖的編碼比特流,因此在無線傳輸中深度圖發(fā)生數(shù)據(jù)包丟失的概率也低.當彩色圖發(fā)生整幀丟失時,可假設其對應的深度圖未丟失.深度圖顯著性求取分兩步,先對深度圖進行加權預處理:
其中,z是深度圖中與p同位置的像素點,dz表示深度圖中z點像素的深度值表示深度圖中z點所在行的平均像素值,d'z表示處理后z點的深度值.
然后再結合深度圖的深度值對比度來提取顯著性,基于區(qū)域對比度[20]的像素點z的深度顯著性Sd(z)計算公式如下:
其中,C(r)表示預處理后深度圖中像素值為r的像素點出現(xiàn)頻率,即C(r)=m/(W×H),m表示深度值為r的像素點個數(shù),W、H分別為視頻圖像的寬度和高度.
物體的邊緣區(qū)域是前景與背景的分界,其深度差較大,往往更受人眼的關注[21].提取深度邊緣顯著性是采用Sobel梯度算子來計算深度圖各像素點的邊緣梯度.設輸入深度圖為Id,將它分別與Sobel橫向、縱向算子作卷積:
其中,Gx和Gy分別代表水平梯度值和垂直梯度值.深度圖中每個像素點z的梯度幅值G(z)為
考慮到處于背景區(qū)域的物體邊緣和深度值變化平緩的邊緣并不顯著,需要對各像素點的邊緣梯度幅值進行閾值化處理.將邊緣梯度幅值大于閾值t1的深度像素點所對應的像素值設為255,其余設為0,得到像素z處的邊緣顯著性值Se(z)為
其中,二值化閾值t1是綜合6種不同測試序列的平均實驗結果獲得,在本文實驗中t1值設定為120.
先將深度顯著圖與運動顯著圖相互融合得到運動深度顯著性圖,再將塊化后的運動深度顯著性圖與塊化后的深度邊緣顯著性圖相融合得到最終顯著性圖.
目前融合算法主要有最大值融合和乘性融合兩種方法.實驗發(fā)現(xiàn)采用最大值融合后的顯著性圖中像素值大的像素點比較稀疏,這會導致塊化過程中閾值選取存在誤差,而乘性融合后的顯著圖的像素點十分密集,不易受閾值選取誤差的影響,因此本算法采用乘性融合法.將運動顯著性圖中各像素值與深度顯著性圖中對應同位置像素值相乘,并做二值化處理(乘積大于閾值t2的像素值設為128,其余設為0),得到運動深度融合顯著性圖Smd,其融合后像素z處的顯著性值為
對于運動深度融合顯著性圖Smd中每個尺寸為64×64的編碼單元塊(CTU),如果有超過t3個像素值為128的像素點,則將該CTU內全部像素點的像素值都設為128,得到塊化后的顯著性圖SmdB.
同理,對深度邊緣顯著性圖Se進行塊化處理.對于Se中的各個CTU,如果有超過t3個像素值為255的像素點,則該CTU的像素值都設為255,得到塊化SeB.在這里,閾值t2和t3是在3D-HEVC標準組織推薦的6種多視點測試序列上,通過實驗結果比較后將t2和t3值分別設為50和10.
融合SmdB和SeB得到最終的塊化顯著性圖SB:
然后將SB中像素值為255的區(qū)域設為高顯著等級區(qū)域,像素值為0的區(qū)域設為低顯著等級區(qū)域,像素值為128的區(qū)域設為中顯著等級區(qū)域.各顯著圖計算結果見圖2.
圖2 各維顯著性圖與塊化后的顯著性圖
圖2(f)所示為最終顯著性圖,圖中灰色區(qū)域是中顯著等級區(qū)域,該區(qū)域沒有顯著物體的邊緣,屬于人眼較為關注區(qū)域,白色區(qū)域是人眼最關注的高顯著等級區(qū)域,即深度邊緣顯著性圖與融合顯著性圖重合的區(qū)域,剩下的黑色區(qū)域是人眼不關注的低顯著等級區(qū)域.
低顯著等級區(qū)域一般由靜止塊或背景塊構成,可采用傳統(tǒng)的時域像素拷貝法便能達到良好的重建效果,因此本算法選取當前視點后向參考幀的同位置像素來填補處于低顯著等級區(qū)域的丟失塊.
中等顯著等級區(qū)域中的丟失塊多為前景塊或運動塊.考慮到運動塊的運動特征,本算法對均勻運動塊和非均勻運動塊,分別采用時域搜索像素法和視點間搜索像素法進行填補.先將丟失幀中每個尺寸為64×64的丟失塊以樹形編碼結構的方式劃分為4個32×32的子塊,下文僅以一個丟失子塊U為例進行說明.
3.2.1 時域搜索像素填補
如果丟失塊U的運動是均勻的,那么對U設定一個時域搜索值,經過子像素精度搜索總能在當前視點前向參考幀和后向參考幀中找到同尺寸的匹配塊Uf和Ub.通過計算Uf和Ub內像素的平均絕對差值的最小值來確定最優(yōu)搜索值:
其中(x,y)表示丟失塊內像素的坐標,xs和ys分別為水平和垂直方向的搜索值,通過實驗設定xs和ys的范圍為[-16,16],(xs0,ys0)為最優(yōu)搜索值,N×N表示U的尺寸.
求得兩塊內像素的平均絕對差值的最小值為D,將D和運動閾值t4進行比較.若D<t4,則認為對應的塊Uf和塊Ub相似.其中,閾值t4取值由實驗得到,當t4為3時獲得的平均實驗結果相對最優(yōu).
根據(jù)時域相關性,丟失塊U與Ub和Uf也相似,因此丟失塊U中的像素值可由兩塊像素的加權平均值填補:
3.2.2 視點間搜索像素填補
若求得的最小差值D≥t4,則搜索到的Ub與Uf不相似,說明丟失塊U的運動是不均勻的.本算法利用視點間相關性在視點域搜索匹配塊進行隱藏.圖3所示為非均勻運動示意圖,對Uf設定一個視點間搜索值df,在參考視點R的前向參考幀中搜索匹配塊UR,f,同理對Ub設定搜索值db,在后向參考幀中尋找匹配塊UR,b;然后根據(jù)相對最優(yōu)的視點間搜索值(視差值)計算出丟失塊U的視點間匹配塊UR.
圖3 非均勻運動示意圖
由于平行排列的多視點相機主要是水平視差,只需在水平方向搜索,因此視點間搜索范圍可適當擴大,df和db的取值范圍可設為[-64,64].計算塊Uf和塊UR,f內像素值的平均絕對差值Df:
求得前向視點間最優(yōu)搜索值df0和Df的最小值Df0,即:
同理,計算Ub與UR,b的像素值平均絕對差值Db:
記錄最優(yōu)后向搜索值db0和最小值Db0:
若Db0≥Df0,采用df0做視差補償?shù)玫絹G失塊U的視點間匹配塊UR,并用UR中的像素值填充丟失塊U:
否則,采用db0作視差補償?shù)玫狡ヅ鋲KUR,并填充丟失塊U:
高顯著等級區(qū)域是人眼最關注的前景物體或者運動物體的邊緣區(qū)域,若單純采用視點間搜素像素填補,當參考視點前后參考幀的搜索塊與當前視點前后參考幀的搜索塊相似度不高時,產生的誤差會對最終重建幀的主觀質量造成較大影響.因此本算法在視點間兩塊相似時,采用視點間搜索法進行重建;當視點間兩塊不相似時,進一步提出了一種新的MV選擇方法進行運動補償重建丟失塊.
3.3.1 視點間搜索像素填補
若Df0和Db0都小于視點間塊相似閾值t5時,則認為視點間兩匹配塊相似,否則兩塊不相似,其中t5的取值由實驗比較獲得,t5取值為2.當視點間匹配塊Uf與UR,f相似,Ub與UR,b相似,那么塊U與塊UR也相似;則采用節(jié)3.2.2中的視點間搜索像素填補法重建U中的像素.
3.3.2 新型MV運動補償
若視點間匹配塊不相似,先計算丟失塊U的視點間對應塊URC的初始坐標:
其中x0、xR,f0、xR,b0和xR,0分別為塊U、UR,f、UR,b和URC左上角像素的水平坐標.
令(xR,0,yR,0)為塊URC的左上角像素坐標,而URC必隸屬于參考視點當前幀中64×64(CTU大?。┑木幋a單元塊C.設塊C左上角像素坐標為(xn,yn),獲取C中16個4×4塊(HEVC最小處理單元)的MV并構建候選運動矢量集,記為u1,u2,…,u16,如圖4所示(藍色區(qū)域表示塊URC,灰色區(qū)域表示編碼單元塊C,標號1至16的小塊為所選4×4塊).將32×32大小的塊URC劃分為4個16×16的子塊,記為塊a,b,c和d.雖然存在yR,0=yn和yR,0=yn+32兩種情況,但兩種情況的處理方法相似,下面僅以yR,0=yn為例說明.
圖4 URC與C關系示意圖
首先,當xR,0=xn時,根據(jù)HEVC中運動矢量的選取方法,塊a、b、c、d應分別采用2、4、10、12號塊的運動矢量u2、u4、u10、u12進行重建;當xR,0=xn+32時,采取6、8、14、16號塊中的運動矢量u6、u8、u14、u16進行重建.考慮到URC是通過估計得到,其位置會在塊C中水平移動,還需分四種情況進行運動補償:
(1)0<xR,0-xn<16:塊a、b、c、d分別選用2、5、10、13號塊的運動矢量u2、u5、u10、u13進行運動補償.
(2)16≤xR,0-xn<32:塊a、b、c、d分別選用4、7、12、15號塊中的運動矢量u4、u7、u12、u15進行運動補償.
(3)32≤xR,0-xn<48:塊a、b、c、d分別選用6號、14號的運動矢量u6、u14和右相鄰C塊中1號、9號位置塊的運動矢量u1、u9進行運動補償.
(4)48≤xR,0-xn<64:塊a、b、c、d分別選用8號、16號塊中的運動矢量u8、u6,以及右相鄰的C塊中3號、11號塊的運動矢量u3、u11進行補償.
其中,運動補償采用3D-HEVC中基于亞像素插值的運動補償法,對URC的四個子塊分別進行運動補償后得到UR,并用UR中的像素值填補丟失塊U.
為了客觀評價算法性能,本文算法被嵌入至HTM16.1平臺,測試數(shù)據(jù)集為Lovebird1、PoznanStreet、BookArrival、Newspaper、Kendo和Balloons這六種 不 同類型的MVD視頻序列,其中PoznanStreet的分辨率為1920×1088 px,其余序列為1024×768 px.主機配置為:Intel Corei5-3407,3.20 GHz處理器,4.00 GB內存.實驗環(huán)境設置如下:(1)各測試序列采用HBP預測結構進行編碼,視頻編碼組(Group Of Picture,GOP)長度設置為8;(2)量化參數(shù)(Quantization Parameter,QP)設置為25、28和30;編碼幀率為25 f/s,每個序列共測試了97幀;(3)實驗對比采用逐幀比較的方法.在實驗中,考慮到I幀是每個GOP的起始幀,也是視頻編碼中的關鍵幀,在傳輸過程中采用高等級不等錯保護,因此假設I幀不出錯,非關鍵幀發(fā)生整幀丟失.
基于HBP編碼結構的3D-HEVC視頻流整幀丟失錯誤隱藏算法尚未見報道,本文選用了四種典型的3D視頻錯誤隱藏算法進行性能比較.(1)Jeon[22]:將Jeon等提出的基于HEVC標準的整幀丟失錯誤隱藏算法擴展到多視點視頻錯誤隱藏中,把參考視點的MV映射到當前視點圖像塊上;(2)Song[23]:將Song等提出的基于H.264標準的多視點錯誤隱藏方法延伸到HEVC標準下的整幀丟失錯誤隱藏中,設計時域搜索、視點間搜索、多假設錯誤隱藏三種方法,最后根據(jù)模式選擇最優(yōu)準則自適應恢復;(3)Liu[24]:一種結合3D-warping和運動矢量共享的整幀丟失錯誤隱藏方法,將該算法從IPPP編碼結構移植到HBP編碼結構;(4)Lin[13]:一種結合深度差異信息的彩色幀整幀丟失錯誤隱藏算法,將它移植到3D-HEVC平臺上進行比較.
本文采用PSNR和SSIM作為各算法重建圖像客觀質量的評估標準.表1統(tǒng)計了QP值分別為25、28和30時,對各測試序列使用不同的錯誤隱藏算法后重建B幀圖像的平均PSNR值.圖5所示為不同算法對PoznanStreet第4視點序列重建PSNR值的逐幀比較折線圖.
表1 經不同錯誤隱藏方法后的PSNR值
圖5 PoznanStreet第4視點某GOP中間幀丟失逐幀折線圖
從表1和圖5可以看出,本文算法對不同序列丟失幀的重建效果都有明顯提升:在QP=25時,綜合6個測試序列,本文算法與Jeon算法、Song算法、Liu算法和Lin算法相比,平均PSNR值能分別提高1.41 dB、2.37 dB、0.99 dB和1.57 dB.對于運動較為劇烈的多視點序列,如PoznanStreet,本文方法相比以上四種算法平均PSNR值 能 分 別 提 升2.26 dB、3.63 dB、1.77 dB和2.67 dB;對于運動不劇烈的Balloons和Newspaper序列,本文方法相比Jeon算法、Song算法、Liu算法和Lin算法,平均PSNR值能分別提高0.29和0.60 dB、0.66和1.04 dB、0.21和0.28 dB、0.43和0.63 dB.
在QP=28時,綜合6個測試序列,本文算法與Jeon算法、Song算法、Liu算法和Lin算法相比,平均PSNR值能分別提高1.32 dB、2.23 dB、0.95 dB和1.49 dB.在QP=30時,綜合6個測試序列,本文算法與Jeon算法、Song算法、Liu算法和Lin算法相比,平均PSNR值能分別提高1.26 dB、2.08 dB、0.89 dB和1.41 dB.
同時,重建SSIM值也有著較為顯著的提升(如表2所示).綜合6個測試序列,在QP=25時,本文算法與Jeon算法、Song算法、Liu算法和Lin算法相比,平均SSIM值分別能提高0.0075、0.0122、0.0053和0.0080.在QP=28時,本文算法與上述四種算法相比,平均SSIM值能分別提高0.0071、0.0118、0.0052和0.0077.在QP=30時,本文算法與Jeon算法、Song算法、Liu算法和Lin算法相比,平均SSIM值分別提高0.0068、0.0112、0.0049和0.0073.
表2 經不同錯誤隱藏方法后的SSIM值
本文算法相比對比算法重建效果提升明顯.這是由于Jeon算法是將參考視點當前幀信息映射到當前視點丟失幀中進行重建,但在HBP編碼結構下運動物體的運動信息估計不夠準確,映射關系會存在誤差.Song算法由于在HBP編碼結構下視頻的播放順序與解碼順序不同,時域上前后參考幀有時相隔較遠或在視點域上搜索誤差過大,導致難以搜索到匹配的像素值,其重建效果也不理想.Liu所提算法采用3D-warping與運動矢量共享相結合的方法,但有時通過共享獲取的運動矢量并不準確,其恢復結果存在一定的失真.Lin算法是面向IPPP預測結構的,由于新標準下的HBP編碼結構是采用分層雙向預測的,連續(xù)幀的運動矢量并不相似,因此在HBP編碼結構下不能取得良好的效果.本文算法相比于Jeon算法,它認為運動物體及其邊緣具有高視覺顯著性,更加注重運動物體邊緣的恢復;相比于Song算法,本算法優(yōu)化了時域和視點域的像素搜索,并針對兩種搜索方法都不適用的情況,提出了新的MV補償方法;相比于Liu算法和Lin算法,本算法不使用3D-warping也獲得了良好的重建質量.
在差錯傳播方面上,本算法的性能也優(yōu)于其他三種對比算法.圖6所示為GOP中間幀丟失的差錯傳播圖,Liu算法基于3D-warping,參考幀的誤差對整個GOP的影響相對較小.本文算法不僅利用了參考視點當前時刻的視頻幀,而且用到了參考視點前后向參考幀,重建圖像質量最佳,因此整個GOP受到的差錯影響最小.
圖6 PoznanStreet第4視點GOP中間幀丟失差錯傳播圖
圖7所示PoznanStreet序列第4視點第11幀整幀丟失時通過不同錯誤隱藏算法得到的重建圖及其部分區(qū)域的細節(jié)放大圖.Jeon算法重建結果及其區(qū)域放大如圖7(b)和7(g)所示,對于時域跨度較大的運動物體,時域參考幀中視點間映射關系不一定是當前幀的視點映射關系,某些運動區(qū)域會被映射入誤匹配信息,導致部分重建區(qū)域嚴重塊失真.Song算法是通過前后參考幀的匹配像素SAD值搜索重建像素,但時域搜索的準確性受到丟失幀與參考幀的參考距離約束,跨度越大搜索所得的像素值越不準確,導致重建效果不理想,如圖7(c)和7(h)所示.Liu算法對車尾后的背景區(qū)域恢復效果較差,這是由于車尾部分是3D-warping產生的空洞區(qū)域,采用MV共享法進行重建,MV獲取不準確導致車尾后的背景區(qū)域被車尾區(qū)域填補.Lin算法是基于IPPP結構實現(xiàn)的,移植到HBP結構中后重建的丟失塊運動矢量并不準確,導致有些運動區(qū)域重建模糊.本文算法車尾和輪胎的邊緣區(qū)采用視點像素搜索以及基于視點域的MV補償,重建主觀質量優(yōu)于其他四種算法,同時圖像其它區(qū)域也取得了較佳的重建效果,如圖7(f)和7(k)所示.
圖7 PoznanStreet視點4第11幀各算法重建結果及其放大圖
圖8表示當Newspaper序列發(fā)生整幀丟失時采用不同算法的重建圖.該幀運動狀態(tài)較為靜止,主要比較人手與杯子形成的區(qū)域.本文算法重建效果優(yōu)于其他算法,如圖8(b)~(f)所示,Jeon算法中手與杯子采用了相鄰塊的運動矢量從而造成了手指的部分重疊,Song算法中杯子附近人衣處的像素采用了杯子像素與衣服像素的加權值,Liu算法由于遮擋關系在warping過程中會產生細微的偽影,其手與杯子部分比較模糊,Lin算法由于其運動矢量估計并不準確,其移動的手和杯子部分比較模糊.
圖8 Newspaper第4視點第33幀各算法重建效果圖
本文通過各測試序列在不同算法下的平均解碼時間來評價各算法的復雜度,計算方法如下:
其中N為實驗一共加入的丟失幀數(shù)目,Ti表示解碼第i個丟失幀所需要的時間.測試結果如表3所示,Liu算法和Lin算法都使用了3D-warping,繪制時間比普通解碼時間長;Jeon算法對每個圖像塊都采取視點映射方法填補,因此相比Song算法,Jeon算法的解碼時間稍長;本文算法與Song的解碼時間相近,但是綜合考慮重建圖像的主觀質量與客觀質量,本文算法的性能是最優(yōu)的.
表3 各算法重建單幀平均所需的解碼時間 s
針對MVD視頻流在傳輸中發(fā)生彩色圖整幀丟失的問題,提出了一種基于3D-HEVC編碼標準的視頻整幀丟失錯誤隱藏算法.該算法在隱藏過程中結合了人類視覺的感知特性,將丟失幀各區(qū)域劃分為不同的顯著等級,進而提出相適應的隱藏方法進行各區(qū)域重建,實驗結果表明本文算法取得了良好的性能,可應用于基于3D-HEVC編碼標準的MVD視頻流錯誤隱藏中.