雷海衛(wèi)，劉文怡，王安紅

(1. 中北大學(xué) 儀器科學(xué)與動(dòng)態(tài)測(cè)試教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030051；2. 太原科技大學(xué) 電子信息工程學(xué)院，山西 太原 030024)

?

3D-HEVC中深度圖編碼技術(shù)研究進(jìn)展

雷海衛(wèi)1，劉文怡1，王安紅2

(1. 中北大學(xué) 儀器科學(xué)與動(dòng)態(tài)測(cè)試教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030051；2. 太原科技大學(xué) 電子信息工程學(xué)院，山西 太原 030024)

3D-HEVC是為了滿足3D視頻和自由視點(diǎn)視頻的高效編碼而最新制定的視頻編碼標(biāo)準(zhǔn)，它要求同時(shí)編碼幾個(gè)視點(diǎn)的紋理視頻和深度圖。完全采用傳統(tǒng)的技術(shù)來編碼深度圖會(huì)使得深度圖內(nèi)部銳利邊界處產(chǎn)生偽影效應(yīng)，為此，一些新的針對(duì)于深度圖的編碼工具被開發(fā)。詳細(xì)介紹了這些編碼工具，同時(shí)介紹了編碼深度圖時(shí)所使用的率失真優(yōu)化方法。

3D-HEVC；深度圖編碼；率失真優(yōu)化

1　3D-HEVC簡介

HEVC(High-efficiency Video Coding)作為最新一代的視頻編碼標(biāo)準(zhǔn)由運(yùn)動(dòng)圖像專家組(Moving Picture Experts Group，MPEG)和國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部(International Telecommunication Union Telecommunication Standardization Sector，ITU-T)的視頻編碼專家組共同建立的視頻編碼聯(lián)合協(xié)作小組(Joint Collaborative Team on Video Coding，JCT-VC)在2013年制定完成。由于其高效性(相比AVC/H.264，性能翻倍)被廣泛關(guān)注。隨后，為了滿足3D視頻和自由視點(diǎn)視頻的高效編碼需求，3D視頻編碼協(xié)作小組(Joint Collaborative Team on 3D-Video， JCT-VC)成立，負(fù)責(zé)制定一個(gè)新的視頻編碼標(biāo)準(zhǔn)——3D-HEVC[1-2]。

3D-HEVC作為HEVC的擴(kuò)展，用來編碼深度增強(qiáng)的3D視頻，格式可以是立體視頻、多視點(diǎn)視頻以及多視點(diǎn)視頻加深度。這種靈活的配置結(jié)構(gòu)可以適用于不同的解碼器，也可以滿足在不同顯示設(shè)備上的顯示需求。3D-HEVC的系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1　3D-HEVC的系統(tǒng)結(jié)構(gòu)

通常，編碼器端需要對(duì)幾個(gè)視點(diǎn)(包括基本視點(diǎn)和依賴視點(diǎn))的紋理視頻以及對(duì)應(yīng)的深度圖進(jìn)行編碼，產(chǎn)生既包含紋理又包含深度信息的碼流，相機(jī)參數(shù)也包含在碼流中。解碼器端如果是一個(gè)3D視頻解碼器，那么編碼的紋理視頻、對(duì)應(yīng)的深度圖以及相機(jī)參數(shù)將被解碼器重建出來。然后，通過采用基于深度圖繪制的技術(shù)[3]合成出多個(gè)虛擬視點(diǎn)。原有視點(diǎn)和虛擬視點(diǎn)用于在一個(gè)自由立體顯示設(shè)備上顯示。如果3D視頻解碼器連接的是一個(gè)立體顯示設(shè)備，那么一個(gè)立體視頻對(duì)將被產(chǎn)生用于在立體顯示設(shè)備上顯示。如果3D視頻解碼器連接的是一個(gè)傳統(tǒng)的2D顯示設(shè)備。那么一個(gè)原有視點(diǎn)或虛擬視點(diǎn)將用于在傳統(tǒng)2D設(shè)備上顯示。

除了3D視頻解碼器，接收端的解碼器也可以是一個(gè)傳統(tǒng)的2D視頻解碼器。這時(shí)，解碼器前面需要額外連接一個(gè)碼流抽取器，負(fù)責(zé)只抽取基本視點(diǎn)的碼流，抽取出的碼流經(jīng)2D解碼器解碼后用于在傳統(tǒng)的2D顯示設(shè)備上顯示。

編碼器端編碼的多個(gè)視點(diǎn)也可以配置為包含一個(gè)立體視頻對(duì)的結(jié)構(gòu)。此時(shí)，立體視頻對(duì)子碼流可以經(jīng)碼流抽取器從復(fù)合的3D視頻碼流中抽取出來。抽取的碼流被立體視頻解碼器解碼后用于在立體顯示設(shè)備上顯示。

如前所述，3D-HEVC中解碼端重建的深度圖和對(duì)應(yīng)的紋理視頻可以通過基于深度圖繪制的技術(shù)來合成中間的虛擬視點(diǎn)。此外，深度圖中的深度還可以為紋理視頻的編碼提供輔助的信息?；谶@些信息，新的用于改善紋理圖編碼的工具被開發(fā)，比如面向深度的基于鄰居塊的視差矢量(Depth-oriented Neighboring-block-based Disparity Vector， DoNBDV)[4]和基于深度的塊劃分(Depth-based Block Partitioning， DBBP)[5]，這些基于深度的編碼工具的使用有主于提高紋理圖的編碼性能。因此，如何高效且高質(zhì)量地編碼深度圖顯得尤為重要。

2　深度圖編碼

深度圖的編碼基本沿用了HEVC中的編碼技術(shù)，包括基于塊的編碼結(jié)構(gòu)以及相關(guān)的編碼工具。然而，深度圖具有有別于紋理視頻的特征，它內(nèi)部包含了大塊的平坦區(qū)域和一些銳利的邊界。因此，使用HEVC對(duì)深度圖編碼，解碼后的深度圖內(nèi)部邊界處會(huì)產(chǎn)生偽影效應(yīng)，而這些偽影會(huì)使合成的虛擬視點(diǎn)產(chǎn)生幾何失真。為了改善對(duì)深度圖的編碼，HEVC中原有的一些編碼工具被禁用，比如循環(huán)濾波(In-loop Filtering)模塊。一些編碼工具被修改，比如運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(Motion-compensated Prediction)和視差補(bǔ)償預(yù)測(cè)(Disparity-compensated Prediction)過程中將不再進(jìn)行插值操作，使運(yùn)動(dòng)矢量的預(yù)測(cè)值不再保持1/4像素精度而是整像素精度。另外，還增加了一些新的深度圖編碼工具。比如深度圖建模模式(Depth Modelling Mode)[6]、簡化的深度圖編碼(Simplified Depth Coding)[7]、深度查找表(Depth Lookup Table)[7]等。

2.1深度圖建模模式

為了更好地編碼深度圖內(nèi)部銳利的邊界區(qū)域，引入了深度圖建模模式，它被看做是新增加的幀內(nèi)預(yù)測(cè)模式。最初的深度圖建模模式包含了DMM1，DMM2，DMM3和DMM4四種模式，目前保留使用的是DMM1(Explicit Wedgelet Signalling)和DMM4(Inter-component-predicted Contour Partitioning)。深度圖建模模式將要編碼的深度塊分割為兩個(gè)非矩形的區(qū)域，每個(gè)區(qū)域用一個(gè)常量值來表示。這樣的模型需要包含兩個(gè)信息，一個(gè)是分割信息，指明每一個(gè)樣本點(diǎn)屬于哪個(gè)區(qū)域；另一個(gè)是常量值信息，指明區(qū)域中的所有樣本點(diǎn)的深度值。由于分割區(qū)域的方式不同，因此存在兩種不同的區(qū)域分割，即楔形分割和輪廓形分割。圖2描述了這兩種分割，其中左側(cè)代表了連續(xù)的信號(hào)空間，右側(cè)代表了離散的信號(hào)空間。

圖2　塊的楔形分割(上)和輪廓形分割(下)

輪廓形的區(qū)域分割要參考同一視點(diǎn)的紋理圖中同位的亮度分量塊。它采用了一種閾值的方法，亮度塊4個(gè)角的樣本點(diǎn)的均值作為閾值，依據(jù)亮度塊中每個(gè)樣本點(diǎn)值大于還是小于這個(gè)閾值分割出P1和P2兩個(gè)區(qū)域。最后，把亮度塊的區(qū)域分割結(jié)果看作是深度塊的區(qū)域分割。

楔形的區(qū)域分割采用了完全不同的機(jī)制，楔形的所有分割方案將根據(jù)塊的大小事先被計(jì)算出來并編號(hào)。在定義了起點(diǎn)和終點(diǎn)之后，這些分割方案被分成2類和6個(gè)方向。如圖3所示，左側(cè)是相鄰邊的情況，右側(cè)是對(duì)邊的情況。4個(gè)相鄰邊的情況分別表示4個(gè)不同的方向，編號(hào)為0～3；2個(gè)對(duì)邊的情況代表另外2個(gè)方向，編號(hào)為4和5。此外，角點(diǎn)也被定義。對(duì)于相鄰邊的情況，角點(diǎn)被定義為4個(gè)角中離起點(diǎn)和終點(diǎn)距離最近的那個(gè)點(diǎn)。對(duì)于對(duì)邊的情況，角點(diǎn)分別被定義為左下和右下角的點(diǎn)。起點(diǎn)和終點(diǎn)的位置也遵循一定的規(guī)則：相鄰邊的情況，起點(diǎn)和終點(diǎn)的位置必須是偶數(shù)；對(duì)邊的情況，起點(diǎn)的位置必須是偶數(shù)，終點(diǎn)位置沒有要求。

圖3　楔形分割方案：鄰邊情況(左)對(duì)邊情況(右)

經(jīng)過上述的定義后，不同的方向以及不同的起點(diǎn)和終點(diǎn)位置均代表了一種不同的分割方案。這些所有的分割方案被存儲(chǔ)在一個(gè)列表中，當(dāng)對(duì)某個(gè)深度塊進(jìn)行編碼時(shí)，將從列表中選取一個(gè)最佳匹配的分割方案作為當(dāng)前深度塊的分割。

除了對(duì)當(dāng)前深度塊進(jìn)行區(qū)域分割外，還要為每個(gè)區(qū)域選取一個(gè)最佳的常量值來近似此區(qū)域的深度值。取區(qū)域內(nèi)所有樣本點(diǎn)的均值作為常量值是一個(gè)不錯(cuò)的選擇，但這個(gè)方法不是基于視點(diǎn)合成優(yōu)化的方法。因此，一個(gè)包含粗選和提煉兩步的搜索算法被開發(fā)，用于為每個(gè)區(qū)域?qū)ふ易罴训某Ａ恐怠?/p>

2.2簡化的深度編碼

簡化的深度編碼也稱為分段的DC編碼(Segment-wise DC Coding， SDC)，是用于深度圖的一種可供選擇的殘差編碼方法。如果使用SDC，當(dāng)前編碼的編碼單元被劃分為一個(gè)或兩個(gè)分割區(qū)域，每個(gè)區(qū)域中一個(gè)單一的殘差值被編碼。由于跳過了變換和量化過程而直接在像素域進(jìn)行編碼，偽影效應(yīng)在一定程度上被降低。另外，要求使用SDC編碼的編碼單元所對(duì)應(yīng)的預(yù)測(cè)單元(Predicted Unit，PU)的劃分形式必須是2N×2N。SDC分為幀內(nèi)的分段DC編碼(Intra-SDC)和幀間的分段DC編碼(Inter-SDC)。

2.2.1Intra-SDC

當(dāng)采用Intra-SDC方式時(shí)，當(dāng)前編碼單元可以采用HEVC中的幀內(nèi)預(yù)測(cè)模式或DMM模式進(jìn)行預(yù)測(cè)。如果采用的是傳統(tǒng)幀內(nèi)預(yù)測(cè)模式，整個(gè)編碼單元被看作一個(gè)分割；如果采用的是DMM模式，整個(gè)編碼單元被看做兩個(gè)分割區(qū)域。

以采用傳統(tǒng)預(yù)測(cè)模式為例來說明SDC的過程，編碼時(shí)，首先經(jīng)過預(yù)測(cè)得到當(dāng)前預(yù)測(cè)單元的預(yù)測(cè)塊，取預(yù)測(cè)塊中4個(gè)角樣本點(diǎn)的平均值作為當(dāng)前預(yù)測(cè)單元的預(yù)測(cè)值。再取當(dāng)前預(yù)測(cè)單元中所有樣本點(diǎn)的均值與預(yù)測(cè)值的差作為殘差。最后只編碼和傳輸這個(gè)單一的殘差值。解碼時(shí)，仍然是先通過預(yù)測(cè)得到預(yù)測(cè)塊，在預(yù)測(cè)塊的基礎(chǔ)上加上這個(gè)殘差值即得到重建的編碼塊。

2.2.2Inter-SDC

Inter-SDC與Intra-SDC類似，只是在預(yù)測(cè)時(shí)采用的是幀間預(yù)測(cè)方式。

2.3分段預(yù)測(cè)SDC

分段預(yù)測(cè)SDC[8]是SDC的擴(kuò)展，與深度圖建模模式類似，它會(huì)把當(dāng)前的編碼塊分割成兩個(gè)區(qū)域，每個(gè)區(qū)域用一個(gè)單一值來表示。分段預(yù)測(cè)SDC的預(yù)測(cè)過程可以采用幀內(nèi)預(yù)測(cè)，也可以采用幀間預(yù)測(cè)，其整個(gè)過程通常包含以下3個(gè)步驟。

1) 預(yù)測(cè)：通過幀內(nèi)或幀間預(yù)測(cè)方式得到當(dāng)前編碼塊的預(yù)測(cè)塊。

2) 區(qū)域劃分：根據(jù)閾值T把預(yù)測(cè)塊分為兩個(gè)區(qū)域，其中T為預(yù)測(cè)塊中4個(gè)角樣本點(diǎn)的平均值。

3) 為每個(gè)區(qū)域計(jì)算一個(gè)單一值：單一值被定義為V=E+O，其中E是預(yù)測(cè)塊中某個(gè)區(qū)域的估計(jì)值，可以通過計(jì)算此區(qū)域內(nèi)所有樣本點(diǎn)的平均值得到。O是對(duì)應(yīng)的偏移量，可以通過計(jì)算編碼塊中屬于此區(qū)域的樣本點(diǎn)的均值再減去E得到，O是需要編碼和發(fā)送到解碼端的數(shù)據(jù)。

2.4深度查找表

深度圖中樣本點(diǎn)的深度值是所有可用深度值(用8位表示深度，則深度值的范圍為0～255)的一個(gè)子集，因?yàn)樯疃葓D在采集時(shí)被強(qiáng)量化了。依據(jù)這個(gè)事實(shí)，通過使用深度查找表[7]可以進(jìn)一步減小編碼深度圖時(shí)所使用的比特?cái)?shù)目。深度查找表建立了深度值與其對(duì)應(yīng)的索引之間的一一對(duì)應(yīng)關(guān)系。為了構(gòu)建深度查找表，編碼器需要先從即將編碼的深度圖序列中讀取一定數(shù)量的幀，通過掃描幀中的樣本點(diǎn)來獲得深度圖中的深度值。

深度查找表用D(·)表示，索引查找表用I(·)表示，深度映射表用M(·)表示，Dt為t時(shí)刻的深度圖，深度查找表構(gòu)建過程的偽代碼如下：

1.Initialization

index counteri=0

2.Process each sample positionpinDtfor multiple time instancest：

i=i+1

以簡化的深度編碼方式為例來說明深度查找表的使用過程。在使用深度查找表的情況下，當(dāng)前編碼塊所有樣本點(diǎn)的均值(dorig)和預(yù)測(cè)值(dpred)的差將不再作為殘差被編碼，而是根據(jù)各自的深度值dorig和dpred在索引表中查找出各自的索引，兩個(gè)索引的差iresi被編碼，如式(1)所示

(1)

(2)

(3)

最終，每個(gè)樣本點(diǎn)的重建值Px,y^由式(4)計(jì)算得到

(4)

式中：Px，y表示位置(x，y)處樣本點(diǎn)的預(yù)測(cè)值。

2.5單一深度幀內(nèi)模式

觀察發(fā)現(xiàn)深度圖中包含大量的平坦區(qū)域，且區(qū)域中的樣本點(diǎn)具有幾乎相同的深度值。單一深度模式(Single Depth Intra Mode)[9]被設(shè)計(jì)用來編碼這些平坦區(qū)域，也就是說單一深度模式僅使用一個(gè)深度值來表示當(dāng)前編碼單元(Coding Unit， CU)。這個(gè)深度值會(huì)從當(dāng)前編碼單元相鄰的樣本點(diǎn)中選取。如圖4所示，位置An/2和Bn/2處的樣本點(diǎn)被選為深度值的候選，同時(shí)被放入到樣本點(diǎn)候選列表。候選的索引被編碼用來指明采用哪一個(gè)樣本點(diǎn)的值來填充當(dāng)前編碼單元。如果當(dāng)前編碼單元采用了單一深度模式編碼，將不再處理殘差信號(hào)。

圖4　被選為候選的樣本點(diǎn)

3　深度圖編碼的率失真優(yōu)化

由于深度圖主要用來合成虛擬視點(diǎn)，而不會(huì)被直接觀看。因此，完全以深度圖自身的失真作為深度圖編碼質(zhì)量的度量標(biāo)準(zhǔn)將不再合適。深度圖編碼的率失真優(yōu)化過程應(yīng)同時(shí)考慮深度圖自身的失真以及合成視點(diǎn)的失真。為了測(cè)量合成視點(diǎn)的失真情況，兩個(gè)新的度量標(biāo)準(zhǔn)被設(shè)計(jì)，它們分別是合成視點(diǎn)失真變化(Synthesized View Distortion Change，SVDC)[10]和視點(diǎn)合成失真(View Synthesis Distortion，VSD)[11]。

3.1合成視點(diǎn)失真變化

合成視點(diǎn)失真變化定義為兩次的合成視點(diǎn)與參考視點(diǎn)的失真之差，如式(5)所示

(5)

圖5　合成視點(diǎn)失真變化的原理圖

3.2視點(diǎn)合成失真

為了降低率失真優(yōu)化的計(jì)算復(fù)雜度，另一個(gè)描述合成視點(diǎn)失真的度量標(biāo)準(zhǔn)被定義，即視點(diǎn)合成失真。它基于深度圖的失真不是線性影響合成視點(diǎn)的失真，而是隨相應(yīng)的紋理圖的變化而變化。如式(6)所示

(7)

式中：f表示焦距；L表示當(dāng)前視點(diǎn)和合成視點(diǎn)的基線距離；Znear和Zfar分別表示場(chǎng)景的最近和最遠(yuǎn)深度值。

4　小結(jié)

本文對(duì)3D-HEVC新增的深度圖編碼工具以及率失真優(yōu)化方法進(jìn)行了總結(jié)，這些工具的使用能在一定程度上改善深度圖的編碼性能。然而，針對(duì)如何高效編碼深度圖的研究工作遠(yuǎn)沒有結(jié)束。另外，過高的編碼復(fù)雜度是需要考慮的另一個(gè)問題，它制約著編碼的實(shí)時(shí)性處理。

[1]SULLIVAN G J，BOYCE J M，YING C，et al. Standardized extensions of High Efficiency Video Coding (HEVC)[J]. IEEE journal of selected topics in signal processing，2013，7(6)：1001-1016.

[2]田恬，姜秀華，王彩虹.新一代基于HEVC的3D視頻編碼技術(shù)[J].電視技術(shù)，2014，38(11)：5-8.

[3]FEHN C. Depth-image-based rendering(DIBR)，compression and transmission for a new approach on 3D-TV[C]//Proc. Stereoscopic Displays and Virtual Reality Systems XI. San Jose，CA，United States：SPIE，2004：93-104.

[5]CHANG Y L，WU C L，TSAI Y P， et al. CE1.h：depth-oriented neighboring block disparity vector (DoNBDV) with virtual depth retrieval，JCT3V-C0131[S].2013.

[6]MERKLE P，BARTNIK C，MULLER K，et al. 3D video：depth coding based on inter-component prediction of block partitions[C]//Proc. Picture Coding Symposium (PCS). Krakow，Poland：IEEE，2012：149-152.

[7]FABIAN J. 3D-CE6.h：simplified depth coding with an optional depth lookup table，JCT3V-B0036[S].2012.

[8]ZHANG K，AN J C，ZHANG X G，et al. Segmental prediction for Inter-SDC in 3D-HEVC，JCT3V-I0075[S].2014.

[9]CHEN Y W，LIN J L，HUANG Y W，et al. Single depth intra mode for 3D-HEVC， JCT3V-H0087[S].2014.

[10]TECH G，SCHWARZ H，MULLER K，et al. 3D video coding using the synthesized view distortion change[C]//Proc. Picture Coding Symposium (PCS). Krakow，Poland：IEEE，2012：25-28.

[11]BYUNG T O，KWAN-JUNG O. View synthesis distortion estimation for AVC- and HEVC-compatible 3-D video coding[J]. IEEE transactions on circuits and systems for video technology，2014，24(6)：1006-1015.

責(zé)任編輯：時(shí)雯

Advances in encoding depth map in 3D-HEVC

LEI Haiwei1，LIU Wenyi1，WANG Anhong2

(1.KeyLaboratoryofInstrumentationScience&DynamicMeasurement，MinistryofEducation，NorthUniversityofChina，Taiyuan030051，China；2.SchoolofElectronicInformationEngineering，TaiyuanUniversityofScienceandTechnology，Taiyuan030024，China)

3D-HEVC is a newly developed video coding standard to efficiently encode the 3D video and free view video， which requires simultaneous coding of texture video and the corresponding depth map. Encoding the depth map by using the traditional techniques would produce artifacts at the sharp boundaries，therefore，some new depth map coding tools have been developed. This paper details these coding tools， also introduces the rate distortion optimization methods used in encoding the depth map.

3D-HEVC；depth map coding；rate distortion optimization (RDO)

TN919.8

ADOI：10.16280/j.videoe.2016.07.004

國家基金委重大國際(地區(qū))合作研究項(xiàng)目(61210006)；國家自然科學(xué)基金項(xiàng)目(61272262)

2015-12-07

文獻(xiàn)引用格式：雷海衛(wèi)，劉文怡，王安紅.3D-HEVC中深度圖編碼技術(shù)研究進(jìn)展[J].電視技術(shù)，2016，40(7)：15-19.

LEI H W，LIU W Y，WANG A H.Advances in encoding depth map in 3D-HEVC[J].Video engineering，2016,40(7)：15-19.