辛亞坤

(上海海事大學(xué) 信息工程學(xué)院,上海 201306)

?

HEVC中Merge模式候選決策的探究和優(yōu)化

辛亞坤

(上海海事大學(xué) 信息工程學(xué)院,上海 201306)

針對(duì)Merge模式中存在的運(yùn)算時(shí)間長(zhǎng)且計(jì)算復(fù)雜度高的問(wèn)題，通過(guò)對(duì)候選PU的合并過(guò)程進(jìn)行研究，提出了優(yōu)化的候選決策算法。基于時(shí)域候選和空域候選決策算法在不同情況下對(duì)當(dāng)前塊的影響程度不同，自適應(yīng)地改變候選決策列表來(lái)減少計(jì)算復(fù)雜度和提高預(yù)測(cè)精度。與標(biāo)準(zhǔn)算法相比，該算法在視頻序列的PSNR值略有增高、碼率減少的情況下，編碼時(shí)間得到有效減少。而且該算法在提高HEVC編碼率失真性能的同時(shí)有效降低了計(jì)算復(fù)雜度。

高效視頻編碼；Merge模式；自適應(yīng)候選；幀間預(yù)測(cè)

0　引言

近年來(lái)，隨著高清、超高清視頻應(yīng)用逐步走進(jìn)人們的視野，對(duì)網(wǎng)絡(luò)帶寬提出了更高的要求。因此，國(guó)際電聯(lián)(ITU-T)、國(guó)際標(biāo)準(zhǔn)化組織(ISO)、國(guó)際電工委員會(huì)(IEC)聯(lián)合發(fā)起聯(lián)合視頻編碼小組(Joint Collaborative Team on Video Coding，JCT-VC) 制定下一代的視頻編碼標(biāo)準(zhǔn)HEVC (High Efficiency Video Coding)。此標(biāo)準(zhǔn)相比H.264/AVC視頻壓縮標(biāo)準(zhǔn)，在相同的視覺(jué)質(zhì)量下能節(jié)約50%的比特率[1]。

在大多數(shù)圖像和視頻中，一個(gè)運(yùn)動(dòng)物體可能會(huì)覆蓋多個(gè)運(yùn)動(dòng)補(bǔ)償塊，因此空間域相鄰塊的運(yùn)動(dòng)向量具有較強(qiáng)的相關(guān)性。若使用相鄰已編碼塊對(duì)當(dāng)前塊運(yùn)動(dòng)矢量(Motion Vector，MV)進(jìn)行預(yù)測(cè)，將二者差值進(jìn)行編碼，則會(huì)大幅度節(jié)省編碼MV所需的比特?cái)?shù)。同時(shí)，由于物體運(yùn)動(dòng)具有連續(xù)性，因此相鄰圖像同一位置像素塊的MV也具有一定相關(guān)性。H.265/HEVC在MV的預(yù)測(cè)方面提出了Merge技術(shù)[2]和AMVP技術(shù)[3]。

Merge技術(shù)使用了空域和時(shí)域MV預(yù)測(cè)的思想，通過(guò)建立MV列表，選取性能最優(yōu)的一個(gè)作為當(dāng)前預(yù)測(cè)單元(Prediction Unit，PU)預(yù)測(cè)MV。Merge可以看成一種編碼模式，在該模式下，當(dāng)前PU的MV直接由空域(或時(shí)域)上鄰近的PU預(yù)測(cè)得到，不存在運(yùn)動(dòng)矢量殘差MVD。

1　Merge模式

Merge模式會(huì)為當(dāng)前PU建立一個(gè)MV候選列表[4]，列表中存在5個(gè)候選MV(及其對(duì)應(yīng)的參考圖像)。通過(guò)遍歷這5個(gè)候選MV，并進(jìn)行率失真代價(jià)的計(jì)算，最終選取率失真代價(jià)最小的一個(gè)作為該Merge模式的最優(yōu)MV。若編碼端和解碼端按照相同的方式建立該候選列表，則編碼器只需要傳輸最優(yōu)MV在候選列表中的索引即可，這樣大幅度節(jié)省了運(yùn)動(dòng)信息的編碼比特?cái)?shù)。Merge模式建立的MV候選列表中包括了空域和時(shí)域兩種情況，以下將分別介紹。

1.1空域候選列表的建立

圖1　空域MV候選列表建立圖

空域MV候選列表的建立如圖1所示，圖中A1表示當(dāng)前PU左側(cè)最下方的PU，B1表示當(dāng)前PU上方最右側(cè)的PU，B0和A0分別表示當(dāng)前PU右上方和左下方距離最近的PU，B2表示當(dāng)前PU左上方距離最近的PU。H.265/HEVC標(biāo)準(zhǔn)規(guī)定，空域候選最多提供4個(gè)候選MV，即最多使用上述5個(gè)侯選塊中4個(gè)候選塊的運(yùn)動(dòng)信息，列表按照A1→B1→B0→A0→(B2)的順序建立，其中B2為替補(bǔ)，即當(dāng)A1、B1、B0、A0中一個(gè)或多個(gè)不存在時(shí)，則需要使用B2的運(yùn)動(dòng)信息。

1.2時(shí)域候選列表的建立

時(shí)域MV候選列表的建立利用了當(dāng)前PU在鄰近塊已編碼圖像中對(duì)應(yīng)位置PU[5-7](即同位PU)的運(yùn)動(dòng)信息。H.265/HEVC規(guī)定，時(shí)域最多只提供1個(gè)候選MV，如圖2所示，圖中H位置同位PU的MV經(jīng)伸縮得到。若H位置同位PU不可用，則用C3位置的同位PU進(jìn)行替換。

圖2　時(shí)域候選列表同位PU位置

需要注意的是，若當(dāng)前MV候選列表中候選MV的個(gè)數(shù)達(dá)不到5個(gè)時(shí)，需要使用(0,0)進(jìn)行填補(bǔ)以達(dá)到規(guī)定的數(shù)目。

2　Merge候選決策的探究

通過(guò)對(duì)Merge模式候選決策的過(guò)程研究[8]發(fā)現(xiàn)：

(1)在建立候選列表時(shí)需要進(jìn)行至少5次率失真計(jì)算來(lái)選取率失真代價(jià)最小的一個(gè)。由于A1和A0、B1和B0是相鄰塊，所以往往包含著共同的運(yùn)動(dòng)信息，如果在含有相同信息的情況下進(jìn)行率失真計(jì)算，會(huì)增加計(jì)算復(fù)雜度和降低預(yù)測(cè)精度。

(2)率失真計(jì)算過(guò)程中，有多個(gè)重要因素需要考慮，其中編碼參數(shù)和運(yùn)動(dòng)矢量傳輸?shù)骄幋a端所需要的比特?cái)?shù)，這兩個(gè)因素尤其重要。HEVC中編碼Merge_idx時(shí)采用的是一元截?cái)啻a，Merge模式中候選順序是按照先空域后時(shí)域的方法，來(lái)分配截?cái)啻a的位數(shù)，這樣時(shí)域在進(jìn)行率失真計(jì)算時(shí)得到的結(jié)果會(huì)受到影響，從而在與空域的率失真結(jié)果進(jìn)行比較時(shí)處于劣勢(shì)。

(3)通過(guò)對(duì)PU在不同尺寸中出現(xiàn)的概率的研究結(jié)果發(fā)現(xiàn)，A1、B1和時(shí)域候選T出現(xiàn)的概率最高并且所占之和高達(dá)90%以上。出現(xiàn)這種現(xiàn)象的原因是由于A1、B1所占的bin位數(shù)較低，因而在率失真計(jì)算中往往能作為最優(yōu)結(jié)果。另一方面，在A1和A0、B1和B0帶有相同運(yùn)動(dòng)信息時(shí)，A0和B0將無(wú)法出現(xiàn)在最優(yōu)結(jié)果的候選中。

對(duì)于T候選在bin位數(shù)較高的情況下，依然有較高的出現(xiàn)率，這是因?yàn)橐韵聝蓚€(gè)原因：(1)Merge模式中的時(shí)域預(yù)測(cè)主要運(yùn)用了自然界物體勻速運(yùn)動(dòng)的思想，間隔數(shù)幅圖像的兩幅圖像之間的運(yùn)動(dòng)向量一旦確定，則期間每一幅圖像的運(yùn)動(dòng)向量預(yù)測(cè)值都能利用當(dāng)前圖像與兩端參考圖像的距離計(jì)算得出。因而，對(duì)于很多運(yùn)動(dòng)緩慢的視頻序列，時(shí)域相關(guān)性往往強(qiáng)于空域相關(guān)性。正因?yàn)槿绱?，雖然時(shí)域候選T的bin位數(shù)在較高的情況下，依然在率失真計(jì)算中占有了優(yōu)勢(shì)。(2)當(dāng)編碼單元(Code Unit，CU)劃分方式為N×2N，NL×2N或nR×2N時(shí)，第二個(gè)PU的候選列表中不能存在A1的運(yùn)動(dòng)信息。這是由于第二個(gè)PU一旦使用了A1(即第一個(gè)PU)的信息，則會(huì)使第一個(gè)PU和第二個(gè)PU的MV一致，這與2N×2N劃分方式無(wú)異。同理，對(duì)于CU劃分方式為2N×N、2N×nU或2N×nD，第二個(gè)PU的候選列表中也不能存在B1的運(yùn)動(dòng)信息。基于以上兩種情況，時(shí)域候選T在bin位數(shù)較高的情況下，依然有了較高的出現(xiàn)率。

(4)在H.265/HEVC標(biāo)準(zhǔn)中，對(duì)于時(shí)域候選T，若H位置同位PU不可用，則用C3位置的同位PU進(jìn)行替換。但研究發(fā)現(xiàn)，這樣用C3位置替換后，降低了T的預(yù)測(cè)準(zhǔn)確度。因此可以利用當(dāng)前塊下方相鄰塊和右方的相鄰塊來(lái)提高時(shí)域候選T的預(yù)測(cè)精度。

3　優(yōu)化后的Merge候選決策

本文對(duì)Merge模式的候選決策進(jìn)行了以下優(yōu)化和改進(jìn)：

(1)首先判斷當(dāng)前幀相對(duì)于前一幀是否發(fā)生了劇烈運(yùn)動(dòng)，具體方法采用基于灰度的算法[9-10]。在場(chǎng)景切換幀位置，圖像像素灰度的絕對(duì)差比前一幀圖像要大很多，灰度值平均絕對(duì)差公式：

式中DMVD(n)為第n幀的灰度平均絕對(duì)值差，fn(i,j)和fn-1(i,j)分別為第n幀與第n-1幀(i,j)位置的亮度分量值，M和N分別為圖像的寬和高。DMVD(n)的取值范圍為0～255，經(jīng)過(guò)大量實(shí)驗(yàn)發(fā)現(xiàn)，DMVD(n)>40時(shí)，當(dāng)前幀相較于前一幀發(fā)生了劇烈運(yùn)動(dòng)。因此，若DMVD(n)>40，則判定第n幀發(fā)生了劇烈運(yùn)動(dòng)。

(2)若當(dāng)前幀沒(méi)有發(fā)生劇烈運(yùn)動(dòng)，則說(shuō)明當(dāng)前幀的時(shí)域相關(guān)性大于空域相關(guān)性。更改Merge候選順序，將時(shí)域候選T放到空域候選之前，這樣時(shí)域候選T就能分配到較小的bin位數(shù)，從而使得時(shí)域相關(guān)性在率失真計(jì)算時(shí)能夠得到充分應(yīng)用。并且減少空域候選的個(gè)數(shù)，將空域候選個(gè)數(shù)由4個(gè)減少為2個(gè)，并且按照A1→B1→B0→A0→(B2)的順序進(jìn)行選擇，直到數(shù)目達(dá)到兩個(gè)為止。這樣做的目的是，由于時(shí)域相關(guān)性大于空域相關(guān)性并且A0和B0的出現(xiàn)概率較低，因而減少數(shù)目后不會(huì)影響預(yù)測(cè)精度反而會(huì)大大降低編碼時(shí)間。若當(dāng)前MV候選列表中候選MV的個(gè)數(shù)達(dá)不到3個(gè)，需要使用(0,0)進(jìn)行填補(bǔ)以達(dá)到規(guī)定的數(shù)目。

(3)若當(dāng)前幀發(fā)生了劇烈運(yùn)動(dòng)，則可以判斷空域相關(guān)性大于時(shí)域相關(guān)性。此時(shí)，按照H.265/HEVC標(biāo)準(zhǔn)規(guī)定，空域提供4個(gè)候選MV，以A1→B1→B0→A0→(B2)的順序建立，其中B2為補(bǔ)位，即當(dāng)A1、B1、 B0、A0中有一個(gè)或多個(gè)不存在時(shí)，則需要用B2的運(yùn)動(dòng)信息填補(bǔ)。若當(dāng)前MV候選列表中候選MV的個(gè)數(shù)達(dá)不到5個(gè)時(shí)，需要使用(0,0)進(jìn)行填補(bǔ)以達(dá)到規(guī)定的數(shù)目。

(4)若時(shí)域候選中右下方編碼塊H不可用時(shí)，則檢測(cè)參考幀中與當(dāng)前幀位置相同的下方塊和右方塊以及時(shí)域候選中心位置C3。若下方塊和右方塊都存在，則取它們?nèi)齻€(gè)的平均值作為時(shí)域候選項(xiàng)。若右方塊和下方塊只存在一個(gè)，則取兩個(gè)的平均值。若右方塊和下方塊都不存在，則直接使用C3。這樣做既充分利用了右方塊和下方塊的運(yùn)動(dòng)信息，又提高了時(shí)域候選的利用率，使預(yù)測(cè)精度得到了提高，同時(shí)也提高了視頻的再現(xiàn)質(zhì)量也即提高了信噪比。

4　實(shí)驗(yàn)結(jié)果及分析

仿真實(shí)驗(yàn)采用的是最新的HM16.0代碼，實(shí)驗(yàn)平臺(tái)是操作系統(tǒng)為Windows 7的計(jì)算機(jī)，內(nèi)存為4 GB。實(shí)驗(yàn)結(jié)果如表1所示?？梢钥闯?，本文優(yōu)化后的Merge候選決策算法與高效視頻編碼標(biāo)準(zhǔn)之間的對(duì)比結(jié)果。

表1　合并候選決策算法與標(biāo)準(zhǔn)對(duì)比結(jié)果

從表1中可以發(fā)現(xiàn)，優(yōu)化后的Merge候選決策算法與原標(biāo)準(zhǔn)的結(jié)果相比，編碼時(shí)間得到了有效的減少；因?yàn)閮?yōu)化后的Merge候選決策的預(yù)測(cè)精度得到了提高，使得Merge在與AMVP競(jìng)爭(zhēng)時(shí)，PU使用Merge模式的概率得到了進(jìn)一步提高，從而降低了比特率，降低程度從0.33%～5.16%不等；由于增加了Merge模式的候選決策中改進(jìn)的第(4)點(diǎn)，即充分利用了右方塊和下方塊的運(yùn)動(dòng)信息，提高了時(shí)域候選的利用率，也使預(yù)測(cè)精度得到了提高，同時(shí)還提高了視頻的再現(xiàn)質(zhì)量以及信噪比。峰值信噪比(Power Signal-to-Noise Ratio，PSNR)的增加從0.006 6～0.815 dB不等。

本文算法首先使用目前最常用且最簡(jiǎn)單的基于灰度的算法來(lái)判斷當(dāng)前幀是否發(fā)生了劇烈運(yùn)動(dòng)，根據(jù)當(dāng)前幀相比于前一幀是否發(fā)生了劇烈運(yùn)動(dòng)來(lái)更加合理地優(yōu)化Merge候選決策的順序。優(yōu)化后的Merge候選決策順序更加合理，而且使得時(shí)域相關(guān)性得到了充分應(yīng)用，從而提高了Merge模式的預(yù)測(cè)精度，增加了Merge模式在與AMVP模式的競(jìng)爭(zhēng)中的優(yōu)勢(shì)，提高了Merge模式的利用率。由于Merge模式是一種編碼模式，在該模式下不存在MVD；而AMVP是一種MV預(yù)測(cè)技術(shù)，編碼器只需要對(duì)實(shí)際MV與預(yù)測(cè)MV的差值進(jìn)行編碼，是存在MVD的。提高了Merge模式的利用率后，相比于使用AMVP技術(shù)，會(huì)大幅節(jié)省運(yùn)動(dòng)信息的編碼比特?cái)?shù)，從而降低了比特率。

另一方面，通過(guò)調(diào)整時(shí)域候選的位置，分配給T較小的bin位數(shù)，使得在時(shí)域相關(guān)性大于空域相關(guān)性時(shí)，能夠充分利用時(shí)域候選，從而使得預(yù)測(cè)結(jié)果更加準(zhǔn)確且消耗較少的比特?cái)?shù)。

本文通過(guò)減少候選模式的個(gè)數(shù)和改變最優(yōu)的候選順序來(lái)減少計(jì)算復(fù)雜度，通過(guò)優(yōu)化標(biāo)準(zhǔn)中的Merge候選決策，來(lái)降低計(jì)算復(fù)雜度和提高預(yù)測(cè)精度，這是一個(gè)全新的方向和視角。

5　結(jié)束語(yǔ)

本文首先分析了標(biāo)準(zhǔn)中Merge模式的候選決策過(guò)程，然后針對(duì)原標(biāo)準(zhǔn)中存在的計(jì)算復(fù)雜度高的問(wèn)題，提出了一種優(yōu)化的Merge候選決策算法。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的算法在信噪比略有升高的情況下，可使比特率降低，編碼時(shí)間減少。

[1] SULLIVAN G J, OHM J, HAN W J, et al． Overview of the high efficiency video coding(HEVC) standard[J]．IEEE Transactions on Circuits and Systems for Video Technology， 2012， 22(12):1649-1668．

[2] 彭金虎，岑峰. HEVC幀間運(yùn)動(dòng)歸并技術(shù)的研究[D].上海：同濟(jì)大學(xué)，2013.

[3] LI B, LI H Q, LI L, et al. Rate control by R-lambda model for HEVC[C].Proc. the 11th JCTVC Meeting， 2012:3841-3854.

[4] 朱秀昌, 李欣, 陳杰. 新一代視頻編碼標(biāo)準(zhǔn)——HEVC[J].南京郵電大學(xué)學(xué)報(bào)：自然科學(xué)版, 2013, 33(3):1-11.

[5] WIEGAND T.Draft ITU-T recommendation and final draft international standard of joint video specification[Z].ITU-T Rec. H.264|ISO/IEC 14496-10 AVC, 2003:1224-1229.

[6] 萬(wàn)帥，楊付正.新一代高效視頻編碼H.265/HEVC:原理、標(biāo)準(zhǔn)與實(shí)現(xiàn)[M].北京：電子工業(yè)出版社,2014.

[7] 黃朝明. 下一代視頻壓縮標(biāo)準(zhǔn)HEVC的模式選擇快速算法研究[D].成都：西南交通大學(xué), 2012.

[8] 張娜.下一代視頻編碼標(biāo)準(zhǔn)中MERGE模式相關(guān)技術(shù)的研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2012.

[9] 史久根，許林，張超. 一種場(chǎng)景自適應(yīng)的H.264幀層碼率控制算法[J].計(jì)算機(jī)應(yīng)用研究，2010，27(5)：1968-1969.

[10] 胡乾乾，沈禮權(quán)，趙振軍．基于場(chǎng)景切換的 HEVC 碼率控制算法[J]．電視技術(shù)，2015，39(5)：1-3，25．

Research and optimization of Merge mode candidate decision in HEVC

Xin Yakun

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

The main problem of current coding standards that exist in Merge mode is too much computation time and high computation complexity. Through studing of the consolidation process of the candidate PU, this article proposes a optimization algorithm of candidate decision.The algorithm is based on the distribution features of different circumstances of time and spatial candidates,adaptively changes candidates decision list to reduce the computational complexity and improve the prediction accuracy.Experimental results show that, compared with the standard algorithms, the PSNR of the video sequence is slightly incresed,the code rate is reduced, the proposed method can effectively reduce encoding time. And the algorithm can improve HEVC coding rate distortion performance and also can effectively reduce the computation complexity.

HEVC; Merge mode; adaptive candidate; inter-prediction

TP37

A

10.19358/j.issn.1674- 7720.2016.15.021

2016-04-01)

辛亞坤(1989-)，男，碩士研究生，主要研究方向：視頻壓縮與通信。

引用格式：辛亞坤. HEVC中Merge模式候選決策的探究和優(yōu)化[J].微型機(jī)與應(yīng)用，2016,35(15)：72-74.