楊 靜，孫 煜

（上海海事大學信息與工程學院，上海201306）

1 概述

Merge模式基于四叉樹的圖像編碼方式，可以將多個具有相似運動信息且相鄰的預測單元（Prediction Unit，PU）塊合并為同一區(qū)域，并使其具有相同的運動信息。在這種情況下，編碼器不需要為每個幀間預測塊單獨傳輸各自的運動信息，比如，運動矢量、參考索引、預測方向，只需為整個區(qū)域傳遞一次運動信息即可，大大提升了編碼效率。

在H．264／AVC中，在幀間預測過程中采用了Direct模式和Skip模式，目的在于盡可能減少傳遞信息［1－3］。從概念上看，高效視頻編碼（High Efficiency Video Coding，HEVC）中的 Merge模式和 H．264／AVC中的direct模式是類似的，但它們之間有2個重要區(qū)別：（1）Merge模式可以構建一個候選列表，即運動矢量競爭機制，它會制定一個運動矢量候選集，并通過率失真優(yōu)化（Rate Distortion Optimization，RDO）準則判斷各個候選，然后從若干個中選取其一，并通過索引方式傳送到編碼端；（2）定義了參考圖像列表和索引，而 Direct模式假定具有默認值［4－5］。

本文研究的HEVC中使用了Merge模式來獲取運動信息，而不是自適應運動矢量預測（Adaptive Motion Vector Prediction，AMVP）選擇機制，以此進一步增加Merge模式的利用率。

2 Merge模式

在HEVC中，對于每個正在進行幀間編碼的PU，編碼器主要使用以下2種方法：

（1）用運動矢量估計來編碼運動矢量差和參考幀；

（2）使用Merge模式，為當前PU創(chuàng)建一個周圍已經(jīng)編碼PU的列表。編碼器根據(jù)率失真結果，從候選列表中選擇最佳候選，此時當前PU的運動信息直接復制候選的運動信息即可。

在HEVC中，最大運動矢量候選數(shù)默認為5，可能的候選包括空間相鄰候選、時間候選和生成的候選。Merge的時間和空間預測候選列表由以下元素構成：L（A1），A（B1），RA（B0），BL（A0），LA（B2），TRb，Tc［6－7］，如圖1所示。

圖1 候選位置示意圖

Merge模式先檢查空域候選位置A1，B1，B0，A0，判斷4個空域候選是否可用（是否為幀內(nèi)模式）并且是否存在冗余信息，這里主要指的是2種冗余：（1）如果用于當前PU的候選位置指的是同一個CU中的第一個PU，則該位置可以被排除，這主要是因為PU合并后相當于一個未劃分成預測分割的CU；（2）包含完全相同的運動信息。去除冗余候選后，只有當有效的空域候選數(shù)少于4的時候，B2位置才可以被檢驗。對于時域候選TRb，其位于時域參考幀中與當前塊相同位置下PU的右下方。如果處在參考圖像對應PU之外的右下角位置是可用的，那么使用該候選，否則使用處于中心位置的TC作為時域候選［8－9］。

在默認情況下，Merge模式預測候選的最大數(shù)量為5，若為P條帶，此時若時間域候選集數(shù)加上空間域候選集個數(shù)仍小于5，則直接增加0歸并候選，直到候選集個數(shù)等于5為止，此時結束候選集的選擇過程。若為B條帶，用于列表0（list0）和列表1（list1）的額外合并候選會通過預定義的順序來選擇2個候選生成。排除冗余后，對候選列表進行補充，數(shù)量不大于5個［10－11］。運動候選集選擇過程如圖2所示。

圖2 候選列表選取過程

3 Merge模式的候選決策研究

分析并跟蹤Merge模式的整個流程得知：

（1）選擇候選集的過程需要在空間域和時間域至少進行5次判斷，但最終通過率失真計算后得到的最終候選只有一個。并且由于是相鄰塊的緣故，A1與A0，B1與B0之間的關聯(lián)程度很高，往往具有相同的運動信息，導致很多時候進行了多次不必要的判斷。

（2）在進行率失真計算時，往往要考慮到編碼參數(shù)、最終所需傳輸?shù)倪\動矢量等總體編碼數(shù)據(jù)的多少。由于在編碼Merge＿idx過程中使用的是一元截斷碼，對于MaxNumMergerCand＝5，Merge＿idx如表1所示，若MaxNumMergerCand＝3，則 Merge＿idx如表2所示。由表1、表2可以看出，減少候選個數(shù)，其一元截斷碼的位數(shù)也相應減少，勢必會對率失真計算結果造成影響。由此可以推斷出當MaxNumMergerCand＝3時，既有助于使各個候選的JMerge減小，又可以減少由于5個候選bin位數(shù)跨度較大而對比較結果產(chǎn)生的影響，使在比較各個候選的率失真結果時更加公平。

表1 列表尺寸（ListSize＝5）

表2 列表尺寸（ListSize＝3）

（3）在不同的CU尺寸情況下測試各個PU在進行Merge模式時其候選位置出現(xiàn)情況的概率，統(tǒng)計結果如圖3～圖5所示。

從圖3～圖5中可以得知，A1，B1，T三者所占比例之和遠遠高于其他候選之和。這主要是因為A1，B1的bin位數(shù)較低，在計算率失真過程中常常占有很大優(yōu)勢，其次B1，A1與B0，A0常常有著相同的運動信息，導致B0，A0在候選過程中無法出現(xiàn)。綜上所述，將最大候選數(shù)量由5改為3，且在決策過程中優(yōu)先選擇A1，B1，T。

事實上，由于Merge模式的計算結果并不一定是編碼過程最終所選取的結果，計算所得的JMerge還要與AMVP模式所得的JAMVP進行比較［12］。它們都只是得到最優(yōu)結果的一種手段，如圖6所示。當出現(xiàn)旋轉(zhuǎn)或者形變運動時，由于Merge模式本身的局限性（主要解決剛體平移運動），就很難對這種運動得到較好的預測，但AMVP模式（預測更為精準，但需要更多的比特）就可以更好地解決其問題，所以適當減少候選數(shù)，既能讓Merge模式在平移運動中更好地發(fā)揮優(yōu)勢，又能在一些非剛體運動中利用AMVP的預測結果，從而不會對整個編碼結果造成較大的影響。

圖6 幀間預測的決策過程

另一方面，通過觀察圖3～圖5可以得到：對于2N×N和N×2N這2種情況，T的出現(xiàn)概率會高于B1，且在N×2N中T出現(xiàn)的概率幾乎與A1持平。這主要是因為在N×2N中A1是不適用于第2個PU的，而在2N×N中，B1也不適用于第2個PU。如果在這2種情況下分別使用了A1和B1，則會出現(xiàn)2個本來屬于同一個CU的PU又融合成了一個CU的情況［13］。所以在這2種情況下T候選的出現(xiàn)幾率將得到提升。進一步分析可知，Merge模式主要應用于剛體平移運動，而通常在這種情況下，時間域上的相關性往往大于空間域上的相關性，并且從圖3數(shù)據(jù)得知，T在bin位數(shù)較高的情況下，依舊可以有著較高的出現(xiàn)概率。因此，將時間候選T優(yōu)先于空間候選，即在候選順序上將時域候選排在空域候選之前，目的是讓其分配更小的位數(shù)，這樣做可以讓預測結果更加精確并消耗更少的比特。為了讓時間候選放在空域候選之前這一變化發(fā)揮更大的作用，還可以考慮通過增加時間候選的個數(shù)來提高候選的準確度。

4 改進的低復雜度候選決策

針對上述情況，具體將做出如下改進：

（1）將最大候選集的個數(shù)由5改為3，其中空域候選集個數(shù)為2，時域候選集個數(shù)為1，這樣做是考慮到A1和A0，B1和B0有著很高的相似程度。

（2）在進行空域候選時，優(yōu)先選擇A1和B1，看其是否存在并具有冗余，如果存在且不存在冗余，則空域候選集停止繼續(xù)判斷，直接進行時間域上的選擇。假如在空域候選集判斷出A1和B1有一個不存在或者2個不存在或者存在A1的信息與B1的信息相同，則此時繼續(xù)依次判斷B0，A0，B2，直到空域候選集個數(shù)等于2后停止進行判斷。如果空域候選集個數(shù)小于2，則可以在后續(xù)添加雙向運動候選和0候選。設NumCand為當前已選候選數(shù)量，空域候選的詳細流程如圖7所示。

圖7 改進后空域候選流

（3）更改候選決策的先后順序，將時間候選T排在空間候選之前。

（4）當TRb不存在的情況下，通過增加時間域上的候選數(shù)量并取其中值，依舊可以較為精確地取得時間候選。具體操作為：如果TRb不存在，將檢驗參考幀中與當前幀位置相同的B0，A0還有TC，設它們?nèi)叩闹兄禐閙edian（B0，A0，TC），并用其代替TC；當B0，A0有一個不存在時，就按照原始算法直接使用TC。這么做的目的是可以將時間候選排在空間候選之前的這一變化發(fā)揮更佳的效果。

5 實驗平臺與仿真結果分析

仿真采用的是HM12．0代碼，實驗平臺為CPU 2GHz Intel Core2，內(nèi)存2GB，操作系統(tǒng)為Windows 7的64位計算機，運行環(huán)境是Microsoft Visual Studio 2010，編碼結構為IPPP。實驗結果如表3、表4所示，從中可以看出改進后的結果與標準算法結果之間的對比。

表3 改進前的測試序列

表4 改進后的測試序列

從表3中可以看出，首先通過減少候選數(shù)量，直接降低了候選決策的復雜程度，編碼時間縮減了大約2．00%～6．70%不等；同時由于 Merge＿idx的編碼位數(shù)相對減少而導致JMerge相應減小，進而在與JAMVP比較中占據(jù)一定優(yōu)勢，讓原來一部分使用AMVP模式的PU轉(zhuǎn)而使用Merge模式，使得整個過程比特率降低，平均降低了大約0．35%～4．49%不等，并且PSNR值幾乎都得到了提升。

加入第4點改進后的仿真結果如表4所示，可以看出，相對表3，增加時間域候選后進一步降低了比特率，從而使率失真性能由于同時提升了復雜度，會損耗更多的時間。注意到SlideShow序列的比特率有輕微提升，這主要是由于其內(nèi)容多有場景轉(zhuǎn)換，導致時間候選T使用率較低，使得比特率提升。

整體上來看，本文算法在有效提高編碼率失真性能的同時，明顯縮短了編碼時間，降低了編碼復雜度。

6 結束語

本文針對HEVC中Merge模式的候選過程進行分析和改進，提出基于候選決策的低復雜度算法。通過減少候選列表的候選數(shù)量和改變時空域候選的選擇順序，既降低了計算的復雜度，又提升了各個候選列表的利用效率。仿真結果表明，在圖像PSNR略微提升的同時，編碼時間和比特率都得到了優(yōu)化。

［1］ITU－T．Recommendation and Final Draft International Standard of Joint Video Specification［Z］．2003．

［2］Tourapis A M，Wu F，Li S．Direct Mode Coding for Bipredictive Slices in the H．264Standard［J］．IEEE Transactions on Circuits and Systems for Video Technology，2005，15（1）：119－126．

［3］高文趙，德 斌，馬思偉．數(shù)字視頻編碼技術原理［M］．北京：科學出版社，2010．

［4］ITU－T．H．264and ISO／IEC 14496－2010Advanced Video Coding for Generic Audiovisual Services［S］．2010．

［5］Lin Jianliang，Chen Yiwen，Tsai Y P，et al．Motion Vector Coding Techniques for HEVC ［C ］／／Proceedings of the 13th International Workshop on Multimedia Signal Processing．Washington D．C．，USA：IEEE Press，2011：1－6．

［6］彭金虎，岑 峰．HEVC幀間運動歸并技術的研究［D］．上海：同濟大學，2013．

［7］JCT－VC．Working Draft 4of High－efficiency Video Coding［Z］．2011．

［8］Bross B，Han W J，Ohm J R，et al．High Efficiency Video Coding（HEVC）Text Specification Draft 10［Z］．2013．

［9］Sullivan G J，Ohm J R，Han W J，et al．Overview of the High Efficiency Video Coding（HEVC）Standard［J］．IEEE Transactions on Circuits and System for Video Technology，2012，22（12）：1649－1668．

［10］Kim I K，McCann K，Sugimoto K，et al．High Efficiency Video Coding （HEVC）Test Model 9 Encoder Description［Z］．2012．

［11］Helle P，Oudin S，Bross B，et al．Block Merging for Quad Tree－based Partitioning in HEVC［J］．IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1720－1731．

［12］Vanne J，Viitanen M，H?m?l?inen T D，et al．Comparative Rate－distortion Complexity Analysis of HEVC and AVC Video Codes［J］．IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1885－1898．

［13］Zhou Minhua．AHG10：Configurable and CU－group Level Parallel Merge／Skip［C］／／Proceedings of the 8th Meeting on Joint Collaborative Team on Video Coding．San Jose，USA：［s．n．］，2012．