謝曉燕, 周金娜, 朱 筠, 劉新闖, 王安琪

(1. 西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710121；2.西安郵電大學(xué) 電子工程學(xué)院，陜西 西安 710121)

三維高效視頻編碼(3D-high efficiency video coding，3D-HEVC)[1]利用不同視點(diǎn)編碼的圖像信息，借助類似于2D幀間預(yù)測(cè)的運(yùn)動(dòng)估計(jì)和Merge模式獲得運(yùn)動(dòng)矢量的思想獲取視差矢量。視差矢量 (disparity vector,DV)在視圖間運(yùn)動(dòng)矢量預(yù)測(cè)、視差補(bǔ)償預(yù)測(cè)和其他視圖間編碼技術(shù)中起著關(guān)鍵性作用[2]。3D-HEVC中基于相鄰塊的視差矢量獲取方法(disparity vector from neighbouring blocks,NBDV)[3]按預(yù)定順序搜索空間和時(shí)間候選塊位置，把第一個(gè)搜索到的視差矢量當(dāng)作最終視差矢量，并終止視差矢量的搜索。這種方法降低了視差矢量的精度，同時(shí)按照一定順序搜索也降低了視差矢量的獲取速度。

通過(guò)重新組合或者刪減候選塊，可縮短視差矢量編碼時(shí)間。如對(duì)視差矢量候選塊重新建立候選塊視差矢量候選列表，根據(jù)列表中DV的數(shù)量，結(jié)合率失真優(yōu)化算法推導(dǎo)出最終的NBDV[4]，該方法雖然通過(guò)率失真有效篩選，降低了一定的編碼時(shí)間，但是卻增加了一定的碼率。運(yùn)動(dòng)和視差矢量的早期確定方案[5-6]，雖然跳過(guò)了一些模式，降低了算法的復(fù)雜度，但是可能會(huì)刪減掉更有效的視差矢量信息。在3D-HEVC標(biāo)準(zhǔn)測(cè)試模型HTM 8.0測(cè)試平臺(tái)對(duì)所有相鄰候選塊進(jìn)行DV采用率的統(tǒng)計(jì)，為保持高效性在搜索過(guò)程中刪除了B類的候選塊，但視差矢量的精度有所降低[7]?；诤蜻x塊的組合搜索方法[8]和利用局部信息得到局部視差矢量的方法[9]雖然提高了視差矢量的精度，但是對(duì)候選塊需要不斷地進(jìn)行組合再搜索，增加了編碼時(shí)間。

為了能同時(shí)確保視差矢量精度和編碼效率，本文提出一種改進(jìn)的相鄰塊視差矢量快速獲取方法。分別按照時(shí)域和空域方向獲取相應(yīng)塊的視差矢量，對(duì)其進(jìn)行均值計(jì)算獲得最終的視差矢量；然后在視頻陣列處理器[10]上對(duì)該方法進(jìn)行并行化實(shí)現(xiàn)，以期減少視差矢量獲取過(guò)程的編碼時(shí)間。

1 基于相鄰塊的視差矢量獲取方法

NBDV通過(guò)編碼單元 (coding unit，CU)的時(shí)域和空域候選塊獲得視差矢量。根據(jù)相關(guān)性程度，NBDV獲取視差矢量?jī)?yōu)先檢測(cè)時(shí)域候選塊，其次是空域候選塊。時(shí)域候選塊的搜索順序?yàn)橄戎虚g塊后右下角塊,如圖1(a)所示；5個(gè)空間候選塊的搜索順序?yàn)樽筮?A1)，上邊(B1)，右上(B0)，左下(A0)，左上(B2)，如圖1(b)所示。

圖1 相鄰塊視差矢量的候選塊

選擇第一個(gè)搜索到的視差矢量作為最終的視差矢量，一旦檢測(cè)到可用的視差矢量，即當(dāng)前CU的NBDV完成。但是采用這樣的搜索匹配方式，第一個(gè)可用的視差矢量可能被當(dāng)作最終的視差矢量，后面的候選塊中可能存在更優(yōu)的視差矢量信息，在沒(méi)被搜索前就已被中止，降低了視差矢量的精度，且按照一定順序搜索時(shí)域和空域候選塊，編碼時(shí)間過(guò)長(zhǎng)，效率偏低。

2 改進(jìn)的相鄰塊視差矢量獲取方法

空間參考?jí)K的搜索順序可以進(jìn)行多種排列組合，改進(jìn)方法在不舍棄B類候選塊的前提下，將空域候選塊進(jìn)行重新排序，固定A1和A0的搜索順序不變，重新組合B類。在原標(biāo)準(zhǔn)搜索順序左邊(A1)，上邊(B1)，右上(B0)，左下(A0)，左上(B2)的基礎(chǔ)上增加6組搜索順序，即第1組左邊(A1)，左下(A0)，右上(B0)，上邊(B1)，左上(B2)；第2組左邊(A1)，左下(A0)，右上(B0)，左上(B2)，上邊(B1)；第3組左邊(A1)，左下(A0)，上邊(B1)，右上(B0)，左上(B2)；第4組左邊(A1)，左下(A0)，上邊(B1)，左上(B2)，右上(B0)；第5組左邊(A1)，左下(A0)，左上(B2)，右上(B0)，上邊(B1)；第6組左邊(A1)，左下(A0)，左上(B2)，上邊(B1)，右上(B0)。

選取3D-HEVC標(biāo)準(zhǔn)測(cè)試模型HTM 16.1中Balloons 、Poznan_Street 、Poznan_Hall2、Newspaper 、Undo_Dancer和 kendo等 6個(gè)通用測(cè)試序列，利用7種空間候選塊搜索順序?qū)σ暡钍噶窟M(jìn)行搜索，分別對(duì)比7種搜索順序結(jié)果的比特率和信噪比，從而選取編碼質(zhì)量最好的搜索順序作為既定的搜索順序。對(duì)比結(jié)果如表1所示。

表1 空域候選塊按照不同搜索順序的性能結(jié)果對(duì)比

由表1可以看出，第5組的搜索順序比其他組搜索順序編碼質(zhì)量略好，故選擇第5組搜索順序作為最終空間候選塊的搜索順序。

按照左邊(A1)，左下(A0)，左上(B2)，右上(B0)，上邊(B1)最終空間候選塊搜索順序，搜索空域候選塊的所有視差矢量；時(shí)域候選塊按照先中間后右下的順序搜索視差矢量。分別對(duì)空域和時(shí)域候選塊得到的視差矢量進(jìn)行均值計(jì)算，得到最終視差矢量，計(jì)算表達(dá)式為

(1)

其中:VDi為所有視差矢量的集合;m為候選塊個(gè)數(shù)，每個(gè)候選塊通過(guò)均值計(jì)算得到視差矢量。

3 改進(jìn)的相鄰塊視差矢量獲取方法并行化實(shí)現(xiàn)

候選塊視差矢量按照一定順序在空域和時(shí)域候選塊中搜索視差矢量，其中空域的5個(gè)候選塊和時(shí)域的2個(gè)候選塊數(shù)據(jù)之間雖然存在一定的相關(guān)性，但是其像素計(jì)算部分卻相互獨(dú)立，存在著較大的并行性。因此，可將改進(jìn)方法中的空域和時(shí)域候選塊劃分，整合并行部分，在陣列處理器上進(jìn)行并行化實(shí)現(xiàn)。

3.1 動(dòng)態(tài)視頻陣列處理器架構(gòu)

動(dòng)態(tài)視頻陣列處理器支持H.264/AVC、MVC、H.265/HEVC和3D-HEVC等視頻編解碼標(biāo)準(zhǔn)。該視頻陣列處理器以4×4結(jié)構(gòu)為例，結(jié)構(gòu)如圖2所示。

陣列處理器在邏輯上把結(jié)構(gòu)劃分成處理元簇 (processing element group，PEG)陣列，每個(gè)簇由4×4的處理單元(processing element，PE)以陣列的形式組成。全局控制器實(shí)現(xiàn)對(duì)計(jì)算資源的控制與管理，輸入存儲(chǔ) (data input memory，DIM)用于存儲(chǔ)原始視頻數(shù)據(jù)。視頻算法中數(shù)據(jù)的處理大多以N×N矩形塊進(jìn)行，這種陣列體系結(jié)構(gòu)能更有效地實(shí)現(xiàn)視頻算法并行化。

圖2 陣列處理器的部分結(jié)構(gòu)

3.2 基于陣列處理器的獲取DV并行化實(shí)現(xiàn)

將空間候選塊A1、B1、B0、A0、B2和兩個(gè)時(shí)域候選列表的中間塊及右下角塊，分別配置到PE00、PE10、PE20、PE30、PE21、PE01、PE11、PE02和PE12中，給所屬PE下發(fā)原始像素?cái)?shù)據(jù)和參考像素?cái)?shù)據(jù)。在進(jìn)行塊匹配之前已將數(shù)據(jù)存儲(chǔ)到對(duì)應(yīng)PE的地址中，和其他PE計(jì)算不會(huì)產(chǎn)生沖突，因此，在同一時(shí)刻不同PE可以同時(shí)工作，最大程度實(shí)現(xiàn)算法的并行化。

每個(gè)PE接收到數(shù)據(jù)后同時(shí)開(kāi)始進(jìn)行處理，計(jì)算得到各自候選塊的DV和絕對(duì)差值和(sum of absolute difference，SAD)，然后將各個(gè)塊得到的DV傳送到PE03中，在PE03中對(duì)DV進(jìn)行均值計(jì)算。改進(jìn)的視差矢量方法計(jì)算流程如圖3所示。

圖3 獲取視差矢量流程

并行化實(shí)現(xiàn)具體步驟如下。

步驟1從基本視點(diǎn)中讀入原始像素，同時(shí)從兩個(gè)時(shí)域參考幀中讀入?yún)⒖枷袼?，像素值分別存儲(chǔ)在外部存儲(chǔ)中。

步驟2調(diào)度PE00、PE10、PE20、PE30、PE21、PE01、PE11、PE02和PE12。對(duì)時(shí)域的中間塊、右下角塊和空域塊A1，B1，B0，A0，B2分配原始像素和參考像素，分別計(jì)算各自的DV和SAD。

步驟3將PE01、PE02、PE11、PE12中兩個(gè)時(shí)域參考?jí)K中得到的DV和SAD信息存儲(chǔ)到PE12中，通過(guò)SAD得到最優(yōu)的時(shí)域DV信息，發(fā)送到PE03中。

步驟4將步驟2得到的空域候選塊的所有DV也發(fā)送到PE03中。

步驟5將步驟3和步驟4分別得到的時(shí)域和空域候選塊的DV進(jìn)行均值計(jì)算，即可獲取得到最終的DV。

4 仿真結(jié)果及實(shí)驗(yàn)分析

以3D-HEVC標(biāo)準(zhǔn)測(cè)試模型HTM 16.1為測(cè)試平臺(tái)[11]，將改進(jìn)方法在平臺(tái)上加以實(shí)現(xiàn)。視頻測(cè)試序列為Undo_Dancer、Poznan_Hall2和Poznan_Street等 3個(gè)1 920×1 088序列，及Kendo、Balloons和Newspaper 等3個(gè)1 024×768序列。通用測(cè)試條件規(guī)定的紋理及深度量化參數(shù)(quantization parameter，QP)為(25,34)、(30,39)、(35,42)和(40,45)。采用3個(gè)視點(diǎn)編碼，編碼順序分別是中間視點(diǎn)到左視點(diǎn)再到右視點(diǎn)，其中中間視點(diǎn)為基本視點(diǎn)。編碼測(cè)試參數(shù)如表2所示。

表2 實(shí)驗(yàn)測(cè)試參數(shù)

4.1 改進(jìn)方法的編碼結(jié)果分析

分別對(duì)比改進(jìn)方法與HTM 16.1的編碼比特率差值(bj?ntegaard delta bit rate，BDBR)、編碼峰值信噪比差值(bj?ntegaard delta peak signal-to-noise rate，BD-PSNR)[12]和編碼時(shí)間差ΔTime[13]，結(jié)果如表3所示。BDBR表示在同樣的客觀質(zhì)量下，較優(yōu)的編碼方法可以節(jié)省的碼率百分比，BDBR越小，當(dāng)前編碼器的壓縮性能越佳；BD-PSNR表示在同等碼率下，兩種編碼條件下壓縮后視頻PSNR-Y值的差異，BD-PSNR值越大，當(dāng)前編碼器質(zhì)量損失越?。沪ime指改進(jìn)方法3D-HEVC編碼時(shí)間之差的百分比。

表3 改進(jìn)方法與HTM16.1的編碼性能對(duì)比

由表3可以看出，BDBR的平均值為-1.23%,表示改進(jìn)方法比HTM 16.1增加了約1.23%的編碼增益。BD-PSNR的平均值為0.043 9 dB, 表示改進(jìn)方法比HTM 16.1平均提高了0.043 9%。因此，改進(jìn)方法的性能指標(biāo)更好。獲取視差矢量采用了均值計(jì)算，ΔTime只增加了平均0.59%的計(jì)算量，故可忽略不計(jì)。

改進(jìn)方法和HTM16.1的編碼率失真曲線如圖4所示?？梢钥闯?，改進(jìn)方法能獲得更好地率失真曲線。

圖4 率失真參數(shù)實(shí)驗(yàn)結(jié)果比較曲線

4.2 改進(jìn)方法的合成結(jié)果分析

根據(jù)圖像質(zhì)量的評(píng)價(jià)指標(biāo)峰值信噪比(peak signal-to-noise ratio，PSNR)和圖像間的相似度評(píng)價(jià)指標(biāo)結(jié)構(gòu)相似性(structural similarity index，SSIM)[14]，對(duì)比改進(jìn)方法與HTM 16.1對(duì)合成圖像的影響。改進(jìn)方法與HTM 16.1合成后圖像的PSNR和SSIM對(duì)比結(jié)果分別如圖5和圖6所示。

從圖5 (a)、圖5 (b)和圖5 (c)可以看出，圖像合成后改進(jìn)方法和HTM 16.1的PSNR相近，圖5 (d)、圖5 (e)和圖5 (f)可以看出圖像合成后改進(jìn)方法比HTM 16.1的PSNR略高。從圖6 中可以看出，圖像合成后改進(jìn)方法和HTM 16.1的 SSIM相近，改進(jìn)方法損失的失真度較小，因此，改進(jìn)方法合成后視頻質(zhì)量更好。

圖5 合成后圖像PSNR對(duì)比

圖6 合成后圖像SSIM對(duì)比

4.3 與文獻(xiàn)[7]方法的對(duì)比

改進(jìn)方法與文獻(xiàn)[7]方法性能對(duì)比結(jié)果如表4所示，Video1和Video2表示非獨(dú)立視點(diǎn)的編碼性能。

表4 改進(jìn)方法與文獻(xiàn)[7]的BDBR對(duì)比

由表4可以看出，改進(jìn)方法比文獻(xiàn)[7]方法在Video1中平均提升0.25% 的BDBR增益，在Video2中平均提升0.9%的編碼增益，編碼性能更好。

4.4 并行化實(shí)現(xiàn)計(jì)算時(shí)間及性能分析

改進(jìn)方法在陣列處理器上的并行編碼時(shí)間和串行編碼時(shí)間之比如表5所示，可以看出，并行化后平均編碼時(shí)間減少了約8倍，提高了算法的編碼速度，減少了編碼時(shí)間。

采用Virtex-6的XC6VLX550T 現(xiàn)場(chǎng)可編程門陣列(field programmable gate array, FPGA)芯片在集成軟件開(kāi)發(fā)環(huán)境(integrated software environment，ISE)下進(jìn)行綜合測(cè)試，采用90 nm進(jìn)行邏輯綜合(Design Compiler，DC)，分別對(duì)比改進(jìn)方法與其他方法的計(jì)算時(shí)間、頻率和功耗，結(jié)果如圖6所示。

從表6中可以看出，文獻(xiàn)[15]方法中的資源占用量高于改進(jìn)方法，最高硬件頻率低于改進(jìn)方法；文獻(xiàn)[16]方法的工作頻率和改進(jìn)方法基本相當(dāng)，但是資源消耗是改進(jìn)方法的2倍多；文獻(xiàn)[17]方法的硬件工作頻率為175 MHz，稍低于改進(jìn)方法，但是其查找表(look up table，LUT)消耗卻是改進(jìn)方法的4.7倍。文獻(xiàn)[18]方法的工作頻率和改進(jìn)方法相同，但整個(gè)設(shè)計(jì)規(guī)模卻是改進(jìn)方法的3.6倍，占用了更多的硬件資源。文獻(xiàn)[19]方法的整個(gè)設(shè)計(jì)規(guī)模占用5.098 M門數(shù)，資源占用過(guò)高，改進(jìn)方法的工作頻率也是其3倍。因此，改進(jìn)方法在硬件性能方面可以達(dá)到工作頻率和占用資源的相對(duì)平衡，性能相對(duì)較高。

表5 改進(jìn)后視差矢量方法的編碼時(shí)間

表6 4種方法運(yùn)算性能比較結(jié)果

5 結(jié)語(yǔ)

改進(jìn)的候選塊視差矢量快速獲取方法，通過(guò)重新組合空域候選塊，得到最優(yōu)空域候選塊與時(shí)域候選塊的視差矢量，再均值計(jì)算得到最終視差矢量。整合該方法可并行部分，在視頻陣列處理器上進(jìn)行并行化實(shí)現(xiàn)，減少編碼時(shí)間。實(shí)驗(yàn)結(jié)果表明，改進(jìn)方法不但提高了視差矢量的精度，而且減少了編碼時(shí)間，提高了整體的編碼效率；在硬件性能方面可以達(dá)到工作頻率和占用資源的相對(duì)平衡，性能相對(duì)較高。