曹海燕 馮桂 韓雪 方定邦 黃鑫達

摘 要：針對多視點加深度格式的3D視頻中深度圖魯棒性不足的問題，提出了一種基于深度圖的3D魯棒視頻水印算法。首先，將深度圖不重疊的劃分為4×4大小的塊，計算每一塊像素域的均方差，并設(shè)置一個閾值來區(qū)分紋理塊和平坦塊;其次，對紋理塊計算區(qū)域塊的能量值，根據(jù)計算的能量值設(shè)置一個閾值來選擇性嵌入水印比特位;最后，獲取每個塊變換量化后的DC系數(shù)，根據(jù)獲取的DC系數(shù)值構(gòu)造3×3的可逆矩陣，對可逆矩陣進行QR分解，將水印嵌入在分解后的Q矩陣中。所提算法保證了平均峰值信噪比不變，且不同量化參數(shù)（QP）值（25、30、35、40）的重編碼攻擊下的平均誤碼率為14.9%。從測試的結(jié)果來看，該算法具有較好魯棒性和嵌入容量，同時對視頻的質(zhì)量影響很小。

關(guān)鍵詞：深度圖;視頻水印;均方差;QR分解;DC系數(shù)

中圖分類號： TP309.2

文獻標志碼：A

文章編號：1001-9081（2019）03-0869-05

Abstract： Aiming at insufficient robustness of depth map in multi-view 3D video with depth format， a 3D robust video watermarking algorithm based on depth map was proposed. Firstly， a depth map was divided into 4×4 nonoverlapped blocks， the mean square error of each block of pixels was calculated， and a threshold was set to distinguish the texture block and the flat block. Secondly， the block energy value of the texture block was calculated， and a threshold was set according to the calculated result to selectively embed the watermark bits. Finally， the transformed and quantized DC coefficients of each block were obtained and used to construct a 3×3 invertible matrix， then QR decomposition was performed on the invertible matrix and the watermark was embedded in the decomposed Q matrix. The proposed algorithm guarantees that the average Peak Signal to Noise Ratio （PSNR） is a constant， and the average Bit Error Rate （BER） under re-encoding attack with different Quantization Parameter （QP） values （25， 30， 35， 40） is 14.9%. Experimental results show that the algorithm has good robustness and embedding capacity， and has little impact on the quality of video.

Key words： depth map; video watermarking; mean square error; QR decomposition; DC coefficient

0 引言

從傳統(tǒng)的立體視頻到多視點加深度的3D視頻[1]， 3D視頻因能提供真實場景的立體感與視點交互而廣受歡迎[2]。3D數(shù)據(jù)傳輸在各種各樣的數(shù)字媒體中被廣泛應(yīng)用，為了節(jié)省傳輸帶寬和存儲空間，在高效視頻編碼（High Efficient Video Coding，HEVC）標準[3]的基礎(chǔ)上進行了擴展，制定了3D-HEVC編碼標準[4]?；谝曨l壓縮信息安全保護的水印技術(shù)也得到了發(fā)展，目前更多的是基于H.264/AVC和HEVC視頻壓縮的視頻水印技術(shù)或者是基于圖像的水印技術(shù)[5]。文獻[6]是基于變換域的水印算法，采用Hadamard變換，分析其系數(shù)的魯棒性和透明性，在選擇的位平面中嵌入水印，算法簡單，并且魯棒性較強。文獻[7]提出的根據(jù)紋理特征將水印嵌入經(jīng)過變換量化后的AC系數(shù)中，該算法具有較好強的魯棒性，但嵌入后對視頻質(zhì)量有一定的影響。文獻[8]提出了一種基于調(diào)制奇異值貢獻率的視頻內(nèi)容認證水印算法，通過對視頻子塊進行2級的離散小波變換（Discrete Wavelet Transform， DWT）提取內(nèi)容特征，基于DWT的低頻域來量化調(diào)制第一奇異值貢獻率來嵌入水印，該算法能有效地抵抗二次視頻壓縮攻擊，具有較好強的魯棒性，但算法相對較復(fù)雜。文獻[9]是一種改進的偽三維離散余弦變換（Three-Dimensional Discrete Cosine Transform， 3D-DCT）的零水印算法，根據(jù)幀間的歐氏距離來選取關(guān)鍵幀，利用三幀差分得到關(guān)鍵幀的運動目標進行分塊，對目標塊的幾何形心坐標所在塊進行變換后得到的AC系數(shù)構(gòu)造特征值序列，根據(jù)加密水印和特征值序列構(gòu)造零水印，該算法能較好抵抗幾何攻擊，魯棒性較好強，但是嵌入容量有限。文獻[10]是在連續(xù)I幀中紋理相似的4×4塊中嵌入水印，因為相似，它們之間的殘差系數(shù)差值等于0和接近于0，利用這些進行差分統(tǒng)計。相似塊通過不同變換系數(shù)的和來確定，和較小就定義為相似塊，在相同變換系數(shù)集中修改0值來進行多層水印的嵌入，在視頻解碼重建之前獲取修改的系數(shù)變換為原來的系數(shù)來進行誤差補償，此方法能獲取較好的視頻質(zhì)量，但是由于太依賴于相似塊，在遭受攻擊后不能很好地提取水印，因此魯棒性較差。由于深度視頻具有與紋理視頻不同的特征，含有大量的平坦區(qū)域和尖銳的邊緣區(qū)域，深度圖的編碼方式也不完全相同[11]。傳統(tǒng)的視頻水印技術(shù)不能完全很好地應(yīng)用到多視點加深度的3D視頻中，現(xiàn)今，針對3D視頻中深度圖的視頻水印技術(shù)的研究還很少。本文提出了一種針對3D視頻中深度圖的視頻水印算法，將視頻幀中的深度圖劃分為4×4的塊，并通過均方差進行紋理復(fù)雜度的區(qū)分，區(qū)分出紋理塊和平坦塊，選擇紋理塊進行水印的嵌入。通過計算紋理塊的區(qū)域能量，選擇相應(yīng)水印比特進行嵌入。獲取紋理塊變換量化后的DC系數(shù)，根據(jù)獲取的DC系數(shù)值的不同特征進行不同的水印嵌入處理。從測試的結(jié)果來看，本文算法具有很強的魯棒性，并且對視頻的質(zhì)量幾乎沒有影響。

1 算法提出

1.1 理論分析

深度圖是通過采集場景實物到攝像機成像平面距離構(gòu)成的灰度圖像，不同于紋理視頻，它并不用于視覺觀看，而是在解碼端結(jié)合紋理視頻利用深度圖渲染（Depth Image Based Rendering， DIBR）技術(shù)[1]制出多個視點，以此來體現(xiàn)多視點[1]的立體效果。深度圖大部分區(qū)域是很平滑的，小部分有著較復(fù)雜的紋理，如圖1（a）是深度圖進行編碼后分割信息，塊越大說明越平坦，越小說明紋理越復(fù)雜。在進行水印的嵌入時，為了保證水印的不可見性，要選擇紋理相對復(fù)雜的塊來進行處理，這是由于復(fù)雜度越大，紋理越復(fù)雜，則隱藏效果越好?，F(xiàn)階段區(qū)分區(qū)域紋理復(fù)雜程度的常用方法有灰度共生矩陣法[12]、大津算法[13]和Weber定律法[7]。紋理越復(fù)雜，塊的劃分深度越大，最小的預(yù)測單元（Prediction Unit，PU）的分割深度為4×4[14]，根據(jù)4×4大小進行劃分的塊數(shù)多，能保證嵌入容量，并且紋理區(qū)分和計算簡單。 因此本文是要將視頻幀中的深度圖不重疊的劃分為4×4的塊，進而進行紋理和非紋理的判斷，相比于上述方法，均方差能更簡單、準確地區(qū)分紋理與非紋理的塊，且計算復(fù)雜度低，因此，本文選擇均方差來區(qū)分紋理塊。

3D-HEVC中深度圖在幀內(nèi)預(yù)測編碼得到殘差塊后要進行變換量化等操作，而由QDCT/QDST量化離散余弦變換（Quantized Discrete Cosine Transform， QDCT）/量化離散正弦變換（Quantized Discrete Sine Transform， QDST）變換的性質(zhì)可知，DC系數(shù)僅能反映當前塊像素值的平均大小，相比于其他的系數(shù)，DC系數(shù)更穩(wěn)定。為了保證嵌入的容量和魯棒性，本文選擇在DC系數(shù)進行水印的嵌入，為了保證水印的不可見性和魯棒性，本文采用了QR分解中正交矩陣Q的一些特性[15]，即第一列中的3個元素數(shù)值很相近，它們之間的差別很小，對其進行很小的修改時，對整個矩陣影響很小。故而在分解后的Q矩陣中的第一列、第二行嵌入微量的水印，則對原始的視頻影響很小，幾乎可以忽略不計。另外，為了進一步減少此算法對深度圖的影響，本文對水印嵌入塊進行了誤差消除處理。以QDST為例其證明如下。

讓CQDST4×4代表亮度塊預(yù)測殘差變換量化后的4×4的系數(shù)塊，Qstep是量化步長的大小。

由上面的證明可知，在QDST上嵌入水印后，經(jīng)過反變換反量化后最后一行和最后一列的系數(shù)為0，可以消除嵌入的水印對后續(xù)塊的影響。

1.2 水印的嵌入

步驟2 將視頻幀中的深度圖不重疊地劃分為4×4的塊單元，計算每個4×4塊單元像素域的均方差，對均方差值多次遍歷確定一個最佳的閾值來區(qū)分出紋理塊和平坦塊。

步驟3 獲取紋理塊進行變換量化后的非零DC系數(shù)E1作為水印的嵌入位置，其他的E2，E3，E4，E9，E11，E12，E13，E15，E16作為誤差消除的塊，根據(jù)DC系數(shù)E1的值構(gòu)建一個對角線上元素依次遞增α（0<α≤1），其他元素和DC系數(shù)相等的3×3的可逆矩陣A。對A矩陣進行QR分解，得到的Q矩陣中第一列的三個元素的具有較強的相似性，增強了嵌入水印的不可見性。

步驟4 將水印嵌入在Q矩陣的第二行第一列中，根據(jù)當前塊的量化步長Qstep來調(diào)整嵌入量。H.265/HEVC中規(guī)定了52個量化步長，對應(yīng)于52個量化參數(shù)（Quantization Parameter， QP）[1]，二者的關(guān)系如下：

當嵌入水印w=1時，在Q矩陣中的嵌入量為1/Qstep，當水印為w=-1時，在Q矩陣中的嵌入量為-1/Qstep。由于Q矩陣的一些特性，水印嵌入后對DC系數(shù)幾乎沒有影響。

紋理塊經(jīng)過變換量化后的總能量為：

根據(jù)設(shè)定的閾值ξ和計算的總能量進行比較的結(jié)果來進行水印比特的嵌入：

1.3 水印的提取

本文中水印的提取算法相比于嵌入算法更簡單，不用進行QR矩陣分解，其算法如下：

步驟1 根據(jù)嵌入時產(chǎn)生密鑰K1相同的算法得到密鑰K1。

步驟2 按照與嵌入算法相同的方法得到紋理塊，計算4×4紋理塊的總能量，根據(jù)與嵌入算法相同的閾值ξ直接提取加密后的水印序列;

2 實驗結(jié)果及分析

算法測試是基于H.265/HEVC參考軟件HTM16.0，參考軟件的主要配置參數(shù)如下：測試的視頻序列的量化QP（Quantization Parameter）值有25、30、35、40，圖像組（Group Of Pictures， GOP）為1的全幀內(nèi)編碼，其余參數(shù)都采用平臺默認的配置，原始視頻數(shù)據(jù)和嵌入水印后的視頻數(shù)據(jù)都是編碼32幀。電腦的基本配置：Intel Core 2 Quad CPU Q9400 @2.66GHz的64位操作系統(tǒng)下，測試的序列共5個：其中2個是分辨率為1024×768的Balloons和Kendo，3個是分辨率為1920×1088的PoznanHall2、PoznanStreet和UndoDancer。

2.1 視頻質(zhì)量和比特率分析

視頻質(zhì)量可通過主觀和客觀兩種方法進行分析，本文采用峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）對視頻質(zhì)量進行客觀分析。峰值信噪比越大，視頻質(zhì)量越好。本文分析了在不同QP（25，30，35，40）下，有、無水印深度圖的PSNR值的變化，表1中列出了5個測試序列嵌入水印前后深度圖在不同QP編碼32幀后的PSNR平均值。其中：Po表示原始序列深度圖的平均PSNR值，Pe表示水印嵌入后深度圖的平均PSNR值，PSNR的變化用ΔP=Pe-Po表示。本文還對嵌入水

印前后測試序列的比特率（R）進行了實驗分析，如表1所示。其中Re表示原始測試序列的碼率，Ro表示水印嵌入后的碼率，碼率增長用ΔR=（Re-R0）/Ro表示。本文中水印比特不是直接嵌入在變換量化后的DC系數(shù)上，而是利用QR分解中Q矩陣的一些特性，將其進行處理后嵌入在Q矩陣中具有較強相似性的第二行第一列元素上，對深度圖的DC系數(shù)幾乎沒有影響，同時對后續(xù)塊也進行了誤差消除，因此，本文算法中的PSNR和碼率都沒有變化。

本文還測試了用深度圖繪制出來的6個合成視點的PSNR的變化情況，如表2所示。嵌入水印前后6個合成視點的PSNR的變化ΔSyn都為0，說明嵌入水印對合成視點也沒有影響。

本文還測試了Balloons、Kendo、PoznanStreet、UndoDancer和PoznanHall2這5個視頻序列根據(jù)原始編碼的3個視點利用深度圖繪制（Depth-Image-Based-Rendering， DIBR）技術(shù)合成的6個中間虛擬視點PSNR的變化情況。實驗結(jié)果發(fā)現(xiàn)，嵌入水印前后6個合成視點PSNR的變化都為0，說明嵌入水印對合成視點也沒有影響。

除了上述的客觀分析外，本文還進行了主觀分析：水印嵌入前后第一幀視頻質(zhì)量的主觀視覺效果對比情況，其效果如圖2（a）（b）（c）（d）（e）所示。

圖2（a）（b）為Balloons序列在水印嵌入前后的視點1的深度圖，圖2（c）（d）為Balloons序列水印嵌入前后的彩色圖像，圖2（e）為Balloons序列嵌入水印后的深度圖結(jié)合紋理圖合成的虛擬視點1。經(jīng)過主觀對比可知，本文算法對深度圖、彩色圖和虛擬視點幾乎沒有影響。

2.2 視頻的魯棒性分析

本文參考誤碼率（Bit Error Rate， BER）這一指標來進行相關(guān)的魯棒性分析，它的計算公式如下所示：

其中：error_bits是最后提取出來錯誤的比特數(shù)， total_bits是嵌入的總的比特數(shù)，BER越小時算法的魯棒性越好強，在視頻遭受不同QP值的重編碼攻擊時，提取出來的誤碼率情況如表2所示。本文算法是根據(jù)相對穩(wěn)定的紋理塊的總能量特征來進行水印的提取，計算復(fù)雜度低，能保證較好強的魯棒性。

2.3 視頻質(zhì)量和嵌入容量的對比

為了驗證本文算法，將本文算法與文獻[16]算法的結(jié)果進行對比，該算法采用的是3D-HEVC標準的編碼平臺HTM13.0，采用的也是全幀內(nèi)配置，其對比結(jié)果如表3所示。

其中：Δp表示的是水印嵌入前后本算法峰值信噪比的變化量，Δp[16]是水印嵌入前后文獻[16]算法峰值信噪比的變化量，C是本算法的嵌入容量，C[16]是文獻[16]的嵌入容量。

本文算法是根據(jù)4×4紋理復(fù)雜度來進行塊嵌入塊的選擇，相比于文獻[16]中的單深度幀內(nèi)模式塊，能獲得更多滿足條件的塊，保證了嵌入容量。同時，由于QR矩陣分解的特性和誤差消除，本算法對視頻質(zhì)量幾乎沒有影響，而文獻[16]通過調(diào)制候選列表索引值，會影響當前塊的重建，從而影響視頻質(zhì)量。由表4可知水印嵌入前后本文算法每一幀的嵌入容量要比文獻[16]算法的嵌入容量要大，并且本文算法峰值信噪比的變化量小于文獻[16]的變化量。

2.4 時間復(fù)雜度的分析

為了進一步測試算法的性能，本文還進行了算法時間復(fù)雜度的分析，它的計算公式為：

其中：ΔT表示的是加入算法后的時間復(fù)雜度，To是原始視頻的編碼時間，Te表示加入水印算法的編碼時間。ΔT越大表示時間復(fù)雜度越高，反之則越低。本文中用了均方差和QR分解兩種較簡單的算法。由表4可知，實現(xiàn)本文算法的時間復(fù)雜度很低。

3 結(jié)語

目前針對現(xiàn)有的3D-HEVC視頻中深度圖的視頻水印算法研究還很少，本文提出了一種基于全幀內(nèi)對深度圖進行魯棒性水印嵌入的算法。首先，獲取視頻幀中的深度圖，將變換量化后的深度圖不重疊地劃分為4×4大小的塊;其次，計算每個4×4塊的像素域均方差，區(qū)分出是紋理塊還是平坦塊;最后，通過計算4×4紋理塊的總能量和閾值比較大小，選出滿足水印嵌入條件的塊，在DC系數(shù)上嵌入水印，并和其他的8個系數(shù)構(gòu)成矩陣進行誤差消除，避免誤差向后續(xù)塊傳播。與文獻[16]相比，本文在保證較好的魯棒性和不可見性的同時，也有較好的水印嵌入容量。

參考文獻 （References）

[1] MULLER K， SCHWARZ H， MARPE D， et al. 3D high-efficiency video coding for multi-view video and depth data [J]. IEEE Transactions on Image Processing， 2013， 22（9）： 3366-3378.

[2] ZHU C， LI S， ZHENG J， et al. Texture-aware depth prediction in 3D video coding [J]. IEEE Transactions on Broadcasting， 2016， 62（2）： 482-486.

[3] SULLIVAN G J， OHM J-R， HAN W-J， et al. Overview of the High Efficiency Video Coding （HEVC） standard [J]. IEEE Transactions on Circuits and Systems for Video Technology， 2012， 22（12）： 1649-1668.

[4] TECH G， CHEN Y， MULLER K， et al. Overview of the multiview and 3D extensions of high efficiency video coding [J]. IEEE Transactions on Circuits and Systems for Video Technology， 2016， 26（1）： 35-49.

[5] ZHANG J， HO A T S， QIU G， et al. Robust video watermarking of H.264/AVC [J]. IEEE Transactions on Circuits and Systems Ⅱ： Express Briefs， 2007， 54（2）： 205-209.

[6] ETEMAD E， SAMAVI S， SOROUSHMEHR S M R， et al. Robust image watermarking scheme using bit-plane of Hadamard coefficients [J]. Multimedia Tools and Applications， 2018， 77（2）： 2033-2055.

[7] 張維緯，張茹，劉建毅，等.基于紋理特征的H.264/AVC頑健視頻水印算法[J].通信學(xué)報，2012（3）：82-89.（ZHANG W W， ZHANG R， LIU J Y， et al. Robust video watermarking algorithm for H.264/AVC based on texture feature [J]. Journal on Communications， 2012， 33（3）： 82-89.）

[8] 付劍晶，陳德人.用于視頻內(nèi)容認證的抗二次壓縮水印算法[J].計算機學(xué)報，2018，41（3）：558-573.（FU J J， CHEN D R， Watermarking algorithm of tolerating the second compression for video content authentication [J]. Chinese Journal of Computers， 2018，41（3）：558-573.）

[9] 江燁倩，宋春霖.一種改進的偽3D-DCT域的視頻零水印算法[J].計算機工程與科學(xué)，2017，39（9）：1721-1728.（JANG Y Q， SONG C L. An improved video zero-watermarking algorithm in pseudo 3D-DCT domain [J]. Computer Engineering and Science， 2017， 39（9）： 1721-1728.）

[10] GAJ S， RANA S， SUR A， et al. A drift compensated reversible watermarking scheme for H.265/HEVC [C]// Proceedings of the 2016 IEEE 18th International Workshop on Multimedia Signal Processing. Piscataway， NJ： IEEE， 2017： 1-6.

[11] MULLER K， SCHWARZ H， MARPE D， et al. 3D high-efficiency video coding for multi-view video and depth data [J]. IEEE Transactions on Image Processing， 2013， 22（9）： 3366-3378.

[12] 李淑芝，胡琴，鄧小鴻.灰度共生矩陣紋理特征選塊的可逆圖像水印[J].光電子·激光，2017，28（4）：411-418.（LI S Z， HU Q， DENG X H. Reversible image watermarking based on texture feature selection of gray level co-occurrence matrix [J]. Journal of Optoelectronics·Laser， 2017， 28（4）： 411-418.）

[13] 韓雪，馮桂，曹海燕.3D-HEVC深度圖幀內(nèi)編碼快速算法[J].信號處理，2018，34（6）：680-687. （HAN X， FENG G， CAO H Y. Efficient fast algorithm for depth map in 3D-HEVC [J]. Journal of Signal Processing， 2018， 34（6）： 680-687.）

[14] 蔡春亭，馮桂，王馳，等.基于幀內(nèi)預(yù)測模式多劃分的HEVC魯棒視頻水印算法[J].計算機應(yīng)用，2017，37（6）：1772-1776.（CAI C T， FENG G， WANG C， et al， Robust video watermarking algorithm for HEVC based on intra-frame prediction modes of multi-partitioning [J]. Journal of Computer Applications， 2017， 37（6）： 1772-1776.）

[15] SU Q， WANG G， ZHANG X， et al. An improved color image watermarking algorithm based on QR decomposition [J]. Multimedia Tools and Applications， 2017， 76（1）： 707-729.

[16] 王靜，郁梅，蔣剛毅，等.基于單深度幀內(nèi)模式的3D-HEVC深度視頻信息隱藏算法[J].光電子·激光，2017，28（8）：893-901.（WANG J， YU M， JIANG G Y， et al. An information hiding algorithm of depth video in 3D-HEVC based on single depth intra mode [J]. Journal of Optoelectronics·Laser， 2017，28（8）： 893-901.）