摘 要：為了節(jié)?。常叮啊闳耙曨l的編碼時間，對通用視頻編碼標(biāo)準(zhǔn)中的編碼單元劃分決策過程進(jìn)行了研究，提出了一種面向３６０°全景視頻的幀內(nèi)預(yù)測編碼的快速算法。通過優(yōu)化編碼樹單元（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ，ＣＴＵ） 的編碼深度范圍和編碼單元的劃分模式的選擇過程，減少編碼時間。實驗結(jié)果表明，在全幀內(nèi)模式下，所提算法比原始算法平均可以節(jié)?。常矗?３３％ 的時間復(fù)雜度，同時帶來的ＢＤＢＲ 平均增量僅為１． ６６５％ ，ＢＤＰＳＮＲ 的平均降低量僅為０． ０７６ ｄＢ。

關(guān)鍵詞：通用視頻編碼；３６０°全景視頻；幀內(nèi)編碼；快速算法

中圖分類號：ＴＰ７５１． １ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０５－１０７４－０９

０ 引言

在通信技術(shù)和數(shù)字技術(shù)的推動下，普通二維視頻和標(biāo)清視頻已無法滿足人們?nèi)找嬖鲩L的視頻需求，視頻應(yīng)用的多樣性和高清化的趨勢對視頻編碼性能提出了更高的要求［１］。為此，國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門（Ｉｎｔｅｒｎａｔｉｏｎａｌ ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ-Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ，ＩＴＵ-Ｔ）與國際標(biāo)準(zhǔn)化組織（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ，ＩＳＯ）和國際電工委員會會（Ｉｎｔｅｒｎａ-ｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ，ＩＥＣ ）合作，于２０２０ 年７ 月正式發(fā)布了最新的視頻編碼標(biāo)準(zhǔn)，即通用視頻編碼（Ｈ． ２６６ ／ ＶＶＣ）標(biāo)準(zhǔn)［２］，為已有和新興的視頻應(yīng)用（如３６０°全景視頻）提供更加強大的壓縮性能及更加靈活易用的功能［３］。

３６０°全景視頻是一種包含全方位視覺信息的球體視頻，具有高幀率、高分辨率和高位深等特點［４］，能夠給人們帶來更真實、更鮮活、更豐富的體驗感，但與此同時，也使得視頻數(shù)據(jù)量成倍增長，需要花費的編碼時間大大增加，影響了３６０°全景視頻在實時性場景中的應(yīng)用［５］。此外，由于目前尚不支持對３６０°全景視頻直接進(jìn)行編碼，需要將３６０°全景視頻的球面圖像投影成二維平面圖像，然后利用傳統(tǒng)的視頻編碼標(biāo)準(zhǔn)框架來完成剩余的編碼工作［６］。因此，面向３６０°全景視頻的快速編碼算法需在視頻編碼標(biāo)準(zhǔn)的基礎(chǔ)上進(jìn)行研究。

Ｗａｎｇ 等［７］在高效視頻編碼（Ｈ． ２６５ ／ ＨＥＶＣ）標(biāo)準(zhǔn)的基礎(chǔ)上結(jié)合等矩形投影（Ｅｑｕｉ-Ｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ，ＥＲＰ）格式的視頻特點，利用深度信息和空間相關(guān)性對最可能模式（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ，ＭＰＭ）過程進(jìn)行了優(yōu)化，減少了幀內(nèi)預(yù)測模式中候選模式的數(shù)量，并利用相鄰預(yù)測單元（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ，ＰＵ）的深度信息和絕對變換差之和（Ｓｕｍ ｏｆ ＡｂｓｏｌｕｔｅＴｒａｎｓｆｏｒｍ Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＴＤ）的相關(guān)性，提出了一種對ＰＵ 提前跳過和終止劃分的操作算法。Ｗａｎｇ等［８］分析了ＥＲＰ 格式的采樣密度的特點，基于ＨＥＶＣ 標(biāo)準(zhǔn)提出去除一些大于編號１８ 的冗余角度模式，并擴(kuò)展小于編號１８ 的角度模式，同時修改了最可能模式的推導(dǎo)方法，實現(xiàn)了針對ＥＲＰ 格式視頻的幀內(nèi)角度模式的快速算法。Ｌｉｕ 等［９］基于ＨＥＶＣ標(biāo)準(zhǔn)對立方體投影格式下ＶＲ ３６０°視頻編碼的編碼參數(shù)進(jìn)行統(tǒng)計分析，提出了一種基于粗略模式?jīng)Q策（Ｒｏｕｇｈ Ｍｏｄｅ Ｄｅｃｉｓｉｏｎ，ＲＭＤ）和ＭＰＭ 之間的候選模式修剪方法。Ｌｉｎ 等［１０］通過分析ＥＲＰ 格式的緯度特性對ＨＥＶＣ 標(biāo)準(zhǔn)中的幀內(nèi)模式?jīng)Q策的影響，考慮了幀內(nèi)依賴關(guān)系和率失真模型，將全局復(fù)雜度分配到所有緯度區(qū)域的問題公式化，提出了一種基于緯度的幀內(nèi)編碼復(fù)雜度優(yōu)化算法。Ｂｅｌｉｎｇ 等［１１］利用ＥＲＰ 格式的拉伸模型，提出在ＨＥＶＣ 標(biāo)準(zhǔn)的幀內(nèi)編碼樹單元（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ，ＣＴＵ）劃分過程中進(jìn)行自適應(yīng)地提前終止。Ｚｈａｎｇ 等［１２］在ＨＥＶＣ 標(biāo)準(zhǔn)的基礎(chǔ)上，根據(jù)ＥＲＰ 過程中的像素坐標(biāo)進(jìn)行自適應(yīng)修正量化參數(shù)補償，并基于深度范圍和空間相關(guān)性預(yù)測實現(xiàn)ＣＵ 劃分的提前終止，以及采用ｐｒｅｗｉｔｔ 算子自適應(yīng)模式選擇算法來減少編碼時間。Ｓｔｏｒｃｈ等［１３］利用３６０°全景視頻的空間特性，通過減少基于幀區(qū)域評估幀內(nèi)預(yù)測模式的數(shù)量，提出一種自適應(yīng)的編碼幀區(qū)域的評估技術(shù)。

綜上可知，面向３６０°全景視頻提出的幀內(nèi)預(yù)測編碼的快速算法都基于ＨＥＶＣ 標(biāo)準(zhǔn)，目前針對３６０°全景視頻基于最新一代的視頻編碼標(biāo)準(zhǔn)ＶＶＣ 的研究正處于初始階段。因此，借鑒前人工作，本文在ＶＶＣ 標(biāo)準(zhǔn)的基礎(chǔ)上，結(jié)合３６０°全景視頻在ＥＲＰ 格式映射過程中采樣不均勻的特點，從ＣＴＵ 編碼深度和ＣＵ 劃分模式兩方面出發(fā)，提出面向３６０°全景視頻的幀內(nèi)預(yù)測編碼的快速算法。

１ ＶＶＣ 標(biāo)準(zhǔn)ＣＵ 劃分模式

ＣＵ 劃分模式是指對ＣＵ 進(jìn)行分割的方式。根據(jù)不同類型的視頻內(nèi)容選擇不同的劃分模式可以提高視頻的編碼效率和預(yù)測精度。因此，為了滿足高清、超高清等新興視頻的編碼需求，ＶＶＣ 標(biāo)準(zhǔn)不僅將ＣＴＵ 尺寸擴(kuò)展為１２８ × １２８，還提供了更靈活的ＣＵ 劃分模式［１４］。

在ＶＶＣ 標(biāo)準(zhǔn)中，共有６ 種ＣＵ 劃分模式，分別是四叉樹（Ｑｕａｄ Ｔｒｅｅ，ＱＴ）、水平二叉樹（ＨｏｒｉｚｏｎｔａｌＢｉｎａｒｙ-ｔｒｅｅ，ＢＨ）、垂直二叉樹（Ｖｅｒｔｉｃａｌ Ｂｉｎａｒｙｔｒｅｅ，ＢＶ）、水平三叉樹（Ｈｏｒｉｚｏｎｔａｌ Ｔｅｒｎａｒｙ-ｔｒｅｅ，ＴＨ）、垂直三叉樹（Ｖｅｒｔｉｃａｌ Ｔｅｒｎａｒｙ-ｔｒｅｅ，ＴＶ）和不劃分。其中，ＢＨ和ＢＶ 統(tǒng)稱為二叉樹，是將一個ＣＵ 分成２ 個大小相等的子ＣＵ；ＴＨ 和ＴＶ 統(tǒng)稱為三叉樹，是在水平或垂直方向產(chǎn)生３ 個比例為１ ∶ ２ ∶ １ 的子ＣＵ［１５］，如圖１ 所示。

確定ＣＴＵ 內(nèi)部最優(yōu)ＣＵ 劃分模式的判別過程是遞歸過程，ＶＶＣ 在遞歸劃分ＣＵ 時需要依次計算采用不劃分、ＱＴ 劃分、ＰＨ 劃分、ＢＶ 劃分、ＴＨ 劃分和ＴＶ 劃分的率失真代價（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ，ＲＤ-ｃｏｓｔ），并選擇ＲＤ-ｃｏｓｔ 最小的劃分模式作為最優(yōu)的劃分方式。通過ＣＵ 劃分模式判別，一幀視頻圖像會被劃分為多個能夠覆蓋全幀且不重疊的ＣＴＵ，并將每個ＣＴＵ 作為根節(jié)點，再執(zhí)行遞歸劃分操作，得到多個ＣＵ。一個ＣＴＵ 通過遞歸劃分為多個ＣＵ 的示例如圖２ 所示，其中，圖２ （ａ）展示了ＶＶＣ 標(biāo)準(zhǔn)中某個大小為１２８ ×１２８ 的ＣＴＵ 在經(jīng)歷復(fù)雜的幀內(nèi)預(yù)測和劃分模式等過程后根據(jù)ＲＤ-ｃｏｓｔ 選出的最優(yōu)劃分結(jié)果；圖２ （ｂ）是對應(yīng)于圖２（ａ）的ＣＵ 劃分結(jié)構(gòu)的樹形圖，其中，黑線表示ＱＴ 劃分，藍(lán)色線表示ＢＴ 劃分，黃色線表示ＴＴ劃分。

２ 提出的算法

該算法首先利用ＥＲＰ 格式的采樣特點、ＣＴＵ 的紋理復(fù)雜度以及空間相關(guān)性，對編碼深度范圍進(jìn)行優(yōu)化，以實現(xiàn)ＣＵ 劃分過程中的提前終止；然后，針對大小為３２×３２ 的ＣＵ 利用紋理方向信息，優(yōu)化ＣＵ的劃分模式的選擇過程，以進(jìn)一步實現(xiàn)對ＣＵ 劃分過程的簡化操作。

２． １ 基于緯度的ＣＴＵ 深度決策方法

３６０°全景視頻在映射為ＥＲＰ 格式的過程中，為了保證球面采樣的等角特性，在不同緯度區(qū)域均采用了相同的采樣點［１６］，造成３６０°全景視頻在球面不同緯度區(qū)域存在不同程度的拉伸。這導(dǎo)致采用傳統(tǒng)的視頻編碼方法對３６０°全景視頻壓縮效果并不理想，需要在傳統(tǒng)視頻編碼的基礎(chǔ)上，針對其特點進(jìn)行編碼優(yōu)化。因此對ＥＲＰ 格式的３６０°全景視頻進(jìn)行分析總結(jié)：越靠近兩極，拉伸程度越重，采樣率越高，且視頻內(nèi)容常為天空或大地，編碼深度較小，編碼塊較大；越靠近赤道，拉伸程度越輕，采樣率越低，且視頻內(nèi)容越豐富，編碼深度較大，編碼塊較小；對于中間區(qū)域，情況較復(fù)雜，無法直接判定出編碼塊大小，但此區(qū)域的圖像內(nèi)容通常較為復(fù)雜，應(yīng)兼顧深度較小和深度較大的情況。

基于上述分析，提出對ＥＲＰ 格式的３６０°全景視頻進(jìn)行區(qū)域劃分，通過ＣＴＵ 所處區(qū)域判定其編碼深度的范圍。首先，將ＥＲＰ 格式的整幅圖像劃分為３ 個區(qū)域，分別是兩極區(qū)域、赤道區(qū)域以及中間區(qū)域；然后，以ＣＴＵ 的權(quán)重值作為判斷當(dāng)前ＣＴＵ 所處區(qū)域的依據(jù)。

獲取權(quán)重值的思想是以ＣＴＵ 為基本單元，計算每一行像素的權(quán)重值，再將其求和并取平均，最終得到的值即為該ＣＴＵ 的權(quán)重值。其中，每一行權(quán)重值ｗｊ 的計算方法如式（１）所示，ｊ 為每個ＣＴＵ 最左側(cè)一列像素的縱坐標(biāo)，Ｈ 為視頻幀的高度；第ｉ 個ＣＴＵ 的權(quán)重值ωｉ 的計算方法如式（２）所示，ＣＴＵＨ為ＣＴＵ 的高度。

通過大量實驗得出ωｉ ?。埃?４、０． ９ 作為３ 種區(qū)域的閾值時，可以在編碼效率和編碼質(zhì)量之間取得較好的平衡，則ＣＴＵ 所屬區(qū)域如下：

式中：ＣＴＵｉ 表示第ｉ 個ＣＴＵ，ＰＯＬＥ、ＭＩＤ、ＥＱＵＡ 分別表示ＣＴＵ 所處的區(qū)域為兩極區(qū)域、中間區(qū)域和赤道區(qū)域。

在ＶＶＣ 標(biāo)準(zhǔn)中，ＣＴＵ 默認(rèn)的最大編碼深度為６，最小為０。因此，將兩極區(qū)域的編碼深度設(shè)置為Ｄ１ ＝ ［０，４］，中間區(qū)域的編碼深度設(shè)置為Ｄ２ ＝ ［２，５］，赤道區(qū)域的編碼深度設(shè)置為Ｄ３ ＝ ［３，６］。由于每個ＣＴＵ 必然會有一個區(qū)域與之相對應(yīng)，因此將ＣＴＵ 所屬區(qū)域的編碼深度區(qū)間作為當(dāng)前ＣＴＵ 的編碼深度區(qū)間，則每個ＣＴＵ 的深度ＤＮ１ 可由式（４）確定：

２． ２ 基于方差的ＣＴＵ 深度決策方法

由于３６０°全景視頻通常包含很多如天空、海平面或草地等形式的平坦區(qū)域，且經(jīng)實驗發(fā)現(xiàn)在平坦區(qū)域中判斷紋理復(fù)雜度時采用方差法獲得的結(jié)果較為準(zhǔn)確，因此選用方差法計算每個ＣＴＵ 的紋理復(fù)雜度。具體計算方法如下：

式中：ｖａｒ 為方差值，（ｉ，ｊ）為當(dāng)前ＣＴＵ 中的左上頂點像素的坐標(biāo)值，ＣＵ＿Ｗ 和ＣＵ＿Ｈ 為最大ＣＵ 的寬度和高度。

根據(jù)每個視頻的圖像內(nèi)容自適應(yīng)地選擇判斷紋理復(fù)雜度的閾值，并根據(jù)視頻序列的幀率進(jìn)行更新閾值。將ＣＴＵ 根據(jù)紋理復(fù)雜程度區(qū)分為３ 類，分別為簡單ＣＴＵ、一般ＣＴＵ 和復(fù)雜ＣＴＵ。當(dāng)ＣＴＵ 的方差高于上閾值（Ｔｔ）時，可以判定該ＣＴＵ 具有豐富的圖像細(xì)節(jié)，可直接計算小尺寸ＣＵ 的ＲＤ-ｃｏｓｔ 值，而不考慮適用于簡單紋理的大尺寸ＣＵ；當(dāng)ＣＴＵ 的方差值低于下閾值（Ｔｌ）時，判定該ＣＴＵ 位于圖像平滑區(qū)域，此時可以終止ＣＴＵ 遞歸到更高的編碼深度，跳過對劃分結(jié)構(gòu)復(fù)雜和編碼深度較大的ＣＵ 進(jìn)行ＲＤ-ｃｏｓｔ 值的計算。

具體算法是首先將視頻序列分為原始算法幀和算法優(yōu)化幀，間隔為當(dāng)前視頻的幀率值；然后，在原始算法幀中，按照ＶＶＣ 標(biāo)準(zhǔn)的幀內(nèi)預(yù)測的原始算法進(jìn)行編碼，并在編碼完成后，計算所有ＣＴＵ 的方差值以及存儲各個ＣＴＵ 內(nèi)所有ＣＵ 的深度值；最后，在算法優(yōu)化幀中，去除相同的方差值，并在計算上閾值時，將去重后的方差值按照從小到大的順序進(jìn)行排列，表示為［ＮＰｍｉｎ，ＮＰｍａｘ ］，而在計算下閾值時，將去重后的方差值按照從大到小的順序進(jìn)行排列，表示為［ＮＰｍａｘ，ＮＰｍｉｎ］。

獲取上閾值的方法是首先遍歷［ＮＰｍｉｎ，ＮＰｍａｘ ］，以當(dāng)前ＮＰ 作為上閾值，統(tǒng)計滿足所有ＣＴＵ 的方差值大于等于當(dāng)前ＣＴＵ 的方差值且當(dāng)前ＣＴＵ 內(nèi)的ＣＵ深度大于２ 的ＣＵ 個數(shù)，以及不滿足的ＣＵ 個數(shù)，從而計算當(dāng)前ＮＰ 的劃分準(zhǔn)確率Ａ。Ａ 的計算如式（６）所示。式中：Ｒ 為正確劃分?jǐn)?shù)，指滿足條件的ＣＵ 個數(shù)；Ｅ 為錯誤劃分?jǐn)?shù)，指不滿足條件的ＣＵ 個數(shù)。Ｒ 和Ｅ 的初始值均為０，在原始算法幀編碼結(jié)束后，根據(jù)式（７）和式（８）計算上閾值的Ｒ 和Ｅ。

獲取下閾值的方法和上閾值的相類似。不同之處是遍歷［ＮＰｍａｘ，ＮＰｍｉｎ ］，以當(dāng)前ＮＰ 作為下閾值，統(tǒng)計滿足所有ＣＴＵ 的方差值小于等于當(dāng)前ＣＴＵ 的方差值且當(dāng)前ＣＴＵ 內(nèi)的ＣＵ 深度小于５ 的ＣＵ 個數(shù)，以及不滿足的ＣＵ 個數(shù)。

當(dāng)Ａ 首次滿足準(zhǔn)確率的條件時，終止遍歷，并選取當(dāng)前的ＮＰ 的值為新的閾值，直到下一原始算法幀，重新計算ＮＰ 。為了權(quán)衡編碼時間和視頻質(zhì)量，在產(chǎn)生盡可能少的失真的同時，可以最大程度地節(jié)省編碼時間，本文通過大量實驗總結(jié)得出不同ＱＰ下的劃分準(zhǔn)確率的條件，如表１ 所示。

將簡單ＣＴＵ 的編碼深度設(shè)置為Ｄ４ ＝ ［０，４］，復(fù)雜ＣＴＵ 的編碼深度設(shè)置為Ｄ５ ＝ ［３，６］，不更改一般ＣＴＵ 的編碼深度區(qū)間，則此時各個ＣＴＵ 的編碼深度區(qū)間可以通過式（９）確定。

式中：Ｄ４ 、Ｄ５ 為前文所定義的區(qū)間，ＤＮ２ 為當(dāng)前ＣＴＵ的編碼深度區(qū)間，ＳＩＭＰＬＥ、ＧＥＮＥＲＡＬ 和ＣＯＭＰＬＥＸ分別為簡單ＣＴＵ、一般ＣＴＵ 和復(fù)雜ＣＴＵ。

２． ３ 基于空間相關(guān)性的ＣＴＵ 深度決策方法

由于同一幀中的空間相鄰ＣＵ 通常具有相同或相似的紋理，故編碼深度具有較強的空間相關(guān)性。在ＶＶＣ 標(biāo)準(zhǔn)中，幀內(nèi)預(yù)測按照Ｚ 字形順序?qū)Γ茫?進(jìn)行編碼，在對當(dāng)前ＣＴＵ 進(jìn)行編碼時，其左側(cè)相鄰的ＣＴＵ 與上方相鄰的ＣＴＵ 已經(jīng)完成編碼，因此可以利用這２ 個相鄰ＣＴＵ 的深度信息預(yù)測當(dāng)前ＣＴＵ 的編碼深度范圍，以進(jìn)一步縮小當(dāng)前ＣＴＵ 的編碼深度范圍，從而實現(xiàn)減少ＲＤｃｏｓｔ 的計算次數(shù)，縮短編碼時間。

當(dāng)左側(cè)相鄰的ＣＴＵ 與上方相鄰的ＣＴＵ 的最大編碼深度均小于等于５，且當(dāng)前ＣＴＵ 的最大編碼深度大于４ 時，將當(dāng)前ＣＴＵ 的最大編碼深度減１，最小編碼深度不變；而當(dāng)左側(cè)相鄰的ＣＴＵ 與上方相鄰的ＣＴＵ 的最小編碼深度均大于等于３，且當(dāng)前ＣＴＵ 的最小編碼深度小于４ 時，將當(dāng)前ＣＴＵ 的最小編碼深度加１，最大編碼深度不變。此時各個ＣＴＵ 的編碼深度區(qū)間表示方法如下：

式中：ＤＮ３ 為當(dāng)前ＣＴＵ 的編碼深度區(qū)間，Ｄｌ＿ｍａｘ和Ｄａ＿ｍａｘ 分別為左側(cè)和上方相鄰ＣＴＵ 的最大編碼深度，Ｄｌ＿ｍｉｎ 和Ｄａ＿ｍｉｎ 分別為左側(cè)和上方相鄰ＣＴＵ 的最小編碼深度，ｏｔｈｅｒ 為除上述條件外的其他情況。

２． ４ 基于梯度的ＣＵ 劃分模式?jīng)Q策方法

鑒于最大二叉樹尺寸和最大三叉樹尺寸都是３２，且小ＣＵ 不會占用太多編碼時間，因此針對大小為３２×３２ 的ＣＵ 做進(jìn)一步優(yōu)化。利用Ｓｏｂｅｌ 梯度算子提取出的邊緣特征決定是否跳過垂直或水平劃分模式。

Ｓｏｂｅｌ 算子使用２ 個３×３ 的卷積核，分別對圖像進(jìn)行水平和垂直方向的卷積運算。值得注意的是Ｓｏｂｅｌ 算子在卷積運算時，無法對最外一圈的像素值做運算，因此，在計算梯度前先對原始視頻圖像的最外圈進(jìn)行像素值的填充。填充方法是對最頂行、最底行、最左列和最右列中的像素采用最近原則進(jìn)行填充，即在需要填充像素值的位置使用距離最近的像素值進(jìn)行填充，如圖３ 所示，其中，Ｗ 和Ｈ 為原始視頻大小的寬和高，陰影部分表示原始視頻，白色部分為填充部分，每個小方塊均代表一個像素。

由Ｓｏｂｅｌ 算子提取邊緣特征，得到邊緣圖后，將在邊緣圖中坐標(biāo)為（ｘ，ｙ）的像素值記錄為ｓｏｂｅｌ（ｘ，ｙ）。如果ｓｏｂｅｌ（ｘ，ｙ）不等于０，則將ｓｏｂｅｌ（ｘ，ｙ）設(shè)為１，否則設(shè)為０；然后，使用ＶＥ 和ＨＥ 的比值來表示紋理方向的趨勢是水平或垂直。

ＶＥ 和ＨＥ 的計算如下：

式中：ｖｅｉ 和ｈｅｉ 分別為ｙ ＝ ｉ 和ｘ ＝ ｉ 時ｓｏｂｅｌ（ｘ，ｙ）不為０ 的邊緣點的數(shù)量，ＶＥ 為垂直方向上的邊緣長度，ＨＥ 為水平方向上的邊緣長度。

當(dāng)ＶＥ／ＨＥ＞１ 時，說明該ＣＵ 內(nèi)更多存在的是垂直方向上的紋理，更有可能采用垂直劃分模式進(jìn)行劃分該ＣＵ，因而，提前跳過水平劃分模式，即跳過ＢＨ 和ＴＨ 的劃分方式；當(dāng)ＨＥ／ＶＥ ＞１ 時，說明該ＣＵ 的水平方向的紋理趨勢較強于垂直方向的紋理趨勢，提前跳過垂直劃分模式，即跳過ＢＶ 和ＴＶ 的劃分方式。

綜上所述，本文所提算法的流程如圖４ 所示。判斷３６０°全景視頻的ＥＲＰ 格式視頻序列的當(dāng)前幀是否為算法優(yōu)化幀。若當(dāng)前幀不是算法優(yōu)化幀，即為原始算法幀，采用ＶＶＣ 標(biāo)準(zhǔn)的原始算法。若當(dāng)前幀為算法優(yōu)化幀，則首先根據(jù)當(dāng)前ＣＴＵ 的權(quán)重值ωｉ判斷出當(dāng)前ＣＴＵ 所處區(qū)域，初步確定當(dāng)前ＣＴＵ 的深度范圍為ＤＮ１ ；其次判斷ＣＴＵ 的方差ｖａｒ 與下閾值（Ｔｌ）和上閾值（Ｔｔ ）的關(guān)系，從而判定出當(dāng)前ＣＴＵ的紋理復(fù)雜度，得到當(dāng)前ＣＴＵ 的深度范圍為ＤＮ２ ；然后結(jié)合左側(cè)相鄰的ＣＴＵ、上方相鄰的ＣＴＵ 和當(dāng)前ＣＴＵ 的編碼深度，進(jìn)一步判斷出當(dāng)前ＣＴＵ 的深度范圍為ＤＮ３ ；最后判斷當(dāng)前ＣＵ 尺寸是否為３２×３２，若是，則繼續(xù)判斷ＶＥ 和ＨＥ 之間的比值關(guān)系，并據(jù)此抉擇出是否跳過垂直或水平劃分模式，若否，則本文算法至此結(jié)束。

３ 實驗結(jié)果

為驗證本文方法的性能，將本文提出的算法在ＪＶＥＴ 提供的集成了３６０Ｌｉｂ 的官方參考軟件３６０Ｌｉｂ１２． ０-ＶＴＭ１１． ０ 上進(jìn)行測試。在全幀內(nèi)模式和通用測試條件［１７］下對ＪＶＥＴ 推薦的３６０°全景視頻序列進(jìn)行測試。編碼配置的量化參數(shù)ＱＰｓ 指定為｛２２，２７，３２，３７｝。采用被廣泛認(rèn)可的客觀評價指標(biāo)ＢＤＰＳＮＲ 和ＢＤＢＲ 來評價本文提出的算法的編碼性能，同時，采用Ｔｉｍｅ Ｒｅｄｕｃｔｉｏｎ（ＴＲ）來表示編碼器復(fù)雜度的降低［１８］，計算如下：

式中：ＴＶＴＭ１１． ０ 表示原始算法的ＶＶＣ 編碼器所耗費的編碼時間，ＴＰ 表示所提算法的ＶＶＣ 編碼器所耗費的編碼時間。

所提算法和原始算法的對比結(jié)果如表２ 所示?？梢钥闯?，相對于原始算法，所提算法在ＢＤＢＲ 平均增加１． ６６５％ 和ＢＤＰＳＮＲ 平均損失０． ０７６ ｄＢ 的前提下，編碼時間平均縮減了３４． ３３％ 。在編碼效率損失方面，所提算法的編碼效率損失最低為０． ９２４％ ，最高為２． ２５６％ ；在時間節(jié)省方面，所提算法的時間節(jié)省最低為２５． ２１％ ，最高為４４． ５０％ ，平均為３４． ３３％ ，說明所提算法針對不同類型的視頻序列均可以有效降低編碼的計算復(fù)雜度，提升編碼速度，并保證圖像質(zhì)量幾乎不變。

為了更直觀地表示編碼器性能的損失，將所提算法與ＶＶＣ 原始算法的率失真曲線進(jìn)行比較，如圖５ 所示。與ＶＴＭ１１． ０ 標(biāo)準(zhǔn)算法相比，所提算法的率失真曲線和原始算法的率失真曲線非常接近。這表明對于不同分辨率大小且視頻內(nèi)容完全不同的測試序列，該算法對編碼時間均有不同程度的縮減，都降低了編碼復(fù)雜度，且視頻質(zhì)量損失可忽略不計。

人眼是視頻信號的最終接收方，因此，除客觀質(zhì)量評價指標(biāo)外，視頻的主觀質(zhì)量評價也較為重要。由于ＱＰ 越大，視頻質(zhì)量越低，使得通過主觀判斷原始算法和本文所提算法之間的差異越困難，本文截取了ＰｏｌｅＶａｕｌｔ＿ｌｅ 測試序列在ＱＰ 為２２ 時的解碼幀圖像，如圖６ 所示。從圖６ 中的原始算法和本文所提算法的解碼幀的對比圖以及相對應(yīng)的細(xì)節(jié)放大圖中，可以看出天空、房屋、樹木、人物及車輛等部分幾乎完全一樣。說明使用本文所提算法進(jìn)行編解碼的視頻序列在視頻質(zhì)量方面所造成的影響微乎其微。

４ 結(jié)束語

為解決３６０°全景視頻編碼時間過長的問題，本文在ＶＶＣ 標(biāo)準(zhǔn)的基礎(chǔ)上結(jié)合３６０°全景視頻在ＥＲＰ格式映射過程中采樣不均勻的特點，提出了一種面向３６０°全景視頻的幀內(nèi)預(yù)測編碼的快速算法。該算法首先將視頻劃分為３ 個區(qū)域，根據(jù)ＣＴＵ 所處區(qū)域初步判定當(dāng)前ＣＴＵ 的編碼深度范圍；然后，根據(jù)各個ＣＴＵ 的方差值和自適應(yīng)更新的雙閾值對每個ＣＴＵ 按照紋理復(fù)雜度進(jìn)行分類，以進(jìn)一步限制當(dāng)前ＣＴＵ 的編碼深度范圍；最后，利用編碼深度信息的空間相關(guān)性，將相鄰ＣＴＵ 的深度范圍作為參考，完成對當(dāng)前ＣＴＵ 編碼深度范圍的最終決策。同時，針對大小為３２ ×３２ 的ＣＵ，利用紋理信息跳過垂直或水平劃分模式，以優(yōu)化ＣＵ 劃分模式的選擇過程。實驗結(jié)果表明，與原始算法相比，在全幀內(nèi)模式下，該算法有效簡化了３６０°全景視頻的幀內(nèi)編碼ＣＵ 劃分決策過程，平均可以節(jié)省３４． ３３％ 的時間復(fù)雜度，同時帶來的ＢＤＢＲ 平均增量僅為１． ６６５％ ，ＢＤＰＳＮＲ的平均降低量僅為０． ０７６ ｄＢ。在幾乎不損失視頻質(zhì)量的情況下，所提算法降低了３６０°全景視頻的編碼復(fù)雜度，有效縮短了編碼時間。

參考文獻(xiàn)

［１］ 帥鑫，卿粼波，何小海，等． 一種基于卷積神經(jīng)網(wǎng)絡(luò)的ＶＶＣ 去壓縮偽影半盲方法［Ｊ］． 無線電工程，２０２２，５２（１０）：１７０２－１７０９．

［２］ ＺＨＡＮＧ Ｈ Ｃ，ＹＵ Ｌ，ＬＩ Ｔ Ｓ，ｅｔ ａｌ． Ｆａｓｔ ＧＬＣＭｂａｓｅｄ ＩｎｔｒａＢｌｏｃｋ Ｐａｒｔｉｔｉｏｎ ｆｏｒ ＶＶＣ ［Ｃ］∥ ２０２１ Ｄａｔａ ＣｏｍｐｒｅｓｓｉｏｎＣｏｎｆｅｒｅｎｃｅ （ＤＣＣ）． Ｓｎｏｗｂｉｒｄ：ＩＥＥＥ，２０２１：３８２．

［３］ 萬帥，霍俊彥，馬彥卓，等． 新一代通用視頻編碼Ｈ．２６６ ／ ＶＶＣ：原理，標(biāo)準(zhǔn)與實現(xiàn)［Ｍ］． 北京：電子工業(yè)出版社，２０２２．

［４］ ＴＳＡＮＧ Ｓ Ｈ，ＣＨＡＮ Ｙ Ｌ． ３６０ｄｅｇｒｅｅ Ｉｎｔｒａ Ｃｏｄｉｎｇ Ｍｏｄｅｆｏｒ Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ Ｆｏｒｍａｔ Ｖｉｄｅｏｓ［Ｃ］∥２０２０ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＳＣＡＳ）． Ｓｅｖｉｌｌｅ：ＩＥＥＥ，２０２０：１－５．

［５］ 吳志強，郁梅，姜浩，等． 基于感興趣區(qū)域的３６０° 全景視頻編碼［Ｊ］． 激光與光電子學(xué)進(jìn)展，２０１８，５５ （６）：１９１－１９７．

［６］ ＨＥ Ｙ，ＶＩＳＨＷＡＮＡＴＨ Ｂ． ＡＨＧ８：Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆＩｎｔｅｒｄｉｇｉｔａｌ’ｓ Ｐｒｏｊｅｃｔｉｏｎ Ｆｏｒｍａｔ Ｃｏｎｖｅｒｓｉｏｎ Ｔｏｏｌ （ＰＣＴ３６０）［Ｃ］∥Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ （ＪＶＥＴ）ｏｆ ＩＴＵＴ ＳＧ１６ ＷＰ ３ ａｎｄ ＩＳＯ／ ＩＥＣ ＪＴＣ １／ ＳＣ ２９／ ＷＧ １１． Ｃｈｅｎｇｄｕ：［ｓ．ｎ． ］，２０１６：５６０－５６９．

［７］ ＷＡＮＧ Ｙ Ｂ，ＬＩ Ｙ Ｍ，ＹＡＮＧ Ｄ Ｑ，ｅｔ ａｌ． Ａ Ｆａｓｔ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ３６０ｄｅｇｒｅｅ Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ ＰａｎｏｒａｍｉｃＶｉｄｅｏ［Ｃ］∥２０１７ ＩＥＥＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ （ＶＣＩＰ）． Ｓｔ． Ｐｅｔｅｒｓｂｕｒｇ：ＩＥＥＥ，２０１８：１－４．

［８］ ＷＡＮＧ Ｙ Ｂ，ＣＨＥＮ Ｚ Ｚ，ＬＩＵ Ｓ． ＥｑｕｉｒｅｃｔａｎｇｕｌａｒＰｒｏｊｅｃｔｉｏｎ Ｏｒｉｅｎｔｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ３６０ｄｅｇｒｅｅ ＶｉｄｅｏＣｏｄｉｎｇ［Ｃ］∥２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＶＣＩＰ ）．Ｍａｃａｕ：ＩＥＥＥ，２０２０：４８３－４８６．

［９］ ＬＩＵ Ｚ，ＸＵ Ｃ，ＺＨＡＮＧ Ｍ Ｍ，ｅｔ ａｌ． Ｆａｓｔ Ｉｎｔｒａ ＰｒｅｄｉｃｔｉｏｎＡｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ３６０ Ｄｅｇｒｅｅ Ｖｉｄｅｏ Ｂａｓｅｄ ｏｎＩｍｐｒｏｖｅｄ ＲＭＤ［Ｃ］∥２０１９ Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（ＤＣＣ）． Ｓｎｏｗｂｉｒｄ：ＩＥＥＥ，２０１９：５９３．

［１０］ ＬＩＮ Ｊ Ｌ，ＬＩＮ Ｌ Ｑ，ＬＩ Ｗ Ｍ，ｅｔ ａｌ． Ｌａｔｉｔｕｄｅｂａｓｅｄ ＦｌｅｘｉｂｌｅＣｏｍｐｌｅｘｉｔｙ Ａｌｌｏｃａｔｉｏｎ ｆｏｒ ３６０ｄｅｇｒｅｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，２０２２，６８ （３ ）：５７２－５８１．

［１１］ ＢＥＬＩＮＧ Ｂ，ＳＴＯＲＣＨ Ｉ，ＡＧＯＳＴＩＮＩ Ｌ，ｅｔ ａｌ． ＥＲＰｂａｓｅｄＣＴＵ Ｓｐｌｉｔｔｉｎｇ Ｅａｒｌｙ Ｔｅｒｍｉｎａｔｉｏｎ ｆｏｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｏｆ３６０ Ｖｉｄｅｏｓ［Ｃ］∥２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＶｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＶＣＩＰ ）．Ｍａｃａｕ：ＩＥＥＥ，２０２０：３５９－３６２．

［１２］ ＺＨＡＮＧ Ｍ Ｍ，ＺＨＡＮＧ Ｊ，ＬＩＵ Ｚ，ｅｔ ａｌ． Ａｎ ＥｆｆｉｃｉｅｎｔＣｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｆｏｒ ３６０ｄｅｇｒｅｅ Ｖｉｄｅｏ Ｂａｓｅｄ ｏｎＩｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ ＱＰ Ｃｏｍｐｅｎｓａｔｉｏｎ ａｎｄ Ｅａｒｌｙ ＣＵ Ｐａｒｔｉｔｉｏｎ Ｔｅｒｍｉｎａｔｉｏｎ［Ｊ］． Ｍｕｌｔｉｍｅｄｉａ Ｔｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，２０１９，７８（１）：１０８１－１１０１．

［１３］ ＳＴＯＲＣＨ Ｉ，ＺＡＴＴ Ｂ，ＡＧＯＳＴＩＮＩ Ｌ，ｅｔ ａｌ． ＳｐａｔｉａｌｌｙＡｄａｐｔｉｖｅ Ｉｎｔｒａ Ｍｏｄｅ Ｐｒｅｓｅｌｅｃｔｉｏｎ ｆｏｒ ＥＲＰ ３６０ ＶｉｄｅｏＣｏｄｉｎｇ ［Ｃ ］∥ ２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＡｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｂａｒｃｅｌｏｎａ：ＩＥＥＥ，２０２０：２１７８－２１８２．

［１４］ ＬＩ Ｗ，ＦＡＮ Ｃ Ｘ，ＲＥＮ Ｐ． Ｆａｓｔ Ｉｎｔｒａｐｉｃｔｕｒｅ Ｐａｒｔｉｔｉｏｎｉｎｇｆｏｒ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ［Ｃ］∥２０２０ ＩＥＥＥ ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＳＩＰ）． Ｎａｎｊｉｎｇ：ＩＥＥＥ，２０２０：１０８－１１１．

［１５］ ＢＯＳＳＥＮ Ｆ，ＳＵＨＲＩＮＧ Ｋ，ＷＩＥＣＫＯＷＳＫＩ Ａ，ｅｔ ａｌ． ＶＶＣＣｏｍｐｌｅｘｉｔｙ ａｎｄ Ｓｏｆｔｗａｒｅ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ Ａｎａｌｙｓｉｓ ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ ＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，２０２１，３１（１０）：３７６５－３７７８．

［１６］ ＹＥ Ｙ，ＢＯＹＣＥ Ｊ Ｍ，ＨＡＮＨＡＲＴ Ｐ． Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ３６０°Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ ｉｎ Ｒｅｓｐｏｎｓｅｓ ｔｏ ｔｈｅ Ｊｏｉｎｔ Ｃａｌｌｆｏｒ Ｐｒｏｐｏｓａｌｓ ｏｎ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ＣａｐａｂｉｌｉｔｙＢｅｙｏｎｄ ＨＥＶＣ ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄＳｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，２０１９，３０（５）：１２４１－１２５２

［１７］ ＢＯＹＣＥ Ｊ Ｍ，ＡＬＳＨＩＮＡ Ｅ，ＡＢＢＡＳ Ａ，ｅｔ ａｌ． ＪＶＥＴＤ１０３０：ＪＶＥＴ Ｃｏｍｍｏｎ Ｔｅｓｔ Ｃｏｎｄｉｔｉｏｎｓ ａｎｄ ＥｖａｌｕａｔｉｏｎＰｒｏｃｅｄｕｒｅｓ ｆｏｒ ３６０° Ｖｉｄｅｏ［Ｃ］∥ＩＴＵＴ ＳＧ １６ ＷＰ ３ ａｎｄＩＳＯ ／ ＩＥＣ ＪＴＣ １ ／ ＳＣ ２９ ／ ＷＧ １１ ７ｔｈ Ｍｅｅｔｉｎｇ． Ｔｏｒｉｎｏ：［ｓ．ｎ． ］，２０１６：１２０５－１２１３．

［１８］ ＺＨＡＮＧ Ｍ Ｌ，ＣＨＥＮ Ｙ Ｓ，ＬＵ Ｘ，ｅｔ ａｌ． Ｆａｓｔ Ｃｏｄｉｎｇ ＵｎｉｔＰａｒｔｉｔｉｏｎ Ｄｅｃｉｓｉｏｎ ｆｏｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｉｎ Ｖｅｒｓａｔｉｌｅ ＶｉｄｅｏＣｏｄｉｎｇ［Ｃ］∥Ｔｈｅ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅａｎｄ Ｇｒａｐｈｉｃｓ （ＩＣＩＧ ２０２１）． Ｈａｉｋｏｕ：ＡＣＭ，２０２１：７００－７１１．

作者簡介

金雪松 男，（１９７５—），博士，教授。主要研究方向：圖像處理與模式識別、深度學(xué)習(xí)。

王田田 女，（１９９７—），碩士研究生。主要研究方向：視頻編碼。

基金項目：黑龍江省自然科學(xué)基金（Ｆ２０１８０２０）