張洋，任郭晶，馮清娟，楊鴻波

(北京信息科技大學(xué) 自動化學(xué)院，北京 100192)

0 引言

水下視覺觀測是自主式水下航行器(autonomous underwater vehicle，AUV)、載人潛水器(human occupied vehicle，HOV)等先進(jìn)的海洋裝備最直接、最有效的探測方式。由海洋裝備采集到的水下視頻圖像，利用編解碼技術(shù)通過水聲信道傳輸?shù)剿婺复蚬ぷ髡尽Ｋ曅诺雷鳛樗卵b備與水面母船之間進(jìn)行遠(yuǎn)距離無線通信交互的主要途徑，擺脫了對傳輸線纜的依賴，與有線通信方式相比具有更高的靈活性。受限于聲學(xué)信號的傳播特性，水聲信道是一個時、空、頻變的多徑傳輸通道[1]，具有帶寬窄、遠(yuǎn)距離傳播延時高、傳輸易錯三大缺陷。視頻編碼算法在滿足水聲信道容量要求的同時，其相應(yīng)的副作用是高壓縮比碼流對傳輸差錯非常敏感，碼流中少數(shù)幾個二進(jìn)制位上的錯誤或丟包，即可對視頻質(zhì)量產(chǎn)生較大影響。如圖1所示，由于水聲信道傳輸差錯造成接收端解碼視頻質(zhì)量惡化，會因此干擾水上人員根據(jù)水下視頻進(jìn)行實(shí)時環(huán)境監(jiān)測和任務(wù)下達(dá)，延誤AUV/HOV作業(yè)進(jìn)度。因此，水下視頻編碼方法在提升壓縮性能的同時，必須具備抗誤碼能力，以確保水聲傳輸后的視頻質(zhì)量。

圖1 水聲信道傳輸差錯對視頻質(zhì)量的影響

相比于單目/單視點(diǎn)成像方式，多視點(diǎn)成像可提供更多的觀測視角和更大的觀測范圍。如圖2所示，無論是通過圖2(a)所示單臺AUV/HOV上裝配多部相機(jī)的形式，還是通過圖2(b)所示多臺AUV組成分布式觀測集群的形式，水下多視點(diǎn)成像技術(shù)均可顯著提升海洋探測與作業(yè)裝備的視覺感知能力，拓展其應(yīng)用領(lǐng)域，例如AUV集群協(xié)同導(dǎo)航、水下目標(biāo)三維重建、海底地貌繪制、海洋資源勘查、失事船艦殘骸搜尋、海底油氣管道檢修、海洋軍事防務(wù)等。另外，隨著近些年水下智能物聯(lián)網(wǎng)(internet of underwater things，IoUT)的發(fā)展，多視點(diǎn)成像技術(shù)也被逐漸應(yīng)用于圖2(c)所示的水下無線傳感器網(wǎng)絡(luò)中。針對無線水聲通信速率低、延時高和傳輸易錯這三大問題，開展水下多視點(diǎn)視頻容錯編碼與傳輸關(guān)鍵技術(shù)研究十分必要，實(shí)現(xiàn)多視點(diǎn)視頻數(shù)據(jù)的高效編碼、快速傳輸和高質(zhì)量解碼，可達(dá)到利用水聲信道實(shí)時、有效地傳輸深海多視點(diǎn)視覺觀測信息的目標(biāo)。

圖2 水下多視點(diǎn)觀測應(yīng)用場景

本文回顧了面向水聲信道傳輸?shù)囊曨l編碼技術(shù)研究進(jìn)展，分別介紹了水下單視點(diǎn)視頻編碼、水下單視點(diǎn)視頻容錯編碼和多視點(diǎn)編碼研究取得的成果，最后總結(jié)了現(xiàn)有技術(shù)存在的問題以及未來的發(fā)展方向。

1 水下單視點(diǎn)視頻編碼

在水下遠(yuǎn)距離無線通信中，水聲信道的超窄帶寬限制了視頻數(shù)據(jù)的實(shí)時傳輸。我國著名的“蛟龍?zhí)枴盵2-4]、“深海勇士號”[5]和“奮斗者號”[6]等載人潛水器的水聲通信系統(tǒng)，在千米級下潛范圍內(nèi)的傳輸速率約為 5～15 kbit/s，僅能傳輸數(shù)據(jù)量較小的單幅靜態(tài)圖像、文字和語音，尚未實(shí)現(xiàn)水下觀測視頻的實(shí)時輸送。

目前面向水聲通信的水下視頻編碼算法大多旨在提升壓縮效率，并且是針對單視點(diǎn)成像系統(tǒng)而設(shè)計(jì)，這些算法可分為兩大類：基于標(biāo)準(zhǔn)編碼器的改進(jìn)算法和自主設(shè)計(jì)的編碼算法。

常用的視頻標(biāo)準(zhǔn)編碼器，例如H.264/AVC[7]、MPEG-4[8]、HEVC[9]、VP9[10]等，主要是針對數(shù)據(jù)傳輸率在100～1 000 kbit/s的陸上應(yīng)用場合而設(shè)計(jì)的，很難在信道容量小于100 kbit/s的水聲信道上發(fā)揮其編碼優(yōu)勢。Campagnaro等[11]對比了不同的標(biāo)準(zhǔn)編碼器在水聲信道上的編碼表現(xiàn)，仿真實(shí)驗(yàn)結(jié)果證明編碼器VP9在小信道容量下的壓縮效率優(yōu)于H.264和HEVC，但在實(shí)際測試中VP9僅能傳輸分辨率為200×96、幀率為5幀/s的低質(zhì)量視頻。

為了匹配水聲信道的數(shù)據(jù)吞吐量，有學(xué)者對標(biāo)準(zhǔn)編碼器進(jìn)行了改進(jìn)。Avrashi等[12]在H.264的基礎(chǔ)上，通過自適應(yīng)降低幀頻實(shí)現(xiàn)了36 kbit/s碼率的高效壓縮，并在解碼端利用運(yùn)動矢量插值完成缺失幀的重建，以恢復(fù)正常幀率。針對水下前掃聲吶視頻的傳輸問題，Mirizzi等[13]提出了一種基于區(qū)域分割的編碼算法，對圖像前景和背景分別采取不同碼率的編碼策略，并將算法嵌入到HEVC編碼器中，該方法適用于幀內(nèi)圖像內(nèi)容較為單一、易于分割的聲吶視頻，但不適用于含有豐富細(xì)節(jié)信息的光學(xué)視頻圖像。

自主設(shè)計(jì)的水下視頻編碼算法更多地從水下成像和水聲信道的特點(diǎn)出發(fā)，有效去除視頻序列中的空間冗余和時間冗余，克服了標(biāo)準(zhǔn)編碼器在甚低比特率水聲傳輸中存在的不足。Hoag等[14]率先提出了一種基于離散小波變換(discrete wavelet transform,DWT)的水下視頻低比特率編碼方法。由此，多數(shù)獨(dú)立定制的水下視頻編碼技術(shù)使用DWT作為算法基礎(chǔ)，以充分消除像素?cái)?shù)據(jù)的空間相關(guān)性。Negahdaripour等[15]將小波變換與幀間運(yùn)動補(bǔ)償相結(jié)合，算法的平均壓縮比達(dá)到150∶1。為了進(jìn)一步消除視頻幀間的時間冗余，Nagrale等[16]利用全局和局部運(yùn)動混合補(bǔ)償策略，實(shí)現(xiàn)水下視頻高效壓縮。以Li等[17]提出的小波編碼樹為基礎(chǔ)，Zhang等[18]提出一種信號表征能力更強(qiáng)的小波變換改進(jìn)算法——自適應(yīng)混合小波與方向?yàn)V波器(adaptive hybrid wavelets and directional filter banks，AHWD)，用于水下視頻編碼。如圖3所示，該方法在幀內(nèi)編碼中采用AHWD變換，可消除圖像重建中的振鈴效應(yīng)，獲得更佳的解碼質(zhì)量；在幀間編碼中，提出時空最小可覺察失真模型(just noticeable distortion，JND)，從人類視覺感知的角度深入挖掘水下視頻中的各種冗余信息，在保證解碼質(zhì)量的前提下兼顧了算法的編碼效率。

圖3 水下視頻幀內(nèi)與幀間編碼流程[18]

上述水下視頻編碼技術(shù)，無論是基于標(biāo)準(zhǔn)編碼器的算法還是特別定制的算法，均是為單視點(diǎn)觀測系統(tǒng)設(shè)計(jì)的，并且不具備傳輸糾錯能力，傳輸接收端的解碼視頻質(zhì)量容易受到水聲信道傳輸差錯的影響。

2 水下單視點(diǎn)視頻容錯編碼

當(dāng)視頻數(shù)據(jù)以定長數(shù)據(jù)包的形式在水聲信道中傳輸時，主要會遇到3種形式的傳輸差錯：丟包差錯、隨機(jī)比特差錯和突發(fā)差錯[19]。水聲通信調(diào)制解調(diào)器中的信道編碼技術(shù)可以起到一定的抗誤碼作用，但會占用相當(dāng)多的編碼比特開支，使得視頻數(shù)據(jù)本身的碼字預(yù)算被削減，從而影響解碼質(zhì)量。如果能將抗誤碼技術(shù)融入視頻壓縮編碼算法之中，既可以節(jié)省數(shù)據(jù)傳輸帶寬，又可以得到滿意的解碼效果。然而，目前關(guān)于水下視頻編碼與傳輸?shù)难芯浚蠖鄶?shù)方法旨在提高壓縮效率、實(shí)現(xiàn)甚低比特率傳輸，很少將研究重點(diǎn)放在解決傳輸差錯的容錯編碼或差錯掩蓋方面。

針對水聲信道的視頻傳輸誤碼問題，Ribas等[20]設(shè)計(jì)了一種基于MPEG-4編碼器和正交頻分復(fù)用(orthogonal frequency division multiplexing,OFDM)調(diào)制解調(diào)器的水下視頻傳輸系統(tǒng)。該系統(tǒng)主要依靠調(diào)制解調(diào)器中的信道編碼和交織來抵抗水聲信道的傳輸錯誤，誤碼率可控制在10-3以內(nèi)。Vall等[21]進(jìn)一步提升了該水下視頻傳輸系統(tǒng)的抗誤碼性能，利用多普勒補(bǔ)償算法有效抑制了由多普勒效應(yīng)造成的比特差錯，同時采用 MPEG-4 編碼器中自帶的差錯控制工具，可抵抗最高誤碼率為1.3×10-2的傳輸差錯。Rahmati等[22]采用 H.264/AVC編碼器的擴(kuò)展技術(shù)——可分級視頻編碼算法(scalable video coding,SVC)，在SVC算法的基礎(chǔ)之上通過多進(jìn)多出(multiple input multiple output，MIMO)聲學(xué)廣播系統(tǒng)，對視頻數(shù)據(jù)各編碼層實(shí)現(xiàn)自適應(yīng)多路復(fù)用傳播，一定程度上可減少水聲傳輸差錯對視頻質(zhì)量的影響。

上述幾種方法解決的是水下單視點(diǎn)視頻傳輸問題，不能直接用于傳輸海量的多視點(diǎn)視頻數(shù)據(jù)，也未考慮到多視點(diǎn)間的切換播放延時問題。

盡管像H.264/AVC、MPEG-4等商用標(biāo)準(zhǔn)編碼器本身都自帶差錯控制技術(shù)，但它們并不是專門針對水聲傳輸?shù)?種誤碼類型而設(shè)計(jì)的，仍然存在一定的不足和局限性。

在陸上視頻傳輸研究中，多描述編碼[23-29]和冗余圖像[30-31]技術(shù)也可以有效抵抗信道傳輸錯誤，但是兩者都是以增加比特開支為代價的。視頻壓縮算法中的抗誤碼技術(shù)需要占用一部分碼字，導(dǎo)致發(fā)送端不得不生成更多的數(shù)據(jù)傳輸包，以保證在接收端能獲得相同的重建效果。然而，由于水聲信道的帶寬極其有限，壓縮比特率上的任何改變都會直接關(guān)乎水下視頻能否順利傳輸。如果視頻在編碼端壓縮后的數(shù)據(jù)比特率大于傳輸信道的容量，那么傳輸過程中的丟包率會急劇增加，從而導(dǎo)致在解碼端視頻重建質(zhì)量嚴(yán)重下降。因此，一個理想的水下視頻編碼與傳輸系統(tǒng)，應(yīng)當(dāng)能夠在壓縮效率與糾錯能力之間進(jìn)行合理地權(quán)衡，既能實(shí)現(xiàn)甚低比特率傳輸又能有效抵抗傳輸錯誤。

3 多視點(diǎn)視頻編碼

由于聲學(xué)信號的傳播速度相對較慢，水聲信道發(fā)送端與接收端之間存在控制指令和視頻數(shù)據(jù)包的收發(fā)延時，進(jìn)而造成水上用戶進(jìn)行視點(diǎn)切換時出現(xiàn)畫面播放延時，無法達(dá)到實(shí)時傳輸?shù)哪康?。這是現(xiàn)有的陸上多視點(diǎn)視頻傳輸研究[32-37]無法解決的問題，因?yàn)檫@些研究的前提條件是收發(fā)端之間不存在信號傳播延時。

為此，F(xiàn)ujihashi等[38]首次開展了水下多視點(diǎn)視頻傳輸研究，建立播放概率模型，克服視點(diǎn)切換延時的問題。面向由多臺AUV 組成的分布式聯(lián)合成像網(wǎng)絡(luò)，Rahmati等[39]設(shè)計(jì)了一種基于SVC的多視點(diǎn)視頻傳輸方法，用于探測和調(diào)查海底垃圾污染情況。以上兩種水下多視點(diǎn)視頻傳輸方法，并沒有考慮水聲信道的實(shí)際傳輸差錯，在實(shí)際應(yīng)用場景下如何保證用戶端的多視點(diǎn)視頻解碼質(zhì)量不受傳輸錯誤的影響，仍是一項(xiàng)艱巨的挑戰(zhàn)。

深度神經(jīng)網(wǎng)絡(luò)具備強(qiáng)大的學(xué)習(xí)泛化能力，為視頻編碼與傳輸領(lǐng)域提供了新的研究思路。近年已有學(xué)者[40-43]針對標(biāo)準(zhǔn)編碼器HEVC提出了基于深度學(xué)習(xí)的改進(jìn)方案，可降低編碼復(fù)雜度，減少視頻失真程度。在水下應(yīng)用方面，Krishnaraj等[44]將卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)與DWT相融合，提出一種面向水下物聯(lián)網(wǎng)的實(shí)時圖像壓縮算法。該模型在編碼端利用CNN生成水下圖像的緊湊表達(dá)形式，輸送給基于DWT的圖像編解碼器進(jìn)行壓縮處理，經(jīng)信道傳輸后，在解碼端再次利用CNN以提高圖像重構(gòu)質(zhì)量，經(jīng)實(shí)驗(yàn)驗(yàn)證其解碼效果在峰值信噪比方面，優(yōu)于超分辨率CNN和標(biāo)準(zhǔn)編碼器。Yu等[37]首次將深度學(xué)習(xí)方法引入到多視點(diǎn)視頻傳輸研究中，利用CNN提升視頻傳輸質(zhì)量。然而，上述基于深度學(xué)習(xí)的視頻圖像編碼與傳輸方法，旨在提升編碼效率和解碼質(zhì)量，既沒有圍繞水下傳輸糾錯展開研究，也不能解決水聲信道特有的傳輸延時問題。為此，Zhang等[45]首次將CNN用于水下視頻容錯編碼技術(shù)中，利用CNN有針對性地增加關(guān)鍵目標(biāo)區(qū)域的編碼冗余性，并與多描述編碼共同組成雙重碼流保護(hù)機(jī)制，在水聲信道有限的數(shù)據(jù)傳輸率下，能夠最大程度地保證視頻質(zhì)量不受丟包差錯的影響。由此可見，深度神經(jīng)網(wǎng)絡(luò)為水下多視點(diǎn)視頻編碼與傳輸提供了新的解決方案。

MIMO-OFDM已成為目前水聲通信的主流傳輸模式。在MIMO-OFDM模式中，利用正交匹配追蹤、壓縮感知匹配追蹤等信道感知算法[1]，可提高頻譜效率，滿足水下高速傳輸需求。如能將視頻容錯編碼與信道感知技術(shù)有效結(jié)合，構(gòu)建一體化的數(shù)據(jù)通信系統(tǒng)，可實(shí)現(xiàn)水下多媒體數(shù)據(jù)的高速、穩(wěn)定傳輸。

4 結(jié)束語

針對水聲信道傳輸水下觀測視頻的需求，視頻編碼技術(shù)研究一直備受關(guān)注并不斷深入?？偨Y(jié)水下視頻編碼與傳輸研究現(xiàn)狀，該領(lǐng)域依然存在許多有待解決和完善的關(guān)鍵性問題，可得以下結(jié)論：

1)現(xiàn)有的陸上視頻編碼方法無法克服水聲信道特有的傳輸缺陷，不能直接用于水下視頻傳輸。

2)現(xiàn)有的水下視頻編碼研究大多為單視點(diǎn)成像系統(tǒng)設(shè)計(jì)，未考慮到水聲信號傳播速率慢造成的多視點(diǎn)間切換與播放延時，不適用于水下多視點(diǎn)視頻的遠(yuǎn)距離實(shí)時傳輸。

3)有關(guān)水下多視點(diǎn)視頻編碼與傳輸?shù)难芯肯鄬^少，將深度學(xué)習(xí)方法用于抵抗水聲信道傳輸差錯是一種有效可行的方案，為面向水聲傳輸?shù)亩嘁朁c(diǎn)視頻容錯編碼研究提供了新思路。

4)在MIMO-OFDM系統(tǒng)中利用壓縮感知算法進(jìn)行信道估計(jì)，可有效提升水聲信道的頻譜效率和傳輸性能，未來可考慮將視頻容錯編碼與信道感知技術(shù)相結(jié)合，進(jìn)一步提高水下多媒體數(shù)據(jù)傳輸?shù)目煽啃浴?/p>

因此，未來研究工作的開展方向?qū)⑥D(zhuǎn)變?yōu)橐揽可疃壬窠?jīng)網(wǎng)絡(luò)和信道感知技術(shù)，研發(fā)水下多視點(diǎn)視頻容錯編碼與傳輸關(guān)鍵技術(shù)，同時實(shí)現(xiàn)甚低比特率壓縮、高質(zhì)量重建和無延時播放三大目標(biāo)，以此來彌補(bǔ)水聲通信自身的性能缺陷，為水下探測裝備實(shí)時、有效地傳輸多視點(diǎn)成像信息提供有力的技術(shù)支持。