郭 旭，涂紹平，徐 蕾

（上海中車艾森迪海洋裝備有限公司，上海 201306）

0 引言

全景很早就出現(xiàn)在藝術(shù)作品中，用于表達(dá)內(nèi)容繁多、事物連貫的宏大場(chǎng)景，譬如兩宋山水畫［1］。搖頭式全景雛形出現(xiàn)在19世紀(jì)中期，反射式全景在生活中較早在20世紀(jì)初通過(guò)使用后視鏡實(shí)現(xiàn)，用于代替賽車的安全員，之后在各種交通運(yùn)載工具上普及［2］。19 世紀(jì)60年代，計(jì)算機(jī)技術(shù)的出現(xiàn)使得三維建模和數(shù)字圖像處理成為可能；真正將全景推廣開來(lái)是等到21世紀(jì)數(shù)碼相機(jī)普及后，人們可以通過(guò)數(shù)字信號(hào)來(lái)處理圖像，完成多幅圖像拼接，這才實(shí)現(xiàn)真正意義上的360°全景［3］。目前全景技術(shù)在直播、虛擬現(xiàn)實(shí)、交通運(yùn)輸?shù)阮I(lǐng)域熱度高，隨著計(jì)算機(jī)視覺(jué)技術(shù)、信號(hào)處理技術(shù)的不斷發(fā)展，360°全景所呈現(xiàn)的視覺(jué)信息越來(lái)越完善，無(wú)死角的全景攝像系統(tǒng)將推廣應(yīng)用到許多領(lǐng)域。目前，陸地有成熟的全景產(chǎn)品，如全景相機(jī)、車載全景攝像；但水下場(chǎng)景的全景產(chǎn)品主要在水產(chǎn)養(yǎng)殖領(lǐng)域有成熟的應(yīng)用［4］，而在超過(guò)300 m的深水區(qū)域則鮮有使用。

對(duì)于水下攝像，最早產(chǎn)品為19世紀(jì)50年代的防水照相機(jī)；19世紀(jì)90年代末，配套水下閃光設(shè)備的防水相機(jī)成功獲取了50 m水深的照片［5］。后續(xù)，隨著海洋經(jīng)濟(jì)發(fā)展、科研項(xiàng)目落地，海底觀測(cè)帶來(lái)了深海光學(xué)成像系統(tǒng)的資金投入。如今，具備研制深海攝像產(chǎn)品能力的大型公司有美國(guó)的DP&light（Deepsea Power &Light）、挪威的Kongsberg、加拿大的SubC Imaging，這些機(jī)構(gòu)生產(chǎn)的深海攝像產(chǎn)品可被裝載在潛水器上進(jìn)行觀測(cè)、記錄及探索海洋。如，HUGIN高級(jí)自主水下潛航器搭載了Kongsberg 公司自身的深海超高清相機(jī)［6］。相對(duì)激光、聲吶等掃描成像，鏡頭的凝視感光成像更容易被人的視覺(jué)所理解，水下遙控機(jī)器人（remotely operated vehicle，ROV）的全景攝像系統(tǒng)可以很好地幫助領(lǐng)航員、海底工作人員等去實(shí)時(shí)了解ROV周邊的水域信息。

全景圖像一般不能直接由單鏡頭獲取。短焦鏡頭有更大的視角，能達(dá)到120°；再配合前彎月鏡片作成魚眼鏡頭，視場(chǎng)角度一般能超過(guò)180°。為了能實(shí)時(shí)得到360°全景圖像，至少需要2 個(gè)魚眼鏡頭或更多的廣角鏡頭，然后將多鏡頭攝像系統(tǒng)所獲得的包含重疊視角的多幅圖像拼接為一幅“無(wú)縫”圖像，實(shí)現(xiàn)全景［7］。為了將水下ROV的全景圖像傳回船上設(shè)備，需要很高的傳輸帶寬，比如傳輸H.264編碼的4K@30fps視頻需要占用約50 Mbit/s 的帶寬。由于帶寬還會(huì)被其他控制、測(cè)量信號(hào)占用，因此，全景攝影系統(tǒng)需要在保證質(zhì)量的同時(shí)縮減帶寬，其中一個(gè)可行的方法是裁剪畫面［8］。一套水下ROV 平臺(tái)的全景設(shè)攝像系統(tǒng)需要多路不同視角相機(jī)，先經(jīng)拼接算法生成全景畫面；再經(jīng)合適的壓縮、視窗裁剪生成120°寬幅攝像，以較低的帶寬傳輸給領(lǐng)航員。從水下生成到水面顯示，全景系統(tǒng)都有復(fù)雜的構(gòu)成及處理方式。鑒于此，本文從總體著手，介紹全景系統(tǒng)各部分當(dāng)前的主流技術(shù)和產(chǎn)品，說(shuō)明ROV平臺(tái)全景攝像系統(tǒng)的研究現(xiàn)狀。

1 全景攝像

ROV 平臺(tái)全景攝像系統(tǒng)可分為硬件和軟件兩部分。其中，硬件方面主要是考慮攝像頭及燈陣數(shù)量、空間布局、規(guī)格參數(shù)；軟件方面則是完成多路圖像處理、全景合成及上位機(jī)功能的實(shí)現(xiàn)。整個(gè)系統(tǒng)由照明系統(tǒng)、相機(jī)系統(tǒng)、圖像處理系統(tǒng)和視頻傳輸系統(tǒng)組成，如圖1所示。本文主要介紹全景攝像系統(tǒng)的硬件、圖像處理及視頻傳輸?shù)能浖糠?，相機(jī)系統(tǒng)硬件有感光元件、鏡頭等重要單元，圖像處理數(shù)據(jù)有分門別類的處理算法和傳輸協(xié)議。

圖1 ROV 平臺(tái)全景攝像系統(tǒng)分解Fig.1 Breakdown view of panoramic camera system on ROV platform

2 水下ROV相機(jī)系統(tǒng)

相機(jī)是水下常見(jiàn)的感知硬件。光感相機(jī)采用玻璃窗口，考慮深海相機(jī)的硬度和強(qiáng)度，一般選擇藍(lán)寶石視窗。對(duì)于廣角需求和水中1.33高折射率，視窗更多選擇球面。國(guó)際上可以供應(yīng)深海相機(jī)的廠商近來(lái)變化不大，表1示出常規(guī)的深海相機(jī)設(shè)備［9］。

表1 國(guó)際高品質(zhì)深海相機(jī)性能Table 1 Performance of international top quality deep-sea cameras

傳統(tǒng)的相機(jī)布局是前后兩路，能基本滿足ROV行駛方向上的環(huán)境分辨。為實(shí)現(xiàn)ROV環(huán)視，還需增加左右兩路，或是繼續(xù)增加上下兩路。這樣不僅要增加相機(jī)數(shù)量，還要約束這些相機(jī)的相對(duì)位置，盡可能讓兩兩相機(jī)的光軸重疊或相交適當(dāng)角度，方便后續(xù)的圖像處理［10］。

上述四周布局的多路相機(jī)系統(tǒng)是針對(duì)中大型箱式載運(yùn)工具，避免了自身遮擋相機(jī)的情況。對(duì)于小型或不規(guī)則載運(yùn)工具或是靜態(tài)攝像，一體集成的陣列相機(jī)則是最方便的相機(jī)布局方式。多路相機(jī)的兩種布局方式如圖2所示。

圖2 多路相機(jī)的兩種布局Fig.2 Two layouts for multiple cameras

2.1 分布式全景相機(jī)

單個(gè)相機(jī)之間無(wú)直接物理連接約束的全景布局方案被稱為分布式全景相機(jī)，其需要根據(jù)具體的運(yùn)載平臺(tái)來(lái)確定相機(jī)各自的安裝位置。對(duì)于箱式運(yùn)載平臺(tái)，相機(jī)可被安裝在4個(gè)側(cè)面的表面上；對(duì)于長(zhǎng)側(cè)面，則需要放置多個(gè)相機(jī)［11］。

分布式相機(jī)的每個(gè)鏡頭都配有主板，有獨(dú)立的IP通信，即可以單獨(dú)啟用一個(gè)相機(jī)來(lái)傳輸一路畫面。雖然硬件成本高，但可以在空曠等特定場(chǎng)景下僅開啟少量相機(jī)，降低算力等負(fù)載。

相機(jī)規(guī)格參數(shù)主要有視場(chǎng)角和分辨率。如果鏡頭組的視場(chǎng)角在水平方向要達(dá)到360°，則可選定4 個(gè)水下110°的廣角鏡頭。為了達(dá)到畫面3 840×2 160 ppi 的分辨率，多路圖像的像素之和也需要達(dá)到800 萬(wàn)像素以上，如可選定4個(gè)300萬(wàn)像素的高清相機(jī)。

對(duì)于安裝位置，分布式全景相機(jī)需要約束相機(jī)系統(tǒng)所有相機(jī)的光軸在同一平面或是平行于一個(gè)平面，以方便建立系統(tǒng)的投影坐標(biāo)系。因此系統(tǒng)應(yīng)盡量滿足下列條件：相機(jī)型號(hào)一致，光軸投影在同一平面，光軸高度一致。水下ROV 平臺(tái)一般為規(guī)則的方形框架，適合在框架外側(cè)各個(gè)方向安裝相機(jī)。參考德國(guó)Geomer實(shí)驗(yàn)室研制的深?？梢暬到y(tǒng)，該系統(tǒng)的全景相機(jī)模組的布置方案如圖3所示，其在前后、左右4個(gè)面的下側(cè)各安裝一個(gè)魚眼鏡頭（紅框所注）。

圖3 一種ROV 全景相機(jī)布局方案Fig.3 A layout scheme for ROV panoramic cameras

2.2 集成式全景相機(jī)

集成式全景相機(jī)是將多個(gè)鏡頭、傳感器封裝為一體式，可共用主板解算和IP 通信。相較分布式全景相機(jī)，集成式全景相機(jī)結(jié)構(gòu)緊湊、價(jià)格有所降低、多鏡頭的相對(duì)位置容易確定，缺點(diǎn)是俯仰角會(huì)被中大型箱式載運(yùn)工具的安裝平面遮擋。

集成式全景相機(jī)的各個(gè)鏡頭規(guī)格一般都相同，光軸被嚴(yán)格限制在同一個(gè)平面或圓錐面，且均勻分布。目前市場(chǎng)上主流產(chǎn)品單個(gè)鏡頭的視場(chǎng)角在110°左右，像素在300萬(wàn)附近，圖像處理、編碼等處理單元被集成在主板上。

除了無(wú)人機(jī)上用于鳥瞰的全景相機(jī)被安裝在底部，集成式全景相機(jī)一般被安裝在頂面上，在中型運(yùn)載平臺(tái)上通過(guò)頂桿拔高視野，如圖4所示。圖4（a）中，集成全景相機(jī)被安置在水下ROV的頂部中線位置；圖4（b）是配有多目相機(jī)的三維地圖街景車。

圖4 集成式全景相機(jī)布局Fig.4 Layout of integrated panoramic cameras

集成式全景相機(jī)在自媒體領(lǐng)域應(yīng)用較廣泛［12］，而在深海探索領(lǐng)域目前還鮮有成熟產(chǎn)品，相關(guān)的設(shè)計(jì)有中科院西安光學(xué)精密機(jī)械研究所的4π 視場(chǎng)深海相機(jī)模組以及美國(guó)巴特勒公司的360°深海相機(jī)，如圖5 和圖6所示。

圖5 4π 視場(chǎng)深海相機(jī)模組Fig.5 Deep-sea camera module with 4π field of view

圖6 360°深海相機(jī)Fig.6 Deep-sea camera with 360° field of view

3 多路圖像處理

硬件獲得的多路圖像并不能直接邊界貼合，需要將相鄰的具有部分重疊的圖像進(jìn)行無(wú)縫拼接、融合，才能生成一張360°視角的全景圖像。早在1986 年，Haywood［13］通過(guò)水下攝像頭的精確相對(duì)位置來(lái)確定獲取的兩幅圖像之間的空間坐標(biāo)關(guān)系，然后直接拼接圖像?？紤]相機(jī)位姿的估計(jì)誤差偏大，拼接前可引入圖像視覺(jué)信息的邊緣配準(zhǔn)，以改善拼接效果［14］。圖像拼接技術(shù)在水下裝備領(lǐng)域已有應(yīng)用［15-16］，拼接的關(guān)鍵是圖像配準(zhǔn)和圖像融合。配準(zhǔn)是尋找兩幅圖像之間的對(duì)準(zhǔn)關(guān)系，融合是消除拼接間隙并平滑過(guò)渡。圖像拼接基本流程是圖像預(yù)處理、圖像配準(zhǔn)、坐標(biāo)變換和圖像融合，如圖7所示。

圖7 圖像拼接流程Fig.7 Process of image stitching

3.1 圖像預(yù)處理

物景是通過(guò)相機(jī)將三維空間的點(diǎn)映射到二維空間所得的圖像，由于相機(jī)的安裝設(shè)計(jì)（透鏡和成像面不平行）會(huì)存在誤差，那么同一物景通過(guò)不同位置的相機(jī)所生成的圖像會(huì)存在較大差異，如縮放程度、傾斜度、方位角及高度。這些物理差異會(huì)影響后續(xù)配準(zhǔn)的效果，因此圖像預(yù)處理是圖像拼接前重要的步驟。

一般，針對(duì)相機(jī)本身成像的圖像預(yù)處理被稱為相機(jī)標(biāo)定，對(duì)水霧、渾濁等環(huán)境因素的預(yù)處理是圖像復(fù)原。

3.1.1 相機(jī)標(biāo)定

相機(jī)標(biāo)定是為了標(biāo)定好成像參數(shù)，包括自身的內(nèi)參（焦距、畸變系數(shù)）及相對(duì)位置的外參（世界坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)平移矩陣）。對(duì)于獨(dú)立的單個(gè)相機(jī)，只需標(biāo)定內(nèi)參，外參則是為了確定相機(jī)之間的位置關(guān)系。通過(guò)內(nèi)、外參數(shù)可以確定世界坐標(biāo)系到像素坐標(biāo)系的投影矩陣，這些坐標(biāo)系的關(guān)系如圖8所示。相機(jī)需要通過(guò)實(shí)際特征物的成像實(shí)驗(yàn)進(jìn)行標(biāo)定，方法有直接線性標(biāo)定、兩步標(biāo)定和張正友標(biāo)定［17］。特征物通常是規(guī)格已知的黑白棋盤方格，如圖9所示。

圖8 相機(jī)坐標(biāo)系關(guān)系示意Fig.8 Relationship between coordinate systems related to cameras

圖9 標(biāo)定方格Fig.9 Checkerboard for calibration

3.1.2 圖像復(fù)原

圖像的成像過(guò)程是光線經(jīng)過(guò)物體反射后到達(dá)相機(jī)后再成像。良好的天氣、光線等環(huán)境下成像真實(shí)；相反，霧雨渾濁環(huán)境會(huì)使得圖像信息錯(cuò)誤或者缺失，稱之為圖像退化。在水下ROV成像過(guò)程中，水介質(zhì)、懸浮顆粒對(duì)光線有比較嚴(yán)重的吸收和散射效應(yīng)，會(huì)造成光線強(qiáng)度的衰減和光傳播方向的改變，典型的影響是水下圖像普遍呈現(xiàn)青色［18］。為了提高圖像的真實(shí)度，需要針對(duì)圖像的退化原因進(jìn)行補(bǔ)償，即利用圖像退化的逆過(guò)程去恢復(fù)原始圖像。圖像復(fù)原方法分為3種，包括基于多圖像及特殊硬件的復(fù)原方法、基于先驗(yàn)信息的復(fù)原方法和基于卷積神經(jīng)網(wǎng)絡(luò)的復(fù)原方法。按照McGlamery建立的光學(xué)成像模型［19］，退化過(guò)程可被簡(jiǎn)化為線性疊加，即退化函數(shù)與特殊噪聲的疊加。退化函數(shù)可以通過(guò)符合先驗(yàn)知識(shí)的 “真實(shí)”圖像與退化圖像的頻域比值、場(chǎng)景的頻域模型等方法估計(jì)；特殊噪聲按照可能存在的噪聲類型（高斯噪聲、瑞利噪聲等）進(jìn)行相應(yīng)的濾波。

3.2 圖像配準(zhǔn)

圖像配準(zhǔn)是找到待拼接圖像和參考圖像之間重疊部分的對(duì)準(zhǔn)關(guān)系，即將兩幅圖像中對(duì)應(yīng)于空間同一位置的點(diǎn)一一對(duì)應(yīng)起來(lái)。圖像配準(zhǔn)的算法主要分3類：基于灰度和模板的配準(zhǔn)、基于特征的配準(zhǔn)及基于頻域變換的配準(zhǔn)。其中，基于特征的匹配方法因?yàn)檫\(yùn)算量小、對(duì)圖像形變不敏感等優(yōu)點(diǎn)，在實(shí)際中應(yīng)用得更為廣泛。

除了配準(zhǔn)算法，還可以直接通過(guò)標(biāo)定來(lái)確定重合的對(duì)應(yīng)點(diǎn)，即在圖像預(yù)處理的標(biāo)定過(guò)程中確定相鄰畫面的公共標(biāo)定點(diǎn)，從而直接計(jì)算出兩幅圖像之間的尺度關(guān)系。

3.2.1 基于特征的圖像配準(zhǔn)

基于特征的圖像配準(zhǔn)需要圖像特征辨識(shí)度高，特征點(diǎn)達(dá)到一定數(shù)量且盡量均勻分布。根據(jù)所選取的特征點(diǎn)，可以求取圖像之間的坐標(biāo)變換關(guān)系并實(shí)現(xiàn)圖像的配準(zhǔn)。

尺度不變特征變換算法（SIFT）由Lowe在1999年提出［20］，后續(xù)出現(xiàn)了較多基于該算法不變量思想的優(yōu)化算法，如SURF、PCA-SIFT、Harris-SIFT［21］等。SIFT算法根據(jù)尺度空間理論，將圖像引入不斷變化的尺度空間內(nèi)，通過(guò)提取主輪廓，保證特征點(diǎn)的尺度無(wú)關(guān)性。特征點(diǎn)的篩選則是利用高斯差分尺度空間算子（difference of Gaussian，DoG）尋找出像素點(diǎn)鄰域內(nèi)同尺度的近鄰點(diǎn)及相鄰尺度對(duì)應(yīng)位置的像素點(diǎn)總計(jì)27個(gè)點(diǎn)的極值點(diǎn)，并將其作為潛在特征點(diǎn)加入特征集合，如圖10所示。由于水下環(huán)境的圖像普遍存在像素模糊和亮度不均等問(wèn)題，基于特征的配準(zhǔn)就需要平衡魯棒性和實(shí)時(shí)性。

圖10 高斯差分的極值檢測(cè)Fig.10 Extreme detection using DoG

3.2.2 基于標(biāo)定點(diǎn)的圖像配準(zhǔn)

基于水下攝像頭的精確相對(duì)位置，可以直接計(jì)算兩幅圖像的空間轉(zhuǎn)換關(guān)系。對(duì)于相對(duì)位置未知，但安裝位置固定的多個(gè)相機(jī)，可以通過(guò)相機(jī)標(biāo)定確定相對(duì)位置，直接配準(zhǔn)。譬如多相機(jī)系統(tǒng)經(jīng)過(guò)黑白棋方格的標(biāo)定，可以選定相鄰圖像重疊區(qū)域兩個(gè)以上的標(biāo)定點(diǎn)及附近特征點(diǎn)作為配準(zhǔn)點(diǎn)?；谂錅?zhǔn)點(diǎn)位置關(guān)系，對(duì)待拼接圖像進(jìn)行相應(yīng)的縮放、旋轉(zhuǎn)，如圖11所示，縮放比例為標(biāo)定點(diǎn)A、B在兩幅圖像的直線距離比值，旋轉(zhuǎn)角度為標(biāo)定點(diǎn)在各自像素坐標(biāo)的傾角差值。

圖11 標(biāo)定點(diǎn)在相鄰視圖的位置示意Fig.11 Positions of calibration point in adjacent views

3.3 圖像融合

圖像通過(guò)配準(zhǔn)關(guān)系進(jìn)行初步拼接。針對(duì)特征疊加的區(qū)域，即兩幅圖像重疊部分，由于亮度、視角點(diǎn)的差異，簡(jiǎn)單的疊放會(huì)使得圖像模糊、割裂，有明顯的拼接痕跡，因此需要對(duì)初步拼接的圖像進(jìn)行二次圖像融合處理。

融合的目的是消除拼接痕跡，使重疊區(qū)過(guò)渡自然。為保證圖像清晰、自然，可以降低部分細(xì)節(jié)要求，即追求圖像的視覺(jué)效果，容許降低一定的真實(shí)度。根據(jù)圖像的表征層，圖像融合分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合［22-23］。像素級(jí)融合是常用的圖像融合方法，其直接對(duì)像素灰度信息進(jìn)行處理，處理方法還可以進(jìn)一步分為加權(quán)融合、小波融合、多分辨率融合和基于深度學(xué)習(xí)的模型訓(xùn)練融合［24］。特征級(jí)融合也是需要先提取圖像輪廓、角點(diǎn)等特征，再基于融合規(guī)則進(jìn)行融合的。決策級(jí)融合是基于特征的決策可信度進(jìn)行決策融合。

常用的像素級(jí)融合方法中，加權(quán)融合具有簡(jiǎn)單直接和運(yùn)算量小的優(yōu)點(diǎn)，其通過(guò)提取圖像灰度信息，按照灰度值貢獻(xiàn)率計(jì)算權(quán)重并進(jìn)行加權(quán)平均，計(jì)算公式如下：

式中：f——像素點(diǎn)灰度；f1——第一張圖像灰度值；f2——第二張圖像灰度值；w1，w2——權(quán)重值，區(qū)間在［0，1］，且w1+w2=1。

權(quán)重值的選擇有2種方法：一種是帽子函數(shù)加權(quán)，另一種是漸入漸出。

多分辨率融合則分為兩種，即基于Laplacian金字塔和基于小波分解的融合，它們都是將圖像分解為不同分辨率，然后在低頻信息和高頻信息處分別進(jìn)行融合。

4 全景視頻傳輸

水下ROV 視頻的收看者一般是位于陸地上或是船上，即原視頻經(jīng)過(guò)ROV 視頻系統(tǒng)采集后，還需經(jīng)過(guò)壓縮處理，然后再遠(yuǎn)距離傳輸?shù)娇蛻舳说娘@示系統(tǒng)。全景視頻由于視場(chǎng)擴(kuò)大到一般視頻的3到5倍，按照標(biāo)清圖像的要求，分辨率需要達(dá)到4 K以上。一般視頻的幀率在30 fps，色深為8 bit，4K 全景視頻原畫的碼率是5.6 Gbit/s，在壓縮比率為100時(shí)所需帶寬為56 Mbit/s，因此，全景視頻的傳輸對(duì)帶寬資源的要求較高。球面全景視頻的像素點(diǎn)不均勻，也沒(méi)有對(duì)應(yīng)的視頻編碼，按照全方位媒體的格式（omnidirectional media application format，OMAF），3D 畫面需要經(jīng)過(guò)等距圓柱體投影（equirectangular projection，ERP）、改進(jìn)的圓柱等面積投影（adjusted equal-area projection，AEP）等映射方式轉(zhuǎn)換成2D畫面，然后才能進(jìn)行編碼傳輸。目前，全景視頻在流媒體傳輸領(lǐng)域還處于不斷完善接口協(xié)議的過(guò)程中。

當(dāng)前，全景視頻主要是基于Tile 劃分的自適應(yīng)多速率傳輸，該方案根據(jù)實(shí)時(shí)網(wǎng)絡(luò)帶寬變化，動(dòng)態(tài)傳輸感興趣域（region of interest，ROI）對(duì)應(yīng)的一組Tile流給用戶［25］。人的雙目視域在110°左右，傳輸ROI 是比較合理的節(jié)省硬件的策略，通過(guò)人機(jī)交互、ROI 預(yù)測(cè)，即捕捉用戶視角旋轉(zhuǎn)進(jìn)行Tile流快速切換，從而節(jié)省帶寬。ROI域是完整的高碼率流，除去ROI域的其余畫面（如在ROI前后30°視場(chǎng)角為低碼流、偏遠(yuǎn)角度為1幀的圖像）同樣需要及時(shí)傳輸，進(jìn)而提高用戶視角快速切換的體驗(yàn)。全景視頻遠(yuǎn)距離碼率優(yōu)化傳輸系統(tǒng)如圖12 所示，基礎(chǔ)層為低幀率的完整全景，增強(qiáng)層為高碼流的多層Tile 圖像數(shù)據(jù)，增強(qiáng)層對(duì)應(yīng)的ROI 會(huì)經(jīng)過(guò)運(yùn)動(dòng)約束分塊（motion constrained tile sets，MCTS）編碼，生成碼流，然后將兩個(gè)碼流封裝，按照HTTP 協(xié)議傳輸。碼流融合可以拼接多分辨率的視頻流，在進(jìn)行子圖像碼流融合前，要初始化頭信息，碼流融合過(guò)程中將子圖像的每一幀作為最小的壓縮數(shù)據(jù)進(jìn)行編碼［26］。

圖12 一種碼率優(yōu)化的全景視頻傳輸系統(tǒng)Fig.12 Panoramic video transmission system with optimized rate

全景視頻的傳輸應(yīng)用場(chǎng)景更多是流媒體、VR等偏娛樂(lè)辦公場(chǎng)景，注重流暢、沉浸感等用戶體驗(yàn)，而水下運(yùn)載平臺(tái)的全景視頻應(yīng)該是更注重傳輸過(guò)程的時(shí)延和帶寬占用。對(duì)于水下ROV全景實(shí)時(shí)性視頻的長(zhǎng)距離傳輸，可嘗試使用UDP 無(wú)連接式的協(xié)議傳輸，編碼則考慮選擇效率更高的H.265。

5 結(jié)束語(yǔ)

本文對(duì)水下ROV 平臺(tái)的全景攝像系統(tǒng)做了清晰化的拆解介紹，包括全景相機(jī)分布式、集成式兩種布局方式、標(biāo)定拼接的多路圖像處理，還有考慮帶寬資源的遠(yuǎn)距離全景視頻傳輸。全景攝像能夠幫助駕駛員快速熟悉四周環(huán)境，提高在復(fù)雜環(huán)境駕駛的安全性，讓工作人員沉浸深海環(huán)境成為可能。目前水下全景攝像應(yīng)用較少，隨著圖像處理的特征識(shí)別和復(fù)原算法等全景技術(shù)的發(fā)展以及計(jì)算效率的提高，加上水下設(shè)備的推廣應(yīng)用，水下全景攝像系統(tǒng)將會(huì)有更多的研究應(yīng)用。