龍吟 王琰 黃才 吳慶學(xué) 孫斌 鄭璧青 李豐

(1 北京空間飛行器總體設(shè)計(jì)部,北京 100094)(2 上海航天電子技術(shù)研究所,上海 201109)

載人飛船執(zhí)行任務(wù)過(guò)程中,地面需要實(shí)時(shí)獲取艙內(nèi)外圖像,以確認(rèn)航天員的工作過(guò)程和身體狀況,艙外太陽(yáng)翼展開(kāi)及捕獲太陽(yáng)情況,交會(huì)對(duì)接過(guò)程中的目標(biāo)飛行器的十字靶標(biāo)等重要信息。載人飛船通過(guò)配置圖像系統(tǒng)實(shí)現(xiàn)對(duì)艙內(nèi)外圖像的實(shí)時(shí)獲取,并經(jīng)過(guò)壓縮編碼后通過(guò)測(cè)控鏈路傳回地面進(jìn)行視頻恢復(fù),實(shí)現(xiàn)地面對(duì)載人飛船艙內(nèi)及艙外的實(shí)時(shí)觀測(cè)[1-3]。

由于運(yùn)載火箭的約束,載人飛船的結(jié)構(gòu)、能源、帶寬等資源受限,不支持高帶寬的高清圖像傳輸,“國(guó)際空間站”[4]和天宮空間站、天舟貨運(yùn)飛船及運(yùn)載火箭[5-8]的圖像系統(tǒng)設(shè)計(jì),無(wú)法直接應(yīng)用于載人飛船?？紤]到載人飛船的任務(wù)需求和平臺(tái)資源,為進(jìn)一步提升載人飛船圖像傳輸質(zhì)量,提出一種低帶寬高質(zhì)量圖像系統(tǒng)優(yōu)化設(shè)計(jì),通過(guò)對(duì)載人飛船上視頻壓縮算法改進(jìn)和地面圖像增強(qiáng),實(shí)現(xiàn)在目前艙體結(jié)構(gòu)和傳輸帶寬資源約束下載人飛船圖像傳輸質(zhì)量的提升。

1 圖像系統(tǒng)優(yōu)化設(shè)計(jì)

首先,對(duì)執(zhí)行天地往返運(yùn)輸任務(wù)的載人飛船圖像傳輸任務(wù)進(jìn)行需求分析。一方面,地面需要實(shí)時(shí)獲取艙內(nèi)航天員的工作及生活狀況;另一方面,地面需要獲取艙外太陽(yáng)翼的展開(kāi)工作情況,以及交會(huì)對(duì)接過(guò)程中目標(biāo)飛行器的圖像。對(duì)上述功能要求進(jìn)行分解,結(jié)合載人飛船的艙體構(gòu)型及測(cè)控體制等基本方案,載人飛船圖像系統(tǒng)應(yīng)滿(mǎn)足以下要求。

(1)具備對(duì)返回艙及軌道艙內(nèi)、推進(jìn)艙及軌道艙外、航天員手持?jǐn)z像機(jī)視場(chǎng)內(nèi)圖像的攝取及壓縮編碼功能,同一時(shí)刻最多有6路圖像輸出,通過(guò)指令切換從6路圖像中選擇2路進(jìn)行編碼下傳。

(2)通過(guò)對(duì)地?cái)?shù)傳及中繼衛(wèi)星下行,傳輸帶寬不超過(guò)768kbit/s(含伴音)。

(3)載人飛船整體方案沿用約束下,受測(cè)控體制及信道制約,在現(xiàn)有條件下,以盡量小的代價(jià)對(duì)現(xiàn)有載人飛船的圖像質(zhì)量進(jìn)行提升。

載人飛船圖像系統(tǒng)由載人飛船上部分和地面部分組成(見(jiàn)圖1)。載人飛船上部分包括圖像編碼器、返回艙攝像機(jī)、軌道艙攝像機(jī)、手持?jǐn)z像機(jī)、制導(dǎo)導(dǎo)航與控制(GNC)TV攝像機(jī)、TV光瞄攝像機(jī)、推進(jìn)艙外攝像機(jī)、圖像二次電源和圖像切換器。地面部分包括地面測(cè)控站、圖像解碼設(shè)備和圖像顯示設(shè)備。優(yōu)化后的圖像系統(tǒng)見(jiàn)圖2。

注:PAL-D為逐行倒相-D。圖1 神舟十二號(hào)載人飛船圖像系統(tǒng)示意Fig.1 Schematic diagram of Shenzhou-12 manned spacecraft’s image system

圖2 優(yōu)化后的載人飛船圖像系統(tǒng)示意Fig.2 Schematic diagram of optimal manned spacecraft’s image system

以神舟十二號(hào)載人飛船圖像系統(tǒng)為技術(shù)基線(xiàn),優(yōu)化后的圖像系統(tǒng)有如下變化。①圖像編碼器的編碼方式更新,輸出圖像分辨率從352×288像素升級(jí)為704×288像素;②圖像編碼器從僅支持雙幅工作模式變?yōu)橥瑫r(shí)支持單幅及雙幅工作模式;③地面部分增加了地面圖像增強(qiáng)系統(tǒng)。

1.1 攝像機(jī)及切換器設(shè)計(jì)

攝像機(jī)的配套數(shù)量、功能性能及接口指標(biāo)完全繼承神舟十二號(hào)載人飛船設(shè)計(jì),攝像機(jī)完成圖像的攝取功能,首先對(duì)拍攝需求進(jìn)行分析,根據(jù)需求對(duì)攝像機(jī)視場(chǎng)角、攝像照度、白平衡、最低照度等指標(biāo)進(jìn)行設(shè)計(jì)。分析圖像的亮度變化特點(diǎn),制定相應(yīng)的測(cè)光方式;按照應(yīng)用場(chǎng)景的亮度合理選擇最低照度;根據(jù)攝像機(jī)的拍攝位置確定攝像距離和相應(yīng)清晰度。根據(jù)任務(wù)需求,配置6臺(tái)攝像機(jī),分別獲取艙內(nèi)、艙外及手持拍攝的實(shí)時(shí)畫(huà)面。結(jié)合航天器的艙體結(jié)構(gòu)布局及拍攝視場(chǎng)要求,返回艙攝像機(jī)、軌道艙攝像機(jī)和推進(jìn)艙外攝像機(jī)的主要設(shè)計(jì)指標(biāo)詳見(jiàn)表1。

表1 攝像機(jī)主要指標(biāo)Table 1 Main indicators of cameras

配置圖像切換器,通過(guò)指令切換艙內(nèi)外圖像4選2或4選1送圖像編碼器下傳,同時(shí)將各路圖像送出給儀表分系統(tǒng)。配置圖像二次電源,為返回艙和軌道艙攝像機(jī)及圖像切換器供電。

1.2 圖像編碼設(shè)計(jì)

圖像編碼方式主要包括國(guó)際標(biāo)準(zhǔn)化組織(ISO)/國(guó)際電工委員會(huì)(IEC)的建議標(biāo)準(zhǔn)MPEG系列[9](如MPEG-1,MPEG-2,MPEG-4),主要用于數(shù)字電視廣播、DVD和視頻流媒體等,以及國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)分局(ITU-T)的建議標(biāo)準(zhǔn)H.26X系列(如H.261,H.263,H.264,H.265),主要用于實(shí)時(shí)視頻通信,如視頻電視會(huì)議、可視電話(huà)。

考慮傳輸帶寬等約束,圖像編碼器采用MPEG-4標(biāo)準(zhǔn),編碼算法采用ISO/IEC 14496-2,在設(shè)備內(nèi)部的2塊數(shù)字信號(hào)處理器(DSP)實(shí)現(xiàn),分別對(duì)輸入的2幅圖像進(jìn)行壓縮編碼。神舟十二號(hào)載人飛船的圖像編碼設(shè)計(jì)方案,通過(guò)對(duì)PAL-D視頻輸入信號(hào)進(jìn)行模擬/數(shù)字(A/D)變換后,采用MPEG-4算法完成圖像壓縮編碼,輸出幀率為25幀/秒分辨率為352×288像素的CIF格式圖像。

MPEG-4是基于混合編碼的方案,具體編碼原理見(jiàn)圖3。MPEG-4基本編碼結(jié)構(gòu)包括形狀編碼、運(yùn)動(dòng)補(bǔ)償和紋理編碼。在算法工具中,對(duì)于運(yùn)動(dòng)估計(jì),采用全局運(yùn)動(dòng)補(bǔ)償、2維三角網(wǎng)格預(yù)測(cè)和亞像素預(yù)測(cè);對(duì)于幀紋理編碼,采用小波變換、3維-離散余弦變換(DCT)、重疊變換、高級(jí)的幀內(nèi)編碼和可變塊尺寸的DCT;對(duì)于任意形狀區(qū)域紋理編碼,采用貼補(bǔ)DCT、形狀自適應(yīng)DCT、延拓/內(nèi)插DCT、小波/子帶編碼和中值替換DCT;對(duì)于形狀編碼,采用幾何變換、形狀自適應(yīng)區(qū)域分割和可變塊尺寸分割。

相對(duì)于神舟十二號(hào)載人飛船的圖像編碼方案,優(yōu)化后的方案具有以下變化。

(1)圖像的分辨率是決定圖像質(zhì)量的直接因素。幀率表示每秒圖像幀的數(shù)量,高幀率可以得到更流暢的畫(huà)面,同時(shí)需要更多的傳輸開(kāi)銷(xiāo)。傳輸帶寬正比于單幅圖像的分辨率和幀率的乘積。載人飛船返回艙和軌道艙攝像機(jī)主要拍攝對(duì)象為航天員及艙內(nèi)結(jié)構(gòu)及物體,航天員在載人飛船內(nèi)部絕大多數(shù)時(shí)間處于束縛狀態(tài),艙內(nèi)結(jié)構(gòu)則為靜止?fàn)顟B(tài)。載人飛船推進(jìn)艙外攝像機(jī)拍攝對(duì)象主要為太陽(yáng)翼及交會(huì)對(duì)接過(guò)程中的目標(biāo)飛行器,單獨(dú)飛行過(guò)程中,視場(chǎng)內(nèi)物體絕大多數(shù)時(shí)間為靜止?fàn)顟B(tài),交會(huì)對(duì)接過(guò)程中,僅當(dāng)目標(biāo)飛行器處于可見(jiàn)視場(chǎng)時(shí),視場(chǎng)內(nèi)物體為運(yùn)動(dòng)狀態(tài),并且運(yùn)動(dòng)速度為低速。綜上考慮,為進(jìn)一步提升圖像質(zhì)量,優(yōu)化后系統(tǒng)仍然采用MPEG-4編碼方式,將圖像分辨率從352×288像素提升為704×288像素,同時(shí)將幀率從25.0幀/秒降低為12.5幀/秒,從而保證在現(xiàn)有傳輸帶寬不變的前提下,圖像分辨率的翻倍升級(jí),同時(shí),圖像幀率降低并不會(huì)導(dǎo)致視場(chǎng)內(nèi)圖像的運(yùn)動(dòng)特性顯著下降,滿(mǎn)足實(shí)際使用需求。采用里德-所羅門(mén)(RS)糾錯(cuò)編碼RS(255,239),為保證解碼器快速恢復(fù)圖像,編碼器應(yīng)定時(shí)進(jìn)行幀內(nèi)編碼刷新。圖像編碼器原理如圖4所示。

(2)圖像編碼器從僅支持雙幅圖像編碼,變?yōu)榧嫒葜С謱?duì)單幅圖像和雙幅圖像進(jìn)行編碼。這樣做的好處是,當(dāng)需要進(jìn)一步提升圖像質(zhì)量時(shí),例如待發(fā)段地面需要清晰觀測(cè)返回艙內(nèi)航天員圖像,圖像編碼器從雙幅工作模式切換為單幅工作模式,這樣能獲得多1倍的信道資源,量化參數(shù)值降低,圖像可以保留更多的高頻分量,在圖像編碼算法不變的前提下,輸出的圖像會(huì)更加清晰。在雙幅模式下,信道壓力更大,根據(jù)調(diào)整邏輯,編碼圖像必須壓得更小,那么量化參數(shù)值必定更大以排除掉更多的高頻分量,因此看上去雙幅工作模式相較于單幅工作模式的圖像將更模糊。根據(jù)測(cè)試結(jié)果,在普通復(fù)雜的場(chǎng)景下(實(shí)驗(yàn)室環(huán)境),單幅工作模式時(shí)一般I幀量化參數(shù)值穩(wěn)定在4～5;雙幅工作模式時(shí)I幀量化參數(shù)值一般穩(wěn)定在9～13。

圖像編碼數(shù)據(jù)并與話(huà)音數(shù)據(jù)復(fù)接組幀。編碼采用768kbit/s的H.221單模式幀結(jié)構(gòu),每2幀構(gòu)成1個(gè)子復(fù)幀,這2幀分別稱(chēng)為偶幀和奇幀。偶幀時(shí),幀定位控制信號(hào)(FAS)發(fā)送1BH;奇幀時(shí),FAS發(fā)送4FH。

圖像及伴音幀格式按照H.221幀結(jié)構(gòu)組幀,見(jiàn)圖5。地面從H.221幀結(jié)構(gòu)中提取圖像數(shù)據(jù),并恢復(fù)圖像幀結(jié)構(gòu),見(jiàn)圖6。其中:A表示填充的話(huà)音數(shù)據(jù);V表示圖像編碼及RS糾錯(cuò)編碼后的數(shù)據(jù);BAS為比特率分配控制信號(hào),用于標(biāo)志單幅、雙幅狀態(tài),標(biāo)志字為00H傳送單幅圖像,為FFH傳送雙幅圖像。

圖5 圖像及伴音幀格式Fig.5 Frame format of image and audio

圖6 圖像幀結(jié)構(gòu)示意Fig.6 Image frame structure

按照H.221建議,幀結(jié)構(gòu)具有8kHz結(jié)構(gòu)特性。在1個(gè)8kHz的周期(125μs)內(nèi),線(xiàn)路速率為768kbit/s,共有96bit。編碼數(shù)據(jù)組H.221幀按照先縱入后橫出方式實(shí)施。H.221幀結(jié)構(gòu)的第1路和第2路在單幅圖像和雙幅圖像工作模式下傳輸?shù)?路話(huà)音,第3路和第4路在雙幅圖像工作模式下傳輸?shù)?路話(huà)音。

1.3 地面圖像增強(qiáng)系統(tǒng)設(shè)計(jì)

相對(duì)于神舟十二號(hào)載人飛船圖像系統(tǒng)的地面部分,優(yōu)化后的圖像系統(tǒng)在地面解碼和地面顯示之間增加了地面圖像增強(qiáng)系統(tǒng)(如圖7所示)。地面圖像增強(qiáng)系統(tǒng)主要分為:上游低質(zhì)量YUV圖像格式轉(zhuǎn)換可攜式網(wǎng)絡(luò)圖像(PNG);深度網(wǎng)絡(luò)數(shù)據(jù)預(yù)處理;基于深度網(wǎng)絡(luò)的低質(zhì)量視頻增強(qiáng);增強(qiáng)后的PNG轉(zhuǎn)換YUV。

圖7 地面圖像增強(qiáng)系統(tǒng)原理Fig.7 Principle of ground image enhancement system

YUV顏色空間常用于彩色電視系統(tǒng)中,其原理是得到的彩色圖像的信號(hào)經(jīng)過(guò)分色處理,然后分別放大校正轉(zhuǎn)化為RGB顏色空間中的R,G,B上那個(gè)分量,經(jīng)過(guò)矩陣電路轉(zhuǎn)換,最后獲得亮度信號(hào)Y和2個(gè)色差信號(hào)R-Y,B-Y即表示為U,V。YUV顏色空間中亮度信號(hào)Y和色度信號(hào)U,V是分離的,如果輸出信號(hào)中只有Y信號(hào)分量,則可表示彩色圖像的灰度圖像。YUV顏色空間的優(yōu)點(diǎn)為:表現(xiàn)出來(lái)的彩色圖像更符合人類(lèi)的視覺(jué)特性;被廣泛地用在圖像和視頻編碼標(biāo)準(zhǔn)中,在邊緣檢測(cè)算法過(guò)程中可以避免格式轉(zhuǎn)換所耗費(fèi)的計(jì)算量。

PNG是起源于網(wǎng)絡(luò)應(yīng)用的圖像,PNG格式所采用的LZ77派生壓縮算法,完全支持多種不同位數(shù)的圖像壓縮存儲(chǔ),相比使用有損壓縮算法犧牲圖像質(zhì)量來(lái)獲得大的圖像數(shù)據(jù)壓縮比率的JPEG格式,PNG格式是一種采用無(wú)損壓縮算法的位圖格式,能夠?qū)崿F(xiàn)壓縮存儲(chǔ)圖像經(jīng)過(guò)解壓縮算法無(wú)損還原。正是由于以上技術(shù)優(yōu)勢(shì),PNG格式的圖像技術(shù)在現(xiàn)在的網(wǎng)絡(luò)媒體及相關(guān)應(yīng)用中得到了廣泛使用,成為圖像存儲(chǔ)的主流技術(shù)。

地面圖像增強(qiáng)系統(tǒng)主要工作流程如下。①將接收到的低質(zhì)量YUV數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換,得到對(duì)應(yīng)的低質(zhì)量待增強(qiáng)的圖像數(shù)據(jù)。②對(duì)這些待增強(qiáng)圖像數(shù)據(jù)進(jìn)行深度網(wǎng)絡(luò)預(yù)處理生成網(wǎng)絡(luò)流數(shù)據(jù),并送入預(yù)先開(kāi)發(fā)部署好的深度網(wǎng)絡(luò)中進(jìn)行質(zhì)量增強(qiáng),達(dá)到低質(zhì)量視頻增強(qiáng)視覺(jué)感受的目的。③將質(zhì)量增強(qiáng)后的圖像再次送入轉(zhuǎn)換器,得到Y(jié)UV格式的數(shù)據(jù),用于下游播放設(shè)備的播放。通過(guò)地面圖像增強(qiáng)系統(tǒng),解決經(jīng)過(guò)編碼傳輸后視頻分辨率低、壓縮噪聲大、運(yùn)動(dòng)模糊嚴(yán)重的問(wèn)題,對(duì)低質(zhì)量視頻進(jìn)行主觀上的質(zhì)量增強(qiáng),提升用戶(hù)視覺(jué)體驗(yàn)與觀看效果。

2 實(shí)例驗(yàn)證

搭建載人飛船圖像系統(tǒng)的試驗(yàn)驗(yàn)證平臺(tái),如圖8所示。用返回艙攝像機(jī)的電性件作為視頻采集裝置,通過(guò)一分二的方式將PAL-D信號(hào)接入更新圖像編碼算法的圖像編碼器電性件,圖像編碼器根據(jù)遙控指令切換單幅及雙幅工作模式,分別輸出單幅和雙幅圖像至地面測(cè)試設(shè)備,地面測(cè)試設(shè)備最后將解碼后的圖像送入地面圖像增強(qiáng)系統(tǒng),進(jìn)一步提升圖像質(zhì)量。圖像質(zhì)量的評(píng)價(jià)手段分為主觀評(píng)價(jià)和客觀評(píng)價(jià)。主觀評(píng)價(jià)是直接通過(guò)人員感受圖像質(zhì)量的清晰度,客觀評(píng)價(jià)采用峰值信噪比(PSNR)的指標(biāo)進(jìn)行評(píng)估,是一種評(píng)價(jià)圖像的客觀標(biāo)準(zhǔn)。

圖8 載人飛船圖像系統(tǒng)測(cè)試平臺(tái)Fig.8 Test platform for image system of manned spacecraft

2.1 載人飛船上圖像增強(qiáng)驗(yàn)證

更改前,無(wú)單幅模式,在雙幅模式下,圖像編碼處理軟件進(jìn)行分辨率352×288像素、幀率25.0幀/秒、輸出碼率300kbit/s的MPEG-4編碼。更改后,在雙幅模式下,將圖像編碼處理軟件的分辨率改為704×288像素,幀率改為12.5幀/秒,碼率為300kbit/s;在單幅模式下,將圖像編碼處理軟件的分辨率改為704×288像素,幀率改為12.5幀/秒,碼率改為600kbit/s。更改圖像編碼器DSP軟件后,圖像方塊效應(yīng)減弱,黑白條測(cè)試圖像清晰度明顯提高,圖像動(dòng)態(tài)適應(yīng)性滿(mǎn)足要求,從主觀上看圖像質(zhì)量有較明顯改善。對(duì)解碼后的圖像和原始圖像的PSNR進(jìn)行比對(duì),結(jié)果如表2所示。

表2 載人飛船上更改前后PSNR比對(duì)Table 2 PSNR comparison before and after on-board upgrade

從表2中可以看出:在實(shí)驗(yàn)室環(huán)境下,圖像編碼器DSP軟件修改編碼器參數(shù),將輸入圖像的分辨率由352×288像素改為704×288像素,幀率由原來(lái)的25.0幀/秒改為12.5幀/秒后,在雙幅模式下,PSNR約能提升2.000dB;在單幅模式下,PSNR約能提升1.800dB。這與主觀評(píng)價(jià)的效果一致。

采用實(shí)驗(yàn)室圖像,進(jìn)行載人飛船上增強(qiáng)前后的對(duì)比,分別如圖9和圖10所示,圖像方塊效應(yīng)減弱,黑白條測(cè)試圖像清晰度明顯提高,從主觀上圖像質(zhì)量有較明顯改善。

圖9 更改前雙幅模式編碼圖像Fig.9 Primary double-mode encoded image

圖10 更改后單幅模式編碼圖像Fig.10 Alterated single-mode encoded image

2.2 地面圖像增強(qiáng)驗(yàn)證

采用返回艙攝像機(jī)采集視頻,在單幅模式下,更改后的圖像編碼處理軟件進(jìn)行分辨率704×288像素、幀率12.5幀/秒、碼率600kbit/s的MPEG-4編碼,經(jīng)過(guò)地面解碼后圖像增強(qiáng)效果如表3所示。對(duì)地面圖像增強(qiáng)后圖像和原始圖像的PSNR進(jìn)行比對(duì),PSNR約提升2.000dB。采用神舟十三號(hào)載人飛船待發(fā)段的返回艙圖像,進(jìn)行地面增強(qiáng)前后的對(duì)比,分別如圖11和圖12所示,圖像方塊效應(yīng)明顯減弱,圖像顯示更加平滑,從主觀上看圖像質(zhì)量有較明顯改善。

表3 地面增強(qiáng)前后PSNR比對(duì)Table 3 PSNR comparison before and after ground enhancement

圖11 神舟十三號(hào)載人飛船原始圖像Fig.11 Original image of Shenzhou-13 manned spacecraft

3 結(jié)束語(yǔ)

本文提出一種低帶寬高質(zhì)量的載人航天器圖像系統(tǒng)優(yōu)化設(shè)計(jì),分別通過(guò)對(duì)載人飛船上圖像壓縮編碼算法改進(jìn)和地面圖像增強(qiáng),實(shí)現(xiàn)在沿用載人飛船整體方案、傳輸帶寬受限的約束前提下圖像傳輸質(zhì)量的提升。采用本文提出的圖像系統(tǒng)優(yōu)化設(shè)計(jì),圖像方塊效應(yīng)減弱,黑白條測(cè)試圖像清晰度明顯提高,主觀評(píng)價(jià)圖像質(zhì)量有明顯改善,載人飛船上部分和地面圖像增強(qiáng)分別對(duì)圖像的PSNR提升了2.000dB,有助于在繼承當(dāng)前載人飛船總體架構(gòu)設(shè)計(jì)的前提下提升載人飛船下行圖像傳輸質(zhì)量。后續(xù)將開(kāi)展H.265圖像編碼體制在載人飛船圖像系統(tǒng)中應(yīng)用的可行性研究,在現(xiàn)有帶寬資源的前提下進(jìn)一步提升圖像傳輸質(zhì)量。