袁秋晨，閔躍軍，丁祝順，蔣鴻翔

（北京航天控制儀器研究所，北京100039）

基于TMS320DM368的光電吊艙視頻壓縮系統(tǒng)設(shè)計

袁秋晨，閔躍軍，丁祝順，蔣鴻翔

（北京航天控制儀器研究所，北京100039）

無人機光電吊艙視頻數(shù)據(jù)的實時壓縮處理是無人機光電吊艙的關(guān)鍵技術(shù)之一。以DM368為核心處理器，以嵌入式Linux為板級操作系統(tǒng)，設(shè)計出一套可供無人機光電吊艙使用的低功耗視頻實時壓縮系統(tǒng)。與傳統(tǒng)的嵌入式視頻H.264軟件編碼壓縮系統(tǒng)相比，本系統(tǒng)依賴DM368內(nèi)嵌的視頻協(xié)處理硬核處理H.264編碼，具有功耗低、處理延遲小、外部電路簡單等諸多優(yōu)勢。同時系統(tǒng)以嵌入式Linux為板級操作系統(tǒng)，實時性強，可穩(wěn)定高效地管理視頻采集、硬核調(diào)度、串口通信、數(shù)據(jù)輸出等諸多任務(wù)。

光電吊艙；DM368；視頻壓縮；H.264編碼

0　引言

無人機光電吊艙是指懸掛在無人機外的艙體有效載荷容器裝置［1］。光電吊艙在無人機實戰(zhàn)中體現(xiàn)出的最大優(yōu)勢在于情報的獲取，而圖像數(shù)據(jù)又是情報數(shù)據(jù)的重要內(nèi)容之一，因此圖像處理技術(shù)對光電吊艙性能的提升產(chǎn)生很大的影響，各類圖像預(yù)處理算法在該領(lǐng)域均有著廣泛的應(yīng)用，如配準(zhǔn)、校正、圖像增強等［2-3］。

無人機光電吊艙的高清晰視頻的輸入主要由圖像傳感器采集得到，在壓縮數(shù)據(jù)前端得到的數(shù)據(jù)為YUV數(shù)字信號。數(shù)字化高清晰視頻需要的帶寬非常大，以本文的研究為例：60fps的720P （1650×750，4∶2∶2）格式需要占用帶寬為1650×750× 8×2×60=1188Mbit/s，這給視頻存儲與傳輸帶來了很大的困難，因此對無人機光電吊艙獲取的圖像進(jìn)行壓縮處理成為無人機光電吊艙視頻數(shù)據(jù)傳輸?shù)年P(guān)鍵技術(shù)。本文將重點研究光電吊艙的圖像壓縮技術(shù)。

無人機對于其承載的電子學(xué)設(shè)備有著很高的要求，其有限的能量供應(yīng)決定了其電子學(xué)設(shè)備必須具備體積小、重量輕、低功耗等特點［4］。傳統(tǒng)的嵌入式H.264板級壓縮系統(tǒng)多采用高性能DSP或FPGA實現(xiàn)軟件編碼，但此設(shè)計方案往往存在著成本高、功耗大、軟件實現(xiàn)復(fù)雜等弊端。本文基于TMS320DM368和嵌入式Linux技術(shù)設(shè)計出一種光電吊艙視頻實時壓縮處理系統(tǒng)。本系統(tǒng)依賴DM368內(nèi)嵌的視頻協(xié)處理硬核執(zhí)行H.264編碼，以嵌入式Linux為板級操作系統(tǒng)，可穩(wěn)定高效地管理視頻采集、硬核調(diào)度、串口通信、數(shù)據(jù)輸出等諸多任務(wù)。本系統(tǒng)平均功耗僅為2W，具有功耗低、成本低、體積小、重量輕、實時性強等諸多優(yōu)勢，能夠滿足無人機光電吊艙視頻壓縮的應(yīng)用需求。

1　系統(tǒng)架構(gòu)與硬件設(shè)計

1.1系統(tǒng)方案選型

目前相關(guān)產(chǎn)品中的圖像壓縮系統(tǒng)種類繁多，在這些圖像壓縮系統(tǒng)中，主要有以下兩種設(shè)計方案：

（1）基于ARM處理器的專用解碼芯片

這種方案的選擇主要是以ARM作為處理器內(nèi)核，搭載專用多媒體處理芯片。ARM核心處理器主要功能是完成與外設(shè)的通信及控制，通過專用處理器軟件實現(xiàn)多路音頻語音編解碼和視頻硬件加速引擎共同完成視頻編解碼的功能。針對1080P/1080i高清視頻壓縮，海思半導(dǎo)體公司推出了Hi3520芯片，它能夠以H.264或者M(jìn)PEG4編碼標(biāo)準(zhǔn)完成視頻壓縮，優(yōu)點是開發(fā)時間短、性能可靠，但是由于采用的是ASIC芯片，其靈活性較差，產(chǎn)品一旦定型，很難進(jìn)行二次開發(fā)。

（2）基于DSP和微控制單元的芯片

這種方案主要由通用DSP和MCU（Micro Control Unit）兩部分組成，DSP主要完成視頻數(shù)據(jù)的處理功能，外圍設(shè)備則主要由MCU來控制。一個典型的實例就是DSP+FPGA，由FPGA進(jìn)行邏輯與算法的實現(xiàn)，DSP完成對視頻數(shù)據(jù)的處理。這種方案可用的外圍設(shè)備接口豐富，在采用軟件算法時，可以方便地實現(xiàn)視頻編解碼標(biāo)準(zhǔn)的算法轉(zhuǎn)換和新標(biāo)準(zhǔn)的升級而不需要修改硬件，靈活性很高，但是采用軟件編解碼，在實現(xiàn)MPEG4或者H.264算法時難度很大，而且DSP與MCU之間的協(xié)調(diào)工作比較麻煩，會增大開發(fā)難度。

以上兩種設(shè)計方案均有不足之處，而本文所設(shè)計的圖像壓縮系統(tǒng)采用新型的專用視頻處理器，彌補了以上兩種方案的不足。

本文所研究的圖像壓縮系統(tǒng)的特點是采用控制器和硬件編解碼雙核處理器。采用的處理器芯片為TI公司的DaVinci系列TMD320DM368（以下統(tǒng)稱DM368）芯片。這種新型處理器基于ARM+硬件編碼器的雙核架構(gòu)，ARM處理器能夠出色地完成對各個模塊之間通信的控制，而硬件編解碼器可以滿足高清晰視頻極大的數(shù)據(jù)吞吐量和計算量的要求，同時開發(fā)者不必干預(yù)雙核之間的通信與協(xié)調(diào)，另外硬件編解碼速度很快、功耗低，彌補了前兩種方案中的不足，是一種具有廣闊應(yīng)用前景的處理器架構(gòu)。在開發(fā)的軟件設(shè)計方面，TI專門針對DaVinci系列給出了嵌入式Linux系統(tǒng)設(shè)計的軟件開發(fā)包，這些都給開發(fā)者提供了更多的便利。

1.2系統(tǒng)架構(gòu)設(shè)計

本系統(tǒng)以DM368為核心處理器，主要由視頻采集模塊、通信模塊、電源模塊和存儲器模塊組成。本系統(tǒng)的硬件架構(gòu)設(shè)計框圖如圖1所示。

圖1　系統(tǒng)硬件架構(gòu)Fig.1　Hardware architecture of system

從圖1中可以看到，DM368通過異步外部存儲器接口（AEMIF）與外部存儲器NAND Flash相連，DDR2與DM368的同步外部存儲器專用接口連接，視頻數(shù)據(jù)通過DM368的圖像傳感器接口（ISIF），系統(tǒng)采用14針的JTAG接口與仿真器XDS560U-PLUS相接。DM368具有的很多功能在本系統(tǒng)中都沒有用到，因此在設(shè)計時需要注意對不用功能對應(yīng)引腳的處理。

1.3硬件電路設(shè)計

（1）視頻采集模塊

文中所設(shè)計的無人機光電吊艙系統(tǒng)采用的光電載荷為紅外相機和可見光相機CCD一體機，其中紅外和可見光圖像輸出信號格式為外行場同步加YUV格式信號，紅外圖像信號和可見光圖像信號一起輸出到FPGA中，F(xiàn)PGA將根據(jù)控制命令選擇其中一路圖像信號輸出至圖像壓縮板。如圖2所示。

（2）通信模塊

通信模塊有兩個部分，串口通信與以太網(wǎng)通信。本文所設(shè)計的吊艙系統(tǒng)主要使用串口通信。串口通信在主機與宿主機之間主要負(fù)責(zé)顯示系統(tǒng)的啟動以及與Linux進(jìn)行交互時內(nèi)核、文件系統(tǒng)等的下載信息。

圖2　圖像采集電路示意圖Fig.2　Schematic diagram of image acquisition circuit

DM368上有兩個UART口，使用UART0作為串口設(shè)備與主機進(jìn)行連接，采用RS-232作為串口通信協(xié)議。

本文設(shè)計采用的是Maxim公司的通用串口收發(fā)芯片MAX3221，與主處理器之間有一收一發(fā)兩根線的連接，設(shè)置工作在全雙工狀態(tài)。其原理圖如圖3所示。

圖3　RS232接口電路原理圖Fig.3　RS232 interface circuit schematic diagram

（3）電源模塊設(shè)計

電源模塊的設(shè)計是系統(tǒng)正常工作的前提。表1給出了整個圖像壓縮系統(tǒng)的供電需求情況。TMS320DM368的供電電壓分別為1.35V、1.8V和3.3V，其上電順序首先為1.35V，其次為1.8V，最后才是3.3V。而掉電順序則相反。為了滿足電壓設(shè)計的要求，本文選用TI公司的TPS6525作為電源芯片。

表1　系統(tǒng)供電分析表Table1　Power supply system analysis table

（4）存儲器模塊設(shè)計

DM368作為一個嵌入式系統(tǒng)的核心處理器，同標(biāo)準(zhǔn)電腦CPU一樣，需要“內(nèi)存”“外存”設(shè)備輔助其工作。DM368內(nèi)嵌的DDR2接口以及DDR2控制器可以方便地外接DDR2設(shè)備。一般的，Linux操作系統(tǒng)穩(wěn)定而流暢的運行需要80MB的內(nèi)存空間，應(yīng)用層程序所開辟的緩存區(qū)大約需要30MB左右的內(nèi)存空間［5］，并綜合考慮低功耗要求等因素，本系統(tǒng)選用的內(nèi)存芯片為128MB的芯片K4T1G164QF-BCF7。

DM368集成的AEMIF接口可以方便地外接外部存儲器。該外部存儲器需要有足夠的空間存儲Bootloader，Linux內(nèi)核以及文件系統(tǒng)。本系統(tǒng)綜合考慮存儲空間需要以及低功耗需求，最終選取了 一 片 128MB的 NANDFLASH芯 片K9F1G08U0B作為本系統(tǒng)的外存芯片。

2　系統(tǒng)軟件設(shè)計

本軟件將通過VPFE接口對可見光相機CCD一體機與紅外相機的圖像進(jìn)行視頻數(shù)據(jù)采集；地面站發(fā)送的控制指令在經(jīng)過FPGA疊加內(nèi)部控制指令之后，通過UART串行接口進(jìn)行接收，并根據(jù)協(xié)議進(jìn)行功能操作；采集的圖像經(jīng)過DM368進(jìn)行H.264編碼壓縮之后的圖像幀，以及系統(tǒng)的復(fù)接數(shù)據(jù)幀通過SPI接口進(jìn)行發(fā)送；同時將壓縮后的圖像幀存入SD卡，并可以通過網(wǎng)口進(jìn)行輸出。

2.1軟件架構(gòu)

軟件架構(gòu)的頂層設(shè)計如圖4所示。

圖4　軟件架構(gòu)的頂層設(shè)計Fig.4　The top layer software architecture design

1）SystemServer是實現(xiàn)系統(tǒng)控制功能的進(jìn)程，如文件管理、網(wǎng)絡(luò)接口拔插響應(yīng)、AvServer API接口的消息機制再封裝等，提供對于AvServer、配置文件、HttpServer等組件進(jìn)行操作的多種API接口。SystemServer進(jìn)程負(fù)責(zé)配置各種參數(shù)，使用ControlSystemData（）接口接收項目指定的控制指令與調(diào)試用控件的指令，并最終通過消息機制實現(xiàn)AvServer的功能調(diào)度。

2）AvServer是實現(xiàn)系統(tǒng)主要功能的進(jìn)程，如VPFE接口的圖像采集、H.264編碼壓縮、SWOSD字符疊加、六檔電子變倍等功能。AvServer進(jìn)程由SystemServer啟動與配置參數(shù)，啟動后從Video設(shè)備采集圖像數(shù)據(jù)進(jìn)行編碼壓縮，通過GetAvData（）接口提供壓縮后的圖像數(shù)據(jù)給Videosend與HttpServer進(jìn)程。

3）Videosend進(jìn)程是實現(xiàn)數(shù)據(jù)發(fā)送與接收的進(jìn)程，Videosend進(jìn)程提供壓縮后的圖像數(shù)據(jù)給地面站，同時也負(fù)責(zé)接收地面站指令，進(jìn)行解譯后調(diào)用SystemServer的ControlSystemData（）接口實現(xiàn)功能響應(yīng)。

4）Http Server進(jìn)程與Videosend功能類似，作為網(wǎng)絡(luò)輸出的預(yù)留接口，除提供壓縮圖像之外還可以直接通過網(wǎng)頁控件訪問與控制，便于調(diào)試［6］。

2.2數(shù)據(jù)流

使用紅外或可見光載荷的軟件數(shù)據(jù)流示意圖如圖5所示。

圖5　數(shù)據(jù)流Fig.5　Data flow

1）ISIF從可見光CCD一體機或紅外一體機產(chǎn)生的行場信號中采集到Y(jié)UV格式的數(shù)據(jù)，在這里圖像分辨率為1280×720，采集到的數(shù)據(jù)進(jìn)入DDR。

2）ISIF傳遞給DDR的數(shù)據(jù)為1280×720的YUV格式圖像，經(jīng)過IPIPE，再通過RSZ縮放（具體縮放方式取決于電子變倍的參數(shù)）為項目后端需要的1024×768分辨率圖像，依然為YUV格式。

3）縮放之后的圖像使用軟件OSD疊加字符顯示之后，進(jìn)入Encode模塊進(jìn)行編碼壓縮，產(chǎn)生1024×768分辨率的H264格式圖像，保存在DDR中。

4）每當(dāng)新的一幀圖像產(chǎn)生，Videosend進(jìn)程將通過AvServer的共享內(nèi)存進(jìn)行訪問，并最終發(fā)送給地面終端。

3　實驗結(jié)果

本系統(tǒng)軟件開發(fā)環(huán)境如下：

1）嵌入式Linux內(nèi)核版本號為2.6.32.17；

2）交叉編譯環(huán)境arm-none-linux-gnueabi-4.3.3；

3）DMAI軟件版本號為2.20.00.15；

4）宿主機VMWare-Ubuntu-12.04。

在實驗室環(huán)境下，以可見光圖像為例，使用地面站解碼系統(tǒng)為接收端評估本系統(tǒng)效果。試驗表明，本系統(tǒng)運行穩(wěn)定，串口命令響應(yīng)無延遲，地面接收端輸出的圖像清晰流暢，沒有失真及馬賽克現(xiàn)象引入。系統(tǒng)延遲約為0.6s～0.9s。此處需要補充說明的是上述延遲時間是由本系統(tǒng)編碼端硬核編碼、SPI傳輸、地面解碼端解碼等共同決定的。系統(tǒng)在12V穩(wěn)壓電源供電情況下，工作時輸出電流為0.17A左右，功耗約為2W。圖6是解碼端的圖像效果截圖。

圖6　解碼端圖像效果截圖Fig.6　Graphic result captured from decoding system

4　結(jié)論

無人機有限的能量供應(yīng)決定了其電子學(xué)設(shè)備必須具備體積小、重量輕、低功耗等特點。本文結(jié)合工程應(yīng)用背景，設(shè)計出一套可供無人機光電吊艙使用的低功耗視頻實時壓縮系統(tǒng)。系統(tǒng)以DM368為核心處理器，以嵌入式Linux為板級操作系統(tǒng)。系統(tǒng)軟件完成了對于DM368芯片與紅外相機或可見光CCD控制器的控制，以及其他邏輯代碼來實現(xiàn)視頻數(shù)據(jù)采集、電子變倍、視頻H.264編碼壓縮、字符疊加等功能。試驗結(jié)果表明，與傳統(tǒng)的嵌入式視頻H.264軟件編碼壓縮系統(tǒng)相比，本系統(tǒng)在處理數(shù)字視頻源的H.264編碼任務(wù)時，平均功耗僅為2W，具有功耗低、成本低、體積小、重量輕、實時性強等諸多優(yōu)勢，能夠滿足無人機光電吊艙視頻壓縮的應(yīng)用需求。

本系統(tǒng)以DM368為核心處理單元，依賴內(nèi)嵌的視頻協(xié)處理器編碼H.264具有一定的弊端。其一，由于系統(tǒng)調(diào)用DM368固化的協(xié)處理壓縮硬核，用戶僅能對開放的端口進(jìn)行控制，對未開放的端口則不能控制；其二，由于DM368內(nèi)嵌的協(xié)處理壓縮硬核需在嵌入式Linux的管理調(diào)度下運行，不能在無操作系統(tǒng)的環(huán)境下運行。嵌入式Linux是一種實時化操作系統(tǒng)，但是“實時”的概念是指系統(tǒng)正常加載運行后，系統(tǒng)調(diào)度和響應(yīng)的實時。在嵌入式Linux沒有加載完成之前，系統(tǒng)無法對外界激勵做出正常響應(yīng)，因此本系統(tǒng)不適宜在“上電即運行的”特殊項目背景下工作，本系統(tǒng)內(nèi)核經(jīng)優(yōu)化剪裁處理后，啟動時間約為15s。盡管存在上述弊端，但是以DM368為核心的視頻壓縮系統(tǒng)以其功耗低、延遲小、成本低，體積小、實時性強等諸多優(yōu)勢成為業(yè)界主流的視頻壓縮技術(shù)方案之一。

［1］馮琦，周德云.軍用無人機光電吊艙發(fā)展趨勢［J］.電光與控制，2003，10（1）∶9-13. FENG Qi，ZHOU De-yun.The development tread of unmanned air vehicle［J］.Electronics Optics&Control，2003，10（1）∶9-13.

［2］楊權(quán)，劉晶紅，馬曉飛.基于圖像處理的機載光電平臺自動調(diào)焦方法［J］.液晶與顯示，2011，26（5）∶677-682. YANG Quan，LIU Jing-hong，MA Xiao-fei.Auto-focusing method based on image processing for airborne electro-optical imaging platform［J］.Chinese Journal of Liquid Crystals and Displays，2011，26（5）∶677-682.

［3］尹傳歷，王嘯哲.機載嵌入式圖像增強系統(tǒng)設(shè)計與實現(xiàn)［J］.液晶與顯示，2013，28（4）∶604-607. YIN Chuan-li，WANG Xiao-zhe.Design and realization of airborne embedded image enhancement system ［J］. Chinese Journal of Liquid Crystals and Displays，2013，28（4）∶604-607.

［4］魯劍鋒.無人機光電載荷圖像處理器的設(shè)計［J］.中國光學(xué)，2011，4（5）∶448-452. LU Jian-Feng.Design of image system in opto-electrical playloads on UAV［J］.Chinese Journal of Optics，2011，4 （5）∶448-452.

［5］王飛.基于Davinci技術(shù)的視頻編碼系統(tǒng)實現(xiàn)［D］.西安電子科技大學(xué)，2012. WANG Fei.Implementation of video encoding system based on Davinci technology［D］.Xidian University，2012.

［6］ Application_DesignGuide_IPNC_DM36x［M］.Texas Instruments Incorporated，2010.

Design of Dlectro-optical Pod Video Encoding System Based on TMS320DM368

YUAN Qiu-chen，MIN Yue-jun，DING Zhu-shun，JIANG Hong-xiang
（Beijing Institute ofAerospace Control Devices，Beijing 100039）

Real-time UAV electro-optical pod video data compression is one of the key technology of UAV electrooptical pod.In this paper we propose a real-time，low-power video encoding system design，based on DM368 processor and embedded Linux operating system.Compared with traditional embedded video H.264 encoding system design，we use DM368 inner video image co-processing to process the encoding task，which has the advantage of low-power consumption，low processing delay，and simple external circuit design.Furthermore，we utilize the real-time，stable and efficient embedded Linux operating system，capable of processing multi-task，such as video capturing，hard-core scheduling，serial communication，and data transmission.

electro-optical pod；DM368；video compression；H.264 encoding

TP394.1

A

1674-5558（2016）03-01063

10.3969/j.issn.1674-5558.2016.02.013

2015-01-12

袁秋晨，女，導(dǎo)航、制導(dǎo)與控制專業(yè)，碩士，研究方向為圖像處理。