周 罡

(華中光電技術(shù)研究所 武漢光電國(guó)家實(shí)驗(yàn)室， 武漢 430223)

FPGA+DSP架構(gòu)的HD-SDI高清圖像處理系統(tǒng)設(shè)計(jì)

周 罡

(華中光電技術(shù)研究所 武漢光電國(guó)家實(shí)驗(yàn)室， 武漢 430223)

隨著圖像處理技術(shù)及傳感器技術(shù)的不斷發(fā)展，高清數(shù)字圖像取代模擬圖像成為一種趨勢(shì)。設(shè)計(jì)了一種基于HD-SDI技術(shù)的高清圖像處理系統(tǒng)，可通過(guò)FPGA+DSP架構(gòu)對(duì)1080P全高清圖像進(jìn)行采集和字符疊加，并實(shí)時(shí)進(jìn)行目標(biāo)提取和偏差量計(jì)算。疊加視頻可通過(guò)DVI數(shù)字接口或模擬接口實(shí)時(shí)顯示。利用圖像高分辨率特性，系統(tǒng)可實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)精確跟蹤。

HD-SDI；圖像處理；DVI；FPGA

引 言

隨著數(shù)字視頻的迅速發(fā)展，高清數(shù)字圖像代替模擬圖像成為必然趨勢(shì)。光電系統(tǒng)采用全高清圖像技術(shù)，不僅能大大提高顯示效果，而且能顯著提高系統(tǒng)的跟蹤精度。因此，高清圖像處理系統(tǒng)的開(kāi)發(fā)成為光電系統(tǒng)技術(shù)發(fā)展必須突破的關(guān)鍵技術(shù)之一。SDI(Serial Digital Interface)即串行數(shù)字接口，其標(biāo)準(zhǔn)由移動(dòng)圖像和電視工程師協(xié)會(huì)(SMPTE)制定，在當(dāng)今的廣播和視頻產(chǎn)品領(lǐng)域得到了廣泛的應(yīng)用。標(biāo)準(zhǔn)規(guī)定如何通過(guò)同軸電纜在設(shè)備間傳送未經(jīng)壓縮的串行數(shù)字視頻數(shù)據(jù)。

在非編后期制作、廣播電臺(tái)等領(lǐng)域，基于HD-SDI(High Definition-Serial Digital Interface)高清電視應(yīng)用較為廣泛，在1.485 Gb/s、1.001 Gb/s的信號(hào)速率條件下傳輸?shù)慕涌谝?guī)格都符合標(biāo)準(zhǔn)SMPTE-292M[1]。該接口攝像機(jī)既能保證光電系統(tǒng)高清顯示的要求，又能滿(mǎn)足目標(biāo)實(shí)時(shí)跟蹤的要求。

本文設(shè)計(jì)了一種基于HD-SDI的高清圖像處理系統(tǒng)，可滿(mǎn)足光電系統(tǒng)實(shí)現(xiàn)圖像高清顯示和目標(biāo)跟蹤的要求，具有較好的平臺(tái)兼容性的要求。

1 系統(tǒng)組成

HD-SDI攝像機(jī)將高清視頻通過(guò)75 Ω同軸電纜實(shí)時(shí)傳送到高清圖像處理系統(tǒng)。系統(tǒng)對(duì)圖像進(jìn)行處理后，將視頻信號(hào)送到數(shù)字顯示終端進(jìn)行顯示。

由于全高清數(shù)字圖像處理系統(tǒng)涉及大量數(shù)據(jù)的運(yùn)算及邏輯控制，系統(tǒng)的控制體系采用FPGA+DSP的結(jié)構(gòu)形式。FPGA進(jìn)行圖像采集、存儲(chǔ)、輸出顯示和整個(gè)系統(tǒng)的邏輯控制；DSP作為數(shù)字信號(hào)處理核心，則主要用來(lái)運(yùn)行圖像跟蹤算法及完成各種外設(shè)的初始化。系統(tǒng)的硬件組成包括數(shù)據(jù)接收單元—HD-SDI數(shù)字視頻輸入；數(shù)據(jù)發(fā)送單元—HD-SDI、DVI、AV視頻輸出；圖像存儲(chǔ)單元—4個(gè)72 Mb SRAM；通信單元—RS422接口。系統(tǒng)組成框圖如圖1所示。

圖1 系統(tǒng)原理組成框圖

DSP選用TI公司的TMS320C6414，F(xiàn)PGA采用ALTERA公司的EP3C120F780，二者通過(guò)32位數(shù)據(jù)總線進(jìn)行視頻數(shù)據(jù)和其他參數(shù)傳輸。數(shù)據(jù)輸入接口采用HD-SDI高清視頻接口芯片對(duì)高清攝像機(jī)的視頻信號(hào)進(jìn)行解碼，F(xiàn)PGA接收解碼視頻信號(hào)后進(jìn)行圖像存儲(chǔ)和頻率轉(zhuǎn)換，并將圖像數(shù)據(jù)傳給DSP進(jìn)行窗口檢測(cè)、自適應(yīng)圖像分割、相關(guān)匹配等運(yùn)算，獲取目標(biāo)位置相對(duì)光軸中心的偏差量。同時(shí)，F(xiàn)PGA通過(guò)片內(nèi)雙口RAM與DSP進(jìn)行數(shù)據(jù)通信，完成如字符顯示與消隱等功能，以方便人機(jī)界面操作。上位機(jī)通過(guò)RS422接口與FPGA進(jìn)行數(shù)據(jù)通信，將測(cè)角數(shù)據(jù)、控制參數(shù)、設(shè)備狀態(tài)等信息傳遞給圖像處理系統(tǒng)，圖像處理系統(tǒng)則將測(cè)偏量信息傳遞給上位機(jī)進(jìn)行目標(biāo)跟蹤。

圖像處理是光電系統(tǒng)的重要組成部分，在設(shè)計(jì)中需保持圖像處理系統(tǒng)的通用性和開(kāi)放性。采用了模塊化設(shè)計(jì)思想，并采用通用通信接口代替總線與上位機(jī)通信，可保證硬件適用于不同的系統(tǒng)平臺(tái)。各模塊分別完成以下功能：

① FPGA完成圖像采集、圖像顯示接口控制、外部存儲(chǔ)器的讀寫(xiě)邏輯控制及與上位機(jī)的通信。

② DSP與FPGA之間通過(guò)雙口RAM實(shí)現(xiàn)通信，并通過(guò)FPGA讀寫(xiě)SRAM實(shí)現(xiàn)目標(biāo)提取和字符疊加功能。DSP實(shí)現(xiàn)包括目標(biāo)檢測(cè)、模板匹配、電子穩(wěn)像等多種圖像算法。

③ SRAM是外擴(kuò)的圖像存儲(chǔ)器，F(xiàn)PGA通過(guò)ping-pong方式將采集到的高清數(shù)字圖像存儲(chǔ)在SRAM中并輸出給DSP和顯示接口。

④ 數(shù)據(jù)接收單元由高速SDI接口實(shí)現(xiàn)高清攝像機(jī)輸入視頻解碼。

⑤ 數(shù)據(jù)發(fā)送單元實(shí)現(xiàn)DVI、AV與SDI輸出視頻的編碼功能。

2 數(shù)據(jù)接收單元

數(shù)據(jù)接收單元由SDI解碼器組成。系統(tǒng)選用Gennum公司生產(chǎn)的GS2971對(duì)HD-SDI攝像機(jī)傳輸?shù)囊曨l信號(hào)進(jìn)行解碼，之后將高清視頻信號(hào)的像素時(shí)鐘、行、場(chǎng)及視頻數(shù)據(jù)傳給FPGA[2]。數(shù)據(jù)接收單元連接框圖如圖2所示。

圖2 數(shù)據(jù)接收單元連接框圖

GS2971是一款自帶線纜均衡功能的單端口輸入解碼芯片。支持3 Gb/s、HD、SD SDI串行數(shù)據(jù)傳輸速度，最高支持4:2:2 10位色深表現(xiàn)，分辨率可達(dá)1080P。內(nèi)置HD-SDI解串器簡(jiǎn)化了外部FPGA的邏輯解串功能。GS2971的初始化采用I/O電平控制與SPI接口相結(jié)合的方法，可被配置為20位數(shù)據(jù)輸出和10位數(shù)據(jù)輸出。當(dāng)配置為20位數(shù)據(jù)輸出時(shí)，亮度信息和色度信息分別占10位數(shù)據(jù)線，時(shí)鐘為74.25 MHz；配置為10位數(shù)據(jù)輸出時(shí)，亮度和色度信息合成輸出，時(shí)鐘為148.5 MHz。本系統(tǒng)中，將GS2971配置為20位數(shù)據(jù)輸出模式，GS2971支持一路SDI信號(hào)環(huán)路輸出，可供系統(tǒng)實(shí)時(shí)檢測(cè)SDI信號(hào)輸入是否正常[3]。

3 數(shù)據(jù)發(fā)送單元

系統(tǒng)設(shè)計(jì)的數(shù)據(jù)發(fā)送單元由一個(gè)DVI編碼器和一個(gè)PAL編碼器組成。其中，DVI編碼器將數(shù)字信號(hào)轉(zhuǎn)換為差分信號(hào)，傳遞給DVI接口高清顯示器。DVI接口需實(shí)現(xiàn)1080P高清顯示，是系統(tǒng)數(shù)據(jù)發(fā)送單元的關(guān)鍵環(huán)節(jié)。

針對(duì)圖像輸出接口的不同要求，選擇NXP公司的SAF7129實(shí)現(xiàn)圖像的PAL制式輸出；選擇TI公司的TFP410實(shí)現(xiàn)DVI圖像輸出。其中，DVI顯示為數(shù)字信號(hào)輸出，與傳統(tǒng)的VGA模擬信號(hào)相比，采用DVI數(shù)字信號(hào)不會(huì)引起像素抖動(dòng)和相鄰像素間的干擾，顯示器不會(huì)造成幾何失真，大大提高了畫(huà)面質(zhì)量，顯示畫(huà)面細(xì)膩、清晰，因此設(shè)計(jì)時(shí)將DVI接口作為系統(tǒng)的主顯示通道。PAL制式為模擬信號(hào)輸出，可以兼容光電系統(tǒng)在特殊情況下的顯示需求。數(shù)據(jù)發(fā)送單元DVI顯示連接如圖3所示。

圖3 數(shù)據(jù)發(fā)送單元DVI顯示連接圖

TFP410支持從VGA到UXGA(25～165 MHz)格式的像素速率，具有12位雙邊和24位單邊兩種輸入模式，可以通過(guò)I2C總線進(jìn)行芯片工作模式配置。TFP410主要通過(guò)DE引腳的高低電平來(lái)決定發(fā)送信號(hào)類(lèi)型。當(dāng)DE為高電平時(shí)，發(fā)送像素編碼數(shù)據(jù)；當(dāng)DE為低電平時(shí)，發(fā)送同步信號(hào)以及控制信號(hào)[4]。

本設(shè)計(jì)通過(guò)I2C總線來(lái)配置編碼器，編碼器采用24位單邊輸入模式，單邊輸入時(shí)鐘，下降沿觸發(fā)。采用I2C總線可以快捷地在線調(diào)整參數(shù)配置，對(duì)編碼器高速輸入信號(hào)的時(shí)鐘沿進(jìn)行調(diào)整，有效減少圖像噪聲和串?dāng)_。

4 圖像存儲(chǔ)單元

圖像處理系統(tǒng)輸入一幀1080P高清圖像的大小為：

1 920×1 080×16=33 177 600位=30Mb

選擇了CYPRESS公司CY7C1482V33型號(hào)的SRAM作為系統(tǒng)圖像存儲(chǔ)單元，CY7C1482V33存儲(chǔ)空間大小為72 Mb，可配置為2M×36位,4M×18位,1M×72位，能同時(shí)存下2幅圖像。CY7C1482V33支持最高達(dá)250 MHz的讀寫(xiě)速度，工作電壓為3.3 V。

5 FPGA處理單元

FPGA主要完成圖像采集、存儲(chǔ)、輸出顯示管理，與DSP之間進(jìn)行數(shù)據(jù)交互以及視頻的像素級(jí)處理，是圖像處理系統(tǒng)的核心管理單元，與圖像有關(guān)的功能框架模塊大部分都在FPGA中實(shí)現(xiàn)。FPGA功能框圖如圖4所示。

圖4 FPGA功能框圖

當(dāng)數(shù)據(jù)發(fā)送單元傳遞1920×1080像素圖像格式的數(shù)據(jù)給FPGA后，根據(jù)每幀圖像20位 YCbCr 4:2:2工作模式的要求將亮度和色度信息分開(kāi)提取。SRAM是單端口存儲(chǔ)器，在同一時(shí)間只能完成讀操作或?qū)懖僮?，因此在輸入?shù)據(jù)進(jìn)行濾波后，選用了2M×36位的3片SRAM作為一組片外存儲(chǔ)器進(jìn)行Ping-Pong操作。用輸入SDI圖像的場(chǎng)同步信號(hào)生成一個(gè)計(jì)數(shù)器，每一場(chǎng)對(duì)SRAM的讀寫(xiě)切換一次。當(dāng)需要使用一場(chǎng)圖像信息時(shí)，可及時(shí)從一個(gè)存儲(chǔ)器中讀取。與此同時(shí)，連續(xù)的圖像數(shù)據(jù)被存至另一個(gè)存儲(chǔ)器中，第3片SRAM則處于DSP讀寫(xiě)狀態(tài)。3片SRAM通過(guò)切換，完成一幀圖像的保存、處理和輸出[5]。

6 軟件設(shè)計(jì)

系統(tǒng)的軟件主要包括FPGA和DSP兩部分。FPGA負(fù)責(zé)采集和輸出電視圖像數(shù)據(jù)，利用FPGA內(nèi)部的存儲(chǔ)資源，進(jìn)行字符、十字絲、波門(mén)等信息疊加，不僅提高了數(shù)據(jù)處理速率，而且降低了DSP處理數(shù)據(jù)時(shí)產(chǎn)生幀間延時(shí)的可能性。DSP負(fù)責(zé)通過(guò)SPI配置和檢測(cè)HD-SDI解碼器，實(shí)現(xiàn)視頻模式選擇，并根據(jù)檢測(cè)結(jié)果確定各個(gè)芯片當(dāng)前的工作狀態(tài)，此外通過(guò)訪問(wèn)圖像存儲(chǔ)器進(jìn)行Mean-shift、非對(duì)稱(chēng)多向梯度、質(zhì)心、相關(guān)、電子穩(wěn)像和航跡預(yù)測(cè)等算法運(yùn)算。

上電之后，對(duì)DSP進(jìn)行初始化，主要包括片外存儲(chǔ)器、SPI、GPIO、外部中斷的配置。初始化完成之后，通過(guò)SPI向GS2971發(fā)送開(kāi)始解碼的指令，向GS2971請(qǐng)求狀態(tài)信息，等待GS2971進(jìn)入到解碼狀態(tài)，更新FPGA的采集數(shù)據(jù)。

DSP從圖像存儲(chǔ)器得到圖像數(shù)據(jù)后，根據(jù)背景的復(fù)雜程度和上位機(jī)命令執(zhí)行圖像質(zhì)心、相關(guān)跟蹤與航跡預(yù)測(cè)算法。經(jīng)過(guò)DSP圖像處理后，判斷出鎖定的運(yùn)動(dòng)目標(biāo)，并計(jì)算出所跟蹤目標(biāo)的角坐標(biāo)值和跟蹤角誤差值，傳遞給上位機(jī)進(jìn)行實(shí)時(shí)控制。同時(shí)把跟蹤目標(biāo)的位置信息疊加到SRAM內(nèi)相應(yīng)的視頻幀，經(jīng)DVI通道將電視數(shù)據(jù)送到高清顯示器上顯示。

結(jié) 語(yǔ)

[1] SMPTE. SMPTE 424M-2006，2009.

[2] 李星.高清數(shù)字視頻信號(hào)的HDMI與SDI接口雙向轉(zhuǎn)換系統(tǒng)硬件部分設(shè)計(jì)與實(shí)現(xiàn)[D] .北京：北京郵電大學(xué)，2011.

[3] GENNUM Corportation. GS2971 Datasheet，2009.

[4] Texas Instruments.TFP410 Datasheet，2002.

[5] 原魁,何文浩,肖晗. 基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計(jì)[M].北京：電子工業(yè)出版社，2013.

周罡(工程師)，研究方向?yàn)閳D像處理技術(shù)。

Design of HD-SDI High-resolution Image Processing System Based on FPGA and DSP

Zhou Gang

(Wuhan National Laboratory for Optoelectronics,Huazhong Institute of Electro-optics, Wuhan 430223,China)

The high-definition image replaces analogue image to become a kind of trend with the development of image processing technique and sensor technique. A high-definition image processing system is designed based on HD-SDI technique. The system can acquire 1080P high-definition image and make character composition through the structure of FPGA and DSP, and it can extract target and compute deviation in real-time. The composition video is displayed in real-time through DVI digital interface or analogue interface. The system can track moving target accurately with the high-resolution characteristic of images.

HD-SDI; image processing; DVI; FPGA

TN91

A

2014-02-24)