姚引娣

(西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西 西安 710121)

基于相機連接接口的大圖像實時顯示系統(tǒng)

姚引娣

(西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西 西安 710121)

采用高速緩存、幀分多路輸出，實現(xiàn)一種實時大圖像多顯示器聯(lián)合顯示系統(tǒng)。該方案采用現(xiàn)場可編程邏輯陣列芯片，利用雙倍速率同步動態(tài)隨機存儲器芯片作為數(shù)據(jù)緩存單元，通過片上同步動態(tài)隨機存取存儲器乒乓緩存數(shù)據(jù)，將每幀圖像數(shù)據(jù)平均分配并通過相機連接(Camera Link)接口發(fā)給上位機顯示。 通過Chipscope在線調(diào)試軟件測試，該實時顯示系統(tǒng)支持5路Camera Link輸出，每路Camera Link圖像輸出采用12比特位寬，支持最大數(shù)據(jù)吞吐量為960Mbps，能解決超大尺寸圖像因常規(guī)顯示器顯示范圍有限而不能在一個顯示器上完整顯示的問題。

現(xiàn)場可編程邏輯陣列; 相機連接接口;乒乓控制; 雙倍速率同步動態(tài)隨機存儲器

隨著圖像采集處理技術(shù)的發(fā)展，實時獲取大尺寸圖像已成為可能[1-2]，但由于目前常見計算機顯示范圍有限，在單一顯示器上完全顯示圖像尺寸為3 840 × 1 920以上的大尺寸圖像仍難以實現(xiàn)。利用單片機的高速同步串行口高速時鐘將多端口串行Flash存儲的數(shù)據(jù)以“存儲器直接存取”方式輸出[3]，其顯示長度長但其寬度有限，只有64點。通過調(diào)度局域網(wǎng)中多臺計算機終端進行配合，使不同終端同時顯示一幅超大影像的不同部分[4]，其設(shè)計復(fù)雜度高，同時占用多臺電腦，不適用于嵌入式系統(tǒng)設(shè)計。

基于Camera Link協(xié)議的接口簡化了計算機和攝像頭之間的連接，可為高速、高精度的數(shù)字攝像頭提供簡單、靈活的連接，已被廣泛應(yīng)用于工業(yè)設(shè)計[5-7]。由于Camera Link協(xié)議規(guī)定的接口速度高，圖像處理單元必須通過高速緩存和DMA控制才能實現(xiàn)。

FPGA邏輯資源豐富、處理速度快，可以滿足采用Camera Link協(xié)議的實時圖像處理要求[8-10],因此，針對單顯示器無法完全顯示大尺寸圖像的問題，本文采用高性能的Xilinx Virtex-5 FPGA芯片，結(jié)合高速DDR緩存、幀分多路和實時乒乓讀寫技術(shù)等機制，設(shè)計一種超大尺寸圖像多顯示器聯(lián)合顯示的實時顯示系統(tǒng)。

1 系統(tǒng)硬件設(shè)計

硬件整體框圖如圖1所示，F(xiàn)PGA負責(zé)圖像處理，它通過DS90CR288從圖像采集卡讀入大尺寸圖像數(shù)據(jù)，然后把處理后的圖像數(shù)據(jù)通過Camera Link接口模塊DS90CR287上傳給上位機作進一步分析。為了提高處理速度，它利用DDR做高速數(shù)據(jù)緩存[11-12]。

圖1 系統(tǒng)硬件結(jié)構(gòu)

大尺寸圖像數(shù)據(jù)處理和外圍圖像接口電路設(shè)計是系統(tǒng)硬件設(shè)計中兩個主要的模塊。

(1) 大尺度實時圖像處理模塊

該模塊負責(zé)將輸入的大尺度實時數(shù)據(jù)通過圖像轉(zhuǎn)換處理算法后上傳給上位機作進一步處理。硬件設(shè)計需要考慮輸入輸出的圖像數(shù)據(jù)接口。目前常規(guī)計算機液晶顯示器顯示范圍最大為1 920×1 080，而對于尺寸在3 840×1 920以上的大尺寸圖像，例如高分辨率衛(wèi)星圖像，由于大尺度圖像超出目前顯示器的顯示范圍，需要多路輸出給多個上位機(一般采用PC機)以便進行觀測。由于圖像數(shù)據(jù)傳輸速度較快，因此需要采用專供高速數(shù)據(jù)緩存的兩片DDR芯片。根據(jù)以上需求，F(xiàn)PGA芯片選用Xilinx公司的Virtex-5 LX110T芯片，它的Block RAM資源和邏輯資源均符合設(shè)計的要求；片上存儲器選用美光公司的MT4HTF3264HY-53E DDR芯片，DDR芯片共計2片，每片DDR的容量大小為2 Gbit，可以滿足存儲所需超大尺寸圖像的要求。

(2) Camera Link圖像輸入輸出接口模塊

該接口模塊的主要功能是在輸入時將串行數(shù)據(jù)轉(zhuǎn)化成并行數(shù)據(jù)，它通過DS90CR228芯片將LVDS差分信號轉(zhuǎn)化成FPGA能接收的TTL單端信號；輸出時將并行數(shù)據(jù)轉(zhuǎn)化成串行數(shù)據(jù)，再經(jīng)過DS90CR287芯片將FPGA輸出的TTL單端信號轉(zhuǎn)化成LVDS差分信號。

DS90CR287和DS90CR288分別為并轉(zhuǎn)串驅(qū)動器和串轉(zhuǎn)并接收器，其接口電路工作原理如圖2所示。

圖2 Channl Link接口電路

并轉(zhuǎn)串驅(qū)動器將28位CMOS/TTL信號以7∶1方式串行化為4條LVDS數(shù)據(jù)流，然后通過串轉(zhuǎn)并接收器恢復(fù)CMOS/TTL信號。該接口電路可支持高傳輸速率為2.38 Gbit/s。

為了能夠滿足不同數(shù)據(jù)量和速度的傳輸要求，Camera Link協(xié)議還提供不同的端口配置,如表1所示，每個端口定義為一個8位的字。

表1 3種配置的端口分配

Camera Link接口支持3種配置：初級配置(Base)、中級配置(Medium)和高級配置(Full)。3種結(jié)構(gòu)所使用的端口、連接器和Channel Link芯片數(shù)量各不相同，其中高級配置最多支持8個端口，即端口A至端口H。為了簡化設(shè)計，采用Base配置模式[13]，使用到A、B兩個端口中的12根數(shù)據(jù)線。

2 系統(tǒng)軟件設(shè)計

系統(tǒng)的整體框圖如圖3所示，主要由Camera Link數(shù)據(jù)接收模塊、DDR讀寫控制模塊、多路乒乓讀寫緩存模塊和Camera Link數(shù)據(jù)輸出模塊4部分組成。

圖3 系統(tǒng)軟件設(shè)計

(1) Camera Link數(shù)據(jù)接收和數(shù)據(jù)輸出模塊

Camera Link數(shù)據(jù)接收模塊主要負責(zé)對DS90CR288傳來的圖像數(shù)據(jù)采樣，把采樣來的有效數(shù)據(jù)傳輸給DDR讀寫控制模塊，而Camera Link數(shù)據(jù)輸出模塊主要負責(zé)同時讀取多路SDRAM中的緩存數(shù)據(jù)并按照Camera Link格式的時序關(guān)系同時輸出給DS90CR287。

Camera Link接收模塊和Camera Link輸出模塊的時序關(guān)系均如圖4所示，VS為幀有效信號，HS為行有效信號，DATA為有效數(shù)據(jù)。方案采用Base配置，其數(shù)據(jù)位寬為12位。當(dāng)幀有效信號為上升沿時，它表示新的一幀圖像開始傳輸，直到下降沿時該幀圖像才傳完。當(dāng)行有效信號為上升沿時，它表示行的一行數(shù)據(jù)開始傳輸，此時數(shù)據(jù)總線上的數(shù)據(jù)為有效像素數(shù)據(jù)，直到下降沿該行數(shù)據(jù)才傳完。

圖4 Camera Link數(shù)據(jù)輸入輸出時序關(guān)系

(2) DDR控制模塊

由于DDR不支持同時讀寫功能，為了滿足視頻圖像的實時顯示的要求，方案采用兩片DDR，通過乒乓讀寫完成其讀寫操作，即當(dāng)一片DDR寫完一幀圖像數(shù)據(jù)后，開始往另一片DDR里寫下一幀圖像數(shù)據(jù)，乒乓讀寫緩存模塊開始讀取已寫滿一幀圖像的DDR，如此往復(fù)。因此，輸出圖像和實際的圖像在時間上只相差了一幀，可以滿足實時性的要求。

這里，乒乓讀寫控制是通過狀態(tài)機來實現(xiàn)，其中，一個讀狀態(tài)和一個寫狀態(tài)分別對應(yīng)著兩片不同的DDR。而對DDR的讀寫操作通過調(diào)用Xilinx提供的DDR讀寫控制IP核MIG來實現(xiàn)。一個MIG不能同時控制兩片DDR的同時讀寫操作，故通過調(diào)用兩個MIG IP核分別控制兩片不同DDR芯片的讀寫操作來完成該操作。

(3) 乒乓讀寫緩存模塊

該模塊分為多路乒乓讀寫，對應(yīng)著多路Camera Link數(shù)據(jù)的輸出，其乒乓讀寫的緩存單元通過調(diào)用Xilinx提供的SDPARM IP核實現(xiàn)[11]。SDPRAM IP核可設(shè)置為兩端口獨立的時鐘模式，從而解決了DDR時鐘和Camera Link時鐘不匹配的問題，同時，由于兩端口可以配置為不同數(shù)據(jù)的位寬，它方便實現(xiàn)DDR2數(shù)據(jù)位寬為64位到Camera Link輸出位寬為12位的轉(zhuǎn)變。

整幅圖像的數(shù)據(jù)量太大，而FPGA片上Block RAM資源有限，不能把整幅圖像都寫入SDPRAM中再讀取，因此SDPRAM只能用于行緩存而不能用于幀緩存。為了解決該問題，DDR控制器先往第1路SDPRAM中寫，寫完1/5行之后，自動跳到第2路的SDPRAM，以此類推直到寫完各路SDPRAM為止，從而實現(xiàn)了把一行圖像像素平均分到5路上并輸出顯示。DDR的吞吐量是12 800 Mbps，而Camera Link的吞吐量是960 Mbps，5路Camera Link輸出的吞吐量是4 800 Mbps，故方案能保證DDR往多路SPRAM寫的時間小于Camera Link輸出模塊讀取一個SPRAM數(shù)據(jù)的時間，可以最大支持3 840×1 920大尺寸圖像以30Hz幀頻掃描輸出，從而實現(xiàn)圖像數(shù)據(jù)無間斷的輸出。

3 測試結(jié)果及分析

為了便于測試系統(tǒng)性能，采用Chipscope實時測試工具抓取波形圖。本方案提供5路Camera Link數(shù)據(jù)輸出接口，各路數(shù)據(jù)輸出接口位寬為12 bit，工作頻率為80 MHz。由于Chipscope抓取的數(shù)據(jù)量有限，為了便于調(diào)試，對圖像尺寸進行了縮小，每行只有16個像素，行與行之間的間隔也為16個周期，每路的有效數(shù)據(jù)以累加的形式出現(xiàn)，第1路數(shù)據(jù)為1～16，第2路數(shù)據(jù)為2～17，第3路數(shù)據(jù)為3～18，第4路數(shù)據(jù)為4～19，第5路數(shù)據(jù)為5～20，ChipScope采集的波形圖如圖5所示。

圖5 Chipscope采集的波形

從圖5可見,行有效和幀有效信號輸出正常，當(dāng)行有效開始時，5路數(shù)據(jù)基本同時輸出，滿足系統(tǒng)的設(shè)計要求。從放大圖可看出：行有效信號在時鐘的上升沿處變化，行有效開始后有效數(shù)據(jù)開始輸出，輸出的數(shù)據(jù)與實際的數(shù)據(jù)一樣，并且數(shù)據(jù)的變化均在時鐘上升沿處，符合圖4所示的Camera Link時序關(guān)系。不難看出，本系統(tǒng)可以完成圖像數(shù)據(jù)的多路分配，并將分配好的數(shù)據(jù)同時傳給上位機，其數(shù)據(jù)的輸出格式符合Camera Link時序關(guān)系，能滿足設(shè)計的要求。

4 結(jié)束語

采用Virtex-5 110T FPGA芯片作為邏輯控制及高速信號處理器件，采用兩片DDR實現(xiàn)高速數(shù)據(jù)緩存處理，并采用乒乓讀寫方式實現(xiàn)多路Camera Link聯(lián)合顯示超大尺寸圖像,給出了一種大規(guī)模圖像多屏實時顯示方案。該方案具有數(shù)據(jù)緩存容量大，傳輸速度快，硬件接口電路簡單，無縫顯示超大尺度的完整圖像等特點，解決了常規(guī)顯示系統(tǒng)不能完整顯示一幅超大尺寸圖像的問題。測試表明，該方案能滿足實時圖像顯示的要求，可用于多屏幕無縫顯示大規(guī)模圖像領(lǐng)域。

[1] 馬靈,楊俊峰,宋克柱,等.地震數(shù)據(jù)采集中基于FPGA的多DDRSDRAM控制器設(shè)計[J].中國科學(xué)技術(shù)大學(xué)學(xué)報, 2010,40(9):939-945.

[2] 張偉,劉文,劉朝暉.CPLD控制的高速圖像數(shù)據(jù)采集接口設(shè)計與實現(xiàn)[J].電光與控制,2009,16(2):91-96．

[3] 鄔芝權(quán),靳桅,朱云芳,等.基于多端口串行Flash的超長條形LED顯示屏控制[J].西南交通大學(xué)學(xué)報,2012,47(3):433-438.

[4] 彭會湘.一種基于網(wǎng)絡(luò)信息平臺的影像顯示方法[J]. 計算機與網(wǎng)絡(luò), 2014(3): 82-85.

[5] 王鳴浩,陳濤,吳小霞.基于Camera Link接口的高幀頻數(shù)字圖像采集顯示系統(tǒng)[J].微電子學(xué)與計算機,2011, 28(3):149-152．

[6] 陳根亮,肖磊,張鑒.一種基于FPGA的DDR SDRAM控制器的設(shè)計[J].電子科技,2013,26(1):52-55.

[7] 宋修銳,吳志勇,陳卓人,等.紅外Camera Link相機合成信號源設(shè)計[J].光電子技術(shù),2013,33(3):173-176.

[8] 王鳴浩,王志,吳小霞.基于SOPC的高幀頻數(shù)字圖像采集顯示系統(tǒng)[J].液晶與顯示,2011,26(5):650-654.

[9] 李娟,劉艷瀅.基于FPGA的圖像采集模塊的設(shè)計[J].儀表技術(shù)與傳感器,2012(10):27-30.

[10] 肖積濤,馬幼鳴,周鳴爭,等.基于FPGA的高速數(shù)據(jù)采集系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機技術(shù)與發(fā)展,2012,22(6):217-220.

[11] 趙志剛,郭金川,杜楊,等.基于DDR2 SDRAM緩存的CMOS圖像數(shù)據(jù)采集與傳輸系統(tǒng)[J].儀表技術(shù)與傳感器,2010(6):90-93.

[12] 朱齊丹,劉進業(yè),康嶺.Camera Link硬件接口電路設(shè)計[J].應(yīng)用科技,2008,25(8):57-60．

[13] 呂耀文,王建文,曹景太.Base型Camera Link脫機存儲系統(tǒng)設(shè)計[J].光電子技術(shù),2012,32(4):242-245.

[責(zé)任編輯:瑞金]

An oversized images real-time displaying systembased on camera link

YAO Yindi

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

A real-time oversized image multi-monitor display system is achieved by adopting high-speed buffer and framing multipath-output in this paper. The system is realized in a field programmable gate array (FPGA) chip. In this scheme, double data rate synchronous dynamic random access memory (DDR SDRAM) chips are used to buffer oversized image data. The image data are distributed averagely by synchronous dynamic random access memory (SDRAM) ping-pong buffer, then transmitted to principal computer via a Camera Link connector, and displayed in screen of PC. Tested results from Chipscope online debug software illustrate that the real-time displaying system supports 5 channels output of Camera link, the bit width of each Camera link is 12bits, and the highest throughout of image data of each Camera link is 960Mbps. These mean that the proposed system can solve the problem that oversized image cannot be displayed in one single displayer where the display range of displayer is limited.

field programmable gate array, camera link, ping-pang control, double data rate synchronous dynamic random access memory

10.13682/j.issn.2095-6533.2015.04.011

2014-12-16

西安郵電大學(xué)青年教師科研基金資助項目(ZL2013-11)

姚引娣(1978-)，女，碩士，工程師，從事信息與通信系統(tǒng)研究，E-mail：yaoyindi@xupt.edu.cn

TN919.6

A

2095-6533(2015)04-0054-04