国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

視頻圖像實(shí)時(shí)采集和顯示系統(tǒng)的FPGA設(shè)計(jì)

2011-01-29 06:25:34李興富
制造業(yè)自動(dòng)化 2011年12期
關(guān)鍵詞:寄存器時(shí)鐘像素

李興富

LI Xing-fu

(桂林航天工業(yè)高等專科學(xué)校,桂林 541004)

0 引言

視頻信息采集為視頻圖像處理、傳輸、顯示等提供提供原始的數(shù)字圖像數(shù)據(jù),視頻采集系統(tǒng)的性能是影響視頻圖像系統(tǒng)性能的關(guān)鍵因素之一[1]。隨著人們對視頻圖像質(zhì)量的要求越來越高,對視頻采集系統(tǒng)的性能要求也將越來越高[2]。目前視頻采集系統(tǒng)常用的處理器包括通用處理器、DSP和FPGA。盡管通用處理器能夠處理許多任務(wù),但是它們通常缺少執(zhí)行復(fù)雜數(shù)據(jù)處理任務(wù)所需要的帶寬,常因速度不夠快而不能滿足設(shè)計(jì)目標(biāo)[3];DSP雖然內(nèi)部利用專用硬件實(shí)現(xiàn)數(shù)字信號(hào)處理中的常用算法,運(yùn)算速度很快,但其采用單指令執(zhí)行系統(tǒng),并且僅對某些固定的運(yùn)算可以優(yōu)化,因此靈活性不夠; FPGA作為當(dāng)今主流的大規(guī)??删幊碳呻娐罚捎糜策B線邏輯實(shí)現(xiàn)數(shù)據(jù)處理和運(yùn)算,具有集成度高、速度快、性能穩(wěn)定、開發(fā)周期短、便于改進(jìn)升級(jí)等一系列優(yōu)點(diǎn),還能實(shí)現(xiàn)視頻采集、圖像顯示的外圍邏輯控制,在視頻采集和圖像處理方面具有獨(dú)特優(yōu)勢。使用FPGA實(shí)現(xiàn)該類任務(wù)已成為很好的選擇[4]。

本文采用FPGA作為視頻圖像實(shí)時(shí)采集和顯示系統(tǒng)的核心控制器。首先對視頻圖像采集顯示系統(tǒng)的構(gòu)成、工作原理及技術(shù)現(xiàn)狀做了簡單介紹,然后敘述了各功能模塊和接口電路的設(shè)計(jì)方法和過程,重點(diǎn)介紹了FPGA應(yīng)用系統(tǒng)設(shè)計(jì)中一些難點(diǎn)問題的解決辦法。

1 系統(tǒng)的總體結(jié)構(gòu)及器件選擇

系統(tǒng)硬件框圖如圖1所示。其中,CMOS sensor為圖像傳感器,型號(hào)為MT9M111,用于實(shí)時(shí)接收視頻信號(hào);LCD的型號(hào)為TD036THEA3,用于實(shí)時(shí)顯示視頻圖像; SDRAM采用ISSI公司的IS42S16400B,用于緩存視頻數(shù)據(jù);FPGA采用CycloneII EP2C35F672C8 ,作為整個(gè)系統(tǒng)的控制核心。

圖1 系統(tǒng)總體結(jié)構(gòu)框圖

MT9M111是美光公司推出的集成CMOS傳感器和圖形處理器的SOC產(chǎn)品;130萬像素分辨率(1280H×1024V),可以支持SXGA格式輸出;嵌入的可編程圖像處理器提供的功能包括色彩恢復(fù)和修補(bǔ)、自動(dòng)曝光、白平衡、鏡頭陰影修正、增加清晰度、可編程灰度修正、黑暗電平失調(diào)修正、閃爍避免、連續(xù)調(diào)整濾光尺寸、平滑的數(shù)字變焦、快速自動(dòng)曝光模式和不工作時(shí)缺陷修正等,可以通過兩線串行接口對其進(jìn)行配置。

EP2C35F672C8為Altera公司CycloneII系列FPGA芯片,在性能、功耗和性價(jià)比方面超越了第一代Cyclone系列??梢詢?nèi)嵌各種IP核,實(shí)現(xiàn)強(qiáng)大的控制處理功能;內(nèi)嵌M4K存儲(chǔ)器塊,用于實(shí)現(xiàn)單端口RAM、雙端口RAM、ROM以及同步FIFO和異步FIFO; 除了支持LVTTL、LVCMOS、SSTL等標(biāo)準(zhǔn)的單端I/O外,還支持LVDS、RSDS、mini-LVDS、LVPECL等標(biāo)準(zhǔn)的差分信號(hào);支持四個(gè)可編程鎖相環(huán)(PLL)和最多16個(gè)全局時(shí)鐘線,還有對時(shí)鐘管理和頻率合成的能力。價(jià)格也比較適中,所以很適合作為大批量產(chǎn)品的解決方案。是視頻處理低成本解決方案的理想選擇。

IS42S16400B是ISSI公司的SDRAM產(chǎn)品。包含67,108,864bits,可配置為具有同步接口的四塊DRAM。該SDRAM包括自動(dòng)刷新模式、省電模式和掉電模式。所有信號(hào)在時(shí)鐘信號(hào)上升沿保存。所有輸入和輸出與LVTTL兼容。內(nèi)部塊之間交錯(cuò)隱藏預(yù)充電時(shí)間,支持同步猝發(fā)數(shù)據(jù)傳輸方式。

TD036THEA3為3.6寸有源矩陣彩色TFT液晶顯示模塊,采用低溫多晶矽硅TFT技術(shù),分辨率為320×240,數(shù)據(jù)格式為RGB565,具體顯示為QVGA模式,輸出像素時(shí)鐘為19.28MHz。

2 系統(tǒng)的FPGA設(shè)計(jì)

系統(tǒng)的FPGA設(shè)計(jì)模塊圖如圖2所示。I2C controler模塊用于通過I2C總線協(xié)議控制MT9M111的寄存器配置,使攝像頭按照配置的模式工作,輸出行場同步信號(hào)、像素時(shí)鐘、圖像數(shù)據(jù)。 Image Capture模塊檢測行場同步信號(hào)、生成寫使能信號(hào),在像素時(shí)鐘的上升沿將視頻數(shù)據(jù)采集到寄存器中。RAW2RGB模塊將采集的數(shù)據(jù)轉(zhuǎn)換成RGB信號(hào),SDRAM controler模塊用于控制數(shù)據(jù)的緩沖,將數(shù)據(jù)寫入SDRAM。LCM Controller模塊產(chǎn)生LCD控制信號(hào),將SDRAM中的數(shù)據(jù)送到LCD上,這樣就完成了視頻圖像的實(shí)時(shí)采集與顯示。

設(shè)計(jì)中采用VerilogHDL進(jìn)行編程,可以在抽象層對電路進(jìn)行描述,而不必考慮特定的制造工藝,通過使用Altera公司QuartusII軟件的邏輯綜合工具能夠?qū)⒃O(shè)計(jì)自動(dòng)轉(zhuǎn)換為任意一種制造工藝版圖。

圖2 FPGA模塊圖

2.1 I2C controler模塊設(shè)計(jì)

I2C controller模塊是通過編寫Verilog代碼自定義邏輯實(shí)現(xiàn)的。模塊圖如圖3所示。

圖3 I2C controller模塊

在該模塊中,由于需要把I2C總線接口的SCL和SDA信號(hào)在系統(tǒng)時(shí)鐘下同步,因此采用系統(tǒng)時(shí)鐘iCLK對SCL和SDA信號(hào)進(jìn)行三次緩沖,得到其上升沿和下降沿脈沖信號(hào),便于狀態(tài)機(jī)處理;狀態(tài)機(jī)對I2C的讀/寫寄存器操作進(jìn)行說明,狀態(tài)包括器件地址部分、寄存器地址部分和數(shù)據(jù)部分。

2.2 圖像數(shù)據(jù)采集模塊設(shè)計(jì)

在程序設(shè)計(jì)過程中,首先需要檢測視頻圖像中幀標(biāo)志的有效起始和結(jié)束,在判斷到幀標(biāo)志有效后,需要繼續(xù)檢測視頻圖像中行的有效起始和結(jié)束標(biāo)志,在判斷到行標(biāo)志有效后,在像素時(shí)鐘上升沿把圖像的有效像素值存入存儲(chǔ)器;同時(shí),在幀標(biāo)志的上升沿后,列計(jì)數(shù)器x_cnt清0,在行標(biāo)志有效期間,對列計(jì)數(shù)器進(jìn)行計(jì)數(shù),記滿1280為一行數(shù)據(jù),行計(jì)數(shù)器加1;最后,輸出數(shù)據(jù)的有效使能信號(hào),供下一級(jí)圖像格式轉(zhuǎn)換模塊使用。

部分源代碼如下:

2.3 圖像格式轉(zhuǎn)換模塊設(shè)計(jì)

由于在MT9M111圖像傳感器的配置中,采用原始的Bayer輸出格式,使得其每次只產(chǎn)生一種顏色分量的響應(yīng)值,而FPGA后續(xù)設(shè)計(jì)需要4∶4∶4的RGB顏色,因此需要對顏色分量進(jìn)行處理。

本模塊設(shè)計(jì)需要大量的移位寄存器,如果全部采用FPGA內(nèi)部的觸發(fā)器串聯(lián)構(gòu)成的話,需要2560個(gè)10bit的觸發(fā)器,會(huì)導(dǎo)致LE中的觸發(fā)器資源緊張,可能會(huì)出現(xiàn)最終邏輯資源不夠用的情況。在Altera FPGA中,內(nèi)嵌的M512和M4K專用IP存儲(chǔ)模塊,可以被用來支持移位寄存器模式,不僅可以節(jié)省觸發(fā)器資源,同時(shí)也減少了布線資源。通過調(diào)用Altera的IP核生成器產(chǎn)生移位寄存器,數(shù)據(jù)寬度為10bits,抽頭數(shù)(Taps)為2,如圖4所示。

圖4 調(diào)用IP核生成移位寄存器

圖5 存儲(chǔ)器乒乓操作原理圖

2.4 圖像數(shù)據(jù)緩存控制模塊設(shè)計(jì)

由 于MT9M111工作時(shí)鐘為25MHZ,因此圖像數(shù)據(jù)的接收、格式轉(zhuǎn)換是在25MHZ時(shí)鐘頻率下進(jìn)行的。而FPGA板上輸入時(shí)鐘頻率為50MHZ,因此會(huì)產(chǎn)生異步時(shí)鐘域問題。設(shè)計(jì)中采用異步FIFO進(jìn)行數(shù)據(jù)緩沖。同理,由于液晶屏輸出像素時(shí)鐘頻率為19.28MHZ,SDRAM控制器使用的時(shí)鐘為輸入時(shí)鐘經(jīng)過FPGA內(nèi)部的PLL兩倍頻后的100MHZ,因此在SDRAM控制器與液晶屏顯示控制模塊之間也通過異步FIFO進(jìn)行數(shù)據(jù)緩沖。

為了滿足視頻圖像實(shí)時(shí)采集和顯示的需要,視頻數(shù)據(jù)的接收和顯示需同時(shí)進(jìn)行。而SDRAM作為單端口器件,不能同時(shí)進(jìn)行數(shù)據(jù)的寫入和讀出。要實(shí)現(xiàn)同時(shí)讀寫,必須采用乒乓操作來完成,原理如圖5所示。具體方法是通過設(shè)計(jì)SDRAM控制器接口和FIFO緩沖接口,輪流對一片SDRAM中的兩塊BANK進(jìn)行操作,當(dāng)傳感器發(fā)送數(shù)據(jù)至SDRAM時(shí),寫入BANK0,此時(shí)顯示控制可以從BANK1取數(shù)據(jù),并且傳感器發(fā)送一幀數(shù)據(jù)的時(shí)間與顯示器取出一幀數(shù)據(jù)的時(shí)間相同;當(dāng)傳感器繼續(xù)發(fā)送數(shù)據(jù)時(shí),寫入BANK1,同時(shí)顯示控制可以從BANK0取數(shù)據(jù),如此不斷循環(huán)。這樣就可以有效地利用和節(jié)省存儲(chǔ)器資源,并實(shí)現(xiàn)視頻圖像的實(shí)時(shí)采集和顯示。

2.5 顯示控制模塊設(shè)計(jì)

顯示控制模塊LCM Controller用于按照TD036THEA3液晶屏的時(shí)序要求,產(chǎn)生輸出幀和行控制信號(hào),通過讀取FIFO中的數(shù)據(jù),輸出RGB數(shù)據(jù),完成液晶屏的顯示控制。其時(shí)鐘頻率為19.28MHZ,是通過對系統(tǒng)時(shí)鐘分頻得到的。

部分實(shí)現(xiàn)代碼如下:

圖6 Image capture模塊仿真測試時(shí)序圖

3 系統(tǒng)的測試

通過編寫測試代碼,采用Modelsim仿真工具對整個(gè)FPGA中的各個(gè)模塊進(jìn)行仿真測試。圖6為Image capture模塊的仿真測試時(shí)序圖,其他模塊的仿真測試方法類似,不再贅述。

Image capture模塊是系統(tǒng)中的關(guān)鍵部分,它根據(jù)MT9M111圖像傳感器輸入的行有效信號(hào)、幀有效信號(hào),采集像素?cái)?shù)據(jù),提供給后續(xù)模塊進(jìn)行格式轉(zhuǎn)換、顯示輸出等。

如圖中所示,輸入時(shí)鐘頻率為25MHZ,在系統(tǒng)復(fù)位為高的情況下,當(dāng)幀有效標(biāo)志和行有效標(biāo)志均為高時(shí),對輸入數(shù)據(jù)進(jìn)行采樣,同時(shí)x_cont計(jì)數(shù)器不斷加一;當(dāng)一行結(jié)束的時(shí)候,y_cont計(jì)數(shù)器加1,完成有效圖像數(shù)據(jù)的采樣。

通過對整個(gè)系統(tǒng)的實(shí)際測試,在50MHZ頻率下,達(dá)到的指標(biāo)如下:實(shí)時(shí)性:25幀/秒;最大功耗:3.5W。連續(xù)采集和顯示視頻圖像的質(zhì)量和穩(wěn)定性也很高。

4 結(jié)論

本文介紹了一種采用FPGA作為核心控制器同時(shí)實(shí)現(xiàn)外圍部件接口控制邏輯的視頻圖像實(shí)時(shí)采集和顯示系統(tǒng)實(shí)例。敘述了各功能模塊和接口電路的設(shè)計(jì)方法、測試方法。給出了異步時(shí)鐘處理、調(diào)用IP核生成移位寄存器、SDRAM存儲(chǔ)器乒乓式操作等FPGA應(yīng)用設(shè)計(jì)中的一些難點(diǎn)問題的處理方法。通過仿真測試和實(shí)際驗(yàn)證,該系統(tǒng)在快速性、穩(wěn)定性及體積、功耗、成本等方面均具有較優(yōu)越的性能。表明,利用FPGA進(jìn)行視頻圖像信息采集和顯示系統(tǒng)設(shè)計(jì),是降低產(chǎn)品體積、功耗,提高快速性、穩(wěn)定性的有效途徑。

[1]肖文才, 樊豐.視頻實(shí)時(shí)采集系統(tǒng)的FPGA設(shè)計(jì)[J].中國有線電視, 2006(2l)∶ 2104-2108.

[2]韓相軍, 關(guān)永, 王萬森.嵌入式視頻采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].微計(jì)算機(jī)信息, 2006, 22(1-2)∶ 26-28.

[3]Chris Roven.IP重用和嵌入式SOC開發(fā)的邏輯方法[J].電子產(chǎn)品世界, 2005(8)∶ 115-116.

[4]陳朗, 王瑞.MPEG-4系統(tǒng)中基于FPGA實(shí)現(xiàn)數(shù)據(jù)采集及預(yù)處理[J].微計(jì)算機(jī)信息, 2005, 2l(9-3)∶ 109-111.

[5]科夫曼.基于Verilog語言的實(shí)用FPGA設(shè)計(jì)[M].北京∶ 科學(xué)出版社, 2000.

[6]孫愷, 程世恒.NiosⅡ系統(tǒng)開發(fā)設(shè)計(jì)與應(yīng)用實(shí)例[M].北京∶ 北京航空航天大學(xué)出版社, 2007.

[7]高韜, 趙建濤.視頻壓縮理論及其技術(shù)發(fā)展.電子技術(shù)應(yīng)用[J], 2007 (11)∶ 3-6.

[8]尹德安, 李欣.基于FPGA的視頻采集控制設(shè)計(jì)[J].微計(jì)算機(jī)信息, 2006, 22(9-2)∶ 159-160.

猜你喜歡
寄存器時(shí)鐘像素
趙運(yùn)哲作品
藝術(shù)家(2023年8期)2023-11-02 02:05:28
像素前線之“幻影”2000
別樣的“時(shí)鐘”
古代的時(shí)鐘
Lite寄存器模型的設(shè)計(jì)與實(shí)現(xiàn)
“像素”仙人掌
分簇結(jié)構(gòu)向量寄存器分配策略研究*
有趣的時(shí)鐘
時(shí)鐘會(huì)開“花”
高像素不是全部
CHIP新電腦(2016年3期)2016-03-10 14:22:03
呼伦贝尔市| 会泽县| 奇台县| 长兴县| 兴化市| 石狮市| 江源县| 类乌齐县| 合江县| 金坛市| 丁青县| 南通市| 新田县| 双辽市| 陆丰市| 南陵县| 略阳县| 城步| 丰城市| 兴仁县| 格尔木市| 兴安盟| 东丽区| 温州市| 新平| 和静县| 张家口市| 大荔县| 郧西县| 巴林右旗| 昆明市| 平潭县| 黄大仙区| 尼木县| 庆安县| 永寿县| 太原市| 博兴县| 泸水县| 淳化县| 古浪县|