朱孟祥，唐普英，黃自立，唐湘成

（1.電子科技大學(xué) 四川 成都 610054；2.西南技術(shù)物理研究所 四川 成都 610041）

近年來，隨著數(shù)字圖像處理技術(shù)的發(fā)展，視頻監(jiān)控技術(shù)已經(jīng)在社會(huì)各個(gè)領(lǐng)域廣泛應(yīng)用。傳統(tǒng)的視頻監(jiān)控技術(shù)都是采用單一攝像頭對(duì)某一固定場景進(jìn)行監(jiān)控，視頻的監(jiān)控范圍有限，不能同時(shí)對(duì)同一個(gè)物體進(jìn)行全方位的監(jiān)控[1]。由此越來越多的圖像監(jiān)控系統(tǒng)采用 CMOS圖像傳感器作為圖像采集器件。由于圖像處理實(shí)時(shí)性的要求較高，為了實(shí)現(xiàn)并行算法與硬件結(jié)構(gòu)的優(yōu)化配置，將FPGA和DSP結(jié)合起來，提高數(shù)字信號(hào)處理速度，滿足現(xiàn)圖像處理的高速率、高穩(wěn)定性要求，成為了當(dāng)今數(shù)字信號(hào)處理的一個(gè)重要研究方向。基于CMOS圖像傳感器本文提出了一種多通道視頻監(jiān)控系統(tǒng)，通過控制多各通道視頻穩(wěn)定、可靠的輪轉(zhuǎn)切換，分析圖像數(shù)據(jù)，根據(jù)圖像異常，產(chǎn)生相應(yīng)的報(bào)警命令和各種控制命令，實(shí)現(xiàn)了利用一個(gè)監(jiān)控系統(tǒng)對(duì)不同場景的全方位實(shí)時(shí)準(zhǔn)確監(jiān)控。

1 系統(tǒng)的硬件結(jié)構(gòu)框圖

整個(gè)系統(tǒng)的結(jié)構(gòu)框圖如圖1所示。DSP一方面受到指令周期、時(shí)鐘約束，時(shí)序控制能力較弱。另一方面因其外部接口的通用性較差。但是它的數(shù)字信號(hào)處理能力及算法強(qiáng)，可以實(shí)現(xiàn)較高速的數(shù)據(jù)采集，因此DSP更適于實(shí)現(xiàn)算法而不是控制。FPGA時(shí)序控制能力強(qiáng)，集成外圍控制、譯碼和接口電路，在高速數(shù)據(jù)采集方面，F(xiàn)PGA有DSP無法比擬的優(yōu)勢，但是難于實(shí)現(xiàn)一些復(fù)雜的算法，并且穩(wěn)定性較差。因此本文采用DSP和FPGA的相結(jié)合硬件結(jié)構(gòu)設(shè)計(jì)方案，通過CPLD選擇20路圖像視頻信號(hào)中的一路，經(jīng)視頻解碼芯片處理后輸出數(shù)字圖像信號(hào)。然后將處理后的圖像數(shù)據(jù)通過PPI口傳給DSP進(jìn)行跟蹤算法處理，以實(shí)現(xiàn)相應(yīng)的監(jiān)控報(bào)警功能[2]。

圖1 系統(tǒng)結(jié)構(gòu)框圖Fig.1 Diagram of system

2 圖像采集模塊的設(shè)計(jì)

2.1 基于CMOS器件的圖像采集

隨著集成電路設(shè)計(jì)技術(shù)和工藝水平的不斷提高，CMOS圖像傳感器技術(shù)己經(jīng)有了很大的進(jìn)步，其分辨率、動(dòng)態(tài)范圍、靈敏度等指方面明顯提高。并且它固有的集成度高、功耗小、成本等優(yōu)點(diǎn)是CCD傳感器所無法比擬的。CMOS圖像傳感器采用標(biāo)準(zhǔn)的半導(dǎo)體工藝，其技術(shù)難度低于CCD工藝，擁有該工藝的廠家都可以生產(chǎn)CMOS圖像傳感器，因而CMOS圖像傳感器再次成為研究的熱點(diǎn)。故本設(shè)計(jì)采用CMOS圖像傳感器采集圖像信號(hào)。

2.2 圖像采集模塊的控制器件

圖像采集是設(shè)計(jì)的一個(gè)重要環(huán)節(jié)，它的高速性和準(zhǔn)確性直接影響到整個(gè)監(jiān)控系統(tǒng)的性能。因此，利用可編程邏輯控制器CPLD控制CMOS器件，從而最大限度地提高系統(tǒng)的圖像采集能力，降低了軟件設(shè)計(jì)的難度。

CPLD控制CMOS器件選通，最重要的是向各路CMOS傳感器傳送同步信號(hào)，保證傳送圖像信號(hào)的質(zhì)量。圖像數(shù)據(jù)傳輸?shù)紻SP之后，DSP對(duì)圖像進(jìn)行跟蹤比較處理之后，向FPGA發(fā)出各種控制命令，F(xiàn)PGA對(duì)各種控制命令進(jìn)行編碼處理，然后將各種控制命令的編碼信號(hào)傳送給CPLD，最后CPLD對(duì)各種控制命令的編碼信號(hào)進(jìn)行解碼處理，控制各路CMOS攝像頭輪轉(zhuǎn)切換和發(fā)出告警信號(hào)。

2.3 圖像采集模塊框圖

圖像采集模塊如圖2所示。

圖2 圖像采集框圖Fig.2 Diagram of image acquisition

3 FPGA圖像預(yù)處理模塊的設(shè)計(jì)

FPGA圖像預(yù)處理部分的可實(shí)現(xiàn)對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理，通過IIC配置視頻編解碼器件；控制ADV7179視頻編碼芯片，使其輸入視頻信號(hào)中疊加字符數(shù)據(jù)，以此指示選中是哪一路視頻通道，并且輸出此模擬視頻信號(hào)到監(jiān)視器。

3.1 圖像預(yù)處理控制器的選擇

預(yù)處理后的圖像數(shù)據(jù)為DSP進(jìn)行圖像目標(biāo)檢測，目標(biāo)跟蹤等的實(shí)現(xiàn)提供了必要的數(shù)字圖像信息，可以提高各種DSP各種算法的準(zhǔn)確度和可操作性。

圖像預(yù)處理控制器采用Altera公司的EP3C40系列芯片對(duì)圖像信號(hào)進(jìn)行預(yù)處理，ALTERA Cyclone III EP3C40芯片，等效門數(shù)為200萬門，同時(shí)實(shí)現(xiàn)了低功耗、高性能和低成本，能夠支持更多的大批量、低成本FPGA應(yīng)用。它具有4 Mbits嵌入式存儲(chǔ)器、288個(gè)嵌入式18×18位乘法器、專用外部存儲(chǔ)器接口電路、鎖相環(huán)（PLL）和高速差分I/O。

3.2 圖像預(yù)處理模塊的設(shè)計(jì)

設(shè)計(jì)采用視頻解碼芯片SAA7113將輸入的模擬視頻信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。SAA7113是9位視頻解碼器，提供6路模擬輸入和2個(gè)增強(qiáng)型的模數(shù)轉(zhuǎn)換器。通過FPGA利用IIC對(duì)SAA7113的寄存器進(jìn)行配置。為了使系統(tǒng)更加完善，利用FPGA對(duì)SAA7113產(chǎn)生的數(shù)字信號(hào)進(jìn)行處理，也就是對(duì)圖像信號(hào)進(jìn)行疊加字符處理，然后將其傳給視頻編碼芯片ADV7179，經(jīng)過預(yù)處理的圖像數(shù)據(jù)從FPGA的輸出到ADV7179芯片，分離的行、場同步信號(hào)分別傳送到ADV7179的控制引腳上，ADV7179輸出正確的視頻模擬信號(hào)。

3.3 SDRAM存儲(chǔ)模塊

在圖像處理中，為了實(shí)現(xiàn)對(duì)圖像信號(hào)的實(shí)時(shí)連續(xù)處理，也就是實(shí)現(xiàn)FPGA對(duì)每場圖像信號(hào)實(shí)時(shí)準(zhǔn)確的處理，使用SDRAM對(duì)待處理的圖像數(shù)據(jù)作緩存處理[3]。以此保證FPGA對(duì)當(dāng)前圖像數(shù)據(jù)處理時(shí)，不至于造成圖像數(shù)據(jù)丟失。

同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器SDRAM有價(jià)格低廉、容量大等優(yōu)點(diǎn)，被廣泛采用。為了操作方便，利用FPGA實(shí)現(xiàn)一個(gè)對(duì)SDRAM控制的模塊，通過這個(gè)模塊可以對(duì)SDRAM進(jìn)行訪問，SDRAM控制器與外部接口之間的連接如圖3所示。

圖3 SDRAM控制器接口示意圖Fig.3 Diagram of SDRAM controller interface

3.4 對(duì)圖像信號(hào)進(jìn)行去抖動(dòng)處理[4]

由于硬件電路和外部環(huán)境的影響，圖像信號(hào)在處理和傳輸?shù)倪^程中不可避免的受到電路延時(shí)和環(huán)境噪聲影響，導(dǎo)致信號(hào)的邊沿不穩(wěn)定，從而影響DSP對(duì)視頻數(shù)據(jù)的采集。若不對(duì)圖像信號(hào)和各種控制信號(hào)進(jìn)行降噪處理，DSP將會(huì)采集到不同步的圖像數(shù)據(jù)，那么DSP對(duì)圖像信號(hào)的跟蹤和判斷將會(huì)發(fā)生錯(cuò)誤，產(chǎn)生錯(cuò)誤的控制命令。

為此，利用FPGA對(duì)DSP接收?qǐng)D像信的標(biāo)志信號(hào)進(jìn)行邏輯控制，產(chǎn)生與標(biāo)志信號(hào)同相的信號(hào)，代替原來的標(biāo)志信號(hào)。由于FPGA特有的內(nèi)部寄存器構(gòu)造，新產(chǎn)生的標(biāo)志信號(hào)具有更強(qiáng)的抗干擾性能。設(shè)計(jì)中我們使用的標(biāo)志信號(hào)是行同步信號(hào)（HS）和場同步信號(hào)（VS）。圖像信號(hào)去抖動(dòng)處理之后，DSP收到的圖像如圖4所示。

4 跟蹤控制算法模塊的設(shè)計(jì)

4.1 跟蹤控制器件的選擇

ADSP-BF53x系列處理器是Blackfin系列產(chǎn)品的成員之一，融合了Analog Devices/Intel的微信號(hào)結(jié)構(gòu)（MicroSignal Architecture）（MSA）。Blackfin處理器這種體系結(jié)構(gòu)將藝術(shù)級(jí)的dual-MAC信號(hào)處理器引擎，簡潔的RISC式微處理器指令集的優(yōu)點(diǎn)，以及單指令多數(shù)據(jù)（SIMD）多媒體能力結(jié)合起來，形成了一套獨(dú)特的指令集結(jié)構(gòu)[5]。ADSP-BF53x系列處理器是一個(gè)高度集成的片上系統(tǒng)解決方案。通過將工業(yè)標(biāo)準(zhǔn)接口與高性能的數(shù)字信號(hào)處理內(nèi)核相結(jié)合，用戶可以快速開發(fā)出節(jié)省成本的解決方案，而無需昂貴的外部組件。系統(tǒng)外設(shè)包括一個(gè) UART口、一個(gè) SPI口、兩個(gè)串行口（SPORT）、4個(gè)通用定時(shí)器（其中3個(gè)具有PWM功能）、一個(gè)實(shí)時(shí)時(shí)鐘、一個(gè)看門狗定時(shí)器，以及一個(gè)并行外設(shè)接口。

4.2 通過PPI口傳送圖像數(shù)據(jù)

設(shè)計(jì)中FPGA和DSP之間的數(shù)據(jù)通傳輸是通過PPI口實(shí)現(xiàn)的。ADSP-BF53x處理器的PPI口包括一個(gè)專用時(shí)鐘引腳，多達(dá)3個(gè)幀同步引腳和多達(dá)16個(gè)數(shù)據(jù)引腳。輸入時(shí)鐘支持并行數(shù)據(jù)傳輸，同步信號(hào)可以被設(shè)置為輸入或輸出。PPI支持各種通用模式和ITU-R656模式操作。在通用模式下，PPI提供高達(dá)16位數(shù)據(jù)的半雙工、雙向數(shù)據(jù)傳輸，并且提供了多達(dá)3個(gè)幀同步信號(hào)。在ITU-R656模式下，PPI提供8或10位視頻數(shù)據(jù)的半雙工、雙向傳輸。

4.3 乒乓操作控制

在DSP跟蹤控制功能的實(shí)現(xiàn)模塊中，首先對(duì)DSP進(jìn)行設(shè)置，將奇偶場圖像數(shù)據(jù)分別進(jìn)行處理，以便提高信號(hào)的處理速度。這就需要把視頻信號(hào)的奇偶場分別存儲(chǔ)，即將奇偶場圖像數(shù)據(jù)存儲(chǔ)在不同的存儲(chǔ)器地址，由此對(duì)存儲(chǔ)器控制采用乒乓操作。

乒乓操作是一種用于數(shù)據(jù)控制的處理方法，使低速模塊處理高速數(shù)據(jù)成為現(xiàn)實(shí)。乒乓操作的最大特點(diǎn)是將輸入數(shù)據(jù)選擇單元和輸出數(shù)據(jù)選擇單元按節(jié)拍，進(jìn)行相應(yīng)的切換，實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)進(jìn)行處理的無縫連接，將輸入數(shù)據(jù)完整的沒有時(shí)間停頓的送到數(shù)據(jù)處理模塊。因此乒乓操作非常適合對(duì)數(shù)據(jù)的流水線操作[6]。示意圖如圖5所示。

圖5 乒乓存結(jié)構(gòu)示意圖Fig.5 Diagram of ping-pong memory structure

4.4 跟蹤控制功能的實(shí)現(xiàn)

當(dāng)DSP產(chǎn)生PF中斷時(shí)，它將對(duì)接收到的圖像數(shù)據(jù)進(jìn)行跟蹤比較處理，并且向FPGA發(fā)送各種控制命令。具體操作程為：DSP在接收到PPI口傳送的標(biāo)志信號(hào) （開始接收?qǐng)D像）時(shí)，開始對(duì)視頻信號(hào)進(jìn)行接收存儲(chǔ)，并且進(jìn)行跟蹤比較處理，DSP將發(fā)送切換命令給FPGA，命令包括：告警命令，各路圖像正常切換命令和調(diào)試命令等；FPGA對(duì)各種命令進(jìn)行編碼處理，編碼后的信號(hào)將傳送到CPLD；CPLD進(jìn)行命令解碼，產(chǎn)生控制信號(hào)，控制系統(tǒng)正常運(yùn)轉(zhuǎn)。

5 設(shè)計(jì)軟件流程圖

本設(shè)計(jì)軟件控制流程圖如圖6所示。

圖6 軟件流程圖Fig.6 Flow chart of software

6 結(jié) 論

視頻監(jiān)控以其直觀、方便、信息內(nèi)容豐富而廣泛應(yīng)用于生產(chǎn)生活。視頻監(jiān)控成為生活中不可或缺的技術(shù)。在一些危險(xiǎn)場所，用視頻監(jiān)控代替人工監(jiān)視，可以保證人們的生命安全。鑒于一路視頻的視野范圍有限，要充分收集目標(biāo)的信息，就需要用多路視頻來對(duì)同一個(gè)物體進(jìn)行全方位的精確監(jiān)控。

本文設(shè)計(jì)了一種以DSP和FPGA芯片為核心處理器件的多通道高速CMOS圖像監(jiān)控系統(tǒng)，實(shí)現(xiàn)了對(duì)全分辨率下高速圖像數(shù)據(jù)采集、數(shù)據(jù)傳輸和數(shù)據(jù)存儲(chǔ)。本設(shè)計(jì)具有很高的可靠性和集成度，降低了外界環(huán)境于整個(gè)系統(tǒng)的影響。同時(shí)，通過FPGA和CPLD芯片實(shí)現(xiàn)對(duì)整個(gè)系統(tǒng)的控制、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)存儲(chǔ)和傳輸功能，具有較高的系統(tǒng)穩(wěn)定性[7]。

[1]鄒東斌.基于ADSP-BF561智能視頻監(jiān)控系統(tǒng)設(shè)計(jì) [D].成都：四川大學(xué)，2009.

[2]王誠，吳繼華.Altera FPGA/CPLD設(shè)計(jì)基礎(chǔ)篇 [M].北京：人民郵電出版社，2005.

[3]王誠，吳繼華.Altera FPGA/CPLD設(shè)高級(jí)篇 [M].北京：人民郵電出版社，2005.

[4]曾晶，唐湘成，劉怡.基于FPGA的多路視頻通道控制[J].電子設(shè)計(jì)工程，2010，18（4）：91-93.

ZENG Jing，TANG Xiang-cheng，LIU Yi.Design of multiple video channels control based on FPGA[J].Electronic Design Engineering，2010，18（4）：91-93.

[5]陳峰.Blackfin系列DSP原理與系統(tǒng)設(shè)計(jì)[M].北京：電子工業(yè)出版社，2004.

[6]楊波，楊俊，王躍科.高性能A/D芯片AD9203與ADSP2191的高速DMA通信[J].電子產(chǎn)品世界，2003（15）：69-71.

YANG Bo，YANG Jun，WANG Yue-ke.High-speed DMA communication between AD9203 and ADSP2191[J].Electronic Engineering&Product World，2003（15）：69-71.

[7]卞九輝.基于DSP+FPGA的視頻圖像處理[D].哈爾濱：哈爾濱工程大學(xué)，2009.

[8]雷明，馬游春.基于FPGA的多通道圖像采集存儲(chǔ)系統(tǒng)設(shè)計(jì)[J].通信技術(shù)，2010，43（4）：204-207.

LEI Ming，MA You-chun.Design of multichannel image acquisition system based on FPGA[J].Communications Technology，2010，43（4）：204-207.