王月新,劉明君

(忻州師范學(xué)院,山西 忻州 034000)

0 引言

本文從關(guān)聯(lián)分析的角度出發(fā),指出在目標(biāo)辨識與追蹤的處理中,影像的分割與關(guān)聯(lián)匹配是最主要的兩項(xiàng)技術(shù)。影像分割技術(shù)是將影像對象與背景區(qū)分開,并從中抽取影像對象的處理技術(shù)。相關(guān)匹配是以系統(tǒng)為基礎(chǔ),建立出目標(biāo)模型,并通過目標(biāo)特征模型參數(shù)及道路和規(guī)范,利用參考實(shí)時圖像相關(guān)的程度,以完成對對象的相對定位信息的測定。圖像處理的實(shí)時性對圖像信息的處理性能和實(shí)時性都有很高的要求。此外,它還需要更高的功耗,更大的體積,更高的穩(wěn)定性。當(dāng)前在國外,在目標(biāo)監(jiān)視領(lǐng)域,已形成一種以圖像為基礎(chǔ)的平行模型;接著又有一系列的數(shù)字信號處理器被持續(xù)地升級。在這一背景下,本研究以目前已有的DSP與FPGA架構(gòu)為核心,建立了一個DSP的DSG與FPG相結(jié)合的數(shù)字信號與圖像處理系統(tǒng),然后對圖像處理算法進(jìn)行研究。

1 DSP技術(shù)與FPGA分析

1.1 DSP技術(shù)

數(shù)字信號處理(Digital Signal Processing,DSP)是一門涉及許多學(xué)科和領(lǐng)域的新興學(xué)科。對數(shù)字信號的處理,主要指的是使用計(jì)算機(jī)或是使用特殊的處理設(shè)備,以數(shù)字的形式采集信號、增強(qiáng)、壓縮和識別等信號的處理方法,以獲得人們所要求的信號。

數(shù)字信號處理技術(shù)是指對信號進(jìn)行數(shù)字化表達(dá)和處理的一種方法。其中,數(shù)位及類比式訊息是訊息處理中的一個子范疇。數(shù)字信號處理主要是對現(xiàn)實(shí)中不斷變化的模擬信號進(jìn)行檢測和過濾[1]。所以,必須先對信號進(jìn)行從模擬向數(shù)字的變換,一般采用ADC來完成。由于其對數(shù)據(jù)的要求較高,所以對其進(jìn)行分析和計(jì)算是十分必要的。為實(shí)現(xiàn)數(shù)字信號處理,必須使用計(jì)算機(jī)或者諸如DSP、ASIC等特殊的處理裝置。DSP技術(shù)和器件具有靈活、精度高、抗干擾能力強(qiáng)等特點(diǎn),其具有體積小、成本低、運(yùn)算速度快等顯著優(yōu)勢,是目前常用的模擬信號處理技術(shù)和設(shè)備所不能相比的。

隨著對互聯(lián)網(wǎng)和多媒體服務(wù)的需求越來越大,美國的Sun公司也即將將其最具競爭力的Personal Java語言應(yīng)用到DSP上,從而使DSP的數(shù)據(jù)處理更加自動化,更加智能。當(dāng)然,在DSP之前也有其他的程序語言,比如C語言,但是這些程序?qū)W(wǎng)絡(luò)資源和多媒體信息的處理是沒有能力的。而Personal Java則是一種非常適用于個人的網(wǎng)絡(luò)連接和應(yīng)用的Java環(huán)境,在此基礎(chǔ)上的個人通信系統(tǒng)能夠?qū)崿F(xiàn)從互聯(lián)網(wǎng)中下載數(shù)據(jù)和圖片。另外,根據(jù)MPEG-4的要求,研制出滿足MPEG-4要求的數(shù)字信號處理器,這將為將來的通信系統(tǒng)實(shí)現(xiàn)多種不同的多媒體數(shù)據(jù)傳送奠定基礎(chǔ)。

1.2 FPGA

現(xiàn)場可編程門陣列(Field-Programmable Gate Array,FPGA)是基于可編程陣列邏輯電路(Programmable Array Logic,PAL)和通用陣列邏輯(General Array Logic,GAL)等可編程電路而開發(fā)出來的產(chǎn)品。在特殊集成電路中,該技術(shù)不僅能有效地解決傳統(tǒng)可編程器件存在的問題,而且能有效地彌補(bǔ)傳統(tǒng)可編程器件存在的門電路數(shù)量受限的缺陷[2]。FPGA器件是一種用于特殊集成電路的半定制電路,其是一種可編程的邏輯陣列,可以很好地解決原來的器件中存在的門電路數(shù)量太少的問題。FPGA的主要組成有:可編程序的輸入/輸出部分、可組態(tài)的邏輯部分、DSP控制部分、內(nèi)嵌內(nèi)存部分、配線資源、內(nèi)置特殊的硬件核心,內(nèi)置于底層的功能單位。FPGA因其線路資源多、可重復(fù)性強(qiáng)、高集成性、造價(jià)低廉等優(yōu)點(diǎn)而被越來越多地用于數(shù)字電路的設(shè)計(jì)中。

FPGA的設(shè)計(jì)流程具體包括算法設(shè)計(jì)、代碼仿真以及設(shè)計(jì)、板機(jī)調(diào)試。設(shè)計(jì)者根據(jù)實(shí)際需求來構(gòu)建算法架構(gòu),使用EDA來構(gòu)建設(shè)計(jì)方案或HD來編寫設(shè)計(jì)代碼,并通過代碼仿真來確保設(shè)計(jì)方案與實(shí)際要求相一致。在此基礎(chǔ)上,完成了系統(tǒng)的硬件設(shè)計(jì)和軟件設(shè)計(jì),并通過軟件的設(shè)計(jì)實(shí)現(xiàn)了系統(tǒng)的功能。

2 系統(tǒng)結(jié)構(gòu)分析與設(shè)計(jì)

該系統(tǒng)主要以計(jì)算機(jī)圖像的處理為基礎(chǔ),設(shè)計(jì)了一套以DSP+FPGA為基礎(chǔ)的計(jì)算機(jī)圖像處理系統(tǒng),具體如圖1所示。

圖1 基于DSP+FPGA的計(jì)算機(jī)圖像處理系統(tǒng)結(jié)構(gòu)

在進(jìn)行硬件設(shè)計(jì)的時候,本文所研究的系統(tǒng)主要是以DSP和FPGA為平臺,結(jié)合視頻解碼器、攝像頭等器件,來構(gòu)建一個新型高速實(shí)時的數(shù)字圖像處理系統(tǒng)。其工作過程為:CCD對視頻的輸出信號進(jìn)行采集,然后通過視頻解碼器進(jìn)行A/D轉(zhuǎn)換,獲得一個數(shù)字信號[3]。DSP技術(shù)對一幀圖像進(jìn)行處理,FPGA對數(shù)字圖像信號進(jìn)行了預(yù)處理,將經(jīng)過的圖像保存到幀中。在設(shè)計(jì)系統(tǒng)內(nèi)容期間,必須綜合考慮各種影響因素,如實(shí)時性、規(guī)模、調(diào)試等。

3 系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)

3.1 圖像處理板結(jié)構(gòu)設(shè)計(jì)

圖像處理板硬件結(jié)構(gòu)是基礎(chǔ),其主要采用的是DSP和FPGA結(jié)構(gòu)。其結(jié)構(gòu)要在系統(tǒng)功能、硬件連接方面進(jìn)行整合。本研究對結(jié)構(gòu)展開了仔細(xì)的分析與設(shè)計(jì)。DSP和FPGA圖像處理板硬件構(gòu)成如圖2所示。

圖2 基于DSP+FPGA的計(jì)算機(jī)圖像處理板的硬件構(gòu)成

圖3 FPGA和SDRAM的連接方式

該硬件板的特征在于:(1)該硬件板是在工作中進(jìn)行圖像處理的關(guān)鍵部件。(2)該硬件板是一塊關(guān)鍵的協(xié)同處理器,也是一塊可以進(jìn)行數(shù)據(jù)交互的核心。(3)采用JIAG模擬架構(gòu)。(4)每個晶片都有不同的輸出電壓[4]。

3.2 DSP接口設(shè)計(jì)

在此設(shè)計(jì)階段,要使用FPGA來完成DSP芯片的功能設(shè)定,可以將DSP外部中斷的I/O信號和計(jì)時器信號與FPGA進(jìn)行互相連接,這樣就可以完成二者之間的相互通信。由于DSP本身的內(nèi)存不夠,必須通過DSP進(jìn)行內(nèi)存擴(kuò)充才行。DSP在實(shí)現(xiàn)外部存儲器訪問時,僅需要向其提供片外存儲器相應(yīng)的CE空間初始地址,并以芯片需求為依據(jù)實(shí)現(xiàn)控制寄存器的設(shè)置來實(shí)現(xiàn)接入[5]。在本文所討論的系統(tǒng)中,對兩個外存片進(jìn)行了擴(kuò)展,在設(shè)計(jì)外存片時,使用了一個時鐘,能夠?qū)崿F(xiàn)800 Mbit/s的傳輸,所以能夠很好地符合該設(shè)計(jì)的需要。把各個芯片DSP及SDRAM的接口分別與FPGA的I/O進(jìn)行連接,可以方便地實(shí)現(xiàn)FPGA與SDRAM的連接。

3.3 FPGA電路設(shè)計(jì)

與 DSP芯片的外設(shè)相比,FPGA的外設(shè)比較容易實(shí)現(xiàn),其外設(shè)方式也比較容易實(shí)現(xiàn),沒有什么特殊的需求。均可根據(jù)自身的需求,用硬件編程方法完成功能的設(shè)計(jì)。FPGA可實(shí)現(xiàn)4種不同的組態(tài):從串、主串、邊界掃描、選擇性映射。從串方式中的FPGA,需要可以接受外部PROM及其他器件串行的配置數(shù)據(jù),在外部時鐘的作用下,實(shí)現(xiàn)圖2DSP和FPGA圖像處理板硬件組成操作,可以將大量的FPGA構(gòu)造為菊花鏈,可以從某種數(shù)據(jù)源中得到數(shù)據(jù)。在主要順序模式下,對FPGA的需求是:串行PROM以及對時鐘進(jìn)行配置,從而可以高效地讀取配置數(shù)據(jù)[6]。在本設(shè)計(jì)中,采用主串與JTAG兩種組態(tài)方式來完成,其中JTAG方式是通過對源碼進(jìn)行聯(lián)機(jī)調(diào)試來完成的,在計(jì)算機(jī)關(guān)機(jī)之后所有系統(tǒng)的配置內(nèi)容會被遺失。主串方式的電路結(jié)構(gòu)如圖4所示。

圖4 主串模式的配置電路

4 系統(tǒng)模塊實(shí)現(xiàn)

在進(jìn)行系統(tǒng)的設(shè)計(jì)時,遵循模塊化的原則,系統(tǒng)的功能模塊由輸入模塊、圖像處理模塊(FPGA芯片和DSP芯片)、存儲模塊、輸出模塊組成。本系統(tǒng)的工作過程如下:影像處理系統(tǒng)的輸入部分包括CCD攝像機(jī)和視頻解碼器TVP5150PBS。TVP5150PBS在收到 CCD的模擬視頻信號后,將其轉(zhuǎn)換為YUV4﹕2﹕2的數(shù)字視頻格式,并將其設(shè)定為720×576。在ADSP-BF561單片機(jī)上采用特殊的視頻接口PPI0來存儲這些數(shù)字圖像。當(dāng)采集一個畫面后,DSP的DMA信號發(fā)生故障,此時由FPGA對采集到的畫面進(jìn)行預(yù)處理。隨后DSP利用相關(guān)的圖像處理算法,對經(jīng)過預(yù)處理的圖像數(shù)據(jù)進(jìn)行了處理,經(jīng)過DMA控制器,經(jīng)過PPI1接口,將該圖像數(shù)據(jù)傳送到了視頻編碼器SAA7121,將該圖像數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)的模擬PAL視頻信號,并顯示在顯示器上。FLASH的作用是保存系統(tǒng)中的執(zhí)行程式,并為系統(tǒng)啟動提供指引。

在確定了系統(tǒng)基本組成后,要根據(jù)滿足實(shí)時圖像處理算法的要求,實(shí)現(xiàn)系統(tǒng)部分的相互組合,有效地實(shí)現(xiàn)系統(tǒng),并對系統(tǒng)模塊進(jìn)行全面分析。為更好地拓展該軟件的應(yīng)用領(lǐng)域,本文給出了該軟件各功能模塊的實(shí)現(xiàn)方案。

4.1 圖像獲取模塊

本模塊以兩類影像輸入信道為主,可依實(shí)際需要來確定影像輸入路徑,使其可進(jìn)行有效擴(kuò)充。該系統(tǒng)用于雙目圖像系統(tǒng),由于雙目圖像要求兩個成像器可以彼此同步,因此在一個視頻信道中,將合成同步信號分開,然后訪問第二個成像器的同一部分的輸入端口,可以有效地達(dá)到兩臺成像設(shè)備的互相同步[7]。

因?yàn)槌上裨O(shè)備是可以進(jìn)行模擬的,所以這些圖像在被分割出來后,需要進(jìn)行A/D變換才能與FPGA相結(jié)合。A/D取樣的程序由FPGA來進(jìn)行,兩個視頻信道的分開使得FPGA可以融合到一個FPGA中,該FPGA可以利用奇偶幀和同步信號來完成對一個數(shù)據(jù)的采集,同時也可以防止系統(tǒng)中的線路對數(shù)據(jù)的采集造成影響。當(dāng)信號輸入時,添加一塊隔離芯片來隔離訊號。本系統(tǒng)采集模組的構(gòu)成如圖5所示。

圖5 系統(tǒng)獲取模塊的構(gòu)成

4.2 FPGA模塊

FPGA是該系統(tǒng)中最重要的一個模塊,其可以實(shí)現(xiàn)圖像采集,預(yù)處理,并產(chǎn)生控制邏輯和時鐘。文中采用CFD652芯片來實(shí)現(xiàn)以上功能。該晶片可執(zhí)行各種裝入模組,在影像訊號的輸入處,因?yàn)镻AL系統(tǒng)的影像是以交錯的方式進(jìn)行,所以必須在其中加入兩個端口的記憶體;當(dāng)一個偶數(shù)的畫面進(jìn)入時,這兩個字段就會合成一個完全的畫面。作為一個系統(tǒng)的協(xié)處理器,FPGA要實(shí)現(xiàn)對這些數(shù)據(jù)的預(yù)處理。

DSP和FPGA可以通過多種途徑進(jìn)行數(shù)據(jù)交互,而本論文所設(shè)計(jì)的圖像處理系統(tǒng)需要進(jìn)行海量的數(shù)據(jù)的交互,以及對視頻像素的速率有較高的需求,因此可以采用雙口RAM來完成二者的交互。該系統(tǒng)以控制器為核心,通過FPGA和PC計(jì)算機(jī)之間的通信,將PC的控制命令通過串行傳輸給DSP。采用FPGA的程序來完成對串口通信的控制,同時也可以使用專用的芯片來完成,這樣可以節(jié)省大量的資源。

4.3 DSP模塊設(shè)計(jì)

TM5411是一款利用TM5411對圖像信號進(jìn)行數(shù)字處理的新型高性能DSP芯片,其具有以下幾個方面的功能。

(1)利用EMIFA端口,完成用于儲存要被加工的數(shù)字圖像信號,并對圖像數(shù)據(jù)進(jìn)行訪問和處理。擴(kuò)展程序存儲器的最大作用就是要實(shí)現(xiàn)對數(shù)字圖像信號處理程序的存儲,在DSP復(fù)位后,就可以完成DSP初始化及FPGA的配置并運(yùn)行[8]。

(2)通過與FPGA建立實(shí)時通信,以達(dá)到高效地完成各軟件模塊間的互相調(diào)度與協(xié)作。

(3)根據(jù)產(chǎn)生的控制邏輯,對FPGA進(jìn)行重置,其中,根據(jù)對應(yīng)的信號,對DSP進(jìn)行重置;以執(zhí)行復(fù)位和運(yùn)算等運(yùn)算,使用高速FPGA實(shí)現(xiàn)二維傅立葉轉(zhuǎn)換,然后對轉(zhuǎn)換的數(shù)據(jù)進(jìn)行對應(yīng)的運(yùn)算。當(dāng)操作完成后,將生成一個終止標(biāo)記,DSP通過對終止標(biāo)記的探測,完成對FPGA數(shù)據(jù)的讀出,并通過現(xiàn)場總線將數(shù)據(jù)傳送到PC機(jī)上。

5 系統(tǒng)軟件設(shè)計(jì)

本計(jì)算機(jī)系統(tǒng)的圖像處理系統(tǒng)軟件設(shè)計(jì)流程如圖6所示。

圖6 計(jì)算機(jī)圖像處理系統(tǒng)的軟件設(shè)計(jì)流程

在該系統(tǒng)應(yīng)用前,需要對其進(jìn)行初始化操作。首先,設(shè)定一個中斷矢量表,并采用鎖相環(huán)二十次頻率。由于采用了外置晶體振蕩器的時鐘,核心可以在多赫茲的時鐘頻率下運(yùn)行,并可根據(jù)EBIU的結(jié)構(gòu),開啟一個外接總線的接口。在完成了EBIU的組態(tài)后,完成DSP外圍電路的設(shè)定,并對外圍電路進(jìn)行初始化。在完成對影像的預(yù)處理以后,要想有效地改善影像的處理,必須采用有目的的方法進(jìn)行處理。該算法具有空間平行性,在對圖像進(jìn)行區(qū)塊化處理后,采用一種星型結(jié)構(gòu)聯(lián)系各處理單元,將待處理的圖像數(shù)據(jù)傳輸?shù)礁魈幚韱卧狣SP芯片上。DSP的干燥過程包括以下步驟。

(1)對圖像進(jìn)行邊界擴(kuò)大,然后讀取內(nèi)存。

(2)對全局的變量及參數(shù)進(jìn)行計(jì)算,從而能夠進(jìn)一步降低計(jì)算量,避免重復(fù)使用的變量重新執(zhí)行計(jì)算。

(3)提取各像素對應(yīng)的中間像素,將各像素對應(yīng)的權(quán)重與該中間像素進(jìn)行乘法,利用該乘法初始化估計(jì)量窗口。

(4)確定各中間區(qū)塊所對應(yīng)的觀察窗口區(qū)域。

(5)求取觀察窗口的權(quán)重,完成估算窗口的累積。

(6)判定觀察窗口的定位有無超出觀察窗口的定位范圍。

(7)確定兩個像素的位置。

(8)由于像素點(diǎn)估算窗口交疊,因此要對對應(yīng)的點(diǎn)進(jìn)行除法,然后取整,從而限制了灰度的范圍,由此得出該像素點(diǎn)的灰階估算。

(9)完成運(yùn)算后,將信號處理的結(jié)果傳送到PC機(jī)上。

6 系統(tǒng)測試

對圖像進(jìn)行處理的方法有兩大類:一類是對圖像進(jìn)行后處理算法,另一類是對圖像進(jìn)行預(yù)處理。而預(yù)處理算法的目的就是可以對圖像特征進(jìn)行更多地增強(qiáng),排除一些干擾信息,還可以提取一些有用的信息。這由FPGA完成。在完成預(yù)處理之后,大多數(shù)都是二值圖像,這樣就可以減少圖像的冗余,從而減少后期算法,增加算法的可行性。通過對該模型進(jìn)行模擬實(shí)驗(yàn),驗(yàn)證該模型的正確性。

7 結(jié)語

綜上所述,本文基于DSP+FPGA的非線性結(jié)構(gòu)對計(jì)算機(jī)的圖像處理系統(tǒng)進(jìn)行設(shè)計(jì)。設(shè)計(jì)的系統(tǒng)具有性價(jià)比高、體積小、速度快、功耗低、可擴(kuò)展性強(qiáng)、易于維護(hù)、適應(yīng)性強(qiáng)等特點(diǎn)。該系統(tǒng)的應(yīng)用前景較為廣闊,由于系統(tǒng)的設(shè)計(jì)時間有效,系統(tǒng)的某些功能還不夠完善,在以后的實(shí)際應(yīng)用中將不斷改善系統(tǒng)的性能。