李金龍, 王喆垚

(清華大學(xué) 微電子研究所，北京 100084)

?

熱成像傳感器動(dòng)靜態(tài)成像系統(tǒng)設(shè)計(jì)

李金龍, 王喆垚

(清華大學(xué) 微電子研究所，北京 100084)

摘要:為測(cè)試研究室開(kāi)發(fā)的熱成像傳感器性能與成像質(zhì)量，設(shè)計(jì)了成像傳感器動(dòng)靜態(tài)成像與圖像算法驗(yàn)證系統(tǒng)。系統(tǒng)能夠捕獲成像傳感器靜態(tài)圖像，并能實(shí)時(shí)成像，具有通用性。數(shù)據(jù)的采集和處理應(yīng)用FPGA+DSP開(kāi)發(fā)板實(shí)現(xiàn)。數(shù)據(jù)傳輸基于CY7C68013芯片以塊同步數(shù)據(jù)傳輸方式，實(shí)現(xiàn)了無(wú)縫同步方式高速傳輸?；赩S2010編程環(huán)境和開(kāi)源機(jī)器視覺(jué)庫(kù)編寫(xiě)了接收、存儲(chǔ)以及處理圖像數(shù)據(jù)應(yīng)用程序平臺(tái)。測(cè)試表明:系統(tǒng)能夠以40 Mbyte/s速率數(shù)據(jù)傳輸，用于實(shí)驗(yàn)室開(kāi)發(fā)的熱成像傳感器工作良好。

關(guān)鍵詞：實(shí)時(shí)； 圖像采集； 同步傳輸； 成像系統(tǒng)

0引言

熱成像圖像與可見(jiàn)光成像圖像不同，分辨率低，器件噪聲大，相關(guān)性強(qiáng)，辨識(shí)度低。目前關(guān)于新開(kāi)發(fā)成像傳感器驗(yàn)證基本是靜態(tài)成像的獲取，有關(guān)實(shí)時(shí)成像質(zhì)量和動(dòng)態(tài)處理算法驗(yàn)證應(yīng)用不足，通用性差，成像質(zhì)量驗(yàn)證環(huán)節(jié)與板級(jí)成像系統(tǒng)開(kāi)發(fā)環(huán)節(jié)脫離,且傳感器原始成像圖像需要做很多算法研究和處理才能真正成像。因此，為實(shí)時(shí)、快捷地對(duì)一種成像傳感器成像質(zhì)量觀測(cè)和針對(duì)其成像進(jìn)行算法研究，為板級(jí)成像系統(tǒng)研發(fā)做鋪墊，設(shè)計(jì)一種模塊化、通用型陣列成像及其算法驗(yàn)證系統(tǒng)平臺(tái)非常有意義。

陣列傳感器成像系統(tǒng)設(shè)計(jì)，主要分三個(gè)方面：數(shù)據(jù)獲取與預(yù)處理、數(shù)據(jù)傳輸、圖像處理。主流數(shù)據(jù)獲取方案有嵌入式和非嵌入式兩種，前者主要是基于現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)建立以處理器為核心的可編程片上系統(tǒng)(SOPC)[1,2]。盡管系統(tǒng)搭建設(shè)計(jì)簡(jiǎn)單，但要兼顧控制與處理，處理速率受限,而且芯片和外設(shè)資源有限，不適合實(shí)時(shí)成像與圖像算法的驗(yàn)證。后者主要是基于數(shù)字信號(hào)處理器(DSP)或者FPGA+DSP分立架構(gòu)的成像采集架構(gòu)[3]。在數(shù)據(jù)傳輸方面，外設(shè)部件互連標(biāo)準(zhǔn)( PCI)總線[4]和通用串行總線(USB)[5]傳輸是論文中出現(xiàn)的兩種方式。相比前兩者，后者簡(jiǎn)單方便、傳輸速率高及通用性好。數(shù)據(jù)處理通常在PC上實(shí)現(xiàn)，大致分為虛擬儀器實(shí)現(xiàn)和編程實(shí)現(xiàn)兩種[6]。相比虛擬儀器實(shí)現(xiàn)，編程設(shè)計(jì)實(shí)現(xiàn)后期處理數(shù)據(jù)靈活，針對(duì)性好。在整體系統(tǒng)組成和實(shí)現(xiàn)方面，有針對(duì)已有成像傳感器和設(shè)計(jì)用傳感器成像系統(tǒng)實(shí)現(xiàn)[7～9]，通用性和配置性較差，平臺(tái)性設(shè)計(jì)不足?；谶@樣的需要，本文設(shè)計(jì)了熱成像傳感器成像質(zhì)量動(dòng)態(tài)驗(yàn)證和圖像算法研究的系統(tǒng)。

1硬件系統(tǒng)解決方案

硬件系統(tǒng)主要包括：陣列傳感器、DSP+FPGA開(kāi)發(fā)板(以下簡(jiǎn)稱“開(kāi)發(fā)板”)、CY7C68013芯片以及PC，結(jié)構(gòu)如圖1。

圖1　硬件系統(tǒng)框架Fig 1　Framework of hardware system

其中，長(zhǎng)方形方框的部分是成像傳感器高速采集處理成像系統(tǒng)，用于成像傳感器圖像數(shù)據(jù)的獲取、成像分析和動(dòng)靜態(tài)圖像處理算法驗(yàn)證。FPGA作為圖像實(shí)時(shí)采集系統(tǒng)主體與DSP之間互聯(lián)足夠數(shù)量的IO口。FPGA負(fù)責(zé)與傳感器接口，負(fù)責(zé)與CY7C68013芯片、LCD接口與驅(qū)動(dòng)，負(fù)責(zé)與DSP的通信。DSP能對(duì)FPGA外圍設(shè)備和IO口的使用。

FPGA配置有兩個(gè)大小均為8MB的數(shù)據(jù)存儲(chǔ)器SRAM和一個(gè)大小512 kB的程序存儲(chǔ)器EEPROM。DSP配置有一個(gè)4M的16位的程序存儲(chǔ)器FLASH和一個(gè)4M的32位的數(shù)據(jù)存儲(chǔ)器SDRAM。FPGA采用EP2C70F672C8，其門(mén)數(shù)資源非常豐富，其現(xiàn)場(chǎng)可配置性非常適合信號(hào)處理和控制。DSP采用德州儀器的高速浮點(diǎn)型處理器TMS320C6713B，主頻可選配為225/300 MHz，具有強(qiáng)大的并行數(shù)字信號(hào)處理能力。

開(kāi)發(fā)板與電腦之間數(shù)據(jù)傳輸采用CY7C68013芯片，該芯片將USB2.0收發(fā)器，SIE(串行接口引擎)，增強(qiáng)型8051微控制器以及GPIF(可編程外設(shè)接口)集成到一個(gè)芯片中，功耗低，功能全[5]。該芯片支持全速12 Mbps和高速480 Mbps傳輸，能夠滿足系統(tǒng)數(shù)據(jù)傳輸速率的要求。

實(shí)時(shí)圖像的接收和處理需要較高的運(yùn)算速度和大的運(yùn)算量，需要應(yīng)用雙線程乃至多線程。PC上集成了豐富的軟硬件系統(tǒng)資源，適合多線程程序的開(kāi)發(fā)，方便對(duì)圖像獲取和實(shí)時(shí)成像，便捷作為傳感器成像進(jìn)行處理算法研究，適合作為成像傳感器成像質(zhì)量驗(yàn)證平臺(tái)。

2系統(tǒng)軟件設(shè)計(jì)與實(shí)現(xiàn)

開(kāi)發(fā)板與傳感器接口采用硬件語(yǔ)言進(jìn)行模塊化設(shè)計(jì)，具有現(xiàn)場(chǎng)可配置性，適用于不同成像傳感器成像開(kāi)發(fā)。開(kāi)發(fā)板與CY7C68013芯片之間控制依據(jù)芯片固件程序設(shè)計(jì)為同步Bulk塊傳輸接口。固件程序?qū)⑿酒渲脼樵O(shè)備與PC進(jìn)行數(shù)據(jù)傳輸。固件程序、USB設(shè)備驅(qū)動(dòng)程序和應(yīng)用程序根據(jù)圖像分辨率大小進(jìn)行參數(shù)化設(shè)計(jì)，可根據(jù)圖像傳感器尺寸大小和行數(shù)據(jù)多少進(jìn)行參數(shù)調(diào)整。

2.1傳感器數(shù)據(jù)采集與USB傳輸接口

本文對(duì)實(shí)驗(yàn)室開(kāi)發(fā)分辨率為160×120雙通道熱成像傳感器和一種的CMOS傳感器(用于系統(tǒng)驗(yàn)證)進(jìn)行了傳感器接口與CY7C68013芯片接口程序模塊設(shè)計(jì)。兩者僅在對(duì)傳感器時(shí)序產(chǎn)生與控制模塊有區(qū)別，其它完全相同。熱成像傳感器芯片要實(shí)現(xiàn)和CMOS傳感器一樣的數(shù)據(jù)采集，并進(jìn)一步實(shí)現(xiàn)成像，除了芯片中各部分電路按逐行讀出控制設(shè)計(jì)時(shí)序工作外，還要設(shè)計(jì)芯片讀出電路輸出一些時(shí)序信號(hào)，如像素同步時(shí)鐘信號(hào)、行同步信號(hào)、幀同步信號(hào)等。

熱成像傳感器時(shí)序與控制模塊程序產(chǎn)生時(shí)序控制信號(hào)有時(shí)鐘clk、重置rst、行選時(shí)序WLPLUS(即行輸出有效信號(hào))、行像素控制積分INTEG，ADC使能脈沖ADCEN,ADC數(shù)據(jù)轉(zhuǎn)移至鎖存器的脈沖CTRANS、列選時(shí)鐘BLPLUS、計(jì)數(shù)BLADD(該信號(hào)用于邏輯分析儀測(cè)試像素讀取同步性)以及其他一些讀出電路邏輯控制信號(hào)。熱成像傳感器讀出控制如下：每一行數(shù)據(jù)開(kāi)始前，INTEG信號(hào)對(duì)行像素讀出單元積分放大器清零，然后對(duì)象元積分(INTEG高清零，低電平象元單元電流積分轉(zhuǎn)為模擬電壓)。積分放大器積分最后20個(gè)周期，ADCEN為高使能ADC進(jìn)行D/A轉(zhuǎn)換。D/A轉(zhuǎn)換完畢，CTRANS為高電平5個(gè)時(shí)鐘周期將一行象元數(shù)據(jù)轉(zhuǎn)至鎖存器。數(shù)據(jù)轉(zhuǎn)移至鎖存器后，WLPLUS為高，120個(gè)BLPLUS周期對(duì)一整行像素?cái)?shù)據(jù)逐一讀取。熱成像傳感器芯片會(huì)產(chǎn)生幀同步時(shí)鐘信號(hào)。依據(jù)芯片讀出電路工作原理，為保持同步性，將WLPLUS，PCLK(采集時(shí)鐘反相，時(shí)鐘上升沿芯片數(shù)據(jù)有效)分別作為采集控制信號(hào)作為行同步信號(hào)、像素采集同步信號(hào)輸出，與幀同步信號(hào)應(yīng)用于數(shù)據(jù)采集。熱成像傳感器采集模塊產(chǎn)生的時(shí)序控制信號(hào)如圖2。

圖2　熱成像傳感器數(shù)據(jù)采集時(shí)序Fig 2　Data acquisition timing of thermal imaging sensor

模塊硬件語(yǔ)言程序配置FPGA內(nèi)部數(shù)據(jù)采集與傳輸結(jié)構(gòu)如圖3。

圖3　FPGA內(nèi)部數(shù)據(jù)采集與傳輸模塊結(jié)構(gòu)Fig 3　Structure of data acquisition and transmissionmodules in FPGA

該模塊中，傳感陣列輸出的場(chǎng)信號(hào)、行信號(hào)、像素時(shí)鐘、CY7C68013芯片使能接收信號(hào)以及8位有效像素?cái)?shù)據(jù)為模塊輸入信號(hào)，芯片使能寫(xiě)與控制信號(hào)、同步數(shù)據(jù)輸出信號(hào)、場(chǎng)中斷信號(hào)、時(shí)序控制信號(hào)、同步時(shí)鐘信號(hào)為輸出信號(hào)。其中場(chǎng)信號(hào)用于通知一幀數(shù)據(jù)開(kāi)始和作為上傳數(shù)據(jù)信號(hào)觸發(fā)CY7C68013芯片中斷，行信號(hào)和觸發(fā)信號(hào)用于向USB寫(xiě)數(shù)據(jù)使能，傳感器像素輸出時(shí)鐘為CY7C68013芯片同步時(shí)鐘信號(hào)，處理模塊輸出數(shù)據(jù)接CY7C68013芯片低8位數(shù)據(jù)線。由于固件程序?qū)Y7C68013芯片控制引腳配置為高電平有效，其它接口設(shè)置為低電平信號(hào)。

2.2固件程序與驅(qū)動(dòng)程序

芯片公司為CY7C68013芯片提供固件編程框架，用戶只需在程序框架下根據(jù)實(shí)現(xiàn)目標(biāo)設(shè)計(jì)自己的固件程序，該程序框架是一個(gè)自循環(huán)主程序框架和調(diào)用子程序。子程序有4個(gè)用戶函數(shù)和一個(gè)中斷處理函數(shù)：TD_Poll()，芯片配置函數(shù)TD_Init()，掛起函數(shù) TD_Suspend()，喚醒函數(shù)TD_Resume()以及ISR_EXTR0()。固件程序流程如圖4。

圖4　固件程序框架流程Fig 4　Framework flow chart of firmware program

根據(jù)成像傳感器數(shù)據(jù)非連續(xù)、數(shù)據(jù)量大、要求速率高的特點(diǎn)，編寫(xiě)固件程序時(shí)有針對(duì)性地對(duì)芯片初始化函數(shù)，并設(shè)計(jì)中斷處理函數(shù)。芯片配置函數(shù)，將CY7C68013芯片配置為8位Bulk同步設(shè)備模式高速傳輸。中斷函數(shù)收到場(chǎng)信號(hào)變化觸發(fā)響應(yīng)中斷，設(shè)置數(shù)據(jù)接收允許。該設(shè)計(jì)能夠使固件程序?qū)崿F(xiàn)辨別圖像開(kāi)始和幀頻控制傳輸。修改中斷函數(shù)可以得到不同幀頻的圖像數(shù)據(jù)接收。驅(qū)動(dòng)程序是固件程序和用戶應(yīng)用程序之間的橋梁。驅(qū)動(dòng)程序是在提供框架的基礎(chǔ)上對(duì)相關(guān)參數(shù)和設(shè)備描述進(jìn)行修改完成。

2.3上位機(jī)應(yīng)用程序

上位機(jī)程序設(shè)計(jì)是在添加并配置開(kāi)源機(jī)器視覺(jué)庫(kù)的VS2010軟件開(kāi)發(fā)環(huán)境上編寫(xiě)的面向用戶的應(yīng)用程序。為解決實(shí)時(shí)圖像采集和處理顯示，程序設(shè)計(jì)采用雙線程。首先MFC程序響應(yīng)用戶開(kāi)始消息啟動(dòng)雙線程。圖像數(shù)據(jù)的接收基于提供的API(應(yīng)用程序編程接口)庫(kù)，系統(tǒng)時(shí)間片輪到數(shù)據(jù)接收線程，程序異步接收USB設(shè)備上傳的數(shù)據(jù)。每接收一幀圖像存入申請(qǐng)的內(nèi)存隊(duì)列，然后隊(duì)列指針+1，同時(shí)將接收的一幀圖像數(shù)據(jù)傳遞給處理顯示線程，設(shè)置顯示線程Flag為真，使能顯示。時(shí)間片輪到圖像處理和顯示線程時(shí)，顯示線程對(duì)圖像數(shù)據(jù)處理然后顯示在位圖控件上。兩個(gè)線程交替進(jìn)行。應(yīng)用程序響應(yīng)終止消息，則程序釋放申請(qǐng)內(nèi)存和其他資源，程序流程如圖5。

圖5　采集與處理程序流程圖Fig 5　Flow chart of collection and processing program

應(yīng)用程序根據(jù)圖像傳感器分辨率大小設(shè)置異步等待時(shí)間和內(nèi)存隊(duì)列每一塊內(nèi)存大小，保證了應(yīng)用程序采集與處理顯示準(zhǔn)確穩(wěn)定。應(yīng)用程序?qū)@示在圖像顯示控件上的圖像以位圖形式保存。應(yīng)用程序?qū)崿F(xiàn)了圖像的高速實(shí)時(shí)接收和圖像處理顯示，支持熱成像傳感器靜態(tài)和動(dòng)態(tài)圖像處理算法的研究。

3系統(tǒng)測(cè)試與結(jié)果

對(duì)系統(tǒng)進(jìn)行測(cè)試，在FPGA模塊內(nèi)產(chǎn)生40 MHz的同步時(shí)鐘、8位循環(huán)加法計(jì)數(shù)器輸出數(shù)據(jù)以及傳輸協(xié)議信號(hào)給CY7C68013芯片，上位機(jī)程序能夠?qū)崟r(shí)接收并以40 Mbyte/s的速率保存數(shù)據(jù)。用帶有簡(jiǎn)易鏡頭的CMOS傳感器對(duì)系統(tǒng)傳輸速率和穩(wěn)定性進(jìn)行測(cè)試。系統(tǒng)能夠以30 fps的速率穩(wěn)定實(shí)現(xiàn)對(duì)圖像數(shù)據(jù)采集與處理顯示，CMOS傳感器獲得圖像如圖6。

圖6　系統(tǒng)捕獲CMOS傳感器圖像Fig 6　Image of CMOS sensor captured by system

系統(tǒng)應(yīng)用于課題組開(kāi)發(fā)的熱成像傳感器，獲取熱成像傳感器陣列原始圖像數(shù)據(jù)顯示如圖7。圖像大小為120×80(單通道)，是對(duì)熱成像傳感器成像數(shù)據(jù)顯示。

圖7　系統(tǒng)獲取熱成像傳感器的圖像Fig 7　Image of thermal imaging sensor acquired by system

系統(tǒng)數(shù)據(jù)獲取、成像、芯片圖像數(shù)據(jù)獲取正常，為下一階段對(duì)熱成像傳感器安裝光學(xué)系統(tǒng)后的圖像失效元補(bǔ)償、非均勻矯正與增強(qiáng)算法研究與系統(tǒng)開(kāi)發(fā)提供了系統(tǒng)平臺(tái)。

4結(jié)論

相比傳統(tǒng)對(duì)開(kāi)發(fā)傳感器功能和性能的測(cè)試，本文設(shè)計(jì)的傳感器成像質(zhì)量和圖像算法實(shí)時(shí)驗(yàn)證系統(tǒng)方案有著實(shí)時(shí)觀測(cè)性、采集速率可調(diào)節(jié)性以及通用性的特點(diǎn)。該平臺(tái)實(shí)現(xiàn)了成像傳感器數(shù)據(jù)采集，靜態(tài)圖像捕獲和動(dòng)態(tài)圖像實(shí)時(shí)顯示，并且支持對(duì)被測(cè)試傳感器原始圖像處理算法研究。系統(tǒng)方案設(shè)計(jì)簡(jiǎn)潔高效，能夠作為新開(kāi)發(fā)圖像傳感器成像特點(diǎn)和圖像算法研究系統(tǒng)平臺(tái)，在軟硬件設(shè)計(jì)方面為下一步圖像傳感器成像儀樣機(jī)設(shè)計(jì)工作做了一定鋪墊。

參考文獻(xiàn):

[1]Lu Y Y,Wang J Z,Chang F W.Development of infrared real-time imaging system based on SOPC[C]∥The 2008 International Conference on Embedded Software and Systems,IEEE Computer Society,2008:63-68.

[2]Liu G,Li J,Ma H.Study of real-time infrared image enhancement algorithm based on FPGA[C]∥The 2009 International Confe-rence on Mechatronics and Automation,IEEE,2009:1882-1886.

[3]Wei H.Designing and development of multi-DSP real-time image processing system based on FPGA[C]∥The 2011 International Conference on Computer Science and Network Technology,IEEE,2011:1263-1265.

[4]Zhao Y,Liu J M,Zhang Q.Research of high speed sampling and processing of dynamic arc image[C]∥2008 International Confe-rence on Wavelet Analysis and Pattern Recognition,IEEE,2008:183-187.

[5]向文芳,邢濤,曹紅兵,等.高速數(shù)據(jù)采集系統(tǒng)的USB接口設(shè)計(jì)[J].計(jì)算機(jī)測(cè)量與控制,2011,19(10)：2567-2570.

[6]Zhang N,Lü J,Zhou Y,et al.Research on infrared imaging system of UIRFPA based on virtual instrument[C]∥The 10th International Conference on Electronic Measurement & Instruments.IEEE,2011:117-120.

[7]Li H,Zhang S C,Han C,et al.A near infrared imaging detection system based on davinci Platform[C]∥The 9th International Conference on Electronic Measurement & Instruments,IEEE,2009:4—154-4—159.

[8]Oren Dayakc.A low-cost uncooled infrared detector array and its camera electronics[D].AnKara:Middle East Technical University of Turkey,2011.

[9]Wang J,Peng L,Wei L.Design and implementation of a real-time image processing system with modularization and extendibi-lity[C]∥2008 International Conference on Audio,Language and Image Processing,IEEE,2008:798-802.

Design of dynamic and static states imaging system for thermal imaging sensor

LI Jin-long， WANG Zhe-yao

(Institute of Microelectronics,Tsinghua University,Beijing 100084,China)

Abstract:In order to test performance and imaging quality of the developed thermal imaging sensor,dynamic and static states imaging and image algorithm testing system is designed.The system can capture static image of imaging sensor and real-time imaging,and it has versatility.The board of FPGA + DSP is responsible for data acquisition and processing.By bulk synchronous data transmission mode based on CY7C68013 chip,seamless synchronization high-speed transmission of data is realized.An application program platform is developed to receive,save and process image data based on VS2010 programming environment and open source machine vision library.Test result shows that the system can transmit data at the speed of 40 Mbyte/s and the thermal imaging sensor for lab works well.

Key words:real-time; image acquisition; synchronous transmission; imaging system

DOI:10.13873/J.1000—9787(2016)03—0092—04

收稿日期：2015—07—02

中圖分類號(hào)：TN 362

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1000—9787(2016)03—0092—04

作者簡(jiǎn)介:

李金龍(1989-)，男，河南杞縣人，碩士研究生，主要從事熱成像傳感器陣列成像系統(tǒng)與成像算法研究。