趙云峰，韓 冰，陳 忻，馬 貝，夏 暉，饒 鵬

高速紅外TDI圖像采集系統(tǒng)設(shè)計

趙云峰，韓 冰，陳 忻，馬 貝，夏 暉，饒 鵬

（中國科學(xué)院上海技術(shù)物理研究所，上海 200083）

圖像采集系統(tǒng)在紅外時間延遲積分（Time Delay Integration，TDI）相機開發(fā)前期的驗證與測試階段發(fā)揮重要作用。介紹了一套以PXI硬件平臺和LabVIEW軟件平臺為基礎(chǔ)開發(fā)的圖像采集系統(tǒng)。該系統(tǒng)采用模塊化、多線程設(shè)計，具有高速數(shù)據(jù)采集和處理的能力。實驗結(jié)果表明，系統(tǒng)最高達到約120Mbps的數(shù)據(jù)采集率，可完成8級TDI圖像的高速實時處理與顯示。該系統(tǒng)實現(xiàn)了對新型640×8中波紅外數(shù)字式TDI探測器的數(shù)據(jù)獲取，對新型探測器的應(yīng)用有重要的技術(shù)支撐作用。

紅外TDI；圖像采集；LabVIEW；PXI

0 引言

TDI技術(shù)具有在不犧牲空間分辨率和成像系統(tǒng)工作速度的情況下獲得高靈敏度的特性，在空間紅外遙感領(lǐng)域應(yīng)用廣泛[1]。例如，EarthCARE衛(wèi)星上的多譜段成像儀、美國的中波TDI多光譜成像儀（MTIS）以及SBIRS HEO等預(yù)警衛(wèi)星均采用了紅外TDI技術(shù)[2-3]。

在紅外TDI系統(tǒng)開發(fā)前期的驗證與測試階段，需要搭建圖像采集系統(tǒng)，以便進行各項測試與成像實驗[4]。大量的測試實驗和較短的開發(fā)時間要求圖像采集系統(tǒng)需具備可靠性高、易于開發(fā)、擴展性強和靈活性高的特點。PXI硬件平臺具有高帶寬低延時、可重配置和高可擴展性的優(yōu)點。與PXI硬件平臺配套的LabVIEW軟件平臺使用圖形化語言編程，界面直觀友好，易于學(xué)習(xí)，包含大量圖像處理、數(shù)學(xué)運算和測試測量的工具包，可方便、快速地搭建系統(tǒng)，極大地提高了編程效率[5-6]。因此，本文中的圖像采集系統(tǒng)以PXI硬件平臺和LabVIEW軟件平臺為基礎(chǔ)開發(fā)。該系統(tǒng)可采集LVDS信號，實時處理并顯示TDI圖像。

1 紅外TDI測試系統(tǒng)簡介

紅外TDI成像測試系統(tǒng)的結(jié)構(gòu)圖如圖1所示，圖像采集系統(tǒng)是整個成像測試系統(tǒng)的后端部分。光學(xué)鏡頭、紅外探測器、前端電路板固定在一維掃描轉(zhuǎn)臺上，圖像采集系統(tǒng)控制轉(zhuǎn)臺掃描，探測器輸出信號經(jīng)前端電路板轉(zhuǎn)換后通過LVDS通道傳輸?shù)綀D像采集系統(tǒng)。實驗中采用的新型中波紅外數(shù)字式TDI探測器的主要指標如表1所示。

圖1 紅外TDI測試系統(tǒng)

表1 探測器技術(shù)指標

2 圖像采集系統(tǒng)的硬件架構(gòu)

2.1 外部接口

圖像采集系統(tǒng)與外部有兩個接口：與一維轉(zhuǎn)臺之間通過RS232接口通信，以實現(xiàn)掃描控制；與前端電路板之間通過LVDS通道傳輸圖像數(shù)據(jù)。如圖2所示，圖像采集系統(tǒng)通過6個LVDS通道與前端連接，分別是1個50MHz時鐘信號CLK，4個并行的數(shù)據(jù)信號DATA1～DATA4和1個數(shù)據(jù)使能信號EN。每個數(shù)據(jù)通道在EN有效的14個時鐘周期內(nèi)傳輸1個14bit的圖像數(shù)據(jù)。由表1得，探測器的最大輸出數(shù)據(jù)率約為120Mbps。該接口可傳輸?shù)淖畲髷?shù)據(jù)率約為200Mbps，可滿足探測器的采集需求。

圖2 前端電路輸出的LVDS信號

2.2 內(nèi)部架構(gòu)

如圖3所示，圖像采集系統(tǒng)采用了PXI架構(gòu)，包括機箱、控制器、外設(shè)模塊3部分，控制器和外設(shè)模塊均通過PXI/PXI-e接口連接在機箱上。該系統(tǒng)中，機箱是NI PXIe-1073，控制器是裝有Windows XP操作系統(tǒng)和LabVIEW軟件的計算機，外設(shè)模塊是由NI PXI-7952R和NI 6583組成的FlexRIO模塊。該模塊是一款可重新配置的高性能儀器，可通過LabVIEW編程，提供靈活且可定制的輸入輸出接口。它提供32路單端和16路LVDS通道，時鐘率達200MHz，滿足了6路50MHz LVDS輸入信號的需求。同時，該模塊包含了一個Virtex-5 FPGA和128MB板載DRAM，具有高速實時的數(shù)據(jù)處理能力，可完成部分數(shù)據(jù)采集和處理工作，減小了對控制器的運算能力需求。

圖3 系統(tǒng)內(nèi)部硬件架構(gòu)

3 圖像采集系統(tǒng)的軟件實現(xiàn)

3.1 系統(tǒng)高速處理的需求

該圖像采集系統(tǒng)需具備高速數(shù)據(jù)處理的能力，其原因表現(xiàn)在以下3方面：

第一，TDI成像方式帶來數(shù)據(jù)量的大幅增長。TDI技術(shù)是使視場沿某一方向掃描，將不同時刻的同一目標所成的圖像信號累加起來，以提高信噪比。因此，在相同時間分辨率、空間分辨率和掃描視場的條件下， TDI相機的數(shù)據(jù)量是單線列掃描相機的倍（為TDI級數(shù)）。本系統(tǒng)的數(shù)據(jù)率達到同等條件下的640元單線列掃描相機的8倍，約為8×640×1680×14bps＝120Mbps。

第二，片外數(shù)字TDI的實現(xiàn)方式增加了系統(tǒng)的運算量。本文的TDI方式是片外數(shù)字TDI。與模擬TDI和片上數(shù)字TDI不同，片外數(shù)字TDI的TDI操作在圖像采集系統(tǒng)中完成。本系統(tǒng)中，每秒因此增加的加法運算量為7×640×1680＝7.5×106次。

第三，非均勻性校正、盲元補償?shù)炔僮髟黾恿讼到y(tǒng)的運算量。本系統(tǒng)具備實時的非均勻性校正和盲元補償功能，這也會導(dǎo)致系統(tǒng)運算量的增加。例如，本系統(tǒng)的非均勻性校正算法為兩點法[7]，校正每個像素需要一次加法操作和一次乘法操作。因此每秒增加的運算量為8×640×1680＝8.6×106次加法和乘法操作。

總之，多種復(fù)雜的功能需求和高數(shù)據(jù)率對系統(tǒng)的處理能力提出要求，因此必須優(yōu)化設(shè)計系統(tǒng)的軟件架構(gòu)。

3.2 處理邏輯流程

該系統(tǒng)進行圖像采集的流程圖如圖4所示。

圖像采集的整個流程包含多項操作，分別是：

1）設(shè)備初始化：設(shè)置FlexRIO的多個參數(shù)，使其初始化。

2）掃描控制：設(shè)置掃描轉(zhuǎn)臺的速度和角度，并控制其自動往復(fù)掃描。

3）數(shù)據(jù)采集：從6路LVDS中采集到圖像數(shù)據(jù)，實現(xiàn)從比特流到數(shù)據(jù)流的轉(zhuǎn)化。

4）數(shù)據(jù)存儲：將采集到的數(shù)據(jù)存儲到計算機的磁盤中，以供后續(xù)分析。

5）解幀：前端電路輸出的數(shù)據(jù)中，每幀圖像數(shù)據(jù)（640×8個）前均加入了特定的8個14bit數(shù)據(jù)，即幀頭。解幀是指不斷從圖像數(shù)據(jù)中查找?guī)^，實現(xiàn)提取出每幀圖像的功能。

6）圖像預(yù)處理：對已解幀的圖像進行背景減除、非均勻性校正、盲元補償?shù)葓D像預(yù)處理。這里采用的兩點法校正算法應(yīng)用廣泛，且計算量小，符合高速實時處理的要求。盲元補償采用了鄰域濾波補償?shù)姆椒ā?/p>

圖4 圖像采集流程圖

7）圖像處理：圖像處理的目的是為了得到未TDI的圖像和TDI后的圖像。未TDI的圖像的獲取過程是，直接對多幀圖像進行圖像拼接操作，即將多幀圖像的特定列數(shù)據(jù)抽取出來，再拼成一幅圖像，拼接完成的圖像就是目標的未TDI圖像。TDI后的圖像的獲取過程是，首先進行TDI處理，然后將多列圖像拼接起來。

8）圖像顯示：在NI Vision工具包的支持下，將未TDI的圖像和進行TDI的圖像實時顯示在程序前面板上。

3.3 多線程、模塊化設(shè)計實現(xiàn)高速處理

為了滿足系統(tǒng)的多種功能需求和高速數(shù)據(jù)處理能力需求，設(shè)計了模塊化、多線程的軟件架構(gòu)，如圖5所示。該系統(tǒng)包括兩個主要的VI，即FPGA VI和HOST VI。FPGA VI運行在FlexRIO模塊的FPGA上，包括一個數(shù)據(jù)采集模塊。HOST VI運行在計算機上，包括多個模塊。HOST VI的每個模塊都是一個單獨的循環(huán)體，完成相應(yīng)的功能。這種架構(gòu)的優(yōu)點有：第一，LabVIEW是一種自動多線程編程語言，可把多個持續(xù)運行的循環(huán)任務(wù)分配到多個線程中，充分利用多核計算機的并行處理能力；第二，每個模塊只完成特定功能，程序結(jié)構(gòu)簡單，易于開發(fā)，方便閱讀和調(diào)試。值得注意的是，LabVIEW程序運行過程中，循環(huán)體中的數(shù)據(jù)一般只在循環(huán)結(jié)束后才能傳遞到循環(huán)體外。為使圖像數(shù)據(jù)流在多個循環(huán)體之間傳遞，采用了隊列進行數(shù)據(jù)同步，即A循環(huán)中產(chǎn)生的數(shù)據(jù)存入隊列，B循環(huán)將隊列中的數(shù)據(jù)取出進行下一步處理。

圖5 模塊化、多線程的軟件架構(gòu)

FPGA VI上的數(shù)據(jù)采集模塊LVDS信號的采集與傳輸?？刂颇K負責(zé)整個采集過程的流程邏輯控制，初始化模塊控制數(shù)據(jù)采集模塊實現(xiàn)設(shè)備初始化，掃描控制模塊、數(shù)據(jù)存儲模塊、解幀模塊分別實現(xiàn)掃描控制、數(shù)據(jù)存儲、解幀的功能，圖像處理與顯示模塊實現(xiàn)圖像預(yù)處理、圖像處理和圖像實時顯示。

控制模塊在整個系統(tǒng)中處于核心地位，通過消息通知器實現(xiàn)指令流的傳輸。如圖6所示，它采用了循環(huán)事件結(jié)構(gòu)，完成控制其他模塊運行狀態(tài)的功能。循環(huán)事件結(jié)構(gòu)是一種常用的LabVIEW程序結(jié)構(gòu)，常用于界面控制或全局控制。該模塊包括多個事件分支，程序前面板上“開始”或“停止”按鈕按下的動作可觸發(fā)對應(yīng)事件分支，此時向消息通知器中發(fā)出對應(yīng)通知，其他模塊通過查詢通知器的狀態(tài)做出對應(yīng)的響應(yīng)。

圖6 控制模塊（循環(huán)事件結(jié)構(gòu)）程序框圖

HOST VI中的其他模塊均采用了狀態(tài)機結(jié)構(gòu)。狀態(tài)機結(jié)構(gòu)也是一個比較常用的結(jié)構(gòu)模式，能夠應(yīng)對可能出現(xiàn)的多種工作狀態(tài)和狀態(tài)轉(zhuǎn)移。例如，掃描控制模塊，其程序框圖如圖7所示。該模塊控制一維轉(zhuǎn)臺的自動連續(xù)往復(fù)掃描，并可設(shè)置轉(zhuǎn)動的角度、速度和轉(zhuǎn)動次數(shù)。該模塊有init、idle、run和stop四個狀態(tài)分支，run分支下通過一個for循環(huán)完成掃描往復(fù)控制。

圖7 掃描控制模塊（狀態(tài)機結(jié)構(gòu)）程序框圖

總之，該系統(tǒng)的軟件設(shè)計采用了“循環(huán)事件結(jié)構(gòu)”和“狀態(tài)機結(jié)構(gòu)”的基本模塊，實現(xiàn)了模塊化設(shè)計；以命令通知器傳輸指令流，以隊列傳輸圖像數(shù)據(jù)流，實現(xiàn)了各個模塊間的通信與數(shù)據(jù)同步。這種模塊化、多線程的軟件架構(gòu)能夠充分滿足系統(tǒng)復(fù)雜功能的需求，將處理負荷分解到多個線程中，充分利用了多核計算機的強大處理能力，可滿足TDI圖像采集與處理的需求，也可作為一種通用架構(gòu)適用于紅外與可見成像測試系統(tǒng)的快速開發(fā)。

4 系統(tǒng)成像實驗及結(jié)果

利用該圖像采集系統(tǒng)，進行了一系列成像實驗，完成了圖像采集系統(tǒng)各項功能的調(diào)試與檢測，并獲取了大量TDI成像的實驗數(shù)據(jù)。實驗計算機采用英特爾酷睿2 Q8400處理器，4GB內(nèi)存。多次實驗中，該圖像采集系統(tǒng)均可以完成數(shù)據(jù)存儲、掃描控制、圖像實時處理與顯示的功能。當(dāng)探測器采用最高幀頻讀出時，CPU和內(nèi)存占用率均不超過50%，且未出現(xiàn)數(shù)據(jù)溢出等異常現(xiàn)象。圖8(a)和(b)是外場成像實驗中對同一區(qū)域未TDI和8級TDI的成像結(jié)果，可以看出TDI運算后的圖像與未TDI的圖像相比，對比度更高，非均勻性更好，細節(jié)更清晰。對采集到的黑體輻射圖像進行處理可得，TDI處理后，探測器的非均勻性從11%減小到9%，系統(tǒng)的噪聲等效溫差從57mK降為22mK。這表明數(shù)字TDI可以有效降低系統(tǒng)噪聲水平，提高系統(tǒng)靈敏度，同時對探測器的非均勻性也有一定改善。

但是，圖中的兩幅圖像仍有較高的非均勻性，即圖像存在較明顯的橫條紋，原因可能是系統(tǒng)采用了兩點法進行非均勻性校正。兩點法假定探測器輸出與接收的輻射通量成線性關(guān)系，但這種線性模型過于簡單，不符合實際情況。未來可采用更精確的校正算法，如多點校正法、多項式擬合校正算法以及神經(jīng)網(wǎng)絡(luò)法、卡爾曼濾波方法和高階統(tǒng)計量法等基于場景的非均勻性校正方法[8-9]，進一步降低非均勻性。

總體來看，該圖像采集系統(tǒng)運行可靠穩(wěn)定，效率較高，完成了預(yù)期的各項功能。

圖8 外場實驗中的成像結(jié)果

5 結(jié)束語

本文從軟硬件架構(gòu)的角度闡述了構(gòu)建一個圖像采集系統(tǒng)的過程，并通過成像實驗驗證其功能。系統(tǒng)中運用的“模塊化、多線程”架構(gòu)便于大型圖像采集系統(tǒng)的開發(fā)，能滿足多種復(fù)雜需求。開放式的軟件平臺LabVIEW和可重配置的硬件平臺PXI使得該系統(tǒng)具有易于開發(fā)，可靠性和可擴展性高的特點和高速實時的數(shù)據(jù)采集和圖像處理能力，便于項目開發(fā)前期驗證與檢測階段的大量調(diào)試工作。總之，該系統(tǒng)運行平穩(wěn)高效，可滿足640×8中波紅外數(shù)字式TDI探測器數(shù)據(jù)采集的各項需求。不足之處在于，系統(tǒng)的非均勻性校正存在一定問題，這也是今后進一步改進的方向。

[1] 潘勝達. 紅外TDI掃描相機信息處理關(guān)鍵技術(shù)研究[D]. 上海: 中科院上海技術(shù)物理研究所, 2013.

PAN Shengda. Study on the information processing technology of infrared TDI scanning camera[D]. Shanghai: Shanghai Institute of Technical Physics, CAS, 2013.

[2] Luis Gomez Rojasa, Mark Chang, Guy Baistera. The EarthCARE multi spectral imager thermal infrared optical unit detection system design[C]//, 2010,7826:1-9.

[3] N S Andreas. Space-based infrared system (SBIRS) system of systems[C]//, 1997(4): 429-438.

[4] 韓冰, 陳忻, 饒鵬, 等. ASIC技術(shù)在長線列TDI紅外探測器中的應(yīng)用[J]. 紅外與激光工程, 2015, 44(6): 1733-1738.

HAN Bing, CHEN Xin, RAO Peng. Applications of ASIC in the long array column of infrared TDI detector[J]., 2015, 44(6) : 1733-1738.

[5] 阮奇楨. 我和LabVIEW:一個NI工程師的十年編程經(jīng)驗[M]. 北京: 北京航空航天大學(xué)出版社, 2012.

RUAN Qizhen. LabVIEW and I: Ten years programming experience of an NI Engineer[M]. Beijing: Beihang University press, 2012, 8.

[6] Robert H Bishop. LabVIEW practical tutorial[M]. Beijing: Electronics Industry Press, 2014.

Robert H Bishop. LabVIEW實踐教程[M]. 北京: 電子工業(yè)出版社, 2014.

[7] 陳銳,談新權(quán). 紅外圖像非均勻性校正方法綜述[J].紅外技術(shù),2002, 24(1):1-3.

CHEN Rui. TAN Xinquan. Study on non-uniformity correction of infrared image[J]., 2002, 24(1): 1-3.

[8] 陳錢. 紅外圖像處理技術(shù)現(xiàn)狀及發(fā)展趨勢[J]. 紅外技術(shù), 2013, 35(6): 311-318.

CHEN Qian. The status and development trend of infrared image processing technology[J]., 2013, 35(6): 311-318.

[9] 王學(xué)偉, 李珂, 王世立. 紅外焦平面陣列的非均勻性研究[J]. 激光與紅外, 2012(10): 1131-1134.

WANG Xuewei, LI Ke, WANG Shili. Study of non-uniformity in infrared focal plane arrays[J]., 2012(10): 1131-1134.

The Design of a High Speed Infrared TDI Image Acquisition System

ZHAO Yunfeng，HAN Bing，CHEN Xin，MA Bei，XIA Hui，RAO Peng

(,,200083,)

Image acquisition system plays an important role in the validation and testing phase of the early development stage of infrared Time Delay Integration (TDI) cameras. An image acquisition system based on PXI hardware platform and LabVIEW software platform is introduced in this paper. The system, adopting multi-thread and modular design, has the capability of high speed data acquisition and data processing. Experiments show that the system can achieve a data acquisition rate up to 120Mbps, and can process and display 8-stage TDI images in real time. The system has achieved the data acquisition of a new 640×8 digital MWIR TDI detector, which provides important technical support for application of the new detectors.

Infrared TDI，image acquisition，LabVIEW，PXI

TN21

A

1001-8891(2016)11-0975-05

2015-12-02；

2016-05-30.

趙云峰（1989-），男，河南焦作人，博士研究生，主要從事紅外光電技術(shù)研究。E-mail：zhaoyf_08@163.com。

饒鵬（1977-），男，湖北武漢人，研究員，博士，主要從事光電系統(tǒng)工程方面的研究工作。E-mail：Peng_rao@mail.sitp.ac.cn。