鐘海林, 楊粵濤, 王 鑫, 曹 峰, 王 濤, 李 桃
(蘇州長風航空電子有限公司,江蘇 蘇州 215151)
在邊海防監(jiān)控系統(tǒng)中,非制冷連續(xù)變焦紅外熱像儀接收目標物體紅外輻射,轉換為紅外圖像信息,是實現(xiàn)邊境目標監(jiān)測與跟蹤的核心設備之一,其性能的優(yōu)劣將直接影響系統(tǒng)的捕獲能力與探測距離。非制冷紅外焦平面陣列(IRFPA)正朝著高靈敏、大面陣、高分辨率、低功耗、數(shù)字化方向發(fā)展。隨著國產(chǎn)廠商在非制冷焦平面制造技術上的突破和紅外光學鏡頭設計制造技術的快速發(fā)展,面向機載光電雷達、紅外搜跟系統(tǒng)、邊海防等全天候偵察監(jiān)控等領域的高分辨率紅外成像系統(tǒng)的國產(chǎn)化需求越來越迫切[1-5]。
基于此,針對邊海防監(jiān)控領域對國產(chǎn)高分辨率非制冷紅外成像顯示技術的需求,本文提出了一種基于GST817VM1E國產(chǎn)非制冷紅外探測器成像與增強顯示技術方案。本文所設計紅外熱成像系統(tǒng)以可編程片上系統(tǒng)(SOPC)為核心搭建硬件平臺,以DDR3 SDRAM作為紅外圖像緩存器,使用SOPC內部集成NiosⅡ軟核作為系統(tǒng)控制器,配合SOPC可編程單元實現(xiàn)探測器焦平面非均勻性校準(NUC)、兩點校正、盲元補償、減本底和自適應圖像增強等處理[6-8],支持輸出PAL、Cameralink、DVI等紅外圖像視頻,最高可輸出14位灰度級800×600分辨率紅外圖像,幀率可達到60 frame/s,支持連續(xù)變焦和自動調焦控制,具有大面陣、高分辨率、高幀頻等優(yōu)點,能夠滿足邊海防監(jiān)控系統(tǒng)紅外成像顯示需求,同時為城市高點監(jiān)控、森林防火等紅外熱成像應用領域提供了可行的技術方案。
系統(tǒng)由紅外光學鏡頭、探測模塊、信號采樣模塊、圖像處理模塊、接口模塊構成,如圖1所示。結合監(jiān)控距離需求,紅外光學鏡頭選用北京藍思泰克30~150 mm連續(xù)變焦鏡頭,支持電動變焦與電動調焦。
圖1 系統(tǒng)結構框圖Fig.1 Block diagram of system
探測模塊由溫度傳感器、快門組件、非制冷紅外探測器GST817VM1E組成,采用TMP101檢測環(huán)境溫度,快門組件選用對開式磁電快門組件,為探測器校正提供均勻參考面。
信號采樣模塊由探測器偏置電壓生成、半導致冷器(TEC)溫控、信號調理采樣等功能電路構成,實現(xiàn)對探測器輸出的紅外圖像模擬信號調理采樣與探測器工作焦溫實時調節(jié)。
圖像處理模塊采用Altera公司5CGXFC9D6
F27I7N現(xiàn)場可編程芯片為核心搭配存儲器控制電路,通過Avalon總線實現(xiàn)DDR數(shù)據(jù)存取,采用Nios軟核作為圖像處理控制器,實現(xiàn)圖像紅外非均勻校正、盲元補償、自動聚焦和增強顯示等處理。
接口模塊為整個系統(tǒng)提供電源輸入轉換、紅外圖像顯示輸出和對外調試通信功能。
該系統(tǒng)基本工作原理為:系統(tǒng)工作時,圖像處理模塊上的現(xiàn)場可編程門陣列(FPGA)生成GST817VM1E探測器所需工作時序、復位信號及相應的偏置電壓,驅動GST817VM1E探測器完成光電轉換,將經(jīng)光學鏡頭聚焦到探測模塊的GST817VM1E探測器上的被觀測場景中的紅外輻射轉化為模擬電壓信號,通過探測器奇偶兩路通道輸出,兩路模擬電壓信號經(jīng)過幅值調理、隔離、單端轉差分等信號調理后經(jīng)AD9251高精度采樣轉換為14位數(shù)字信號,并以低電壓差分信號(LVDS) 電平標準輸入到圖像處理模塊FPGA,利用Nios軟核實現(xiàn)對紅外數(shù)字圖像信號圖像非均勻性校正、盲元補償、灰度變換、自動聚焦及圖像增強等處理流程控制,最后按照不同標準視頻時序重構14位的灰度紅外圖像數(shù)據(jù),經(jīng)接口模塊輸出電路輸出標準視頻數(shù)據(jù)流,實現(xiàn)PAL、DVI及CameraLink視頻輸出顯示。
探測器性能決定了紅外熱成像系統(tǒng)的性能上限,選擇高性能的探測器能顯著提高系統(tǒng)的成像效果和熱分辨力。本文選用武漢高德公司生產(chǎn)的金屬真空封裝氧化釩非制冷紅外焦平面陣列GST817VM1E。其陣列規(guī)模為800×600像素,內部集成溫度傳感器,像元間距為17 μm,噪聲等效溫差(NETD)<80 mK,采用奇偶列兩通道輸出,幀頻達60 Hz,內部包含氧化釩微測輻射熱計焦平面陣列(IRFPA),硅讀出電路(ROIC)和封裝在金屬管殼中的TEC,適用于監(jiān)控領域紅外輻射成像。ROIC由像素陣列、列級電容跨導放大器、采樣-保持電路、列緩沖電路、輸出緩沖電路組成,內置非均勻校準控制電路,包含列校準電路和相關邏輯控制,通過外部輸入校準信號,實現(xiàn)對每個傳感器像素點做固定偏差和增益的校準。
GST817VM1E探測器正常工作條件包括工作電源和驅動信號,工作電源由數(shù)字電源、模擬電源和偏置電壓構成,驅動信號包括時鐘信號、配置數(shù)據(jù)和片上非均勻校準(NUC)參數(shù)。根據(jù)GST817VM1E探測器使用手冊可知,探測器數(shù)字電源VDD33為3.3 V,VDD為1.8 V,模擬電源AVD33為3.6 V。為滿足探測器工作電源特性需求,本文分別采用低壓差線性穩(wěn)壓器TPS79933、TPS79918、ADP7102產(chǎn)生上述3.3,1.8,3.6 V工作電源。探測器正常工作所需的偏置電壓要求如表1所示,選用可編程線性穩(wěn)壓器 AD5324產(chǎn)生VSK、GFID偏置電壓,實際工作中需根據(jù)探測器片上非均勻校準情況動態(tài)微調偏置電壓幅值。
表1 GST817VM1E偏置電壓Tab.1 Bias voltage of GST817VM1E
GST817VM1E探測器工作所需驅動信號包括主時鐘(TMC)、行積分輸入時鐘(INT)、探測器復位輸入時鐘(RESET)、NUC參數(shù)及探測器配置數(shù)據(jù)。探測器通電后首先進行初始化配置,配置數(shù)據(jù)通過SERDAT串口寫入探測器內部寄存器。然后結合外部校準數(shù)據(jù)輸入有效時鐘(CAL_DATAVALID)和非均勻校準參數(shù)(CAL_DAT[5:0])實現(xiàn)探測器片上非均勻校準參數(shù)計算和探測器校準參數(shù)配置。探測器時序、校正數(shù)據(jù)和輸出的時序關系如圖2所示[9]。
圖2 探測器帶非均勻校準工作時序圖Fig.2 Timing diagram of GST817VM1E
本文探測器驅動由系統(tǒng)電源控制模塊、偏壓控制模塊、時序生成模塊和片上非均勻校準模塊構成。
系統(tǒng)電源控制模塊采用Nios軟核控制各模塊電源轉換芯片使能信號使探測器數(shù)字電源先上電,模擬電源后上電,高電壓先上電,低電壓后上電,避免寄生和穿通電流對芯片可靠性和壽命的影響;系統(tǒng)下電時先關斷模擬電源后停止數(shù)字電源,低電壓先下電,高電壓后下電,避免閂鎖(Latch-up)效應。
偏壓控制模塊采用AD5324芯片產(chǎn)生探測器工作所需偏置電壓VSK、GFID_E和GFID_O,并根據(jù)NUC校準實時調整VSK偏置電壓使探測器輸出幀均值在7 800~8 300之間,固化VSK電壓。根據(jù)探測器奇偶通道輸出差異調整GFID_E和GFID_O幅值,減小奇偶通道數(shù)據(jù)差,提高輸出圖像信號均勻性。FPGA通過串行外設接口(SPI)編程配置AD5324四路輸出電壓,配置數(shù)據(jù)共16位,包含4位控制信號與12位有效數(shù)據(jù)。
(1)
其中:Vout為AD5324輸出電壓,Vref為精度0.001 V參考電壓源,D為12位有效數(shù)據(jù),N為12。根據(jù)式(1),計算出偏置電壓對應的D,通過SPI寫入AD324輸入移位寄存器中即可。
時序生成模塊以探測器工作時序圖2為基準,規(guī)格為800(H)×600(V),按下列要求配置探測器工作時序。
(1)INT上升沿后2個主時鐘(MC)后,拉高CAL_DATAVALID,開始預存第一行的校準數(shù)據(jù)(區(qū)別奇偶列),整幀第一個INT和最后一個INT是dummy行,不進行數(shù)據(jù)校正,校準工作共需(V+2)個INT行周期。第一個INT串口設置有效,預存第一行的校準數(shù)據(jù),最后一個INT讀出最后一行數(shù)據(jù)。
(2)為保證校準數(shù)據(jù)穩(wěn)定輸入,校準數(shù)據(jù)CAL_DATA[5:0]相對于校準時鐘(使用系統(tǒng)時鐘MC)的上升沿下降沿,延遲10 ns輸入。
(3)系統(tǒng)校準時,串口數(shù)據(jù)SERDAT在第一行校準數(shù)據(jù)輸入前完成,系統(tǒng)每幀作外部復位,幀起始先做串口數(shù)據(jù)輸入,然后再作校準數(shù)據(jù)輸入,重復V+2行INT時鐘周期。
(4)INT時鐘高電平周期要大于30個MC,低電平周期要大于60個MC,INT高電平長度應為MC主時鐘周期的整數(shù)倍。
(5)INT時鐘需滯后MC 10 ns,CALDATAVALID滯后MC 10 ns,SERDAT滯后MC 10 ns,CAL_DATA[5:0]滯后MC上升沿和下降沿10 ns 。
(6)在Datavlid變高后2個MC,F(xiàn)PGA開始探測器采集輸出信號。
圖3 NUC校準數(shù)據(jù)計算流程Fig.3 Flow chart of non-uniform correction
片上非均勻校準數(shù)據(jù)(NUC)模塊與偏壓控制模塊協(xié)同工作,校準數(shù)據(jù)通過CAL_DATA[5:0]和同步時鐘CAL_DATAVALID配合輸入,實現(xiàn)對每個像元點做固定偏差和增益的校準。NUC校準數(shù)據(jù)共12位,初始值為0×888,高4位對應粗精度校準,中間4位對應中等精度校準,低4位對應微細精度校準,NUC參數(shù)計算順序從高4位的粗精度校準開始,隨后是中等精度校準,最后是微細精度校準。參數(shù)計算過程采用逐位逼近的方法從高4位向最低4位更新校準數(shù)據(jù),并將更新后的校正數(shù)據(jù)通過CAL_DATA[5:0]送入探測器,計算當前校準參數(shù)下探測器VIDEO輸出幀平均值Tj與探測器像元i(04.2 信號采樣與TEC溫控
4.2.1 模擬信號采樣
探測器像元數(shù)據(jù)采樣直接影響紅外熱成像圖像質量優(yōu)劣,本文采用高精度差分采樣芯片AD9251實現(xiàn)探測器奇偶兩通道圖像模擬信號模數(shù)轉換(圖4)。探測器模擬信號輸出電壓范圍為1~3 V,AD9251差分輸入范圍為-1~1 V之間(2Vpp),因此需要對探測器輸出的兩路圖像模擬信號進行幅值調理和單端轉差分轉換[10]。本文采用ADA4896對奇偶通道模擬信號(VIDEO_O、VIDEO_E)進行阻抗匹配和電壓信號跟隨放大,采用ADA4940對模擬信號進行幅值調理濾波,將1~3 V模擬圖像信號轉換為-1~1 V之間的差分信號送入AD9251兩路差分采樣轉換為14位數(shù)字信號。AD9251所需差分時鐘信號CLK_AD9251通過AD9515轉換探測器MC同源時鐘實現(xiàn)。
圖4 模擬信號采樣流程Fig.4 Flow chart of analog signal sampling
針對探測器奇偶通道同時輸出機制,需要將轉換后的奇偶通道數(shù)字信號合并成一幀完整圖像數(shù)據(jù)。本文通過探測器成像時INT行積分與非INT行積分輸出的AD值差異尋找每幀圖像第一行第一個有效像素數(shù)據(jù),結合探測器上電配置狀態(tài)實現(xiàn)奇偶通道紅外圖像數(shù)據(jù)拼接。
為提高系統(tǒng)熱成像分辨率,降低后期非均勻校正難度,最大程度改善成像質量,必須確保探測器焦平面溫度的一致性和穩(wěn)定性[11]。本文結合探測器使用手冊對噪聲、精度和功耗等的要求,選用0.001 ℃精度的MAX1978為核心搭建系統(tǒng)TEC溫控電路穩(wěn)定探測器焦平面溫度。探測器焦溫輸出信號VTEMP經(jīng)OPA2340EA轉化為兩路電壓輸出,對其分壓調幅后一路送ADS1110溫度采樣芯片計算探測器焦平面溫度,另一路送入MAX1978作為探測器焦平面溫度輸入信號。采用TMP101采樣探測器環(huán)境溫度,設計線性分段溫控方法計算當前環(huán)溫下應設定焦溫值T,設定焦溫值T通過MAX5417電橋電路轉換設定焦溫電壓送入MAX1978,經(jīng)內部PID網(wǎng)絡計算后輸出TEC溫控信號到探測器TEC+和TEC-引腳,實現(xiàn)焦溫實時控制,流程如圖5所示。
圖5 TEC溫控流程Fig.5 Flow chart of TEC
本文系統(tǒng)包含校正與標定兩種工作模式,其中標定模式主要用于計算兩點校正參數(shù)、盲元補償處理,校正模式為正常熱成像工作模式。系統(tǒng)上電后,完成探測器機芯電路和連續(xù)變焦光學鏡頭初始化,讀取當前探測器襯底溫度,判斷是否達到設定工作焦溫,按照圖2時序生成探測器工作時序,采樣探測器輸出圖像信號。Nios控制器根據(jù)外部輸入判定系統(tǒng)當前工作模式后進行紅外成像(默認校正模式)和系統(tǒng)校正系數(shù)計算(標定模式),具體流程如圖6所示。在校正模式下,Nios軟核控制器讀取FLASH中非均勻校正系數(shù)至DDR3內存,進行紅外圖像校正與增強處理,并根據(jù)當前溫度變化判斷是否需要重新計算當前減本底參數(shù)。若需要則采用單點標定法計算,并采用更新后的本底參數(shù)與當前圖像數(shù)據(jù)進行差值運算,降低溫漂對紅外熱成像圖像質量的影響,最后按照視頻電子標準協(xié)會(VESA)標準生成標準視頻輸出顯示。標定模式下采集不同工作溫度下黑體紅外輻射,采用兩點法計算非均勻校正參數(shù)和探測器盲元點,并保存到外部FLASH中,供校正模式下紅外熱成像校正使用。
圖6 圖像處理與顯示流程Fig.6 Flow chart of image processing and display
本文采用Nios軟核作為系統(tǒng)控制器,負責紅外成像處理流程和工作狀態(tài)控制,采用PIO通信機制與FPGA邏輯電路交互。FPGA負責校正系數(shù)計算,將計算好的參數(shù)數(shù)據(jù)通過DMA傳輸?shù)紻DR3,Nios通過配置不同的DMA描述字符將校正系數(shù)分配至不同地址,并存儲到外部FlASH中。系統(tǒng)上電初始化時,再通過Nios讀取外部FlASH中不同校正參數(shù)到DDR3相應內存地址,并通過PIO通信機制告知FPGA圖像處理邏輯電路,并按約定內存地址讀取相應系數(shù),實現(xiàn)片上非均勻校準(NUC)、兩點定標和減本底系數(shù)計算協(xié)同。
圖7 FPGA內部交互架構圖Fig.7 Internal interactions block diagram of FPGA
(1)
(2)
計算每個探測器像元的空間響應輸出xij校正后輸出yij:
(3)
yij=Gijxij+Oij,
(4)
兩點校正算法計算量小,適用于嵌入式系統(tǒng),可實現(xiàn)實時校正,對目標圖像無嚴格要求,但當溫度變化范圍較寬時,由于探測器響應并非嚴格線性,兩點校正系數(shù)Gij和Oij會依賴于所取的溫度T1和T2。本文針對此類情況,根據(jù)邊海防監(jiān)控所需工作環(huán)境溫度要求共選擇-20,10,30 ℃共3個溫度段內進行兩點校正參數(shù)計算。
(5)
(6)
式(5)中N為探測器面陣中探測元總的個數(shù)。把各校正因子一起存入外部FLASH,紅外成像時用采集到的探測器像元數(shù)據(jù)實時減去Kij,并可根據(jù)探測器焦溫變化決定是否重新計算本底校正因子。
為解決傳統(tǒng)直方圖均衡化后圖像灰度細節(jié)丟失、不能較好地適應場景變化等問題,本文在直方圖均衡化算法基礎上做出改進,設計實現(xiàn)自適應雙平臺直方圖均衡算法,增加了上下限平臺閾值,對占有大量像素的背景和噪聲進行適度抑制,起到保留圖像的灰度信息、保護弱小目標和細節(jié)的作用。
本文自適應雙平臺直方圖均衡化算法FPGA實現(xiàn)過程主要分3步,首先進行原圖直方圖統(tǒng)計,接著計算出上、下平臺閾值,最后根據(jù)上下平臺閾值,修正原來直方圖重新進行灰度映射。平臺閾值計算需要使用一片隨機存儲器(RAM)和兩個先進先出(FIFO)存儲資源完成,考慮到視頻處理的實時性,本文采用統(tǒng)計上一幀直方圖得到新的灰度級來實現(xiàn)下一幀畫面灰度映射的方法。其具體實現(xiàn)過程描述如下:
(1)實時統(tǒng)計當前幀的灰度直方圖并保存至雙口RAM1;
(2)在幀間隔時間內(當前幀結束與下一幀數(shù)據(jù)有效前),從地址0開始依次讀出RAM1中的直方圖單元值,將非零直方圖單元值寫入FIFO1中;
(3)RAM1中數(shù)據(jù)讀出完成后,從FIFO1中依次取出數(shù)據(jù)先做一維3鄰域均值濾波并求出一維3鄰域極大值放入FIFO2中,將所有極大值相加并求均值,這個均值則為上平臺限閾值THigh。
(4)將直方圖單元值全部累加起來,除以原灰度級數(shù)(16 384)即得到下平臺閾值Tlow,每修正一次直方圖累加和F(M)發(fā)生改變,下限平臺閾值Tlow也隨之更新。
(5)再次從地址0開始讀出RAM1中的所有數(shù)據(jù),根據(jù)上、下平臺閾值更新原直方圖單元值,超過上平臺閾值的直方圖單元用上平臺閾值替換,低于下平臺閾值的直方圖單元用下平臺閾值替換,其他保持不變,最終得到新的直方圖。
(6)更新直方圖單元值的同時,根據(jù)灰度映射公式,計算出原灰度級對應的新灰度值,將新的灰度值保存至RAM2。
考慮到FPGA中實現(xiàn)浮點運算較為復雜,本文求取灰度值不直接計算其累積概率函數(shù),而是將最終灰度映射運算一起考慮,先進行整數(shù)乘法運算,再做整數(shù)除法運算,自適應雙平臺直方圖均衡化算法的FPGA實現(xiàn)流程,如圖8所示。
連續(xù)變焦紅外成像系統(tǒng)需要實現(xiàn)不同光學視場下清晰成像,需要支持光學鏡頭變焦和調焦、光學和機械補償?shù)裙δ躘16-19]。本文紅外圖像自動聚焦設計包含變焦控制電路模塊和FPGA圖像清晰度計算模塊,變焦控制電路模塊通過控制連續(xù)變焦光學鏡頭變焦和調焦電機位置運動實現(xiàn)鏡頭視場變倍和光學調焦,F(xiàn)PGA圖像清晰度計算模塊通過FPGA計算每幀圖像窗口區(qū)域內的所有像素的清晰度值,并將計算結果按照圖像幀頻的速率發(fā)送給變焦控制電路模塊。變焦控制電路模塊每接收到一幀圖像的清晰度值,首先匹配一下當前調焦電機的位置值,然后執(zhí)行一次爬坡比較算法,接收連續(xù)5幀的圖像清晰度數(shù)值,進行爬坡各過程的趨勢比較,并最終確定最佳清晰點位置,實現(xiàn)紅外圖像自動聚焦功能,自動調焦主要步驟如下:
(1)比較連續(xù)5幀頻圖像清晰度數(shù)據(jù)(AF_DATA[0]~AF_DATA[4])的排列趨勢,如果連續(xù)變小,則表示處于下坡趨勢,控制電機反向運動;若連續(xù)變大,則表示處于上坡趨勢。清除當前狀態(tài)圖像清晰度數(shù)據(jù),跳轉到步驟(2)繼續(xù)比較。
(2)重新保存連續(xù)5組(幀頻)的圖像清晰度數(shù)據(jù)(AF_DATA[0]~AF_DATA[4]),比較連續(xù)5幀頻圖像清晰數(shù)據(jù)的排列趨勢,若連續(xù)變小,則判斷已越過波峰頂點,開始下坡運動,此時連續(xù)清晰度數(shù)據(jù)中最后的數(shù)據(jù)AF_DATA[4],即為坡峰的頂點位置;為了提高自動聚焦正確率,調轉運動方向,減慢運動速度,重新尋找坡峰頂點位置,跳轉到步驟(3)繼續(xù)比較。
(3)降低電機步進速度,提高尋位精度,再次重新保存有連續(xù)5組(幀頻)的圖像清晰數(shù)據(jù)(AF_DATA[0]~AF_DATA[4]),并比較連續(xù)5幀頻圖像清晰數(shù)據(jù)的排列趨勢,若再次連續(xù)變小,則表面此時再次越過了波峰頂點,并開始了下坡運動,則此時記錄的最大圖像清晰度數(shù)據(jù)即為再次找到的波峰頂點,所對應的鏡頭位置即為調焦的最佳位置,將此位置值賦值給目標位置,運動至此,則完成自動聚焦位置定位。
系統(tǒng)實驗環(huán)境如圖9所示,采用法國HGH準直儀系統(tǒng),通過準直儀中控工作站(采集、控制和處理系統(tǒng))控制DCN1000H3差溫黑體溫度,達到不同的光照度。將被照射的靶標放置在靶輪上平行光管的焦點上,透過靶標的光能量經(jīng)過反射鏡反射后,模擬無窮遠處的目標,連續(xù)變焦紅外相機放置在平行光管前方,將接收到紅外輻照轉變?yōu)榧t外圖像信號,通過Cameralink接口傳輸給中控工作站Cameralink采集卡后生成圖像,經(jīng)工作站中Infratest-LT軟件分析計算測試連續(xù)變焦紅外相機NETD和MRTD指標。
(a)連續(xù)變焦紅外相機(a)Continuous zoom infrared camera
針對上述實驗條件所得實驗結果如表2所示。
表2 紅外相機實驗結果
本文設計了一種基于國產(chǎn)GST817VM1E探測器的高分辨率紅外成像系統(tǒng),采用SOPC單芯片同步實現(xiàn)非均勻性校正和圖像增強,利用NiosⅡ軟核作為圖像處理控制器有效實現(xiàn)了對紅外圖像的片上非均勻性校正(NUC)、兩點校正和減本底處理,改進自動聚焦算法,設計自適應雙平臺直方圖均衡化算法,有效增強了紅外圖像對比度,細節(jié)更加清晰同時背景得到了較好的抑制。系統(tǒng)支持輸出PAL、Cameralink、DVI等多種格式分辨率的紅外視頻圖像。實驗結果表明,采用該技術后可輸出14位灰度級的800×600分辨率紅外圖像,幀率可達到60 frame/s,具備連續(xù)變焦和自動調焦控制功能,能夠滿足邊海防監(jiān)控等領域應用需求。