鄭慶偉 蔣 超 汪名揚(yáng) 鐘子全 吳俊卿

北京控制與電子技術(shù)研究所信息系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室，北京100038

1 概述

在星載紅外探測(cè)的遠(yuǎn)距離紅外成像的應(yīng)用場(chǎng)合，目標(biāo)往往比較微弱，清晰度、分辨率和對(duì)比度均低，伴隨有較強(qiáng)的隨機(jī)干擾和系統(tǒng)噪聲，背景比較復(fù)雜。通常需要使用圖像銳化等圖像增強(qiáng)技術(shù)抑制圖像的背景噪聲、增強(qiáng)圖像紋理和邊界細(xì)節(jié)，提升圖像的某些重要信息特征。圖像銳化等圖像增強(qiáng)技術(shù)能夠?qū)⒈惶幚淼膱D像轉(zhuǎn)化為對(duì)具體應(yīng)用來(lái)說(shuō)質(zhì)量和效果更適合的圖像。圖像銳化處理技術(shù)在軍事系統(tǒng)制導(dǎo)、工業(yè)檢測(cè)、醫(yī)學(xué)成像和日常生活等各個(gè)方面都有非常廣泛的應(yīng)用。

一個(gè)典型的紅外圖像處理系統(tǒng)如圖1所示，其中輸入、輸出圖像如圖2所示。圖像銳化是一種針對(duì)圖像某些特征的定向增強(qiáng)操作，操作的結(jié)果不會(huì)增加圖像原始信息，有時(shí)甚至?xí)p失一部分信息。圖像銳化的結(jié)果能夠加強(qiáng)目標(biāo)特征且削弱其它特征，從而使得針對(duì)目標(biāo)特征的監(jiān)測(cè)和識(shí)別變得容易。

圖1 典型的紅外圖像處理系統(tǒng)

圖2 圖像銳化的輸入和輸出:左圖為原始圖像，右圖為銳化結(jié)果

在某些應(yīng)用場(chǎng)合，實(shí)時(shí)性是系統(tǒng)必須確保的重要指標(biāo)，對(duì)于圖像銳化操作而言:在算法設(shè)計(jì)上必須簡(jiǎn)單、效果明顯;在硬件設(shè)計(jì)上必須實(shí)時(shí)、低延遲、高精度和可配置。

2 圖像銳化算法

2.1 經(jīng)典圖像銳化算法

在圖像銳化領(lǐng)域，按照操作對(duì)象的不同，圖像銳化算法可以分為2大類:1)基于像素操作的空間域算法;2)和基于頻譜操作的頻域算法?？臻g域算法例如灰度修正和變換、直方圖均衡和規(guī)格化、梯度銳化、拉普拉斯算子、模板濾波。空間域算法的操作比較直觀，對(duì)于紅外圖像系統(tǒng)而言，可以直接針對(duì)成像結(jié)果逐像素操作。頻域算法如低通濾波、高通濾波、同態(tài)濾波，需首先進(jìn)行空間域到頻域的變換，然后構(gòu)建濾波器進(jìn)行頻域?yàn)V波，最后再進(jìn)行頻域到空間域的反變換。頻域運(yùn)算比較適合于某些圖像尺寸較大(例如4096×4096)、操作較復(fù)雜的圖像增強(qiáng)操作。在圖像尺寸不成為性能瓶頸的情況下，相對(duì)于頻域運(yùn)算，空間域往往可以使用較小的濾波器來(lái)取得與頻率域使用較大的濾波器近似的濾波效果，且所需的硬件資源少、延遲小、實(shí)時(shí)性高，因此空間域處理技術(shù)在具體實(shí)現(xiàn)和硬件設(shè)計(jì)上具有優(yōu)勢(shì)。

經(jīng)典的圖像銳化處理技術(shù)主要在空間域展開，操作對(duì)象是圖像的像素，操作方式包括直方圖均衡、側(cè)抑制濾波、線性濾波和非線性濾波等。

2.1.1 直方圖均衡算法

直方圖均衡算法使圖像充分利用各個(gè)灰度等級(jí)，擴(kuò)展動(dòng)態(tài)范圍，在視覺(jué)效果上增強(qiáng)圖像的亮度反差。直方圖均衡算法對(duì)于近距離、信息簡(jiǎn)單的紅外圖像非常有效，圖像的對(duì)比度大大增強(qiáng)，目標(biāo)細(xì)節(jié)得到了突出。

直方圖均衡后的圖像視覺(jué)效果往往生硬、不夠柔和。均衡后的圖像噪聲比均衡前更加明顯。由于紅外成像系統(tǒng)背景噪聲的不可預(yù)知性，采用直方圖均衡算法的增強(qiáng)效果難以控制，在原圖像中噪聲較多的極端情況下，會(huì)導(dǎo)致圖像低頻部分的細(xì)節(jié)丟失和高頻部分的噪聲增強(qiáng)。

2.1.2 側(cè)抑制濾波算法

側(cè)抑制濾波算法是基于生物視覺(jué)特性的圖像增強(qiáng)方法，構(gòu)建適合的側(cè)抑制網(wǎng)絡(luò)來(lái)突出圖像的邊框以增強(qiáng)反差。側(cè)抑制濾波的關(guān)鍵在于根據(jù)具體應(yīng)用搭建側(cè)抑制網(wǎng)絡(luò)，常用的側(cè)抑制網(wǎng)絡(luò)例如減法、循環(huán)、線性的Hartline模型和Taylor模型，分流、循環(huán)、非線性的Furman模型。

側(cè)抑制濾波具有突出邊框、增強(qiáng)反差、補(bǔ)償缺陷的作用，在圖像處理中得到了廣泛的發(fā)展。側(cè)抑制濾波特別適用于目標(biāo)信息和特征比較顯著的圖像。對(duì)于遠(yuǎn)距離成像的紅外系統(tǒng)而言，由于微弱目標(biāo)往往沉浸在復(fù)雜背景下，側(cè)抑制運(yùn)算會(huì)導(dǎo)致目標(biāo)對(duì)比度的進(jìn)一步惡化。側(cè)抑制濾波算法的實(shí)現(xiàn)復(fù)雜，不利于實(shí)時(shí)系統(tǒng)的設(shè)計(jì)，實(shí)際應(yīng)用往往需要對(duì)算法進(jìn)行適應(yīng)性簡(jiǎn)化。

2.2 基于統(tǒng)計(jì)特性的圖像門限增強(qiáng)算法

本文所述的圖像銳化算法是在空間域進(jìn)行的，算法流程圖如圖3所示。

圖3 本文所述的算法流程圖

其中:1)直方圖統(tǒng)計(jì):統(tǒng)計(jì)圖像的灰度概率分布，得到后續(xù)運(yùn)算的依據(jù);2)門限高通濾波:根據(jù)目標(biāo)特征進(jìn)行定向增強(qiáng)和抑制;3)門限直方圖均衡:增強(qiáng)圖像動(dòng)態(tài)范圍，強(qiáng)化圖像的視覺(jué)效果。

2.2.1 直方圖統(tǒng)計(jì)

直方圖是像素灰度的分布函數(shù)，實(shí)質(zhì)上體現(xiàn)了圖像灰度的概率分布。直方圖統(tǒng)計(jì)對(duì)圖像各個(gè)灰度的像素進(jìn)行計(jì)數(shù)，得到一張灰度分布表，如圖4所示。C程序描述的直方圖統(tǒng)計(jì)運(yùn)算過(guò)程如圖5所示。根據(jù)直方圖統(tǒng)計(jì)信息，可以進(jìn)行諸如灰度拉伸、自動(dòng)對(duì)比度調(diào)整、動(dòng)態(tài)均衡等操作。

圖4 可見(jiàn)光圖像(Lena左)及其直方圖(右)

圖5 C語(yǔ)言描述的直方圖統(tǒng)計(jì)運(yùn)算過(guò)程

從圖6所示紅外圖像的直方圖可見(jiàn)，紅外圖像的直方圖具有不同于可見(jiàn)光圖像直方圖的特點(diǎn):1)灰度值動(dòng)態(tài)范圍窄，如直方圖示右側(cè)某些灰度等級(jí)象素?cái)?shù)為0;2)分布集中;3)雙峰明顯。經(jīng)大量實(shí)踐分析研究證明，雙峰的主峰，即象素?cái)?shù)目較多的部分(如圖6直方圖的右側(cè)峰)，一般為圖像的主體信息;雙峰的次峰(如圖6直方圖的左側(cè)峰)，一般為圖像的噪聲或者隨機(jī)干擾信息。

基于以上特點(diǎn)，在進(jìn)行紅外圖像銳化處理時(shí)，需對(duì)圖像不同信息部分分別處理:對(duì)目標(biāo)特征進(jìn)行增強(qiáng);對(duì)背景噪聲進(jìn)行削弱。針對(duì)以上需求，設(shè)計(jì)了門限高通濾波和門限直方圖均衡。

圖6 紅外圖像(左)及其直方圖(右)

2.2.2 門限高通濾波

如圖7所示，為一個(gè)典型的高通濾波模板。如圖8所示，給出一幅圖像的一部分，其中si代表像素的灰度值。一個(gè)3×3的模板如圖8所示，模板內(nèi)的標(biāo)注為模板系數(shù)。如將k0所在位置和s0的位置相重合，即把模板的中心放在圖中(x，y)的位置，則模板的輸出響應(yīng)R為:

圖7 一個(gè)典型的高通濾波模板

圖8 空間域的高通濾波運(yùn)算

圖9 原始圖像(左)及其高通濾波結(jié)果(右)

在實(shí)際圖像系統(tǒng)中發(fā)現(xiàn)，存在某個(gè)特征數(shù)值的門限灰度，使得進(jìn)行如下操作時(shí)，具有質(zhì)量較好的圖像銳化處理效果:1)當(dāng)原圖像素灰度不大于門限灰度時(shí)不進(jìn)行高通濾波;2)當(dāng)原圖像素灰度大于門限灰度時(shí)進(jìn)行高通濾波。

該特征數(shù)值與圖像灰度分布相關(guān)，通過(guò)對(duì)直方圖統(tǒng)計(jì)結(jié)果進(jìn)行分析可以得到針對(duì)性和適用性強(qiáng)的特征灰度。為降低實(shí)時(shí)運(yùn)算的復(fù)雜度，可以通過(guò)預(yù)先估計(jì)和裝訂的方式，顯著地降低運(yùn)算量。如圖10所示，對(duì)原始圖像執(zhí)行門限高通濾波操作，可以看出其結(jié)果圖像的紋理得到了強(qiáng)化，對(duì)比度有所增強(qiáng)。

2.2.3 門限直方圖均衡

典型的直方圖均衡算法如式(2)所示。其中Y為均衡后的量化數(shù)值。如圖11所示，在經(jīng)過(guò)直方圖均衡之后圖像的動(dòng)態(tài)范圍反差明顯。

圖10 原始圖像(左)和門限高通濾波后(右)

圖11 原始圖像(左)和直方圖均衡后的圖像(右)

直方圖均衡算法對(duì)于背景和前景都太亮或者太暗的圖像非常有效，但是均衡對(duì)處理的數(shù)據(jù)不加選擇，在某些極端的情況下，可能會(huì)增加背景噪聲的對(duì)比度并且降低有用信號(hào)的對(duì)比度。例如，如果關(guān)注大背景下的點(diǎn)目標(biāo)，在整個(gè)圖像里面目標(biāo)只占據(jù)較少的像素，那么將會(huì)壓縮目標(biāo)的灰度空間。

在算法上考慮目標(biāo)灰度數(shù)目的門限參數(shù)，則以上步驟2)根據(jù)直方圖統(tǒng)計(jì)計(jì)算像素灰度的分布概率修改如下，如公式:

(1)如果某像素灰度的數(shù)目nk小于或者等于門限參數(shù)p，則使用nk計(jì)算概率;

(2)如果某像素灰度的數(shù)目nk大于門限參數(shù)p，則使用門限參數(shù)p計(jì)算分布概率。

參數(shù)p在本質(zhì)上反應(yīng)了原始圖像直方圖統(tǒng)計(jì)的局部極值特征，在工程上可以通過(guò)結(jié)果分析和反饋來(lái)搜尋合適的門限參數(shù)。

圖12所示，可見(jiàn)在經(jīng)過(guò)門限直方圖均衡之后圖像的主體目標(biāo)特征得到了增強(qiáng)，動(dòng)態(tài)范圍反差明顯，噪聲得到了控制。

圖12 原始圖像(左)和門限直方圖均衡后(右)

3 FPGA設(shè)計(jì)

圖像銳化處理系統(tǒng)采用FPGA+DSP(Xilinx FPGA Virtex-5 SX55+TI DSP 6416)的方式進(jìn)行實(shí)現(xiàn)，其中直方圖統(tǒng)計(jì)、門限高通濾波和門限直方圖均衡由FPGA執(zhí)行，門限參數(shù)的計(jì)算和裝訂由DSP執(zhí)行。FPGA的運(yùn)算模塊圖如圖13所示。

圖13 FPGA的運(yùn)算模塊結(jié)構(gòu)

3.1 直方圖統(tǒng)計(jì)

使用FPGA的內(nèi)部RAM搭建直方圖信息緩存器，配置為雙端口模式，通過(guò)數(shù)據(jù)前傳邏輯來(lái)避免讀寫沖突，如圖14所示。

圖14 FPGA直方圖統(tǒng)計(jì)運(yùn)算模塊

3.2 門限高通濾波

門限高通濾波的運(yùn)算模塊如圖15所示，所選擇的模板大小為11×11，主要采用FPGA內(nèi)部的雙口RAM和移位寄存器資源來(lái)實(shí)現(xiàn)。在行、列累加操作階段，采用16個(gè)雙口RAM保證了數(shù)據(jù)運(yùn)算通路不會(huì)出現(xiàn)反饋迭代。為保證實(shí)時(shí)信號(hào)處理能力，采用了多級(jí)流水線的實(shí)現(xiàn)方式。

圖15 FPGA高通濾波運(yùn)算模塊圖

3.3 門限直方圖均衡

門限直方圖均衡模塊如圖16所示。為優(yōu)化性能和可靠性，縮短研制周期，采用System Generator進(jìn)行運(yùn)算模塊的設(shè)計(jì)。

圖16 FPGA門限直方圖均衡運(yùn)算模塊

4 設(shè)計(jì)結(jié)果

使用ISE 14.7進(jìn)行編譯，V5-SX55T資源占用如表1所示，性能如表2所示。

表1 FPGA編譯結(jié)果

表2 FPGA性能

大量實(shí)際測(cè)試表明，該圖象銳化處理系統(tǒng)運(yùn)行良好、質(zhì)量可靠，F(xiàn)PGA實(shí)現(xiàn)方式相對(duì)于純DSP實(shí)現(xiàn)，大大提升了運(yùn)算速度，滿足了工程實(shí)時(shí)性的運(yùn)算要求，在算法實(shí)現(xiàn)中發(fā)揮著重要作用。

［1］ 董鴻燕，李吉成，沈振康，等.基于高通濾波和順序?yàn)V波的小目標(biāo)檢測(cè)［J］.系統(tǒng)工程與電子技術(shù)，2004，26(5):596-598.

［2］ 趙坤，孔祥維.小目標(biāo)紅外圖像背景噪聲的抑制及方法討論［J］.光學(xué)與光電子技術(shù)，2004，2(2):9-12.

［3］ 俞建成，孫勝利，陳桂林，等.紅外圖像中小目標(biāo)檢測(cè)研究［J］. 紅外，2006，27(4):15-19.

［4］ 張飛，李承芳.紅外背景抑制與弱小目標(biāo)的檢測(cè)算法［J］.光學(xué)技術(shù)，2004，30(3):337-339，342.

［5］ 曹聚亮，呂海寶，譚曉波.可保留圖像細(xì)節(jié)的直方圖修正法［J］.中國(guó)圖像圖形學(xué)報(bào)，2004:89.

［6］ 高彥平.圖像增強(qiáng)方法的研究與實(shí)現(xiàn)［D］.濟(jì)南:山東科技大學(xué)，2005.

［7］ 陳會(huì)羽.圖像對(duì)比度增強(qiáng)的小波變換法［J］.計(jì)算機(jī)工程與應(yīng)用，2006(25):66-68.

［8］ 吳穎謙，施鵬飛.基于小波變換的低對(duì)比度圖像增強(qiáng)［J］.紅外與激光工程，2003，32(1):47.

［9］ 容觀澳.計(jì)算機(jī)圖像處理［M］.北京:清華大學(xué)出版社，2000.

［10］ 阮秋琦.數(shù)字圖像處理學(xué)［M］.北京:電子工業(yè)出版社，2001.