夏皓天，錢蕓生，王逸倫，郎怡政

（南京理工大學 電子工程與光電技術學院，江蘇 南京 210094）

引言

夜視技術是指在低照度環(huán)境下，對微弱的光學信息進行光電轉換、增強處理，從而變?yōu)槟芤子诒蝗搜塾^察的技術，目前廣泛應用在軍事夜間偵查和戰(zhàn)斗中，是軍用夜視裝備的重要支撐[1]。目前以電荷耦合器件(charge coupled device，CCD)和互補金屬氧化物半導體器件 (complementary metal oxide semiconductor，CMOS)為基礎的電子倍增CCD(electron multiplying CCD，EMCCD)、像 增 強 式CCD/CMOS(image-intensified CCD/CMOS，ICCD/ICMOS)和電子轟擊式CCD/CMOS (electron bombardment CCD/CMOS)成為微光器件的發(fā)展方向。

EMCCD 噪聲大，需要制冷器來減小噪聲產生的影響[2]。ICCD/ICMOS 是目前發(fā)展最迅速最廣泛的微光器件，其有暗電流低、增益高的優(yōu)點[3]，但是需要將CCD/CMOS 與像增強器進行耦合，并且有調制傳遞函數(shù)低、噪聲大的缺點[4]。電子轟擊式有源像素傳感器(electron bombardment active pixel sensor，EBAPS)也可稱為EBCMOS，具有高增益、低功耗、可數(shù)字化顯示等優(yōu)點，同時又具備結構簡單、體積小等特點[5]。其工作原理為外界光源照射在探測器表面，光子通過入射窗到達光電陰極發(fā)生外光電效應，將光學信號圖像轉換成電子信號圖像；電子在電場的加速下獲得能量，在CMOS 的電子倍增層產生大量的二次電子，由此獲得電子轟擊半導體增益，倍增后的二次電子被光電二極管收集，并通過MOS 晶體管放大電路后以視頻格式讀出，供后端進行數(shù)字化處理[6-7]。EBAPS 在轟擊過程中會產生大量的增益噪聲，這是由于電荷擴散和輻射損失引起的，其表現(xiàn)形式為類似于散粒噪聲的點狀或者多個相鄰像素聚集的過飽和的像素點[8]，除此之外，閃爍脈沖噪聲也是低照度圖像的主要噪聲之一，信號在傳輸過程中由于某些原因使得光敏區(qū)某處電子數(shù)量突變，產生異于常態(tài)的光電效應，呈現(xiàn)出兩極分化的幅值分布，嚴重影響了人眼的觀察[9-10]。

散粒噪聲又稱泊松噪聲，符合泊松分布，目前對于去除泊松噪聲的研究主要有兩個思路：一是利用去除高斯噪聲的方式去除泊松噪聲；二是對泊松噪聲進行方差穩(wěn)定變換為高斯噪聲再進行噪聲的去除[11]，主要變換方式有Anscombe 變換[12]和HaarFise 變換[13]。對于受到泊松噪聲污染的圖像，許玉婷、吳志芳[14]等人提出了利用Anscombe 變換與剪切波結合的方法；王光新[15]等人用最大后驗估計的方法去除泊松噪聲。

脈沖噪聲最大的特點是使某一像素點變?yōu)榛叶戎禐闃O大或者極小值的噪聲點，此點的灰度值是孤立存在的，與鄰域灰度值無關[16]。對于脈沖噪聲最經典的濾除辦法就是中值濾波[17]，左振鵬[18]和王麗紅[19]等人對中值濾波算法進行了改進，提出了自適應中值濾波方法來降低圖像噪聲。而對于EBAPS 圖像包含的二者相結合的混合噪聲，單一的高斯濾波和中值濾波處理難以使圖像質量達到最佳的效果。LIU[20]、XU[21]和JUNG[22]等人對三邊濾波器進行了改進，用于對高斯噪聲和脈沖噪聲的混合噪聲去除。丁繼生[23]等人提出了開關中值濾波的算法，但在噪聲較大時該算法有效性大大降低。陳偉和黨榕[24]提出了一種修正的阿爾法均值濾波與邊緣增強算法結合的方法，但與原圖結構相似程度不高。涂友鋼[25]提出了一種中值代替雙邊濾波的方法處理低照度圖像中的混合噪聲，但保留邊緣細節(jié)能力較差。

為了解決上述問題，本文提出了基于可編程邏輯門陣列(field programmable gate array，F(xiàn)PGA)的開關融合中值-高斯(open and close mix-median-Gaussian，OCMMG)濾波算法。該算法將脈沖噪聲檢測與中值濾波相結合用于解決混合噪聲中的脈沖噪聲，邊緣檢測與高斯濾波相結合用于解決混合噪聲中的泊松噪聲，該算法還加入了脈沖噪聲判別權重和邊緣置信度表征值2 個參數(shù)增加圖像保護邊緣的能力?；贔PGA 對1×10?3lx 照度條件下EBAPS采集的圖像進行實時處理，以驗證算法的有效性。

1 OCMMG 濾波算法原理

OCMMG 濾波算法是一種基于中值濾波和高斯濾波的融合濾波方法，首先采用最小四方向差值進行脈沖噪聲檢測，進行第1 步濾波處理；然后采用四方向邊緣檢測提取邊緣進行第2 步濾波處理，得到最后的濾波圖像。

1.1 最小四方向差值

在一幅含有噪聲的圖像中存在梯度突變的邊緣或角點不會出現(xiàn)非連續(xù)性的小異常窗口，根據(jù)梯度突變異常情況來判別高頻脈沖噪聲對整體圖像的影響，本文采用最小四方向差值判別脈沖噪聲。

式中： Γi為 方向檢測模板； ? 是以f(i,j)為中心的鄰域 像 素 集 合；f(u,v)是 ? 內 像 素 (u,v)處 的 灰 度 值；D(x,y)min是四方向鄰域差值中的最小值； min{}為集合中的最小值。(3)式為傳統(tǒng)中值濾波公式，將傳統(tǒng)的中值濾波公式引入脈沖噪聲判別權重ρ，(4)式為改進的濾波公式，也為本文第1 步濾波算法處理。

式中：f(x,y)為 當前像素灰度值；T1為脈沖噪聲判別閾值；h為常數(shù)，此處令h=10； med()為像素集合的中值；g(x,y)為濾波處理之后中心像素灰度值。當D(x,y)min遠大于T1時，則認為該像素點為脈沖噪聲的可能性高，此時的 ρ值趨近于1，當前像素點會更大程度地進行中值濾波；反之，則會保持原來像素點的值不變。

1.2 四方向邊緣檢測

本文基于傳統(tǒng)的Sobel[26]算子，提出了四方向Sobel 算子進行邊緣提取，增加了45 °和135 °的梯度方向，彌補了傳統(tǒng)Sobel 算子對于斜角方向邊緣及角點檢測的不足，并根據(jù)窗口邊緣、紋理情況設立邊緣置信度指標表征中心像素為細節(jié)紋理的區(qū)域。四方向離散型的Sobel 掩模如(6)式所示，(7)式為梯度G的計算公式。式中：R是 以 (p,q)為中心鄰域范圍像素點的集合；(p,q)是鄰域像素點位置。(8)式為傳統(tǒng)的高斯濾波公式，(9)式變換為離散的高斯濾波公式，在(9)式的基礎上引入邊緣檢測判別權重τ，作用與(5)式同理，最終濾波結果為(10)式。

式中：F(x,y) 為 最終濾波后的像素灰度值；w為高斯濾波權重；k為常數(shù)，此處令k=10； θ為邊緣置信度表征值。OCMMG 濾波算法適用于處理脈沖噪聲與泊松噪聲混合污染的圖像。

2 基于FPGA 算法硬件實現(xiàn)

整體硬件設計如圖1 所示。整個系統(tǒng)以FPGA為核心，包括驅動模塊、算法模塊、緩存模塊和顯示模塊。

圖1 系統(tǒng)總體框架設計Fig. 1 Design diagram of overall framework for system

2.1 總體邏輯設計

本文中有效像素陣列為1 280×1 024，系統(tǒng)工作時鐘50 MHz，EBAPS 驅動時鐘40 MHz。在整個系統(tǒng)工作過程中，EBAPS 進行圖像采集，采集到的信號為模擬信號，經過AD 模數(shù)轉換器將模擬信號轉換為數(shù)字信號，圖像數(shù)據(jù)信號被FPGA 接收，將數(shù)據(jù)進行本文的圖像算法處理，通過VIO 模塊實時調節(jié)閾值參數(shù)，利用AXI4 總線協(xié)議，將算法處理后的圖像儲存到DDR3[27]中，最后進行編碼輸出，在顯示器上顯示。系統(tǒng)運用了模塊化的思想，模塊中的流水線操作節(jié)約了資源，還增加了數(shù)據(jù)的吞吐量，提高了系統(tǒng)運行速度，達到實時性處理的目的。本文將重點講述算法處理模塊的設計，算法模塊具體流程如圖2 所示。

圖2 算法模塊流程圖Fig. 2 Flow chart of algorithm module

2.2 3×3 模板生成模塊硬件設計

在FPGA 中，圖像的數(shù)據(jù)信息是以數(shù)據(jù)流的形式傳輸，一個時鐘周期只能發(fā)送一個數(shù)據(jù)。本文圖像的分辨率是1 280×1 024 @ 30 幀/s，采用寄存器數(shù)組移位來生成3×3 模板，該寄存器位寬為8 bit，容量是20 504 bit，能夠存下2 563 個數(shù)據(jù)，在數(shù)據(jù)有效信號為高電平時，數(shù)據(jù)進入寄存器，并隨著時鐘進行移位，取寄存器中第1 個、第2 個、第3 個、第1 281 個、第1 282 個、第1 283 個、第2 561 個、第2 562 個和第2 563 個數(shù)據(jù)組成3×3 模板。具體流程如圖3 所示。

圖3 3×3 模板生成圖Fig. 3 Diagram of 3×3 template generation

在數(shù)據(jù)傳輸過程中，取移位寄存器固定位置的數(shù)據(jù)，完成3×3 模板的生成與滑動。設經過移位寄存器固定位置的數(shù)據(jù)分別為a11、a12、a13、a21、a22、a23、a31、a32 和a33，如圖4 所示。

圖4 3×3 矩陣映射圖Fig. 4 Diagram of 3×3 matrix mapping

2.3 最小四方向差值模塊

采用最小四方向差值的方法對脈沖噪聲進行檢測。將3×3 模板里的數(shù)據(jù)與最小四方向差值掩模進行卷積，為了使計算結果始終保持正數(shù)，需要將進行減法的兩端數(shù)據(jù)用大減小，輸出正的4 個方向的差值，之后再兩兩進行比較，最后輸出最小四方向差值，具體流程圖如圖5 所示。

圖5 最小四方向差值流程圖Fig. 5 Flow chart of minimum four-direction differences

方向1、方向2、方向3、方向4 是4 個方向的差值，其最小值為最小四方向差值。從3×3 窗口到計算出最小四方向差值共消耗了4 個時鐘周期。

2.4 快速中值濾波算法模塊

快速中值濾波模塊流程圖如圖6 所示。

圖6 快速中值濾波模塊流程圖Fig. 6 Flow chart of fast median filter module

快速中值濾波排序詳細說明：

1） 列數(shù)據(jù)排序為將每一列中的3 個數(shù)據(jù)兩兩進行比較，劃分出每一列中的最大值data_max、中間值data_med、最小值data_min。

2） 排序1 為將3 個最大值數(shù)據(jù)兩兩進行比較，劃分出最大值中的最小值data_max_min；排序2 為將3 個中間值數(shù)據(jù)兩兩進行比較，劃分出中間值中的中間值data_med_med；排序3 為將3 個最小值數(shù)據(jù)兩兩進行比較，劃分出最小值中的最大值data_min_max；

3） 排序4 為將data_max_min、data_med_med、data_min_max 3 個數(shù)據(jù)兩兩進行比較，劃分出中間值data_median，此為3×3 窗口的中值數(shù)據(jù)。

排序完成后，用自帶的仿真工具仿真，發(fā)現(xiàn)數(shù)據(jù)從輸入到選出中值數(shù)據(jù)輸出共耗時5 個時鐘周期，因此對同步信號延時5 個周期使數(shù)據(jù)與數(shù)據(jù)對齊。

2.5 邊緣檢測模塊

邊緣檢測模塊流程圖如圖7 所示。

圖7 邊緣檢測模塊流程圖Fig. 7 Flow chart of edge detection module

在計算G1、G2、G3、G4時，需要加入判斷，檢測減數(shù)和被減數(shù)之間的大小關系，保證G1、G2、G3、G4結果為正整數(shù)。梯度求和結果G2的計算公式為

為了節(jié)約資源減少計算量，用梯度平方G2代替梯度的值。邊緣檢測模塊從輸入數(shù)據(jù)到判定是否為邊緣點共消耗了4 個時鐘周期。

2.6 高斯濾波模塊

用3×3 矩陣[1，2，1；2，4，2；1，2，1]代表離散形式的高斯濾波模型，此濾波模板為一種低通濾波器，與其他濾波器模板相比（如均值濾波），本文濾波模板既加強了中心像素的權重，具有一定的圖像平滑作用，又避免了過度平滑，并且在計算中避免了浮點數(shù)的出現(xiàn)，高斯濾波模板如圖8 所示。

圖8 高斯濾波模板Fig. 8 Diagram of gaussian filter template

將卷積后得到的二進制結果進行歸一化處理，右移4 位作為最終的高斯濾波結果。在高斯濾波模塊中，從輸入數(shù)據(jù)到輸出數(shù)據(jù)共消耗2 個時鐘，因此需要將高斯濾波模塊的輸出數(shù)據(jù)再延遲2 個時鐘，同步信號延遲4 個時鐘，與邊緣檢測模塊的數(shù)據(jù)對齊。

3 仿真與實驗

本文對測試圖片進行仿真，并設置了多種客觀評價指標對仿真結果進行分析；此外，基于FPGA實現(xiàn)了實時去噪算法，并對實驗結果進行對比。

3.1 仿真實驗對比分析

本文以512×512 像素分辨率的Lena、Goldhill、Pepper 作為測試圖片來驗證實驗結果，經過反復大量仿真實驗，驗證了本文算法的可行性。根據(jù)EBAPS探測器的成像特點，隨著照度的降低，所采集圖像灰度值的分布逐漸降低，灰度范圍逐漸變小，并且存在以泊松和脈沖噪聲為主要噪聲的混合噪聲。本文在3 張測試圖片的基礎上降低其對比度和灰度值，并添加一定程度的混合噪聲來模擬不同低照度下的成像效果。通過人眼主觀觀察，將經過上述處理過的圖片添加泊松噪聲和2%的脈沖噪聲較為合適，圖9 為仿真測試圖，其中圖9(a)為原始圖像，圖9(b)為模擬偏暗環(huán)境光照度下的測試圖，圖9(c)為模擬中等暗環(huán)境光照度下的測試圖，圖9(d)為模擬暗環(huán)境光照度下的測試圖。

圖9 仿真測試圖Fig. 9 Diagram of simulation test

對不同照度的測試圖片分別進行了中值濾波、高斯濾波、文獻[24]、文獻[25]的算法和本文算法進行處理，得到處理后的結果圖和客觀評價指標。用客觀評價指標對去噪后的圖片進行評價，客觀評價指標有峰值信噪比(PSNR)[28]、結構相似性(SSIM)[29]，利用邊緣保持指數(shù)(EPI)[30]評價邊緣保留程度。圖10～圖12 分別是去噪后的結果對比圖。表1～表3 分別是去噪后的評價結果。

圖10 照度1 的去噪結果對比圖Fig. 10 Comparison diagram of denoising results of illuminance 1

由表1～表3 所示，本文算法的3 種客觀評價指標均優(yōu)于與其對比的4 種算法，具有更好的去噪能力和保護邊緣的能力，該算法相比于中值濾波和高斯濾波算法，峰值信噪比分別提高了3.23%和16.34%，結構相似性分別提高了14.66%和33.86%，邊緣保持指數(shù)分別提高了0.49%和4.21%。與文獻[24]與文獻[25]相比，本文算法在峰值信噪比PSNR、結構相似性SSIM、邊緣保持指數(shù)EPI 均為最優(yōu)結果。由圖10～圖12 可知，文獻[24]中的算法濾波算法結果良好，去除了大部分的脈沖噪聲，但圖像仍有顆粒感；文獻[25]中的算法在照度越低的情況下，圖像中出現(xiàn)的黑點越多；本文算法的濾波效果圖更符合人眼觀察。

表1 照度1 的測試圖去噪后評價結果Table 1 Evaluation results of test map after denoising of illuminance 1

表3 照度3 的測試圖去噪后評價結果Table 3 Evaluation results of test map after denoising of illuminance 3

圖11 照度2 的去噪結果對比圖Fig. 11 Comparison diagram of denoising results of illuminance 2

圖12 照度3 的去噪結果對比圖Fig. 12 Comparison diagram of denoising results of illuminance 3

表2 照度2 的測試圖去噪后評價結果Table 2 Evaluation results of test map after denoising of illuminance 2

3.2 FPGA 硬件實驗與結果

本文采用自主研制的EBAPS 圖像傳感器，型號為UV1280，分辨率為1 280×1 024 像素，像素尺寸為12.5 μm，曝光方式為卷簾式曝光，光譜響應范圍為0.3 μm～0.97 μm，像素時鐘要求小于80 MHz，本文采用40 MHz，輸出為差分模擬信號，需要經過AD芯片轉換成數(shù)字信號進行輸出。本文采用的AD芯片為TI 公司ADC14C080，是一款具有模擬差分信號輸入、14 bit 數(shù)字輸出的高性能低功耗的模數(shù)轉換芯片，轉換速率高達80MSPS。FPGA 型號為XC7A100TI-CSG324，速度等級為-1L。圖13 為硬件設備及其內部結構圖，包括鏡頭、EBAPS 圖像傳感器、EBAPS 轉接底座、AD 電路板、FPGA 核心板、HDMI 顯示板、JTAG 轉接板和外部結構。在EBAPS 側片加入高壓環(huán)，用自主研制的高壓電源給EBAPS 加負高壓以實現(xiàn)電子加速，用KLL-04型寬量程微弱光照度計實時測量環(huán)境光照度，圖14為高壓電源與照度計圖。

圖13 硬件設備及其內部結構圖Fig. 13 Hardware device and its internal structure diagram

圖14 高壓電源與照度計Fig. 14 High-voltage power supply and illuminometer

本次實驗分別在1×10?1lx、1×10?2lx、1×10?3lx環(huán)境光照度的條件下進行圖像采集，采用固定光圈，固定負電壓2 000 V，將采集到的未經處理的圖像和經過本文濾波算法實時處理的圖像進行對比。

需要注意的是采集到的圖像會出現(xiàn)條帶狀噪聲及黑色點狀污漬，此為EBAPS 工藝所導致，不在本文考慮范圍之內，故可以忽略。圖15～圖16 為室內靜態(tài)環(huán)境結果對比圖，圖17 為夜晚外部環(huán)境實驗結果對比圖。

圖15 靜態(tài)靶標實驗結果對比圖Fig. 15 Comparison of experimental results of static targets

圖16 靜態(tài)SF 實驗結果對比圖Fig. 16 Comparison of experimental results of static SF graphics

圖17 夜晚外部環(huán)境實驗結果對比圖Fig. 17 Comparison of experimental results of external environment at night

在采集真實圖像時，本文采用同一靜態(tài)場景的多幀疊加求均值的方式濾除隨機噪聲并作為理想?yún)⒖紙D像，分別計算仿真軟件與FPGA 經過本文濾波算法后的PSNR、SSIM 和EPI。如表4 所示，從表中可以看出FPGA 硬件實現(xiàn)的客觀評價指標與仿真效果相差不大，可以認為二者處理結果相符。

表4 仿真軟件與FPGA 算法客觀評價一致性檢驗Table 4 Consistency test of objective evaluation of simulation software and FPGA algorithm

除此之外，本文加入了3 種照度下存在運動目標的圖像進行對比分析，通過上位機進行視頻圖像的采集，截取視頻圖像中的某一幀進行實驗結果對比，圖18 為運動目標實驗結果對比圖。

由圖15～圖18 可以看出，在環(huán)境光照度越低的情況下，圖像的對比度和灰度均降低，在1×10?3lx 照度條件下，圖像邊緣明顯，此時設置的邊緣置信值較大，當環(huán)境光照度降低時，需要適當調小邊緣置信值來增大邊緣識別度，在該算法的細節(jié)展示上能夠看出，噪聲被去除的同時邊緣并未存在明顯的模糊現(xiàn)象，在處理靜態(tài)和動態(tài)、室內和室外的場景都具有良好的去噪效果。

圖18 運動目標實驗結果對比圖Fig. 18 Comparison of experimental results of moving targets

在圖像處理速度方面，針對分辨率為1 280×1 024 像素的圖像進行處理時，由圖19 可以看出，仿真軟件處理一幀圖像的時間為46.637 s，根據(jù)圖20所示的仿真波形可以看出，F(xiàn)PGA 處理一幀圖像所需時間大約為33.28 ms，約是仿真軟件處理速度的1 401 倍，遠快于仿真軟件的處理速度，能夠達到實時性處理的要求。

圖19 仿真軟件圖像處理運行時間Fig. 19 Image processing running time of simulation software

圖20 FPGA 圖像處理運行時間Fig. 20 Image processing running time of FPGA

4 結論

為了去除包括泊松噪聲和脈沖噪聲的混合噪聲，本文提出了一種基于FPGA 實現(xiàn)的用于低照度條件下EBAPS 圖像的實時OCMMG 濾波算法。其主要解決思路為：針對像素異常點的突變，根據(jù)設置的判定閾值，采樣最小四方向差值提取可疑像素點，進行第1 步濾波處理；根據(jù)設置的邊緣置信度表征值，采用四方向Sobel 算子提取邊緣，進行第2 步濾波處理。仿真結果表明，無論是主觀評價和客觀評價指標，本文算法均為最優(yōu)結果，具有一定的優(yōu)越性。硬件實現(xiàn)結果顯示，本文算法能夠有效去除EBAPS 圖像在1×10?3lx 條件下的混合噪聲，同時又能保留邊緣信息，并且滿足圖像處理實時性的要求，可以作為低照度環(huán)境中提高圖像質量的有效濾波方法。需要注意的是，文中設置的脈沖噪聲判別閾值和邊緣置信度表征值都為固定值，隨著環(huán)境光照度變化，噪聲大小也會發(fā)生變化，固定值會對圖像處理造成一定影響。所以，在閾值的選取方面仍需開展進一步研究。