李召龍,沈同圣,史浩然,婁樹(shù)理
(1. 海軍航空工程學(xué)院 控制工程系,山東 煙臺(tái) 264001;2. 國(guó)防科技信息中心,北京 100037)
紅外成像系統(tǒng)非均勻性快速校正方法
李召龍1,沈同圣2,史浩然1,婁樹(shù)理1
(1. 海軍航空工程學(xué)院 控制工程系,山東 煙臺(tái) 264001;2. 國(guó)防科技信息中心,北京 100037)
針對(duì)傳統(tǒng)基于場(chǎng)景的非均勻性校正方法計(jì)算量大的缺點(diǎn),提出一種快速校正方法。通過(guò)對(duì)圖像序列進(jìn)行分析,得出非均勻性的表現(xiàn)形式可看作是在理想視頻上疊加一個(gè)固定圖案噪聲這一結(jié)論。首先對(duì)前 k 幀圖像求取均值,得到包含非均勻性而且背景灰度趨于一致的均值圖像;然后提取非均勻性噪聲矩陣,將原始非均勻性圖像與噪聲矩陣做差,便可實(shí)現(xiàn)非均勻性的快速校正。利用仿真圖像序列與實(shí)拍視頻對(duì)方法進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明提出的方法能夠有效對(duì)非均勻性進(jìn)行校正,而且計(jì)算量較小,具有更快的校正速度。
非均勻性校正;固定噪聲圖案;均值圖像;噪聲矩陣
紅外成像系統(tǒng)具有靈敏度高、可獲取目標(biāo)更多信息及較高的幀頻等特點(diǎn),在軍用及民用方面顯示出越來(lái)越重要的作用。盡管紅外成像技術(shù)已發(fā)展到較高水平,但由于制造工藝和使用環(huán)境的影響,紅外成像系統(tǒng)的非均勻性問(wèn)題依然存在,在圖像上表現(xiàn)最為明顯的是固定圖案噪聲(Fixed Pattern Noise,F(xiàn)PN),這極大地降低了圖像質(zhì)量,嚴(yán)重的甚至使紅外探測(cè)器失去探測(cè)能力[1–2]。在工程應(yīng)用中,相應(yīng)的非均勻性校正技術(shù)(Non-uniformity Correction,NUC)是關(guān)鍵的圖像預(yù)處理技術(shù)。
校正方法主要分為兩大類(lèi):一類(lèi)是輻射定標(biāo)法,主要包括一點(diǎn)法、兩點(diǎn)法和多點(diǎn)法。由于校正效果比較理想,上述方法在工程實(shí)踐中得到了廣泛應(yīng)用。但是 20 世紀(jì) 90 年代初,人們逐漸發(fā)現(xiàn)定標(biāo)類(lèi)校正無(wú)法解決紅外成像系統(tǒng)的參數(shù)漂移問(wèn)題。于是人們發(fā)展了基于場(chǎng)景的校正方法,比較經(jīng)典的有時(shí)域高通濾波法[3]、常數(shù)統(tǒng)計(jì)法[4]、神經(jīng)網(wǎng)絡(luò)法[5]、幀間配準(zhǔn)法[6]、代數(shù)法[7]等。上述基于場(chǎng)景的校正方法存在計(jì)算量大、收斂速度慢的缺點(diǎn),在實(shí)際系統(tǒng)中應(yīng)用較少。針對(duì)上述問(wèn)題,本文提出一種效果較好的非均勻性快速校正方法。利用固定圖案噪聲在圖像上表現(xiàn)出來(lái)的固定不變的特點(diǎn),提取噪聲矩陣,從待校正圖像上減掉該噪聲矩陣,便可對(duì)非均勻性進(jìn)行較好的校正。該方法原理簡(jiǎn)單,計(jì)算量小,實(shí)現(xiàn)容易,有利于在實(shí)際紅外成像系統(tǒng)中使用。
由于紅外成像系統(tǒng)響應(yīng)率及空間分辨率低于可見(jiàn)光 CCD 陣列,使得紅外圖像的對(duì)比度、清晰度低于可見(jiàn)光圖像。非均勻性對(duì)紅外圖像的影響尤為嚴(yán)重,如圖 1 所示。圖 1(a)和圖 1(b)是利用 JIR1161G 型長(zhǎng)波非制冷熱像儀拍攝的未校正視頻中截取的兩幀。由于非均勻性的存在使得 2 幅圖像上表現(xiàn)出了強(qiáng)烈的條紋狀噪聲,這對(duì)圖像配準(zhǔn)、目標(biāo)識(shí)別、目標(biāo)跟蹤等后續(xù)處理都極其不利。通過(guò)對(duì)比可以看出,兩幀圖像間的非均勻性噪聲模式及強(qiáng)度基本一致。因此非均勻性的表現(xiàn)形式可以看作是在視頻上疊加一個(gè)固定的噪聲圖案,而且噪聲圖案在較短的時(shí)間內(nèi)可以認(rèn)為不變?;谶@個(gè)考慮,在校正時(shí)可以首先提取固定噪聲圖案,然后將非均勻性圖像減掉此噪聲圖案,最終實(shí)現(xiàn)非均勻性的校正。
圖1 非均勻性示意圖Fig.1 Nonuniformity of IR imaging system
根據(jù)第 1 節(jié)中的分析得知:非均勻性的表現(xiàn)形式可看做是在理想視頻上疊加一個(gè)固定的噪聲圖案,而且噪聲圖案在較短的時(shí)間內(nèi)可以認(rèn)為不變。采用探測(cè)器線性響應(yīng)模型:焦平面陣列上第(ij)個(gè)探測(cè)單元在第 n 時(shí)刻的輸出響應(yīng) Yn(i,j)可表示為:
式中:Xn(i,j)為第 ij 個(gè)探測(cè)單元在第 n 時(shí)刻接收到的場(chǎng)景輻射;Gn(i,j)和 On(i,j)分別為探測(cè)單元的增益和偏置為探測(cè)單元理想輸出。Nu(i, j)為探測(cè)單元的非均勻性噪聲,模型中同一探測(cè)單元在不同時(shí)刻 n 的非均勻性噪聲 Nu(i,j)不變。
理想的紅外焦平面陣列(IRFPA)中每個(gè)探測(cè)單元響應(yīng)參數(shù)保持恒定,而且不同探測(cè)單元之間參數(shù)保持一致??勺鋈缦录僭O(shè):一是在足夠長(zhǎng)的時(shí)間內(nèi),陣列中不同探測(cè)單元受到的平均場(chǎng)景輻射相同。二是在一定時(shí)間內(nèi),陣列中探測(cè)單元的平均輸出相同。基于上面 2 個(gè)假設(shè),校正方法具體實(shí)施過(guò)程如下:
1)對(duì)第 k 幀圖像,求取前 k 幀圖像的均值圖像:
根據(jù)前面的 2 個(gè)假設(shè),均值圖像中不同像素(ij)的理想輸出均值項(xiàng)相同。
2)統(tǒng)計(jì)均值圖像中不同灰度值的像素?cái)?shù)量,取像素?cái)?shù)目最多的灰度值(記為 Lgray)作為理想輸出均值項(xiàng)。獲得非均勻性噪聲矩陣:
矩陣 INu(i,j)中既有正值,也有負(fù)值。若矩陣中為負(fù)值,表示對(duì)應(yīng)圖像該位置的像素灰度值被非均勻性噪聲拉低;若矩陣中為正值,表示該位置的像素灰度值被非均勻性噪聲增高。
3)校正非均勻性圖像:
式中:Icorr(i,j)為校正后圖像;Inoise(i,j)為原始未校正圖像。
3.1 仿真圖像序列實(shí)驗(yàn)
為了使校正后的圖像能夠有標(biāo)準(zhǔn)圖像作為對(duì)比,對(duì)校正算法的綜合性能進(jìn)行較好的評(píng)估,首先利用仿真得到的 100 幀非均勻性圖像序列對(duì)校正方法進(jìn)行驗(yàn)證。對(duì)仿真圖像進(jìn)行校正,校正結(jié)果如圖 2 所示。
圖2 仿真圖像序列校正結(jié)果Fig.2 Correction result of simulation images
圖 2 (a)所示圖像為理想圖像序列的第 86 幀。圖 2(b)是按照一定算法對(duì)理想圖像序列添加了固定圖案噪聲和散點(diǎn)噪聲之后的圖像。可以看到圖像中有明顯的條紋噪聲,這與真實(shí)紅外圖像的固定圖案噪聲樣式一致。圖 2(c)為均值圖像,較好地反映了圖像上的條紋噪聲。圖 2(d)為經(jīng)過(guò)本文方法校正后的圖
像。從圖像上看,無(wú)論是條紋噪聲還是散點(diǎn)噪聲都得到了較好的校正。
3.2 真實(shí)視頻實(shí)驗(yàn)
利用實(shí)際采集的紅外非均勻性視頻對(duì)提出的校正方法進(jìn)行驗(yàn)證,校正結(jié)果如圖 3 所示。視頻采集設(shè)備為 JIR1161G 型長(zhǎng)波非制冷熱像儀。圖 3(a)和圖3(b)分別為視頻中截取的第 85 幀和第 307 幀。圖像質(zhì)量被條紋狀的非均勻性噪聲嚴(yán)重影響,建筑物上的窗口甚至被條紋噪聲淹沒(méi)而導(dǎo)致信息丟失。圖 3(c)和圖 3(d)分別為第 85 幀和第 307 幀對(duì)應(yīng)的均值圖像。均值圖像上的條紋狀噪聲的信息被完整的保留了下來(lái),而背景灰度趨于一致。圖 3(e)和圖 3(f)分別為校正后的結(jié)果,通過(guò)圖像可以很直觀地看到,條紋噪聲被消除掉,而且原本淹沒(méi)在噪聲中的建筑物窗口信息也得到了較好的復(fù)原,校正效果比較理想。
圖3 非均勻性校正結(jié)果Fig.3 Experiment result of NU correction
為了對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行客觀定量的評(píng)價(jià),采用國(guó)家標(biāo)準(zhǔn)定義來(lái)評(píng)估圖像的非均勻性[8],即:
式中: 為系統(tǒng)輸出圖像的灰度均值;M 和 N 分別表示系統(tǒng)輸出圖像的行數(shù)和列數(shù);Yij為圖像中(i,j)位置的像素灰度值。
圖 4 為校正前后非均勻性曲線對(duì)比?!?*’表示的是未校正的視頻序列非均勻性隨幀數(shù)變化的曲線,‘-’表示的是校正之后的視頻序列非均勻性隨幀數(shù)變化的曲線。由于場(chǎng)景變化較為復(fù)雜,不同幀之間的非均勻性不是單調(diào)下降的,但是可以確定的是采用本文提出的校正方法校正的第 n 幀圖像比未校正的視頻第 n 幀非均勻性要小得多。
圖4 校正前后非均勻性曲線Fig.4 Nonuniformity curve before and after correction
傳統(tǒng)的基于場(chǎng)景的非均勻性校正方法存在計(jì)算量大,計(jì)算復(fù)雜的缺點(diǎn)。本文提出一種原理簡(jiǎn)單、計(jì)算量小的校正方法,并利用仿真圖像序列及真實(shí)拍攝視頻對(duì)提出的方法進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明本文提出方法能夠有效的對(duì)非均勻性進(jìn)行校正,而且本方法計(jì)算量較小,具有更快的校正速度。
[1]高思莉, 于洋, 湯心溢. 紅外焦平面陣列非線性響應(yīng)仿真[J].紅外與激光工程, 2008, 37(5): 770–772.
[2]張菲菲, 王文龍, 馬國(guó)銳, 等. 基于非局部均值濾波與神經(jīng)網(wǎng)絡(luò)的紅外焦平面陣列非均勻性校正算法[J]. 紅外技術(shù), 2015, 37(4): 265–271.
[3]SCRIBNER D A, SARKADY K A, KRUER M R, et al. Adaptive nonuniformity correction for IR focal-plane arrays using neural networks[C]//Proceedings of the SPIE 1541, Infrared Sensors: Detectors, Electronics, and Signal Processing. San Diego, CA: SPIE, 1991: 100–109.
[4]HARRIS J G, CHIANG Y M. Nonuniformity correction of infrared image sequences using the constant-statistics constraint[J]. IEEE Transactions on Image Processing, 1999, 8(8): 1148–1151.
[5]王嫻雅, 陳錢(qián), 顧國(guó)華, 等. 基于BP神經(jīng)網(wǎng)絡(luò)的紅外焦平面非均勻性校正技術(shù)[J]. 光子學(xué)報(bào), 2009, 38(6): 1504–1506.
[6]HARDIE R C, HAYAT M M, ARMSTRONG E, et al. Scenebased nonuniformity correction with video sequences and registration[J]. Applied Optics, 2000, 39(8): 1241–1250.
[7]RATLIFF B M, HAYAT M M, TYO J S. Generalized algebraic scene-based nonuniformity correction algorithm[J]. Journal of the Optical Society of America A, 2005, 22(2): 239–249.
[8]聶瑞杰, 李麗娟, 王朝林, 等. 一種凝視紅外成像系統(tǒng)聯(lián)合非均勻校正算法[J]. 紅外與激光工程, 2015, 44(8): 2339–2346.
Fast nonuniformity correction method for IR imaging system
LI Zhao-long1, SHEN Tong-sheng2, SHI Hao-ran1, LOU Shu-li1
(1. Department of Control Engineering, Naval Aeronautical and Astronautical University, Yantai 264001, China; 2. National Defense Science and Technology Information Center, Beijing 100037, China)
To solve the problem of the large calculation quantity when correcting the nonuniformity using the traditional scene-based method, a fast correction method was proposed. Through the analysis of the image sequences, the results showed that the nonuniformity can be seen as that a fixed pattern noise superimposed on the ideal video. Firstly, the mean image of the first k frames was obtained. Then the nonuniformity noise matrix was extracted. The original image could be corrected by subtracting the noise matrix. The method was validated by using simulated video and real video. Experimental results show that the method can correct the nonuniformity with smaller calculation quantity and faster speed.
nonuniformity correction;fixed pattern noise;mean image;noise matrix
TN911.73
A
1672 – 7619(2016)11 – 0148 – 03
10.3404/j.issn.1672 – 7619.2016.11.031
2016 – 01 – 15;
2016 – 03 – 02
國(guó)家自然科學(xué)基金資助項(xiàng)目(61303192)
李召龍(1987 – ),男,博士研究生,研究方向?yàn)楣怆娭茖?dǎo)、紅外物理與技術(shù)、紅外成像系統(tǒng)性能測(cè)試與仿真等。