曹學(xué)影，王 琳*，譚覃燕，陳大秀，何洋洋

（1.西安電子科技大學(xué) 物理與光電工程學(xué)院，陜西 西安 710071；2.上海航天控制技術(shù)研究院，上海 201109；3.中國航天科技集團公司 紅外探測技術(shù)研發(fā)中心，上海 201109）

1 引 言

紅外圖像采集過程中成像系統(tǒng)本身的電子噪聲、熱噪聲等，以及紅外遙感圖像采集過程中的光學(xué)衍射、探測器目標與成像器件之間的相對運動、大氣湍流等因素都會造成圖像質(zhì)量退化，表現(xiàn)為圖像模糊和分辨率降低［1］。通過改進成像系統(tǒng)的硬件性能來盡可能地提升圖像清晰度的方法，例如提高光學(xué)成像質(zhì)量、優(yōu)化探測器工藝、減少像元尺寸增加空間分辨率等方法，效果好，但技術(shù)難度大、周期長，大幅提升設(shè)備成本的同時還會帶來如像元密度增大導(dǎo)致的噪聲等其他不利因素。采用軟件方法對模糊圖像進行反降晰處理，通過圖像復(fù)原技術(shù)進行去模糊處理，近年來受到業(yè)界關(guān)注并得到了廣泛的應(yīng)用。

目前，國內(nèi)外研究者針對圖像復(fù)原已進行了大量工作。Brigham等［2］將逆濾波與迭代法引入圖像復(fù)原研究中。Murli等［3-4］提出了一種非病態(tài)求解復(fù)原問題的維納濾波方法。Berger等［5-6］基于正則化和抑制約束提出一種空變自適應(yīng)方法，利用凸集投影映射方法進行復(fù)原，在一定程度上抑制了振鈴效應(yīng)。上述方法都是建立在已知成像系統(tǒng)參數(shù)和降質(zhì)圖像的先驗知識的基礎(chǔ)上，但在實際的圖像復(fù)原工作中，這些是很難保證的。郭永彩等［7］針對系統(tǒng)參數(shù)和圖像先驗知識不充分的問題，提出了基于空間自適應(yīng)盒正則化技術(shù)的圖像盲復(fù)原算法。王宗躍等［8］提出了一種基于自適應(yīng)結(jié)構(gòu)組字典的稀疏正則化圖像復(fù)原方法。黃奕歡等［9］針對低分辨率的圖像，提出了一種基于UNet網(wǎng)絡(luò)的圖像復(fù)原算法。易詩等［10］針對紅外圖像的運動散焦模糊，提出了一種基于多尺度生成對抗網(wǎng)絡(luò)的圖像復(fù)原算法。字典學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)以及對抗網(wǎng)絡(luò)的復(fù)原時間長、算法較為復(fù)雜，而估計點擴散函數(shù)（Point Spread Function，PSF）的方法可以解決上述問題?？紫辇埖龋?1］利用Lucy-Richardson（LR）算法對針孔圖像進行圖像復(fù)原。Takumi等［12］提出了利用倒譜圖像估計PSF的方法。師雪艷［13］提出了一種自適應(yīng)單刃邊圖像復(fù)原算法，基于Canny算子邊緣檢測來估計PSF。孟浩等［14］利用Prewitt銳化算子檢測刃邊，并利用維納濾波實現(xiàn)紅外圖像復(fù)原。紅外圖像對比度低、噪聲嚴重，基于灰度梯度的特征檢測對于紅外圖像的邊緣信息提取相對比較困難，影響后續(xù)刃邊的獲取。Morrone等［15］最早提出相位一致性（Phase Congruency，PC）模型。Li等［16］提出使用PC代替圖像強度進行特征點檢測，這種不受圖像對比度或亮度變化影響的邊緣更加適用于紅外圖像PSF的估計。

本文利用PC模型對模糊紅外圖像邊緣特征提取的優(yōu)勢，提出基于PC提取圖像刃邊的方法，考慮到圖像的模糊過程往往具有方向不均勻性，提出自適應(yīng)雙刃邊法提取PSF，設(shè)計自適應(yīng)算法篩選滿足最優(yōu)角度原則的雙刃邊并擬合出橢圓高斯函數(shù)作為PSF函數(shù)，結(jié)合快速全變分正則化（Fast Total Variation，F(xiàn)TV）模型，復(fù)原模糊圖像。該算法估計出的PSF模型更加貼合實際的模糊核，能夠更有效地抑制復(fù)原中產(chǎn)生的振鈴效應(yīng)。

2 基于相位一致性的邊緣檢測

相位一致性將紅外圖像的頻域相位信息作為特征檢測點，提取出圖像的邊緣信息，不受圖像的亮度、尺度等信息的影響，同時符合人眼的視覺感知特征［17］。

2.1 構(gòu)造相位一致性模型

相位一致性模型是將圖像傅里葉分量相位一致的點作為特征點，從而實現(xiàn)圖像的邊緣特征檢測。Kovesi［18］最早提出利用Log-Gabor小波作為帶通濾波器計算相位一致性的方案。

將一幅二維圖像I（x，y）與二維Log-Gabor函數(shù)（Two Dimensional Log-Gabor Function，2DLGF）［19］的偶對稱小波和奇對稱小波分別進行卷積操作，得到在尺度s和方向o位置的響應(yīng)分量eso（x，y）和oso（x，y）為：

式中：Meven(x，y，s，o)是偶對稱Log-Gabor小波，Meven(x，y，s，o)為奇對稱Log-Gabor小波。

圖像I（x，y）在Log-Gabor濾波器的尺度s和方向o下對應(yīng)的振幅A so（x，y）和相位分量Φso（x，y）為：

相位一致性在圖像頻譜過窄時難以定位，考慮到圖像的噪聲和各個尺度、各個方向的結(jié)果，需要引入噪聲補償因子T0。于是得到修正過后的二維相位一致性模型：

式中：CP（x，y）表示圖像坐標（x，y）位置處的相位一致性大小，s表示Log-Gabor濾波器的尺度；o表示Log-Gabor濾波器方向；w0（x，y）是給定頻率擴展的加權(quán)因子；■·」運算符防止結(jié)果為負值，當(dāng)符號內(nèi)的數(shù)值為正值時，結(jié)果等于其本身，否則結(jié)果為零；ε是一個數(shù)值很小且大于零的補償項，目的是為了避免分母為零；ΔΦso（x，y）是一個敏感的相位偏差函數(shù)，其定義式為：

式中：

局部能量函數(shù)E（x，y）是按照信號本身和它的Hilbert變換定義的，即有：

式中：F（x）為去除DC分量后的信號函數(shù)；H（x）為F（x）的Hilbert變換；H（x）和F（x）一般是由信號分別與一對正交的濾波器進行卷積得到的［20］。

在復(fù)平面上，根據(jù)小波的性質(zhì)，信號經(jīng)過Log-Gabor濾波器后，實部分量是Log-Gabor偶對稱小波濾波器的輸出，虛部分量是Log-Gabor奇對稱小波濾波器的輸出，因此F（x）和H（x）可以近似表示為：

因此，在Log-Gabor濾波下的局部能量函數(shù)的表達式為：

上述計算方法可以產(chǎn)生一個相位一致性度量，并得到較好的邊緣圖像，但是由于忽略了特征方向信息，不能有效地描述圖像局部區(qū)域的特征分布。為了獲得有關(guān)相位一致性隨著方向變化的信息，根據(jù)式（4）分別計算出每個方向上的相位一致性CP（θo），然后計算出相位一致性矩，并觀察相位一致性矩隨方向的變化。主軸是對應(yīng)矩被最小化的軸，反映特征的方向；最大矩的軸垂直于主軸，其大小反映了特征的獨特性。如果最小矩在某一點上的數(shù)值很大，那么該點很可能為一個角點特征［21］。

根據(jù)經(jīng)典的矩陣分析方程，構(gòu)造相位一致性協(xié)方差矩陣R：

式中需計算一下變量：

其中：CP（θo）表示在θo處的相位一致性值，并且對所使用的離散方向集（通常情況下包括6個方向）進行求和。

對構(gòu)造的相位一致性協(xié)方差矩陣進行奇異值分解，奇異值的最大值對應(yīng)最大矩M，奇異值的最小值對應(yīng)最小矩m，主軸的角度為Φ，即有：

觀察圖像在各個方向上隨相位一致性變化的情況，發(fā)現(xiàn)最大矩陣M和最小矩m與方向無關(guān)。

2.2 邊緣特征檢測

通過以上公式，可以計算出任意一幅模糊紅外圖像的PC協(xié)方差矩陣，并獲得最大矩M，即圖像的邊緣圖。圖1（a）是模糊紅外圖像，圖1（b）是對應(yīng)的邊緣檢測PC圖。

圖1 輸入圖像邊緣檢測結(jié)果Fig.1 Edge detection result of input image

3 自適應(yīng)雙刃邊法提取PSF

利用刃邊法實現(xiàn)模糊紅外圖像復(fù)原的關(guān)鍵因素之一是PSF的精確估計，而PSF的準確性是由所選刃邊決定的。傳統(tǒng)刃邊法依靠手動選取刃邊區(qū)域的方式，估計出模糊圖像的PSF，這種方式費時費力，很難保證估計出的PSF的準確性。自適應(yīng)雙刃邊法在傳統(tǒng)刃邊法的基礎(chǔ)上，利用最優(yōu)角度原則篩選出兩條滿足條件的刃邊函數(shù)（Edge Spread Function，ESF），并擬合出PSF。

首先，采用PC算法提取模糊圖像的邊緣信息，利用連通區(qū)域原理提取出待選的刃邊區(qū)域，選用最小二乘法擬合出區(qū)域內(nèi)的刃邊直線，并計算出每一塊刃邊區(qū)域的梯度值：

式中：G表示刃邊圖像塊（尺寸m×n）的梯度值；r j（j=1，2，…，n）表示每一列上刃邊邊緣點所在的行數(shù)；e（i，j）表示圖像 塊中（i，j）位 置處的 像素值。

梯度代表了刃邊圖像塊中刃邊兩側(cè)的平均灰度值的差異情況，梯度值越大，表明刃邊兩側(cè)的對比度及同一側(cè)的相似度越大。因此，選取梯度值最大的待選刃邊區(qū)域作為第一條確定刃邊。其次，理想狀態(tài)下的PSF是一個各向同性的圓形函數(shù)，但是在實際的模糊圖像中，由于造成模糊的原因眾多、模糊尺度大小方向不同，單刃邊法擬合出的圓形PSF不再符合實際情況，需要引入第二條刃邊作為PSF擬合的另一個方向，進一步提高擬合精度。

本文提出了一種基于最優(yōu)角度的自適應(yīng)篩選原則來選取第二條刃邊。最優(yōu)角度原則是指：在第一條確定刃邊已知的情況下，分別計算其余待選刃邊與確定刃邊的夾角，選取夾角最大的那條待選刃邊作為第二條確定刃邊。在兩條刃邊都確定的基礎(chǔ)上，將刃邊塊中每一個像素點的灰度值作為ESF散點圖的y坐標，計算出刃邊塊中每個像素點到刃邊直線的垂直距離并將其作為x坐標。針對實際ESF曲線的非對稱性，利用改進后的Fermi函數(shù)擬合出ESF曲線，其表達式為：

式中：ai，bi，ci是Fermi函數(shù)的3個系數(shù)；D是補償項。

對式（20）進行求導(dǎo)，可以獲得在x方向上的線擴展函數(shù)（Line Spread Function，LSF）。同理，通過另一條ESF，可以求得y方向上的LSF（y）。根據(jù)式（22）可求出模糊圖像的PSF。圖2呈現(xiàn)了PSF的求取過程。

圖2 PSF的求取過程Fig.2 Estimation process of PSF

4 FTV復(fù)原

快速全變分模型在TV［22-23］模型的基礎(chǔ)上做了一定的改進，解決了‖ ?f‖2不可微分的問題，并且引入了新的輔助參量w，其定義如下：式中：w表示紅外圖像中每個像素點對應(yīng)的輔助變量；β為懲罰系數(shù)，通常情況下都足夠大；h表示模糊核函數(shù)，也可以用PSF表示。

當(dāng)f有一個合適的初始值時，式（23）的前兩項對于w來說是可以分離的，而第三項與w無關(guān)，因此w的最小化問題等價于：

對式（24）進行求解，得到的最優(yōu)解為：

當(dāng)w有一個合適的初始值時，式（23）是關(guān)于f的二次函數(shù)，此時f的最小化求解問題可以由正規(guī)方程解出：

綜上所述，本文所用算法對模糊紅外圖像的具體復(fù)原流程如圖3所示。

圖3 模糊紅外圖像復(fù)原流程Fig.3 Flow chart of blurred infrared image restoration

5 實驗結(jié)果與分析

5.1 復(fù)雜刃邊的提取

為驗證基于相位一致性原理獲取復(fù)雜刃邊的優(yōu)越性，選取邊緣較為崎嶇的行人圖像作為實驗對象。圖4為行人圖像的刃邊獲取結(jié)果，基于PC的自適應(yīng)雙刃邊法不再局限于單調(diào)的直線型刃邊獲取，不同形狀的邊緣只要滿足刃邊選取條件，都可以用來擬合PSF，克服了傳統(tǒng)刃邊法選取刃邊的局限性，有效提高了PSF擬合的準確性。

圖4 行人圖像的刃邊獲取Fig.4 Edge acquisition of pedestrian

5.2 自適應(yīng)雙刃邊與單刃邊算法比較

將模糊紅外圖像作為實驗對象，分別進行自適應(yīng)單刃邊與自適應(yīng)雙刃邊算法（本文算法）復(fù)原，圖5是紅外圖像的復(fù)原效果對比。自適應(yīng)單刃邊法與本文算法雖然都可以實現(xiàn)紅外模糊圖像的自適應(yīng)復(fù)原，但從復(fù)原效果來看，自適應(yīng)單刃邊所擬合出的圓形PSF不能夠較好地貼合實際模糊核，圖5（b）中PSF大小超過實際模糊核尺寸，導(dǎo)致復(fù)原結(jié)果中振鈴效應(yīng)明顯。這是因為單刃邊法估計的PSF只具有單個模糊方向的模糊信息，當(dāng)其他方向的模糊尺度小于估計方向尺度時，PSF會大于實際模糊核；反之，PSF小于實際模糊核。自適應(yīng)雙刃邊法解決了單方向模糊尺度不精確的問題，基于兩個方向的模糊尺度信息來擬合PSF。圖5（c）對目標人物的面貌以及輪廓信息復(fù)原效果較好，也可以很好地復(fù)原目標建筑、車輛等細節(jié)信息，有效地抑制了復(fù)原過程中的振鈴效應(yīng)與圖像噪聲。

圖5 模糊紅外圖像復(fù)原結(jié)果Fig.5 Results of blurred infrared image restoration

5.3 LR與FTV復(fù)原比較

對紅外遙感圖像分別進行LR復(fù)原和FTV復(fù)原，復(fù)原對比結(jié)果如圖6所示。

圖6 LR與FTV復(fù)原結(jié)果對比Fig.6 Comparison of LR restoration and FTV restoration

觀察圖6中的復(fù)原結(jié)果，雖然LR復(fù)原和FTV復(fù)原都實現(xiàn)了對模糊紅外圖像的去模糊，但是LR復(fù)原圖中振鈴效應(yīng)明顯，并且復(fù)原圖中的紅外噪聲沒有得到抑制。直觀上看，“眼形”區(qū)域等地表建筑細節(jié)部分更加模糊，嚴重影響了復(fù)原質(zhì)量。而FTV復(fù)原算法較好地抑制了振鈴效應(yīng)，復(fù)原結(jié)果符合人眼觀察感知特性。雖然FTV復(fù)原有效提高了圖像的清晰度，但是復(fù)原圖中仍有紅外噪聲的影響，對于噪聲嚴重的紅外圖像，需要進行噪聲預(yù)處理［26-28］。

5.4 復(fù)原圖像質(zhì)量客觀評價與分析

為證明本文提及算法的整體有效性和可行性，選取加上尺度為15、標準差為1.5的橢圓模糊后的紅外汽車圖像作為復(fù)原對象，進行模糊圖像自適應(yīng)復(fù)原實驗。圖7為待選刃邊圖（彩圖見期刊電子版），其中綠色線代表的是選取的初步刃邊直線，一共是6條刃邊直線，紅色框標注的是刃邊塊區(qū)域，藍色數(shù)字表示刃邊的次序。實驗計算6個刃邊塊的梯度值，如表1所示。

通過比較6個刃邊塊的梯度值，發(fā)現(xiàn)第2塊刃邊區(qū)域的梯度值最大，所以將此刃邊塊作為第一確定刃邊，然后計算該刃邊直線與其他5條刃邊直線的角度，如表2所示。

圖7 待選刃邊圖Fig.7 Map of selected edges

表1 6個待選刃邊塊的梯度值Tab.1 Gradient values of 6 selected edges

表2 第一確定刃邊與其余刃邊的夾角Tab.2 Angles between first edge and others

比較表2中5組數(shù)據(jù)，發(fā)現(xiàn)第4塊與第2塊刃邊夾角最大，為83°。因此將這兩條刃邊作為自適應(yīng)擬合PSF所需的兩條刃邊。圖8為紅外圖像的復(fù)原結(jié)果。

對實驗結(jié)果進行圖像質(zhì)量評價，將基于LR的自適應(yīng)單刃邊復(fù)原結(jié)果參數(shù)作為比較對象，得的質(zhì)量參數(shù)對比結(jié)果如表3所示。

圖8 紅外圖像復(fù)原結(jié)果Fig.8 Restoration result of infrared image

表3中列出了加入橢圓模糊的紅外圖像、基于LR的自適應(yīng)單刃邊復(fù)原結(jié)果圖像和基于本文算法復(fù)原結(jié)果的質(zhì)量參數(shù)，分別為PSNR（Peak Signal-to-Noise Ratio）、MSE（Mean Square Error）、平均梯度（MeangradientGˉ）、信息熵（Entropy）。本文算法復(fù)原結(jié)果的PSNR，Gˉ，Entropy參數(shù)，相比于模糊圖像，分別提高了2.2%，40.3%，2.7%；相比于自適應(yīng)單刃邊法的復(fù)原結(jié)果，分別提高了1.5%，11.5%，1.4%?？偟膩砜?，兩種復(fù)原方法的PSNR，Entropy以及平均梯度Gˉ都比模糊圖像的質(zhì)量參數(shù)要高，這說明復(fù)原結(jié)果都更接近原始的清晰圖像了。單獨比較兩種復(fù)原方法，本文算法的PSNR，Gˉ，Entropy都比基于LR的自適應(yīng)單刃邊復(fù)原方法的高，并且MSE明顯下降，說明本文算法在提升復(fù)原圖像的峰值信噪比、增強圖像細節(jié)信息的同時，有效地抑制了噪聲，復(fù)原效果更好。

表3 評價參數(shù)對比Tab.3 Comparison of evaluation parameters

5.5 圖像復(fù)原對紅外目標探測的提升

本文算法對紅外圖像復(fù)原后，可以有效恢復(fù)目標的細節(jié)信息，如目標的輪廓信息、灰度梯度信息等，對后續(xù)的紅外目標探測等工作具有積極意義。圖9是基于灰度變換法［24］對機場遙感圖像局部復(fù)原前后的目標探測效果對比，機場遙感圖中共有4架飛機。

本文復(fù)原算法提高了圖9中飛機目標與背景的差異性，與原圖飛機目標相比，復(fù)原飛機目標的灰度值提升了，因此利用灰度變換以及閾值選取的方法更容易探測出飛機目標。從目標探測效果來看，復(fù)原前的圖像中部分飛機目標與背景的相似度較大，目標探測結(jié)果為2架飛機，探測精確度為50%；復(fù)原后的圖像中，4架飛機目標與背景的對比度提高了，飛機的外形輪廓也更加明顯，目標探測結(jié)果為4架飛機，探測精確度為100%。

紅外小目標像素在整張紅外圖像像素中占比較小，紅外圖像模糊的情況下，紅外小目標很容易淹沒在背景和傳感器噪聲中，探測難度較大。利用本文算法對模糊紅外圖像進行預(yù)處理，然后再利用NRAM［25］算法對紅外圖像進行目標探測。紅外小目標探測對比結(jié)果如圖10所示。

NRAM紅外小目標探測算法基于非凸秩近似極小化聯(lián)合l2，1范數(shù)，在增強目標的同時抑制背景。圖10（a）中小目標與背景的相似度較高，經(jīng)過本文算法復(fù)原后，小目標與背景的差異性提高。場景中有4個紅外小目標，對原圖的紅外小目標探測結(jié)果為0個，探測精確度為0%，對圖10（b）復(fù)原圖中的紅外小目標檢測結(jié)果為6個，探測精確度為66.7%，虛警概率為33.3%。

圖9 復(fù)原前后目標探測對比Fig.9 Comparison of target detection before and after restoration

圖10 紅外小目標探測結(jié)果對比Fig.10 Comparison of infrared small target detection results

本文提出的圖像復(fù)原算法可以有效降低紅外圖像中目標探測的錯誤率，提升目標探測的精確度。

6 結(jié) 論

本文將相位一致性原理引入模糊紅外圖像邊緣特征檢測中，從相位的角度提取出圖像的邊緣信息，并利用連通區(qū)域最優(yōu)角度原則自適應(yīng)地提取和篩選出兩條滿足條件的刃邊，最終將估計出的PSF作為先驗知識帶入FTV復(fù)原模型之中，實現(xiàn)了模糊紅外圖像的自適應(yīng)復(fù)原。結(jié)果表明，基于相位一致性的邊緣檢測對于圖像亮度、對比度變化及噪聲具有較好的抗干擾能力，在刃邊較為復(fù)雜的情況下具有一定的優(yōu)越性，自適應(yīng)雙刃邊提取出的橢圓PSF與實際模糊核相近，能夠較好地去除多種因素所導(dǎo)致的紅外圖像模糊。相比于傳統(tǒng)的逆卷積圖像復(fù)原法，F(xiàn)TV復(fù)原算法能夠更好地抑制振鈴效應(yīng)，減少振鈴所帶來的二次模糊，并且在圖像復(fù)原的基礎(chǔ)上，提高紅外圖像的目標探測精確度。