王 蘋

(陽光學(xué)院)

0 引言

隨著美國在1972年實施地球資源衛(wèi)星計劃，圖像復(fù)原在遙感領(lǐng)域應(yīng)用展開，并迅速發(fā)展.在遙感圖像的成像過程中，由于成像鏈路的種種缺陷，造成遙感圖像的模糊，即像質(zhì)退化.現(xiàn)實中，遙感圖像的獲取代價非常昂貴，圖像的質(zhì)量直接影響著遙感信息獲取的準(zhǔn)確性和有效性，圖像信息的降質(zhì)降低了遙感圖像的科學(xué)研究和實際應(yīng)用價值，造成巨大的經(jīng)濟損失[1].圖像復(fù)原技術(shù)能夠抑制與補償由于圖像獲取系統(tǒng)自身所固有的不完善或其他環(huán)節(jié)造成的圖像降質(zhì)，從降質(zhì)的圖像中復(fù)原有用的信息.針對這一現(xiàn)狀，該課題針對實際遙感圖像降晰函數(shù)為空間變化的特點，研究全色圖像的復(fù)原處理算法和傳遞函數(shù)校正(MTFC)的方法[2]，以及向基于多DSP的實時圖像并行處理系統(tǒng)的移植技術(shù)，完成原理演示系統(tǒng)的設(shè)計與調(diào)試.

1 基于理想邊緣預(yù)測的自適應(yīng)PSF辨識

1.1 PSF辨識方法

由于圖像在降晰過程中的信息損失，從單幅圖像中辨識成像系統(tǒng)的PSF本身是一個病態(tài)問題，即可以得到降晰圖像的未退化清晰圖像與PSF的組合并不唯一.加入先驗知識能過在一定程度上緩解.一般有兩種途徑加入先驗知識：一是對圖像的模糊核進行約束；二是對潛在的未退化清晰圖像進行約束[3].該課題將采用后者.

作為一種無參盲PSF辨識方法，基于理想邊緣預(yù)測的自適應(yīng)PSF辨識方法[4]通過邊緣檢測搜索降晰圖像中階躍型邊緣的位置和方向，以確定用于PSF辨識的有效模糊邊緣，并通過預(yù)測有效模糊邊緣在理想成像情況下的灰度分布，來最終辨識成像系統(tǒng)的PSF.由于辨識原理的制約，該方法只適合于單峰PSF的辨識.算法的主要計算流程如圖1所示.

圖1NEORM實現(xiàn)系統(tǒng)的層次結(jié)構(gòu)

1.2 實驗和結(jié)果分析

基于理想邊緣預(yù)測的自適應(yīng)PSF辨識方法，可以利用含有高灰度差階躍型邊緣紋理的模糊圖像有效的辨識成像系統(tǒng)的PSF[5].此處通過一系列實驗來驗證基于理想邊緣預(yù)測的自適應(yīng)PSF辨識方法的有效性.

首先，分別采用9×9和21×21模板的高斯PSF對8bit量化的原始清晰圖像進行模糊處理，并在圖像中添加標(biāo)準(zhǔn)偏差為10的高斯噪聲[6]，如圖2所示.

圖 2 原始清晰圖像與模糊圖像

圖3和圖4中，展示了基于理想邊緣預(yù)測的自適應(yīng)PSF辨識方法辨識圖像PSF的效果.通過真實的PSF與自適應(yīng)辨識的PSF在數(shù)值和圖像復(fù)原效果上的比較，在圖像中有高灰度差階躍型邊緣的情況下，基于理想邊緣預(yù)測的自適應(yīng)PSF辨識方法能夠準(zhǔn)確地辨識圖像的PSF.該文采用Wiener濾波[7]對模糊圖像進行復(fù)原處理.

圖3 9×9模板PSF辨識及圖像復(fù)原效果比較

圖 4 21×21模板PSF辨識及圖像復(fù)原效果比較

在許多遙感圖像中不存在高灰度差的階躍型邊緣紋理，這將對基于理想邊緣預(yù)測的自適應(yīng)PSF辨識方法的PSF辨識效果有一定影響.在遙感圖像中存在較為理想的高灰度差階躍型邊緣的情況下，該方法也能夠有較好的成像系統(tǒng)PSF辨識表現(xiàn).

2 空間變化圖像復(fù)原算法仿真及結(jié)果

2.1 評價標(biāo)準(zhǔn)

為了客觀地評估改進后的算法與經(jīng)典維納濾波的處理效果，下面給出使用的兩種評估標(biāo)準(zhǔn)：改善信噪比ISNR和結(jié)構(gòu)相似度SSIM[8].

在圖像處理領(lǐng)域被廣泛使用，用于評估處理后圖像改善的程度.其數(shù)學(xué)表達(dá)式為：

(1)

其中，Df為圖像f的定義域.

由于ISNR是基于全局統(tǒng)計特性的，很難體現(xiàn)對圖像局部區(qū)域內(nèi)的改變，下面略作改進，通過計算各子塊圖像的ISNR的加權(quán)平均值來代替ISNR做為評估標(biāo)準(zhǔn)，其數(shù)學(xué)表達(dá)式為：

(2)

式中，w是子塊圖像的數(shù)量.在具體應(yīng)用中，可根據(jù)各子塊圖像中含有細(xì)節(jié)信息的多少來確定各個權(quán)值.

由于結(jié)構(gòu)相似度SSIM可以反映較細(xì)的結(jié)構(gòu)信息，這里仍然把它做為一個評估標(biāo)準(zhǔn)，它的定義為：

(3)

2.2 濾波效果和性能分析

圖5從主觀視覺角度給出了兩種算法的效果比較，可以看出該文的改進算法在噪聲抑制和邊沿保持方面要優(yōu)于傳統(tǒng)維納濾波器.

圖 5 遙感圖像復(fù)原效果對比

在計算ISNR和MSSIM時，使用32×32的方形窗口.表1～表6使用ISNR和MSSIM兩種標(biāo)準(zhǔn)分別給出了對算法的客觀評價.該算法用于處理不同降質(zhì)類型的圖像時，在信噪比改善和細(xì)節(jié)信息恢復(fù)方面比維納濾波器有一定的改善，得到了更好的復(fù)原效果.

表 1 ISNR比較:高斯模糊(方差α)加高斯噪聲(σ2=0.002)

表 2 MSSIM比較：高斯模糊(方差α)加高斯噪聲(σ2=0.002)

表 3 ISNR比較：高斯(α=0.9)+運動模糊(位移長度d)+高斯噪聲

表 4 MSSIM比較：高斯(α=0.9)+運動模糊(位移長度d)+高斯噪聲

表 5 ISNR比較：高斯模糊(α=0.9)+散焦模糊(散焦半徑r)+泊松噪聲

表 6 MSSIM比較：高斯模糊(α=0.9)+散焦模糊(散焦半徑r)+泊松噪聲

3 圖像復(fù)原算法的實時實現(xiàn)

3.1 硬件平臺

選用DSP、FPGA等高速處理器件成為圖像處理系統(tǒng)的數(shù)據(jù)處理器，以滿足處理速度的要求[9].目前，在高端研究領(lǐng)域中，圖像處理的實時性要求越來越高，僅僅依靠提高處理單元的處理速度來改善圖像處理實時性的效果不明顯.圖像并行處理技術(shù)主要用來解決海量圖像數(shù)據(jù)處理的實時性問題，其利用時間和資源的交錯重疊增加圖像處理的吞吐量，改善圖像處理速度，彌補單個處理器件處理能力上的相對不足.

該課題所使用的是由FPGA和4個DSP組成的并行處理硬件平臺，利用FPGA的容量大、可編程實現(xiàn)很多功能，結(jié)合DSP具有高速的信息處理能力的特點，使得系統(tǒng)非常簡潔，結(jié)構(gòu)靈活，通用性強，系統(tǒng)也易于維護和擴展，如圖6所示.4個DSP可以共享SDRAM資源和其它各DSP內(nèi)部存儲器資源.各個DSP與SDRAM、FPGA的總線接口都是無縫連接的，從而做到了資源共享和并行分布式處理，提高了數(shù)據(jù)傳輸速率.

圖 6 并行處理系統(tǒng)總體框架結(jié)構(gòu)

3.2 算法復(fù)雜度分析

對實時系統(tǒng)來說，算法的計算復(fù)雜度是非常重要的，對于大規(guī)模圖像復(fù)原來說尤其如此[10].下面對算法的復(fù)雜度進行分析，用來作為是否能實時實現(xiàn)的依據(jù)之一.

首先，假定算法對32×32(N1=32)的子塊圖像進行FFT，這個過程要求=10240MAC運算.對于一個2250×6144/s的圖像(實際輸入圖像的1/4)，它由13500(N2=2250×6144∕(32×32)=13500)個子塊圖像組成，一共需要約132MMAC運算，即可求得G(u,v).輸入為M1×M2的圖像，這部分運算量公式表達(dá)為：

(4)

然后，對大于閾值的像元計數(shù)(1024MAC)，用這個值來確定α.同樣對于2250×6144/s的圖像，需要72MMAC運算.如果 已知，則不需要做任何計算.輸入為M1×M2的圖像，這部分運算量公式表達(dá)為：

(5)

(6)

最后，若輸入為M1×M2的圖像，子塊圖像之間有m行n列的重疊，這樣子塊圖像的數(shù)量變?yōu)镹3：

(7)

以上N2用N3代替，總運算量為c=c1+c2+c3.考慮使用子塊圖像之間有4行4列的重疊，這樣增加的計算量為96MMAC，對于2250×6144/s的圖像所有運算加起來為458MMAC運算.由計算可以看出該算法的計算量隨圖像的尺寸線性增加.

在實時系統(tǒng)中，處理器除了實現(xiàn)算法，還有相當(dāng)一部分時間是用于存取外部存儲器，這是由于受存儲器容量和圖像推掃獲取的限制，不可能全部在處理器內(nèi)部存放.對于9000×6144/s的圖像，在1s內(nèi)輸入、輸出一次，則數(shù)據(jù)吞吐率至少要128MB/s.

3.3 多DSP并行處理算法設(shè)計

DSP處理器的資源(包括存儲器、系統(tǒng)帶寬、運算速度和精度等)有限，所以要對系統(tǒng)程序進行合理的設(shè)計，以獲得最大限度地利用并行DSP處理器資源.圖7為并行處理系統(tǒng)在實時圖像處理應(yīng)用過程中的數(shù)據(jù)處理時空圖.它描述了并行處理系統(tǒng)中，一個數(shù)據(jù)單元在處理過程中隨著時間推移按照流水方向先后經(jīng)過各種處理環(huán)節(jié)，在時間和空間兩個方向描述了流水線的工作機制.將時間離散化，在任意離散時間段內(nèi)，系統(tǒng)中的各DSP都處于工作狀態(tài)，對不同的數(shù)據(jù)單元進行復(fù)原算法的處理，利用輸入數(shù)據(jù)的分拆提高處理速度.

圖 7 多DSP數(shù)據(jù)處理時空圖

圖像輸入數(shù)據(jù)由FPGA采集，以8行為一個單位，模擬LINKPORT數(shù)據(jù)時序，分4次發(fā)送給DSP1，做為DSP1一次處理的數(shù)據(jù)，接下來的數(shù)據(jù)以此類推，分別發(fā)送給DSP2、DSP3和DSP4；DSP4接收完后，又由DSP1接收，形成一個循環(huán).各DSP的處理數(shù)據(jù)之間有一定的交集，這由片外的共享SDRAM通過地址空間交疊實現(xiàn).

輸出時與上述過程類似，在DSP1處理完一次數(shù)據(jù)后，分4次由LINKPORT發(fā)送給FPGA，F(xiàn)PGA將數(shù)據(jù)轉(zhuǎn)換為指定的圖像數(shù)據(jù)格式后輸出，接下來分別是DSP2、DSP3和DSP4輸出；然后又是DSP1輸出，如此循環(huán)執(zhí)行.系統(tǒng)采用SPMD(Single Program Multiple Data Stream Computers)形式，每個處理器執(zhí)行相同程序來處理數(shù)據(jù).

3.4 實驗結(jié)果

圖 8 輸入的退化圖像

圖 9 復(fù)原處理后的圖像

圖8和圖9分別給出了算法在演示系統(tǒng)上進行實時復(fù)原處理測試的客戶端截屏圖像.圖8為輸入的降晰圖像，圖9為經(jīng)過復(fù)原系統(tǒng)復(fù)原處理后輸出圖像.

4 結(jié)論

該文研究是以某型星載光學(xué)全色/多光譜相機的實時圖像復(fù)原處理原理演示系統(tǒng)為平臺，針對實際遙感圖像降晰函數(shù)為空間變化的特點，研究全色圖像的復(fù)原處理算法和傳遞函數(shù)校正(MTFC)的方法.主要研究內(nèi)容是，降晰函數(shù)空間變化規(guī)律與MTFC的關(guān)系；單通道、單幅的空間變化的非迭代圖像復(fù)原算法；面向TS201的多DSP復(fù)原算法移植與優(yōu)化技術(shù)以及圖像模擬發(fā)生與采集分系統(tǒng)和復(fù)原處理系統(tǒng)的聯(lián)調(diào).同時，應(yīng)總體路線流程要求，進行了各個模塊的處理分析與驗證，并在圖像復(fù)原處理原理演示系統(tǒng)平臺上實現(xiàn)實時復(fù)原.