藍章禮,匡 恒,李 戰(zhàn),黃 濤,曹 娟

(重慶交通大學 信息科學工程學院,重慶 400074)

在計算機視覺領域中,圖像復原是一個重要的研究方向,圖像在形成、傳播和保存的過程中,受成像系統(tǒng)、外界環(huán)境等各種因素的影響會造成不同程度失真的退化圖像.湍流圖像作為眾多退化圖像中的一種,其退化過程是在圖像形成過程中受到大氣或水流等不規(guī)則運動造成的圖像模糊,湍流退化圖像的復原曾一度困擾著人們,文獻[1]從湍流的分形特征去詳細描述了湍流的機理.后來又有學者通過分形特征[2]在相位屏[3]以及自然場景中模擬出湍流現(xiàn)象.湍流現(xiàn)象的模擬對湍流退化圖想的復原起到指導性的作用,依據(jù)湍流圖像形成過程以及一定的先驗知識,文獻[4]提出了一種基于奇異值分解估計點擴散函數(shù)的湍流圖像復原算法.文獻[5,6]提出一種基于小波變換進行湍流圖像的復原方法.上述方法都結合了先驗知識,這些復原方法具有一定試探性,效果并不是很理想.隨著機器學習的發(fā)展,湍流圖像的復原變得更加高效準確,文獻[7]提出了一種基于支持向量機的湍流退化圖想加速復原方法.通過上述傳統(tǒng)機器學習的方法,湍流退化圖想的復原取得了不錯的效果,但是傳統(tǒng)機器學習分類算法容易陷入局部最優(yōu),并不盡能滿足要求.人工智能的發(fā)展,深度學習的崛起為湍流退化圖像的復原拓寬了道路,本文提出了一種采用卷積神經(jīng)網(wǎng)絡(CNN)對湍流模型點擴展函數(shù)中的模糊比例因子進行分類的研究方法,該方法對湍流圖像的分類取得了較為理想的效果,為新機器學習方法對湍流圖像的復原作了鋪墊.

1 湍流退化理論與數(shù)據(jù)預處理

1.1 湍流退化理論模型

光電成像系統(tǒng)出現(xiàn)退化的過程是復雜多變的,通常情況下將退化過程簡化為一個線性移不變過程,在空域中退化過程可以表示為：

其中,g(x,y)為輸出函數(shù),f(x,y)為 輸入函數(shù),h(x,y)為點擴展函數(shù),n(x,y)為加性噪聲.在加性噪聲不存在的情況下,退化過程模型化的頻域表達式為：

其中,G(u,v)為 頻域下的輸出函數(shù),F(u,v)為頻域下的輸入函數(shù),H(u,v)為頻域下的點擴展函數(shù).退化過程原理圖如圖1所示.

圖1 光電圖像退化原理圖

在退化圖像復原過程中除了周期噪聲以外,通常都可以采用空間域濾波的方法進行圖像復原,而此時的圖像復原與圖像增強幾乎是沒有區(qū)別的,但是湍流退化圖像是一種線性移不變退化圖像,該類圖像復原不能采用簡單的空間域濾波器來實現(xiàn),必須知道湍流退化模型的點擴展函數(shù)h(x,y).

本文提出的基于CNN 的大氣湍流退化圖像分類方法,湍流模型采用的是一直被沿用至今的經(jīng)典大氣湍流物理退化模型,模型中點擴展函數(shù)用光學傳遞函數(shù)(OTF)表示：

其中,k為一個反映大氣湍流的嚴重程度的模糊比例因子.(u,v)分別代表了(x,y)方向的頻域坐標.將OTF 中心化后表達式為：

其中,M、N分別為圖像的長和寬.

1.2 數(shù)據(jù)集的預處理

由于人工智能領域并沒有提供現(xiàn)有的大氣湍流圖像數(shù)據(jù)集,本文的圖像數(shù)據(jù)來自網(wǎng)上,經(jīng)過MATLAB編寫大氣湍流退化函數(shù)實驗仿真模擬而來.圖像的的預處理部分主要包括灰度化和歸一化等簡單操作.從左到右分別為一張100×100 大小的高空航拍灰度化后的灰度圖像,以及對應模糊比例因子分別在0.0001、0.01、0.1 以及0.5 下的歸一化大氣湍流退化圖像,如圖2所示.

可以明顯看出不同模糊比例因子對應的大氣湍流退化圖像差別較大,為驗證CNN 對湍流特征分類的有效性,數(shù)據(jù)集應該選取多種場景下的高空航拍圖在不同湍流強度下的退化圖像.

實驗中通過一張航拍圖像調(diào)節(jié)模糊比例因子K值獲取2000 張灰度圖像數(shù)據(jù),將所有的大氣湍流圖像數(shù)據(jù)劃分為四類,對應的K值分別在0 到0.0001 之間、0.001 到0.01 之間、0.05 到0.1 之間以及大于0.5 的范圍.四類標簽在CNN 中對應的張量形式應該為[0,0,0,1]、[0,0,1,0]、[0,1,0,0]和[0,1,0,0]這樣的一維數(shù)組,生成的標簽數(shù)據(jù)和mat 圖像數(shù)據(jù)相對應,每784 個圖像數(shù)據(jù)對應一張圖片也對應著一個標簽數(shù)組,對全部數(shù)據(jù)按順序標定完成后以4：1 的比例隨機進行訓練集和測試集的劃分,最后進行打亂操作完成全部的數(shù)據(jù)預處理.

2 卷積神經(jīng)網(wǎng)絡的原理

1962 年文獻[8]通過研究貓的視覺皮層神經(jīng)細胞,發(fā)現(xiàn)視覺皮層的神經(jīng)細胞對輸入空間中的小區(qū)域比較敏感,這些小的敏感區(qū)域覆蓋了整個視覺區(qū)域,從而提出了感受野的概念.這些敏感區(qū)域局部地存在于輸入空間中,非常適合用來提取圖像中的局部空間相關性.1998年文獻[9]提出了基于誤差梯度反向傳播的卷積神經(jīng)網(wǎng)絡LeNet-5,并成功應用于手寫體數(shù)字識別等領域.傳統(tǒng)人工設計的特征結合淺層的卷積神經(jīng)網(wǎng)絡就能取得較好的分類效果,但由于缺乏良好的泛化性能成為了其發(fā)展的障礙.直至2014年,文獻[10]提出了通過增加網(wǎng)絡層數(shù),利用增加的非線性得出目標函數(shù)的近似結構以及更好的特征表達,構建了深度卷積神經(jīng)網(wǎng)絡AlexNet 并在ImageNet 上取得了顯著的成績,之后更復雜,準確率更高的深度卷積神經(jīng)網(wǎng)絡也相繼被提出.

圖2 一張航拍灰度圖不同湍流程度下的退化圖

下面通過一張圖在卷積神經(jīng)網(wǎng)絡里與卷積核作用后的結果來解釋卷積變化原理.如圖3所示.

圖3 一張?zhí)卣鲌D經(jīng)過6 個卷積核后的變化示意圖

一張32×32×3 的特征圖與一個5×5×3 的卷積核卷積后加上偏置,經(jīng)過激活函數(shù)產(chǎn)生一個運算結果,卷積核在特征圖所有區(qū)域以步長為1 來進行滑動卷積,得到一個28×28×1 的特征圖,同理經(jīng)過一個有6 個5×5×3 的卷積核的卷積層后產(chǎn)生了一個28×28×6 的特征圖.同理,每一個卷積核都在這張?zhí)卣鲌D上的所有區(qū)域進行滑動卷積,產(chǎn)生了6 個28×28×1 的特征圖.特征圖通過卷積層后進入池化層,降采樣后的特征圖會進入下一個卷積層繼續(xù)進行卷積操作,直至最后通過全連接層將學到的分布式特征表示映射到標記樣本空間進行分類.

3 實驗分析

本文實驗平臺有兩個：MATLAB2016a 和Tensorflow框架.通過MATLAB 對航拍圖進行湍流退化仿真得到樣本數(shù)據(jù),在tensorflow 框架下搭建CNN 模型對樣本進行分類訓練測試.

實驗針對一張航拍圖像的2000 張不同湍流退化強度對應的灰度圖進行四分類設計了兩層卷積層、一個全連接層、一個Dropout 層和一個Softmax 層的卷積神經(jīng)網(wǎng)絡.Conv k 代表第k層卷積層,(5,5,1,32)代表了該層有32 個5x5x1 的卷積核.FC 代表了全連接層,(7×7×64,1024)代表了輸入張量的尺寸為7×7×64,全連接層隱含節(jié)點數(shù)為1024 個.為減輕過擬合引入了一個Dropout 層,通過keep_prob 比率隨機丟棄一部分節(jié)點的數(shù)據(jù).最后通過Softmax 層連接Dropout 層的輸出的到最后的概率輸出.所設計的CNN 網(wǎng)絡結構如表1所示.

表1 所設計的CNN 網(wǎng)絡結構

由于訓練圖像有 1600 張,且采用分批訓練的方式,每批32 張訓練圖像,所以完成所有訓練圖像的一次訓練需要實際迭代訓練 1600/32=50 次.其中第 1 次訓練(epoch1/8)對應實際的50 次訓練,第 2 次訓練(epoch2/8)對應實際的50×2=100 次訓練,依次類推,第8 次訓練(epoch8/8)對應實際的 50×8=400 次訓練.用訓練圖像訓練CNN 湍流退化圖像分類模型,并通過不同迭代次數(shù)(generation)下訓練準確率、損失值(loss)和測試準確率(test accuracy)來進行分類效果驗證.所設計的CNN 對湍流退化圖像數(shù)據(jù)的分類效果如表2所示.

表2 所設計網(wǎng)絡的分類性能

所設計的CNN 訓練時的迭代次數(shù)與訓練損失值之間的關系趨勢如圖4所示.

圖4 損失值與訓練迭代次數(shù)的關系趨勢

所設計的CNN 訓練時的迭代次數(shù)與測試準確率之間的關系趨勢如圖5所示.

圖5 測試準確率與訓練迭代次數(shù)的關系趨勢

通過訓練 1600 張訓練圖像所得到的模型對400 張測試圖像進行分類測試所得到的測試準確率與訓練迭代次數(shù)的關系是由圖5中的黑色虛線表示的.從測試圖中選取六幅圖來進行預測分類的結果(Pred)與實際所屬類(Actual),如圖6所示.

圖6 6 幅隨機退化圖對應的實際類與預測類

根據(jù)以上實驗結果可以看出CNN 湍流退化圖像分類框架訓練過程中的損失值隨著迭代次數(shù)的增加呈逐漸減小的趨勢,當訓練迭代到兩百次后,損失值基本穩(wěn)定在20 左右.訓練準確率與測試準確率隨著迭代次數(shù)的增加總體呈上升趨勢,當?shù)饺傥迨螘r訓練模型得到最佳分類效果,針對訓練圖像的訓練準確率達到82.21%,針對測試圖像的測試準確率達到79.47%.測試圖中第一類與第二類湍流強度較為接近且都較小時,預測結果會出現(xiàn)偏差.實驗證明搭建的CNN 模型對該場景不同湍流強度的退化圖像分類的有效性.

更換八種不同場景的圖像做相同預處理操作后以同樣的網(wǎng)絡參數(shù)進行訓練測試,八種不同場景下的湍流退化圖像在上述卷積神經(jīng)網(wǎng)絡模型下進行訓練測試,所得的訓練測試準確率如表3所示.

表3 不同場景退化圖像訓練測試準確率

由以上實驗可以看出使用不同場景的圖片進行湍流退化處理后,所設計的CNN 網(wǎng)絡對該類圖片分類準確率在80%左右與前面的準確率幾乎完全相同.實驗證明該CNN 網(wǎng)絡模型學習到的是湍流退化圖像的模糊特征而不是圖像場景本身的特征,驗證了CNN 網(wǎng)絡對湍流退化圖像湍流強度的分類的有效性.

考慮到在此基礎上提高準確率,對網(wǎng)絡結構參數(shù)進行調(diào)整.文獻[11]提出了一種結合卷積神經(jīng)網(wǎng)絡和深度置信網(wǎng)絡的卷積深度置信網(wǎng)絡方法提升單一卷積神經(jīng)網(wǎng)絡分類的不足.文獻[12]提出了一種基于圖像DCT 變換后的卷積神經(jīng)網(wǎng)絡分類方法有效提高了分類準確率.文獻[13]提出了一種結合度量學習包括Siamese和Triplet 兩種的卷積神經(jīng)網(wǎng)絡(CNN)結構用于提升服裝圖像分類準確率取得了不錯效果；文獻[14]結合CNN 對圖像高階統(tǒng)計特性的忽略的缺點提出了一種結合CNN 與DBN 的深度卷積置信網(wǎng)絡,該網(wǎng)絡在場景圖像分類中準確率有明顯提高.文獻[15]提出了一種融合卷積神經(jīng)網(wǎng)絡與受限波爾茲曼機混合模型的圖像分類方法提高了圖像分類準確率.文獻[16]通過擴充樣本數(shù)據(jù)并去除CNN 冗余連接有效降低了分類錯誤率.文獻[17]通過結合CNN 與圖像的DCT 變換進行圖像分類比原始圖像分類效果有顯著提升.本文旨在通過修改激活函數(shù)以及調(diào)整學習率來提升模型分類性能.文獻[18]通過改進激活函數(shù)Relu 調(diào)整參數(shù)a值使得卷積神經(jīng)網(wǎng)絡對腦脊液細胞圖像分類速度以及準確率有較大提升.文獻[19]通過CNN 預訓練網(wǎng)絡特征結合SVM 算法進行魚類分類準確率有明顯提升.激活函數(shù)選取Relu 函數(shù)替代Sigmoid 函數(shù),Sigmoid 作為激活函數(shù)時,反向傳播求誤差梯度時求導涉及除法,計算量相對大.而采用Relu 激活函數(shù),可以使整個過程的計算量節(jié)省很多,Relu 會使一部分神經(jīng)元的輸出為0,減少計算量的同時也造成了網(wǎng)絡的稀疏性,并且減少了參數(shù)的相互依存關系.但是在初始化參數(shù)非常糟糕或者學習率設置較高的情況下,輸出為0 的神經(jīng)元中可能會有一部分永遠不會被激活,相應的參數(shù)就永遠無法更新,導致最后訓練結果不盡人意,這里保持迭代次數(shù)不變,將學習率降低,從原來的1e-3 調(diào)整到1e-4 進行訓練.調(diào)整參數(shù)后準確率與訓練迭代次數(shù)的關系趨勢如圖7所示.

由上述實驗結果可以看到,改進激活函數(shù)與降低學習率后,準確率能保持在82%左右,該實驗說明了改進網(wǎng)絡參數(shù)能在一定程度上提升損失函數(shù)的收斂速度與CNN 的分類準確率.

圖7 調(diào)整參數(shù)后準確率與訓練迭代次數(shù)的關系

4 結論

本文提出了一種基于CNN 的湍流圖像退化強度的分類方法,通過航拍圖湍流退化仿真得到數(shù)據(jù)集,在搭建的卷積神經(jīng)網(wǎng)絡中進行仿真實驗.網(wǎng)絡結構中損失值隨著訓練的迭代很好的收斂,訓練測試也得到較高的準確率.對于不同退化程度圖像,通過人工提取有效特征十分困難,本文提出的通過卷積神經(jīng)網(wǎng)絡提取圖像特征進行分類,實驗結果證實了CNN 提取湍流特征的有效性以及分類的準確性,通過對激活函數(shù)與學習率參數(shù)的調(diào)整一定程度上提升分類準確率.該實驗結果為基于機器學習的湍流退化圖像復原做了鋪墊.在后續(xù)研究中將進一步研究深度置信網(wǎng)絡對湍流退化圖像的分類.