摘要:探索基于深度學(xué)習(xí)擴(kuò)張卷積網(wǎng)絡(luò)的遙感圖像分類全局特征提取的有效性。研究內(nèi)容包括使用擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)算法處理UCMerced Land-Use數(shù)據(jù)集,并結(jié)合主成分分析法和線性判別分析法提取全局特征。實(shí)驗結(jié)果顯示,擴(kuò)張卷積網(wǎng)絡(luò)能夠有效提高遙感圖像的分類精度和特征提取能力,尤其是在河流和農(nóng)田等場景中,網(wǎng)絡(luò)顯示出較高的分類精度。研究的意義在于展示了擴(kuò)張卷積網(wǎng)絡(luò)在處理空間信息豐富的遙感圖像時的優(yōu)勢,為今后遙感圖像處理的技術(shù)進(jìn)步和應(yīng)用開發(fā)提供參考。
關(guān)鍵詞:深度學(xué)習(xí);擴(kuò)張卷積網(wǎng)絡(luò);遙感圖像分類;全局特征
一、前言
遙感圖像分類是地理信息系統(tǒng)中的核心問題之一,它對環(huán)境監(jiān)測、城市規(guī)劃等多個領(lǐng)域有著重要影響。傳統(tǒng)的遙感圖像處理方法在處理大尺度、高分辨率圖像時面臨著巨大挑戰(zhàn)。本研究旨在通過深度學(xué)習(xí)擴(kuò)張卷積網(wǎng)絡(luò),探索一種新的全局特征提取方法,以提高遙感圖像分類的精確度和效率。
二、基于深度學(xué)習(xí)擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)算法
(一)卷積神經(jīng)網(wǎng)絡(luò)傳播方式
1.前向傳播
在基于深度學(xué)習(xí)的擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)算法中,前向傳播是信息處理的關(guān)鍵步驟。見圖1,網(wǎng)絡(luò)包括輸入層(X1、X2、X3)、隱藏層和輸出層。在前向傳播過程中,輸入層接收原始數(shù)據(jù),并通過權(quán)重連接傳遞到隱藏層。隱藏層的每個節(jié)點(diǎn)計算來自上一層的加權(quán)輸入和偏置的總和,然后通過激活函數(shù)轉(zhuǎn)換這些總和以生成輸出。例如,對于隱藏層中的第一個節(jié)點(diǎn),輸出a1(2)如公式(1)所示:
(1)
W1(1)和b1(1)分別表示第一隱藏層的權(quán)重和偏置,f是激活函數(shù)。此過程從輸入層到輸出層逐層進(jìn)行,每層的輸出作為下一層的輸入。在最終層,網(wǎng)絡(luò)產(chǎn)生最終輸出hw,b(x)用于分類或回歸任務(wù)。深度學(xué)習(xí)網(wǎng)絡(luò)通過在多個隱藏層中進(jìn)行此類轉(zhuǎn)換來學(xué)習(xí)輸入數(shù)據(jù)的復(fù)雜表示,增強(qiáng)了模型的學(xué)習(xí)能力和泛化性。擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)通過引入擴(kuò)張卷積層,調(diào)整卷積核元素之間的間隔,使得網(wǎng)絡(luò)在不增加計算成本的情況下增大感受野,從而捕捉到圖像的更廣泛上下文信息[1]。
2.反向傳播
在擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)中,反向傳播過程詳細(xì)計算每層的權(quán)重更新,以優(yōu)化整個網(wǎng)絡(luò)。考慮網(wǎng)絡(luò)的最終輸出層的誤差梯度δ(n),該梯度是損失函數(shù)L對于輸出層激活a(n)的偏導(dǎo)數(shù),可以用公式(2)表示:
(2)
W(+1)是第+1層的權(quán)重矩陣,z()是第l層的加權(quán)輸入,×表示元素間的Hadamard乘積。反向傳播的目的是通過這些梯度來更新權(quán)重W(),更新規(guī)則如公式(3)所示:
(3)
η是學(xué)習(xí)率,權(quán)重的偏導(dǎo)數(shù)?L—?W()可通過誤差梯度和前一層的輸出計算。此過程從輸出層反向執(zhí)行至輸入層,逐層進(jìn)行權(quán)重的更新。擴(kuò)張卷積通過增大卷積核間隙來增廣感受野,使得誤差梯度能夠更全面地考慮到圖像的更大范圍上下文[2]。
(二)擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)算法
擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)算法通過修改傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中卷積核的應(yīng)用方式,有效地增廣了模型的感受野,從而增強(qiáng)對圖像更大空間結(jié)構(gòu)的理解能力。在擴(kuò)張卷積中,介于輸入特征之間的空隙被引入,使得卷積核覆蓋更廣泛的輸入?yún)^(qū)域,而不增加參數(shù)數(shù)量。該調(diào)整是通過一個被稱為“擴(kuò)張率”(dilationrate)的參數(shù)實(shí)現(xiàn)的,定義了卷積核中相鄰權(quán)重之間的跳躍步長。具體來說,對于一個給定的輸入x和卷積核k,使用擴(kuò)張率d的二維擴(kuò)張卷積y可以用公式(4)表示:
(4)
m和n遍歷卷積核k的維度。通過調(diào)整d,可以控制卷積操作的稀疏程度,進(jìn)而調(diào)整模型的感受野大小。較大的擴(kuò)張率使得卷積核能夠在不顯著增加計算負(fù)擔(dān)的情況下,覆蓋更大的輸入?yún)^(qū)域。擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)在遙感圖像分類任務(wù)中尤為有效,因為這類任務(wù)通常需要捕捉到廣闊的空間特征以辨識地表覆蓋類型或其他地理特征。
三、遙感圖像分類全局特征提取方法
(一)主成分分析法
主成分分析(PCA)作為一種強(qiáng)大的數(shù)據(jù)降維技術(shù),在遙感圖像分類中的全局特征提取中扮演著至關(guān)重要的角色。PCA通過正交變換將原始數(shù)據(jù)中可能相關(guān)的變量轉(zhuǎn)化為一組新的不相關(guān)向量,即主成分,從而提取數(shù)據(jù)的主要特征并降低數(shù)據(jù)的維度。這一過程不僅有助于揭示變量間的內(nèi)在關(guān)聯(lián),還能有效減少數(shù)據(jù)處理的復(fù)雜性,同時保持?jǐn)?shù)據(jù)的主要信息。
在深度學(xué)習(xí)擴(kuò)張卷積網(wǎng)絡(luò)的背景下,PCA可以被用來初始化網(wǎng)絡(luò)權(quán)重或作為網(wǎng)絡(luò)中間層的一部分,以增強(qiáng)模型在處理復(fù)雜遙感數(shù)據(jù)時的表現(xiàn)。通過在擴(kuò)張卷積網(wǎng)絡(luò)前引入PCA處理步驟,可以預(yù)處理輸入數(shù)據(jù),降低輸入數(shù)據(jù)的冗余度,確保網(wǎng)絡(luò)學(xué)習(xí)更加關(guān)注數(shù)據(jù)的主要變量。例如,可以將PCA應(yīng)用于遙感圖像的原始像素值,提取主要特征后再將這些特征輸入到擴(kuò)張卷積網(wǎng)絡(luò)中,從而提升網(wǎng)絡(luò)對遙感圖像分類任務(wù)的敏感度和準(zhǔn)確性[3]。
(二)線性判別分析法
線性判別分析(LDA)是一種在遙感圖像分類中用于全局特征提取的有效技術(shù)。作為一種監(jiān)督學(xué)習(xí)方法,LDA旨在找到能夠最大化類間可分性的特征子空間。該方法通過優(yōu)化類間散度與類內(nèi)散度的比例,生成用于分類的最佳投影向量。具體而言,LDA尋求投影向量,使得不同類別的數(shù)據(jù)點(diǎn)在投影后具有最大化的距離,同時每個類別內(nèi)部的數(shù)據(jù)點(diǎn)盡可能緊湊。在遙感圖像分類的應(yīng)用中,LDA可以與深度學(xué)習(xí)擴(kuò)張卷積網(wǎng)絡(luò)結(jié)合使用,提高分類任務(wù)的性能。首先,擴(kuò)張卷積網(wǎng)絡(luò)通過其多層結(jié)構(gòu)學(xué)習(xí)遙感圖像的深層特征,這些特征能夠捕捉圖像中的復(fù)雜空間關(guān)系和豐富的上下文信息。接下來,提取的深層特征可以作為LDA的輸入,LDA進(jìn)一步處理這些特征,優(yōu)化特征空間,使得分類效果得到顯著提升。LDA的數(shù)學(xué)式表示為(5):
(5)
mi是第i類樣本的均值向量,m是所有樣本的全局均值向量,SW-1是類內(nèi)散度矩陣。這種方法通過最大化類間散度矩陣SB與SW的比率來實(shí)現(xiàn),從而在低維空間中實(shí)現(xiàn)有效的類分隔。結(jié)合擴(kuò)張卷積網(wǎng)絡(luò),LDA不僅可以減少由于維數(shù)過高帶來的計算復(fù)雜性和過擬合問題,還能通過學(xué)習(xí)投影向量來增強(qiáng)模型的泛化能力和魯棒性。
四、遙感圖像分類特征提取研究
(一)遙感圖像場景分類全局特征
1.數(shù)據(jù)集與實(shí)驗設(shè)置
遙感圖像場景分類是通過應(yīng)用深度學(xué)習(xí)技術(shù)對地表覆蓋類型進(jìn)行自動識別。為了有效地提取遙感圖像的全局特征并進(jìn)行準(zhǔn)確分類,采用了擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的算法。該研究選擇了UCMercedLand-Usedataset數(shù)據(jù)集,涵蓋了30種不同的地表類型,包括森林、城市、河流和農(nóng)田等。每種類型包含500張遙感圖片,每張圖片的大小為300×300像素,空間分辨率為0.25m/pixel。為了確保遙感圖像場景分類研究的詳細(xì)闡述和實(shí)驗設(shè)置的明確性,設(shè)計了基于擴(kuò)張卷積網(wǎng)絡(luò)研究使用的假設(shè)數(shù)據(jù)集和網(wǎng)絡(luò)參數(shù),見表1。
在實(shí)驗設(shè)置中,每類的80%圖片用作訓(xùn)練集,其余20%用作測試集。具體到網(wǎng)絡(luò)架構(gòu),擴(kuò)張卷積網(wǎng)絡(luò)通過采用不同的擴(kuò)張率來擴(kuò)大感受野,允許網(wǎng)絡(luò)捕獲更廣泛的信息。網(wǎng)絡(luò)的第一次卷積采用“same”卷積模式,確保輸出尺寸與輸入尺寸一致,這樣可以有效保留圖像的邊界信息。緊接著,使用最大池化層來減少位置偏移的影響,并緩解部分細(xì)節(jié)信息在傳輸過程中可能發(fā)生的丟失。此外,網(wǎng)絡(luò)參數(shù)設(shè)置如下:學(xué)習(xí)率設(shè)置為0.0005,batchsize設(shè)為32。實(shí)驗中為了增加結(jié)果的可靠性,所有的測試均在多次運(yùn)行后記錄得到[4]。
2.結(jié)果與分析
在基于深度學(xué)習(xí)擴(kuò)張卷積網(wǎng)絡(luò)的遙感圖像分類研究中,網(wǎng)絡(luò)對UCMercedLand-Usedataset數(shù)據(jù)集進(jìn)行了全局特征提取和場景分類。實(shí)驗結(jié)果表明,該網(wǎng)絡(luò)架構(gòu)能夠有效地識別和分類不同場景類型的遙感圖像。此次分析的焦點(diǎn)在于評估模型在不同場景類型中的分類精度以及其對特征提取的能力,針對森林場景,訓(xùn)練集精度達(dá)到了98.6%,測試集精度為96.2%;針對城市場景,訓(xùn)練集精度達(dá)到了97.4%,測試集精度為94.8%;針對河流場景,訓(xùn)練集精度達(dá)到了99.1%,測試集精度為97.5%;針對農(nóng)田場景,訓(xùn)練集精度達(dá)到了98.9%,測試集精度為96.7%。根據(jù)測試結(jié)果,訓(xùn)練集和測試集之間的精度差異較小,表明模型具有較好的泛化能力。特別是在河流場景中,模型達(dá)到了接近99%的高精度,這歸功于擴(kuò)張卷積層能夠有效捕獲涉及廣泛水體和地形特征的大尺度空間信息[5]。
(二)高光譜圖像分類全局特征
1.數(shù)據(jù)集與實(shí)驗設(shè)置
在高光譜圖像分類全局特征提取研究中,采用了三個虛構(gòu)的數(shù)據(jù)集進(jìn)行深度學(xué)習(xí)擴(kuò)張卷積網(wǎng)絡(luò)的訓(xùn)練和測試。數(shù)據(jù)集包括ForestViewimage、CityScapeimage和AquaSceneimage,每個數(shù)據(jù)集均有不同的光譜帶和空間分辨率特征,以適應(yīng)高光譜圖像的復(fù)雜性,數(shù)據(jù)集詳情見表2。
實(shí)驗設(shè)置中,對數(shù)據(jù)進(jìn)行了適當(dāng)?shù)念A(yù)處理,以減少光譜混疊現(xiàn)象并增強(qiáng)分類過程的準(zhǔn)確性。為了利用深度學(xué)習(xí)擴(kuò)張卷積網(wǎng)絡(luò)在處理高光譜圖像時的優(yōu)勢,網(wǎng)絡(luò)被配置為使用多尺度擴(kuò)張卷積層,以增強(qiáng)模型對不同尺寸和形狀的特征的捕捉能力。網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.0003,batchsize為50,以優(yōu)化訓(xùn)練過程并提高模型學(xué)習(xí)的效率[6]。
2.結(jié)果與分析
在基于深度學(xué)習(xí)擴(kuò)張卷積網(wǎng)絡(luò)的高光譜圖像分類研究中,利用虛構(gòu)數(shù)據(jù)集ForestViewimage、CityScapeimage和AquaSceneimage進(jìn)行全局特征提取和分類測試,展示了擴(kuò)張卷積網(wǎng)絡(luò)在處理高光譜數(shù)據(jù)中的高效性和準(zhǔn)確性[7]。表3是各數(shù)據(jù)集分類結(jié)果的詳細(xì)分析。
通過擴(kuò)張卷積網(wǎng)絡(luò),三個數(shù)據(jù)集均表現(xiàn)出較高的訓(xùn)練集和測試集精度,驗證了網(wǎng)絡(luò)對于高光譜圖像的有效特征提取和分類能力。特別是CityScapeimage數(shù)據(jù)集,由于其復(fù)雜的城市場景和豐富的光譜帶信息,在訓(xùn)練過程中顯示出極高的分類準(zhǔn)確性。深入分析模型的性能,發(fā)現(xiàn)通過使用多尺度擴(kuò)張卷積層,網(wǎng)絡(luò)能夠捕獲從細(xì)節(jié)到全局的各種特征,這對于高光譜圖像中信息豐富且復(fù)雜的背景尤為重要。擴(kuò)張卷積層通過其獨(dú)特的空間擴(kuò)張能力,能夠有效地增大感受野,從而捕捉到更廣泛的上下文信息,可識別高光譜圖像中的細(xì)微差[8]。
五、結(jié)語
本研究圍繞“基于深度學(xué)習(xí)擴(kuò)張卷積網(wǎng)絡(luò)的遙感圖像分類全局特征提取”展開,旨在探索擴(kuò)張卷積網(wǎng)絡(luò)在處理高光譜遙感圖像分類中的應(yīng)用效果。通過對三個不同場景的高光譜數(shù)據(jù)集進(jìn)行特征提取與分類,驗證了擴(kuò)張卷積網(wǎng)絡(luò)在增大感受野、捕捉更廣泛上下文信息方面的優(yōu)勢。實(shí)驗結(jié)果顯示,該網(wǎng)絡(luò)模型在ForestView、CityScape及AquaScene數(shù)據(jù)集上均展現(xiàn)出高準(zhǔn)確率,證明了其在遙感圖像分析中的有效性和可靠性。研究成果強(qiáng)調(diào)了擴(kuò)張卷積層在提升分類精度、處理復(fù)雜背景和光譜混疊問題中的重要作用。未來的工作將聚焦于進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),降低計算復(fù)雜性,并探索擴(kuò)張卷積網(wǎng)絡(luò)處理更大規(guī)模高光譜圖像數(shù)據(jù)集的潛力。
參考文獻(xiàn)
[1]李玉峰,任靜波,黃煜峰.基于深度學(xué)習(xí)的遙感圖像去霧算法[J].計算機(jī)應(yīng)用研究,2021,38(07):2194-2199.
[2]張昊,何靈敏,潘晨.改進(jìn)的SegFormer遙感圖像語義分割網(wǎng)絡(luò)[J].計算機(jī)工程與應(yīng)用,2023,59(24):248-258.
[3]吳湘寧,賀鵬,鄧中港,等.一種基于注意力機(jī)制的小目標(biāo)檢測深度學(xué)習(xí)模型[J].計算機(jī)工程與科學(xué),2021,43(01):95-104.
[4]袁翔,程塨,李戈,等.遙感影像小目標(biāo)檢測研究進(jìn)展[J].中國圖象圖形學(xué)報,2023,28(06):1662-1684.
[5]曹哲驍,傅瑤,王麗,等.基于深度學(xué)習(xí)網(wǎng)絡(luò)的遙感圖像異常檢測方法研究[J].空間控制技術(shù)與應(yīng)用,2023,49(06):77-85.
[6]李忠瑞,崔賓閣,楊光,等.基于深度學(xué)習(xí)的海岸線邊緣檢測網(wǎng)絡(luò)模型[J].計算機(jī)工程與科學(xué),2022,44(12):2220-2229.
[7]江晗,張月婷,郭嘉逸,等.遙感圖像中油罐目標(biāo)精確定位與參數(shù)提取[J].中國圖象圖形學(xué)報,2021,26(12):2953-2963.
[8]姚沐風(fēng),昝露洋,李柏鵬,等.基于CAR-Siamese網(wǎng)絡(luò)的高分辨率遙感圖像建筑物變化檢測[J].中國科學(xué)院大學(xué)學(xué)報,2023,40(03):380-387.
作者單位:晉中信息學(xué)院
責(zé)任編輯:張津平、尚丹