陳 振，趙亞鳳，張志超

基于圖像超分辨率的遙感圖像樹冠目標檢測

陳 振，趙亞鳳，張志超

（東北林業(yè)大學 信息與計算機工程學院，黑龍江 哈爾濱 150040）

針對目前遙感圖像質(zhì)量較差導致對其中物體檢測效果低下的問題，本文提出一種基于生成式對抗網(wǎng)絡（GAN）的圖像超分辨率方法來提升遙感圖像整體質(zhì)量，并對現(xiàn)有常用目標檢測算法YOLO進行研究。針對遙感圖像中樹冠不容易檢測的特點，將超分辨率運用于檢測遙感圖像中的樹冠，對特定區(qū)域內(nèi)樹冠數(shù)量及定位進行統(tǒng)計。實驗結(jié)果表明超分辨率方法對目標檢測起到積極作用，檢測精度提升約為8%，有利于對特定地區(qū)樹木種植數(shù)量的統(tǒng)計工作。

生成式對抗網(wǎng)絡；超分辨率；目標檢測；樹冠；遙感圖像

由于拍攝因素的影響，遙感圖像往往質(zhì)量不佳，需要通過預處理后投入研究使用，傳統(tǒng)預處理包括校正、配準、去噪等步驟，耗時耗力且需要較高的專業(yè)知識。因此，如何高效獲取高質(zhì)量的遙感圖像成為一項研究內(nèi)容。隨著超分辨率生成式對抗網(wǎng)絡的問世，可以在原有低分辨率遙感圖像基礎上訓練出高分辨率遙感圖像。另外，目標檢測技術是一項重要的研究，如對遙感圖像中樹冠進行目標檢測，有利于土地規(guī)劃、植樹造林工作的統(tǒng)計。

利用圖像超分辨率技術可以獲取圖像中目標的深度信息，目標檢測技術可以識別圖像中關鍵目標的類別和位置。在本文研究應用中，將兩者相結(jié)合，實現(xiàn)對樹冠的精準檢測，繼而評估林業(yè)資源、植樹造林程度，為林業(yè)智能化提供新的思路。

1 超分辨率理論基礎

作為目前在圖像生成和圖像復原領域最為優(yōu)秀的深度學習算法，生成對抗網(wǎng)絡作為一個極其高效的框架，能夠生成具有欺詐性的圖像以模擬真實圖像，將這類算法應用在圖像超分辨領域是一個值得一試的想法，本節(jié)主要對一種基于感知損失的生成對抗網(wǎng)絡（GAN）圖像超分辨率方法進行研究，首先介紹生成對抗網(wǎng)絡的基本原理，繼而定義感知損失函數(shù)，最后研究生成器網(wǎng)絡和判別器網(wǎng)絡的詳細構造。

1.1 生成式對抗網(wǎng)絡基本原理

GAN框架中包含兩個主要神經(jīng)網(wǎng)絡模塊：生成器網(wǎng)絡和判別器網(wǎng)絡。生成器網(wǎng)絡的基本思想是輸入一個訓練集數(shù)據(jù)，訓練網(wǎng)絡來對這些樣本的概率分布進行推理，最終實現(xiàn)輸入一個隨機的噪聲信號，如均勻分布或高斯分布來輸出一個與輸入樣本極其相似的結(jié)果；而判別器網(wǎng)絡的作用則是區(qū)分自然樣本和生成器網(wǎng)絡生成的樣本，判斷生成器網(wǎng)絡生成的樣本圖像是否是真實圖像，該網(wǎng)絡最后會輸出一個概率以表示樣本的真實度。在訓練過程中，兩個網(wǎng)絡相互促進競爭，同時參與訓練，生成器網(wǎng)絡的目的是生成足夠真實的圖像以使判別器網(wǎng)絡認為它是真實圖像，而判別器網(wǎng)絡的目標是盡量區(qū)分真實樣本與生成樣本，二者構成了一個納什均衡，最終希望生成圖像達到以假亂真的目的。GAN網(wǎng)絡的具體結(jié)構如圖1所示：

圖1 GAN網(wǎng)絡原理圖

1.2 感知損失函數(shù)

該公式旨在同時訓練生成器G來欺騙判別器D；訓練判別器D的作用是判斷輸入的虛假圖像是否是真實的圖像。并不斷迭代訓練，反作用于生成器，使其不斷優(yōu)化生成的虛假圖像，最終使判別器難以辨別。

因此本文在其基礎上結(jié)合上文的分析對將損失函數(shù)改為如下公式：

1.3 網(wǎng)絡整體結(jié)構

（1）生成器網(wǎng)絡

生成器網(wǎng)絡G的總體框架基于Resnet網(wǎng)絡，主要采用多個相同的殘差塊組成，每個塊的結(jié)構具體如圖2所示，每個卷積層的卷積核大小為3*3，每個殘差塊輸出的特征圖維度都是64，并且在卷積過程中通過填充等操方式來保證特征圖的尺寸分辨率不變。在網(wǎng)絡的輸出部分，使用兩個步長為0.5的反卷積層來提升輸出圖像的分辨率。

圖2 生成器網(wǎng)絡G

（2）判別器網(wǎng)絡

判別器網(wǎng)絡D的主體結(jié)構為VGG網(wǎng)絡，并在卷積神經(jīng)網(wǎng)絡的每一層的最后加上一個LeakyReLU層以進行激活，在特征圖輸出之前用BN層進行歸一化操作。網(wǎng)絡整體采用多個相同的卷積塊組成，每個卷積塊的結(jié)構具體如圖3 所示，卷積核步長和濾波器個數(shù)隨層次的升高而不斷增加，特征圖的分辨率不斷降低而其維數(shù)不斷增大，最后一個卷積層輸出一個維度為512的低分辨率特征圖。在網(wǎng)絡最終輸出部分，使用兩個全連接層將特征圖輸出成一個概率，該值代表判別器能否能鑒別出超分辨率圖像和真實圖像的置信度得分，分數(shù)越高表示判別器認為輸入圖像是真實圖像的可能性越大。

圖3 判別器網(wǎng)絡D

生成器網(wǎng)絡G和鑒別器網(wǎng)絡D具有不同的網(wǎng)絡結(jié)構，但二者實質(zhì)上屬于同一個網(wǎng)絡結(jié)構。因此在反向傳播梯度時，二者的參數(shù)是互相共享的，并且共同進行訓練和更新。

1.4 模型復雜度與小批次處理

在硬件設備上進行深度學習算法運算時，需要考慮硬件設備是否滿足算法所需要的內(nèi)存及計算機算力的要求，我們可以采用模型復雜度分析的方法來估量。主要的衡量指標是模型計算量（floating point operations）和參數(shù)（parameters）數(shù)量。

其中，深度學習的模型主要計算量是在卷積層，卷積層的計算方式為滑動窗口計算，每層計算量為：

為卷積核的大小。主要的參數(shù)量則位于全連接層中，其計算公式為：

和分別為輸入和輸出的特征向量大小。最終，結(jié)合自身實驗硬件內(nèi)存及計算機算力得出能否運行該算法，當不滿足條件時需要采取方法減少模型復雜度。在本文中，由于直接采用原始遙感圖像進行超分辨率實驗時出現(xiàn)內(nèi)存不足的情況，這是由于單次卷積運算復雜度太大而造成的，因此提出了一種“小批量處理”的方法，先將一張圖像切分成若干張小圖像進行超分辨率，超分辨率完成后再將它們合并得到一張完整的超分辨率圖像，這種方法能夠大幅降低單次運算時的模型復雜度。

如一張512*512的圖像經(jīng)過1*1大小卷積核后的單層卷積計算量為=2*512*512*4*3 =6291456，而一張128*128的圖像在同樣大小卷積核中的作用下單層卷積計算量縮小16倍變?yōu)?393216。因此將一張512*512的圖像分割成16張128*128的圖像能夠大幅減少模型單次運算時的算法復雜度。通過實驗驗證，這種“小批量處理”的方法能避免內(nèi)存不足的情況，在當前實驗硬件條件下亦可完成實驗。

2 遙感圖像超分辨率

2.1 數(shù)據(jù)集構建

本文超分辨率及后續(xù)目標檢測實驗所用數(shù)據(jù)集為NWPU VHR-10 dataset。包含800張光學遙感圖像，作為原始未處理數(shù)據(jù)集。由于遙感圖像中往往包含較多的樹冠，如圖4所示。我們將其中包含樹冠的圖像挑選出來作為一個樹冠圖像數(shù)據(jù)集，挑選出包含獨立樹冠的遙感圖像233張。針對樹冠在遙感圖像中尺寸小、特征不明顯、易與草地混淆以及易成群造成標注困難的特點采用超分辨率方法緩解問題，繼而采用目前主流的目標檢測YOLO算法[5]進行實驗檢測獨立樹冠，證明對于一些如樹冠這樣直接檢測難以取得較好效果的目標，可以結(jié)合超分辨率方法實現(xiàn)檢測精度提升。

圖4 包含獨立樹冠的遙感圖像

對其中的獨立樹冠進行像素上的精確定位，檢測其數(shù)量及方位，便能對統(tǒng)計特定地區(qū)綠化程度，樹木種植數(shù)量的統(tǒng)計工作上提供一定程度的便利，并結(jié)合相應綠化指標如特定面積應該種植多少樹木，得出該地區(qū)是否達到綠化標準。因此，如何能準確的對遙感圖像中的獨立樹冠進行精確的目標檢測具有其實際效用。

本文將采用基于生成式對抗網(wǎng)絡的圖像超分辨率方法，并基于NWPU VHR-10 dataset數(shù)據(jù)集構建自己的樹冠遙感圖像數(shù)據(jù)集，提高樹冠數(shù)據(jù)集的分辨率并采用YOLO目標檢測算法分別對分辨率提升前后數(shù)據(jù)集進行測試，對比樹冠的檢測精度，以期實現(xiàn)通過超分辨率來提高對樹冠的檢測精度。

2.2 超分辨率實驗

本節(jié)將基于前文理論搭建出一個超分辨率生成式對抗網(wǎng)絡（SRGAN）模型。對基于NWPU VHR-10 dataset構建的樹冠遙感圖像數(shù)據(jù)集進行超分辨率實驗。首先，需要構建一個圖像分辨率相同的待超分辨率數(shù)據(jù)集（即低分辨率數(shù)據(jù)集）。因此首先需要將所有圖像統(tǒng)一下采樣（subsampled）到128*128的尺寸大小，即得到了低分辨率數(shù)據(jù)集，隨后通過遷移學習的思想引入預訓練權重訓練出一個實現(xiàn)分辨率提升4倍的超分辨率模型。

其具體步驟如下所示：

（1）首先將樹冠遙感數(shù)據(jù)集中的圖像進行裁剪處理得到一個長寬相同的圖像后進行縮放使其所有圖像尺寸大小為512*512，在這個過程中需要盡可能的保留所有待檢測樹冠，剔除一些不必要的背景信息。將這個處理后的數(shù)據(jù)集作為真實的高分辨率圖像數(shù)據(jù)集（HR數(shù)據(jù)集）。其對應的低分辨率圖像（LR圖像）由其下采樣獲得：當HR數(shù)據(jù)集進入超分辨率網(wǎng)絡時，算法首先會將其隨機切割為16個尺寸為128*128大小的LR圖像，如下圖5所示。

圖5 小批量處理前后的圖像

（3）訓練時設置上采樣因子為4（即將低分辨率輸入圖像的分辨率提高四倍），則切割后的每一個128*128的圖像分辨率提高到512*512。即實現(xiàn)一張512*512圖像擴充為16張512*512圖像。若將這16個圖像再拼到一起就能得到一個2048*2048大小的超分辨率圖像，也就實現(xiàn)了4倍的分辨率提升。

將這233張包含獨立樹冠的圖像按上述方法處理，最終得到圖像數(shù)量為3728的超分辨率獨立樹冠遙感圖像。作為對比，將每張圖像切割后得到的128*128圖像不進行任何處理得到3728張普通獨立樹冠遙感圖像。其中切割后的部分圖像不再包含樹冠，這些圖像中總計包含獨立樹冠數(shù)為5489棵。

對數(shù)據(jù)集中3728張獨立樹冠圖像進行4倍分辨率提升。訓練測試集比例9:1?？梢钥闯觯直媛蕡D像的質(zhì)量較原始圖像有較大提升，如下圖所示：

圖6 獨立樹冠圖像超分辨率

3 遙感圖像目標檢測

3.1 YOLO目標檢測網(wǎng)絡

YOLO算法（you only look once），是標準的one-stage算法，即同時完成對待檢測物體的位置檢測和類別檢測，具有運算精度高以及運算速度快等優(yōu)勢。從2016年提出YOLO V1至今通過原作者的不斷完善，已經(jīng)成為目標檢測領域綜合性能最強的算法之一。其最新一代YOLO V4目標檢測的整體框架如下圖7所示：

圖7 YOLO V4整體框架圖

YOLO算法能直接在輸出層預測出目標類別與位置，從而實現(xiàn)單步檢測。通過這種方法提高運算速度，達到實時性要求[3]。圖中BackBone為YOLO V4的主干特征提取網(wǎng)絡，其重要特點是使用了殘差網(wǎng)絡resblock_body模塊并結(jié)合CSPnet結(jié)構，該主干網(wǎng)絡由resblock_body模塊組合而成，這樣做的好處是利于網(wǎng)絡優(yōu)化，且極大程度上增加了模型深度，提高檢測精度。此外，YOLO V4中采用跳躍連接的方法以解決梯度消失或梯度爆炸。

3.2目標檢測評價指標

下述指標為一些常用于衡量圖像目標檢測質(zhì)量的指標：交并比（intersection over union，IOU）[1]、精度、總體的平均精度（mean average precision，mAP）[3]以及召回率[5]。IOU是模型生成的預測邊界框和真實邊界框的重疊率。如下圖8所示，圖中綠色框為人工標注的真實框，紅色框為預測框。

圖8 交并比計算示意圖

IOU的計算公式如下：

精度和召回率的計算公式如下：

其中 TP（True Positive）表示正確檢測到的目標數(shù)量；FN（False Positive）表示未被發(fā)現(xiàn)或錯過的目標數(shù)量；FP（假陽性或假警報）代表錯誤檢測的目標數(shù)量。

對于目標檢測，類的平均精度（mAP）可以定義為：

3.3 目標檢測實驗

本文中，我們采用多組超參數(shù)設置來對比超分辨率前后效果。每組實驗中采用的超參數(shù)設置如下表所示。其中主要的影響因素為學習率，選擇三種常用的學習率大小：0.01、0.001和0.0001：設定不同的訓練epochs數(shù)進行實驗，如下表所示：

表1 參數(shù)設置

該實驗分別對超分辨率前后數(shù)據(jù)集進行目標檢測，數(shù)據(jù)集分別包含3728張圖像，含待檢測獨立樹冠數(shù)為5489，圖像分辨率分別為128*128和512*512。其中訓練測試集比例為9:1。分別按照表1的參數(shù)設置，經(jīng)過30、50及100個epochs后，網(wǎng)絡對測試集的檢測效果展示如圖9所示：

其中超分辨率前后分辨率分別為128*128和512*512。如圖9所示，其中圖（a）表示標注的樹冠數(shù)量及坐標，樹冠數(shù)量為6。從（b）、（d）、（f）中我們發(fā)現(xiàn)，使用超分辨率前數(shù)據(jù)集時，無論訓練多少個epochs都沒能檢測出圖中最左邊的兩顆獨立樹冠；作為對比，（c）、（e）、（g）中即使訓練30個epochs，超分辨率后數(shù)據(jù)集也能檢測出這兩顆獨立樹冠。

此外，分別對比圖（b）、（c）；（d）、（e）以及（f）、（g）可以發(fā)現(xiàn)無論訓練多少個epochs，超分辨率后數(shù)據(jù)集對于每棵獨立樹冠的檢測IOU值均大于或等于超分辨率前數(shù)據(jù)集。測試集其他圖像中，超分辨率后數(shù)據(jù)集檢測效果也均優(yōu)于超分辨率前數(shù)據(jù)集。此外，繪制每次實驗的mAP圖以量化檢測結(jié)果：

如圖10所示，隨著三種實驗中epochs數(shù)的不斷增加，超分辨率前數(shù)據(jù)集檢測mAP值不斷上升，為0.751、0.763和0.774；這種mAP增長的趨勢同樣體現(xiàn)在超分辨率后數(shù)據(jù)集，分別為0.832、0.843和0.850。實驗結(jié)果表明，采用4倍超分辨率提升的方法進行獨立樹冠目標檢測，能夠使檢測精度提升約8%。

最后進行的是整幅遙感圖像的目標檢測，代入目標檢測實驗中模型訓練得到的最優(yōu)檢測權重best.pt，分別對整張超分辨率前遙感圖像和“小批量處理”中合并后的整張超分辨率遙感圖像進行測試，檢測效果展示如下圖11所示：

圖11 整圖測試

如上圖11（a）所示，超分辨率前圖像中將田徑場中的草地誤判為樹冠（左上角），且沒有檢測出最右下角的樹冠；而在圖（b）中，不僅IOU值更高，并且沒有出現(xiàn)誤檢、漏檢的情況。對比11（c）和（d）也能發(fā)現(xiàn)超分辨率后圖像檢測出更多的樹冠，尤其是（d）圖檢測出更多的小樹冠，如中間部分在草地上零散的小樹冠。但是超分辨率前后的圖像中都沒能檢測出圖中左上角和底部的樹冠群。實驗結(jié)果表明，使用圖像超分辨率對模型訓練以及最終的檢測均有正面效果，但目標檢測效果還有提升空間，主要體現(xiàn)在超分辨率圖像與原始。

4 結(jié)論

本文結(jié)合超分辨率與目標檢測兩種方法，對遙感圖像內(nèi)的樹冠進行檢測統(tǒng)計，可推廣到林業(yè)智能化用于統(tǒng)計特定地區(qū)植樹造林程度。通過實驗對比，在保證其他實驗環(huán)境一致的情況下超分辨率后的樹冠檢測精度相較于超分辨率前分別從0.751、0.763和0.774增長到0.832、0.843和0.850，提升幅度約為8%，已具有極高的檢測效果，能夠?qū)崿F(xiàn)本文林業(yè)智能化的研究目的。本文方法仍具有提升空間，比如針對YOLO目標檢測網(wǎng)絡缺陷可以提出進一步的優(yōu)化方案以提升檢測精度。

[1]Cheng G,Han J. A survey on object detection in optical remote sensing images[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2016(117): 11-28.

[2]鄭遠攀,李廣陽,李曄.深度學習在圖像識別中的應用研究綜述[J].計算機工程與應用,2019, 55(12):20-36.

[3]Ship detection based on fused features and rebuilt YOLOv3 networks in optical remote-sensing images[J]. International Journal of Remote Sensing, 2021,42(2).

[4]張宗軍.基于深度學習的遙感圖像地面目標檢測算法研究[D].中北大學,2020.

[5]Gong Cheng, Junwei Han. A survey on object detection in optical remote sensing images. ISPRS Journal of Photogrammetry and Remote Sensing, 2016(117): 11-28.

Tree Crown Detection in Remote Sensing Image based on Image Super Resolution

Chen Zhen, Zhao Yafeng, Zhang Zhichao

（Northeast Forestry University, Harbin 150040 Heilongjiang）

Aiming at the problem that the poor quality of remote sensing image leads to the low effect of object detection, this paper proposes an image super-resolution method based on generative countermeasure network (GAN) to improve the overall quality of remote sensing image, and studies the existing common target detection algorithm Yolo. In view of the characteristics that it is not easy to detect the crown in remote sensing image, super-resolution is applied to detect the crown in remote sensing image, and the number and location of crown in a specific area are counted. The experimental results show that the super-resolution method plays a positive role in target detection, and the detection accuracy is improved by about 8%, which is conducive to the statistical work of the number of trees planted in specific areas.

Generative countermeasure network; Super resolution; Target detection; Tree crown; Remote sensing image

2021-05-02

陳振，男，湖北黃州人，電子與通信工程碩士研究生。研究方向：計算機視覺。

TP757

A

1672-1047（2021）03-0085-09

10.3969/j.issn.1672-1047.2021.03.23

[責任編輯：宋武]