国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于Resnet的林地?zé)o人機(jī)圖像去霧改進(jìn)算法

2024-06-15 00:00:00牛弘健劉文萍陳日強(qiáng)宗世祥駱有慶
關(guān)鍵詞:無人機(jī)林地深度學(xué)習(xí)

收稿日期Received:2022-03-03""" 修回日期Accepted:2022-05-14

基金項(xiàng)目:國家重點(diǎn)研發(fā)計(jì)劃(2021YFD1400900);國家林業(yè)和草原局重大應(yīng)急科技項(xiàng)目(ZD202001)。

第一作者:牛弘健(niuhj1996@gmail.com)。

*通信作者:劉文萍(wendyl@vip.163.com),教授。

引文格式:

牛弘健,劉文萍,陳日強(qiáng),等. 基于Resnet的林地?zé)o人機(jī)圖像去霧改進(jìn)算法. 南京林業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2024,48(2):175-181.

NIU H J, LIU W P, CHEN R Q, et al. Dehaze algorithm for woodland UAV images based on Resnet. Journal of Nanjing Forestry University (Natural Sciences Edition),2024,48(2):175-181.

DOI:10.12302/j.issn.1000-2006.202203011.

摘要:【目的】針對霧霾天氣下林地?zé)o人機(jī)航拍圖像存在對比度低、飽和度低和色調(diào)偏移等現(xiàn)象,基于Resnet網(wǎng)絡(luò),提出一種適應(yīng)林地航拍場景的無人機(jī)圖像去霧方法(DHnet)?!痉椒ā苛值貓鼍跋聼o人機(jī)圖像具有紋理特征、高低頻信息豐富的特點(diǎn),在主干網(wǎng)絡(luò)各個(gè)層級附加信息傳遞模塊,將特征圖轉(zhuǎn)化為權(quán)值圖進(jìn)行篩選過濾并發(fā)送到其他層級,接收端設(shè)置閾值避免冗余信息的不良影響,再經(jīng)密集鏈接增強(qiáng)全局去霧效果,提高圖像高低頻區(qū)域的去霧質(zhì)量,最后在林地?zé)o人機(jī)有霧圖像測試集上進(jìn)行去霧實(shí)驗(yàn)。【結(jié)果】DHnet在林地圖像測試集上的平均結(jié)構(gòu)相似性為0.83,平均峰值信噪比為22.3 dB,分別較Resnet方法提高了4.8%和39.3%?!窘Y(jié)論】本研究提出的算法能有效降低圖像色調(diào)偏移,去除殘留霧氣信息,有效提高無人機(jī)航拍林地霧氣圖像的色彩保真度和細(xì)節(jié)信息保持度。

關(guān)鍵詞:林地;無人機(jī);圖像去霧;深度學(xué)習(xí)

中圖分類號:S758;TP75""""" 文獻(xiàn)標(biāo)志碼:A開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID):

文章編號:1000-2006(2024)02-0175-07

Dehaze algorithm for woodland UAV images based on Resnet

NIU Hongjian1,2, LIU Wenping1,2, CHEN Riqiang1,2, ZONG Shixiang3, LUO Youqing3

(1. College of Information Science and Technology, Beijing Forestry University, Beijing 100083, China; 2. National Forestry and Grassland Administration, Forestry Intelligent Information Processing Engineering and Technology Research Center, Beijing 100083, China; 3. College of Forestry, Beijing Forestry University, Beijing 100083, China)

Abstract: 【Objective】 Aiming to address the phenomena of low contrast, low saturation, and hue shift in unmanned aerial vehicle (UAV) photography images of forestland under hazy conditions, this study proposes a de-fogging method for UAV images adapted to forestland aerial photography scenes based on Resnet. 【Method】 The UAV images in woodland scenes were characterized by texture features and rich high-and low-frequency information. GFF information transfer modules were attached to each layer of the backbone network to transform feature maps into weight maps for filtering and sending to other layers, and thresholds were set at the receiving end to avoid the adverse effects of redundant information. Then, the global defogging effect was enhanced by dense links to improve the defogging quality in high- and low-frequency image regions. Finally, defogging experiments were conducted on a test set of woodland UAV images with fog. 【Result】 The average structural similarity of DHnet on the test set of woodland images was 0.83, and the average peak signal-to-noise ratio was 22.3 dB, which represented improvements of 4.8% and 39.3%, respectively, compared with the Resnet method. 【Conclusion】 The algorithm can effectively reduce tonal shift and remove residual fog, improving the color fidelity and detailed information retention of aerial woodland fog images obtained by UAV photography.

Keywords:woodland; unmanned aerial vehicle(UAV); image dehaze; deep learning

近年來無人機(jī)技術(shù)迅速發(fā)展,因其機(jī)動(dòng)靈活、成像分辨率高、人員風(fēng)險(xiǎn)低等優(yōu)點(diǎn),能夠?yàn)檗r(nóng)林業(yè)資源調(diào)查、生態(tài)環(huán)境監(jiān)測治理、農(nóng)林業(yè)執(zhí)法管理等工作提供關(guān)鍵信息。無人機(jī)航拍圖像采集過程易受到環(huán)境影響,在氣象條件不佳的情況下,空氣中懸浮粒子對光線產(chǎn)生散射,使目標(biāo)物體反射的光線發(fā)生衰減,同時(shí)散射的環(huán)境光混合到攝像頭收集的光線中,使成像后圖像的對比度、顏色等特征發(fā)生改變。為美化圖像的視覺效果以及突出圖像特征以便計(jì)算機(jī)視覺系統(tǒng)處理,需要對圖像進(jìn)行去霧,降低環(huán)境對圖像產(chǎn)生的不良影響。目前,圖像去霧的方法總體可分為兩類:圖像增強(qiáng)方法和圖像復(fù)原方法。

基于圖像增強(qiáng)的方法沒有分析霧天圖像退化的物理模型,而是直接調(diào)整圖像參數(shù),增強(qiáng)有用信息,抑制無用信息以改善圖像質(zhì)量。Land等根據(jù)色彩恒常性提出Retinex理論,其中單尺度Retinex方法在動(dòng)態(tài)范圍內(nèi)使暗區(qū)域圖像細(xì)節(jié)得到較好的增強(qiáng),但圖像顏色易過飽和。多尺度Retinex方法可提高霧天環(huán)境圖像的質(zhì)量,但當(dāng)霧分布不均時(shí),也易造成顏色過飽和現(xiàn)象。Kim等采用局部子塊重疊的直方圖均衡化增強(qiáng)了有霧圖像局部對比度。Liao等提出一種基于邊界約束和遞歸雙邊濾波的自適應(yīng)去霧算法;Ancuti等通過應(yīng)用白平衡和對比度增強(qiáng),提出了融合多幅原始圖像的圖像去霧方法。但基于直方圖和圖像融合的去霧方法易出現(xiàn)飽和度失真和霧殘留問題。Liu等提出多尺度曝光融合算法區(qū)分場景中較暗和較亮的區(qū)域細(xì)節(jié),但難以應(yīng)對復(fù)雜光源場景的去霧任務(wù)。

基于圖像復(fù)原的方法主要研究霧天圖像退化原因,通過建立霧天大氣散射模型求解圖像與透射率之間的關(guān)系,其中包括基于先驗(yàn)知識和深度學(xué)習(xí)的去霧方法。前者根據(jù)統(tǒng)計(jì)學(xué)經(jīng)驗(yàn)設(shè)定約束參數(shù),利用大氣散射物理模型計(jì)算無霧圖像。He等 提出的DCP算法通過大量統(tǒng)計(jì)和先驗(yàn)信息發(fā)現(xiàn)圖像暗通道規(guī)律,并根據(jù)暗通道先驗(yàn)估計(jì)場景深度,再根據(jù)大氣散射模型計(jì)算出去霧圖像,但該方法針對高亮區(qū)域效果較差。隨著機(jī)器學(xué)習(xí)發(fā)展,利用深度學(xué)習(xí)獲取圖像透射率、大氣光等參數(shù)的研究越來越多,一定程度上避免了先驗(yàn)信息估計(jì)產(chǎn)生的累計(jì)誤差。Cai等采用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)多尺度特征的自動(dòng)提取,從而估計(jì)圖像透射率,實(shí)現(xiàn)圖像去霧;Li等通過將透射率和大氣光整合為一個(gè)參數(shù),設(shè)計(jì)了輕量級卷積神經(jīng)網(wǎng)絡(luò),最小化重構(gòu)誤差,提高了去霧質(zhì)量。但上述兩種方法在霧氣分布不均勻時(shí),均存在霧殘留現(xiàn)象;Qu等提出了EPDN去霧網(wǎng)絡(luò),該網(wǎng)絡(luò)使用生成器和多尺度判別器進(jìn)行對抗訓(xùn)練達(dá)到去霧效果,再利用增強(qiáng)模塊優(yōu)化圖像的色彩信息,但容易造成圖像失真過飽和;Liu等通過融合不同尺度的特征圖像以增強(qiáng)圖像細(xì)節(jié)信息,搭建了多尺度去霧網(wǎng)絡(luò),但沒有區(qū)別對待局部特征和全局特征,去霧不完全。

以上方法在圖像去霧領(lǐng)域效果顯著,但仍存在霧殘留、色差較大等問題,難以適應(yīng)無人機(jī)林地航拍圖像的去霧任務(wù)。本研究提出DHnet去霧網(wǎng)絡(luò),設(shè)計(jì)了獨(dú)特的信息傳遞方式,層級特征經(jīng)過篩選過濾傳遞到其他層級,有效增強(qiáng)圖像高低頻信息,可在去除霧氣殘留的前提下提高了無人機(jī)林地航拍圖像去霧的色彩保真度和細(xì)節(jié)信息保持度。

1" 材料與方法

1.1" 研究區(qū)域及數(shù)據(jù)采集

實(shí)驗(yàn)林地航拍圖片采集于遼寧省撫順市南雜木鎮(zhèn)(124°20′E,41°92′N)、浙江省義烏市佛堂鎮(zhèn)(120°08′E,29°22′N)、安徽省池州市九華山(117°84′E,30°41′N)。使用大疆PHANTOM 4 RTK四旋翼航拍機(jī),軸距350 mm,最大起飛質(zhì)量4 kg,水平飛行速度16 m/s飛行高度30~240 m。無人機(jī)搭載3軸云臺相機(jī)DJI camera,1英寸CMOS傳感器,快門速度8~1/8 000 s,圖像分辨率4 864×3 648,航片為含有地理坐標(biāo)、飛行高度等元信息的JPEG格式圖像。

1.2" 理論基礎(chǔ)

霧天時(shí),空氣中懸浮著水蒸氣、氣溶膠等許多大半徑顆粒,它們對攝像系統(tǒng)收集到的光線產(chǎn)生吸收作用和散射作用,使成像質(zhì)量顯著下降。散射作用根據(jù)入射光波長與散射粒子半徑之間的相對關(guān)系,可分為拉曼散射、瑞利散射和米氏散射。其中米氏散射是指粒子直徑接近入射波長時(shí)發(fā)生的散射,通常用于描述水蒸氣、霧霾、灰塵等大半徑懸浮顆粒影響下的成像散射作用,米氏散射影響下的大氣散射物理模型見圖1。

根據(jù)米氏散射模型與大氣散射物理模型,Schechner等將大氣散射物理模型簡化為霧天成像模型:

I(x)=Aρ(x)e-βd(x)+A(1-e-βd(x))。(1)

式中:I(x)為攝像設(shè)備采集到的目標(biāo)x的有霧圖像;A為大氣光;ρ(x)為場景反射率;β是與可見距離相關(guān)的大氣散射系數(shù);d(x)是x處的深度信息。" 霧天成像模型可簡化為:

I(x)=J(x)t(x)+A。(2)

式中:J(x)為無霧清晰圖像;t(x)為場景透射率,t(x)=e-βd(x)。J(x)t(x)可描述真實(shí)無霧圖像在介質(zhì)中隨著場景深度增加產(chǎn)生衰減的過程;A為大氣光幕,可描述場景中的大氣散射光隨著場景深度增加造成的場景模糊和顏色失真。

近些年來的去霧算法大多基于大氣散射模型,再通過某種先驗(yàn)信息和假設(shè)對模型中t(x)、A進(jìn)行估計(jì),通過式(2)計(jì)算出清晰圖像J(x)?;谙闰?yàn)知識的去霧方法需要對場景透射率等眾多關(guān)鍵參數(shù)進(jìn)行估計(jì),易形成較大累積誤差,因此去霧程度、視覺效果不夠理想,不能適應(yīng)林地?zé)o人機(jī)圖像去霧的特殊場景。

1.3" 研究方法

1.3.1" Resnet網(wǎng)絡(luò)

深度學(xué)習(xí)類去霧方法通過對大量訓(xùn)練集圖像進(jìn)行學(xué)習(xí),建立有霧圖像和對應(yīng)無霧圖像各像素點(diǎn)之間的映射關(guān)系并逐步優(yōu)化更新中間參數(shù),提升模型質(zhì)量,最后將該模型用于去霧任務(wù)。圖像信息具有高維特征,淺層網(wǎng)絡(luò)難以有效建立有霧圖像和對應(yīng)無霧圖像映射關(guān)系,Resnet網(wǎng)絡(luò)是對VGG等淺層網(wǎng)絡(luò)的改進(jìn),相較于淺層網(wǎng)絡(luò),Resnet在網(wǎng)絡(luò)層使用Resblock結(jié)構(gòu),保持梯度穩(wěn)定的同時(shí)加深了網(wǎng)絡(luò)深度。Resblock是一種具有強(qiáng)大的容錯(cuò)率和學(xué)習(xí)能力的網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu),相較于VGG在網(wǎng)絡(luò)深層出現(xiàn)的失真和梯度不穩(wěn)定現(xiàn)象,Resblock通過擬合非線性映射的方式使得原始信號可能直接傳入網(wǎng)絡(luò)的深層,避免在反向傳播過程中產(chǎn)生的梯度爆炸和梯度消失現(xiàn)象,在保持基本性能的情況下減小了網(wǎng)絡(luò)運(yùn)算量,有良好的自適應(yīng)性、魯棒性。Resblock的殘差學(xué)習(xí)單元如圖2所示,其中Relu是激活函數(shù),該段神經(jīng)網(wǎng)絡(luò)的輸入為x、期望輸出為H(x),若x為初始結(jié)果,則此段網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)為 F(x) = H(x)-x。Resblock單元就是將學(xué)習(xí)目標(biāo)變?yōu)檩敵龊洼斎氲臍埐頗(x)-x,使用F(x)+x來擬合非線性原始映射,降低運(yùn)算成本,提升穩(wěn)定性。

Resnet去霧方法實(shí)質(zhì)是使用深度學(xué)習(xí)替代先驗(yàn)信息估計(jì),從而完成對式(2)中無霧圖像J(x) 的還原,相較于先驗(yàn)信息估計(jì),Resnet方法在建立圖像映射的過程中包含了如伽馬校正等其他超參數(shù),在統(tǒng)一化的網(wǎng)絡(luò)參數(shù)更新中得到補(bǔ)償。網(wǎng)絡(luò)由兩層卷積層基層與4組特征層級遞增的卷積組構(gòu)成,第1卷積組包含3個(gè)Resblock結(jié)構(gòu),第2卷積組包含3個(gè)Resblock結(jié)構(gòu),第3卷積組包含23個(gè)Resblock結(jié)構(gòu),第4卷積組包含9個(gè)Resblock結(jié)構(gòu),這些層級內(nèi)的特征維度逐漸升高,從邊角點(diǎn)等低級特征到紋理細(xì)節(jié)、結(jié)構(gòu)等高級特征、再到邏輯信息、語義等抽象的更高層級特征,使有霧圖像和對應(yīng)無霧圖像之間的映射更為準(zhǔn)確。Resnet去霧網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

1.3.2" 改進(jìn)的DHnet去霧網(wǎng)絡(luò)

針對林地圖像Green通道值較高、圖像高頻信息豐富等特點(diǎn),本研究提出一種主要針對40~240 m拍攝高度的無人機(jī)有霧圖像、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)基于Resnet和深度學(xué)習(xí)的圖像去霧方法。為提升圖像去霧質(zhì)量,框架結(jié)合DFN模塊、特征傳遞等方法增強(qiáng)模型的學(xué)習(xí)能力,最后優(yōu)化主干網(wǎng)絡(luò)結(jié)構(gòu)。

針對林區(qū)無人機(jī)圖像的特點(diǎn),對Resnet網(wǎng)絡(luò)做出如下改進(jìn):在網(wǎng)絡(luò)深層第3、4卷積組設(shè)置1×1卷積調(diào)整維度以減小計(jì)算量,加快運(yùn)行速度;在主干網(wǎng)絡(luò)附加GFF模塊構(gòu)成的子網(wǎng)絡(luò),以傳遞特征圖中重要特征向量,豐富低層級的具體特征和高層級的抽象特征,從而提升林地圖像細(xì)節(jié)部分質(zhì)量和整體色彩還原度;設(shè)計(jì)與GFF模塊正交的DFN模塊以編碼更多的全局信息,在去霧過程中隱性地對其他超參數(shù)進(jìn)行調(diào)整,實(shí)現(xiàn)圖像整體的優(yōu)化。改進(jìn)后的DHnet網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

1)GFF模塊。利用特征傳遞可以在大量無用信息的干擾下篩選符合不同層級需求的信息,將局部特征映射到不同層級網(wǎng)絡(luò)。GFF模塊產(chǎn)生固定大小的特征向量且使網(wǎng)絡(luò)結(jié)構(gòu)適應(yīng)多比例、多尺寸的圖像輸入,為篩選各層級特征傳遞產(chǎn)生的信息冗余,DHnet使用過濾機(jī)制來抑制傳播過程中產(chǎn)生的噪聲。GFF模塊從其他層篩選并提取特征,同時(shí)向其他層傳遞特征,通過門控機(jī)制判別信息的有效性,基于門控機(jī)制,能夠有效減少信息冗余。GFF模塊的具體原理如圖5所示。X1~Xn分別表示發(fā)送端1~n的特征圖,G1~Gn分別表示發(fā)送端1~n的權(quán)值圖,Xi和Gi分別為接收端i的特征圖和權(quán)值圖,Xi為GFF模塊的輸出。對于第n層的特征圖像Xn,生成激活函數(shù):

Gn=sigmoid(wnXn), wn∈R1×1×C。(3)

式中:wn為權(quán)重參數(shù);C為全局平均池化數(shù)量;發(fā)送端設(shè)置當(dāng)層次為n,位置為(x, y)的特征向量滿足Gn(x, y)較大,且n層次含有i層次缺失的信息時(shí),才能進(jìn)入發(fā)送端進(jìn)行傳遞,這種方式可以抑制發(fā)送端無用信息,而接收端i收到層次為n,位置為(x, y)的特征向量時(shí),要滿足Gn(x, y)較小,且n層次含有i層次缺失的信息時(shí),才能被發(fā)送端接收。兩端共同決定了高于閾值的特征可以發(fā)送到其他層級,低于閾值的特征可以從其他層級接收,有效提高了特征傳遞質(zhì)量,避免信息冗余,衡量特征向量的權(quán)值公式如式(4)所示。

Xn=(1+Gn)·Xn+(1-Gn)∑Ni=1,i≠nGi·Xi。(4)

2)DFP模塊。DFN模塊是一種上下文建模方法,可以編碼更多的全局信息且與GFF模塊正交,所以在GFF完成主干網(wǎng)絡(luò)的信息傳遞之后加入DFN模塊不會(huì)與GFF模塊相互影響。在特征傳遞之后加入DFN模塊將進(jìn)行密集鏈接可以加強(qiáng)信息密度,優(yōu)化林地圖像去霧的整體結(jié)構(gòu)、彩度、亮度表現(xiàn),主干網(wǎng)絡(luò)中GFF的輸出之后,使用DFP對其輸出進(jìn)行信息編碼,以獲取全局上下文信息。

yi=Hi(yn,X1,…,Xi-1)。(5)

式中:yn為主干網(wǎng)絡(luò)中第n層的輸出;Xn為GFF中第i個(gè)模塊的輸出;Hi為單個(gè)卷積層。DFN的作用就是把GFF的輸出與主干網(wǎng)絡(luò)中的卷積層相結(jié)合,進(jìn)一步提升林地去霧圖像的整體質(zhì)量。

1.4" 數(shù)據(jù)集與模型訓(xùn)練

基于上述3個(gè)地區(qū)的無人機(jī)航片,通過大氣散射模型隨機(jī)生成不同霧度的模擬圖像,再經(jīng)過旋轉(zhuǎn)、剪切、拉伸等擴(kuò)充,生成1 335對無霧圖像與有霧圖像之間的映射作為訓(xùn)練數(shù)據(jù)集,以樣地真實(shí)有霧航片100張作為測試集。本研究采集的原始圖像分辨率(像素)為4 864×3 648,為減小運(yùn)算量、加快訓(xùn)練速度,在構(gòu)建數(shù)據(jù)集階段將圖像將裁剪為800×450像素進(jìn)行訓(xùn)練。

DHnet林地圖像去霧模型的編寫和訓(xùn)練是基于Pytorch框架在Window10操作系統(tǒng)中完成,編程語言為Python 3.0。Pytorch框架是開源框架,提供公共的庫和模塊,有利于網(wǎng)絡(luò)的編寫和訓(xùn)練。試驗(yàn)前,利用 numpy、OpenCV-python、matplotlib等庫進(jìn)行編譯和模型參數(shù)設(shè)定。在訓(xùn)練階段,對訓(xùn)練圖像中的無霧圖像和人工合成的有霧圖像進(jìn)行編號標(biāo)注后輸入模型,通過正向傳播得到人工合成霧圖的去霧結(jié)果,再由損失函數(shù)計(jì)算其與真實(shí)無霧圖像的結(jié)構(gòu)相似性誤差,通過網(wǎng)絡(luò)反向傳播進(jìn)行參數(shù)更新。多次迭代該過程,直到損失函數(shù)值趨于穩(wěn)定,完成林地圖像去霧模型的訓(xùn)練。

在模型訓(xùn)練過程中,損失率(Loss)是反映最終訓(xùn)練模型分類效果好壞的最主要因素。損失函數(shù)選用屬于感知相關(guān)指標(biāo)(perceptually motivated),本研究中損失函數(shù)L(P)定義為:

l(p)=2μxμy+C1μ2x+μ2y+C1·2σxy+C2σ2x+σ2y+C2;(6)

L(P)=-1N1∑p∈Pl(p)。(7)

式中:P為Patch像素集合;p為P中的像素點(diǎn);N1為P的數(shù)量;x和y分別表示處理后圖像和真實(shí)圖像;μx和μy分別為x和y的均值;σx、σy是x和y的協(xié)方差;C1和C2為避免分母為0的常數(shù)。

2" 結(jié)果與分析

除人為視覺效果評價(jià)外,本研究隨機(jī)選取的5張測試圖片,將DHnet算法與Retinex算法、DCP算法、Resnet網(wǎng)絡(luò)進(jìn)行比較測試,測試標(biāo)準(zhǔn)采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性指標(biāo)(SSIM)。PSNR是評價(jià)圖像降噪質(zhì)量的常用指標(biāo),評價(jià)霧天圖像相對于無霧圖像的噪聲強(qiáng)度;SSIM是衡量兩幅圖像之間相似度的指標(biāo),評價(jià)霧天圖像與無霧圖像之間圖像結(jié)構(gòu)的相似性。其中,峰值信噪比越高,結(jié)構(gòu)相似性越高,則表明去霧效果越好。PSNR和SSIM指標(biāo)(式中記為TPSNR、TSSIM)計(jì)算如式(8)、(9)所示:

TPSNR=10lg(2n-1)2SMSE;(8)

TSSIM(x,y)=1N∑Nk=1。(9)

式中:SMSE表示當(dāng)前圖像x與參考圖像y的均方誤差;n為像素的比特?cái)?shù),一般取8,即像素灰階數(shù)為256;TPSNR的單位為dB;l(xk,yk)α、C(xk,yk)β和S(xk,yk)γ分別為亮度、對比度、結(jié)構(gòu)的計(jì)算式;N為圖像分塊數(shù)。使用PSNR與SSIM指標(biāo),在100張自然霧圖像測試集上將DHnet去霧結(jié)果與Retinex算法、DCP算法、Resnet網(wǎng)絡(luò)進(jìn)行對比,結(jié)果如表1所示。

基于隨機(jī)選取的5張測試圖片(pic.1~5),使用PSNR和SSIM指標(biāo)對實(shí)驗(yàn)結(jié)果進(jìn)行定量分析,Retinex算法、DCP算法、Resnet網(wǎng)絡(luò)的橫向?qū)Ρ冉Y(jié)果如表2所示。從評價(jià)指標(biāo)來看,DHnet在林地?zé)o人機(jī)霧圖數(shù)據(jù)集上表現(xiàn)優(yōu)秀,結(jié)果更為穩(wěn)定。

去霧算法處理結(jié)果對比見圖6,從人為視覺效果來看,Retinex算法色彩失真嚴(yán)重,去霧不徹底,這可能是因?yàn)榱值貓D像Green通道普遍高于其他兩個(gè)通道值,經(jīng)Retinex算法調(diào)整后產(chǎn)生失真;DCP算法霧度殘留,可能是因?yàn)镈CP算法難以應(yīng)對包含亮色物體的場景;DHnet的結(jié)果相較于Resnet色彩更均衡,去霧徹底,視覺效果和定量指標(biāo)評價(jià)都有很大提升。實(shí)驗(yàn)結(jié)果表明,DHnet在林地?zé)o人機(jī)圖像去霧的實(shí)際測試中取得更好的效果,在各級特征傳遞的過程中使用過濾機(jī)制可以有效增強(qiáng)圖像去霧的性能。

a. 自然霧圖像natural fog images;b. Retinex去霧結(jié)果Retinex defogging results;c. DCP去霧結(jié)果DCP defogging results;d. Resnet去霧結(jié)果Resnet defogging results;e. 改進(jìn)的DHnet去霧結(jié)果improved DHnet defogging results

3" 結(jié)" 論

1)深度學(xué)習(xí)類去霧算法無需進(jìn)行先驗(yàn)估計(jì)和手動(dòng)提取特征,通過對大量圖像數(shù)據(jù)的訓(xùn)練逐步更新網(wǎng)絡(luò)參數(shù),進(jìn)行簡單少量預(yù)處理后直接輸入模型進(jìn)行訓(xùn)練,與傳統(tǒng)算法相比降低了預(yù)處理的難度;在訓(xùn)練集中使用航拍清晰圖像作為無霧圖像,使用對應(yīng)生成霧圖作為有霧圖像,符合該種網(wǎng)絡(luò)需要像素點(diǎn)完全對應(yīng)的成對圖像作為訓(xùn)練集的要求,同時(shí)降低了圖像采集工作的難度。

2)網(wǎng)絡(luò)模型應(yīng)當(dāng)在各層級選取合適的卷積尺寸和結(jié)構(gòu)層數(shù),否則可能導(dǎo)致網(wǎng)絡(luò)深層不穩(wěn)定,層級特征學(xué)習(xí)不完全,圖像質(zhì)量下降,Resblock結(jié)構(gòu)能夠在網(wǎng)絡(luò)深層使用線性映射擬合復(fù)雜映射,提升了穩(wěn)定性,GFF模塊能夠選擇性地傳遞、補(bǔ)充不同層級之間的特征,解決了Resnet中層級特征提取不完全的缺點(diǎn),最終提升了去霧質(zhì)量。實(shí)驗(yàn)結(jié)果表明,本研究構(gòu)建的DHnet在人為視覺和定量指標(biāo)評價(jià)上都取得了更好的效果。

參考文獻(xiàn)(reference):

[1]馬鴻偉, 劉海, 姚順彬, 等. 基于林業(yè)遙感的樹種分類應(yīng)用分析與展望.林業(yè)資源管理, 2020(3): 118-121. MA H W, LIU H, YAO S B, et al. Analysis and prospect on the application of tree species classification based on forestry remote sensing . For Resour Manag, 2020(3): 118-121. DOI:10.13466/j.cnki.lyzygl.2020.03.022.

[2]韓文霆, 張立元, 牛亞曉, 等. 無人機(jī)遙感技術(shù)在精量灌溉中應(yīng)用的研究進(jìn)展.農(nóng)業(yè)機(jī)械學(xué)報(bào), 2020, 51(2): 1-14.HAN W T, ZHANG L Y, NIU Y X, et al. Review on UAV remote sensing application in precision irrigation. Trans Chin Soc Agric Mach, 2020, 51(2): 1-14. DOI: 10.6041/j.issn.1000-1298.2020.02.001.

[3]徐譽(yù)遠(yuǎn), 胡爽, 王本洋. 無人機(jī)遙感在我國森林資源監(jiān)測中的應(yīng)用動(dòng)態(tài).林業(yè)與環(huán)境科學(xué), 2017, 33(1): 97-101.XU Y Y, HU S, WANG B Y. Present status of unmanned aerial vehicles remote sensing for forest resources monitoring in China . For Enviro Sci, 2017, 33(1): 97-101. DOI: 10.3969/j.issn.1006-4427.2017.01.018.

[4]宋以寧, 劉文萍, 駱有慶, 等. 基于線性譜聚類的林地圖像中枯死樹監(jiān)測.林業(yè)科學(xué), 2019, 55(4): 187-195.SONG Y N, LIU W P, LUO Y Q, et al. Monitoring of dead trees in forest images based on linear spectral clustering . Sci Silvae Sin,2019,55(4):187-195.DOI: 10.11707/j.1001-7488.20190420.

[5]郭璠, 蔡自興. 圖像去霧算法清晰化效果客觀評價(jià)方法.自動(dòng)化學(xué)報(bào), 2012, 38(9): 1410-1419. GUO F, CAI Z X. Objective assessment method for the clearness effect of image defogging algorithm. Acta Autom Sin, 2012, 38(9): 1410-1419. DOI:10.3724 /SP.J.1004.2012.01410.

[6]吳迪, 朱青松. 圖像去霧的最新研究進(jìn)展. 自動(dòng)化學(xué)報(bào), 2015, 41(2): 221-239. WU D, ZHU Q S. The latest research progress of image dehazing. Acta Autom Sin,2015,41(2): 221-239. DOI:10.16383/j.aas.2015.c131137.

[7]LAND E H, MCCANN J J. Lightness and retinex theory. J Op" Soc of Am, 1971, 61(1): 1-11. DOI: 10.1364/josa.61.000001.

[8]李學(xué)明. 基于Retinex理論的圖像增強(qiáng)算法.計(jì)算機(jī)應(yīng)用研究, 2005,22(2): 235-237.LI X M.Image enhancement algorithm based on retinex theory.Application Research of Computers, 2005,22(2): 235-237.

[9]李菊霞, 余雪麗. 霧天條件下的多尺度Retinex圖像增強(qiáng)算法.計(jì)算機(jī)科學(xué), 2013, 40(3): 299-301,F(xiàn)0003.LI J X, YU X L.Enhance algorithm for fog images based on improved multi-scale retinex . Comput Sci, 2013, 40(3): 299-301,F(xiàn)0003.DOI: 10.3969/j.issn.1002-137X.2013.03.068.

KIM J H, JANG W D, SIM J Y, et al. Optimized contrast enhancement for real-time image and video dehazing. J Vis Commun Image Represent,2013,24(3):410-425.DOI: 10.1016/j.jvcir.2013.02.004.

LIAO B, YIN P, XIAO C X. Efficient image dehazing using boundary conditions and local contrast. Comput Graph,2018,70:242-250.DOI: 10.1016/j.cag.2017.07.016.

ANCUTI C O, ANCUTI C. Single image dehazing by multi-scale fusion. IEEE Trans Image Process,2013,22(8):3271-3282.DOI: 10.1109/TIP.2013.2262284.

LIU Q Z, LUO Y Q, LI K, et al. Single image defogging method based on image patch decomposition and multi-exposure image fusion. Front Neurorobot,2021,15:700483.DOI: 10.3389/fnbot.2021.700483.

HE K M,SUN J,TANG X O.Single image haze removal using dark channel prior. IEEE" Trans Pattern Anal Moch" Intell, 2011,33(12):2341-2353.DOI:10.1109/TPAMI.2010.168.

CAI B, XU X, JIA K, et al. Dehazenet: an end-to-end system for single image haze removal. IEEE Trans Image Process,2016,25(11):5187-5198.DOI: 10.1109/TIP.2016.2598681.

LI B Y,PENG X L,WANG Z Y,et al.AOD-net:all-in-one deha-zing network//2017 IEEE International Conference on Computer Vision (ICCV).Venice,Italy:IEEE,2017:4780-4788.DOI: 10.1109/ICCV.2017.511.

QU Y Y,CHEN Y Z,HUANG J Y,et al.Enhanced Pix2pix deha-zing network//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Long Beach,CA,USA: IEEE,2020:8152-8160.DOI: 10.1109/CVPR.2019.00835.

LIU X H,MA Y R,SHI Z H,et al.GridDehazeNet:attention-based multi-scale network for image dehazing//2019 IEEE/CVF International Conference on Computer Vision (ICCV).Seoul,Korea (South): IEEE,2020:7313-7322.DOI: 10.1109/ICCV.2019.00741.

XU Y,WEN J,F(xiàn)EI L K,et al.Review of video and image defogging algorithms and related studies on image restoration and enhancement.IEEE Access,2015,4:165-188.DOI: 10.1109/ACCESS.2015.2511558.

梁健,巨海娟,張文飛,等.偏振光學(xué)成像去霧技術(shù)綜述.光學(xué)學(xué)報(bào),2017,37(4):0400001.LIANG J,JU H J,ZHANG W F,et al.Review of optical polarimetric dehazing technique.Acta Opt Sin,2017,37(4):0400001.DOI: 10.3788/AOS201737.0400001.

SCHECHNER Y Y, NARASIMHAN S G, NAYAR S K. Polarization-based vision through haze. Appl Opt,2003,42(3):511-525.DOI: 10.1364/ao.42.000511.

王道累,張?zhí)煊睿畧D像去霧算法的綜述及分析.圖學(xué)學(xué)報(bào),2020,41(6):861-870 WANG D L,ZHANG T Y.Review and analysis of image defogging algorithm.J Graph,2020,41(6):861-870.DOI: 10.11996/JG.j.2095-302X.2020060861.

郭玥秀,楊偉,劉琦,等.殘差網(wǎng)絡(luò)研究綜述.計(jì)算機(jī)應(yīng)用研究,2020,37(5):1292-1297 GUO Y X,YANG W,LIU Q,et al.Survey of residual network.Appl Res Comput,2020,37(5):1292-1297.DOI: 10.19734/j.issn.1001-3695.2018.12.0922.

GAO S H,CHENG M M,ZHAO K,et al.Res2Net:a new multi-scale backbone architecture.IEEE Trans Pattern Anal Mach Intell,2021,43(2):652-662.DOI: 10.1109/TPAMI.2019.2938758.

REDMON J,F(xiàn)ARHADI A.YOLO9000:better,faster,stronger//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu,HI,USA: IEEE,2017:6517-6525.DOI: 10.1109/CVPR.2017.690.

LIU M J,WANG X H,ZHOU A J,et al.UAV-YOLO:Small object detection on unmanned aerial vehicle perspective.Sensors,2020,20(8):2238.DOI: 10.3390/s20082238.

ULLAH H,MUHAMMAD K,IRFAN M,et al.Light-DehazeNet:a novel lightweight CNN architecture for single image dehazing.IEEE Trans Image Process,2021,30:8968-8982.DOI: 10.1109/TIP.2021.3116790.

HE K M,ZHANG X Y,REN S Q,et al.Deep residual learning for image recognition//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas,NV,USA: IEEE,2016:770-778.DOI: 10.1109/CVPR.2016.90.

LI X T,ZHAO H L,HAN L,et al.Gated fully fusion for semantic segmentation.Proc AAAI Conf Artif Intell,2020,34(7):11418-11425.DOI: 10.1609/aaai.v34i07.6805.

佟雨兵, 張其善, 祁云平. 基于PSNR與SSIM聯(lián)合的圖像質(zhì)量評價(jià)模型.中國圖象圖形學(xué)報(bào), 2006,11(12): 1758-1763.TONG Y B, ZHANG Q S, QI Y P. Image quality assessing by combining PSNR with SSIM. J Image Graph, 2006,11(12): 1758-1763.

(責(zé)任編輯" 孟苗婧" 鄭琰燚)

猜你喜歡
無人機(jī)林地深度學(xué)習(xí)
丹東市林地分類研究
MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場域建構(gòu)
大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
淺談林地保護(hù)及恢復(fù)措施
深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
高職院校新開設(shè)無人機(jī)專業(yè)的探討
人間(2016年26期)2016-11-03 17:52:40
利用無人機(jī)進(jìn)行航測工作的方式方法
基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
軟件工程(2016年8期)2016-10-25 15:47:34
一種適用于輸電線路跨線牽引無人機(jī)的飛行方案設(shè)計(jì)
科技視界(2016年22期)2016-10-18 14:30:27
林地流轉(zhuǎn)模式的選擇機(jī)理及其政策啟示
台江县| 阿图什市| 新营市| 阿拉善右旗| 舞阳县| 建湖县| 宁乡县| 清涧县| 禹城市| 岳普湖县| 琼海市| 泸水县| 芒康县| 灵石县| 栖霞市| 瑞昌市| 右玉县| 东城区| 宜宾市| 蒙山县| 桑植县| 登封市| 建昌县| 平泉县| 丹凤县| 衡阳市| 旬邑县| 当涂县| 施甸县| 怀柔区| 浠水县| 军事| 庆安县| 社旗县| 孟连| 静安区| 周宁县| 上蔡县| 彭泽县| 孝义市| 平罗县|