劉洪宇，楊 林，姜 蕾

(中國(guó)航天科工集團(tuán)第二研究院 七〇六所，北京 100854)

0 引 言

在計(jì)算機(jī)視覺(jué)領(lǐng)域，隨著優(yōu)化方法[1,2]的進(jìn)步和公開(kāi)數(shù)據(jù)規(guī)模的提升，基于深度學(xué)習(xí)的目標(biāo)識(shí)別[3,4]、目標(biāo)檢測(cè)[5,6]、人臉識(shí)別[7,8]等算法效果已取得較大提升。這些算法受潮濕、震動(dòng)、電磁干擾等外部惡劣環(huán)境的影響較小，只要保證輸入圖像質(zhì)量，算法即可穩(wěn)定運(yùn)行。但風(fēng)沙、大霧等環(huán)境會(huì)為捕捉到的圖像帶來(lái)較大噪聲，本文實(shí)驗(yàn)結(jié)果表明，若不進(jìn)行處理，這些惡劣環(huán)境引入的噪聲將對(duì)模型效果產(chǎn)生較大影響。

傳統(tǒng)數(shù)據(jù)增強(qiáng)方法可解決大部分惡劣環(huán)境下出現(xiàn)概率較高的圖像問(wèn)題，例如通過(guò)對(duì)亮度、對(duì)比度和飽和度的調(diào)整，模擬逆光、過(guò)度曝光、低亮度等情況；通過(guò)圖像掩碼模擬物體遮擋情況等，但傳統(tǒng)方法無(wú)法模擬大霧、風(fēng)沙等惡劣環(huán)境，為解決這一問(wèn)題，提出了一種基于圖像風(fēng)格遷移的數(shù)據(jù)增強(qiáng)方法，主要工作有以下幾點(diǎn)：

(1)將圖像風(fēng)格遷移技術(shù)用于數(shù)據(jù)增強(qiáng)，對(duì)訓(xùn)練集中的圖片進(jìn)行大霧、風(fēng)沙環(huán)境下的數(shù)據(jù)增強(qiáng)，增加惡劣環(huán)境下的樣本數(shù)量。

(2)使用PeleeNet[9]作為分類(lèi)網(wǎng)絡(luò)骨架，對(duì)激活函數(shù)、損失函數(shù)以及網(wǎng)絡(luò)訓(xùn)練方法進(jìn)行優(yōu)化調(diào)整，并使用改進(jìn)后的網(wǎng)絡(luò)進(jìn)行圖像分類(lèi)任務(wù)，驗(yàn)證提出的數(shù)據(jù)增強(qiáng)方對(duì)惡劣環(huán)境下圖像分類(lèi)模型魯棒性的提升。

(3)建立了包含22 500圖片的數(shù)據(jù)集，包括完整的圖片爬取、圖片去重以及人工標(biāo)注流程處理，用于模型的訓(xùn)練和測(cè)試。

1 基于風(fēng)格遷移的數(shù)據(jù)增強(qiáng)

由于惡劣環(huán)境下數(shù)據(jù)采集難度大、數(shù)據(jù)標(biāo)注成本高等原因，數(shù)據(jù)集規(guī)模較小是一個(gè)較為嚴(yán)重的問(wèn)題。這將導(dǎo)致模型擬合的數(shù)據(jù)分布嚴(yán)重偏離真實(shí)分布，影響模型的泛化能力。為解決這一問(wèn)題，在進(jìn)行模型訓(xùn)練時(shí)，可用數(shù)據(jù)增強(qiáng)技術(shù)對(duì)已有數(shù)據(jù)進(jìn)行擴(kuò)充，在增加訓(xùn)練樣本量的同時(shí)，模擬模型需要處理的各種場(chǎng)景，提升模型在這些場(chǎng)景下的魯棒性。傳統(tǒng)數(shù)據(jù)增強(qiáng)技術(shù)常采取如下幾種方法：像素級(jí)別的數(shù)據(jù)增強(qiáng)、像素塊級(jí)別的數(shù)據(jù)增強(qiáng)、多張圖片疊加進(jìn)行數(shù)據(jù)增強(qiáng)。

像素級(jí)別的數(shù)據(jù)增強(qiáng)技術(shù)通過(guò)修改原始圖像中的某些像素值來(lái)增加樣本多樣性。如對(duì)圖像亮度、對(duì)比度、色調(diào)、飽和度的調(diào)整，在原始圖像上疊加隨機(jī)噪聲，或?qū)D像進(jìn)行隨機(jī)縮放、裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)等操作。像素塊級(jí)別的數(shù)據(jù)增強(qiáng)技術(shù)通過(guò)對(duì)原始圖像中某些區(qū)域的像素信息進(jìn)行修改來(lái)達(dá)到樣本擴(kuò)充的目的。如Zhun Zhong等[10]提出使用隨機(jī)擦除方法進(jìn)行數(shù)據(jù)增強(qiáng)，該方法從原始圖像中隨機(jī)選取一塊矩形區(qū)域，對(duì)該區(qū)域使用隨機(jī)值或零進(jìn)行填充，模擬物體被遮擋的場(chǎng)景。網(wǎng)格掩碼[11]方法則從原始圖像中隨機(jī)選取多個(gè)像素塊，將所有選取的像素塊進(jìn)行零填充。此外，一些研究人員通過(guò)一次使用多張圖片疊加的方式進(jìn)行數(shù)據(jù)增強(qiáng)。例如MixUp[12]方法中，將兩個(gè)隨機(jī)采樣的樣本進(jìn)行疊加來(lái)構(gòu)造新樣本。圖1中展示了傳統(tǒng)數(shù)據(jù)增強(qiáng)方法的效果，其中圖1(a)為原始圖片，其余為應(yīng)用不同數(shù)據(jù)增強(qiáng)方法得到的圖片。

圖1 傳統(tǒng)數(shù)據(jù)增強(qiáng)方法效果

為緩解傳統(tǒng)方法無(wú)法模擬的大霧、風(fēng)沙等惡劣環(huán)境對(duì)圖像算法產(chǎn)生的影響，可利用圖像風(fēng)格遷移技術(shù)進(jìn)行數(shù)據(jù)增強(qiáng)。圖像風(fēng)格遷移分為真實(shí)圖像風(fēng)格遷移[13]和藝術(shù)圖像風(fēng)格遷移[14]兩類(lèi)，真實(shí)圖像風(fēng)格遷移算法根據(jù)參照?qǐng)D片的風(fēng)格來(lái)改變目標(biāo)圖片風(fēng)格，同時(shí)保證輸出圖片的真實(shí)性。這類(lèi)算法可用于不同季節(jié)的圖像風(fēng)格轉(zhuǎn)換、白天向夜間圖像轉(zhuǎn)換等。而藝術(shù)圖像風(fēng)格遷移則主要用于將真實(shí)圖像轉(zhuǎn)換成繪畫(huà)風(fēng)格的圖像。圖2展示了這兩類(lèi)風(fēng)格遷移算法的效果，通過(guò)圖2中上下兩行圖片轉(zhuǎn)換效果的對(duì)比可以看出，這兩類(lèi)算法雖然都能起到風(fēng)格轉(zhuǎn)換的作用，但轉(zhuǎn)換后圖像的真實(shí)性存在較大差異。

本文中使用真實(shí)圖像風(fēng)格遷移算法為訓(xùn)練樣本添加惡劣環(huán)境下圖像的風(fēng)格，來(lái)增加惡劣環(huán)境下樣本數(shù)量。算法分為兩個(gè)步驟：風(fēng)格轉(zhuǎn)換和圖像平滑，風(fēng)格轉(zhuǎn)換將目標(biāo)圖片向風(fēng)格圖片進(jìn)行變換，針對(duì)變換后的圖像語(yǔ)義相同的部分風(fēng)格不連貫的問(wèn)題，使用圖像平滑方法消除這種影響，使變換后的圖像風(fēng)格更加接近真實(shí)圖像。

圖2中，圖2(a)列為風(fēng)格圖片，圖2(b)列為目標(biāo)圖片，圖2(c)列為風(fēng)格遷移后的圖片。第一行為真實(shí)圖像風(fēng)格遷移效果，第二行為藝術(shù)圖像風(fēng)格遷移效果。

圖2 圖像風(fēng)格遷移算法效果

1.1 風(fēng)格轉(zhuǎn)換

本文中圖像的風(fēng)格轉(zhuǎn)換借助卷積神經(jīng)網(wǎng)絡(luò)來(lái)完成，在進(jìn)行轉(zhuǎn)換之前，首先訓(xùn)練出一個(gè)用于圖像重建的自編碼器。自編碼器中，使用VGG-19[15]作為編碼器ε，固定其參數(shù)，并訓(xùn)練與之結(jié)構(gòu)對(duì)稱(chēng)的解碼器D進(jìn)行輸入圖像重建。VGG-19 中使用最大池化進(jìn)行下采樣，在解碼器中，為了保留特征圖的空間信息，利用編碼器中的池化掩碼進(jìn)行反池化操作，達(dá)到上采樣的目的。自編碼器結(jié)構(gòu)如圖3所示。

圖3 自編碼器結(jié)構(gòu)

轉(zhuǎn)換過(guò)程可以分為3個(gè)步驟：

(1)使用編碼器對(duì)風(fēng)格圖片IS和內(nèi)容圖片IC進(jìn)行特征提取，得到兩張圖片對(duì)應(yīng)的特征向量HS=ε(IS)、HC=ε(IC)。

(2)使用如下公式對(duì)HC進(jìn)行轉(zhuǎn)換，得到轉(zhuǎn)換后的特征向量HCS

HCS=PSPCHC

(1)

(3)使用解碼器對(duì)轉(zhuǎn)換后的特征向量HCS進(jìn)行解碼，得到風(fēng)格轉(zhuǎn)換后的圖片Y=D(HCS)。

1.2 圖像平滑

解碼器輸出的圖像存在過(guò)于風(fēng)格化且風(fēng)格不連貫的問(wèn)題，需要使用圖像平滑方法消除這種影響，使其更加接近真實(shí)圖像。圖像平滑的優(yōu)化目的有兩點(diǎn)：①使圖像中相鄰區(qū)域內(nèi)容相似的像素具有相似的風(fēng)格；②使平滑處理前后圖像差異較小，保留風(fēng)格變換后圖像的整體風(fēng)格。

對(duì)于輸出圖像Y，像素之間的相似矩陣可表示為W={wij}∈RN×N，其中N為圖像Y中的像素?cái)?shù)量。根據(jù)上述優(yōu)化方向，將目標(biāo)函數(shù)定義為

(2)

2 惡劣環(huán)境下的圖像分類(lèi)模型

本文通過(guò)圖像分類(lèi)任務(wù)來(lái)驗(yàn)證風(fēng)格遷移方法對(duì)惡劣環(huán)境下模型效果的提升。由于惡劣環(huán)境下工作的模型通常部署在嵌入式設(shè)備中，因此本文選用PeleeNet這一輕量級(jí)網(wǎng)絡(luò)作為基本骨架，并根據(jù)近年來(lái)網(wǎng)絡(luò)訓(xùn)練及加速方面的研究成果對(duì)其進(jìn)行相應(yīng)改進(jìn)。

2.1 激活函數(shù)

Relu激活函數(shù)由于形式簡(jiǎn)單、不易產(chǎn)生梯度消失與梯度爆炸的問(wèn)題，在神經(jīng)網(wǎng)絡(luò)中被普遍使用，原始的PeleeNet網(wǎng)絡(luò)結(jié)構(gòu)也將其作為網(wǎng)絡(luò)的激活函數(shù)。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，出于速度和精度上的綜合考量，Pytorch、Tensorflow等深度學(xué)習(xí)框架默認(rèn)使用單精度浮點(diǎn)運(yùn)算在GPU上進(jìn)行模型訓(xùn)練。模型訓(xùn)練結(jié)束后，為了獲得更快的推理速度、更小的模型尺寸，通常會(huì)使用更低的精度將其部署到移動(dòng)端設(shè)備上，如8 bit或16 bit。對(duì)于Relu激活函數(shù)來(lái)說(shuō)，沒(méi)有對(duì)網(wǎng)絡(luò)激活值進(jìn)行限制，激活值的輸出范圍是[0,+∞)，這將導(dǎo)致模型以低精度方式運(yùn)行時(shí)，較大的激活值可能產(chǎn)生精度損失。因此，本文中將激活函數(shù)替換成Relu6[16]，降低量化過(guò)程帶來(lái)的模型精度損失，Relu6激活函數(shù)的數(shù)學(xué)定義如下

y=min(max(0,x),6)

(3)

式中：x和y分別為激活函數(shù)的輸入、輸出值。

2.2 改進(jìn)的分類(lèi)損失

原始PeleeNet中，在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)，使用交叉熵作為網(wǎng)絡(luò)的損失函數(shù)

(4)

式中：p為one-hot編碼的樣本真實(shí)標(biāo)簽，q為Softmax輸出的類(lèi)別置信度。Softmax公式如下

(5)

式中：C為類(lèi)別數(shù)，f=[f1,f2,…,fC]為神經(jīng)網(wǎng)絡(luò)輸出的特征向量。

本文中，對(duì)分類(lèi)損失函數(shù)進(jìn)行了改進(jìn)，保留交叉熵?fù)p失函數(shù)，同時(shí)在損失函數(shù)中對(duì)所有BatchNorm[17]層的縮放參數(shù)進(jìn)行了L1正則化。L1正則化會(huì)使得縮放參數(shù)在訓(xùn)練過(guò)程中呈現(xiàn)稀疏化的趨勢(shì)，這一技術(shù)由Zhuang Liu等[18]提出，并被應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)通道剪枝中。在進(jìn)行剪枝通道選取時(shí)，對(duì)縮放參數(shù)進(jìn)行全局排序，將排序后的縮放參數(shù)作為通道保留的概率，文中將這一技術(shù)稱(chēng)為“稀疏性訓(xùn)練”。在實(shí)驗(yàn)中發(fā)現(xiàn)，這一技術(shù)不僅能起到剪枝通道選取的作用，其作為一種正則化手段，同樣能提高網(wǎng)絡(luò)性能，因此，本文中將其作為損失函數(shù)的一部分。加入上述正則化技術(shù)后，損失函數(shù)計(jì)算公式如下

(6)

式中：Lce為交叉熵?fù)p失，Γ為網(wǎng)絡(luò)中所有BatchNorm層縮放參數(shù)γ組成的集合，為了平衡兩項(xiàng)損失的權(quán)重，在L1正則化損失前加入平衡因子λ，λ取值通常為1e-4或1e-5。

2.3 標(biāo)簽平滑

另一方面，設(shè)y為圖像的真實(shí)標(biāo)簽，則使用獨(dú)熱編碼后的標(biāo)簽可表示為

(7)

當(dāng)使用交叉熵定義分類(lèi)損失并對(duì)其進(jìn)行優(yōu)化時(shí)，最優(yōu)解會(huì)出現(xiàn)在fy趨于無(wú)窮大而其它值盡可能小的情況下，這一優(yōu)化方向容易導(dǎo)致模型過(guò)擬合。為解決這一問(wèn)題，本文中使用標(biāo)簽平滑技術(shù)對(duì)模型訓(xùn)練時(shí)使用的獨(dú)熱編碼進(jìn)行處理。標(biāo)簽平滑的思想在Inception-v2[19]訓(xùn)練時(shí)被提出，此后研究人員對(duì)這一技術(shù)從理論[20]和實(shí)踐[21]層面進(jìn)行了詳盡分析，目前大量實(shí)驗(yàn)表明使用標(biāo)簽平滑可以提升模型性能。標(biāo)簽平滑技術(shù)對(duì)樣本的真實(shí)標(biāo)簽進(jìn)行如下編碼

(8)

式中：ε是一個(gè)較小的常量，通常取0.1。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文所用數(shù)據(jù)集為包含22 500張圖片的自然圖像數(shù)據(jù)集，共9個(gè)類(lèi)別，每個(gè)類(lèi)別2500張圖片。數(shù)據(jù)集中小部分樣本來(lái)源于ImageNet圖像分類(lèi)數(shù)據(jù)集，ImageNet數(shù)據(jù)集中每個(gè)類(lèi)別包含1000張圖片，圖片已完成標(biāo)注，本文從中選出所需的9個(gè)類(lèi)別，并對(duì)數(shù)據(jù)進(jìn)行人工篩選。另一部分圖片使用類(lèi)別關(guān)鍵字在搜索引擎中檢索，并爬取檢索結(jié)果。為了保證圖像質(zhì)量，每次只爬取檢索到的前500張圖片，此外，使用多種語(yǔ)言的關(guān)鍵詞在搜索引擎中檢索。

從搜索引擎爬取的圖片存在部分重復(fù)，本文借助卷積神經(jīng)網(wǎng)絡(luò)對(duì)所有爬取到的圖片進(jìn)行去重。具體分為兩個(gè)步驟：①使用在ImageNet上預(yù)訓(xùn)練的MobileNet模型對(duì)數(shù)據(jù)集中的每張圖片進(jìn)行特征提?。虎趯?duì)提取到的特征采用1：N的方式逐一比較，刪除相似度較高的圖片。

在對(duì)圖片進(jìn)行人工標(biāo)注時(shí)，由于在數(shù)據(jù)爬取時(shí)圖片按照關(guān)鍵詞進(jìn)行檢索，因此標(biāo)注時(shí)只需要按照類(lèi)別進(jìn)行“是”或“不是”的判斷任務(wù)即可。

3.2 圖像風(fēng)格遷移實(shí)驗(yàn)

圖像風(fēng)格遷移實(shí)驗(yàn)使用FastPhotoStyle算法的開(kāi)源實(shí)現(xiàn)進(jìn)行，軟件環(huán)境為：Ubuntu 16.04、CUDA 9.1、Anaconda3、PyTorch0.4.0。硬件環(huán)境使用NVIDIA RTX 2080Ti GPU進(jìn)行推理加速。

在PyTorch深度學(xué)習(xí)框架中，對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)時(shí)，由于數(shù)據(jù)變換速度較快，只需預(yù)定義好數(shù)據(jù)增強(qiáng)策略，對(duì)數(shù)據(jù)進(jìn)行變換在加載數(shù)據(jù)時(shí)與網(wǎng)絡(luò)訓(xùn)練同時(shí)進(jìn)行即可。但圖像風(fēng)格遷移耗時(shí)較多，無(wú)法做到實(shí)時(shí)處理，因此本文采用離線數(shù)據(jù)增強(qiáng)的方式對(duì)數(shù)據(jù)集中樣本進(jìn)行處理。實(shí)驗(yàn)中使用了沙塵、大霧、雨天、雪天4種風(fēng)格的圖片對(duì)數(shù)據(jù)集中樣本進(jìn)行風(fēng)格遷移。

內(nèi)容圖片在向沙塵、大霧風(fēng)格進(jìn)行遷移時(shí)可以輸出較好的結(jié)果，而向雨、雪風(fēng)格遷移后的圖片質(zhì)量較差。由于在向沙塵、大霧風(fēng)格進(jìn)行遷移時(shí)，內(nèi)容圖像主要進(jìn)行了色調(diào)上的修改，而向雨、雪風(fēng)格進(jìn)行遷移不僅需要色調(diào)變換，還需要向內(nèi)容圖片中添加雨、雪元素，導(dǎo)致圖像過(guò)于風(fēng)格化。

3.3 圖像分類(lèi)網(wǎng)絡(luò)改進(jìn)實(shí)驗(yàn)

3.3.1 實(shí)驗(yàn)配置

本文在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)，使用的硬件環(huán)境為：NVIDIA RTX 2080Ti GPU，Intel?CoreTMi7-8700 CPU@3.20 GHz，RAM 32.0 GB。所有算法都是在Windows 10操作系統(tǒng)下編程實(shí)現(xiàn)，代碼使用PyTorch1.4深度學(xué)習(xí)框架進(jìn)行編寫(xiě)，并使用CUDA 10.1進(jìn)行加速。本文中所有實(shí)驗(yàn)均是在單卡上運(yùn)行。

模型訓(xùn)練時(shí)，批大小設(shè)置為128。實(shí)驗(yàn)中使用Adam[22]優(yōu)化方法進(jìn)行模型參數(shù)更新，學(xué)習(xí)率初始值設(shè)置為3e-3。每次實(shí)驗(yàn)設(shè)置的迭代次數(shù)均為160輪次(epoch)，實(shí)驗(yàn)中采用學(xué)習(xí)率按步長(zhǎng)衰減的策略，每40輪迭代，將學(xué)習(xí)率調(diào)整為原來(lái)的1/10。

此外，由于數(shù)據(jù)量的限制，本文并未從頭開(kāi)始訓(xùn)練隨機(jī)初始化的模型，而是根據(jù)已發(fā)布的ImageNet預(yù)訓(xùn)練模型進(jìn)行微調(diào)訓(xùn)練。模型微調(diào)訓(xùn)練流程如圖4所示。

在圖4中，模型由特征提取器F和分類(lèi)器CLS兩部分組成。模型微調(diào)訓(xùn)練分為3個(gè)階段：模型初始化階段、第一微調(diào)階段、第二微調(diào)階段。在模型初始化階段，除網(wǎng)絡(luò)最后的全連接層外，其余層參數(shù)均使用預(yù)訓(xùn)練模型參數(shù)進(jìn)行初始化，全連接層使用Kaiming_normal[23]方法進(jìn)行初始化。在模型初始化的同時(shí)，從預(yù)訓(xùn)練模型中加載的參數(shù)被凍結(jié)，不參與第一階段的微調(diào)訓(xùn)練。在第一微調(diào)階段，對(duì)全連接層的參數(shù)進(jìn)行更新，當(dāng)訓(xùn)練結(jié)束后，將網(wǎng)絡(luò)中所有參數(shù)設(shè)置為可更新?tīng)顟B(tài)。最后，在第二微調(diào)階段對(duì)模型所有參數(shù)進(jìn)行更新，得到收斂后的模型。

圖4 微調(diào)訓(xùn)練流程

3.3.2 消融實(shí)驗(yàn)

本節(jié)實(shí)驗(yàn)中研究了多種不同特征對(duì)分類(lèi)網(wǎng)絡(luò)性能的影響，具體包括：Relu6激活函數(shù)，加入正則化項(xiàng)的損失函數(shù)，標(biāo)簽平滑。實(shí)驗(yàn)中所用數(shù)據(jù)集為包含22 500張圖片的數(shù)據(jù)集，其中每個(gè)類(lèi)別2500張圖片，共9個(gè)類(lèi)別，每個(gè)類(lèi)別中150張圖片被劃分到測(cè)試集，剩余圖片用于網(wǎng)絡(luò)訓(xùn)練。實(shí)驗(yàn)結(jié)果見(jiàn)表1，實(shí)驗(yàn)中基線模型使用Relu作為激活函數(shù)，使用交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練，未使用標(biāo)簽平滑技術(shù)。引入這3種特征后，可以得到分類(lèi)效果最好的模型。

表1 不同特征對(duì)分類(lèi)網(wǎng)絡(luò)準(zhǔn)確率的影響

3.4 風(fēng)格遷移用于圖像分類(lèi)任務(wù)

風(fēng)格遷移作為一種數(shù)據(jù)增強(qiáng)方法，為了驗(yàn)證其在惡劣環(huán)境下對(duì)圖像算法魯棒性的影響，本節(jié)使用風(fēng)格遷移后的圖像擴(kuò)充訓(xùn)練集，并重新進(jìn)行網(wǎng)絡(luò)訓(xùn)練。實(shí)驗(yàn)中從每個(gè)類(lèi)別隨機(jī)選取500張圖片進(jìn)行風(fēng)格遷移，對(duì)轉(zhuǎn)換后的圖片進(jìn)行一輪人工篩選，共保留350張與自然圖像較為接近的樣本。

3.3.2節(jié)中實(shí)驗(yàn)使用的測(cè)試集test1每個(gè)類(lèi)別包含150張圖片，共1350張，其中只包含少量惡劣環(huán)境樣本。除此測(cè)試集外，本節(jié)實(shí)驗(yàn)單獨(dú)準(zhǔn)備了只包含惡劣環(huán)境樣本的測(cè)試集test2，這些樣本均為惡劣環(huán)境下采集的自然圖像，未經(jīng)過(guò)任何處理。由于惡劣環(huán)境下的樣本采集難度較大，test2中只包含49張測(cè)試圖片。

表2中展示了使用風(fēng)格遷移進(jìn)行數(shù)據(jù)增強(qiáng)前后模型的分類(lèi)效果。未使用風(fēng)格遷移的訓(xùn)練集樣本量為21 150張圖片，使用了風(fēng)格遷移后，在訓(xùn)練集中增加了數(shù)據(jù)增強(qiáng)樣本350張。在test1數(shù)據(jù)集上，數(shù)據(jù)增強(qiáng)前后模型的準(zhǔn)確率相同，但是在test2數(shù)據(jù)集上，數(shù)據(jù)增強(qiáng)技術(shù)使得模型分類(lèi)準(zhǔn)確率提升了8.2%，說(shuō)明風(fēng)格遷移作為一種數(shù)據(jù)增強(qiáng)技術(shù)，可以顯著提升圖像算法在惡劣環(huán)境下的魯棒性。

表2 風(fēng)格遷移對(duì)模型魯棒性的影響

上述實(shí)驗(yàn)結(jié)果中，雖然風(fēng)格遷移使模型在惡劣環(huán)境數(shù)據(jù)下的表現(xiàn)有了較大提升，但是與正常環(huán)境下的分類(lèi)效果相比，準(zhǔn)確率仍存在較大差距。為避免生成樣本對(duì)模型識(shí)別正常圖像的效果產(chǎn)生影響，本實(shí)驗(yàn)中對(duì)于風(fēng)格遷移算法生成的圖像，只將人工挑選出的與自然圖像差異較小的樣本用于訓(xùn)練，相比于訓(xùn)練集中所有樣本的數(shù)據(jù)規(guī)模，生成樣本的占比較小。增加惡劣環(huán)境的樣本數(shù)量后，模型在惡劣環(huán)境下的效果仍有較大提升空間。

4 結(jié)束語(yǔ)

本文使用圖像風(fēng)格遷移進(jìn)行數(shù)據(jù)增強(qiáng)，增加了難以采集的大霧、風(fēng)沙條件下的樣本量，提升了模型在惡劣環(huán)境下的表現(xiàn)。在進(jìn)行分類(lèi)任務(wù)時(shí)，使用PeleeNet作為網(wǎng)絡(luò)骨架，并對(duì)網(wǎng)絡(luò)中用到的激活函數(shù)和損失函數(shù)進(jìn)行了調(diào)整，采用了標(biāo)簽平滑的訓(xùn)練策略，提升了模型的分類(lèi)效果。但是本文所用方法仍然存在風(fēng)格遷移成功率較低、圖像分類(lèi)模型受惡劣環(huán)境影響較大等問(wèn)題，這些問(wèn)題有待于在未來(lái)的研究中進(jìn)一步解決。