尚志亮，王 偉，楊，嘉明珍，馬存良

（江西理工大學(xué) 信息工程學(xué)院，江西 贛州 341000）

0 引 言

隨著城市化的快速發(fā)展和人口數(shù)量的增加，我國城市垃圾的數(shù)量逐年上升。對于如何做到垃圾的有效分類和無害化處理，已成為環(huán)境保護和能源可持續(xù)利用的熱點問題，其中垃圾分類是處理垃圾的前提。目前城市垃圾分類主要依靠人工分揀，這種方式不僅任務(wù)繁重而且效率低下，浪費了大量人力。對于經(jīng)典的分類算法，黃惠玲等利用K-means聚類算法對建筑垃圾的顏色特征進行提取與分類，識別過程所需時間較長，平均為1.17 s。

隨著深度學(xué)習(xí)的發(fā)展，涌現(xiàn)出了許多廣為人知的卷積神經(jīng)網(wǎng)絡(luò)，如VGG、GoogLeNet、ResNet等。在利用深度學(xué)習(xí)進行垃圾分類方面也取得了一定的成果。武凌等設(shè)計了一種基于深度遷移學(xué)習(xí)的模型，對多種常見的可回收垃圾進行識別分類，并設(shè)計了Web應(yīng)用模型，但模型的準(zhǔn)確率僅為90%。汪洋等通過訓(xùn)練Inception V3卷積神經(jīng)網(wǎng)絡(luò)結(jié)合硬件設(shè)計了垃圾分類小程序，其網(wǎng)絡(luò)識別率僅91.71%。齊鑫宇等提出采用特征多層次化解決圖像局部特征表達方面存在的復(fù)雜性、模糊性不足等問題，搭建新的模型框架，將識別準(zhǔn)確率平均提高了10個百分點，最終達到了92%。本文提出一種基于VGG網(wǎng)絡(luò)的垃圾圖片處理算法，通過加入L1、L2正則化，并使用CutMix數(shù)據(jù)增強技術(shù)來構(gòu)建準(zhǔn)確率較高和魯棒性較強的垃圾圖像識別網(wǎng)絡(luò)。

1 數(shù)據(jù)集獲取

數(shù)據(jù)集主要通過網(wǎng)絡(luò)采集獲得，包括有害垃圾、可回收物、廚余垃圾和其他垃圾4類共計17 365張圖片，此外又細(xì)分為30個小類，其中包括有害垃圾5類、廚余垃圾3類、可回收垃圾19類和其他垃圾3類。數(shù)據(jù)集分為訓(xùn)練集和測試集，訓(xùn)練集有14 924張垃圾圖像，測試集有2 441張垃圾圖像。將所有的數(shù)據(jù)集均處理為jpg格式。

2 數(shù)據(jù)增強

目前存在的圖像增強技術(shù)主要有：Mixup、Cutout和CutMix。Cutout是指隨機將圖像中的部分區(qū)域減除，并填充0像素值，分類的結(jié)果不變；Mixup是指將隨機的兩張圖像按比例進行混合，分類結(jié)果按照一定比例分配；CutMix隨機將圖像的一部分區(qū)域減除但不填充0像素而是隨機填充訓(xùn)練集中其他圖像的等區(qū)域像素值。本文使用CutMix技術(shù)進行數(shù)據(jù)增強。CutMix操作的計算公式為：

圖1 CutMix數(shù)據(jù)增強技術(shù)原理

通過隨機生成一個邊界框得到，該邊界框的參數(shù)為：=(r,r,r,r)，該參數(shù)通過下式得到：

圖2 CutMix處理圖像

3 實驗網(wǎng)絡(luò)模型的設(shè)計

VGG網(wǎng)絡(luò)結(jié)構(gòu)簡單，使用多個小卷積疊加來代替大卷積核，一方面減少了隱藏層中的參數(shù)，另一方面增強了非線性映射，通過多個卷積核的疊加達到了一定的深度，也在一定程度上增加了網(wǎng)絡(luò)的擬合能力。根據(jù)層深將其稱為VGG16或VGG19網(wǎng)絡(luò)，本文采用VGG16網(wǎng)絡(luò)，即13層卷積層加3層全連接層，其中池化層選取Max池化，激活函數(shù)選取ReLU函數(shù)，使用Adam方法更新參數(shù)。

本文所使用的硬件設(shè)備為Intel Corei7-10700K @ 3.80 GHz八核處理器、32 GB內(nèi)存、11 GB NVIDIA GeForce RTX 2080 Ti顯卡，開發(fā)環(huán)境為64位Windows 10系統(tǒng)、Python 3.8、PyCharm。訓(xùn)練過程中通過VGG16網(wǎng)絡(luò)的13層卷積層對30個小類的垃圾圖像進行特征提取，然后處理為一維數(shù)據(jù)，通過3層全連接層輸出并保存垃圾圖像的訓(xùn)練權(quán)重。測試過程中，首先輸入測試集的圖像數(shù)據(jù)，加載已訓(xùn)練好的模型權(quán)重。通過VGG16網(wǎng)絡(luò)輸出測試圖像對應(yīng)類別的權(quán)重，最后一層Softmax分類器輸出30個小類別對應(yīng)的概率。模型訓(xùn)練過程和測試流程如圖3所示。

圖3 模型訓(xùn)練和測試流程

神經(jīng)網(wǎng)絡(luò)的過擬合問題是指對訓(xùn)練集有著很好的擬合效果而對測試集擬合效果較差。我們主要采取了以下兩種方法防止過擬合：

（1）Dropout方法使用在 VGG16網(wǎng)絡(luò)的全連接層，通過在全連接層中依概率隨機刪除一定數(shù)量的神經(jīng)元來減少網(wǎng)絡(luò)中的參數(shù)。本文使用的刪除概率為0.5，避免了訓(xùn)練過程中由于大權(quán)重而導(dǎo)致完全依賴某一權(quán)重的情況。

（2）權(quán)值衰減方法包括L1和L2正則化。卷積神經(jīng)網(wǎng)絡(luò)中單個交叉熵誤差表達式為：

式中：表示交叉熵誤差值；y表示神經(jīng)網(wǎng)絡(luò)的輸出；t表示正確解的標(biāo)簽，采用one-hot編碼，即t編碼中只有正確解對應(yīng)的索引為1，其余索引值均為0。在總體交叉熵誤差值后加權(quán)重的范數(shù)平方來約束損失函數(shù)稱為L2正則化，如下所示：

式中：第一項為所有樣本的交叉熵誤差之和，除以實現(xiàn)正規(guī)化；第二項為L2范數(shù)的平方，用來控制正則化強度的系數(shù)（≥0），越大對大權(quán)重的懲罰就越重，系數(shù)1/2是求導(dǎo)的調(diào)整量。L1正則化是指在損失函數(shù)后添加L1范數(shù)項，其表達式為：

結(jié)合權(quán)重的更新，其表達式為：

式中，（≤1）為學(xué)習(xí)率（learning rate）。顯然帶有正則化項的損失函數(shù)經(jīng)過每一次迭代首先都要乘以一個小于1的因子，這使得每一次的權(quán)重更新都在不斷減小，但對于不同大小的權(quán)重減小的程度不同。若權(quán)重較大時，權(quán)重迭代更新的下降速度較快，當(dāng)較小時，權(quán)重下降速度較慢，這就解釋了為什么可以利用添加正則化的方法來防止過擬合。

4 實驗結(jié)果分析

為了觀察使用CutMix數(shù)據(jù)增強技術(shù)和損失函數(shù)修改前后的實現(xiàn)效果，我們通過訓(xùn)練原數(shù)據(jù)集和經(jīng)CutMix拓展數(shù)據(jù)集前后不添加正則化、單獨添加L1正則化、單獨添加L2正則化以及共同添加L1、L2正則化的8類模型，并通過測試集評估各種模型的準(zhǔn)確率和損失函數(shù)。

（1）使用原數(shù)據(jù)集，設(shè)置初始學(xué)習(xí)率為0.000 1，迭代周期為50進行訓(xùn)練，其測試集的準(zhǔn)確率和訓(xùn)練過程損失函數(shù)如圖4所示。

圖4 使用原數(shù)據(jù)集的模型訓(xùn)練過程

Experiment 1-0、1-1、1-2和1-3分別表示不加入正則化、加入L1正則化、加入L2正則化和同時加入L1和L2正則化的訓(xùn)練過程，其正確率分別為：91.17%、91.43%、91.68%和91.60%，可見加入正則化后模型正確率提升幅度不大。原VGG16網(wǎng)絡(luò)損失函數(shù)曲線有一定的波動，在10個epoch左右基本趨于平穩(wěn)，但準(zhǔn)確率在10個epoch前后仍呈上升的趨勢，而加入正則化后損失函數(shù)變得更加光滑且模型準(zhǔn)確率上升時損失函數(shù)不斷下降。

（2）使用CutMix數(shù)據(jù)增強技術(shù)拓展訓(xùn)練集，通過若干次訓(xùn)練確定最優(yōu)超參數(shù)。網(wǎng)絡(luò)訓(xùn)練過程如圖5所示。

圖5 使用CutMix數(shù)據(jù)增強的模型訓(xùn)練過程

Experiment 2-0、2-1、2-2和2-3表示使用CutMix數(shù)據(jù)增強方法拓展數(shù)據(jù)集后加入不同正則化后的訓(xùn)練過程，其正確率分別為：91.93%、92.26%、92.18%和92.05%，與不使用數(shù)據(jù)增強和不加入正則化的訓(xùn)練結(jié)果Experiment 1-0相比，在加入CutMix數(shù)據(jù)增強之后的模型正確率都有上升，分別提高了0.76%、1.09%、1.01%和0.88%。

（3）為模擬現(xiàn)實情況中垃圾圖像的復(fù)雜性，我們通過CutMix技術(shù)隨機處理測試集中若干張垃圾圖片，將處理后的圖片與其標(biāo)簽分別使用1-0和2-1模型權(quán)重進行預(yù)測，對比改進前后模型的泛化能力和魯棒性，其預(yù)測結(jié)果如圖6所示。每張圖像下方是其所對應(yīng)的原始類別以及兩種模型輸出的測試類別和測試概率。

圖6 CutMix處理圖片后兩種模型的預(yù)測結(jié)果對比

通過對上述兩種模型結(jié)果的分析，圖像經(jīng)過CutMix技術(shù)處理之后對1-0模型的預(yù)測結(jié)果影響較大，在對第2幅、第5幅和第8幅圖片進行測試時產(chǎn)生了誤判，且除第6幅以外的圖片正確標(biāo)簽的得分均比2-1模型低。說明通過引入CutMix數(shù)據(jù)增強的方法訓(xùn)練模型在提高模型預(yù)測準(zhǔn)確率的同時增強了模型的魯棒性。

5 結(jié) 語

針對現(xiàn)實生活中垃圾圖像數(shù)量不足和環(huán)境復(fù)雜等情況，導(dǎo)致在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時存在準(zhǔn)確率不高、魯棒性不強的問題，本文通過使用CutMix數(shù)據(jù)增強技術(shù)來擴充數(shù)據(jù)集并加入正則化改進VGG16網(wǎng)絡(luò)，分別討論了8種不同的模型，通過大量實驗確定了使用CutMix數(shù)據(jù)增強的方法可以有效提高模型的準(zhǔn)確率和泛化性；通過加入L1和L2正則化，使損失函數(shù)在訓(xùn)練過程中變得光滑且不再過早趨于平穩(wěn)。本文中的2-1模型較原網(wǎng)絡(luò)有著較強的魯棒性和更高的準(zhǔn)確率，對日常生活中的垃圾識別率達到了92.26%，較原網(wǎng)絡(luò)模型提升了1.09%，具有較好的應(yīng)用前景和實用價值。