孟德堯，吳榮海，楊鄧奇

（1.大理大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院，大理 671003；2.大理大學(xué)工程實(shí)訓(xùn)中心，大理 671003）

0 引言

隨著全球經(jīng)濟(jì)的不斷發(fā)展，居民的生活水平不斷提高，生活垃圾的生產(chǎn)量也在逐年增加。由于城市人口多，環(huán)境容量有限，城市地區(qū)的生活垃圾污染問題變得更加嚴(yán)重。垃圾回收任務(wù)是緩解環(huán)境和改善整個(gè)國(guó)家經(jīng)濟(jì)的有效途徑。垃圾回收工作的效率和質(zhì)量在很大程度上取決于垃圾分揀的有效性。針對(duì)人工分揀垃圾存在的工作量大、易出錯(cuò)、分揀效率低等問題，一些學(xué)者提出了智能垃圾識(shí)別與分類方法，通過機(jī)器識(shí)別垃圾圖像實(shí)現(xiàn)自動(dòng)分類，降低人工成本，進(jìn)一步提高資源的再利用率。

近年來，深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得了突出的成績(jī)，被廣泛應(yīng)用于垃圾分類。例如，文獻(xiàn)［8］用DenseNet169模型在自制的垃圾數(shù)據(jù)集NWNU-TRASH（廢玻璃、廢織物、廢紙、廢塑料和廢金屬，共18911張）上實(shí)現(xiàn)垃圾分類，取得了82%的準(zhǔn)確率。文獻(xiàn)［9］使用支持向量機(jī)（SVM）和ResNet50（SVM）模型在TrashNet標(biāo)桿數(shù)據(jù)集（包括玻璃、紙張、紙板、塑料、金屬和普通垃圾六個(gè)類別）上進(jìn)行垃圾分類，準(zhǔn)確率分別為63%和87%。文獻(xiàn)［10］通過數(shù)據(jù)增強(qiáng)的方法，將TrashNet上的圖像分別做了水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和隨機(jī)25 °旋轉(zhuǎn)，將數(shù)據(jù)集擴(kuò)充了四倍，其中90%作為訓(xùn)練集，10%作為測(cè)試集，利用遺傳算法優(yōu)化DenseNet121的全連接層，取得了99.6%的準(zhǔn)確率?，F(xiàn)有基于深度學(xué)習(xí)的垃圾分類主要基于TrashNet數(shù)據(jù)集來實(shí)現(xiàn)，取得了很高的準(zhǔn)確率。

然而，受限于垃圾圖像數(shù)據(jù)集，現(xiàn)有垃圾分類的研究沒有考慮生活垃圾的組成成分問題。生活垃圾往往包括廢舊電池、過期藥品等有害垃圾。有害垃圾和無害垃圾的處理方式不同，將有害垃圾誤當(dāng)作無害垃圾處理，對(duì)環(huán)境和生命造成嚴(yán)重的威脅。在實(shí)現(xiàn)垃圾自動(dòng)識(shí)別和分揀時(shí)，如何盡可能降低有害垃圾的漏判誤差（將有害垃圾誤識(shí)別為無害垃圾的誤差）是個(gè)亟待解決的問題。

本文采用網(wǎng)絡(luò)爬蟲和手動(dòng)拍照的方式建了一個(gè)包含廢舊電池、過期藥品等有害垃圾的數(shù)據(jù)集，并提出了基于保守集成策略的垃圾自動(dòng)識(shí)別方法，實(shí)現(xiàn)有害垃圾的低漏判自動(dòng)分揀。本文的主要貢獻(xiàn)：

（1）構(gòu)建了一個(gè)包含有害垃圾和無害垃圾的垃圾圖像數(shù)據(jù)集，包括3281張垃圾圖像，分為七類：廢舊電池、過期軟膏、過期藥物、廢玻璃、廢紙、廢塑料和廢金屬。

（2）提出了基于保守集成策略的垃圾自動(dòng)識(shí)別方法，降低了有害垃圾的漏判誤差。

1 方法和數(shù)據(jù)集

1.1 數(shù)據(jù)集

本文通過網(wǎng)絡(luò)爬蟲和手動(dòng)拍照構(gòu)建了生活垃圾（Domestic Trash，DTrash）數(shù)據(jù)集，包括廢舊電池（321張）、過期藥物（448張）、過期軟膏（387張）、廢玻璃（501張）、廢紙（522張）、廢金屬（551張）、廢塑料（551張）七個(gè)類別，其中廢舊電池、過期藥物、過期軟膏是有害垃圾，有害垃圾圖像的比例為35.23%。DTrash數(shù)據(jù)集中所有圖像均為RGB格式，大小不一。我們使用Python3.5.3平臺(tái)的Python Imaging Library中的resize（）方法調(diào)整了所有圖像的大小，以滿足DNN模型對(duì)輸入圖像大小的要求。DTrash數(shù)據(jù)集的圖像示例如圖1所示。

圖1 DTrash數(shù)據(jù)集的圖像示例

實(shí)際生活中無害垃圾往往比有害垃圾多，因此，本文對(duì)數(shù)據(jù)集的各個(gè)類別不做平衡處理。隨機(jī)地將DTrash數(shù)據(jù)集按8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，見表1。

表1 訓(xùn)練集、驗(yàn)證集和測(cè)試集詳細(xì)信息

1.2 集成學(xué)習(xí)方法

為了提高模型的性能，本文先對(duì)VGG-16、ResNet-50、ResNext-50、Vision Transformer（ViT）和Vision Transformer Hybrid（ViTHybrid）在DTrash數(shù)據(jù)集上進(jìn)行了測(cè)試，結(jié)果表明，ViT模型、ViT-Hybrid模型具有更好的性能。因此，本文的集成學(xué)習(xí)方法采用了這兩個(gè)模型。ViT和ViT-Hybrid模型的描述見表2。

表2 ViT和ViT-Hybrid模型的信息

本文設(shè)計(jì)了基于保守策略的垃圾圖像自動(dòng)識(shí)別集成學(xué)習(xí)方法，如圖2所示。該方法的目的是在實(shí)現(xiàn)垃圾分類時(shí)，盡可能減小將有害垃圾預(yù)測(cè)為無害垃圾的概率。

圖2（a）部分是將ViT、ViT-Hybrid在ImageNet上預(yù)訓(xùn)練的權(quán)重遷移到訓(xùn)練DTrash的模型上。ViT、ViT-Hybrid模型在DTrash訓(xùn)練集上訓(xùn)練后得到集成模型。將測(cè)試集輸入集成模型得到預(yù)測(cè)結(jié)果。

圖2 集成學(xué)習(xí)方法用于自動(dòng)識(shí)別垃圾圖像

基于保守策略的集成學(xué)習(xí)方法使用了遷移學(xué)習(xí)，將在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的ViT和ViT-Hybrid模型的權(quán)重參數(shù)遷移到DTrash數(shù)據(jù)集，對(duì)全連接層和SoftMax進(jìn)行微調(diào)，再采用保守策略將兩個(gè)模型集成，得到集成模型。在本文的保守策略中，如果模型ViT和ViT-Hybrid對(duì)同一輸入圖像的預(yù)測(cè)結(jié)果至少有一個(gè)是有害垃圾時(shí)，集成模型會(huì)將該圖像預(yù)測(cè)為有害垃圾（0）。如果模型ViT和ViT-Hybrid對(duì)同一輸入圖像都無法識(shí)別時(shí)，集成模型會(huì)將該圖像預(yù)測(cè)為不確定圖像（）。否則，集成模型會(huì)將圖像預(yù)測(cè)為無害垃圾（1）。保守集成策略定義見式（1）。

1.3 模型評(píng)價(jià)

現(xiàn)有的研究將所有垃圾類別平等對(duì)待，通常使用準(zhǔn)確率來評(píng)價(jià)模型性能。本文旨在有效分離有害垃圾和無害垃圾，盡可能地減小有害垃圾被錯(cuò)誤地識(shí)別為無害垃圾的概率。因此，本文使用三個(gè)評(píng)價(jià)指標(biāo)：有害垃圾圖像的漏判誤差（E）、無害垃圾圖像的誤判誤差（E），圖像總體誤差（E），分別定義為公式（2）、（3）和（4）。

其中表示實(shí)際是有害垃圾，模型也將其預(yù)測(cè)為有害垃圾的照片數(shù)量。表示實(shí)際是無害垃圾，模型也將其預(yù)測(cè)為無害垃圾的照片數(shù)量。表示實(shí)際是無害垃圾，模型將其預(yù)測(cè)為有害垃圾的照片數(shù)量。表示實(shí)際是有害垃圾，模型將其預(yù)測(cè)為無害垃圾的照片數(shù)量。記有害垃圾圖像集合為，無害垃圾圖像集合為。定義有害垃圾標(biāo)簽集合L={過期藥品、廢舊電池、過期藥品}；無害垃圾標(biāo)簽集合L={廢玻璃、廢紙、廢金屬、廢塑料}。那么，，，和可分別定義為公式（5）、（6）、（7）和（8）：“::=”表示“定義為”，“（）”表示集成模型為圖像“”分配的預(yù)測(cè)標(biāo)簽。對(duì)任意一張有害垃圾圖像，模型只要將其預(yù)測(cè)為集合L中的任一標(biāo)簽都屬于；對(duì)任意一張無害垃圾圖像，模型只要將其預(yù)測(cè)為集合L中的任一標(biāo)簽都屬于；對(duì)任意一張無害垃圾圖像，模型只要將其預(yù)測(cè)為集合L中的任一標(biāo)簽都屬于；對(duì)任意一張有害垃圾圖像，模型只要將其預(yù)測(cè)為集合L中的任一標(biāo)簽都屬于。

E直觀地反映模型錯(cuò)誤預(yù)測(cè)的有害垃圾圖像占測(cè)試集有害垃圾圖像總數(shù)的比例。E直觀地反映模型自動(dòng)預(yù)測(cè)為有害垃圾圖像中無害垃圾圖像的比例。

2 實(shí)驗(yàn)結(jié)果

有害垃圾圖像和無害垃圾圖像二分類的實(shí)驗(yàn)結(jié)果如表3所示，集成模型漏判誤差（E）、誤判誤差（E）和總體誤差（E）分別0%，11.63%和4.57%。實(shí)驗(yàn)結(jié)果表明，盡管集成模型的誤判誤差和總體誤差都有所增加，但保守的集成策略有效地降低了有害垃圾的漏判誤差，防止了將有害垃圾識(shí)別為無害垃圾。圖3為集成模型和兩個(gè)DNN模型對(duì)應(yīng)的二分類混淆矩陣。

圖3 集成模型（左）、ViT（中）、ViT-Hybrid（右）對(duì)有害垃圾、無害垃圾的預(yù)測(cè)結(jié)果

表3 單模型與集成模型各指標(biāo)對(duì)比

3 討論

基于保守策略的集成學(xué)習(xí)方法在識(shí)別垃圾時(shí)，保證了有害垃圾不會(huì)被識(shí)別為無害垃圾。但是垃圾分類的總體準(zhǔn)確率也是值得關(guān)注的指標(biāo)。圖4給出了多分類實(shí)驗(yàn)結(jié)果的混淆矩陣?；煜仃囎笊戏?×3的矩陣是有害垃圾內(nèi)部的預(yù)測(cè)結(jié)果，右下方4×4的矩陣是無害垃圾內(nèi)部的預(yù)測(cè)結(jié)果。

圖4 多分類實(shí)驗(yàn)結(jié)果混淆矩陣

多分類的準(zhǔn)確率（）計(jì)算公式如（9）所示：

其中X表示實(shí)際為第類別，模型將其預(yù)測(cè)為第類別的標(biāo)簽的圖像數(shù)，為類別數(shù)。

從圖4可以發(fā)現(xiàn)，實(shí)際為有害垃圾，集成模型也將其預(yù)測(cè)為有害垃圾的圖像（114張）中，其準(zhǔn)確率為96.49%；實(shí)際為無害垃圾，模型也將其預(yù)測(cè)為無害垃圾的圖像（198張）中，其準(zhǔn)確率為91.92%。實(shí)驗(yàn)結(jié)果表明，集成模型在有效控制了有害垃圾漏判誤差的同時(shí)，將有害和無害兩類垃圾內(nèi)部類別間的誤識(shí)別誤差控制在一個(gè)較低的水平。

4 結(jié)語

針對(duì)如何盡可能降低有害垃圾的漏判誤差問題，本文設(shè)計(jì)了基于保守策略的垃圾圖像自動(dòng)識(shí)別集成學(xué)習(xí)方法，在自制DTrash數(shù)據(jù)集上訓(xùn)練集成模型，測(cè)試結(jié)果顯示，集成模型獲得了較低的漏判誤差（0%），有效地防止了有害垃圾被誤識(shí)別為無害垃圾，并將有害和無害兩類垃圾內(nèi)部類別間識(shí)別誤差維持在一個(gè)較低的范圍。