汪 濤

(1.閩江學(xué)院計(jì)算機(jī)與控制工程學(xué)院，福建 福州 350108；2.福建省信息處理與智能控制重點(diǎn)實(shí)驗(yàn)室(閩江學(xué)院)， 福建 福州 350108)

0 引 言

近年來(lái)，我國(guó)的生活垃圾清運(yùn)量以每年約5%的速度持續(xù)增長(zhǎng)，截至2018年底已達(dá)到2.28億t[1]。伴隨著世界各國(guó)對(duì)垃圾分類的大力倡導(dǎo)，國(guó)內(nèi)外研究者提出了一系列基于計(jì)算機(jī)視覺(jué)的智能化垃圾分類、檢測(cè)與分割算法[2-6]。垃圾廢棄物分割指的是在給定的輸入圖像中，通過(guò)算法自動(dòng)將圖像中的每個(gè)像素根據(jù)其語(yǔ)義類別是否屬于垃圾進(jìn)行分類[7]。除語(yǔ)義分割外，還可對(duì)每個(gè)垃圾物體實(shí)例進(jìn)行檢測(cè)和分割[8]。由于垃圾廢棄物在家庭、辦公室和校園等不同環(huán)境中隨處可見(jiàn)，基于圖像的垃圾廢棄物目標(biāo)分割在智能機(jī)器人抓取、物體三維姿態(tài)估計(jì)、基于內(nèi)容的圖像檢索等場(chǎng)景下有著廣泛的應(yīng)用。然而，與一般物體相比，垃圾廢棄物分割有其特殊性和難度。首先，垃圾廢棄物往往是不完整或污損的，因此其表觀特征的變化較一般物體更大。要判斷一個(gè)物品是否是垃圾，往往存在一定的歧義性，需要結(jié)合圖像中的空間上下文才能準(zhǔn)確預(yù)測(cè)。例如，一節(jié)5號(hào)電池放在桌上時(shí)一般是有用的，但扔在地上時(shí)很可能就是垃圾。因此，本文提出一種基于多模態(tài)RGBD[9]特征與多尺度支持向量機(jī)[10]的廢棄物目標(biāo)分割算法。首先，基于RGBD相機(jī)所拍攝的深度圖像，可提取關(guān)于場(chǎng)景和物體間空間幾何關(guān)系的深度特征，作為表觀特征的補(bǔ)充。在表觀特征變化較大，因而導(dǎo)致算法準(zhǔn)確率降低的情況下尤為有用。其次，對(duì)圖像進(jìn)行多尺度的超像素過(guò)分割，并在不同尺度下訓(xùn)練基于樣本學(xué)習(xí)的分類器，可以更好地融合圖像中的空間上下文信息。粗尺度下，分類器主要學(xué)習(xí)物體與場(chǎng)景的整體空間布局關(guān)系；細(xì)尺度下，分類器主要學(xué)習(xí)如何還原物體的精細(xì)邊緣輪廓形狀。由于垃圾廢棄物的定義較為寬泛，其物理尺寸也大小各異。訓(xùn)練多尺度下的分割算法，可對(duì)不同大小的垃圾物體都有較好的分割效果。

近年來(lái)，基于計(jì)算機(jī)視覺(jué)的智能化垃圾分類、檢測(cè)、分割等技術(shù)受到了研究人員廣泛關(guān)注。例如，Yang和Thung所提出的TrashNet數(shù)據(jù)集是在圖像垃圾分類問(wèn)題上最早提出的數(shù)據(jù)集之一[2]，作者比較了支持向量機(jī)與類AlexNet卷積神經(jīng)網(wǎng)絡(luò)[11]在垃圾分類問(wèn)題上的性能。Rad等人提出了一種基于OverFeat[12]的街道垃圾檢測(cè)算法[4]。Bai等人提出了一種基于深度學(xué)習(xí)的草地垃圾檢測(cè)算法[5]。上述方法均不涉及輸出更加精細(xì)的目標(biāo)分割任務(wù)。在廢棄物目標(biāo)分割方面，浙江工業(yè)大學(xué)的張劍華等人提出在RGBD多模態(tài)數(shù)據(jù)中基于自適應(yīng)投影與深度學(xué)習(xí)的固體廢物分割算法[6,13]。本文采用的閩江學(xué)院垃圾廢棄物數(shù)據(jù)集[7]中，廢棄物目標(biāo)表觀特征變化更大，圖像背景也更加復(fù)雜。

在圖像語(yǔ)義分割領(lǐng)域，基于深度學(xué)習(xí)的算法已成為主流。其中最有代表性的工作是UC Berkeley的Long等人提出的全卷積網(wǎng)絡(luò)[14]。在此基礎(chǔ)上，人們提出了各種網(wǎng)絡(luò)設(shè)計(jì)，以提高全卷積網(wǎng)絡(luò)學(xué)習(xí)圖像空間上下文的能力，以及輸出形狀細(xì)節(jié)的精細(xì)程度，如Zhao等人提出的金字塔場(chǎng)景解析網(wǎng)絡(luò)PSPNet[15]與Chen等人提出的深度標(biāo)記DeepLab算法等[16]。卷積神經(jīng)網(wǎng)絡(luò)對(duì)部署的硬件環(huán)境要求較高，在沒(méi)有GPU的運(yùn)算環(huán)境下預(yù)測(cè)效率偏低。本文算法采用基于超像素與支持向量機(jī)分類器的技術(shù)路線[17]，不僅模型的訓(xùn)練速度更快，還可在僅使用CPU的運(yùn)算環(huán)境下達(dá)到接近實(shí)時(shí)的預(yù)測(cè)效率。

1 算法模型設(shè)計(jì)

根據(jù)基于超像素與樣本學(xué)習(xí)的圖像分割算法基本流程[17]，設(shè)計(jì)一個(gè)由超像素過(guò)分割、特征提取、支持向量機(jī)分類器在多尺度下同時(shí)處理輸入的彩色與深度圖像的算法模型，結(jié)構(gòu)如圖1所示。該算法的主要特點(diǎn)是在多尺度下并行處理，并通過(guò)逐像素加權(quán)求和的方式融合不同尺度下的目標(biāo)分割結(jié)果。彩色圖像同時(shí)用于生成超像素與提取表觀特征，深度圖像用于提取深度特征。生成超像素并提取特征后，可采用任何基于監(jiān)督或非監(jiān)督學(xué)習(xí)的分類器對(duì)每個(gè)超像素進(jìn)行分類。因支持向量機(jī)分類器訓(xùn)練簡(jiǎn)單、模型簡(jiǎn)潔、預(yù)測(cè)效率高，本文采用支持向量機(jī)作為分類器。

圖1 算法模型框架圖

1.1 問(wèn)題描述與數(shù)據(jù)預(yù)處理

圖2 使用SLIC算法設(shè)置超像素個(gè)數(shù)為200(左)和500(右)時(shí)的過(guò)分割結(jié)果

1.2 多模態(tài)特征提取

(1)

表1 超像素特征

1.3 基于多尺度支持向量機(jī)的目標(biāo)分割

可采用任意基于樣本學(xué)習(xí)的分類器作為超像素分類器。同時(shí)，對(duì)不同尺度下的超像素分類預(yù)測(cè)結(jié)果進(jìn)行融合。具體而言，將全圖的目標(biāo)分割結(jié)果x在像素(i,j)位置上的值記為xi,j，則xi,j應(yīng)根據(jù)式(2)由多尺度融合得到：

(2)

(3)

(4)

其中，vn為訓(xùn)練集特征中的支持向量，N為支持向量的個(gè)數(shù)，αn和yn∈{1,-1}分別為該支持向量的對(duì)偶系數(shù)與真實(shí)類別標(biāo)簽，b為偏置系數(shù)，κ(v,v')=exp(-γ||v-v'||2)為徑向基函數(shù)，γ>0是其參數(shù)。當(dāng)類別數(shù)C>2時(shí)，可使用一對(duì)一或一對(duì)多策略[19]獲得置信分?jǐn)?shù)。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

為驗(yàn)證本文提出目標(biāo)分割算法的有效性與訓(xùn)練、預(yù)測(cè)效率，在閩江學(xué)院垃圾廢棄物(MJU-Waste)數(shù)據(jù)集上測(cè)試方法性能。MJU-Waste數(shù)據(jù)集包含垃圾廢棄物和背景2個(gè)語(yǔ)義類別標(biāo)簽，總計(jì)2 475幅分辨率為640×480的彩色圖像與其所對(duì)應(yīng)的深度圖像。據(jù)作者所知，該數(shù)據(jù)集是目前唯一公開(kāi)發(fā)布的RGBD垃圾廢棄物分割數(shù)據(jù)集。數(shù)據(jù)集在實(shí)驗(yàn)室場(chǎng)景下使用Microsoft Kinect RGBD相機(jī)[9]拍攝，每幅圖像中都有采集者手持垃圾廢棄物，握持的姿勢(shì)隨意。每幅圖像中平均有1.02個(gè)廢棄物，廢棄物都是在閩江學(xué)院校園內(nèi)收集的，主要包括快遞包裝、塑料袋、飲料瓶、餐盒、廢舊生活用品等，部分物品如圖3所示。完整的數(shù)據(jù)集可從網(wǎng)上下載[7]。本文采用該數(shù)據(jù)集提供的訓(xùn)練、驗(yàn)證與測(cè)試集，分別包含1 485、248和742幅圖像。

圖3 閩江學(xué)院垃圾廢棄物(MJU-Waste)數(shù)據(jù)集中的廢棄物示例

2.2 評(píng)價(jià)指標(biāo)

沿用當(dāng)前通用的圖像語(yǔ)義分割方法[14-16]中的設(shè)定，實(shí)驗(yàn)采用如下評(píng)價(jià)指標(biāo)：廢棄物類別交并比(IoU)、廢棄物和背景類別的平均交并比(mIoU)、廢棄物類別像素精確度(prec)與平均像素精確度(mean)。用TP、FP和FN分別表示真正類(true positives)、假正類(false positives)和假負(fù)類(false negatives)像素?cái)?shù)，則上述指標(biāo)可表示為：

1)類別交并比。類別c的交并比定義為該類別模型預(yù)測(cè)與真實(shí)標(biāo)注的交集像素?cái)?shù)除以并集像素?cái)?shù)，由式(5)給出：

(5)

2)平均交并比。平均交并比是C個(gè)類別的交并比的平均值，由式(6)給出：

(6)

3)類別像素精確度。類別c的像素精確度為該類別的模型預(yù)測(cè)中正確的像素比例，由式(7)給出：

(7)

4)平均像素精確度。平均像素精確度是C個(gè)類別的像素精確度的平均值，由式(8)給出：

(8)

由于目標(biāo)分割問(wèn)題中的背景像素?cái)?shù)通常占多數(shù)，因此上述指標(biāo)中IoU和Prec對(duì)錯(cuò)分類的像素較mIoU和Mean更敏感，指標(biāo)值更低，也能更好地反映前景目標(biāo)的分割效果。

2.3 實(shí)驗(yàn)結(jié)果

表2給出本文算法在單尺度和多尺度下進(jìn)行目標(biāo)分割的性能指標(biāo)對(duì)比。其中，單尺度分割分別選取了使用SLIC算法設(shè)置超像素個(gè)數(shù)m為200和500時(shí)的結(jié)果。超像素個(gè)數(shù)為200對(duì)應(yīng)粗尺度分割結(jié)果，超像素個(gè)數(shù)為500對(duì)應(yīng)細(xì)尺度分割結(jié)果。多尺度分割則將上述兩種分割結(jié)果進(jìn)行融合。相比在單尺度下進(jìn)行目標(biāo)分割，多尺度分割中反映前景目標(biāo)分割效果的IoU和Prec均有顯著提高，分別比單尺度下性能較優(yōu)的細(xì)尺度分割提高2.69%和3.19%。同時(shí)反映前景和背景分割效果的mIoU和Mean也分別提高1.42%和1.60%。

表2 單尺度和多尺度分割的性能比較

為直觀比較單尺度和多尺度分割的性能差異，圖4展示了數(shù)據(jù)集中部分圖像采用粗尺度分割(m=200)、細(xì)尺度分割(m=500)和多尺度分割(K=2,m1=200,m2=500)的結(jié)果。圖中可見(jiàn)，粗尺度分割時(shí)因超像素面積較大，在刻畫(huà)物體形狀細(xì)節(jié)上的效果較差。細(xì)尺度分割在一定程度上緩解了這一問(wèn)題，但由于超像素的面積較小，無(wú)法獲取較大圖像區(qū)域內(nèi)的空間上下文信息，因此在遠(yuǎn)離廢棄物區(qū)域出現(xiàn)了一些錯(cuò)分類。多尺度分割既能較好地獲取圖像的空間上下文信息，又能較準(zhǔn)確地還原物體的邊緣輪廓形狀，因此取得了較好的分割效果。

圖4 單尺度和多尺度分割的結(jié)果比較

為了解深度特征對(duì)目標(biāo)分割性能指標(biāo)的影響，表3給出了單獨(dú)提取表觀特征、單獨(dú)提取深度特征與同時(shí)提取表觀和深度特征3種情況下的算法模型性能比較。單獨(dú)提取深度特征時(shí)并不能得到比表觀特征更好的效果，其主要原因是深度特征所包含的信息相對(duì)單一。然而，深度特征中所包含的立體幾何信息能對(duì)表觀特征起到補(bǔ)充作用。因此，同時(shí)提取表觀與深度特征時(shí)，算法的性能最優(yōu)。其中，IoU和Prec較單獨(dú)提取表觀特征時(shí)分別顯著提高了7.12%和8.65%，mIoU和Mean也提高了3.80%和4.33%。

表3 表觀特征與深度特征對(duì)算法性能的影響

本文算法的訓(xùn)練和部署時(shí)間開(kāi)銷均不高。雖然基于卷積神經(jīng)網(wǎng)絡(luò)的方法能取得更好的分割效果[7]，但其訓(xùn)練時(shí)間通常需要數(shù)小時(shí)以上，且部署環(huán)境需要GPU才可能有較高的預(yù)測(cè)效率。表4列出了本文算法的模型訓(xùn)練與測(cè)試開(kāi)銷。算法通過(guò)MATLAB軟件進(jìn)行仿真，并未進(jìn)行特別優(yōu)化。測(cè)試環(huán)境的計(jì)算機(jī)配置為i9-9900ks 4.00GHz CPU，64GB DDR4內(nèi)存。使用MJU-Waste數(shù)據(jù)集的1 485幅圖像進(jìn)行訓(xùn)練時(shí)，粗尺度和細(xì)尺度分割模型的訓(xùn)練時(shí)間分別僅需約15 s、約101 s，未經(jīng)壓縮的模型大小分別為3.6 MB與8.6 MB。由于模型測(cè)試時(shí)，粗尺度和細(xì)尺度分割可并行計(jì)算，因此本文算法與單獨(dú)進(jìn)行相對(duì)較慢的細(xì)尺度分割相比，在多核心CPU上并不會(huì)顯著增加模型測(cè)試開(kāi)銷。表4列出的時(shí)間不包含超像素過(guò)分割的開(kāi)銷，如配合快速SLIC算法[20](20 ms，50 fps)，以速度較慢的細(xì)尺度分割105 ms加上超像素分割所需的約20 ms，本文算法可在僅使用CPU的運(yùn)算環(huán)境下基本實(shí)現(xiàn)接近實(shí)時(shí)運(yùn)算(125 ms，8 fps)。如需進(jìn)一步降低運(yùn)算開(kāi)銷，可通過(guò)靈活控制超像素個(gè)數(shù)，犧牲部分性能來(lái)實(shí)現(xiàn)。

表4 模型訓(xùn)練與預(yù)測(cè)的運(yùn)算開(kāi)銷

3 結(jié)語(yǔ)

本文提出一種基于多模態(tài)特征與多尺度支持向量機(jī)的廢棄物目標(biāo)分割方法。該方法首先對(duì)輸入的彩色圖像進(jìn)行不同尺度下的超像素過(guò)分割，然后在每個(gè)超像素上提取表觀和深度特征，并訓(xùn)練支持向量機(jī)作為超像素分類器。實(shí)驗(yàn)表明，多尺度下模型的目標(biāo)分割性能明顯優(yōu)于單尺度下的性能。本文方法分割準(zhǔn)確率較高，訓(xùn)練和部署要求低，并有較好的實(shí)時(shí)性。