亢紅波，蔡學(xué)瑞,楊 亮，周倩倩

(1.西安郵電大學(xué) 自動(dòng)化學(xué)院，陜西 西安 710121;2.中國(guó)石油測(cè)井有限公司 測(cè)井技術(shù)研究院，陜西 西安 710054)

垃圾分類[1]是指按一定規(guī)定或標(biāo)準(zhǔn)將垃圾分類儲(chǔ)存、投放和搬運(yùn)，實(shí)現(xiàn)資源回收利用。垃圾回收利用是發(fā)展循環(huán)經(jīng)濟(jì)的首要環(huán)節(jié)，更是解決環(huán)境污染問(wèn)題、改善人居環(huán)境的關(guān)鍵所在。中國(guó)現(xiàn)行的垃圾分類以住房和城鄉(xiāng)建設(shè)部于2019年發(fā)布的《生活垃圾分類標(biāo)志》為準(zhǔn)，即將生活垃圾分為可回收物、廚余垃圾、其他垃圾和有害垃圾等4個(gè)大類。目前，國(guó)內(nèi)大多數(shù)垃圾處理廠對(duì)垃圾進(jìn)行分類時(shí)，仍是依靠人工分揀的方式，不僅不利于相關(guān)從業(yè)者的身心健康，而且分揀效率低，無(wú)法及時(shí)處理現(xiàn)代社會(huì)生活中產(chǎn)生的大量垃圾。未及時(shí)清理的垃圾不僅會(huì)影響環(huán)境的整潔美觀，也容易滋生細(xì)菌、產(chǎn)生有害氣體，危害人的身體健康。

在生活垃圾分類領(lǐng)域，適用于小型垃圾分類裝置的垃圾分類方法大致分為基于傳感技術(shù)、基于光譜技術(shù)、基于介電常數(shù)和基于機(jī)器視覺(jué)等4類。在基于傳感技術(shù)的分類方法中，單個(gè)傳感器可檢測(cè)的材料單一，需要多個(gè)傳感器合作檢測(cè)，檢測(cè)系統(tǒng)復(fù)雜[2]?；诠庾V技術(shù)的分類方法僅能分類塑料材質(zhì)的物品，且價(jià)格昂貴，無(wú)法普及[3]。基于介電常數(shù)的分類方法對(duì)物品材質(zhì)有要求，無(wú)法推廣普及[4]?；跈C(jī)器視覺(jué)的分類方法(即圖像分類)相比于其他方法具有成本低、效率高、穩(wěn)定性強(qiáng)和應(yīng)用領(lǐng)域廣泛等優(yōu)點(diǎn)[5]。早期的圖像分類方法[6]需要人工提取圖像的特征，不僅魯棒性差、復(fù)雜度高，而且耗時(shí)長(zhǎng)、實(shí)時(shí)性差。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)因其擬合能力強(qiáng)大、可以自主學(xué)習(xí)并提取數(shù)據(jù)特征以及運(yùn)行速度快等特性，在圖像分類領(lǐng)域得到了廣泛的應(yīng)用[7]。深度卷積神經(jīng)網(wǎng)絡(luò)為推動(dòng)圖像分類領(lǐng)域飛速發(fā)展所做出的貢獻(xiàn)，也同樣對(duì)垃圾分類領(lǐng)域的發(fā)展起到了促進(jìn)作用。斯坦福大學(xué)為推動(dòng)垃圾分類的發(fā)展所建立的TrashNet數(shù)據(jù)集[8]包含了約2 500張圖像。2019年，華為建立了包含了上萬(wàn)垃圾圖像樣本數(shù)據(jù)的數(shù)據(jù)集。這些垃圾圖像數(shù)據(jù)集的建立，使垃圾智能分類的可操作性進(jìn)一步增強(qiáng)。

目前，基于圖像分類的垃圾分類大多停留在理論階段，雖然隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，垃圾圖像分類的準(zhǔn)確率早已滿足日常生活所需，但考慮到網(wǎng)絡(luò)模型結(jié)構(gòu)復(fù)雜，對(duì)于硬件設(shè)備的性能要求過(guò)高，無(wú)法在小型嵌入式設(shè)備中使用。國(guó)內(nèi)設(shè)計(jì)的適用于生活垃圾分類的小型智能垃圾分類裝置也大多側(cè)重于機(jī)械結(jié)構(gòu)的設(shè)計(jì)與控制，在垃圾分類方面存在準(zhǔn)確率低、可分類物品種類較少等問(wèn)題。因此，擬基于圖像分類的方法設(shè)計(jì)一種低成本、可用于生活垃圾處理領(lǐng)域的小型智能垃圾分類裝置。該裝置使用雙控制器，將專用于神經(jīng)網(wǎng)絡(luò)相關(guān)領(lǐng)域的小型嵌入式設(shè)備——Jetson nano作為主控制器完成垃圾圖像的采集、識(shí)別與分類。使用傳統(tǒng)的小型嵌入式設(shè)備STM32F103作為副控制器完成對(duì)裝置的控制、相關(guān)信息的采集與上報(bào)，從而實(shí)現(xiàn)垃圾分類、人機(jī)交互和實(shí)時(shí)監(jiān)測(cè)等功能。

1 垃圾分類算法設(shè)計(jì)

1.1 垃圾分類數(shù)據(jù)集建立

目前公開(kāi)的垃圾數(shù)據(jù)集中具有較好反響且得到廣泛使用的僅有TrashNet數(shù)據(jù)集和華為垃圾數(shù)據(jù)集，因此，自建垃圾分類數(shù)據(jù)集的樣本圖像主要來(lái)自華為垃圾數(shù)據(jù)集中的圖像數(shù)據(jù)、搜索并篩選的符合要求的垃圾圖像以及實(shí)景采集各類垃圾圖像等3個(gè)方面，共14 100張垃圾圖像，其中可回收物5 700張，廚余垃圾2 400張，其他垃圾2 700張，有害垃圾3 300張。

1.2 垃圾圖像預(yù)處理

圖像預(yù)處理[9]是將樣本圖像的大小處理為模型接受的標(biāo)準(zhǔn)圖像，并在樣本圖像中增加干擾以達(dá)到提高模型的抗干擾能力和泛化能力。對(duì)自建垃圾分類數(shù)據(jù)集中的圖像進(jìn)行預(yù)處理，通過(guò)調(diào)整圖像大小，使用圖像增強(qiáng)技術(shù)，模擬實(shí)際應(yīng)用過(guò)程中圖像受到的干擾并將圖像進(jìn)行標(biāo)準(zhǔn)化處理，保證在符合設(shè)計(jì)模型輸入要求的同時(shí)最大程度保留圖像中物體的原貌。

1.2.1 垃圾圖像大小調(diào)整

考慮到卷積神經(jīng)網(wǎng)絡(luò)模型的輸入圖像固定大小為224×224，因此在將自建垃圾圖像數(shù)據(jù)集中的圖像輸入模型前，先利用雙線性插值算法[10]調(diào)整圖像大小，其核心思想是根據(jù)最鄰近的4個(gè)像素點(diǎn)的值計(jì)算出新的像素點(diǎn)的值。

使用雙線性插值算法直接將圖像大小縮放為224×224，會(huì)改變圖像的長(zhǎng)寬比例，造成圖像失真，如圖1(b)所示。因此，先利用等比縮放處理圖像后再進(jìn)行中心裁剪。假設(shè)原圖大小為m×n且滿足(m>n)，將圖像縮放為(224·m/n)×244，再利用中心裁剪的方法將圖像裁剪為224×224的圖像，如圖1(c)所示。

圖1 圖像大小調(diào)整效果對(duì)比

由圖1可以看出，直接將圖像縮放為224×224，圖像的長(zhǎng)寬比例變化會(huì)導(dǎo)致圖像中的物體產(chǎn)生形變，而調(diào)整后的縮放圖像，在保持圖像中物體原有比例的前提下最大程度地保留物體的主體部分。

1.2.2 垃圾圖像增強(qiáng)

在實(shí)際進(jìn)行圖像識(shí)別過(guò)程中，會(huì)受各種因素影響，如復(fù)雜的物理環(huán)境、光照強(qiáng)度的變化、物體被遮擋以及成像后的顏色失真，因此難以獲得高質(zhì)量的圖像。為了保證圖像識(shí)別模型的抗干擾能力和泛化能力足夠強(qiáng)，在訓(xùn)練模型的時(shí)候使用圖像增強(qiáng)技術(shù)，模擬實(shí)際拍攝過(guò)程中圖像在形態(tài)、亮度和顏色等各方面的變化，如：調(diào)整亮度、對(duì)比度與飽和度模擬光照強(qiáng)度的變化；利用隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)與透視和仿射變換模擬放置位置的變化；利用隨機(jī)裁剪與隨機(jī)擦除模擬污漬的影響。訓(xùn)練模型前在樣本圖像中加入隨機(jī)干擾和變化，可以增強(qiáng)神經(jīng)網(wǎng)絡(luò)模型的抗干擾能力。

1.2.3 垃圾圖像標(biāo)準(zhǔn)化

圖像標(biāo)準(zhǔn)化[11]是通過(guò)去均值的方式實(shí)現(xiàn)圖像中像素值的中心化，數(shù)據(jù)中心化符合數(shù)據(jù)分布規(guī)律，從而增強(qiáng)模型的泛化能力。

假設(shè)第n個(gè)圖像通道的輸入值為In、方差為Sn、均值為Mn，則對(duì)通道n的圖像標(biāo)準(zhǔn)化后輸出為On(In-Mn)/Sn

自建垃圾分類數(shù)據(jù)集的圖像通道為三通道，根據(jù)自建垃圾分類數(shù)據(jù)集的圖像統(tǒng)計(jì)結(jié)果可得各通道的方差分別為S1=0.225、S2=0.224、S3=0.229，均值分別為M1=0.406、M2=0.456、M3=0.485。

1.3 垃圾分類模型的修改與訓(xùn)練

考慮到AlexNet[12-13]、VGGNet[14]、ResNet[15-16]、GoogLeNet[17]、EfficientNet[18]和MobileNet[19]等模型是針對(duì)ImageNet數(shù)據(jù)集進(jìn)行設(shè)計(jì)的，ImageNet數(shù)據(jù)集將圖像分為了1 000類，而自建垃圾分類數(shù)據(jù)集將圖像分為4類，因此修改網(wǎng)絡(luò)模型的輸出層，使其可以將圖像分為4類。又考慮到模型參數(shù)是在ImageNet中訓(xùn)練得出，不能直接用于垃圾圖像分類，需通過(guò)自建垃圾圖像數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練以調(diào)整參數(shù)。模型的修改與訓(xùn)練過(guò)程如圖2所示。

圖2 模型的修改與訓(xùn)練過(guò)程

2 垃圾分類算法實(shí)驗(yàn)

對(duì)AlexNet、VGGNet、ResNet、GoogLeNet、EfficientNet和MobileNet模型分別進(jìn)行遷移學(xué)習(xí)[20]對(duì)比實(shí)驗(yàn)，第一組實(shí)驗(yàn)將各模型的參數(shù)隨機(jī)初始化，使得原有參數(shù)對(duì)訓(xùn)練結(jié)果不產(chǎn)生影響；第二組實(shí)驗(yàn)使用遷移學(xué)習(xí)的方法，初始化時(shí)加載在ImageNet數(shù)據(jù)集中訓(xùn)練得到的參數(shù)，再使用自建垃圾分類圖像數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，僅對(duì)模型參數(shù)進(jìn)行微調(diào)。

每組實(shí)驗(yàn)都從自建垃圾分類圖像數(shù)據(jù)集中選取2 000張圖像(每類垃圾各選500張)作為測(cè)試集，其余部分作為訓(xùn)練集。實(shí)驗(yàn)中所有模型都訓(xùn)練30代，訓(xùn)練完成后使用測(cè)試集對(duì)模型進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果分別如表1和表2所示。

表1 隨機(jī)初始化模型參數(shù)的結(jié)果

表2 遷移學(xué)習(xí)的方法初始化模型參數(shù)的結(jié)果

由表1的結(jié)果可知，將模型參數(shù)進(jìn)行隨機(jī)初始化后，準(zhǔn)確率最高的GoogLeNet模型僅達(dá)到了74.1%的準(zhǔn)確率，各模型在未加載預(yù)訓(xùn)練參數(shù)時(shí)準(zhǔn)確率普遍不高。從較為簡(jiǎn)單的AlexNet模型到復(fù)雜的EfficientNet-B0模型，準(zhǔn)確率隨著模型的深度增加而增加，但是EfficientNet-B0模型由于訓(xùn)練數(shù)據(jù)集樣本數(shù)量不充足，模型的準(zhǔn)確率并不高。

由表2的結(jié)果可知，使用遷移學(xué)習(xí)的方法對(duì)模型參數(shù)進(jìn)行初始化，可以有效提升模型的訓(xùn)練效果，各個(gè)模型的準(zhǔn)確率明顯提升，準(zhǔn)確率最低的AlexNet模型也達(dá)到了88.9%的準(zhǔn)確率，這說(shuō)明使用遷移學(xué)習(xí)的方法對(duì)模型參數(shù)進(jìn)行初始化可以提高模型的準(zhǔn)確率。同時(shí)，Efficientnet-B0模型也因?yàn)槭褂昧诉w移學(xué)習(xí)的方法，改善了數(shù)據(jù)集樣本數(shù)量不足的問(wèn)題，準(zhǔn)確率有了明顯提升。

通過(guò)上述兩組實(shí)驗(yàn)可以看出，MobileNet-v2模型在使用遷移學(xué)習(xí)方法前后都有較高的準(zhǔn)確率，使用遷移學(xué)習(xí)方法之后準(zhǔn)確率高達(dá)93.4%，在6種模型中準(zhǔn)確率最高，且MobileNet-v2模型使用了深度可分離卷積技術(shù)，減少了網(wǎng)絡(luò)模型的參數(shù)，提高了計(jì)算速度，很好地平衡了算法的實(shí)時(shí)性與準(zhǔn)確率，也降低了對(duì)硬件的要求。

3 智能垃圾分類裝置設(shè)計(jì)

MobileNet-v2模型的準(zhǔn)確率較高，并且其復(fù)雜度低、計(jì)算量小的特性使其非常適合應(yīng)用于嵌入式設(shè)備中。因此，利用TensorFlow將訓(xùn)練好的MobileNet-v2模型移植到Jetson nano中，設(shè)計(jì)一種智能垃圾分類裝置，實(shí)現(xiàn)垃圾分類的實(shí)際應(yīng)用。智能垃圾分類裝置主要有以下5種功能。

1)裝置狀態(tài)檢測(cè)。智能垃圾桶通過(guò)溫濕度傳感器與超聲波模塊實(shí)時(shí)檢測(cè)垃圾桶的溫濕度與滿溢度。

2)智能語(yǔ)音播報(bào)。檢測(cè)到的溫度超過(guò)設(shè)定閾值時(shí)，發(fā)出警報(bào)。垃圾桶內(nèi)的垃圾堆滿時(shí)，提示用戶及時(shí)清理垃圾。

3)狀態(tài)信息上傳。智能垃圾桶連接WiFi后可以將垃圾桶的溫濕度、滿溢度和位置等信息通過(guò)互聯(lián)網(wǎng)傳輸?shù)竭h(yuǎn)程服務(wù)器，用戶可以通過(guò)電腦、手機(jī)等設(shè)備遠(yuǎn)程查看垃圾桶狀態(tài)，方便管理。

4)智能顯示。實(shí)時(shí)顯示垃圾桶當(dāng)前狀態(tài)，方便用戶對(duì)裝置進(jìn)行設(shè)置與測(cè)試，還可投放廣告。

5)垃圾自動(dòng)分類及分揀。智能垃圾桶可以智能識(shí)別出放置于分類板上的垃圾，并將其投入對(duì)應(yīng)的垃圾桶。

3.1 裝置硬件設(shè)計(jì)

為了提高識(shí)別和控制的準(zhǔn)確性和實(shí)時(shí)性，裝置采用雙核結(jié)構(gòu)，實(shí)現(xiàn)穩(wěn)定而高效的運(yùn)行。裝置硬件組成如圖3所示。

圖3 裝置的硬件組成與連接

選用Jetson nano作為主控單元，主要負(fù)責(zé)對(duì)攝像頭傳回的圖像數(shù)據(jù)進(jìn)行處理和分類。主控單元通過(guò)相機(jī)串行接口(Camera Serial Interface，CSI)連接攝像頭進(jìn)行圖像采集，通過(guò)高清晰度多媒體接口(High Definition Multimedia Interface,HDMI)連接觸摸屏用于人機(jī)交互，通過(guò)通用串行總線(Universal Serial Bus,USB)連接副控制器STM32F103。

副控制器STM32F103可以根據(jù)主控單元的分類結(jié)果控制舵機(jī)完成相應(yīng)的動(dòng)作以達(dá)到自動(dòng)分類的目的。副控制器還分別通過(guò)通用異步收發(fā)傳輸器(Universal Asynchronous Receiver/Transmitter,UART)串口連接全球定位系統(tǒng)(Global Positioning System,GPS)定位模塊、語(yǔ)音模塊和WiFi模塊，通過(guò)通用輸入輸出(General Purpose Input/Output,GPIO)接口連接超聲波測(cè)距模塊和溫濕度傳感器。

溫濕度傳感器實(shí)現(xiàn)對(duì)垃圾桶的安全監(jiān)測(cè)、防范火災(zāi)等安全隱患。超聲波測(cè)距模塊實(shí)時(shí)監(jiān)測(cè)垃圾桶是否堆滿。GPS定位模塊確定垃圾桶的位置。語(yǔ)音模塊使用人聲發(fā)出警報(bào)和提示，使得該裝置更加人性化、智能化。WiFi模塊將裝置的狀態(tài)通過(guò)互聯(lián)網(wǎng)傳送到遠(yuǎn)程服務(wù)器中，方便統(tǒng)一管理。

3.2 裝置軟件設(shè)計(jì)

裝置的軟件設(shè)計(jì)包括垃圾圖像識(shí)別模型的移植、舵機(jī)控制以及環(huán)境信息的采集與上傳。首先，在Jetson nano中安裝TensorFlow，程序運(yùn)行時(shí)先利用TensorFlow加載訓(xùn)練好的MobileNet-v2模型。作為主控制器的Jetson nano在系統(tǒng)啟動(dòng)時(shí)需要進(jìn)行初始化操作并加載模型，然后通過(guò)攝像頭獲取分類板上的圖像。當(dāng)檢測(cè)到分類板上有垃圾時(shí)，需要先將圖像進(jìn)行處理以便可以在輸入模型中進(jìn)行分類。最后，利用訓(xùn)練好的模型進(jìn)行分類預(yù)測(cè)，并將分類結(jié)果發(fā)送給副控制器。主控制器軟件設(shè)計(jì)流程如圖4所示。當(dāng)STM32F103副控制器接收到主控制器傳輸來(lái)的分類結(jié)果時(shí)，根據(jù)分類結(jié)果利用PCA9685舵機(jī)驅(qū)動(dòng)板控制舵機(jī)轉(zhuǎn)動(dòng)，完成分類。副控制器除了實(shí)現(xiàn)舵機(jī)控制的功能外，還監(jiān)測(cè)垃圾桶的溫濕度和滿溢度并發(fā)出警報(bào)或者提示，最后將垃圾桶的溫濕度、滿溢度和位置信息通過(guò)WiFi模塊上傳至網(wǎng)絡(luò)服務(wù)器。副控制器的軟件流程如圖5所示。

圖4 主控制器軟件設(shè)計(jì)流程

圖5 副控制器軟件設(shè)計(jì)流程

4 智能垃圾分類裝置測(cè)試

為了驗(yàn)證智能垃圾分類裝置的可行性及其在實(shí)際應(yīng)用中的表現(xiàn)，實(shí)際測(cè)試中在4類垃圾中各選出25個(gè)物品作為測(cè)試樣品，每個(gè)樣品投放4次，統(tǒng)計(jì)其識(shí)別準(zhǔn)確率，結(jié)果如表3所示。

表3 垃圾投放測(cè)試結(jié)果

從表3可以看出，智能垃圾分類裝置對(duì)于可回收物和有害垃圾的識(shí)別準(zhǔn)確率非常高，分別達(dá)到了95%和96%，對(duì)于廚余垃圾和其他垃圾的識(shí)別準(zhǔn)確率較低，但準(zhǔn)確率最低的其他垃圾也達(dá)到了86%。該裝置的平均準(zhǔn)確率達(dá)到了92%，滿足日常生活需求。

經(jīng)測(cè)試，該裝置可以正常獲取垃圾桶的溫濕度、滿溢度與位置信息，并即時(shí)顯示與上傳，在垃圾桶已滿或溫度異常時(shí)會(huì)及時(shí)發(fā)出提示與警報(bào)，實(shí)現(xiàn)了垃圾分類、人機(jī)交互和實(shí)時(shí)監(jiān)測(cè)等功能。

5 結(jié)語(yǔ)

將圖像分類方法應(yīng)用于垃圾分類，通過(guò)遷移學(xué)習(xí)的方法提高了垃圾分類的準(zhǔn)確率，并基于此設(shè)計(jì)了一種低成本、可用于生活垃圾分類領(lǐng)域的小型智能垃圾分類裝置，利用TensorFlow將訓(xùn)練好的MobileNet-v2模型移植到Jetson nano中，完成裝置的硬件和軟件的設(shè)計(jì)。實(shí)測(cè)結(jié)果表明，該智能垃圾分類裝置的平均準(zhǔn)確率達(dá)到92%，滿足日常生活需求。該裝置不僅實(shí)現(xiàn)了垃圾的自動(dòng)分類與分揀，更是通過(guò)視聽(tīng)與互聯(lián)網(wǎng)等多種渠道將裝置的狀態(tài)信息告知用戶，使該裝置的使用更加安全、更加方便。