張兆屹，李和福，王明紅

（聊城大學(xué)物理科學(xué)與信息工程學(xué)院，聊城 252000）

0 引言

2020年我國全面建成小康社會(huì)，人們對(duì)美好生活的向往及物質(zhì)的需求愈發(fā)強(qiáng)烈，導(dǎo)致目前我國生活垃圾產(chǎn)量逐年上漲，使得我國成為世界上垃圾圍城形勢最為嚴(yán)峻的國家之一。伴隨著生活垃圾數(shù)量劇增、垃圾分類困難、肆意丟棄污染環(huán)境等一系列問題的出現(xiàn)，促使當(dāng)前全面啟動(dòng)垃圾分類工作迫在眉睫。

近年來，我國正加速推進(jìn)垃圾分類工作，在“十四五”規(guī)劃中，生活垃圾分類和處理設(shè)施建設(shè)進(jìn)入關(guān)鍵時(shí)期，垃圾分類工作已經(jīng)成為國家級(jí)的戰(zhàn)略目標(biāo)。規(guī)劃明確到2025年底，46個(gè)重點(diǎn)城市基本建成生活垃圾分類處理系統(tǒng)。但目前的解決方案還是以居民主動(dòng)分類和監(jiān)督員檢查的形式進(jìn)行，無形之中也給居民及監(jiān)督員增加負(fù)擔(dān)。同時(shí)，相關(guān)法規(guī)的不健全，居民的垃圾分類意識(shí)不強(qiáng)，垃圾種類過多難以精確分類等問題，依舊限制著我國現(xiàn)階段垃圾分類的發(fā)展。

隨著計(jì)算機(jī)硬件水平的不斷提升，大量學(xué)者在視覺領(lǐng)域投身相關(guān)研究工作，且在圖像識(shí)別方向上獲得豐碩的成果，為垃圾分類工作、圖像識(shí)別及嵌入式相結(jié)合提供了可行性，同時(shí)基于物聯(lián)網(wǎng)技術(shù)的智能垃圾分類系統(tǒng)也會(huì)應(yīng)運(yùn)而生。

綜上所述，需要尋求一種低成本、高靈敏度、智能化的垃圾分類技術(shù)以改善目前垃圾分類的現(xiàn)狀。

1 智能垃圾分類系統(tǒng)整體方案設(shè)計(jì)

1.1 系統(tǒng)整體方案設(shè)計(jì)

智能垃圾分類系統(tǒng)整體結(jié)構(gòu)采用“分布式”拓?fù)浣Y(jié)構(gòu)，相比于“主從式”與“集中式”的拓?fù)浣Y(jié)構(gòu)，其優(yōu)勢在于各部分相對(duì)獨(dú)立，可以避免干擾，減輕核心控制器的工作負(fù)擔(dān)。此外，為滿足日常調(diào)試、檢測方便以及便于硬件與軟件升級(jí)迭代等要求，本系統(tǒng)采用“分布式”拓?fù)浣Y(jié)構(gòu)的智能垃圾分類系統(tǒng)具有開發(fā)簡易、應(yīng)用靈活、使用方便等優(yōu)勢。系統(tǒng)由舵機(jī)、顯示屏搭建的終端設(shè)備、主控板及機(jī)器視覺識(shí)別等三部分組成。終端設(shè)備與主控部分通過串口（USART）或IO口進(jìn)行數(shù)據(jù)交換并執(zhí)行相應(yīng)操作；主控板與機(jī)器視覺識(shí)別模塊之間通過串口進(jìn)行識(shí)別分類信息傳達(dá)。系統(tǒng)整體設(shè)計(jì)框圖如圖1所示。

圖1 系統(tǒng)設(shè)計(jì)框圖

主控板硬件由供電電路、WiFi傳輸單元、顯示模塊、控制模塊和微控制器（MCU）組成。主控板采用STM32F103ZET6主控芯片，負(fù)責(zé)對(duì)識(shí)別到的垃圾分類標(biāo)簽進(jìn)行處理，通過USART通訊協(xié)議將信息發(fā)送至顯示屏并由WiFi模塊上傳至云服務(wù)器。機(jī)器視覺識(shí)別模塊由OpenMV模塊與攝像頭組成，采用MobileNet v2的CNN分類模型進(jìn)行識(shí)別分類。系統(tǒng)整體硬件框圖如圖2所示。

圖2 系統(tǒng)整體硬件框圖

1.2 系統(tǒng)硬件設(shè)計(jì)

1.2.1 終端設(shè)備模塊

終端設(shè)備模塊采用淘晶馳串口屏，該屏配有上位機(jī)開發(fā)套件，可拖動(dòng)相應(yīng)控件進(jìn)行自定義界面及顯示內(nèi)容。MCU僅需通過USART發(fā)送相應(yīng)指令便可完成組件屬性變更，極大地簡化了開發(fā)難度。使用MG90S舵機(jī)接入主控板的定時(shí)器（TIM）復(fù)用引腳，實(shí)現(xiàn)垃圾分類精準(zhǔn)投遞的目的。為提高識(shí)別準(zhǔn)確率，采用TCRT5000尋跡模塊與主控板IO口相連檢測投遞情況，避免在無垃圾情況下出現(xiàn)誤識(shí)別現(xiàn)象。終端設(shè)備模塊電路圖如圖3所示。

圖3 終端設(shè)備模塊電路

1.2.2 主控模塊

本系統(tǒng)采用STM32F103ZET6作為MCU主控核心。其具有足夠多的通用I/O口、豐富的復(fù)用接口功能、良好的數(shù)據(jù)處理能力以及成熟的開發(fā)環(huán)境和開發(fā)資料，滿足本系統(tǒng)對(duì)硬件資源的需求。該芯片內(nèi)含3個(gè)USART接口，可滿足本系統(tǒng)所需接口的需求。主控板硬件實(shí)物如圖4所示。

圖4 主控板硬件實(shí)物圖

1.2.3 機(jī)器視覺識(shí)別模塊

相比于其他處理器架構(gòu)，Cortex M7處理器體系較為成熟且便于開發(fā)者應(yīng)用，因此選擇將圖像算法部署到搭載此處理器的嵌入式機(jī)器視覺平臺(tái)OpenMV上。圖像采集裝置使用帶有OV5640攝像頭模組的OpenMV模塊，搭載STM32H743II主控核心。該模塊主要功能是通過攝像頭采集圖像信息，并送入模塊主控核心內(nèi)搭建的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行識(shí)別。此外，模塊與單片機(jī)PA2和PA3相連，通過USART協(xié)議將識(shí)別結(jié)果傳送至STM32主控芯片中。OpenMV硬件電路圖如圖5所示。

圖5 OpenMV硬件電路

1.2.4 WiFi模塊

采用帶有AT指令的ESP8266-01S模塊，MCU通過USART發(fā)送AT指令即可實(shí)現(xiàn)聯(lián)網(wǎng)上傳等操作。WiFi模塊與STM32主控板PB10和PB11相連，主控板通過發(fā)送AT指令聯(lián)網(wǎng)，通過MQTT協(xié)議報(bào)文內(nèi)容連接、訂閱服務(wù)器并上傳相關(guān)內(nèi)容。WiFi模塊硬件電路圖如圖6所示。

圖6 WiFi模塊硬件電路

2 系統(tǒng)軟件設(shè)計(jì)

2.1 分類算法設(shè)計(jì)

垃圾分類的核心是圖像的處理和識(shí)別，本系統(tǒng)采用的深度學(xué)習(xí)人工智能模型使用Keras深度學(xué)習(xí)框架，并基于TensorFlow后端運(yùn)行。由于本文所采用的機(jī)器視覺模塊其有限的RAM（1 MB）及flash（2 MB）致使無法運(yùn)行較大的深度學(xué)習(xí)模型，為此輕量化模型的選擇至關(guān)重要。

MobileNet v2是谷歌團(tuán)隊(duì)于2018年提出的輕量級(jí)神經(jīng)網(wǎng)絡(luò)，其相較于MobileNet v1版本，準(zhǔn)確率更高，模型更小。表1所示為在ImageNet數(shù)據(jù)集中不同分類網(wǎng)絡(luò)的性能比較。

表1 ImageNet數(shù)據(jù)集中不同分類網(wǎng)絡(luò)性能比較

由表1可知，MobileNet v2網(wǎng)絡(luò)在準(zhǔn)確率極小幅度降低的情況下，可大量減少參數(shù)與計(jì)算量，并在移動(dòng)端部署發(fā)揮更優(yōu)秀的綜合性能，因此更適合本文的應(yīng)用場景。MobileNet v2延續(xù)了MobileNet v1的深度可分離卷積的思想代替普通卷積，有效地減少模型的計(jì)算量與參數(shù)量。另外，MobileNet v2還提出了倒殘差結(jié)構(gòu)以提高精度等。在進(jìn)行深度可分離卷積之前，先經(jīng)過1×1的逐點(diǎn)卷積操作將特征圖的通道進(jìn)行擴(kuò)張，豐富特征維度，最后再通過1x1卷積進(jìn)行降維操作，將經(jīng)典的殘差塊順序顛倒，形成倒殘差結(jié)構(gòu)。倒殘差結(jié)構(gòu)如圖7所示。

圖7 MobileNet v2倒殘差結(jié)構(gòu)

本文以三分類為例，將數(shù)據(jù)集分為紙制品、塑料制品及鋁制品，共計(jì)3354張圖片，其中65%數(shù)據(jù)作為訓(xùn)練集，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)；15%數(shù)據(jù)作為驗(yàn)證集，用于驗(yàn)證模型性能和調(diào)整神經(jīng)網(wǎng)絡(luò)參數(shù)；20%數(shù)據(jù)作為測試集，用來測試已訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)性能。將數(shù)據(jù)集上傳至Edge Impulse平臺(tái)，調(diào)整訓(xùn)練集和驗(yàn)證集圖像大小為160×160 RGB格式。使用圖像平移、翻轉(zhuǎn)及拉伸等操作完成數(shù)據(jù)集的增強(qiáng)擴(kuò)充。訓(xùn)練時(shí)，模型參數(shù)設(shè)置如下：epoch為50，學(xué)習(xí)率為0.001，α為0.75，final layer為16 neurons，dropout為0.1。訓(xùn)練結(jié)果表明本模型的準(zhǔn)確率可以達(dá)到93%，如圖8所示，可準(zhǔn)確實(shí)現(xiàn)可回收垃圾的智能分類。

圖8 訓(xùn)練結(jié)果

訓(xùn)練完成后生成網(wǎng)絡(luò)模型，并將其加載到OpenMV機(jī)器視覺模塊中。當(dāng)接收到STM32主控板通過USART通訊協(xié)議發(fā)送的識(shí)別信號(hào)時(shí)，OpenMV將調(diào)用攝像頭進(jìn)行拍照，并將拍攝圖片載入訓(xùn)練模型并進(jìn)行識(shí)別，最后將輸出分類結(jié)果標(biāo)簽值返回給主控板。分類流程如圖9所示。

圖9 分類軟件流程圖

2.2 顯示模塊軟件設(shè)計(jì)

使用顯示屏配備的上位機(jī)軟件對(duì)界面UI進(jìn)行設(shè)計(jì)，界面如圖10所示。

圖10 界面UI設(shè)計(jì)

系統(tǒng)初始化后，當(dāng)STM32主控板接收到機(jī)器視覺發(fā)送的標(biāo)簽值時(shí)，通過USART通訊協(xié)議發(fā)送垃圾顯示控件文本屬性值至顯示屏，顯示屏接收并進(jìn)行顯示，舵機(jī)完成投遞后清空顯示控件文本。軟件流程如圖11所示。

圖11 顯示模塊軟件流程圖

2.3 舵機(jī)控制軟件設(shè)計(jì)

舵機(jī)在本平臺(tái)負(fù)責(zé)對(duì)垃圾進(jìn)行精確投遞，對(duì)不同種類的垃圾投遞采用不同的PWM波形（即旋轉(zhuǎn)角度），通過控制定時(shí)器輸出不同占空比的PWM信號(hào)完成。STM32主控板編寫定時(shí)器函數(shù)調(diào)節(jié)占空比輸出不同波形的PWM信號(hào)，對(duì)OpenMV返回不同種類參數(shù)進(jìn)行對(duì)應(yīng)處理。由主控板TIM接口產(chǎn)生PWM信號(hào)，與舵機(jī)相連，帶動(dòng)舵機(jī)左右旋轉(zhuǎn)實(shí)現(xiàn)分類投放功能。控制流程如圖12所示。

圖12 控制軟件流程圖

2.4 WiFi模塊軟件設(shè)計(jì)

本設(shè)計(jì)使用ESP8266-01S模塊與云端服務(wù)器進(jìn)行數(shù)據(jù)交互，采用MQTT協(xié)議與服務(wù)器進(jìn)行連接、訂閱與上傳。STM32主控板與ESP8266-01S經(jīng)過USART通訊協(xié)議，發(fā)送AT指令完成模塊操作，部分MQTT協(xié)議AT指令如表2所示。

表2 部分MQTT協(xié)議AT指令

系統(tǒng)配置IO口，發(fā)送AT指令設(shè)置STA模式并連接到路由器，根據(jù)所建立EMQ服務(wù)器設(shè)置MQTT服務(wù)器用戶屬性并進(jìn)行連接，連接完成后訂閱所需主題，本文訂閱主題為test。系統(tǒng)完成一次投遞操作后，STM32主控板通過MQTT協(xié)議及AT指令將相關(guān)信息上傳至服務(wù)器。軟件流程圖如圖13所示。

圖13 WiFi模塊軟件流程圖

3 系統(tǒng)測試

3.1 分類準(zhǔn)確性測試

選取694張圖片（含261張塑料制品、227張紙制品、206張鋁制品）作為測試集檢驗(yàn)分類準(zhǔn)確性。導(dǎo)入模型權(quán)重參數(shù)，加載測試集檢驗(yàn)?zāi)Ｐ陀?xùn)練效果。在實(shí)際測試中，對(duì)紙制品和塑料制品的誤檢率最低，分別為8.8%，10.8%；對(duì)鋁制品誤檢率最高，為13.2%。平均誤檢率為10.9%，系統(tǒng)設(shè)計(jì)符合要求。模型測試結(jié)果如圖14所示。

圖14 模型測試結(jié)果

將模型文件導(dǎo)入OpenMV內(nèi)存中，使用OpenMV IDE上位機(jī)軟件編寫識(shí)別程序，采用上位機(jī)軟件進(jìn)行仿真實(shí)驗(yàn)，分別對(duì)三類垃圾進(jìn)行識(shí)別，均可正確分類。仿真如圖15所示。

圖15 模型仿真測試

3.2 系統(tǒng)整體測試

將各模塊組裝完成后進(jìn)行系統(tǒng)性能測試，分別選取紙制品、鋁制品及塑料制品樣品放至回收板，檢測到有物體時(shí)發(fā)送識(shí)別信號(hào)至OpenMV模塊進(jìn)行識(shí)別，返回識(shí)別結(jié)果并進(jìn)行顯示及上傳云端。使用MQTTBox軟件連接EMQ服務(wù)器，訂閱同一主題，用以測試云端數(shù)據(jù)接收，系統(tǒng)測試如圖16所示。

圖16 系統(tǒng)測試

4 結(jié)語

本文提出利用STM32主控板協(xié)同OpenMV機(jī)器視覺模塊進(jìn)行智能垃圾分類的設(shè)計(jì)方案。選用MobileNet v2深度學(xué)習(xí)模型，在模型文件僅占697KB的情況下，模型準(zhǔn)確率高達(dá)93%，符合本系統(tǒng)的設(shè)計(jì)需求。此外，該系統(tǒng)可實(shí)時(shí)地將識(shí)別結(jié)果展示在顯示屏中，并在云端對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)為后續(xù)分析提供數(shù)據(jù)基礎(chǔ)。受訓(xùn)練參數(shù)、數(shù)據(jù)集等影響，本模型仍存在部分判斷誤差，后續(xù)工作將對(duì)目標(biāo)識(shí)別算法繼續(xù)優(yōu)化，進(jìn)一步提高分類識(shí)別準(zhǔn)確性、實(shí)時(shí)性、高效性。