摘 要:我國針對農產(chǎn)品運輸現(xiàn)狀,出臺了鮮活農產(chǎn)品運輸“綠色通道”政策,明確規(guī)定對合法整車裝載鮮活農產(chǎn)品的車輛免收通行費。在該背景下,設計了一種面向高速綠通鮮活農產(chǎn)品的智能識別手持系統(tǒng)。該系統(tǒng)基于輕量級MobileNetV3神經(jīng)網(wǎng)絡,采用分層神經(jīng)網(wǎng)絡識別技術實現(xiàn)對高速綠通鮮活農產(chǎn)品的有效識別。利用ESP32-CAM芯片與OV2640攝像頭模組進行圖片采集,通過TCP-IP協(xié)議與Socket套接字技術進行數(shù)據(jù)通信,實現(xiàn)了在手持設備上實時判斷并顯示高速綠通鮮活農產(chǎn)品分類情況。系統(tǒng)利用輕量級網(wǎng)絡與OpenCV實現(xiàn)圖片的識別與處理。相較于傳統(tǒng)方法,該系統(tǒng)所需的模型參數(shù)更少,識別準確率更高,響應速度更快。經(jīng)多次實驗驗證,該系統(tǒng)可以有效地區(qū)分各類高速綠通鮮活農產(chǎn)品,實現(xiàn)對高速綠通鮮活農產(chǎn)品的智能識別,具有極為廣闊的應用前景。
關鍵詞:智能識別系統(tǒng);鮮活農產(chǎn)品識別;分層神經(jīng)網(wǎng)絡;輕量級神經(jīng)網(wǎng)絡;OpenCV;圖片識別
中圖分類號:TP27;TP393 文獻標識碼:A 文章編號:2095-1302(2025)03-00-04
0 引 言
隨著農業(yè)的快速發(fā)展,我國針對農產(chǎn)品運輸現(xiàn)狀,出臺了鮮活農產(chǎn)品運輸“綠色通道”政策,助力推進高速“綠色通道”建設,全面落實對鮮活農產(chǎn)品運輸車輛免收通行費的政策[1]。盡管國家對于高速綠通鮮活農產(chǎn)品運輸車輛通行費的減免政策日益完善,但仍存在操作流程缺乏統(tǒng)一性、目錄解讀存在差異性、查驗效率低下以及社會輿論壓力較大等問題[2]。在此背景下,隨著智能識別技術與神經(jīng)網(wǎng)絡技術的發(fā)展,高速綠通鮮活農產(chǎn)品智能識別系統(tǒng)應運而生。隨著國家優(yōu)惠政策的全面推動與落實,社會對于科學統(tǒng)一的目錄解讀標準和自動化輔助識別綠通鮮活農產(chǎn)品的需求愈發(fā)迫切,相關產(chǎn)品的設計已成為當務之急。
本文采用輕量級MobileNetV3神經(jīng)網(wǎng)絡為基礎,搭建分層神經(jīng)網(wǎng)絡,能夠實現(xiàn)對22大類、166小類鮮活農產(chǎn)品的精準識別與檢測,并將檢測的結果進行可視化顯示。該系統(tǒng)集高速綠通鮮活農產(chǎn)品的采集、批處理、識別與可視化顯示功能于一體,是一款多功能自動化嵌入式系統(tǒng)。相較于傳統(tǒng)的大模型圖片識別系統(tǒng),本系統(tǒng)采用了輕量級神經(jīng)網(wǎng)絡,參數(shù)量更小,不僅保證了識別準確率,還實現(xiàn)了更快的識別速度,更加適合嵌入式系統(tǒng)的應用。該系統(tǒng)準確率高、實用性強,能夠為高速收費站工作人員提供準確、快速的智能識別結果。本系統(tǒng)的推出將有力推動鮮活農產(chǎn)品運輸“綠色通道”的建設,提高農產(chǎn)品綠色運輸?shù)男?,有助于公路運輸體系的逐步完善。同時,確保“綠色通道”政策的嚴格規(guī)范實施,將極大地方便人們的生活,促進農產(chǎn)品的銷售,對提高農民群眾的收入起到很大作用。
1 系統(tǒng)需求分析
1.1 功能需求分析
本系統(tǒng)設計包括六個主要功能模塊,分別實現(xiàn)Web爬蟲爬取數(shù)據(jù)集、OpenCV對獲取的數(shù)據(jù)集進行批處理、訓練MobileNetV3神經(jīng)網(wǎng)絡、圖片采集、信息交互、可視化等功能。
Web爬蟲爬取數(shù)據(jù)集:通過Web爬蟲技術從百度圖片分別爬取22大類、166小類鮮活農產(chǎn)品圖片。所爬取的圖片將自動存儲于服務器,為后續(xù)的圖片處理流程提供基礎數(shù)據(jù)集。這些數(shù)據(jù)集將作為神經(jīng)網(wǎng)絡的輸入,用于訓練網(wǎng)絡參數(shù)。
OpenCV對獲取的數(shù)據(jù)集進行批處理:需要將Web爬蟲爬取的圖片統(tǒng)一處理為224×224×3的標準格式,使用有效的插值手段來避免圖片縮放時的失真情況。
訓練MobileNetV3神經(jīng)網(wǎng)絡:將統(tǒng)一處理后的圖片輸入神經(jīng)網(wǎng)絡,通過調節(jié)神經(jīng)網(wǎng)絡的結構模型、損失函數(shù)、優(yōu)化器進行參數(shù)的訓練,并將得到的參數(shù)模型進行保存。在得到所有小類模型后,將小類模型搭建為分層神經(jīng)網(wǎng)絡以實現(xiàn)圖片的分層識別。
圖片采集:通過驅動攝像頭模組,實時采集待識別的圖片信息,并通過ESP32-CAM將所識別到的圖片上傳至服務器,供服務器識別處理。
信息交互:服務器將接收的圖片輸入神經(jīng)網(wǎng)絡進行識別并得到結果后,通過Socket套接字將得到的結果回傳至芯片端,以供后續(xù)芯片進行顯示,實現(xiàn)信息的交互。
可視化:在得到服務器回傳的結果后,芯片驅動OLED屏幕將識別的高速鮮活農產(chǎn)品種類信息進行可視化顯示,供高速收費站工作人員查看,實現(xiàn)輔助判斷。
1.2 非功能需求分析
識別準確率需求:通過深度學習與神經(jīng)網(wǎng)絡算法來保證系統(tǒng)對22大類、166小類高速綠通鮮活農產(chǎn)品識別的準確率。
識別速率需求:通過輕量級神經(jīng)網(wǎng)絡來控制模型參數(shù)大小,在高速收費站工作人員采集到圖片后快速進行圖片識別與處理,并將識別結果快速返回,減少等待時間。
易用性需求:針對非專業(yè)的使用者(如高速收費站工作人員),系統(tǒng)設計需確保操作便捷、可視化界面友好,同時要求培訓周期短,易于上手使用。
成本需求:鑒于我國高速收費站數(shù)量龐大,對本產(chǎn)品需求量大,系統(tǒng)需具備高性價比,以確保能夠在大范圍內經(jīng)濟、高效地部署與應用。
2 系統(tǒng)總體設計
高速綠通鮮活農產(chǎn)品的智能識別系統(tǒng)的整體框架如圖1所示。該系統(tǒng)主要由圖片信息采集系統(tǒng)、圖片處理與識別系統(tǒng)、信息交互傳輸系統(tǒng)與可視化顯示系統(tǒng)組成。
圖片信息采集系統(tǒng)主要由ESP32-CAM芯片與OV2640攝像頭模組組成,負責高速綠通鮮活農產(chǎn)品的信息采集;圖片處理與識別系統(tǒng)利用MobileNetV3與OpenCV技術實現(xiàn)對圖片的批處理與識別;信息交互系統(tǒng)通過TCP-IP協(xié)議與Socket套接字技術實現(xiàn)ESP32-CAM芯片與服務器間的交互;可視化顯示系統(tǒng)由ESP32-CAM芯片與SSD1306驅動0.96英寸OLED屏幕進行識別結果的顯示。其中圖片處理與識別技術是本文系統(tǒng)的核心,包括Web爬蟲爬取數(shù)據(jù)集、OpenCV對圖片大小進行重處理、訓練MobileNetV3模型、將待識別的圖片輸入模型并給出比對結果。訓練MobileNetV3模型的主要環(huán)節(jié)有構造數(shù)據(jù)集、根據(jù)數(shù)據(jù)集劃分訓練集與測試集、調制網(wǎng)絡參數(shù)、進行模型訓練、保存訓練結果、根據(jù)結果搭建分層神經(jīng)網(wǎng)絡,供后續(xù)直接使用。各系統(tǒng)的工作流程如圖2所示。
3 系統(tǒng)關鍵技術與實現(xiàn)
系統(tǒng)實現(xiàn)了圖片采集、圖片處理與識別、信息交互傳輸與可視化顯示等各模塊軟硬件的集成化設計。系統(tǒng)的關鍵技術包括Web爬蟲技術、OpenCV批處理技術、神經(jīng)網(wǎng)絡技術、攝像頭模組采集信息技術、TCP-IP協(xié)議與Socket套接字技術、可視化顯示技術等。
3.1 Web爬蟲技術
Web爬蟲技術能夠設法讀取網(wǎng)絡中非結構化數(shù)據(jù),并將其進行結構化保存[3]。通過Python的requests庫進行數(shù)據(jù)集的獲取,通過偽裝headers從百度圖片獲取所需數(shù)據(jù)集的JSON文件,在爬取圖片時尋找網(wǎng)頁之間的刷新規(guī)律為:
pn=pageNumber*30 (1)
即每頁30張圖片,自動進行刷新以獲取新的圖片并對爬取的結果進行解析,獲取其中圖片的URL地址并建立網(wǎng)絡鏈接,最后對網(wǎng)頁數(shù)據(jù)中的目標圖片進行下載管理[4]。
3.2 OpenCV批處理技術
OpenCV在計算機視覺方面表現(xiàn)優(yōu)異,本文系統(tǒng)通過OpenCV庫對Web爬蟲爬取的圖片進行批處理,得到224×224×3的標準JPEG格式圖片。鑒于處理過程中會遇到各種尺寸的圖片,調整圖片尺寸成為必要步驟,這通常需要通過插值處理來實現(xiàn)。但是OpenCV庫提供了強大的resize()函數(shù),極大地簡化了這一過程。在選擇插值方式時,為了確保圖片在縮放后既能保持細節(jié)清晰,又能避免失真和鋸齒現(xiàn)象,選用INTER_LANCZOS4的插值方式,即在8×8像素鄰域中使用Lanczos算法進行插值[5]。
3.3 神經(jīng)網(wǎng)絡技術
卷積神經(jīng)網(wǎng)絡CNN在圖片智能處理方面表現(xiàn)優(yōu)異,但傳統(tǒng)的卷積神經(jīng)網(wǎng)絡參數(shù)量大、運算量大、反應時間長,無法在嵌入式設備上運行。為了解決這個問題,研究者們提出了輕量級神經(jīng)網(wǎng)絡,其中MobileNet網(wǎng)絡表現(xiàn)最佳。MobileNetV3 是由谷歌團隊提出的輕量化網(wǎng)絡模型,其核心思想為深度可分離卷積[6]。
MobileNetV3相較于前一版本使用了一種新的激活函數(shù):
(2)
使用新的激活函數(shù)來代替ReLU6函數(shù),與ReLU函數(shù)相比其計算速度更快,對量化過程更友好。
對CNN網(wǎng)絡、GoogleNet網(wǎng)絡與MobileNetV3網(wǎng)絡進行了對比評估,所有網(wǎng)絡均在相同的優(yōu)化器和損失函數(shù)條件下進行測試。通過對比算法準確率、識別速率與模型搭建難度等因素,發(fā)現(xiàn)CNN網(wǎng)絡識別準確率為51.6%,GoogleNet網(wǎng)絡識別準確率為75.2%,MobileNetV3網(wǎng)絡識別準確率為75.4%。準確率曲線如圖3所示,三種網(wǎng)絡不同指標的對比結果見表1。經(jīng)過全面權衡,最終決定采用MobileNetV3神經(jīng)網(wǎng)絡作為系統(tǒng)的核心算法。同時,因為高速綠通鮮活農產(chǎn)品的22大類別相較于166種小類別而言,其類間特征差異更為明顯,因此采用分層神經(jīng)網(wǎng)絡,在訓練時首先訓練各小類模型,其次訓練各大類模型,分別得到模型參數(shù)文件,再由大類至小類搭建網(wǎng)絡模型,實現(xiàn)分層識別,以此增加模型識別的準確率。
在訓練網(wǎng)絡模型過程中,通過自行構建DataSet數(shù)據(jù)集,并將數(shù)據(jù)集中90%的數(shù)據(jù)用來訓練模型,10%的數(shù)據(jù)用來測試。采用隨機生成的方式來劃分訓練集與測試集的DataLoader,設置batch_size為64,進行批處理。隨后,將生成的DataLoader輸入到MobileNetV3網(wǎng)絡模型中,同時選用CrossEntropyLoss作為損失函數(shù)。在優(yōu)化器的選擇中,隨機梯度下降算法SGD與Adam優(yōu)化算法均為較佳算法,故本系統(tǒng)在相同的模型下分別從準確率、梯度下降方式、優(yōu)缺點等方面對比了SGD與Adam優(yōu)化器,具體見表2。
對比結果如圖4所示,SGD優(yōu)化器準確率僅為57.5%,而Adam優(yōu)化器的準確率為75.4%。相較于SGD優(yōu)化器,Adam是一種自適應學習率的優(yōu)化算法,結合了一階動量與二階動量。因此Adam優(yōu)化器無疑是一種更優(yōu)的選擇。
3.4 攝像頭模組采集信息技術
ESP32是一款支持2.4 GHz WiFi連接的芯片,具備功耗低、穩(wěn)定性強的優(yōu)點,適用于各種應用場景[7]。而ESP32-CAM則是一個集成了小尺寸攝像頭模組的解決方案,通過外接OV2640攝像頭模組,用戶可以在Arduino IDE中輕松選擇適配的開發(fā)板和端口。編寫Arduino代碼,借助ESP32提供的豐富庫函數(shù)來控制攝像頭,實現(xiàn)拍照和視頻流傳輸?shù)裙δ堋T谂渲煤肳iFi網(wǎng)絡后,ESP32-CAM能夠實現(xiàn)對高速綠色通道中鮮活農產(chǎn)品信息的實時采集與傳輸。
3.5 TCP-IP協(xié)議與Socket套接字技術
Sockets是一組專為用戶設計的接口,用于實現(xiàn)信息交換[8]。在信息交換過程中,服務器會建立一個Socket套接字,用于監(jiān)聽特定的網(wǎng)絡地址。與此同時,客戶端ESP32-CAM芯片也會建立一個套接字并與服務器連接。連接成功后,ESP32-CAM芯片通過該連接向服務器發(fā)送高速綠通鮮活農產(chǎn)品的圖片。服務器將接收到的圖片輸入至分層神經(jīng)網(wǎng)絡中進行識別,將識別的結果再次通過Socket套接字傳輸至ESP32-CAM芯片,由此完成信息交互[9]。
3.6 可視化顯示技術
可視化顯示技術主要通過ESP32-CAM芯片驅動一塊 0.96英寸的SSD1306 OLED顯示屏來實現(xiàn)。ESP32-CAM芯片在接收到服務器回傳的識別結果的套接字后,通過使用SSD1306驅動的增強固件及字庫來實現(xiàn)漢字的顯示[10],以供高速收費站工作人員進行輔助判斷。
4 結 語
本文提出了一種基于輕量級MobileNetV3神經(jīng)網(wǎng)絡的高速綠通鮮活農產(chǎn)品識別系統(tǒng),旨在輔助解決在執(zhí)行“綠色通道”政策時所存在的目錄解讀不一致、查驗效率不高、社會輿論對于查驗結果不滿等問題。借助本產(chǎn)品,高速收費站工作人員可以更加高效、準確地辨別鮮活農產(chǎn)品的具體種類,同時有利于提高社會輿論對查驗結果的認可性,彌補了傳統(tǒng)檢查中的不足,進一步助力落實國家鮮活農產(chǎn)品運輸“綠色通道”政策。當然,此高速綠通鮮活農產(chǎn)品識別系統(tǒng)中還存在不足,但是隨著科學技術的發(fā)展,高速綠通鮮活農產(chǎn)品識別系統(tǒng)將會更加智能與普及。
注:本文通訊作者為齊錦。
參考文獻
[1] 高文,郭詩瑀. 促進鮮活農產(chǎn)品產(chǎn)銷對接" 保障“菜籃子”市場供應[N]. 農民日報,2023-02-01(002).
[2] 王鑫.基于數(shù)據(jù)服務體系的高速公路綠色通道智能檢測系統(tǒng)研究[J].自動化與儀器儀表,2021(10):1-4.
[3] 秦雅琴,馬玲玲.網(wǎng)絡爬蟲技術在交通信息獲取中的應用綜述[J].武漢理工大學學報:交通科學與工程版,2020,44(3):456-461.
[4] ABUKAUSAR M, DHAKA V S, SINGH S K.Web crawler: a review [J]. International journal of computer applications, 2013, 63(2): 31-36.
[5] 鮑雪.圖像縮放失真抑制技術與分類算法研究[D].哈爾濱:哈爾濱理工大學,2021.
[6] HOWARD A, SANDLER M, CHEN B. Searching for MobileNetV3 [C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, South Korea: IEEE, 2019.
[7] Espressif Systems. ESP32硬件設計指南[EB/OL].[2022-01-13].https://www.espressif.com.cn/sites/default/files/documentation/esp32_hardware_design_guidelines_cn.pdf.
[8] 王豐茂,吳戀,王雪,等.基于人工智能的果蔬識別及種植指導系統(tǒng)[J].物聯(lián)網(wǎng)技術,2024,14(3):98-101.
[9] 肖美華,余立全,肖攀. Socket通信程序模型抽取及可靠性驗證[J].計算機科學,2012,39(11):102-105.
[10]孫國祥,蔡嘉奇,周新竹,等.基于陣列式ESP32-CAM的番茄根系表型原位測量方法[J].農業(yè)工程學報,2023(18):172-182.