張剛 唐戩 郝紅雨 白彤 郝崇清 樊勁輝
摘?要:
為了提升自動導(dǎo)引運(yùn)輸車(automated guided vehicle,AGV)動態(tài)障礙物視覺檢測的精度和幀率,提出了一種基于單鏡頭多盒檢測器(single shot multibox detector,SSD)的改進(jìn)算法。將輕量級MobileNet網(wǎng)絡(luò)引入到SSD網(wǎng)絡(luò)結(jié)構(gòu)中,然后利用K-means算法對訓(xùn)練數(shù)據(jù)集中真實(shí)框的AR值進(jìn)行聚類并更新,最后利用Jeston Nano嵌入式平臺搭建了AGV實(shí)驗(yàn)系統(tǒng),引入TensorRT加速引擎,分別對改進(jìn)前后的SSD-MobileNet模型進(jìn)行加速優(yōu)化,并對比分析。結(jié)果表明:改進(jìn)的SSD-MobileNet模型在AGV上使用TensorRT加速引擎的mAP值為79.1%,相比優(yōu)化前提升了10.8%,對精度影響很小,而幀率達(dá)到了25 f/s,較原SSD模型提升了近4倍,且改進(jìn)后模型規(guī)模也比優(yōu)化前縮小了37%。采用改進(jìn)算法能夠使AGV在運(yùn)輸過程中完成動態(tài)障礙物檢測任務(wù),可代替人工實(shí)現(xiàn)貨物高效運(yùn)輸,并節(jié)省運(yùn)輸成本,為智能化運(yùn)輸提供了一種新的思路。
關(guān)鍵詞:
計(jì)算機(jī)感知;動態(tài)目標(biāo)檢測;SSD-MobileNet改進(jìn)算法;K-means聚類算法;TensorRT加速引擎
中圖分類號:TP389.1?文獻(xiàn)標(biāo)識碼:A
DOI: 10.7535/hbgykj.2024yx01001
AGV dynamic targets detection method based on improved SSD-MobileNet algorithm
ZHANG Gang, TANG Jian,HAO Hongyu,BAI Tong,HAO Chongqing,F(xiàn)AN Jinhui
(School of Electrical Engineering, Hebei University of Science and Technology, Shijiazhuang,Hebei 050018, China)
Abstract:
In order to improve the accuracy and frame rate of dynamic obstacle visual detection for automated guided vehicle (AGV), an improved algorithm based on the single shot multibox detector (SSD) was proposed. The lightweight MobileNet network was introduced into the SSD network structure, and then the K-means algorithm was used to cluster and update the Aspect Ratio (AR) values of the real boxes in the training dataset. Finally, an experimental AGV system was built on the embedded Jeston Nano platform and the TensorRT acceleration engine was introduced to optimize the SSD-MobileNet algorithm before and after improvement, and then comparative analysis was made. Experimental results show that the improved SSD-MobileNet algorithm has a mean Average Precision (mAP) value of 79[DK(].[DK)]1% on the AGV using the TensorRT acceleration engine, an increase of 10[DK(].[DK)]8% compared to that before optimization, with little impact on accuracy. The FPS frame rate reaches 25 frames per second, which is 4 times higher than that with the original SSD algorithm, and the model size after improvement is also 37% smaller than that before optimization. The improved algorithm can enable the AGV to complete dynamic obstacle detection tasks during transportation, which can replace the manual transport of objects efficiently and save the transportation cost, and provides a new idea for intelligent transportation.
Keywords:
computer perception; dynamic targets detection; improved SSD-MobileNet algorithm; K-means clustering algorithm; TensorRT acceleration engine
工業(yè)生產(chǎn)、倉庫管理以及物流配送等過程中,為提高生產(chǎn)效率、降低人工成本,并減少運(yùn)輸失誤,采用自動導(dǎo)引運(yùn)輸車(automated guided vehicle,AGV)代替人工運(yùn)輸是一種有效手段。自動導(dǎo)引運(yùn)輸車采用機(jī)器視覺的動態(tài)障礙物檢測技術(shù)獲取前方障礙物目標(biāo)在圖像中的位置及類別[1]。AGV運(yùn)行環(huán)境中行人及車輛流動性強(qiáng)、路況復(fù)雜,而傳統(tǒng)目標(biāo)檢測方法過于依賴人工調(diào)節(jié)參數(shù)[2],泛化能力較差,極易出現(xiàn)誤判、漏判等問題。近年來,深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域衍生出多種算法,其中主流算法分為2大類[3-4]:一類是基于候選區(qū)域(兩階段)的算法,主要有R-CNN[5]、Fast R-CNN[6]、Faster R-CNN[7]等;另一類是基于回歸(單階段)的算法,主要有YOLO(you only look once)[8]和SSD(single shot multibox detector)[9]等。單階段目標(biāo)檢測算法在速度上更有優(yōu)勢,泛化能力更強(qiáng)。單階段目標(biāo)檢測算法SSD結(jié)合了YOLO的回歸思想和 Faster R-CNN的Anchor機(jī)制,檢測精確度相對較高,但由于只用底層特征層來檢測目標(biāo)[10],容易造成特征信息丟失,從而引發(fā)重復(fù)檢測多個(gè)邊框、小目標(biāo)易漏檢等情況。
為解決SSD算法小目標(biāo)檢測效果差的問題,眾多學(xué)者對SSD算法作出了改進(jìn)。唐聰?shù)萚11]在SSD的基礎(chǔ)上采用多視窗的方法提升準(zhǔn)確率。YIN等[12]提出了FD-SSD算法,通過特征融合與殘差空洞卷積對多尺度特征進(jìn)行重構(gòu),提高中、小目標(biāo)的檢測性能,但對于大目標(biāo)的檢測精度仍然較低。陳幻杰等[13]采用SSD算法對中、小目標(biāo)特征區(qū)域進(jìn)行放大提取,提高了中、小目標(biāo)的準(zhǔn)確率,但檢測時(shí)長卻有所增加。于波等[14]通過ResNet和ResNext 2個(gè)殘差網(wǎng)絡(luò)作為SSD特征提取層,檢測效率大幅提升。
針對SSD算法中網(wǎng)絡(luò)參數(shù)計(jì)算量大且目標(biāo)候選框AR值設(shè)置不具有普適性這一問題,本文將輕量級MobileNet網(wǎng)絡(luò)引入到SSD網(wǎng)絡(luò)結(jié)構(gòu)中,采用K-means聚類算法[15]修正原SSD目標(biāo)候選框AR值,利用Jeston Nano嵌入式平臺搭建了AGV小車,并引入TensorRT加速引擎對本文提出的改進(jìn)算法模型進(jìn)行加速優(yōu)化,提升了AGV目標(biāo)的檢測速度及準(zhǔn)確率。
1?SSD算法改進(jìn)優(yōu)化
SSD算法改進(jìn)優(yōu)化的步驟:首先,引入輕量級MobileNet網(wǎng)絡(luò)進(jìn)行特征提取,在AGV嵌入式系統(tǒng)上實(shí)現(xiàn)動態(tài)障礙物的快速檢測;然后,采用K-means聚類算法對原SSD目標(biāo)候選框進(jìn)行優(yōu)化調(diào)整,降低重復(fù)檢測率,提升后續(xù)在復(fù)雜環(huán)境下的目標(biāo)檢測精度。
1.1?SSD-MobileNet網(wǎng)絡(luò)結(jié)構(gòu)及特點(diǎn)
傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)因內(nèi)存需求大、運(yùn)算量大,而無法在移動設(shè)備以及嵌入式設(shè)備上運(yùn)行。例如:VGG16模型的權(quán)重大小有450 MB;ResNet模型有152層,其權(quán)重模型大小為644 MB,很明顯嵌入式設(shè)備無法滿足如此大的內(nèi)存需求。為了能夠在嵌入式設(shè)備上有效使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型,要在保證檢測性能的前提下減小網(wǎng)絡(luò)模型規(guī)模、提高運(yùn)行速度,本文將用于有限算力平臺的輕量級網(wǎng)絡(luò)MobileNet加入SSD網(wǎng)絡(luò)結(jié)構(gòu),以減小網(wǎng)絡(luò)模型大小。
MobileNet的核心思想是:采用深度可分離的形式[16],對標(biāo)準(zhǔn)卷積進(jìn)行分解,轉(zhuǎn)變?yōu)樯疃染矸e與卷積核為1×1的點(diǎn)卷積,如圖1所示。單個(gè)深度卷積核置于特征映射圖的每條輸入通道上,用1×1卷積核將輸出特征與深度卷積相結(jié)合,產(chǎn)生新的特征圖,明顯減少中間計(jì)算量與模型大小,既保證了模型的精度,又加快了計(jì)算速度,同時(shí)減少了過擬合所造成的一些訓(xùn)練問題。
SSD-MobileNet網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),如圖2所示。輸入層為300×300的像素矩陣,共有22層卷積層。其中,前14層卷積層保留MobileNet網(wǎng)絡(luò)結(jié)構(gòu),之后又增加8層卷積層,每一層卷積層(含常規(guī)卷積、深度可分離卷積、逐點(diǎn)卷積)之后都有規(guī)范化BN和ReLU6激活函數(shù),從新增的卷積層中提取6層來做目標(biāo)檢測。它保留了SSD網(wǎng)絡(luò)原結(jié)構(gòu),通過3×3深度可分離卷積提取特征[17]。
同時(shí),本文引入的MobileNet具有寬度乘法器,通過控制網(wǎng)絡(luò)的通道數(shù)來控制模型的寬度。寬度乘法器可以在不降低模型準(zhǔn)確性的前提下,進(jìn)一步減少參數(shù)數(shù)量和計(jì)算量,適應(yīng)不同的計(jì)算資源和設(shè)備。
1.2?損失函數(shù)
采用的多層感知損失函數(shù),可以在不同層次上對目標(biāo)進(jìn)行檢測。通過多層感知損失函數(shù),SSD算法可以同時(shí)檢測不同大小的目標(biāo),從而提高檢測的準(zhǔn)確性。
損失函數(shù)值由位置誤差Lloc和置信度誤差Lconf加權(quán)得到[18],數(shù)學(xué)描述如下。
[JZ(]L(x,c,l,g)=1NLconf(x,c)+αLloc(x,l,g),[JZ)][JY](1)
[JZ(]Lloc(x,l,g)=∑Ni∈Pos m∈{cx,cy,w,h}xkijSmtL1lmi-g^mj,[JZ)][JY](2)
[JZ(]SmtL1(x)=0.5x2,?x<1,x- 0.5,?otherwise,[JZ)][JY](3)
[JZ(]Lconf (x,c)=-∑Ni∈Pos xpijlogc^pi-∑Ni∈Neg logc^0i,[JZ)][JY](4)
[JZ(]c^pi=expcpi∑pexpcpi,[JZ)][JY](5)
式中:N為先驗(yàn)框樣本個(gè)數(shù);Smt為Smooth的縮寫,是分段平滑函數(shù);x表示匹配框是否屬于類別p(x=1表示屬于;x=0表示不屬于);c為類別預(yù)測值;l為預(yù)測框位置值;g為真實(shí)框位置值;α為衰減系數(shù),通常取值為1;p表示第p個(gè)類別;xpij=1,0為預(yù)測框與真實(shí)框的匹配度。
損失函數(shù)由分類損失和位置損失組成。分類損失用于判斷目標(biāo)的類別,位置損失用于判斷目標(biāo)的位置。通過組合分類損失和位置損失,SSD算法可以同時(shí)優(yōu)化目標(biāo)的分類和位置預(yù)測,從而提高目標(biāo)檢測的準(zhǔn)確性。
1.3?采用K-means聚類算法優(yōu)化目標(biāo)框
SSD算法基于已有的COCO數(shù)據(jù)集進(jìn)行候選框的AR(aspect ratio)值設(shè)置[19],改變工作環(huán)境j時(shí),需相應(yīng)改變AR值,如果AR值不變,難以實(shí)現(xiàn)目標(biāo)真實(shí)框與候選框的完全吻合。
利用K-means聚類算法確定目標(biāo)候選框AR值的流程圖(如圖3所示)。
候選框相似度越高,則證明兩框的重疊率越大。聚類目標(biāo)將目標(biāo)候選框與真實(shí)框的交并比(intersection over union,IoU)的值作為衡量預(yù)測框和真實(shí)框聚類效果的重要指標(biāo),IoU值越大,說明兩框的位置越接近。
IoU值代表真實(shí)框和聚類中心框交集區(qū)域面積與并集區(qū)域面積的比值,其數(shù)學(xué)表達(dá)式如式(6)所示:
[JZ(]IoU(centroidbox,truthbox)=centroidbox∩truthboxcentroidbox∪truthbox。[JZ)][JY](6)
K-means聚類使用的數(shù)據(jù)來自于自制數(shù)據(jù)集Road2021(7類目標(biāo))訓(xùn)練集中的2 350張圖像。目標(biāo)的標(biāo)簽文件及其部分?jǐn)?shù)據(jù)如表1所示,文件中X軸最小值、Y軸最小值、X軸最大值、Y軸最大值分別代表目標(biāo)真實(shí)框的位置坐標(biāo)。
本節(jié)利用K-means算法分別對7類目標(biāo)候選框的AR值進(jìn)行聚類,聚類結(jié)果如圖4所示。數(shù)據(jù)樣本點(diǎn)經(jīng)過K-means聚類后被分為5種不同顏色的類簇,圖4中的黑圈代表該類簇的聚類中心點(diǎn),除了異常點(diǎn),聚類中心點(diǎn)幾乎在一條直線上,聚類得到的候選框AR值如表2所示。由于拍攝角度、距離以及目標(biāo)形態(tài)各異,一些目標(biāo)存在部分遮擋或形變,這些因素會導(dǎo)致聚類結(jié)果出現(xiàn)異常點(diǎn)。
SSD網(wǎng)絡(luò)目標(biāo)候選框AR值的初始值置為{1.00,2.00,3.00,0.50,0.33},對表2進(jìn)行分析后可以直觀地看出,經(jīng)過聚類后的7類目標(biāo)框的形狀大致為扁長方形或方形,其中AR值的最大值為2.00,因此需要將原目標(biāo)框的AR值進(jìn)行調(diào)整。AR值的設(shè)置依據(jù)以下規(guī)則對表2中的結(jié)果進(jìn)行篩選:首先,將每類目標(biāo)框AR值分別進(jìn)行排序,篩選出各類中的最小值(min)、中間值(mean)及最大值(max)。然后,從篩選結(jié)果中篩選出min、max及3個(gè)具有代表性的mean值。通過上述分析得出,目標(biāo)候選框的最終AR值為{0.55,0.75,1.00,1.40,2.00},該值將用于實(shí)驗(yàn)場景中以提升檢測精度。
2?目標(biāo)檢測系統(tǒng)設(shè)計(jì)
目標(biāo)檢測系統(tǒng)劃分為數(shù)據(jù)集構(gòu)成、模型訓(xùn)練、模型測試及評估,共3個(gè)階段,如圖5所示。?2.1?PC端實(shí)驗(yàn)環(huán)境
仿真實(shí)驗(yàn)平臺為預(yù)裝Windows 10操作系統(tǒng)的筆記本電腦,采用TensorFlow深度學(xué)習(xí)框架并利用Python語言進(jìn)行編程。實(shí)驗(yàn)中PC機(jī)的硬件配置為Intel CORETMi5-6200U CPU、RAM(8 GB)和LeTMC-520 USB攝像頭,軟件環(huán)境為Anaconda、TensorFlow、Python、VisualStudio、Spyder、Opencv,且預(yù)裝了Protobuf、Pycocotools、Pandas、Numpy等對應(yīng)的TensorFlow深度學(xué)習(xí)應(yīng)用程序編程接口(application programming interface,API)。
2.2?數(shù)據(jù)集構(gòu)成及模型訓(xùn)練
自制數(shù)據(jù)集Road2021共包含7類目標(biāo),分別是汽車、自行車、貓、狗、人、摩托車以及公共汽車。訓(xùn)練集含有2 350張圖像,其中驗(yàn)證集含有2 230張圖像,測試集含有200張具有代表性的圖像。通過Labelimg工具完成圖像數(shù)據(jù)集的標(biāo)注,然后將標(biāo)注后的圖像信息數(shù)據(jù)轉(zhuǎn)換為TensorFlow平臺支持的record格式,以便后續(xù)訓(xùn)練使用。
在PC端CPU上完成改進(jìn)的SSD-MobileNet模型訓(xùn)練過程,借助由COCO數(shù)據(jù)集預(yù)訓(xùn)練的SSD-MobileNet模型,在自建數(shù)據(jù)集Road2021上進(jìn)行遷移學(xué)習(xí)。模型訓(xùn)練前,配置Road2021數(shù)據(jù)集的pbtxt類別文件,并使用K-means算法得到的AR值參數(shù){0.55,0.75,1.00,1.40,2.00}。經(jīng)過反復(fù)訓(xùn)練后找出最佳權(quán)重值,最終保存為pb模型文件。
實(shí)驗(yàn)中設(shè)置訓(xùn)練批次大小初始值為16,在訓(xùn)練4 000步后將其改為4,以降低模型訓(xùn)練難度。對模型的訓(xùn)練總計(jì)進(jìn)行了50 000步,獲得位置損失值為0.608,類別損失值為3.542,總損失值為4.73。
2.3?仿真實(shí)驗(yàn)及評價(jià)指標(biāo)
通過定性分析與定量分析來檢驗(yàn)SSD算法、SSD-MobileNet算法及改進(jìn)的SSD-MobileNet算法的識別效果。通過不同環(huán)境下測試集圖像進(jìn)行的實(shí)驗(yàn)測試,定性分析模型優(yōu)劣,其中大霧天氣下的部分檢測結(jié)果如圖6所示。
從檢測精度與速度2個(gè)方面對該算法的性能作出評估,定量分析模型的優(yōu)劣。采用平均檢測精度均值(mAP)與幀率(FPS)作為評價(jià)標(biāo)準(zhǔn),mAP值越大,說明目標(biāo)檢測精度越高,F(xiàn)PS值越大,說明目標(biāo)檢測速度越快。各模型性能的評估結(jié)果如表3所示。
通過對3種算法在不同場景下實(shí)時(shí)檢測效果的對比分析,SSD算法的mAP值要比SSD-MobileNet算法高出1.8%,但是檢測速度方面后者遙遙領(lǐng)先,后者的FPS值可以達(dá)到前者的2.5倍,模型規(guī)模也縮小為前者的1/3。改進(jìn)的SSD-MobileNet算法表現(xiàn)出較好的檢測效果,mAP值較改進(jìn)前提高了7.3%,F(xiàn)PS值提高了20%,在保證檢測速度的同時(shí),更易適應(yīng)復(fù)雜多變的環(huán)境。
3?Jetson Nano嵌入式平臺優(yōu)化加速
利用遷移學(xué)習(xí)將SSD-MobileNet模型和改進(jìn)的SSD-MobileNet模型部署到Jetson Nano嵌入式平臺中,引入TensorRT分別對改進(jìn)前后的算法進(jìn)行加速優(yōu)化,并在校園環(huán)境實(shí)景下進(jìn)行對比測試。
3.1?Nano平臺實(shí)驗(yàn)結(jié)果分析
利用Jetson Nano嵌入式平臺搭建了一輛AGV,如圖7所示。其中,圖像采集設(shè)備為LeTMC-520 USB攝像頭,顯示模塊為智顯達(dá)公司的高清顯示器,供電模塊為24 V移動電源。分別將SSD-MobileNet模型和改進(jìn)的SSD-MobileNet模型部署到Jetson Nano嵌入式平臺中,在Linux終端通過Python指令調(diào)用2種算法的檢測程序,在校園道路上進(jìn)行實(shí)測,輸出幀率、類別及位置信息,部分檢測結(jié)果如圖8所示。
由圖8可知,原SSD-MobileNet算法在Jetson Nano嵌入式平臺部署后,檢測速度僅為2 f/s,改進(jìn)的SSD-MobileNet 算法的檢測速度也僅為3 f/s。雖然改進(jìn)后的算法對小目標(biāo)及遮擋目標(biāo)檢測效果明顯提升,但是在Jetson Nano嵌入式平臺部署后的實(shí)時(shí)性卻差強(qiáng)人意,這對于AGV行駛過程來說是非常致命的。因此,本文針對Jetson Nano GPU未能表現(xiàn)出較快計(jì)算能力這一問題,提出利用TensorRT加速引擎對改進(jìn)算法模型進(jìn)行加速優(yōu)化,以充分發(fā)揮硬件系統(tǒng)的運(yùn)算能力。
3.2?基于TensorRT的模型優(yōu)化
TensorRT是NVIDIA專為AI開發(fā)平臺推出的高性能深度學(xué)習(xí)推理平臺,具有低延遲及高吞吐量的性能。采用TensorRT對SSD-MobileNet模型進(jìn)行加速推理,推理過程如圖9所示。
TensorRT通過GPU分析器對模型進(jìn)行一系列優(yōu)化,以找到用于各種神經(jīng)網(wǎng)絡(luò)計(jì)算的最佳GPU內(nèi)核,應(yīng)用圖優(yōu)化技術(shù)來減少模型中節(jié)點(diǎn)和邊的數(shù)量,如層融合、適當(dāng)?shù)牧炕?。運(yùn)行結(jié)果表明,采用TensorRT生成的壓縮架構(gòu)將批大小從1 024減小到256,并且使用GPU系統(tǒng)進(jìn)行加速引力波推斷時(shí),總體平均速度提高了3倍。Caffe、PyTorch和TensorFlow等深度學(xué)習(xí)框架生成的模型通過TensorRT進(jìn)行優(yōu)化,并在NVIDIA GPU平臺(Tesla T4、Jetson TX2、Tesla V100等)上進(jìn)行重新識別。TensorRT支持在大多數(shù)深度學(xué)習(xí)框架中學(xué)習(xí)的模型,并支持最佳的深度學(xué)習(xí)模型加速。因?yàn)樗贏PI級別上支持C++和Python,所以深度學(xué)習(xí)領(lǐng)域的開發(fā)人員不需要太多CUDA或GPU編程知識就可以輕松使用該平臺。此外,TensorRT采用二進(jìn)制計(jì)數(shù),自動使用GPU支持的最優(yōu)計(jì)算資源,使深度學(xué)習(xí)應(yīng)用和服務(wù)運(yùn)行更加高效。
TensorRT主要用于部署深度學(xué)習(xí)推理應(yīng)用程序,例如視頻流、推薦、欺詐檢測和自然語言處理等。降低精度的推理可顯著降低延遲,這是許多實(shí)時(shí)服務(wù)以及嵌入式應(yīng)用程序所必需的。
將“2.3”項(xiàng)訓(xùn)練生成的pb模型轉(zhuǎn)換為TensorRT可接收的uff模型,擺脫TensorFlow深度學(xué)習(xí)框架的束縛,在TensorRT優(yōu)化推理引擎中加載并運(yùn)行uff模型文件,生成對應(yīng)的TensorRT模型,將該模型部署到Jetson Nano嵌入式平臺上,對改進(jìn)前后的SSD-MobileNet模型進(jìn)行加速推理,并作對比分析。改進(jìn)前后的模型在Jetson Nano嵌入式平臺上的加速檢測結(jié)果如圖10所示??梢钥闯?,經(jīng)TensorRT優(yōu)化后的SSD-MobileNet模型對于遠(yuǎn)距離目標(biāo)檢測不穩(wěn)定,實(shí)時(shí)檢測時(shí)會出現(xiàn)漏檢現(xiàn)象,然而經(jīng)TensorRT優(yōu)化后的改進(jìn)SSD-MobileNet模型的檢測效果較為顯著,對于近距離目標(biāo)能夠準(zhǔn)確、快速檢測。
3.3?模型性能對比分析
分別在TensorFlow和TensorRT框架下,對SSD算法和本文提出的改進(jìn)SSD-MobileNet算法進(jìn)行模型性能對比分析,結(jié)果如表4所示。在單精度浮點(diǎn)數(shù)(FP16)模式下,SSD-MobileNet模型經(jīng)TensorRT推理后,mAP值為71.4%,較優(yōu)化前下降了1.1個(gè)百分點(diǎn),F(xiàn)PS為18 f/s,模型規(guī)??s小了31%;而改進(jìn)的SSD-MobileNet模型經(jīng)TensorRT推理后,mAP值為79.1%,較優(yōu)化前僅下降了0.7個(gè)百分點(diǎn),對精度影響十分微小,模型規(guī)??s小了37%,而相較于SSD模型mAP值提升了4.8個(gè)百分點(diǎn),且FPS值提升了近4倍,達(dá)到了25 f/s。可見,優(yōu)化后的模型在保證視覺檢測準(zhǔn)確率的同時(shí),顯著提升了檢測速度。
4?結(jié)?語
本文提出了改進(jìn)的SSD-MobileNet優(yōu)化模型,并在Jeston Nano嵌入式平臺上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,為滿足AGV視覺檢測實(shí)時(shí)性要求提供了一種有效的解決方案。實(shí)驗(yàn)結(jié)果顯示,改進(jìn)后的優(yōu)化模型可以達(dá)到25 f/s的幀率,比優(yōu)化前提升了近4倍,而mAP值僅下降了0.7%,對檢測精度的影響十分微小,同時(shí),模型規(guī)??s小為13.8 MB,為優(yōu)化前的63%。這些結(jié)果表明,改進(jìn)的SSD-MobileNet模型經(jīng)TensorRT優(yōu)化后,在精度降幅極少的情況下,檢測時(shí)長得到了極大改善,能流暢、實(shí)時(shí)地檢測動態(tài)障礙物,滿足AGV視覺檢測實(shí)時(shí)性的要求。
該模型也存在一些局限性和不足之處。首先,使用的數(shù)據(jù)集數(shù)量較少且類別單一,這可能會影響模型的泛化能力。其次,模型還有一些尚待解決的問題,例如:可以增加數(shù)據(jù)集的目標(biāo)類別,結(jié)合Inception網(wǎng)絡(luò)進(jìn)一步改進(jìn)本文網(wǎng)絡(luò)結(jié)構(gòu),優(yōu)化損失函數(shù),促進(jìn)實(shí)驗(yàn)系統(tǒng)的完善,以提升目標(biāo)識別的準(zhǔn)確率。在今后的研究工作中,將繼續(xù)優(yōu)化既有模型,解決上述問題,使SSD在未來的檢測任務(wù)中發(fā)揮更大的作用。
參考文獻(xiàn)/References:
[1]?李西鋒,魏生民,閆小超.視覺引導(dǎo)AGV的數(shù)字圖像處理方法研究[J].科學(xué)技術(shù)與工程,2010,10(10):2515-2519.
LI Xifeng,WEI Shengmin,YAN Xiaochao.Research of digital image processing of AGV based on vision navigation[J].Science Technology and Engineering,2010,10(10):2515-2519.
[2]?SCHMIDHUBER J.Deep learning in neural networks:An overview[J].Neural Networks,2015,61:85-117.
[3]?李雷孝,孟闖,林浩,等.基于圖像增強(qiáng)與深度學(xué)習(xí)的安全帶目標(biāo)檢測[J].計(jì)算機(jī)工程與設(shè)計(jì),2023,44(2):417-424.
LI Leixiao,MENG Chuang,LIN Hao,et al.Seat belt target detection based on image enhancement and deep learning[J].Computer Engineering and Design,2023,44(2):417-424.
[4]?韓豫,張萌,李宇宏,等.基于深度學(xué)習(xí)和ArcMap的路面病害智能綜合檢測方法[J].江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版),2023,44(4):490-496.
HAN Yu,ZHANG Meng,LI Yuhong,et al.Intelligent compre-hensive detection method of pavement diseases based on deep learning and ArcMap[J].Journal of Jiangsu University(Natural Science Edition),2023,44(4):490-496.
[5]?GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus:IEEE,2014:580-587.
[6]?GIRSHICK R.Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision (ICCV).Santiago:IEEE,2015:1440-1448.
[7]?REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster R-CNN: Towards real-time object detection with region proposal networks[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems-Volume 1.Montreal:MIT Press,2015:91-99.
[8]?REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once: Unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas:IEEE,2016:779-788.
[9]?CHEN Lili,ZHANG Zhengdao,PENG Li.Fast single shot multibox detector and its application on vehicle counting system[J].IET Intelligent Transport Systems,2018,12(10):1406-1413.
[10]劉寒迪,趙德群,陳星輝,等.基于改進(jìn)SSD的航拍施工車輛檢測識別系統(tǒng)設(shè)計(jì)[J].國外電子測量技術(shù),2020,39(7):127-132.
LIU Handi,ZHAO Dequn,CHEN Xinghui,et al.Design of detection and recognition system of aerial photography construction vehicle based on improved SSD[J].Foreign Electronic Measurement Technology,2020,39(7):127-132.
[11]唐聰,凌永順,鄭科棟,等.基于深度學(xué)習(xí)的多視窗SSD目標(biāo)檢測方法[J].紅外與激光工程,2018,47(1):290-298.
TANG Cong,LING Yongshun,ZHENG Kedong,et al.Object detection method of multi-view SSD based on deep learning[J].Infrared and Laser Engineering,2018,47(1):290-298.
[12]YIN Qunjie,YANG Wenzhu,RAN Mengying,et al.FD-SSD: An improved SSD object detection algorithm based on feature fusion and dilated convolution[J].Signal Processing:Image Communication,2021,98:116402.
[13]陳幻杰,王琦琦,楊國威,等.多尺度卷積特征融合的SSD目標(biāo)檢測算法[J].計(jì)算機(jī)科學(xué)與探索,2019,13(6):1049-1061.
CHEN Huanjie,WANG Qiqi,YANG Guowei,et al.SSD object detection algorithm with multi-scale convolution feature fusion[J].Journal of Frontiers of Computer Science and Technology,2019,13(6):1049-1061.
[14]于波,劉暢.基于改進(jìn)SSD算法的行人檢測方法[J].電子測量技術(shù),2021,44(12):24-28.
YU Bo,LIU Chang.Pedestrian detection based on improved SSD[J].Electronic Measurement Technology,2021,44(12):24-28.
[15]TARPEY T.A parametric K-means algorithm[J].Computational Statistics,2007,22(1):71-89.
[16]NAN Yahui,JU Jianguo,HUA Qingyi,et al.A-MobileNet:An approach of facial expression recognition[J].Alexandria Engineering Journal,2022,61(6):4435-4444.
[17]任宇杰,楊劍,劉方濤,等.基于SSD和MobileNet網(wǎng)絡(luò)的目標(biāo)檢測方法的研究[J].計(jì)算機(jī)科學(xué)與探索,2019,13(11):1161-1173.
REN Yujie,YANG Jian,LIU Fangtao,et al.Research on target detection method based on SSD and MobileNet network[J].Journal of Frontiers of Computer Science and Technology,2019,13(11):1161-1173.
[18]ZHAO Min,ZHONG Yuan,SUN Dihua,et al.Accurate and efficient vehicle detection framework based on SSD algorithm[J].IET Image Processing,2021,15(13):3094-3104.
[19]趙九霄,劉毅,李國燕.基于改進(jìn)SSD的視頻行人目標(biāo)檢測[J].傳感器與微系統(tǒng),2022,41(1):146-149.
ZHAO Jiuxiao,LIU Yi,LI Guoyan.Video pedestrian target detection based on improved SSD[J].Transducer and Micro-system Technologies,2022,41(1):146-149.
[20]李鵬,李強(qiáng),馬味敏,等.基于K-means聚類的路面裂縫分割算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2020,41(11):3143-3147.
LI Peng,LI Qiang,MA Weimin,et al.Pavement crack segmentation based on K-means clustering[J].Computer Engineering and Design,2020,41(11):3143-3147.
收稿日期:2023-09-04;修回日期:2023-11-04;責(zé)任編輯:王海云
基金項(xiàng)目:國家自然科學(xué)基金(51507048);河北省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(20326628D)
第一作者簡介:
張剛(1972—),男,河北吳橋人,副教授,碩士,主要從事機(jī)器視覺、機(jī)器人驅(qū)動控制方面的研究。
通信作者:
樊勁輝副教授。E-mail: fanhebust@163.com
張剛,唐戩,郝紅雨,等.
基于改進(jìn)SSD-MobileNet算法的AGV動態(tài)目標(biāo)檢測方法[J].河北工業(yè)科技,2024,41(1):1-9.ZHANG Gang, TANG Jian,HAO Hongyu,et al.AGV dynamic targets detection method based on improved SSD-MobileNet algorithm[J]. Hebei Journal of Industrial Science and Technology,2024,41(1):1-9.