摘要：在工程機(jī)械領(lǐng)域，需要應(yīng)用信息通信技術(shù)和人工智能等智能技術(shù)，使用這些技術(shù)的工程機(jī)械數(shù)量也在不斷增加。因此，利用深度學(xué)習(xí)來(lái)識(shí)別從托盤(pán)邊界框中提取的像素坐標(biāo)，并利用像素尺寸變化與托盤(pán)邊界框坐標(biāo)之間的比例關(guān)系以及通過(guò)攝像頭深度識(shí)別的托盤(pán)孔來(lái)估算托盤(pán)坐標(biāo)的方法，其結(jié)果表明托盤(pán)的相對(duì)坐標(biāo)估算可以達(dá)到要求的精度。

關(guān)鍵詞：叉車(chē)托盤(pán)深度學(xué)習(xí)托盤(pán)坐標(biāo)

中圖分類號(hào)：TP312

EstimationofPalletOrientationCoordinatesUsingDeepLearning

DOUHanqun1LIUMiao1*SUNKe1TANGHaiyang1WUYunxue1XUZichen1

SchoolofMechanicalandAutomotiveEngineering，ShanghaiUniversityofEngineeringScience，ShanghaiCity，201620China

Abstract：Inthefieldofconstructionmachinery，itisnecessarytoapplyintelligenttechnologiessuchasInformationCommunicationtechnologyandArtificialIntelligence，andthenumberofconstructionmachineryusingthistechnologyisincreasing.Therefore，itusesDeepLearningtoidentifythepixelcoordinatesextractedfromthepalletboundingboxandusesthemethodofestimatingpalletcoordinatesusingtheproportionalrelationshipbetweenpixelsizechangesandpalletboundingboxcoordinates，aswellasthetrayholesidentifiedbycameradepthrecognition，theresultsshowthattherelativecoordinateestimationofthepalletcanbeachievedwiththerequiredaccuracy.

KeyWords：Forklift;Pallet;DeepLearning;Palletcoordinate

在工業(yè)場(chǎng)所和物流倉(cāng)庫(kù)中運(yùn)輸貨物和托盤(pán)的叉車(chē)需要多種技術(shù)才能實(shí)現(xiàn)無(wú)人駕駛。作為無(wú)人駕駛的關(guān)鍵技術(shù)之一，識(shí)別叉車(chē)相對(duì)位置的能力是一項(xiàng)重要的核心技術(shù)，研究人員正在積極開(kāi)展利用模塊化單個(gè)傳感器和視覺(jué)傳感器組成的分布式控制系統(tǒng)以及基于射頻識(shí)別（RadioFrequencyIdentification，RFID）傳感器的位置識(shí)別和進(jìn)場(chǎng)軌跡生成來(lái)估計(jì)目標(biāo)位置的研究。檢測(cè)裝載貨物的托盤(pán)的位置和方向，便于插入貨叉進(jìn)行貨物搬運(yùn)，是無(wú)人叉車(chē)非常重要的功能。

本研究利用深度學(xué)習(xí)的監(jiān)督學(xué)習(xí)方法構(gòu)建了一個(gè)物體檢測(cè)器，用于基于圖片來(lái)檢測(cè)托盤(pán)位置并計(jì)算托盤(pán)坐標(biāo)，這是無(wú)人駕駛叉車(chē)基于自主性的技術(shù)之一，研究利用監(jiān)督學(xué)習(xí)器識(shí)別托盤(pán)并估算托盤(pán)在圖片上的坐標(biāo)[1]。

1托盤(pán)檢測(cè)系統(tǒng)

1.1深度學(xué)習(xí)物體檢測(cè)算法的環(huán)境

利用標(biāo)簽圖像在電腦上進(jìn)行了深度學(xué)習(xí)，實(shí)驗(yàn)硬件環(huán)境為英特爾酷睿i7-9750H處理器，英偉達(dá)GTX1650顯卡，16G內(nèi)存；軟件環(huán)境為Win10系統(tǒng)，Python3.7，所使用的深度學(xué)習(xí)框架為PyTorch。

1.2深度學(xué)習(xí)物體檢測(cè)算法

YOLO物體檢測(cè)算法用于識(shí)別托盤(pán)和托盤(pán)孔中心。YOLO是一種深度神經(jīng)網(wǎng)絡(luò)算法，采用監(jiān)督學(xué)習(xí)算法，基于卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）結(jié)構(gòu)，可預(yù)測(cè)單張圖像中物體的類型和位置。YOLO算法由卷積層（ConvolutionalLayer）和全連接層（Fully-ConnectedLayer）組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。本研究采用YOLO算法是因?yàn)樗哂泻?jiǎn)單、快速的特點(diǎn)，在卷積層中提取圖像中的特征，在全連接層中定位檢測(cè)對(duì)象的邊界框位置并進(jìn)行分類，這是網(wǎng)絡(luò)的最終輸出。

1.3驗(yàn)證托盤(pán)數(shù)據(jù)集

為進(jìn)一步研究做準(zhǔn)備，本文中收集的用于識(shí)別托盤(pán)中心的圖像數(shù)據(jù)集的例子如圖2所示方式進(jìn)行采集，即將托盤(pán)放在某一位置后，在各個(gè)采樣點(diǎn)將連接在電腦上的相機(jī)拍攝的圖像分成若干幀，生成有標(biāo)記的圖像數(shù)據(jù)集，用于監(jiān)督學(xué)習(xí)。采集的圖像在整個(gè)圖像個(gè)數(shù)中，按照60%的室內(nèi)和40%的室外的比例收集圖像。收集到的數(shù)據(jù)集的圖像總數(shù)為1000張，其中600張室內(nèi)訓(xùn)練數(shù)據(jù)和400張室外訓(xùn)練數(shù)據(jù)用于訓(xùn)練托盤(pán)孔學(xué)習(xí)器[2]。

學(xué)習(xí)未知物的標(biāo)簽被分為0類，代表托盤(pán)的中心；1類，代表托盤(pán)的前部；2類，代表托盤(pán)的孔。將托盤(pán)的每個(gè)部分分為三類進(jìn)行監(jiān)督學(xué)習(xí)的優(yōu)勢(shì)在于，在識(shí)別托盤(pán)時(shí)可以提取每個(gè)物體的類型和位置坐標(biāo)。為了驗(yàn)證訓(xùn)練模型的性能，通過(guò)得出平均精度（mAP）來(lái)評(píng)估模型的準(zhǔn)確性，這是物體識(shí)別研究中常用的性能指標(biāo)。深度學(xué)習(xí)模型使用了Yolov5s模型，該模型被稱為YOLO模型中最輕的模型，通過(guò)在訓(xùn)練和驗(yàn)證數(shù)據(jù)集上迭代200次，獲得了約88%的平均精確度[3]。

2托盤(pán)坐標(biāo)估算

2.1單攝像頭的距離估算

無(wú)人叉車(chē)或AGV中托盤(pán)的檢測(cè)和定位是物流操作和材料處理中的一個(gè)重要問(wèn)題。

使用攝像頭估算物體距離有兩種方法：基于三維攝像頭的距離估算和基于二維攝像頭的距離估算?；谌S立體相機(jī)的距離估算存在硬件成本高、處理時(shí)間長(zhǎng)的缺點(diǎn)，因?yàn)榫嚯x估算算法復(fù)雜。因此，近年來(lái)人們積極研究2D單攝像頭，通過(guò)降低硬件配置成本和使用快速處理速度來(lái)實(shí)時(shí)估計(jì)汽車(chē)和貨物等物體的距離。

本研究中，二維攝像機(jī)檢測(cè)到的YOLO物體邊界框的像素大小隨距離的變化情況，即當(dāng)采樣攝像頭接近托盤(pán)時(shí)的變化情況。采樣從3m距離接近托盤(pán)時(shí)檢測(cè)到的邊界框坐標(biāo)，可以發(fā)現(xiàn)像素大小隨著攝像頭與物體之間距離的增加而成正比增加。這表明可以利用距離與物體像素大小之間的比例關(guān)系來(lái)估算距離，即使用一個(gè)比例公式來(lái)估算距離，該公式使用的關(guān)系是：深度學(xué)習(xí)識(shí)別的物體的方框大小與其距離成線性比例[4]。

實(shí)驗(yàn)是在攝像頭靠近距離托盤(pán)300cm處開(kāi)始估算距離的，實(shí)驗(yàn)結(jié)果如表1所示。從表1中可以看出，當(dāng)托盤(pán)距離小于或等于110cm或大于250cm時(shí)，攝像頭的距離估計(jì)誤差會(huì)增大。

2.2托盤(pán)坐標(biāo)估算

一般來(lái)說(shuō)，在物流工作環(huán)境中，估算托盤(pán)的坐標(biāo)是非常重要的，不僅可以估算托盤(pán)與叉車(chē)的距離，還可以估算托盤(pán)的接近角，以便正確地進(jìn)入和拾取貨物的貨叉。在本文中，使用了根據(jù)托盤(pán)在攝像頭獲取的圖片上的位置，并通過(guò)關(guān)系式來(lái)估算角度的方法[5]。

實(shí)驗(yàn)從攝像頭估算托盤(pán)接近角度的示意圖，圖3所示顯示了攝像頭與托盤(pán)前方的夾角θ，實(shí)驗(yàn)展示了托盤(pán)位于攝像頭左側(cè)和右側(cè)時(shí)如何估算角度。以攝像機(jī)獲取的圖像底部中心（h2，v2）到托盤(pán)底部中心（h1，v1）的距離L為斜邊得到一個(gè)三角形，并利用托盤(pán)中心到屏幕底部（h3，v3）的垂線Y計(jì)算出接近方位角，如公式1所示[6]。

在實(shí)驗(yàn)中，攝像機(jī)被放置在X軸的原點(diǎn)，托盤(pán)朝向前方，如圖4所示，然后相對(duì)于攝像機(jī)的行進(jìn)方向，托盤(pán)分別在2.0m、1.5m和1.0m處向左和向右水平移動(dòng)50cm、測(cè)量托盤(pán)在實(shí)際空間中的角度和利用深度學(xué)習(xí)識(shí)別坐標(biāo)和估算的角度（x，y，θ）。

從圖5可看出，在2m和1.5m處，對(duì)托盤(pán)方位角度的估算是準(zhǔn)確的；而在1.0m處，由于鏡頭畸變，托盤(pán)離屏幕越來(lái)越近，估算角度的誤差也越來(lái)越大。

從圖5的結(jié)果可以確認(rèn)，深度學(xué)習(xí)識(shí)別的托盤(pán)圖片提取的坐標(biāo)可以估算托盤(pán)位置的角度。另外，通過(guò)角度估算，還可以確認(rèn)托盤(pán)位置坐標(biāo)（X，Y），如圖6所示。

圖6和圖7中的結(jié)果表明，根據(jù)托盤(pán)的實(shí)際位置，當(dāng)托盤(pán)位于攝像機(jī)的左側(cè)和右側(cè)時(shí)，角度和距離估算值相似。

因此，實(shí)驗(yàn)結(jié)果表明，托盤(pán)接近方位角θ的估算平均誤差為20%，接近角的估算最小誤差為10%。即，將接近角估算方法應(yīng)用于無(wú)人駕駛叉車(chē)，在靜態(tài)條件下估算托盤(pán)的接近方位角是可行的。

3結(jié)語(yǔ)

在工程機(jī)械領(lǐng)域，無(wú)人叉車(chē)或AGV中托盤(pán)的檢測(cè)和定位是物流操作和材料處理中的一個(gè)重要問(wèn)題。這就需要應(yīng)用信息和通信技術(shù)以及人工智能等智能技術(shù)。在本研究中，利用深度學(xué)習(xí)預(yù)測(cè)托盤(pán)孔的中心。本研究的主要結(jié)果如下。

（1）將托盤(pán)的每個(gè)部分分為3類，利用深度學(xué)習(xí)進(jìn)行CNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練，從攝像頭圖像中檢測(cè)托盤(pán)和托盤(pán)孔。

（2）計(jì)算了從托盤(pán)底部中心到托盤(pán)孔中心的距離，發(fā)現(xiàn)預(yù)測(cè)中心的誤差在±5mm以內(nèi)，這取決于與托盤(pán)的接近距離。

（3）使用深度學(xué)習(xí)來(lái)識(shí)別托盤(pán)邊界框，并提取像素坐標(biāo)，進(jìn)而估算出距離和接近方位角，可知估算托盤(pán)坐標(biāo)的方法可行。

參考文獻(xiàn)

[1]王少韓.基于YOLOv5和樹(shù)莓派的火災(zāi)識(shí)別研究[J].農(nóng)業(yè)裝備與車(chē)輛工程.2022，60（8）：115-118.

[2]杜開(kāi)源.基于YOLO的托盤(pán)孔位置識(shí)別研究[J].汽車(chē)實(shí)用技術(shù)，2023，48（21）：17-20.

[3]潘金晶.基于改進(jìn)YOLOv5的手機(jī)外觀缺陷檢測(cè)算法[J].黑龍江科學(xué)，2024，15（8）：39-43.

[4]李學(xué)賓.基于樹(shù)莓派的實(shí)時(shí)目標(biāo)檢測(cè)[D].武漢：華中科技大學(xué)，2019.

[5]戴雨軒.基于機(jī)器視覺(jué)的鍋底標(biāo)簽角度測(cè)量系統(tǒng)研究[J].農(nóng)業(yè)裝備與車(chē)輛工程，2023，61（6）：169-173.

[6]姜匯策.檔案盒視覺(jué)定位與測(cè)量技術(shù)研究[J].制造業(yè)自動(dòng)化，2023，45（4）：53-58.