金宗毅 陶學(xué)恒,2 金 艷 馮怡然 王慧慧 張 旭

(1. 大連工業(yè)大學(xué)機(jī)械工程與自動化學(xué)院，遼寧 大連 116034；2. 國家海洋食品工程技術(shù)研究中心，遼寧 大連 116034)

中國作為一個海洋大國，海洋面積達(dá)到473萬m2，擁有廣闊的海洋牧場。但目前中國所捕撈海產(chǎn)品的后續(xù)分揀工作仍處于初級階段，主要依靠人工操作和相關(guān)配套設(shè)備協(xié)作完成，加工水平遠(yuǎn)遠(yuǎn)低于國外。近年來，機(jī)器視覺技術(shù)迎來了飛速發(fā)展，在各個領(lǐng)域的應(yīng)用層出不窮。將計算機(jī)視覺技術(shù)應(yīng)用至水產(chǎn)行業(yè)，對海產(chǎn)品進(jìn)行識別、定位和后續(xù)分類，既能在保證海產(chǎn)品質(zhì)量的同時提高生產(chǎn)效率，也能減少對勞動力的需求。

朱蓓薇等[1]發(fā)明了一種具有分級功能的海參加工生產(chǎn)線裝置，包括上料帶傳送機(jī)構(gòu)和噴淋裝置；上料帶傳送機(jī)構(gòu)的末端接有內(nèi)臟清理單元，上輸送帶傳送機(jī)構(gòu)的上輸送帶上順著傳輸方向隔成多級輸送通道；所述上輸送帶的末端接有物料清洗單元，而后送至質(zhì)構(gòu)控制主機(jī)，最后由物料箱接收加工好的海參。實現(xiàn)一體化生產(chǎn)，節(jié)省了人力成本，減少了污染環(huán)節(jié)，達(dá)到高效生產(chǎn)的目的。陶學(xué)恒等[2]提出了一種海產(chǎn)品自動稱重分揀裝置，包括第一輸送帶、圖像識別系統(tǒng)、步進(jìn)電機(jī)、撥料板、支撐板、第一輸送帶電機(jī)、第二輸送帶電機(jī)、稱重傳感器、支撐臺、支腿、臺面、滑塊和滑臺；將以往靜態(tài)稱重速度提高了3倍，整體稱重速度達(dá)到動態(tài)稱重設(shè)備的平均速度，實現(xiàn)了靜態(tài)稱重引入動態(tài)機(jī)構(gòu)，大大降低了制造工本，同時保證了高速度，高精度。胡澤軍等[3]設(shè)計了一種根據(jù)灰度變化設(shè)定ROI區(qū)域的計算方法，針對黑夜與白天的行車區(qū)域與非行車區(qū)域分離。對霍夫直線檢測出的直線，增加對分割圖像內(nèi) HOG(Histogram of Oriented Gradient)特征提取后利用 SVM(Support Vector Machines)分類檢測的方法，為車道線檢測提供一種高擬合度的魯棒性算法，能夠有效地進(jìn)行彎道和直道的識別。謝為俊等[4]通過圖像色調(diào)下飽和度和明度的明顯差異識別青頭：不同顏色范圍匹配不同結(jié)果；根據(jù)形狀差異判斷胡蘿卜斷裂與否：將待檢胡蘿卜的最小外接矩形與標(biāo)準(zhǔn)匹配模板通過Hu不變矩進(jìn)行圖像適配，得到兩個圖像匹配系數(shù)，根據(jù)匹配系數(shù)判別是否斷裂。相比之下，將機(jī)器視覺應(yīng)用到海產(chǎn)品分揀處理方向的研究則較為缺失。

試驗擬利用裝備機(jī)械結(jié)構(gòu)對物料進(jìn)行分級，通過系統(tǒng)算法完成物體分類，構(gòu)建一個基于機(jī)器人的海產(chǎn)品智能分揀裝備，以期實現(xiàn)海產(chǎn)品的高效、快速、智能分揀。

1 海產(chǎn)品智能分揀系統(tǒng)生產(chǎn)線的系統(tǒng)構(gòu)成與工作原理

1.1 海產(chǎn)品智能分揀系統(tǒng)構(gòu)成

海產(chǎn)品智能分揀系統(tǒng)由機(jī)器人分揀系統(tǒng)、物料輸送系統(tǒng)、稱重分級系統(tǒng)、視覺識別系統(tǒng)等構(gòu)成，工作過程皆由PLC編程控制完成，其系統(tǒng)布局如圖1所示。

圖1 海產(chǎn)品智能分揀裝備系統(tǒng)總體布局圖Figure 1 General layout of seafood intelligent sorting equipment system

1.2 海產(chǎn)品智能分揀裝備與系統(tǒng)的工作原理

基于機(jī)器人的海產(chǎn)品智能分揀裝備與系統(tǒng)，以分揀魚、蝦、貝類等海產(chǎn)品為主。魚、蝦、貝類等海產(chǎn)品經(jīng)傳送帶輸送到智能識別攝像頭下方，機(jī)器人通過機(jī)器視覺識別技術(shù)，分辨出魚、蝦、貝類的品種；當(dāng)確定識別結(jié)果為目標(biāo)品種(魚、蝦、貝類)時，啟動輸送線上的撥叉裝置將目標(biāo)品種(魚、蝦、貝類)推送至傳送帶旁的電子稱重臺進(jìn)行自動稱重(分級)，根據(jù)不同重量規(guī)格將同一目標(biāo)品種(魚、蝦、貝類)分為不同的重量等級；與電子稱重臺連接的計算機(jī)接收到反饋信號后、啟動機(jī)器抓取機(jī)構(gòu)將目標(biāo)品種(魚、蝦、貝類)分揀至分揀倉。工作流程如圖2所示。

圖2 海產(chǎn)品智能分揀系統(tǒng)總體流程圖Figure 2 General flow chart of seafood intelligent sorting system

1.3 海產(chǎn)品智能分揀裝備系統(tǒng)各結(jié)構(gòu)組成

分揀裝備系統(tǒng)主要由機(jī)器人分揀系統(tǒng)、物料輸送系統(tǒng)、稱重分級系統(tǒng)、視覺識別系統(tǒng)4個子系統(tǒng)組成。4個子系統(tǒng)通過計算機(jī)網(wǎng)絡(luò)進(jìn)行信息傳遞，通過示教器和控制臺可以實現(xiàn)人工操作和自動操作并行處理，能夠?qū)崿F(xiàn)人機(jī)交互進(jìn)而構(gòu)成一個完整的閉環(huán)測控分揀系統(tǒng)。

1.3.1 分揀機(jī)構(gòu)的選用 分揀機(jī)構(gòu)是海產(chǎn)品智能分揀裝備的核心結(jié)構(gòu)，需要實現(xiàn)對海產(chǎn)品進(jìn)行一系列的分揀操作。參考國內(nèi)外先進(jìn)分揀機(jī)構(gòu)，并結(jié)合使用要求，確定分揀機(jī)構(gòu)采用六自由度的結(jié)構(gòu)形式。為減輕機(jī)構(gòu)質(zhì)量及提高各組成部分受載能力，其結(jié)構(gòu)材料選用鋁合金材質(zhì)。

如圖3所示，該分揀機(jī)構(gòu)由底座、肩部、大臂、肘部、前臂和手腕組成。機(jī)構(gòu)對應(yīng)6個關(guān)節(jié)分別為腰部旋轉(zhuǎn)一軸(S)、肩部旋轉(zhuǎn)二軸(L)、肘部旋轉(zhuǎn)三軸(U)、手腕偏轉(zhuǎn)四軸(R)、手腕仰俯五軸(B)和六軸末端執(zhí)行器[5]。智能分揀機(jī)構(gòu)的6個關(guān)節(jié)處各有一個交流伺服電機(jī)，每個關(guān)節(jié)的動作都由電機(jī)分別控制。各關(guān)節(jié)電機(jī)帶動一個諧波減速器或RV減速器。分揀機(jī)構(gòu)通過底座固定在傳送帶旁邊。

圖3 分揀機(jī)器人機(jī)器臂軸結(jié)構(gòu)Figure 3 Sorting robot arm shaft structure

根據(jù)分揀動作的要求，確定了智能分揀機(jī)器人的操作技術(shù)方案，機(jī)器人應(yīng)能夠?qū)⒎Q重臺上的海產(chǎn)品快速抓取并輸送至對應(yīng)的分揀倉。

末端執(zhí)行器采用氣動式機(jī)械夾爪(如圖4所示)，氣缸筒為無油自潤滑裝置，具有高速度、低摩擦、自潤滑、高壽命等優(yōu)點(diǎn)。執(zhí)行器性能可靠，操作安全，該氣動式機(jī)械夾爪適用于貝類夾取。分揀機(jī)構(gòu)有效負(fù)載7 kg，工作范圍703 mm，具有結(jié)構(gòu)緊湊、機(jī)身小巧、易于集成、經(jīng)久耐用等優(yōu)點(diǎn)。

圖4 末端執(zhí)行器手爪三維建模圖Figure 4 3D modeling of end-effector claw

1.3.2 物料輸送裝置及系統(tǒng) 上料輸送裝置由電動機(jī)及傳送皮帶滾道組成，電動機(jī)采用YS7124三相異步電動機(jī)，級數(shù)4級，額定功率370 W，額定轉(zhuǎn)速1 440 r/min，滿足使用要求。

1.3.3 稱重分級裝置及系統(tǒng) 稱重分級系統(tǒng)采用Mettler Toledo電子臺秤。最大秤量6 kg，最小秤量0.04 kg，實際分度值2 g，工作溫度范圍-10～40 ℃。

1.3.4 物料存儲倉 物料存儲倉有4個不同倉位，分別接收各個路徑不同種類物料的單元(如圖5所示)。

圖5 物料存儲倉Figure 5 Material storage bin

2 基于機(jī)器視覺的海產(chǎn)品智能識別技術(shù)

2.1 海產(chǎn)品智能識別算法(Faster R-CNN)

基于計算機(jī)視覺的貝類檢測與識別技術(shù)是典型的圖像分析、理解和分類問題[6-9]。文章探討了一種基于貝類特征進(jìn)行修改的新型Faster R-CNN算法。Faster R-CNN算法最大的特點(diǎn)是將特征抽取、proposal提取、bounding box regression三者融合于同一網(wǎng)絡(luò)架構(gòu)中，其綜合處理能力大，檢測速度快[10-11]。

其基本原理：將任意的P×Q特征圖縮放至M×N并送至Conv layers網(wǎng)絡(luò)(13個conv層，13個relu層，4個pooling層)固定變?yōu)?M/16)×(N/16)大小，使得Conv layers生成的feature map與原特征圖對應(yīng)。后進(jìn)入RPN：候選檢測框生成網(wǎng)絡(luò)(Region Proposal Networks)，RPN網(wǎng)絡(luò)分為兩條線，一條通過softmax計算anchors獲得positive和negative分類，一條針對anchors的bounding box regression偏移量作出計算，獲得精確的proposal。其輸出的positive anchors和通過bounding box regression偏移量取得proposals綜合匯集至Proposal層，并在去除不符合條件的proposals后送至RoI Pooling層。RoI Pooling層同時接收通過Conv layers層的feature maps和通過RPN輸出的proposals綜合計算出最終用于Classification層的proposal feature maps，使用full connect層和softmax將各proposal分類(如貝類、魚類等)，輸出概率向量cls_prob；并再次利用bounding box regression獲得各proposal的位置偏移量bbox_pred，最終提高目標(biāo)檢測框精準(zhǔn)度[12-14]。算法框架如圖6所示。

圖6 Faster R-CNN架構(gòu)Figure 6 Faster R-CNN architecture

2.2 改進(jìn)的Faster R-CNN算法

針對貝類分類和檢測利用DenseNet作為基本特征提取網(wǎng)絡(luò)改進(jìn)方案。DenseNet網(wǎng)絡(luò)繼承自ResNet網(wǎng)絡(luò)，相比于ResNet網(wǎng)絡(luò)，DenseNet的網(wǎng)絡(luò)機(jī)制更為激進(jìn)，其將所有的層都互相連接，每一層都與前面的所有層進(jìn)行連接，構(gòu)建了一個極為密集的網(wǎng)絡(luò)機(jī)制。ResNet網(wǎng)絡(luò)僅僅是通過元素級相加的方式將層與前面幾個層相連接。DenseNet卻是將層前面的所有層都在channel維度上連接起來，一起作為下一層的輸出。并且由于DenseNet直接連接了其他所有層，使得其可以任意調(diào)用其他層的特征，減少了計算浪費(fèi)，極大地提高了效率[15]。DenseNet網(wǎng)絡(luò)機(jī)制如圖7所示。

圖7 DenseNet密集連接機(jī)制Figure 7 DenseNet dense connection mechanism

傳統(tǒng)網(wǎng)絡(luò)在L層輸出：

xl=Hl(xl-1)。

(1)

Resnet網(wǎng)絡(luò)在L層輸出：

xl=Hl(xl-1)+xl-1。

(2)

DenseNet網(wǎng)絡(luò)在L層輸出：

xl=Hl([x0,x1,…,xl-1])。

(3)

對于DenseNet網(wǎng)絡(luò)，塊之間的密集連接可以有效利用淺層和深層特征以確保其效率和狹窄性，并能夠減少其復(fù)雜性和計算負(fù)擔(dān)。采用4個121層的密集塊構(gòu)成特征提取網(wǎng)絡(luò)，在去除完全連通層和分類層之后，通過連接RPN和RoI池化層進(jìn)行目標(biāo)識別和定位。

2.3 改進(jìn)的Faster R-CNN算法試驗結(jié)果

為了驗證Faster R-CNN算法的有效性，采集了貝類數(shù)據(jù)集。貝類數(shù)據(jù)集分為4個物種(海螺、扇貝、貽貝和蛤蜊)，共包含8 436張圖像(見表1)。數(shù)據(jù)具有不同的光照強(qiáng)度、遮擋、復(fù)雜背景以及多個目標(biāo)，以確保檢測模型涵蓋了現(xiàn)實生活中常見的貝類。其中90%用作訓(xùn)練集，10%用作測試集。

表1 貝類外觀形體識別訓(xùn)練與測試集Table 1 Training and testing set for shellfish appearance and body recognition

迭代訓(xùn)練仍使用Conv Layers提取feature maps。整個網(wǎng)絡(luò)使用Loss函數(shù)：

(4)

該Loss函數(shù)分為兩部分：

(1)cls loss：用于分類anchors為positive與negative的網(wǎng)絡(luò)訓(xùn)練。

(2)reg loss：用于bounding box regression網(wǎng)絡(luò)訓(xùn)練。

實際過程中Ncls和Nreg差距較大，引入?yún)?shù)λ平衡二者，使總體網(wǎng)絡(luò)均勻計算兩種Loss。計算公式：

(5)

(6)

(7)

實際卷積損失過程及訓(xùn)練過程的測試準(zhǔn)確率如圖8所示。經(jīng)過大約2 000次卷積后，總體損耗可以迅速降低并穩(wěn)定在0.1～0.2，測試精度也穩(wěn)定在80%左右。

圖8 損失訓(xùn)練過程及識別準(zhǔn)確性測試Figure 8 Loss training process and identification accuracy testing

評價指標(biāo)為平均精度(AP),即PR曲線下的面積。在P—R曲線上，P代表精度、準(zhǔn)確率：預(yù)測結(jié)果為真的樣本中真正為真的比例。R代表召回率：預(yù)測結(jié)果召回了多少真正的真樣本。其計算公式：

(8)

(9)

mAP:多個AP的平均值，計算公式：

(10)

式中：

NTP——真陽性樣本數(shù)；

NFP——假陽性陰性樣本數(shù)；

NFN——假陰性陽性樣本數(shù)；

AP——單個種類識別精度。

分別使用ResNet和DenseNet作為基本特征提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并使用測試集對網(wǎng)絡(luò)模型進(jìn)行評估。表2列出了獲得的各種貝類的AP值。

從表2可以看出，使用DenseNet進(jìn)行特征提取，mAP值高達(dá)83%，比ResNet高出近4%。3種貝類(蛤蜊、扇貝和貽貝)的檢測結(jié)果大大改善，驗證了利用DenseNet改進(jìn)的Faster R-CNN在檢測準(zhǔn)確率上優(yōu)于前網(wǎng)絡(luò)。

表2 不同網(wǎng)絡(luò)模型的測試結(jié)果Table 2 Test results of different network models %

3 結(jié)論

研發(fā)了一種基于機(jī)器人技術(shù)的海產(chǎn)品智能分揀裝備與系統(tǒng)，構(gòu)建了一個能夠?qū)崿F(xiàn)智能、高效、自動分揀海產(chǎn)品的機(jī)械裝備系統(tǒng)；提出一種基于Faster R-CNN深度學(xué)習(xí)的海產(chǎn)品外觀品級的識別算法，能夠有效利用人工神經(jīng)網(wǎng)絡(luò)的淺層和深層特征，并可大大改善海產(chǎn)品檢測的準(zhǔn)確性。鑒于海產(chǎn)品種類的多樣性，后續(xù)將在此裝備系統(tǒng)基礎(chǔ)上繼續(xù)研發(fā)針對不同海產(chǎn)品的末端專用夾具，以滿足實際生產(chǎn)需求。