張明強(qiáng),高 華,袁東風(fēng),張海霞,孫廣源,馬 睿,翟華振,張尋政

(1.山東大學(xué) 信息科學(xué)與工程學(xué)院, 山東 青島 266237;2. 曲阜師范大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院,山東 曲阜 273165;3.山東大學(xué) 先進(jìn)信息技術(shù)研究院,山東 濟(jì)南 250100;4.山東大學(xué) 控制科學(xué)與工程學(xué)院, 山東 濟(jì)南 250061;5.海爾集團(tuán) 海爾空調(diào)全球供應(yīng)鏈, 山東 青島 266103;6.山東省無線通信技術(shù)重點(diǎn)實(shí)驗(yàn)室,山東 濟(jì)南 250100 )

0 引言

智能制造[1]是全球新一代工業(yè)革命的風(fēng)向標(biāo),為提升產(chǎn)業(yè)核心競爭力、實(shí)現(xiàn)新舊動能轉(zhuǎn)換,亟需發(fā)展新一代信息技術(shù)賦能的智能制造產(chǎn)業(yè)。美國工業(yè)互聯(lián)網(wǎng)、德國工業(yè)4.0、日本創(chuàng)新工業(yè)計(jì)劃和中國智能制造均從不同角度提出借助新一代信息技術(shù)對工業(yè)場景改造升級的思路[2-3],其核心理念均通過工業(yè)物聯(lián)網(wǎng)(Industrial Internet of Things,IIoT)、多功能傳感器和云計(jì)算等信息集成技術(shù),將分布式、組合式的工業(yè)制造單元模塊構(gòu)建成多功能、智能化的高柔性工業(yè)制造系統(tǒng),同時(shí)在生產(chǎn)設(shè)備、零部件、原材料上裝載可交互智能終端,借助物聯(lián)網(wǎng)實(shí)現(xiàn)信息交互和實(shí)時(shí)互動,使機(jī)器能夠自主決策,并對生產(chǎn)進(jìn)行個性化控制,進(jìn)而打造先進(jìn)的無人化智能工廠。與裝備制造業(yè)強(qiáng)國相比,我國裝備制造業(yè)綜合競爭力依舊較弱,實(shí)際產(chǎn)線數(shù)據(jù)實(shí)時(shí)分析和生產(chǎn)自主決策方面困難突出,大大制約了制造業(yè)的產(chǎn)能和效率,嚴(yán)重阻礙了制造業(yè)從大規(guī)模制造向大規(guī)模個性化定制轉(zhuǎn)型的進(jìn)程。

人工智能、大數(shù)據(jù)、云計(jì)算和邊緣計(jì)算以及通信技術(shù)(Artificial intelligence,Big data, Cloud and edge computing,Communications,ABCC)已經(jīng)成為當(dāng)前制造業(yè)轉(zhuǎn)型升級的主要抓手。借助人工智能(Artificial Intelligence,AI)和機(jī)器視覺方法進(jìn)行制造業(yè)產(chǎn)線的數(shù)字化轉(zhuǎn)型升級[4],可以充分利用深度學(xué)習(xí)、機(jī)器學(xué)習(xí)理論和方法在數(shù)據(jù)挖掘、特征抽取方面的優(yōu)秀潛能,捕捉歷史數(shù)據(jù)信息隱含的重要特征,輔助產(chǎn)線進(jìn)行智能決策。近年來,隨著數(shù)據(jù)量的積累、算力的進(jìn)步和AI模型表示能力的增強(qiáng),利用深度學(xué)習(xí)方法進(jìn)行圖像理解已經(jīng)成為機(jī)器視覺和AI領(lǐng)域研究與垂直行業(yè)落地的熱點(diǎn)。圖像理解可以劃分為圖像分類(image classification)、目標(biāo)檢測(object detection)、圖像分割(image segmentation)3個層次。圖像分類[5-6]采用事先確定好的類別來描述圖像,是最基礎(chǔ)的圖像理解任務(wù),也是深度學(xué)習(xí)模型取得進(jìn)步最大、應(yīng)用最廣泛的一種任務(wù),AI模型取得進(jìn)展的同時(shí)也誕生了ImageNet[7],MNIST(modified national institute of standards and technology),CIFAR10(Canadian institute for advanced research, 10 classes),CIFAR100(Canadian institute for advanced research, 100 classes)等多種具有國際影響力的圖像數(shù)據(jù)集;目標(biāo)檢測關(guān)注圖像中特定目標(biāo)的類別和位置信息,需要從背景中分離出感興趣目標(biāo),一般用矩形框定位(object localization)目標(biāo)區(qū)域,同時(shí)給出定位目標(biāo)的類型或類別信息,目前主流算法包括基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Region-based Convolutional Neural Networks,R-CNN)[8],Fast R-CNN[9],Faster R-CNN[10],Yolo(you only look once)家族系列算法[11-14];圖像分割包括語義分割和實(shí)例分割等多種類型,要求分離不同語義的圖像部分,或者描述出感興趣區(qū)域或目標(biāo)的精細(xì)輪廓,在現(xiàn)實(shí)場景和醫(yī)學(xué)影像分析領(lǐng)域存在大量應(yīng)用,目前主流算法包括Mask R-CNN[15],U-net[16]等,在國內(nèi)外公開的PASCAL-VOC(pattern analysis,statistical modeling and computational learning-visual object classes),LIDC(lung image database consortium)等數(shù)據(jù)集上效果良好。

產(chǎn)品質(zhì)量是企業(yè)的生命線,在工業(yè)生產(chǎn)制造全生命周期中,對產(chǎn)品質(zhì)量進(jìn)行實(shí)時(shí)監(jiān)控可以及時(shí)預(yù)警生產(chǎn)過程中的突發(fā)狀況并作出響應(yīng),從而規(guī)避風(fēng)險(xiǎn)。現(xiàn)階段,產(chǎn)品質(zhì)量管控需添加額外工序或人工對產(chǎn)品中間件進(jìn)行質(zhì)量評估,不但帶來額外的生產(chǎn)成本,而且制約了生產(chǎn)效率。針對該問題,國內(nèi)外產(chǎn)業(yè)和學(xué)術(shù)界均進(jìn)行了大量研究。由于影響產(chǎn)品質(zhì)量的因素比較復(fù)雜,人、機(jī)、料、法、環(huán)等都會對制造質(zhì)量產(chǎn)生影響,“事后檢驗(yàn)”以及統(tǒng)計(jì)過程控制的傳統(tǒng)質(zhì)量管控方式已無法適應(yīng)新型智能制造系統(tǒng)和產(chǎn)業(yè)柔性制造的需求。

借助歷史數(shù)據(jù)建立數(shù)學(xué)模型,特別是AI模型,完成產(chǎn)品質(zhì)量的預(yù)測分析,同時(shí)實(shí)現(xiàn)產(chǎn)線設(shè)備預(yù)測性維護(hù)和故障診斷是當(dāng)前的主流方式[17-21],然而由于工業(yè)大數(shù)據(jù)采集、整理、分析和存儲均會耗費(fèi)大量人力物力,而且隱含價(jià)值的挖掘難度較大,導(dǎo)致基于AI的質(zhì)量管控方法在實(shí)際制造產(chǎn)線的應(yīng)用十分有限,仍處于初期探索階段。

國內(nèi)外有關(guān)AI在空調(diào)外觀質(zhì)量檢測問題的應(yīng)用均未見報(bào)道。產(chǎn)品Logo、聯(lián)機(jī)管、柵網(wǎng)等關(guān)鍵部件的錯漏裝檢測是空調(diào)外機(jī)外觀質(zhì)量檢測工序的核心任務(wù),也是空調(diào)外機(jī)封箱入庫前至關(guān)重要的一步,很大程度上影響客戶滿意度、投訴量和品牌價(jià)值。本文聚焦空調(diào)外機(jī)的外觀質(zhì)量檢測問題,將該問題建模為目標(biāo)分類與圖像識別任務(wù),結(jié)合真實(shí)空調(diào)產(chǎn)線歷史積累數(shù)據(jù),構(gòu)建空調(diào)外觀質(zhì)量檢測專用數(shù)據(jù)集,并在IEEE DataPort網(wǎng)站面向國內(nèi)外研究人員公開,輔助機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域內(nèi)相關(guān)特征識別與檢測算法的驗(yàn)證和測試。在此基礎(chǔ)上,設(shè)計(jì)了一種改進(jìn)的快速精簡Yolo(Fast Tiny Yolo,FT-Yolo)算法,進(jìn)一步研發(fā)邊云協(xié)同模式外觀質(zhì)量AI檢測系統(tǒng),完成圖像采集和處理,實(shí)現(xiàn)空調(diào)外機(jī)銘牌Logo、旋風(fēng)網(wǎng)及聯(lián)機(jī)管顏色等外觀質(zhì)量特征的自動在線檢測,并針對異常檢測實(shí)時(shí)預(yù)警,同時(shí)通過可編程控制器(Programmable Logic Controller,PLC)與線體和云平臺互聯(lián)交互,實(shí)現(xiàn)機(jī)機(jī)對話、不良品自動停線和打返修區(qū)。

1 空調(diào)外觀質(zhì)量檢測問題建模與公開數(shù)據(jù)集的構(gòu)建

1.1 外觀質(zhì)量檢測問題建模與評估方法

外觀質(zhì)量檢測的內(nèi)容包括:①聯(lián)機(jī)管,空調(diào)外機(jī)附加兩條和室內(nèi)機(jī)相連的聯(lián)機(jī)管,其管徑和管頭顏色不同,聯(lián)機(jī)管錯漏裝直接導(dǎo)致入戶無法安裝;②旋風(fēng)網(wǎng),用于保護(hù)扇葉,同時(shí)保證消費(fèi)者人身安全,空調(diào)型號不同,旋風(fēng)網(wǎng)也存在差別;③產(chǎn)品Logo,Logo標(biāo)志商標(biāo)和機(jī)型,銷往內(nèi)地和海外產(chǎn)品的Logo不同。在實(shí)際生產(chǎn)過程中,產(chǎn)品型號種類繁多(全部型號超過1 000種),存在大量需要檢測的不同外觀質(zhì)量特征,而同一生產(chǎn)線生產(chǎn)過程會根據(jù)訂單和排產(chǎn)情況頻繁更換產(chǎn)品型號。因此,外觀質(zhì)量檢測工具需要快速識別產(chǎn)品Logo、旋風(fēng)網(wǎng)、聯(lián)機(jī)管等多項(xiàng)檢測內(nèi)容,并與當(dāng)前產(chǎn)線生產(chǎn)的產(chǎn)品型號進(jìn)行匹配,同時(shí)完成檢測數(shù)據(jù)的存儲和傳輸,以便進(jìn)行質(zhì)量追溯。

上述外觀質(zhì)量檢測問題可以建模為目標(biāo)檢測與識別問題,檢測過程需要完成目標(biāo)定位和分類兩個任務(wù)。本文借鑒Yolo家族模型的基本思路,將該問題轉(zhuǎn)化為回歸問題,采用均方差損失函數(shù)和隨機(jī)梯度下降方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,一步完成目標(biāo)定位和分類任務(wù)。模型訓(xùn)練過程中的基本損失函數(shù)表示為[8]

(1)

(2)

(3)

(4)

式中:IoU為預(yù)測邊界框與標(biāo)記邊界框的交并集之比;Precision表示檢測出的目標(biāo)有多大比例為真正的目標(biāo);Recall表示真實(shí)目標(biāo)有多大比例被模型檢測出來。對于某個類別,可以通過計(jì)算平均精度來判斷該類別預(yù)測結(jié)果的優(yōu)劣,而平均精度即為Precision-Recall曲線與坐標(biāo)軸相交的面積,均值平均精度mAP則為多個類別的平均精度。

1.2 改進(jìn)的Yolo算法Fast-Tiny Yolo

YoloV3模型252層[13],YoloV4模型161層[14],模型推理過程計(jì)算量大,不適用于計(jì)算能力受限的工業(yè)物聯(lián)網(wǎng)邊緣節(jié)點(diǎn)設(shè)備。因此,將YoloV3模型簡化,提出改進(jìn)的FT-Yolo模型對目標(biāo)檢測精度和檢測時(shí)間進(jìn)行折中。FT-Yolo網(wǎng)絡(luò)共27層卷積層,如表1所示,其網(wǎng)絡(luò)結(jié)構(gòu)采用卷積、批歸一化(Batch Normalization,BN)和LeakyReLU激活(Conv+BN+LeakyReLU)為基礎(chǔ)的殘差網(wǎng)絡(luò)作為核心模塊,表1中采用“←Conv”表示殘差模塊短接(shortcut)引出位置的卷積層,“→Resdual-Add”表示殘差模塊的Add層,將短接引出位置的卷積層與本層輸出進(jìn)行疊加,引入殘差模塊使得網(wǎng)絡(luò)訓(xùn)練更加容易,可以防止梯度彌散和網(wǎng)絡(luò)退化。與YoloV3不同,為了進(jìn)一步簡化模型運(yùn)算量,FT-Yolo網(wǎng)絡(luò)提供兩路輸出,采用非極大值抑制法(Non-Maximum Suppression,NMS)進(jìn)行局部搜索,給出最終目標(biāo)檢測結(jié)果。

表1 FT-Yolo網(wǎng)絡(luò)結(jié)構(gòu)

1.3 外觀質(zhì)量檢測公開數(shù)據(jù)集的構(gòu)建

如前所述,AI在空調(diào)外觀質(zhì)量檢測問題的應(yīng)用國內(nèi)外均未見報(bào)道,也未發(fā)現(xiàn)空調(diào)外觀質(zhì)量檢測領(lǐng)域的公開圖像數(shù)據(jù)集。為了訓(xùn)練和驗(yàn)證深度學(xué)習(xí)目標(biāo)檢測算法,本文采集大量外觀質(zhì)量檢測數(shù)據(jù),選取部分常用型號整理并標(biāo)注了外觀質(zhì)量檢測(Appearance Quality Detection,AQD)圖像數(shù)據(jù)集。將數(shù)據(jù)集命名為SDU-Haier-AQD(簡稱AQD),并在IEEE DataPort網(wǎng)站公開,用于目標(biāo)識別與檢測領(lǐng)域深度學(xué)習(xí)算法的訓(xùn)練、驗(yàn)證和測試[22]。AQD數(shù)據(jù)集中的所有數(shù)據(jù)均從空調(diào)產(chǎn)線外觀檢測工位處使用工業(yè)相機(jī)采集,根據(jù)相機(jī)差異分為2 464×2 056和1 232×1 028兩種分辨率,圖像為jpg格式,單幅圖像大小在100 kB～400 kB之間,本文在構(gòu)建數(shù)據(jù)集時(shí)并未對圖像進(jìn)行任何預(yù)處理。在外觀質(zhì)量圖像AQD數(shù)據(jù)集標(biāo)注過程中,采用Github開源標(biāo)注工具labelImg[23]標(biāo)注樣本。如圖1所示,標(biāo)注過程將待檢測目標(biāo)用矩形框框出,并給予類別命名,最終形成與圖像樣本同名的xml文件,xml文件中包含圖像名稱和存儲位置、圖像尺寸和通道數(shù)、圖像標(biāo)注目標(biāo)名稱、標(biāo)注目標(biāo)所在橫縱坐標(biāo)位置等信息。如圖2所示,由于原始圖像分辨率不統(tǒng)一(如外機(jī)圖像1分辨率為1 200×900,外機(jī)圖像2分辨率為1 500×1 000),而用于深度學(xué)習(xí)算法訓(xùn)練的樣本圖形則為統(tǒng)一尺寸(416×416),為方便訓(xùn)練深度學(xué)習(xí)模型,在縮放圖像后進(jìn)一步對標(biāo)注的橫縱坐標(biāo)等信息進(jìn)行歸一化,并將歸一化的坐標(biāo)等標(biāo)簽信息以txt文檔形式保存。

AQD公開數(shù)據(jù)集共標(biāo)注數(shù)據(jù)10 449幅,全部標(biāo)注數(shù)據(jù)總計(jì)約2.5 GB,每幅圖像的標(biāo)注過程需要對圖像中的Logo、旋風(fēng)網(wǎng)、聯(lián)機(jī)管的輪廓進(jìn)行詳細(xì)勾畫,單幅圖像的標(biāo)注過程約5 min,整個標(biāo)注過程花費(fèi)約10人月的工作量。AQD公開數(shù)據(jù)集中外觀質(zhì)量檢測圖像可以細(xì)分為11個空調(diào)機(jī)型(A1-A11),表2所示為不同空調(diào)產(chǎn)品型號代號及對應(yīng)的樣本數(shù)量。表3所示為該數(shù)據(jù)集的全部標(biāo)注類別,共分為16類,包括聯(lián)機(jī)管相關(guān)特征5類、旋風(fēng)網(wǎng)2類、Logo 9類。

表2 AQD公開數(shù)據(jù)集包含的外機(jī)型號代碼及對應(yīng)的標(biāo)注圖像數(shù)量

表3 AQD公開數(shù)據(jù)集中標(biāo)注的標(biāo)簽名稱及其數(shù)量

2 云邊協(xié)同產(chǎn)品外觀質(zhì)量AI檢測系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)總體設(shè)計(jì)

本文設(shè)計(jì)的產(chǎn)品外觀質(zhì)量AI檢測系統(tǒng)是云邊協(xié)同智能制造管控平臺的一個子系統(tǒng),該平臺聚焦產(chǎn)品質(zhì)量管控、設(shè)備預(yù)測性維護(hù)和智能排產(chǎn)等多項(xiàng)任務(wù),全面采集海爾互聯(lián)工廠生產(chǎn)過程數(shù)據(jù),涵蓋內(nèi)、外機(jī)外觀檢測,噪聲檢測,內(nèi)、外機(jī)性能檢測等18個關(guān)鍵點(diǎn)位的智能化改造和升級。如圖3所示,云邊協(xié)同產(chǎn)品外觀質(zhì)量AI檢測系統(tǒng)負(fù)責(zé)產(chǎn)品外觀質(zhì)量數(shù)據(jù)采集、聚合、傳輸、檢測,以及與工業(yè)云平臺的交互,可簡化為端、邊、云3層架構(gòu):

(1)底層產(chǎn)線部署傳感器(工業(yè)相機(jī)、條碼掃描器等)、PLC控制器等物聯(lián)網(wǎng)設(shè)備、輕量級邊緣計(jì)算設(shè)備數(shù)據(jù)聚合器(DataAggregator,DA),DA為增強(qiáng)版的工業(yè)網(wǎng)關(guān),嵌入了5G模組和智能數(shù)據(jù)聚合模塊,可替換ISA95工業(yè)金字塔架構(gòu)中的數(shù)據(jù)采集與監(jiān)控系統(tǒng)(Supervisory Control and Data Acquisition,SCADA),負(fù)責(zé)底層物聯(lián)網(wǎng)節(jié)點(diǎn)數(shù)據(jù)的采集和聚合傳輸。

(2)邊緣服務(wù)器節(jié)點(diǎn)負(fù)責(zé)完成AI檢測與識別任務(wù),根據(jù)智能檢測與識別結(jié)果產(chǎn)生決策,驅(qū)動PLC等設(shè)備控制產(chǎn)線運(yùn)行,并與云端交互,完成數(shù)據(jù)上傳和云端AI模型下載。

(3)工業(yè)云平臺通過基礎(chǔ)設(shè)施即服務(wù)(InfraStructure as a Service,IaaS)、平臺即服務(wù)(Platform as a Service,PaaS)和軟件即服務(wù)(Software as a Service,SaaS)等不同服務(wù),輔助生產(chǎn)全流程各要素之間交互,同時(shí)依托強(qiáng)大的計(jì)算資源池,負(fù)責(zé)工業(yè)場景中AI模型的訓(xùn)練與更新。

2.2 產(chǎn)品外觀質(zhì)量智能檢測基本流程

空調(diào)外機(jī)外觀智能檢測的核心目的是通過在產(chǎn)線部署AI系統(tǒng)和自動化、智能化的AI檢測方法,實(shí)現(xiàn)空調(diào)外機(jī)外觀的自動檢測,提高企業(yè)生產(chǎn)效率,降低產(chǎn)品瑕疵概率和人力成本,其基本流程和PLC控制產(chǎn)線過程如圖4和圖5所示。

(1)空調(diào)外機(jī)沿產(chǎn)線行進(jìn)至外觀質(zhì)量檢測工位區(qū)域,如圖4所示的檢測區(qū)域A,觸發(fā)AI檢測算法驅(qū)動工業(yè)相機(jī)拍照,采集外機(jī)圖像并自動傳輸至邊緣服務(wù)器。

(2)部署在邊緣服務(wù)器的AI識別算法完成實(shí)時(shí)檢測,將識別結(jié)果反饋到工位監(jiān)控屏,同時(shí)將拍攝的外機(jī)外觀圖像上傳至工業(yè)云平臺存儲。由于邊緣硬件條件限制和檢測時(shí)延約束,AI模型復(fù)雜度受到一定影響。

(3)邊緣服務(wù)器所部署的智能產(chǎn)品外觀質(zhì)量檢測系統(tǒng)根據(jù)AI算法檢測結(jié)果輸出PLC控制信號,控制當(dāng)前產(chǎn)品在產(chǎn)線中的走向,同時(shí)將相關(guān)信息(產(chǎn)品條碼、型號等)反饋到制造執(zhí)行系統(tǒng)(Manufacturing Execution System,MES)。當(dāng)算法檢測置信度高于特定閾值時(shí),判定為合格產(chǎn)品,產(chǎn)品隨產(chǎn)線從分流區(qū)域B進(jìn)入合格區(qū)域C,并轉(zhuǎn)入下一工序,而將檢測不合格的產(chǎn)品打返修區(qū)處理。

(4)云端負(fù)責(zé)生產(chǎn)數(shù)據(jù)的匯總、存儲以及工業(yè)AI模型的訓(xùn)練。邊緣端采集到的圖像和各種傳感器信號需要在云端備份存儲,以備后續(xù)質(zhì)量溯源。產(chǎn)品型號變化與新產(chǎn)品研發(fā)使得AI模型并不一直適用,產(chǎn)品外觀檢測系統(tǒng)需要根據(jù)產(chǎn)線生產(chǎn)變動情況更新模型來保證模型的準(zhǔn)確性。

2.3 云邊協(xié)同機(jī)制

邊云協(xié)同的內(nèi)涵涉及資源、數(shù)據(jù)、智能、應(yīng)用管理、業(yè)務(wù)管理、服務(wù)、安全等多方面要素的協(xié)同,協(xié)同的實(shí)現(xiàn)需要基礎(chǔ)設(shè)施、網(wǎng)絡(luò)技術(shù)、AI方法等多層面關(guān)鍵技術(shù)共同支撐,主要包括邊緣AI芯片、云平臺、容器等基礎(chǔ)設(shè)施,時(shí)延敏感網(wǎng)絡(luò)(Time Sensitive Network, TSN)、軟件定義網(wǎng)絡(luò)(Software Defined Network, SDN)、開放平臺通信統(tǒng)一架構(gòu)(Open Platform Communications Unified Architecture,OPC UA)等網(wǎng)絡(luò)與通信技術(shù),AI模型設(shè)計(jì)、劃分,計(jì)算任務(wù)卸載等AI方法。從技術(shù)實(shí)現(xiàn)的角度,資源、數(shù)據(jù)和智能的有效協(xié)同需要在端、邊、云不同物理位置合理而智能地劃分計(jì)算、存儲和通信任務(wù)。因此,面向復(fù)雜工業(yè)應(yīng)用場景,通信協(xié)議的打通、計(jì)算存儲資源和網(wǎng)絡(luò)功能的虛擬化、數(shù)據(jù)的壓縮與降維、特征抽取與融合,以及分布式人工智能成為實(shí)現(xiàn)邊云協(xié)同的核心任務(wù)。物聯(lián)網(wǎng)(Internet of Things,IoT)終端設(shè)備不斷生成需要使用深度學(xué)習(xí)等AI技術(shù)進(jìn)行實(shí)時(shí)分析或用于訓(xùn)練深度學(xué)習(xí)模型的數(shù)據(jù),受硬件資源限制,直接在移動終端進(jìn)行深度模型訓(xùn)練難度很大,因此AI模型的訓(xùn)練仍然在云端,AI模型的推理過程放置在靠近終端設(shè)備的邊緣,可以在一定程度上滿足邊緣設(shè)備上深度學(xué)習(xí)的高計(jì)算量和低延遲要求。本文設(shè)計(jì)的系統(tǒng)利用邊緣服務(wù)器節(jié)點(diǎn)提供CPU和GPU(Graphics Processing Unit,GPU)計(jì)算能力、有限的通信帶寬和數(shù)據(jù)傳輸能力、緩存和永久存儲能力。上述計(jì)算、通信和存儲能力用于支撐邊緣節(jié)點(diǎn)完成現(xiàn)場數(shù)據(jù)采集,數(shù)據(jù)的初步分析、匯聚和融合,以及借助AI模型實(shí)現(xiàn)現(xiàn)場決策等任務(wù),然后將有價(jià)值的數(shù)據(jù)傳輸?shù)皆贫藬?shù)據(jù)庫進(jìn)行存儲。

本文設(shè)計(jì)的產(chǎn)品外觀質(zhì)量AI檢測系統(tǒng)采用云邊協(xié)同機(jī)制,將工業(yè)生產(chǎn)中現(xiàn)場運(yùn)行設(shè)備封裝為邊緣服務(wù)設(shè)備,利用5G專用蜂窩網(wǎng)絡(luò)客戶終端設(shè)備(5G Customer Premise Equipment,5GCPE)將邊緣服務(wù)設(shè)備以扁平互聯(lián)的方式聯(lián)接到工業(yè)數(shù)據(jù)平臺,并與大數(shù)據(jù)、深度學(xué)習(xí)等云服務(wù)對接,可以解決工業(yè)控制高實(shí)時(shí)性要求與互聯(lián)網(wǎng)服務(wù)質(zhì)量不確定性的矛盾,提高產(chǎn)線執(zhí)行層的時(shí)效性。在計(jì)算能力方面,云端有大規(guī)模服務(wù)器虛擬化而成的計(jì)算資源池,具有強(qiáng)大的計(jì)算能力和極低的計(jì)算時(shí)延;邊緣側(cè)設(shè)備的計(jì)算能力相對云端較弱,可以獨(dú)自完成外觀檢測任務(wù)。由于邊緣設(shè)備位于網(wǎng)絡(luò)邊緣,距離數(shù)據(jù)源頭近,能夠有效減少數(shù)據(jù)的網(wǎng)絡(luò)傳輸延遲。考慮實(shí)際場景為多條產(chǎn)線,多種檢測任務(wù)并發(fā),且邊緣側(cè)和核心網(wǎng)絡(luò)帶寬受限,本文前期完成了數(shù)據(jù)清洗、壓縮、聚合[24-25],能夠合理分配邊緣與云端計(jì)算任務(wù)[26],實(shí)現(xiàn)云端與邊緣高效協(xié)同,有效降低邊緣側(cè)任務(wù)處理和數(shù)據(jù)傳輸?shù)亩说蕉藭r(shí)延,加快產(chǎn)線運(yùn)行節(jié)拍,提高生產(chǎn)效率。

2.4 工位顯示及Web端管理

外觀質(zhì)量AI檢測系統(tǒng)Web界面主要由實(shí)時(shí)監(jiān)測和數(shù)據(jù)管理兩部分組成。實(shí)時(shí)監(jiān)測界面用于實(shí)時(shí)顯示系統(tǒng)的運(yùn)行狀態(tài)和當(dāng)前檢測產(chǎn)品的相關(guān)信息,包括圖像、一維碼、型號、商標(biāo)、出氣柵狀態(tài)等,如圖6所示;數(shù)據(jù)管理界面用于查詢已檢測產(chǎn)品的信息,并能根據(jù)給定條件篩選查詢結(jié)果,如圖7所示。云端的實(shí)時(shí)監(jiān)測和管理可以在完成二次質(zhì)檢的同時(shí)輔助產(chǎn)線完成質(zhì)量追溯。

3 結(jié)果與討論

本文采用自行標(biāo)注的SDU-Haier-AQD公開數(shù)據(jù)集進(jìn)行算法訓(xùn)練、驗(yàn)證和測試。全部數(shù)據(jù)共10 449幅圖像,按80%,10%,10%的比例將該數(shù)據(jù)集圖像劃分為訓(xùn)練集、驗(yàn)證集和測試集。為了測試和驗(yàn)證所提FT-Yolo算法的性能,進(jìn)一步搭建外機(jī)外觀質(zhì)量AI檢測演示系統(tǒng),在實(shí)際產(chǎn)線進(jìn)行部署和測試。

選取YoloV3和YoloV4兩種主流目標(biāo)檢測算法作為本文外觀檢測任務(wù)的baseline算法,分別分析了YoloV3,YoloV4和所提FT-Yolo 3種算法在不同IoU指標(biāo)(IoU=0.3,0.5,0.75)下針對不同目標(biāo)的檢測精度。如表4～表6所示,在IoU=0.3時(shí),YoloV3(252層),YoloV4(161層)和FT-Yolo(27個卷積層)均達(dá)到很高的水平,FT-Yolo在測試集上的mAP甚至略微超過baseline算法;在IoU=0.5時(shí),所提FT-Yolo算法性能比YoloV3和YoloV4略低,但仍能達(dá)到超過97%的識別準(zhǔn)確率,其中相對3種標(biāo)注種類,聯(lián)機(jī)管檢測的mAP相對較低;在IoU=0.75非常嚴(yán)苛的情形下,3種算法的mAP相比IoU=0.5均明顯下降,聯(lián)機(jī)管檢測性能下降比較嚴(yán)重,其主要原因在于聯(lián)機(jī)管目標(biāo)較小,與背景環(huán)境像素值相差不大,且標(biāo)注過程中由于人為因素,標(biāo)簽邊界框大小并不統(tǒng)一,導(dǎo)致算法檢測比較困難。綜合考量,因?yàn)楸救蝿?wù)對目標(biāo)的準(zhǔn)確位置信息并不敏感,主要目標(biāo)是檢測關(guān)鍵目標(biāo)是否俱全,所以FT-Yolo非常契合任務(wù)目標(biāo)。

表5 IoU=0.5時(shí)不同模型在不同目標(biāo)下的mAP %

表6 IoU=0.75時(shí)不同模型在不同目標(biāo)下的mAP %

進(jìn)一步搭建外機(jī)外觀質(zhì)量AI檢測演示系統(tǒng),在實(shí)際產(chǎn)線部署本文設(shè)計(jì)的外觀質(zhì)量AI檢測系統(tǒng),并對不同算法的延時(shí)特性進(jìn)行測試。在AI模型的部署過程中,考慮到工業(yè)場景下硬件設(shè)備受限(目前大部分工業(yè)產(chǎn)線側(cè)尚未部署GPU計(jì)算能力),所采用的測試硬件平臺為Intel i7-4790 +AMD Radeon R7 350 組合,單獨(dú)由CPU執(zhí)行外觀質(zhì)量檢測算法,并未使用GPU。測試結(jié)果表明,FT-Yolo算法在準(zhǔn)確檢測Logo、旋風(fēng)網(wǎng)、聯(lián)機(jī)管等關(guān)鍵外觀質(zhì)量信息的基礎(chǔ)上(如圖8),單幅圖像檢測時(shí)間僅為0.29 s(如圖9),明顯低于YoloV3和YoloV4兩種算法(0.62 s和0.53 s),遠(yuǎn)低于現(xiàn)有真實(shí)空調(diào)產(chǎn)線3 s～5 s的外觀檢測節(jié)拍,外觀質(zhì)量檢測時(shí)間縮短90%以上(以現(xiàn)有產(chǎn)線3 s的外觀檢測節(jié)拍計(jì)算,(3-0.29)/3 =90.33%)。外觀檢測是空調(diào)外機(jī)總裝流水線多個串行工序的一個重要環(huán)節(jié),因此所設(shè)計(jì)外觀質(zhì)量AI檢測系統(tǒng)在解放人工、實(shí)現(xiàn)外觀質(zhì)量信息自動智能檢測的同時(shí),可以顯著提升外觀檢測工序的效率,有助于提升整條總裝產(chǎn)線的運(yùn)行效率。

4 結(jié)束語

本文針對空調(diào)外機(jī)外觀質(zhì)量檢測問題,首次建立了一種用于空調(diào)外機(jī)外觀質(zhì)量檢測的公開圖像數(shù)據(jù)集,并已在IEEE DataPort公開,有助于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域目標(biāo)識別與檢測算法的訓(xùn)練、驗(yàn)證和測試,同時(shí)助推AI在制造產(chǎn)業(yè)落地?；谠摂?shù)據(jù)集,提出一種快速精簡的目標(biāo)檢測模型FT-Yolo,實(shí)現(xiàn)了空調(diào)外機(jī)Logo檢測、旋風(fēng)網(wǎng)檢測和聯(lián)機(jī)管顏色識別。試驗(yàn)結(jié)果和產(chǎn)線實(shí)際測試表明,所設(shè)計(jì)的基于AI的外觀檢測系統(tǒng)可以統(tǒng)籌云端和邊緣設(shè)備,高效協(xié)同完成外觀檢測任務(wù),有助于提升產(chǎn)線生產(chǎn)節(jié)拍和生產(chǎn)效率,具有很強(qiáng)的可推廣性。后續(xù)工作將結(jié)合云邊協(xié)同模式,采用基于聯(lián)邦學(xué)習(xí)的多產(chǎn)線分布式AI模型更新方式進(jìn)一步提升系統(tǒng)自動化程度,解決本文遺留的AI模型需定期手動部署更新的問題。