趙衛(wèi)東,秦 鋒

(1.滁州職業(yè)技術(shù)學(xué)院 信息工程學(xué)院,安徽 滁州 239000;2.安徽工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 馬鞍山 243002)

隨著國際競爭的日益嚴(yán)重、人工勞動成本不斷升高,制造行業(yè)自動化設(shè)備亟待智能化升級[1-2]。在國內(nèi)大部分工廠已經(jīng)引入自動化,甚至智能化設(shè)備,以電路板行業(yè)為例,業(yè)界熟知的有AOI設(shè)備,用于對電路板表面缺陷的檢測。AOI設(shè)備雖然解決了一部分問題,但是仍然存在痛點(diǎn)問題一直沒有解決:AOI設(shè)備為了保證不漏檢,把評判標(biāo)準(zhǔn)定得很低,大量的良品,被判為不良品,導(dǎo)致誤判率很高、人工復(fù)檢壓力很大。為了解決這個問題,本文提出云檢測系統(tǒng),接入AOI設(shè)備所在局域網(wǎng),對AOI檢出的不良圖片進(jìn)行二次過濾,達(dá)到提高直通率、降低誤判率的目的。

在云檢測方面,張慶[3]等人設(shè)計(jì)了云檢測平臺,基于XML和Web Service將云端硬件映射為云資源,該研究雖解決部分問題,但沒有對檢測算法應(yīng)用展開研究,在實(shí)際落地中,往往不能達(dá)到工程目的。王海濤[4]等人通過特征提取,信息補(bǔ)全,將云端深層特征與本機(jī)淺層特征結(jié)合,以更好地實(shí)現(xiàn)云檢測,但該研究未考慮算法與網(wǎng)絡(luò)系統(tǒng)之間穩(wěn)定調(diào)用的問題。徐少壯[5]等人基于U-Net網(wǎng)絡(luò)特征和云檢測影像特征,提升系統(tǒng)魯棒性,提高云檢測精度,但其未考慮算法與網(wǎng)絡(luò)系統(tǒng)兼容的問題。

為了提高云檢測系統(tǒng)的性能,本文提出一種新的檢測方法,主要是對AOI誤判的產(chǎn)品進(jìn)行過濾,減少人員復(fù)判工作量。整個過程分為兩部分:過濾算法的AI模型實(shí)現(xiàn)、局域網(wǎng)系統(tǒng)與算法調(diào)用的集成。本文結(jié)合網(wǎng)絡(luò)系統(tǒng)與AI模型,設(shè)計(jì)并實(shí)現(xiàn)了一套耦合算法與網(wǎng)絡(luò)系統(tǒng)的缺陷云平臺檢測系統(tǒng)。最后,借助實(shí)際項(xiàng)目來測試所提系統(tǒng)的效果。

1 云檢測系統(tǒng)設(shè)計(jì)

在實(shí)際應(yīng)用場景中,比如工廠中某車間有5臺AOI設(shè)備,每天都會產(chǎn)出大量的誤判圖片,需要質(zhì)檢作業(yè)員復(fù)判,1臺AOI設(shè)備后面拖5個VRS復(fù)判工位,需要5位作業(yè)員,三班排程,光一臺AOI設(shè)備的復(fù)判作業(yè)就需要25人,總共需要75人的人力成本。本文開發(fā)出一套云檢測系統(tǒng),能夠過濾掉80%的誤判圖片,即減少60人的人力成本,這是AI研發(fā)落地于工業(yè)生產(chǎn)降本增效的目標(biāo)實(shí)現(xiàn)。

本文云檢測系統(tǒng)流程設(shè)計(jì)如圖1所示,AOI輸出待復(fù)判圖像,通過局域網(wǎng)實(shí)時傳輸給云檢測系統(tǒng)中的GPU分析計(jì)算模塊,經(jīng)過計(jì)算得到檢測結(jié)果,保存于系統(tǒng)數(shù)據(jù)庫,并經(jīng)過局域網(wǎng)將檢測結(jié)果和圖片傳輸給VRS,即剩下的誤判圖片給人員二次確定即可。

圖1 云檢測系統(tǒng)流程設(shè)計(jì)

待復(fù)判原圖如圖2所示,為良品圖像,圖中沒有缺陷,交由AI系統(tǒng)檢測,本文后續(xù)將對其進(jìn)行檢測和討論。

圖2 待檢測的復(fù)判圖像

1.1 AI過濾算法

工廠中的AOI設(shè)備一般已經(jīng)用了很多時間,且積累了大量圖像數(shù)據(jù),這些數(shù)據(jù)是訓(xùn)練AI過濾模型的肥料。本文收集了1萬張良品圖片和1萬張不良品圖片,共計(jì)2萬張圖片,進(jìn)行AI過濾模型訓(xùn)練。本文的過濾算法主要分為兩個部分:基于圖像比對的傳統(tǒng)方式、基于深度學(xué)習(xí)的AI分類模型。傳統(tǒng)方式:建立標(biāo)準(zhǔn)模板圖,與實(shí)際待測圖像,進(jìn)行逐個像素的比對計(jì)算,算出相似度,當(dāng)相似度高于某閾值,則判為良品,反之則判為不良品,這種方式往往基于經(jīng)驗(yàn),算法泛化能力有限,因此只作為本文算法體系中權(quán)重較小的一支,在本節(jié)不予以贅述。本節(jié)主要討論基于深度學(xué)習(xí)的AI過濾模型。

為了展開過濾模型訓(xùn)練工作,將待訓(xùn)練圖片,統(tǒng)一大小為512*512像素。訓(xùn)練庫覆蓋各個細(xì)分領(lǐng)域的圖片,為了達(dá)到樣本庫全面覆蓋性。

其中的激活函數(shù)是:Sigmoid、tanh、ReLU[6-8],表達(dá)式如式(1)-式(3)所示。

(1)

tanh=tanh(x)

(2)

ReLU=max(0,x)

(3)

式(1)-式(3)中,x代表輸入值,左側(cè)為輸出值。深度過濾神經(jīng)網(wǎng)絡(luò)的本質(zhì)是權(quán)值乘以輸入值加上偏移值[9-10]。

本文的循環(huán)過濾神經(jīng)網(wǎng)絡(luò)采用特定標(biāo)準(zhǔn)差來初始化節(jié)點(diǎn)權(quán)重,在反向傳播過程中限制梯度不超過某個閾值。循環(huán)過濾神經(jīng)網(wǎng)絡(luò)采用早停止模式,增強(qiáng)模型魯棒性。

如圖3所示,本研究采用AI過濾模型技術(shù)檢測了誤判圖像,檢測結(jié)果為良品,與實(shí)際標(biāo)記一致,可見檢測準(zhǔn)確,為人工復(fù)判減輕了壓力。

圖3 復(fù)判圖像檢測結(jié)果

1.2 云檢測系統(tǒng)設(shè)計(jì)

基于web技術(shù),開發(fā)一套局域網(wǎng)服務(wù)器端軟件系統(tǒng),即云檢測平臺,類似于一個網(wǎng)站,對應(yīng)復(fù)判圖片過濾需求。因?yàn)樵茩z測平臺是網(wǎng)絡(luò)系統(tǒng),所以支持跨系統(tǒng)跨平臺。本系統(tǒng)經(jīng)過硬件選型與資源整合,具有高并發(fā)、穩(wěn)定響應(yīng)的性能。云檢測平臺接收到圖片,就調(diào)用算子或模型,完成過濾作業(yè)。服務(wù)器端:同時接收來自幾個或十幾個機(jī)臺PC的圖像文件(文件名格式如:機(jī)臺號_產(chǎn)品號_生產(chǎn)號_圖像編號.JPG);基于AI過濾模型完成圖像檢測;檢測結(jié)果返回對應(yīng)的機(jī)臺PC(結(jié)果信息格式如:機(jī)臺號_產(chǎn)品號_生產(chǎn)號_圖像編號_OK/NG類型)。設(shè)備PC端:發(fā)送圖像文件至服務(wù)器指定目錄,接收服務(wù)器端檢測結(jié)果信息。系統(tǒng)架構(gòu)示意圖如圖4所示(以1臺服務(wù)器負(fù)責(zé)5個設(shè)備PC為例)。

圖4 本文系統(tǒng)架構(gòu)

本系統(tǒng)采用前后端分離進(jìn)行設(shè)計(jì),前端技術(shù):頁面采用JSP、HTML,樣式采用css3,腳本采用Javascript、jquery,UI采用amazeui/layui,圖表庫采用echarts,彈層組件采用layer;后端技術(shù):開發(fā)語言采用Java,框架采用springmvc、spring,持久化采用hibernate/dbutils,緩存采用ehcache/redis,消息隊(duì)列采用acitveMQ;前后端數(shù)據(jù)傳輸:采用websocket、HTTP;接口:第三方SDK采用云文件存儲服務(wù)等,消息采用郵件、短信、微信消息,類庫管理采用maven,數(shù)據(jù)庫使用MySQL,web服務(wù)采用nginx+tomcat。本系統(tǒng)網(wǎng)絡(luò)方面的技術(shù)路線清晰,開發(fā)出的系統(tǒng)穩(wěn)定且易于維護(hù)。

本系統(tǒng)含有的一級模塊:系統(tǒng)框架、系統(tǒng)管理、權(quán)限管理、通用信息管理、服務(wù)狀態(tài)、產(chǎn)品檢修、標(biāo)準(zhǔn)任務(wù)、統(tǒng)計(jì)信息、消息管理等,二級模塊數(shù)量更多,在此不一一贅述。本系統(tǒng)網(wǎng)絡(luò)方面的模塊分門別類,每個模塊都是獨(dú)立開發(fā),具有低內(nèi)聚、高耦合的特點(diǎn)。

數(shù)據(jù)流管理方面,AOI設(shè)備上部署數(shù)據(jù)傳輸軟件,自動掃描文件夾,上傳NG圖像到GPU服務(wù)器或映射到局域網(wǎng)環(huán)境,web服務(wù)器調(diào)用GPU服務(wù)器上的算法,對NG圖像進(jìn)行過濾,并上傳到VRS設(shè)備。數(shù)據(jù)傳輸軟件設(shè)置和工作流程如下。

(1)配置掃描文件夾路徑。

(2)設(shè)置文件夾大小,超過大小自動清空時間較久的文件。

(3)上傳可調(diào)整為直接映射到局域網(wǎng)環(huán)境中,局域網(wǎng)內(nèi)通過url路徑直接訪問到圖片。

(4)開放上傳接口,供GPU服務(wù)器上傳文件,或也直接部署在GPU服務(wù)器。

(5)文件管理功能,查看各批次文件名及文件產(chǎn)生時間等信息,手動上傳或刪除文件。

在本文系統(tǒng)中,網(wǎng)絡(luò)系統(tǒng)用Java語言作為后臺語言,算法用C++語言開發(fā),涉及跨語言調(diào)用,即Java語言調(diào)用C++的DLL,對于兩種語言的調(diào)用機(jī)制,進(jìn)行了統(tǒng)一化處理,對字符串傳輸亂碼問題,也進(jìn)行了測試和經(jīng)驗(yàn)處理,達(dá)到了多種語言協(xié)同穩(wěn)定工作的目的。

由圖4可知,AOI設(shè)備輸出誤判圖像,并且把設(shè)備號、生產(chǎn)號、產(chǎn)品號、圖像編號等數(shù)據(jù)生產(chǎn)信息,一起傳輸給云檢測系統(tǒng),然后經(jīng)過AI分析計(jì)算后,過濾掉誤判的圖像,即實(shí)際良品圖,AOI誤判為不良品圖,將剩下的誤判圖像傳輸給VRS,交由人工復(fù)判。

如圖5所示,將分割A(yù)I模型、分類AI模型,都整合進(jìn)了網(wǎng)絡(luò)系統(tǒng)。

圖5 系統(tǒng)標(biāo)注與復(fù)判界面

2 實(shí)驗(yàn)與討論

本文系統(tǒng)的AI模型基于libtorch1.7實(shí)現(xiàn),產(chǎn)品化過程基于VS2019、QT5.6.2實(shí)現(xiàn);網(wǎng)絡(luò)系統(tǒng)前端基于javascript腳本語言實(shí)現(xiàn),后端基于java實(shí)現(xiàn)。硬件組成:一臺服務(wù)器(內(nèi)存128G,CPU 5218,帶raid)、插4張獨(dú)立顯卡2080TI(最多對應(yīng)20臺設(shè)備PC的數(shù)據(jù)計(jì)算)、配置一個機(jī)柜(帶UPS、散熱、大小約2.5～3臺工控機(jī)堆大小),整個系統(tǒng)界面如圖6所示。

圖6 本系統(tǒng)界面

待檢測的復(fù)判圖像,如圖7所示,待識別的復(fù)判圖像為良品圖像,AOI誤判為不良品圖像。本研究耦合AI過濾算法和云平臺系統(tǒng),如圖8所示,可見本研究檢測正確,判為良品,為VRS復(fù)判工位減少了一個工作量。

圖7 待檢測復(fù)判圖像

圖8 本研究檢測結(jié)果

經(jīng)過比對實(shí)驗(yàn),文獻(xiàn)[3]的技術(shù)系統(tǒng),如圖9所示,依然誤判。文獻(xiàn)[4]從算法展開討論,未考慮實(shí)際落地需要配套系統(tǒng)問題,效果不能達(dá)到工程要求。如圖10所示,依然誤判,沒有能夠?yàn)閂RS人工復(fù)檢減少工作量。

圖9 文獻(xiàn)[3]識別結(jié)果

圖10 文獻(xiàn)[4]識別結(jié)果

最后調(diào)出本系統(tǒng)量產(chǎn)統(tǒng)計(jì)曲線圖,即誤判去除率,可見曲線總體向上,即誤判去除率呈上升趨勢,越來越多地可以減少人工復(fù)判的壓力。

結(jié)語

為了解決AOI設(shè)備誤判多、人工復(fù)檢壓力大的問題,本文分別從云平臺網(wǎng)絡(luò)系統(tǒng)和AI過濾檢測,結(jié)合兩者優(yōu)勢,并進(jìn)行串并聯(lián),建立起一套健壯的云檢測機(jī)制。本研究將AI中過濾模型,進(jìn)行打包升級,部署在云端服務(wù)器上,可以處理來自各個AOI端的誤判圖片。開發(fā)出完整的云檢測系統(tǒng),對圖片數(shù)據(jù)信息進(jìn)行有效的管理和傳輸,對AI算法進(jìn)行穩(wěn)定的調(diào)用,并行化的對實(shí)際場景中誤判圖片進(jìn)行并行化檢測[11-13]。

在后續(xù)計(jì)劃研究中,將建立一個能夠過濾多個工廠誤判圖片的云檢測系統(tǒng),以提升系統(tǒng)并行過濾能力。