郭 熹，李 斌，馬文輝，賀 鳴，陳亞峰（.中國聯(lián)通研究院，北京 0076；.珠海格力電器股份有限公司，廣東珠海 509070）

0 前言

機器視覺檢測是指利用機器替代人工實現(xiàn)檢測和判斷［1］。典型的機器視覺檢測系統(tǒng)包括相機、鏡頭、光源、工控機、圖像處理系統(tǒng)、執(zhí)行機構(gòu)、被測物等。其檢測原理是通過相機對被測對象進行圖像拍攝，然后將圖像數(shù)據(jù)傳送至圖像處理系統(tǒng)。圖像處理系統(tǒng)通過檢測算法對圖像進行特征提取、識別，輸出檢測結(jié)果并執(zhí)行相應(yīng)操作［2］。機器視覺檢測在工業(yè)領(lǐng)域具有廣闊的市場空間，主要應(yīng)用場景包括目標檢測（如對產(chǎn)品外觀瑕疵檢測、對產(chǎn)品零部件的有無檢測等）、目標識別（如文字識別、顏色識別等）、目標定位（如PCB 加工定位、標簽定位等）和目標測量（如對指針儀表的長度、角度測量、對零部件的尺寸測量等）。

傳統(tǒng)方式的機器視覺檢測主要以人工特征提取、分類、識別為主，檢測方法具有針對性，系統(tǒng)魯棒性差［3］。常見的處理方法包括如圖像灰度處理、濾波算法、圖像算數(shù)、圖像二值化、霍夫變換等。隨著人工智能技術(shù)的不斷發(fā)展，以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)正逐步應(yīng)用在機器視覺領(lǐng)域。深度學(xué)習(xí)利用機器模仿人類思考，實現(xiàn)對圖像的理解，被用來解決復(fù)雜場景的模式識別［4］。其典型應(yīng)用領(lǐng)域包括目標檢測、圖像分類、圖像分割等。與傳統(tǒng)方式相比，深度學(xué)習(xí)可以在訓(xùn)練過程中自學(xué)習(xí)相關(guān)屬性，省去特征工程環(huán)節(jié)，識別精度更高、更加靈活［5］。但是對硬件的內(nèi)存和計算能力要求較高，通常需要額外的硬件投入。此外，在應(yīng)用開發(fā)過程中，需要收集大量的樣本數(shù)據(jù)進行模型訓(xùn)練以提高模型精度。雖然機器學(xué)習(xí)相對于傳統(tǒng)方式有諸多優(yōu)勢，在實際工業(yè)應(yīng)用場景中，既需要基于深度學(xué)習(xí)的視覺檢測，又需要傳統(tǒng)的視覺檢測方式。如對表計尺寸的測量、條碼識別等場景，傳統(tǒng)方式簡單而高效，使用機器學(xué)習(xí)方法則費時費力。

通過在5G 試點項目的大量實地調(diào)研發(fā)現(xiàn)，工業(yè)企業(yè)在現(xiàn)有視覺檢測應(yīng)用上存在諸多不足，具體表現(xiàn)在以下4個方面。

a）部分企業(yè)采用傳統(tǒng)方式依靠人眼做視覺檢測，存在效率低，漏檢率高等問題。

b）部分企業(yè)采用一體化智能工業(yè)相機做視覺檢測，但單點設(shè)備成本高，不適合規(guī)模應(yīng)用，且無法有效管理。

c）部分企業(yè)采用基于云端的視覺檢測系統(tǒng)，存在響應(yīng)慢、數(shù)據(jù)安全性低等問題。

d）企業(yè)缺乏AI 視覺相關(guān)專業(yè)技術(shù)人員，難以滿足視覺檢測項目建設(shè)需求。

基于上述分析，認為支持多場景應(yīng)用、平臺化的視覺檢測系統(tǒng)是工業(yè)視覺的重要發(fā)展方向。隨著互聯(lián)網(wǎng)+制造業(yè)轉(zhuǎn)型升級步伐的不斷推進，5G、AI、大數(shù)據(jù)等高新技術(shù)手段將為工業(yè)視覺檢測技術(shù)的發(fā)展注入新動能，推進工業(yè)視覺檢測技術(shù)變革。

1 格力視覺檢測需求分析

視覺檢測貫穿零件加工、組裝、包裝等各個環(huán)節(jié)，是企業(yè)產(chǎn)品質(zhì)量的關(guān)鍵保障，提升視覺檢測水平能有效降低企業(yè)經(jīng)營成本。格力空調(diào)在生產(chǎn)過程中存在大量視覺檢測場景，包括壓縮機線視覺檢測、外機自動電氣安全檢測、整機外觀檢測、印刷品質(zhì)量檢測等。當前存在大量依靠人眼做視覺檢測的現(xiàn)象，檢測效率低，漏檢率高，容易帶來產(chǎn)品質(zhì)量隱患。因此，格力急需一套自動化、平臺化的視覺檢測系統(tǒng)替代人工檢測。一方面，需要滿足各生產(chǎn)環(huán)節(jié)的多場景檢測需求，有效提升檢測效率，降低檢測成本，實現(xiàn)智能檢測管理。另一方面，為應(yīng)對消費者個性化產(chǎn)品需求，新系統(tǒng)需要具備易擴展、易操作性，能靈活快速適應(yīng)新場景檢測要求。

2019 年，中國聯(lián)通與格力電器開展5G 智慧工廠暨全業(yè)務(wù)戰(zhàn)略合作，基于5G、工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新型技術(shù)，打造家電產(chǎn)業(yè)5G 智慧工廠示范區(qū)。5G 作為新一代無線通信技術(shù)，在帶寬、時延、連接數(shù)等網(wǎng)絡(luò)性能上較上一代蜂窩網(wǎng)絡(luò)實現(xiàn)全方位提升，可為工業(yè)網(wǎng)絡(luò)連接提供高可靠服務(wù)保障［6］（見表1）。通過5G 網(wǎng)絡(luò)可構(gòu)建平臺化的視覺檢測模式，實現(xiàn)多檢測點并行檢測、智能管理。移動邊緣計算（MEC）是5G 重要能力之一，可在移動網(wǎng)絡(luò)的邊緣提供IT 服務(wù)和計算能力，支持將業(yè)務(wù)處理卸載到移動網(wǎng)絡(luò)邊緣節(jié)點［7-8］。利用MEC 本地分流能力，可極大降低端到端通信時延，同時保證生產(chǎn)數(shù)據(jù)安全。基于5G 技術(shù)的平臺化視覺檢測系統(tǒng)，將為企業(yè)帶來更多價值。

表1 工業(yè)無線網(wǎng)絡(luò)指標對比

2 基于5G的工業(yè)AI視覺檢測系統(tǒng)解決方案

基于5G 的工業(yè)視覺檢測系統(tǒng)是平臺化、支持多檢測點并行的工業(yè)檢測系統(tǒng)。通過5G +MEC 的工廠內(nèi)網(wǎng)架構(gòu)與現(xiàn)場瘦客戶端進行交互，實現(xiàn)企業(yè)整體視覺檢測體系，可同時滿足多場景、多檢測點并行的檢測及智能化管理需求。通過將主要算力及算法放置于平臺端，極大提升分析處理能力，現(xiàn)場端僅需普通工業(yè)相機等少數(shù)設(shè)備即可實現(xiàn)AI視覺檢測，有效降低單點檢測成本，提升部署靈活性。此外，平臺側(cè)支持對檢測點的能力配置，單一檢測點僅需微調(diào)即可適配新檢測場景，可滿足對不同產(chǎn)品的快速檢測需求。

如圖1 所示，基于5G 的工業(yè)AI 視覺檢測系統(tǒng)架構(gòu)包括現(xiàn)場設(shè)備端和智能監(jiān)測平臺。

2.1 現(xiàn)場設(shè)備端

現(xiàn)場設(shè)備端負責與產(chǎn)線聯(lián)動，包括系統(tǒng)觸發(fā)與結(jié)果反饋。需將圖像采集并上傳至服務(wù)端，并獲取服務(wù)端的處理結(jié)果。現(xiàn)場設(shè)備由以下3個部分組成。

a）工業(yè)相機系統(tǒng)，包括工業(yè)相機、鏡頭、光源等，工業(yè)相機系統(tǒng)主要負責現(xiàn)場端圖像獲取，需根據(jù)不同檢測場景及檢測需求進行適配及選型。

b）現(xiàn)場工控終端，一般為工控機，負責控制工業(yè)相機系統(tǒng)及現(xiàn)場設(shè)備，實現(xiàn)圖像上傳、控制指令下發(fā)、運行現(xiàn)場客戶端軟件等功能。

c）現(xiàn)場設(shè)備，包括傳感器、急停開關(guān)、三色燈、掃碼槍、顯示器等，負責信號檢測及結(jié)果顯示，實現(xiàn)系統(tǒng)觸發(fā)、運行控制、結(jié)果顯示等功能。

2.2 智能檢測平臺架構(gòu)

智能檢測平臺是視覺檢測系統(tǒng)的核心，可部署在企業(yè)數(shù)據(jù)機房或云端服務(wù)器，主要負責處理視覺檢測流程，完成包括場景管理、業(yè)務(wù)管理、算法模型訓(xùn)練、算法管理、檢測業(yè)務(wù)編排、檢測結(jié)果分析等功能。平臺提供狀態(tài)查看和統(tǒng)一管理接口，可適配不同場景的檢測需求。智能檢測平臺通過5G 網(wǎng)絡(luò)與各檢測點相聯(lián)，實現(xiàn)1對n的檢測管理與應(yīng)用服務(wù)支持。

智能檢測平臺可以滿足的各類制造企業(yè)對工業(yè)視覺檢測業(yè)務(wù)的需求，為上層應(yīng)用提供服務(wù)。智能檢測平臺架構(gòu)如圖2所示。

a）基礎(chǔ)能力層。通過統(tǒng)一的接口為上層應(yīng)用提供基礎(chǔ)檢測能力。

圖2 智能檢測平臺架構(gòu)圖

b）編排器層。通過編排器的方式將基礎(chǔ)能力進行組合、協(xié)同及調(diào)用，用以完成對下層基礎(chǔ)檢測能力的封裝；同時，針對特定場景的檢測需求（如暗光），可以通過對基礎(chǔ)能力的封裝形成特定場景下的解決方案，形成功能更強大、更具針對性的基礎(chǔ)檢測能力庫。

c）編排流程庫層。針對不同的應(yīng)用，需要建立一套支持將基礎(chǔ)能力編排用以解決應(yīng)用實際檢測需求的編排流程庫。

d）應(yīng)用層。通過使用編排器及編排流程庫調(diào)用基礎(chǔ)檢測能力，滿足全部檢測業(yè)務(wù)需求，并通過輸入輸出接口，向現(xiàn)場設(shè)備及人員提供工業(yè)檢測應(yīng)用服務(wù)。

e）云計算平臺。根據(jù)實際情況，使用Kubernetes或Docker技術(shù)構(gòu)建上層應(yīng)用的部署平臺。

f）基礎(chǔ)設(shè)施層。包括CPU 服務(wù)器、GPU 服務(wù)器及GPU推理單板機等計算資源。

g）輸入及輸出適配器。通過插件化的方式支持主流工業(yè)相機通信協(xié)議及工業(yè)總線協(xié)議，便于快速與工裝環(huán)境對接。

2.3 關(guān)鍵技術(shù)

2.3.1 平臺化的系統(tǒng)設(shè)計

現(xiàn)階段工業(yè)視覺檢測產(chǎn)品大多數(shù)是以工業(yè)智能相機或傳統(tǒng)視覺檢測方式為主。傳統(tǒng)單點檢測系統(tǒng)通常由光源、相機、圖像采集單元、圖像處理單元等模塊組成，各模塊分散部署在現(xiàn)場側(cè)，多為針對單一檢測場景定制化開發(fā)，體積較大系統(tǒng)復(fù)雜，難以升級維護［9］。智能相機是一種高度集成化的微小型機器視覺系統(tǒng)，將圖像的采集、處理與通信功能集成于一體［10］。相對于傳統(tǒng)視覺檢測系統(tǒng)，智能相機在部署上更加靈活便捷，但是由于體積限制，其處理能力通常較差，只能運行簡單算法且單機成本高昂。

相對于現(xiàn)有視覺系統(tǒng)，基于5G 的AI 視覺檢測系統(tǒng)是基于C/S 架構(gòu)設(shè)計的視覺檢測PaaS 平臺，將主要處理能力集中在后端智能檢測平臺，各檢測點通過現(xiàn)場終端將圖片發(fā)送至智能檢測平臺并實時獲取檢測結(jié)果。智能檢測平臺內(nèi)置多類算法能力，包括傳統(tǒng)的機器視覺算法以及更為復(fù)雜的深度學(xué)習(xí)模型算法等。通過平臺化的系統(tǒng)設(shè)計可支持多場景并行的視覺檢測并實現(xiàn)算法能力的復(fù)用。

2.3.2 深度學(xué)習(xí)視覺能力平臺

缺少專業(yè)AI 技術(shù)人員是企業(yè)視覺發(fā)展面臨的難題，本系統(tǒng)搭建了基于深度學(xué)習(xí)的視覺檢測能力平臺，支持視覺檢測模型訓(xùn)練的全部流程，提供包括數(shù)據(jù)集管理、樣本標注、模型訓(xùn)練、模型發(fā)布、模型管理等功能。深度學(xué)習(xí)是傳統(tǒng)機器學(xué)習(xí)的延伸，廣泛應(yīng)用在圖像識別，目標檢測諸多領(lǐng)域。典型的深度學(xué)習(xí)模型主要有卷積神經(jīng)網(wǎng)絡(luò)（CNN——Convolutional Neural Network）、深度置信網(wǎng)絡(luò)（DBN——Deep Belief Networks）、堆棧自編碼網(wǎng)絡(luò)（SAE——Stacked Auto-Encoder Network）模型等。CNN 是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)［11］，通過卷積和池化操作自動學(xué)習(xí)圖像在各個層次上的特征。DBN 是一種生成模型，通過訓(xùn)練其神經(jīng)元間的權(quán)重，可以讓整個神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓(xùn)練數(shù)［12］。SAE與DBN類似，區(qū)別在于其結(jié)構(gòu)單元為自編碼模型［13］。其中，CNN 是在圖像識別領(lǐng)域應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)之一，基于CNN 模型的視覺檢測典型算法包括用于如目標檢測的RCNN、Fast RCNN、Faster RCNN、YOLO、SSD等，用于圖像分類的LeNet、AlexNet、VGG、GoogLeNet算法等［14-15］。

當前系統(tǒng)深度學(xué)習(xí)視覺能力平臺已部署YOLOv3、SSD、Fast RCNN、RetinaNet 等算法主要應(yīng)用于目標檢測場景。平臺支持用戶模型自訓(xùn)練使用，通過設(shè)計標準化操作流程，降低了場景應(yīng)用開發(fā)難度，無需專業(yè)開發(fā)人員即可完成模型訓(xùn)練、校驗與部署，實現(xiàn)新視覺檢測應(yīng)用的快速上線。

2.3.3 算法能力集成

工業(yè)視覺檢測場景復(fù)雜多類，檢測需求從簡單的尺寸測量到復(fù)雜的多目標識別。因此，需要依據(jù)場景實際情況合理選擇算法能力，既需要傳統(tǒng)的視覺檢測方法又需要基于深度學(xué)習(xí)的視覺檢測方法。在算法層面，平臺提供開放、可擴展的視覺檢測算法能力庫，支持集成第三方算法能力，當前提供深度學(xué)習(xí)檢測能力庫、OpenCV 檢測能力庫、Halcon 檢測能力庫等。平臺提供標準的接口能力單元，用戶也可將企業(yè)原有視覺檢測算法自行移植到平臺中使用。

2.3.4 能力編排引擎

能力編排引擎是視覺檢測系統(tǒng)的核心能力之一，針對多場景應(yīng)用需求，通過檢測能力編排引擎為用戶提供可視化集成編排開發(fā)環(huán)境，用戶可針對新檢測場景對視覺檢測算法、檢測業(yè)務(wù)流程等進行編排及配置，快速形成新的視覺檢測能力。

2.3.5 基于5G＋MEC網(wǎng)絡(luò)的承載方案

格力對生產(chǎn)數(shù)據(jù)安全有嚴格要求，為實現(xiàn)生產(chǎn)數(shù)據(jù)不出園區(qū)，在網(wǎng)絡(luò)建設(shè)上需要支持5G+MEC 網(wǎng)絡(luò)架構(gòu)，一方面利用5G 網(wǎng)絡(luò)作為設(shè)備連接手段，提供高可靠數(shù)據(jù)傳輸保障。另一方面，借助MEC 本地分流能力，關(guān)鍵生產(chǎn)數(shù)據(jù)直接分流至本地數(shù)據(jù)中心視覺檢測平臺，確保生產(chǎn)數(shù)據(jù)不出廠，保證數(shù)據(jù)安全性。同時，通過本地分流還能降低端到端通信時延，提升系統(tǒng)響應(yīng)速度。

3 系統(tǒng)測試

結(jié)合格力5G 試點工廠的實際生產(chǎn)視覺檢測場景檢測需求，在試點工廠對系統(tǒng)進行整體測試。測試內(nèi)容分為2個部分：網(wǎng)絡(luò)架構(gòu)測試及系統(tǒng)測試。

3.1 網(wǎng)絡(luò)架構(gòu)測試

格力試點工廠在園區(qū)部署3 臺5G 基站實現(xiàn)園區(qū)網(wǎng)絡(luò)覆蓋，同時部署MEC 服務(wù)器實現(xiàn)本地業(yè)務(wù)分流控制。為驗證系統(tǒng)網(wǎng)絡(luò)架構(gòu)可行性，在格力試點工廠進行了系統(tǒng)測試及驗證（見圖3）。其中，現(xiàn)場終端設(shè)備通過CPE 接入5G 網(wǎng)絡(luò)，在園區(qū)部署MEC 服務(wù)器，車間采集的圖像數(shù)據(jù)經(jīng)MEC 分流至格力數(shù)據(jù)機房。測試結(jié)果表明，在5G +MEC 網(wǎng)絡(luò)承載環(huán)境下，系統(tǒng)可正常運行，且數(shù)據(jù)傳輸通信時延可滿足企業(yè)檢測需求。

3.2 系統(tǒng)測試

針對格力視覺檢測需求，以空調(diào)外機為檢測目標，進行空調(diào)外機整體外觀檢測，通過在測試環(huán)境下模擬產(chǎn)線運行，空調(diào)進入檢測區(qū)域后觸發(fā)器產(chǎn)生觸發(fā)信號，同時觸發(fā)4臺工業(yè)相機拍照，工控機將圖像文件通過5G 網(wǎng)絡(luò)上傳至視覺檢測平臺并實時讀取檢測結(jié)果，輸出顯示檢測內(nèi)容并下發(fā)控制指令。

圖3 網(wǎng)絡(luò)架構(gòu)

空調(diào)外機視覺檢測場景具體檢測內(nèi)容包括螺絲釘數(shù)量識別、接線盒ROHS標識有無、接線盒警告標識有無、空調(diào)銘牌有無、空調(diào)銘牌文字識別（重點識別名稱、型號、制造日期、出廠編號）、標簽上冷媒型號是否正確、空調(diào)2個防塵帽有無等。

現(xiàn)場測試環(huán)境如圖4所示。

圖4 現(xiàn)場測試環(huán)境

現(xiàn)場測試結(jié)果表明系統(tǒng)可在規(guī)定時間內(nèi)完成對空調(diào)外機進行4面多目標檢測，并實時反饋檢測結(jié)果，在檢測效率和識別準確度上均達到預(yù)期要求（見表2）。

3.3 應(yīng)用效果

基于5G 的工業(yè)AI 視覺檢測系統(tǒng)，將5G、MEC、AI技術(shù)與視覺檢測相結(jié)合，打造平臺化、智能化的工業(yè)視覺檢測系統(tǒng)，實現(xiàn)了多場景并行的視覺檢測。相較于企業(yè)現(xiàn)有視覺檢測能力單一、成本高、管理差等問題，該系統(tǒng)成本低，適合大規(guī)模部署；系統(tǒng)算法能力強，支持集成主流算法庫；管理能力強，支持對檢測流程及檢測結(jié)果進行大數(shù)據(jù)分析；提供標準化操作流程，能有效降低人員準入門檻。該系統(tǒng)的應(yīng)用可有效提升企業(yè)視覺檢測智能化水平，滿足多場景視覺檢測需求，減少人員成本投入，提升生產(chǎn)效率，助力企業(yè)數(shù)字化、智能化轉(zhuǎn)型。

表2 空調(diào)外機4面視覺檢測結(jié)果

4 價值分析

4.1 產(chǎn)品自身價值分析

在成本層面，相對于現(xiàn)有的工業(yè)智能相機，平臺化的視覺檢測系統(tǒng)，現(xiàn)場端無需復(fù)雜硬件及高算力要求，可極大降低視覺檢測規(guī)模部署成本，實現(xiàn)新檢測場景快速批量部署。

在算法層面，平臺化的視覺系統(tǒng)具備更強的算法能力和算法復(fù)雜度，可擴展性強、易維護，具備更高的檢測效率和識別精度。

在使用層面，利用模型訓(xùn)練平臺及業(yè)務(wù)編排能力，無需專業(yè)開發(fā)人員即可實現(xiàn)新檢測場景快速部署，有效降低了用戶使用門檻。

在管理層面，平臺化的視覺檢測系統(tǒng)可以支持多場景并行接入，可實現(xiàn)全場景視覺檢測的精細化管理，解決傳統(tǒng)視覺檢測數(shù)據(jù)孤島問題，可實現(xiàn)工業(yè)視覺檢測整體管控與數(shù)據(jù)分析，提高生產(chǎn)工藝。

4.2 產(chǎn)品工業(yè)應(yīng)用價值分析

基于5G 的工業(yè)AI視覺檢測系統(tǒng)可以為企業(yè)提供端到端視覺檢測解決方案，建立全場景視覺檢測接入及監(jiān)控管理體系，實現(xiàn)低成本、智能化、高效率的視覺檢測應(yīng)用，有效提升生產(chǎn)效率及產(chǎn)品質(zhì)量，降低生產(chǎn)成本，為企業(yè)帶來更多利潤。

同時，系統(tǒng)基于5G+MEC 所構(gòu)建的企業(yè)內(nèi)網(wǎng)來承載數(shù)據(jù)業(yè)務(wù)，為5G 工業(yè)網(wǎng)絡(luò)的建設(shè)帶來了應(yīng)用價值，使5G 網(wǎng)絡(luò)能更好地服務(wù)工業(yè)生產(chǎn)，帶來新業(yè)務(wù)點，該模式具備復(fù)用推廣價值，可以擴展到其他5G 工業(yè)應(yīng)用場景之中。

5 結(jié)束語

本文基于5G、AI 等新興技術(shù)，結(jié)合格力視覺檢測需求，設(shè)計了平臺化的視覺檢測系統(tǒng)，該系統(tǒng)契合企業(yè)智能化發(fā)展需求，能夠有效解決企業(yè)工業(yè)視覺檢測當前面臨的成本高、開發(fā)難、管理差等問題，該系統(tǒng)具備通用性及可復(fù)制性，通過微調(diào)即可復(fù)制推廣到其他工業(yè)企業(yè)，具有一定的行業(yè)示范及推廣意義。