導(dǎo)讀：工業(yè)機(jī)器人與機(jī)器視覺技術(shù)不僅僅局限在工業(yè)生產(chǎn)場(chǎng)景中結(jié)合使用，隨著經(jīng)驗(yàn)的積累與技術(shù)瓶頸的突破，二者還將扮演更加重要的角色。

引言

據(jù)工業(yè)和信息化部2018 年9 月27 日消息，2018年1 月至8 月，中國工業(yè)機(jī)器人累計(jì)產(chǎn)量達(dá)到101，717 臺(tái)（套），同比增長19.4%。伴隨于此，輔佐機(jī)器人進(jìn)行更高精度、更強(qiáng)適應(yīng)性自動(dòng)化生產(chǎn)的機(jī)器視覺技術(shù)，在近幾年也得到突飛猛進(jìn)的發(fā)展。工業(yè)機(jī)器人與機(jī)器視覺技術(shù)不僅僅局限在工業(yè)生產(chǎn)場(chǎng)景中結(jié)合使用，隨著經(jīng)驗(yàn)的積累與技術(shù)瓶頸的突破，二者還將扮演更加重要的角色。

機(jī)器視覺與機(jī)器人的完美融合

對(duì)于傳統(tǒng)意義上的工業(yè)自動(dòng)化，工業(yè)機(jī)器人在控制系統(tǒng)的指揮下，重復(fù)特定的動(dòng)作流程完成加工。換言之，產(chǎn)品加工精度的保障依賴于控制系統(tǒng)的穩(wěn)定性與整個(gè)機(jī)械系統(tǒng)的精度。但是加工過程中隨機(jī)誤差的產(chǎn)生在所難免，諸如不可預(yù)測(cè)的震動(dòng)、產(chǎn)品在工位間傳送發(fā)生的偏移等，此外機(jī)械結(jié)構(gòu)隨著長期使用、精度下降帶來的系統(tǒng)誤差還會(huì)導(dǎo)致產(chǎn)品批量報(bào)廢。而簡單的傳感器對(duì)于這些誤差的規(guī)避又顯得捉襟見肘。加上現(xiàn)今產(chǎn)品序列紛繁復(fù)雜，市場(chǎng)對(duì)于柔性生產(chǎn)的要求與日俱增，工業(yè)機(jī)器人想要在“失明”的情況下完成這一切就顯得尤為困難。

而當(dāng)工業(yè)機(jī)器人擁有了機(jī)器視覺賦予的“慧眼”，上述問題便迎刃而解。擁有“慧眼”的工業(yè)機(jī)器人在看到目標(biāo)之后，經(jīng)準(zhǔn)確分析定位后引導(dǎo)動(dòng)作，避免了產(chǎn)品傳送中的偏差，增強(qiáng)了不同產(chǎn)品的生產(chǎn)適應(yīng)性，同時(shí)大幅提升產(chǎn)品的加工精度。此外，機(jī)器視覺還能檢測(cè)成品的精度，免除人工抽檢帶來的低效、誤差與漏檢。隨著智能制造的深入，具備視覺 感知能力的智能設(shè)備益發(fā)盛行，機(jī)器視覺作為前端感知的核心部件，市場(chǎng)需求旺盛。?？禉C(jī)器人起步于?？低暀C(jī)器視覺業(yè)務(wù)部，依托海康威視在圖像傳感、人工智能、大數(shù)據(jù)分析等領(lǐng)域多年的技術(shù)積累，已發(fā)展成為面向全球的移動(dòng)機(jī)器人、機(jī)器視覺產(chǎn)品和算法平臺(tái)提供商，公司堅(jiān)持自主研發(fā)，持續(xù)推動(dòng)智能制造進(jìn)程。

機(jī)器人定位引導(dǎo)分類

在機(jī)器視覺與機(jī)器人相結(jié)合的應(yīng)用場(chǎng)景中，機(jī)器人引導(dǎo)定位應(yīng)用最為普遍。關(guān)于此類場(chǎng)景，?？禉C(jī)器人與合作伙伴共同實(shí)施了大量成功案例與成熟方案。機(jī)器人定位引導(dǎo)可大致分為3 種模式，并進(jìn)而細(xì)分為6 小類：

圖1 所示的三種工作方式稱為固定相機(jī)模式，即相機(jī)安裝在設(shè)備機(jī)架上，不隨機(jī)器人的運(yùn)動(dòng)而運(yùn)動(dòng)，自左至右又依次分為抓取工況、抓取偏移糾正工況和放置工況。其中抓取工況，相機(jī)對(duì)傳送過來的來料進(jìn)行拍攝和粗定位，將定位信息傳輸給機(jī)器人以便機(jī)器人根據(jù)定位信息抓取來料，如此可降低對(duì)工位間傳送機(jī)構(gòu)準(zhǔn)確性的要求，確保抓取的穩(wěn)定性；抓取偏移補(bǔ)正工況可通過設(shè)置在機(jī)械臂另一側(cè)的下相機(jī)對(duì)工件進(jìn)行二次精準(zhǔn)定位，極大程度上消除來料偏差，確保能有針對(duì)性地對(duì)每個(gè)來料進(jìn)行加工；放置工況內(nèi)容涵蓋廣泛，可以是簡單的放置，亦可以是貼合、安裝等，即使用相機(jī)定位最終的目標(biāo)位，結(jié)合前述兩種工況，真正做到針對(duì)每個(gè)工件有的放矢。

圖1 固定相機(jī)

圖2 所示為兩種運(yùn)動(dòng)相機(jī)模式，即相機(jī)安裝于機(jī)械臂頂端隨機(jī)械臂一同運(yùn)動(dòng)。雖不同于上述固定相機(jī)模式，但固定相機(jī)模式和運(yùn)動(dòng)相機(jī)模式在功能上殊途同歸，都可實(shí)現(xiàn)定位抓取與引導(dǎo)放置。兩者在保證功能的同時(shí)，能夠提供更多的安裝可能性以應(yīng)對(duì)不同的環(huán)境與硬件條件限制。

圖2 運(yùn)動(dòng)相機(jī)

針對(duì)不同的設(shè)備安裝場(chǎng)景，為提升硬件安裝的適應(yīng)性，固定相機(jī)模式與運(yùn)動(dòng)相機(jī)模式也可結(jié)合使用，如圖3 所示。

圖3 其他類型

視覺系統(tǒng)設(shè)計(jì)

結(jié)合不同場(chǎng)景，應(yīng)用各類型硬件的選型搭配，保障機(jī)器視覺技術(shù)與機(jī)器人有效配合的前提是系統(tǒng)整體的合理設(shè)計(jì)與安裝布置。

海螺8 是?？低暪S生產(chǎn)的一款攝像頭，其裝配需完成前蓋定位、泡棉上料、透鏡定位安裝、燈板定位安裝鎖附、前端組件定位安裝鎖附等一系列動(dòng)作，整個(gè)過程應(yīng)用了大量機(jī)器人與機(jī)器視覺聯(lián)合定位引導(dǎo)。如圖4 左所示的燈板鎖附工位負(fù)責(zé)燈板鎖附過程中螺釘?shù)膩砹隙ㄎ慌c引導(dǎo)安裝，由于設(shè)備安裝空間的局限性，項(xiàng)目中選擇了空間需求更小、工位更加節(jié)省、安裝更靈活的活動(dòng)相機(jī)方式。?？低曌灾餮邪l(fā)生產(chǎn)的600 萬像素面陣相機(jī)配合25mm 焦距的500 萬鏡頭，連同環(huán)形LED 光源安裝在機(jī)械臂末端，隨同機(jī)械臂一同運(yùn)動(dòng)。

圖4 海螺8 視覺系統(tǒng)與成像效果

如圖4 左所示燈板定位螺釘安裝工位中，螺孔精度為±0.05mm，這對(duì)于視覺與機(jī)器人配合的精度提出了較高要求。相機(jī)連同機(jī)械臂在取料位定位螺釘后，機(jī)械臂前端的吸鐵石準(zhǔn)確吸取螺釘并運(yùn)動(dòng)至安裝位；相機(jī)在安裝位再次拍照定位螺孔后，螺釘被精確旋緊。

單個(gè)螺釘從定位取料到完成安裝整個(gè)過程僅耗時(shí)不到5 秒，且通過視覺定位極大程度提高一次性安裝成功的穩(wěn)定性，避免人工安裝時(shí)瞄準(zhǔn)螺孔、效率波動(dòng)帶來的時(shí)間耗費(fèi)，人力成本也得到降低。視覺定位的應(yīng)用，在降低成本的同時(shí)優(yōu)化加工工藝、提升產(chǎn)能。

基于合理的硬件選型與空間配置，最終得到穩(wěn) 定優(yōu)秀的畫面質(zhì)量（如圖4 右所示）。借助海康機(jī)器人自主研發(fā)的工業(yè)相機(jī)客戶端MVS 和?？低暀C(jī)器視覺VM 算法平臺(tái)，使用模板匹配、圓查找等工具對(duì)圖像中的螺孔等特征進(jìn)行精準(zhǔn)分析定位。

標(biāo)定——精度保障的重要環(huán)節(jié)

在設(shè)備最終投入使用前，還會(huì)經(jīng)歷一個(gè)重要環(huán)節(jié)——標(biāo)定，這也是視覺與機(jī)器人之間的橋梁。

?？低暀C(jī)器視覺VM 算法平臺(tái)中包含成熟的標(biāo)定算法模塊，能在確保標(biāo)定流程開發(fā)高效性的基礎(chǔ)上，讓工程師使用完善的標(biāo)定算法模塊有針對(duì)性地為自己量身定制標(biāo)定程序，以此實(shí)現(xiàn)標(biāo)定流程的簡潔性、準(zhǔn)確性和復(fù)用性。

在合作伙伴利用?？低暀C(jī)器視覺VM 算法平臺(tái)開發(fā)的某一視覺項(xiàng)目中，設(shè)備需要對(duì)三個(gè)工位上的三臺(tái)相機(jī)分別進(jìn)行標(biāo)定。在精度要求最高、空間條件最好的二工位，即抓取偏移補(bǔ)正工位，固定安裝于機(jī)架的下相機(jī)完成了對(duì)帶有角點(diǎn)（有方向性）的點(diǎn)陣標(biāo)定板的11 個(gè)位姿的采圖，并利用?？低暀C(jī)器視覺VM 算法平臺(tái)中多點(diǎn)標(biāo)定模塊快速實(shí)現(xiàn)二工位完整的11 點(diǎn)標(biāo)定。一、三工位的相機(jī)只需要對(duì)標(biāo)定板進(jìn)行一次圖像采集，通過對(duì)比相同特征在不同采圖中的坐標(biāo)，得到不同像素級(jí)別的相機(jī)之間尺度和角度的變換關(guān)系，即通過坐標(biāo)映射建立與二工位之間的聯(lián)系，完成一、三工位的標(biāo)定。

整個(gè)標(biāo)定流程只需采集13 張圖片，在不影響精度的情況下，利用坐標(biāo)映射極大程度地精簡了標(biāo)定流程，節(jié)約了開發(fā)和時(shí)間成本。至于標(biāo)定流程本身，如圖5，基于已有的模塊，只需根據(jù)機(jī)器人的實(shí)際動(dòng)作在N 點(diǎn)標(biāo)定模塊中設(shè)定N 點(diǎn)步進(jìn)的距離d和旋轉(zhuǎn)角度α并選擇圖像中進(jìn)行定位的特征，海康威視機(jī)器視覺VM 算法平臺(tái)會(huì)自動(dòng)按照?qǐng)D示位姿順序完成標(biāo)定矩陣的計(jì)算，供最終圖像坐標(biāo)向物理坐標(biāo)轉(zhuǎn)換時(shí)使用。其中特征點(diǎn)可以是諸如圖5 實(shí)例 中的圓、角點(diǎn)線段等的任何特征，這也消除了標(biāo)定板選用的局限性。而旋轉(zhuǎn)角α的引入解決了機(jī)械臂末端旋轉(zhuǎn)軸與執(zhí)行元件的不共軸問題。在此基礎(chǔ)上，完成一、三工位的坐標(biāo)映射乃至更多定制的標(biāo)定流程，整個(gè)過程的開發(fā)周期也會(huì)大幅縮短。

圖5 N 點(diǎn)標(biāo)定流程

軟件配合

視覺系統(tǒng)在軟件層面完成的首要任務(wù)是與設(shè)備動(dòng)作之間的正常通訊，?？禉C(jī)器人聯(lián)手合作伙伴，在眾多項(xiàng)目的實(shí)際操作中完成了與 ABB、EPSON、FANUC 等諸多工業(yè)機(jī)器人的成功對(duì)接。其次，任何系統(tǒng)的開發(fā)最終都會(huì)落實(shí)在界面的操作，對(duì)于操作員來說，操作界面的友好度同樣是確保設(shè)備正常、高效使用的重要因素。

針對(duì)不同客戶自身的應(yīng)用案例需求，?？低暀C(jī)器視覺VM 算法平臺(tái)提供多樣性的通訊模塊以應(yīng)對(duì)不同的通訊協(xié)議。同樣，海康威視機(jī)器視覺VM算法平臺(tái)豐富的SDK 也為工程師提供了獨(dú)立自主開發(fā)軟件的可能性，以契合不同的應(yīng)用場(chǎng)景和客戶需求。如圖6 是合作伙伴在一個(gè)機(jī)器人對(duì)位貼合項(xiàng)目中調(diào)用?？低暀C(jī)器視覺VM 算法平臺(tái)SDK 編寫的軟件界面。

界面主體顯示了相機(jī)的實(shí)時(shí)采圖，右側(cè)功能頁可設(shè)置包括光源、相機(jī)、視覺方案在內(nèi)的多種選項(xiàng)，并且隨時(shí)可以根據(jù)需求的調(diào)整進(jìn)行增減。

圖6 標(biāo)定過程采圖

結(jié)語

人工智能時(shí)代，工業(yè)應(yīng)用對(duì)機(jī)器人的訴求早已突破既定重復(fù)的簡單組裝工作，面對(duì)當(dāng)下對(duì)“延展性”的更高要求，機(jī)器視覺正在逐漸拓寬機(jī)器人的應(yīng)用范圍。

本文立足于機(jī)器視覺與工業(yè)機(jī)器人的結(jié)合，著重 介紹了二者在定位引導(dǎo)類項(xiàng)目中的應(yīng)用，并通過硬件系統(tǒng)搭建、標(biāo)定流程設(shè)計(jì)、軟件界面設(shè)計(jì)的實(shí)際案例，闡釋機(jī)器視覺在此類項(xiàng)目開發(fā)中的難點(diǎn)與優(yōu)勢(shì)，以期為二者結(jié)合在多領(lǐng)域、深層次的應(yīng)用提供更多寶貴經(jīng)驗(yàn)。

——轉(zhuǎn)自互聯(lián)網(wǎng)