摘 要：該文針對機器人工程新工科專業(yè)，基于工程教育認證OBE的以學生能力培養(yǎng)為目標的教學理念，開展機器人工程專業(yè)多課程聯(lián)動綜合實驗教學探索。以計算機視覺原理與應用、機器人學基礎等課程的核心教學內(nèi)容為案例，設計綜合實驗方案，設計基于視覺識別與定位的機械臂操作綜合實驗，培養(yǎng)學生較系統(tǒng)掌握所學的基礎理論知識，并能夠綜合運用知識進行復雜工程問題的分析和解決的能力，達到新工科及工程教育認證對專業(yè)人才培養(yǎng)的目標。

關(guān)鍵詞：機器人工程；教學改革；多課程聯(lián)動；綜合實驗；實驗方案

中圖分類號：G640 文獻標志碼：A 文章編號：2096-000X（2024）30-0011-05

Abstract： Aiming at the new engineering specialty of robot engineering， based on the teaching concept of engineering education certification OBE with the goal of cultivating students' ability， this paper carries out the exploration of multi-course linkage comprehensive experimental teaching of robot engineering specialty. Taking the core teaching contents of computer vision principles and applications， basic robotics and other courses as examples， design a comprehensive experimental scheme， design a comprehensive experiment of robotic arm operation based on visual recognition and positioning， and cultivate students' ability to systematically master the basic theoretical knowledge they have learned， and to comprehensively use the knowledge to analyze and solve complex engineering problems， Achieve the goal of training professional talents for new engineering and engineering education certification.

Keywords： robot engineering; reform in education; multi-course linkage; comprehensive experiment; experimental scheme

基金項目：教育部2021年第一批產(chǎn)學合作協(xié)同育人項目“機器人工程新工科專業(yè)的實驗/實踐教學平臺建設”（202101014060）

第一作者簡介：雷靜桃（1970-），女，漢族，河南洛陽人，博士，教授，博士研究生導師。研究方向為機器人技術(shù)。

按照國際標準化組織（ISO）規(guī)定，機器人被分為工業(yè)機器人、特種服務機器人、家用服務機器人三種。無論是在工業(yè)領(lǐng)域，還是在服務領(lǐng)域，許多作業(yè)都離不開多自由度機械臂，被廣泛應用于制造業(yè)、醫(yī)療、家庭服務等領(lǐng)域。例如，汽車制b5n70qpocx65mqZ2Zk60Tw==造業(yè)的機械臂、移動機器人上安裝的機械臂、人形機器人的手臂和協(xié)作機械臂，如圖1所示。

讓機器具有視覺感知能力是機器人與人工智能領(lǐng)域的一個重要分支。目前的工業(yè)產(chǎn)品質(zhì)量檢測、智能交通系統(tǒng)中的通行車輛信息獲取、無人駕駛汽車的道路信息識別、公共安全領(lǐng)域的監(jiān)控視頻信息處理等等許多工程領(lǐng)域都離不開計算機視覺理論與技術(shù)。

機械臂廣泛應用于工業(yè)領(lǐng)域，目前，普遍采用基于單目視覺、雙目視覺的機械臂進行手眼協(xié)調(diào)操作。例如，食品生產(chǎn)線上的作業(yè)機器人、采摘機器人、空間機械臂的視覺感知及在軌服務操作、零件缺陷檢測和移動操作等[1-3]。機器視覺可以作為機器人眼睛，允許機器人對周圍環(huán)境有一個基本的認識，從而能執(zhí)行一系列操作，如操作家用電器、傳遞物品等。

機器視覺就是用相機代替人眼來對周圍環(huán)境進行判斷和分析，結(jié)合一定的算法來實現(xiàn)智能決策，機器視覺從原理上分為單目、雙目、3D視覺等。機器視覺在人機交互、航空航天、工廠自動化等方面占據(jù)重要地位。將機器視覺和機械臂操作結(jié)合起來，相當于為機械臂增加了“眼睛”， 實現(xiàn)機械臂對目標的自動定位，可大大提高機械臂的環(huán)境感知能力和智能化水平，進一步擴展機械臂的應用領(lǐng)域。在此基礎上提出一種基于單目視覺的定位方法，配合機械臂可以輕松實現(xiàn)物品的抓取和放置等動作[4]。

機器人工程專業(yè)是教育部首批新工科項目建設專業(yè)，該專業(yè)旨在培養(yǎng)掌握扎實的基礎理論和相關(guān)專業(yè)知識、具備較強綜合職業(yè)能力的高素質(zhì)應用型專門人才[5]。機器人學是該專業(yè)的核心專業(yè)基礎課，教學內(nèi)容主要包括數(shù)理基礎、運動學建模、雅克比矩陣、動力學、傳感器、軌跡規(guī)劃、運動控制和機器人編程等[6]。

機器人學課程目前的教學內(nèi)容存在以下方面的問題。

第一，機器人課程教學，以課堂講授為主，學生缺乏系統(tǒng)的綜合性實驗訓練。這不符合新工科和工程專業(yè)認證的教育理念，不能達到在高階性、創(chuàng)新性、挑戰(zhàn)性等方面的要求。專業(yè)課程教學中，讓學生動起來，讓機器人動起來，是學好課程的關(guān)鍵。

第二，機器人學的教學應與時俱進，契合時代技術(shù)發(fā)展進程，隨著人工智能和機器人技術(shù)的深度交叉與融合，機器人學的教學內(nèi)容應更新穎，實驗教學內(nèi)容應更豐富、更有挑戰(zhàn)性。

新時代全國高等學校本科教育工作會議要求，對大學生要合理“增負”，真正做到把乏味、要求松的“水課”變成有挑戰(zhàn)度、有深度、有難度的“金課”[7]。

基礎理論內(nèi)容，體現(xiàn)高階性、創(chuàng)新性、挑戰(zhàn)度。在OBE 教學理念的指導下，探索符合新工科要求的課程教學理念和教學方法。機器人學課程建設目標：創(chuàng)新課程教學內(nèi)容，實現(xiàn)“高階性、創(chuàng)新性、挑戰(zhàn)度”目標。高階性方面，課程內(nèi)容緊跟時代進步、科技發(fā)展，反映前沿性和時代性，體現(xiàn)機器人與人工智能的交叉與融合，智能化時代的特征，培養(yǎng)學生系統(tǒng)掌握基礎理論知識、解決復雜問題的綜合能力和高級思維。創(chuàng)新性方面，教學形式呈現(xiàn)先進性和互動性，通過研討型教學、創(chuàng)新實驗實踐教學，通過探究方式，強化學習效果。挑戰(zhàn)度方面，課程內(nèi)容有一定的挑戰(zhàn)性，學生需通過一定的努力才能掌握課程內(nèi)容。通過布置富有挑戰(zhàn)度的、以綜合能力訓練的課外項目，增加比較難的理論基礎知識，通過具有挑戰(zhàn)性、綜合性項目探究訓練，培養(yǎng)學生解決復雜問題的綜合能力。

課程的教學改革思路，根據(jù)高校新工科人才培養(yǎng)和機器人工程專業(yè)人才培養(yǎng)目標，探索一種多課程聯(lián)動的綜述性實驗方案并進行實踐。根據(jù)機器人工程專業(yè)教學團隊的教學經(jīng)驗，融合多門專業(yè)課程的重要知識點，以學生為中心，以綜合能力培養(yǎng)為目標，開展多課程聯(lián)動的綜合性實驗教學探索，融合機器人學基礎、計算機視覺原理與應用/視覺感知與圖像處理、機器人智能感知等多門課程，設計基于視覺感知定位的機械臂操作的實驗方案，進行綜合性實驗教學，培養(yǎng)學生系統(tǒng)掌握課程的基礎理論知識，領(lǐng)會課程章節(jié)間的關(guān)聯(lián)關(guān)系，培養(yǎng)學生編程能力和實際操作能力，以及機器人復雜工程問題分析和解決的能力及綜合素質(zhì)。

一 綜合性實驗所支撐的相關(guān)課程內(nèi)容

根據(jù)機器人工程專業(yè)的專業(yè)培養(yǎng)目標，以及基于專業(yè)工程教學認證的培養(yǎng)目標和能力矩陣，結(jié)合教學團隊在教學研究與教學實踐中的經(jīng)驗，機器人學的課程內(nèi)容之間存在一定的關(guān)聯(lián)關(guān)系，如將傳感器、軌跡規(guī)劃、機器人編程等內(nèi)容進行關(guān)聯(lián)，設計實驗教學方案，根據(jù)課程每部分的特點把章節(jié)進行串聯(lián)，設計綜合性實驗。同時，考慮到機器人工程專業(yè)人才培養(yǎng)的高階性、創(chuàng)新性、挑戰(zhàn)度要求，將機器人學基礎、機器人智能感知、計算機視覺原理與應用等關(guān)聯(lián)性比較強的課程進行聯(lián)動教學，設計綜合性強的實驗方案，開展實驗教學。通過綜合性實驗方案設計，優(yōu)化教學組織，培養(yǎng)學生綜合能力。

機器人學基礎：傳感器部分，主要講授機器人傳感器的特點、分類、典型機器人內(nèi)傳感器和外傳感器的工作原理，如機器人的視覺裝置，以及傳感器在機器人中的應用等。機器人軌跡規(guī)劃部分，講授關(guān)節(jié)空間和笛卡兒空間中機器人運動的軌跡規(guī)劃方法、軌跡生成方法。機械臂的作業(yè)有點到點（PTP）或者連續(xù)路徑運動兩種，如上下料、弧焊、曲面加工等。機器人編程部分，講授Matlab的基本操作、常用函數(shù)等；使用Robotic工具箱，進行多自由度機械臂的建模、可視化運動仿真；工業(yè)機械臂操作的示教編程等。

計算機視覺原理與應用：主要講授計算機視覺的理論和方法，培養(yǎng)學生掌握計算機視覺概念、基本組成、單目視覺系統(tǒng)、雙目視覺系統(tǒng)和多目視覺系統(tǒng)的光學程序原理；計算機視覺系統(tǒng)的標定方法；數(shù)字圖像的基本概念、圖像濾波的基本原理及多種濾波模板；視覺系統(tǒng)開發(fā)軟件、視覺系統(tǒng)典型案例等。

二 實驗教學軟件和硬件條件

課程實驗教學設計方面，強化學生系統(tǒng)掌握所學的基礎理論知識能力，力求做到實驗的趣味性、實用性、難度適中。

（一） 多自由度機械臂

埃夫特機械臂作為學生進行運動規(guī)劃和編程實驗平臺，具有結(jié)構(gòu)緊湊、工作范圍大、靈活性等特點。機械本體由底座部分、大臂與小臂部分、手腕部件和本體管線包部分組成，共有六個伺服電機驅(qū)動六個關(guān)節(jié)的旋轉(zhuǎn)運動，共有六個自由度，能進行靈活的運動。機械臂各組成部分及各運動關(guān)節(jié)如圖2所示。

（二） 視覺定位系統(tǒng)

雙目視覺定位系統(tǒng)主要是由工業(yè)數(shù)字相機、鏡頭、光源和工控機等硬件設備組成。工業(yè)數(shù)字相機主要包括電荷耦合器件（Charge Coupled Device，CCD）相機 和 互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor，CMOS）相機兩大種類。CCD 相機自身的靈敏度、分辨率、噪聲控制等方面比 CMOS 相機優(yōu)良，但 CMOS 相機具有成本低、功耗低、整合度高的優(yōu)勢。

（三） 軟件平臺

OpenCV（Open Source Computer Vision Library）是一種輕量級且高效的可跨平臺的開源視覺算法庫，是由一系列的 C 函數(shù)和一些 C++類組成，可以在 Linux、Windows、Android 等多種操作系統(tǒng)上運行，并且為多種類型的編程語言提供了應用接口，如 Python 語言、Matlab 語言、Ruby 語言等，實現(xiàn)了機器視覺和圖像處理等方面多種語言算法的通用性。

三 多課程聯(lián)動的綜合性實驗方案

本文設計一個多課程聯(lián)動的綜合性實驗方案，并設計了基于視覺感知的機械臂PTP/連續(xù)軌跡規(guī)劃與操作實驗，如圖3所示。通過綜合性實驗教學，培養(yǎng)學生系統(tǒng)掌握計算機視覺原理與應用、機器人學基礎等專業(yè)課程中的重點教學內(nèi)容。例如，圖像識別算法，該算法針對視頻圖像進行預處理，使圖像二值化，從而提取物體的外形輪廓，進而計算物體的中心位置，將物體的中心坐標通過串口或者網(wǎng)絡傳給機械臂，最后機械臂根據(jù)坐標位置抓取目標物體。該算法可利用OpenCV軟件進行編程實現(xiàn)。又如，機器人學基礎課程中機械臂運動學、視覺傳感器、軌跡規(guī)劃和機器人編程等章節(jié)教學內(nèi)容。

（一） 實驗方案總體設計

1 目標識別與空間定位

為了獲取目標物體在三維空間中的位置信息，需要將相關(guān)的硬件進行組合形成視覺定位系統(tǒng)?；谝曈X的目標識別與定位，可以采用單目、雙目或多目攝像頭及其他深度感知傳感器，完成 3D 空間任意位置的目標感知與定位?？梢酝ㄟ^OpenCV軟件，識別目標物體并定位其位置。通過相關(guān)點位，計算出目標相對于機械臂的空間位置。

將標定板安裝于機械臂末端并變換不同的姿態(tài)，利用相機拍攝標定板，獲得相機坐標系相對于機械臂基坐標系的空間位姿變換關(guān)系。相機采集目標物體圖像，利用YOLO等識別算法對目標物體進行識別，確定目標物體的空間位姿信息，進而對目標物體特征點進行提取?；谑盅蹣硕P(guān)系，將目標物體的位置信息轉(zhuǎn)化到機械臂基坐標系中。

2 目標空間位姿信息的傳輸

根據(jù)視覺感知與定位，將確定的目標空間位姿信息傳輸給機械臂。

3 機械臂運動規(guī)劃與操作

機械臂根據(jù)目標的起點和終點坐標，進行點到點（PTP）或者連續(xù)路徑運動的軌跡規(guī)劃，通過軟件編程驅(qū)動機械臂運動，實現(xiàn)目標物體的取放作業(yè)。根據(jù)障礙物的位置，機械臂進行自主避障和軌跡規(guī)劃，實現(xiàn)目標物體的抓取和放置操作。

（二） 基于視覺感知的目標圖像識別與空間定位方法

基于視覺的目標識別與空間定位為機械臂自主抓取和放置目標奠定基礎。

首先，需要進行攝像頭標定，即確定攝像頭坐標系相對于機械臂固定參考與坐標系的空間位姿關(guān)系。根據(jù)相機的安裝位置不同分為：eye-to-hand和eye-in-hand。其中，eye-to-hand標定的攝像頭安裝于地面或相機支架，不隨機器人末端的移動而移動，eye-to-hand不存在攝像頭擾動的問題。eye-in-hand標定的攝像頭安裝于機械臂法蘭末端，隨著機械臂末端的運動而同步運動。其次，攝像頭采集目標物體圖像。實際應用場景中，視覺系統(tǒng)圖像容易受外部環(huán)境光線、擾動等因素影響，從而導致圖像存在較多噪聲，無法直接用于圖像識別。

本文所設計的綜合性實驗教學方案，擬采用eye-to-hand的模式，將攝像頭固定于相機支架上。將標定板安裝于機械臂末端，攝像頭進行多次標定板測量，完成手眼標定，確定機器人基坐標系{B}和相機坐標系{C}之間的變換關(guān)系。

擬采用雙邊濾波算法實現(xiàn)圖像平滑處理，減少圖像噪聲。圖像預處理后，利用基于YOLO的目標識別算法可實現(xiàn)目標的快速識別，該方法具有識別效率高、通用性好等優(yōu)點。獲取目標區(qū)域的圖像后，進行Canny邊緣檢測獲取目標物體的邊緣信息。根據(jù)物體邊緣信息，可獲抓取點在像素坐標系中的坐標。由于相機距離目標物體的距離是一常數(shù)，則可計算得到目標物體抓取點在相機坐標系中的三維位置向量CP；根據(jù)手眼標定關(guān)系，可獲得抓取點在機器人基坐標系下的三維位置向量BP。

（三） 機械臂關(guān)節(jié)空間或操作空間軌跡規(guī)劃

軌跡是指操作臂在運動過程中隨時間變化的位移、速度、加速度。根據(jù)操作任務的要求，計算出預期的運動軌跡[8]。

1 點到點運動（PTP）

針對機器人的抓放作業(yè)，如機器人上、下料作業(yè)，此種任務只需要描述工具坐標系的起始點的位姿和目標點的位姿，即工具坐標系的起始值{T0}和目標值{Tg} 。

2 連續(xù)路徑運動

針對機器人的作業(yè)，如弧焊、曲面加工等，此種任務不僅要規(guī)定機械臂的工具坐標系的起始點位姿和目標點位姿，而且還要指明兩點之間的若干中間點（稱為路徑點），必須沿特定的路徑運動（路徑約束），這類運動稱為連續(xù)路徑運動。

3 PTP運動指令

該指令表示機械臂的末端工具坐標系相對于基坐標系進行點到點的運動，機械臂各關(guān)節(jié)在關(guān)節(jié)空間里獨自進行軌跡規(guī)劃，同時啟動、同時停止。執(zhí)行這條指令時，各關(guān)節(jié)同時插補運動到目標點。在程序中新建指令PTP，確認后彈出窗口如圖4所示。

圖4 機械臂PTP運動編程

四 結(jié)束語

本文按照教育部新工科對人才培養(yǎng)的高階性、創(chuàng)新性、挑戰(zhàn)度的課程教學要求，根據(jù)機器人工程專業(yè)教學團隊的教學經(jīng)驗，融合多門專業(yè)課程，以學生為中心，以綜合能力培養(yǎng)為目標，設計基于視覺感知的機械臂操作實驗方案，通過多課程聯(lián)動的綜合性實驗教學，加深學生對專業(yè)基礎理論知識的理解，提高系統(tǒng)掌握專業(yè)知識和綜合訓練、解決復雜問題的能力。所設計的實驗教學內(nèi)容，也可用于機電相關(guān)專業(yè)，根據(jù)課程需要開展專業(yè)課程實訓、專業(yè)拓展實訓。

參考文獻：

[1] 張輝，余厚云，李克斌.基于機械臂的渦輪殼零件表面質(zhì)量視覺檢測[J].計算機與現(xiàn)代化，2020（7）：121-126.

[2] 郝穎明，付雙飛，范曉鵬，等.面向空間機械臂在軌服務操作的視覺感知技術(shù)[J].無人系統(tǒng)技術(shù)，2018，1（1）：54-65.

[3] YONGJIA Y，ZENGPEGN S， XIAOGUAGN Z， et al. Design and implementation of an automatic peach harvesting robot system[C]//2018 Tenth International Conference and Advanced Computational Intelligence. Xiamen， China，2018：700-705.

[4] 王科舉，廉小親，陳彥銘，等.基于深度學習的機械臂視覺系統(tǒng)[J].信息技術(shù)與信息化，2020（8）：203-208.

[5] 謝榕.人工智能的國際化：多元化創(chuàng)新教學模式[J].計算機技術(shù)，2017（6）：165-170.

[6] 王宇奇，周磊，曹錦江，等，機器人學導論課程——實踐教學能力與教學質(zhì)量提升[J].中國教育技術(shù)裝備，2021（2）：129-131.

[7] 吳巖.建設中國“金課”[J].中國大學教學，2018（12）：4-9.

[8] 盧青，郭建國.“新工科”背景下的機器人軌跡規(guī)劃實驗教學系統(tǒng)設計[J].實驗室研究與探索，2022，41（5）：147-150，201.