孫 昊，馬興錄，豐 艷，李曉旭

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院，山東 青島 266061)

0 引言

當(dāng)前，人工智能科技發(fā)展如火如荼，智能控制作為當(dāng)今關(guān)鍵核心技術(shù)，其有效促進(jìn)了新型控制體系的高速發(fā)展[1-3]?；?shí)驗(yàn)是在化工產(chǎn)業(yè)進(jìn)行研究、學(xué)習(xí)和生產(chǎn)過(guò)程中的一個(gè)不可或缺的環(huán)節(jié)[4]。目前來(lái)看，化學(xué)實(shí)驗(yàn)的智能化水平不高，利用機(jī)器人機(jī)械臂等智能化的機(jī)械設(shè)備去進(jìn)行化學(xué)實(shí)驗(yàn)所能夠完成的實(shí)驗(yàn)過(guò)程較為單一而且編程較為復(fù)雜。并且化工實(shí)驗(yàn)中會(huì)使用各種各樣的化學(xué)試劑，這些試劑在實(shí)驗(yàn)過(guò)程中相互作用會(huì)產(chǎn)生各種有害物質(zhì)， 甚至當(dāng)實(shí)驗(yàn)出現(xiàn)失誤時(shí)還可能出現(xiàn)不可預(yù)知的危險(xiǎn)。所以，利用更加智能化的機(jī)械臂等設(shè)備代替實(shí)驗(yàn)員去完成相關(guān)的化學(xué)實(shí)驗(yàn)是非常有必要的。

機(jī)器學(xué)習(xí)和機(jī)器視覺(jué)技術(shù)的發(fā)展，使得機(jī)械臂演繹編程為人機(jī)交互提供了新的解決辦法，是降低機(jī)械臂技能獲取難度的重要途徑[5-7]。機(jī)械臂示教編程是通過(guò)對(duì)人的示教動(dòng)作進(jìn)行觀看學(xué)習(xí)，從而自動(dòng)習(xí)得運(yùn)動(dòng)軌跡的過(guò)程，具有難度低、人機(jī)交互便捷、操作靈活等優(yōu)點(diǎn)[8]。本文將手臂動(dòng)作檢測(cè)與語(yǔ)音識(shí)別結(jié)合，同時(shí)借助信息融合和位姿識(shí)別，設(shè)計(jì)了一個(gè)機(jī)械臂的示教控制系統(tǒng)[9]，讓機(jī)械臂能夠看懂、聽懂實(shí)驗(yàn)工作人員教授的技能，并能夠更準(zhǔn)確、快捷地完成人機(jī)交互，進(jìn)而代替實(shí)驗(yàn)員完成實(shí)驗(yàn)工作。

1 系統(tǒng)整體設(shè)計(jì)

本設(shè)計(jì)中的示教控制系統(tǒng)是以桌面型實(shí)驗(yàn)機(jī)械臂為物理載體，以樹莓派操作系統(tǒng)為平臺(tái)。主要針對(duì)在化學(xué)分析實(shí)驗(yàn)場(chǎng)景下，通過(guò)實(shí)驗(yàn)員的示教去教會(huì)實(shí)驗(yàn)機(jī)械臂學(xué)習(xí)模仿人手臂的實(shí)驗(yàn)動(dòng)作，再結(jié)合一定的實(shí)驗(yàn)儀器的抓取位姿識(shí)別算法來(lái)輔助控制，示教與運(yùn)動(dòng)控制兩者相結(jié)合來(lái)完成一套實(shí)驗(yàn)流程組合。

1.1 系統(tǒng)邏輯架構(gòu)

如圖1所示，本設(shè)計(jì)的整體邏輯架構(gòu)可以分為3個(gè)層面：自下而上來(lái)看分別是硬件組成、設(shè)備驅(qū)動(dòng)以及應(yīng)用軟件層：

圖1 系統(tǒng)邏輯架構(gòu)

其中硬件組成為桌面型機(jī)械臂(擁有3個(gè)基礎(chǔ)自由度，類似人類手臂)、樹莓派4B核心板、電機(jī)及電機(jī)控制板、高清單目相機(jī)、麥克風(fēng)以及機(jī)械爪。

設(shè)備驅(qū)動(dòng)部分包括對(duì)麥克風(fēng)的音頻驅(qū)動(dòng)、USB_Cam相機(jī)驅(qū)動(dòng)、電機(jī)驅(qū)動(dòng)以及其他相關(guān)的可編程邏輯等。

應(yīng)用軟件層為在樹莓派桌面型操作系統(tǒng)中運(yùn)行的軟件程序和構(gòu)建的機(jī)械臂動(dòng)作參數(shù)集合，該操作系統(tǒng)與Linux操作系統(tǒng)類似。其中軟件程序部分包括：一個(gè)可視化的界面程序用于電機(jī)控制和示教流程把握、語(yǔ)音識(shí)別[10]功能模塊、動(dòng)作檢測(cè)模塊以及動(dòng)作信息的融合匹配部分。

1.2 系統(tǒng)功能流程

示教控制系統(tǒng)的整體工作業(yè)務(wù)流程如圖2所示。在這一整套實(shí)驗(yàn)流程的示教過(guò)程中，一套完整實(shí)驗(yàn)流程是由許多個(gè)簡(jiǎn)單實(shí)驗(yàn)動(dòng)作組成，叫做動(dòng)作基元。實(shí)驗(yàn)員需要在一邊做動(dòng)作的過(guò)程中一邊口述其動(dòng)作，機(jī)械臂通過(guò)聽和看獲取信息并進(jìn)行融合驗(yàn)證，進(jìn)而能夠理解需要去完成的動(dòng)作。即語(yǔ)音識(shí)別模塊和動(dòng)作識(shí)別模塊分別將對(duì)該一整套實(shí)驗(yàn)流程動(dòng)作識(shí)別出來(lái)的動(dòng)作基元按順序組合放入集合中，然后與本地動(dòng)作庫(kù)中存儲(chǔ)的機(jī)械臂動(dòng)作集中的動(dòng)作組進(jìn)行匹配，得出動(dòng)作信息。過(guò)程中的識(shí)別信息通過(guò)信息融合算法得出最終確定的一套動(dòng)作組，保存或交給機(jī)械臂去運(yùn)行復(fù)現(xiàn)。

圖2 系統(tǒng)功能流程

系統(tǒng)可視化界面如圖3所示，可兼容Windows和Linux操作系統(tǒng)。如圖中右側(cè)所示，其中動(dòng)作參數(shù)使用xml文件存儲(chǔ)，其格式規(guī)整簡(jiǎn)單，便于讀取和存儲(chǔ)動(dòng)作參數(shù)?？梢暬缑嬷性O(shè)置3個(gè)Scale和Radiobutton分別控制3個(gè)電機(jī){x、y、z}的步數(shù)和方向，通過(guò)滑動(dòng)、添加動(dòng)作以此來(lái)定義動(dòng)作組并存儲(chǔ)。點(diǎn)擊開始現(xiàn)場(chǎng)示教開啟攝像頭，則開始執(zhí)行示教功能。

圖3 系統(tǒng)界面

2 機(jī)械臂組成及性能參數(shù)

如圖4所示，本設(shè)計(jì)中的桌面型機(jī)械臂擁有3個(gè)基礎(chǔ)自由度，可在桌面上方的空間內(nèi)轉(zhuǎn)動(dòng)。機(jī)械臂以樹莓派4B為核心控制板，電機(jī)驅(qū)動(dòng)擴(kuò)展板、步進(jìn)電機(jī)驅(qū)動(dòng)模塊、3個(gè)步進(jìn)電機(jī)、一個(gè) 12 V 電源適配器以及帶麥克風(fēng)的攝像頭等組成。抓取與放置操作，使用機(jī)械臂通用夾具、夾爪等。

圖4 機(jī)械臂結(jié)構(gòu)圖

2.1 核心控制板

如圖5所示，樹莓派4B實(shí)質(zhì)上是一臺(tái)微小的嵌入式PC，類似于身份證大小，其系統(tǒng)基于Linux操作系統(tǒng)(本文燒錄桌面型的RasBian System)，擁有64位、1.5 GHz的四核CPU，內(nèi)存可選擇使用1 GB，2 GB或4 GB的RAM，帶有全吞吐量千兆以太網(wǎng)，還可實(shí)現(xiàn)雙頻802.11ac的無(wú)線網(wǎng)絡(luò)，藍(lán)牙為5.0版本，且擁有兩個(gè)USB 3.0和兩個(gè)USB 2.0通信端口[11]。

圖5 樹莓派4B

2.2 步進(jìn)電機(jī)及驅(qū)動(dòng)模塊

控制機(jī)械臂進(jìn)行運(yùn)動(dòng)的關(guān)鍵部位就是電機(jī)，本機(jī)械臂使用的步進(jìn)電機(jī)有3個(gè)，實(shí)現(xiàn)了3個(gè)基礎(chǔ)自由度的運(yùn)動(dòng)控制。機(jī)械臂采用大扭矩42行星減速式的步進(jìn)電機(jī)，其水平運(yùn)動(dòng)的電機(jī)其理論減速比為1：5.18，實(shí)際測(cè)量為11：57接近理論值；兩個(gè)手臂部分的步進(jìn)伸縮電機(jī)的減速比均為1：19(實(shí)際測(cè)量得到187：3591)。電機(jī)的電流為1.7 A，步距角度為1.8°，其步距精度為5%。

如圖6所示，電機(jī)驅(qū)動(dòng)器采用A4988驅(qū)動(dòng)器，可驅(qū)動(dòng)電機(jī)電壓8～35 V。本機(jī)械臂采用12 V電源給電機(jī)供電。其中，每個(gè)步進(jìn)電機(jī)驅(qū)動(dòng)模塊輸出2個(gè)控制信號(hào)，分別為STEP和DIR，與樹莓派引腳相接來(lái)分別實(shí)現(xiàn)步進(jìn)脈沖和方向的控制；其中MS1-3引腳在本設(shè)計(jì)中均接高電平，接口電平及步數(shù)對(duì)應(yīng)參數(shù)如表1所示，將電機(jī)每一步(1.8°)細(xì)分為16步，實(shí)現(xiàn)了更加精細(xì)的控制。

表1 MS接口對(duì)應(yīng)參數(shù)

圖6 步進(jìn)電機(jī)驅(qū)動(dòng)模塊

3 技能獲取模塊設(shè)計(jì)

3.1 動(dòng)作檢測(cè)

本文動(dòng)作檢測(cè)部分主要基于改進(jìn)的雙流卷積網(wǎng)絡(luò)，該部分將預(yù)處理過(guò)的圖像信息輸入網(wǎng)絡(luò)，分別使用EfficientNetv2[12]算法計(jì)算RGB圖像和光流圖像特征，然后將提取得到的特征信息使用線性分類器SVM[13-16]進(jìn)行行為分類，得到動(dòng)作的識(shí)別信息。

如圖7所示，雙流卷積網(wǎng)絡(luò)是將輸入的視頻分為兩路來(lái)進(jìn)行處理，其中一個(gè)是由卷積神經(jīng)網(wǎng)絡(luò)提取RGB圖像中任務(wù)手臂和場(chǎng)景相關(guān)信息，另外一部分是處理光流圖像信息，最后由Softmax函數(shù)分別進(jìn)行歸一化融合處理。

圖7 雙流卷積網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)中光流圖像的提取(動(dòng)作視頻預(yù)處理)部分是由基于梯度的運(yùn)算得到，算法關(guān)鍵原理如下：首先設(shè)定圖像數(shù)列I(x，y，t)，向量X=[x，y]，數(shù)列是由一段演示視頻中的前后幀提取得到，即當(dāng)視頻局部的光流圖像基本恒定時(shí)，對(duì)于任意的Y∈N(x)，有：

H(I)·d+(▽I)t=0

(1)

其中:X為x矢量，H(I)為圖像數(shù)列I的Hesse矩陣，引入X與偏移量d的關(guān)系：

(2)

令導(dǎo)數(shù)等于0可以求得：

d=-(HT(I)H(I))-1(HT(I)(▽I)t)

(3)

上述過(guò)程，可以總結(jié)為依據(jù)視頻圖像中的像素點(diǎn)在時(shí)間線上的變化和相鄰幀圖像之間的關(guān)聯(lián)性來(lái)進(jìn)行分析，找到上一幀和當(dāng)前一幀的對(duì)應(yīng)關(guān)系，計(jì)算出運(yùn)動(dòng)信息(偏移量即為一種運(yùn)動(dòng)信息)，進(jìn)而繪制出光流圖像。

在計(jì)算特征部分，如圖8所示，EfficientNetv2相較于前期的EfficientNet[17]算法部分使用Fused-MBConv替換MBConv結(jié)構(gòu)，即使用常規(guī)的3*3卷積替換MBConv中的3*3深度卷積和1*1卷積，提高網(wǎng)絡(luò)的計(jì)算速度。

圖8 EfficientNetv2結(jié)構(gòu)改進(jìn)示意

得到RGB圖像和光流圖像的特征信息，需要對(duì)其進(jìn)行分類驗(yàn)證。支持向量機(jī)SVM是一種二分類模型，是用來(lái)求解能夠正確劃分訓(xùn)練數(shù)據(jù)集并且?guī)缀伍g隔最大的分離超平面。如圖9所示，w*x+b=0即分離超平面，這樣的超平面一般數(shù)量很多，但是幾個(gè)間隔最大的分離超平面確是僅有唯一的一個(gè)。對(duì)于其中的最優(yōu)值，其求解的公式如下：

圖9 SVM原理

(4)

整體結(jié)構(gòu)表示如圖10所示，即將雙流卷積網(wǎng)絡(luò)中的RGB和光流特征提取部分使用輕量級(jí)的Efficientnetv2分別進(jìn)行卷積和池化處理，再結(jié)合SVM分類器對(duì)兩個(gè)分支給出的動(dòng)作信息進(jìn)行分類，最終給出一個(gè)識(shí)別到的動(dòng)作信息。

圖10 動(dòng)作檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

當(dāng)獲得一套完整動(dòng)作的識(shí)別信息之后，需要去確定該模塊機(jī)械臂動(dòng)作的執(zhí)行序列，獲得機(jī)械臂的可執(zhí)行動(dòng)作。

首先設(shè)計(jì)機(jī)械臂的動(dòng)作基元并命名，將所有設(shè)計(jì)動(dòng)作基元存儲(chǔ)到庫(kù)。上文中檢測(cè)到的動(dòng)作信息按順序存儲(chǔ)、匹配目錄下的動(dòng)作基元用來(lái)確定當(dāng)前時(shí)間內(nèi)的動(dòng)作基元序列。程序在每次的示教過(guò)程中都會(huì)匹配出由多個(gè)動(dòng)作基元組成的順序組合，然后在機(jī)械臂動(dòng)作組庫(kù)中搜索關(guān)聯(lián)動(dòng)作。識(shí)別到的動(dòng)作編號(hào)串聯(lián)得到一個(gè)序列，用這個(gè)序列去找到一個(gè)完整匹配或者最接近的一個(gè)動(dòng)作組(動(dòng)作基元及其編號(hào)情況如圖11所示)，則認(rèn)定其為識(shí)別到的實(shí)驗(yàn)動(dòng)作，并且給出一個(gè)覆蓋度(Coverage)。

圖11 部分動(dòng)作基元

當(dāng)程序找到最匹配的一個(gè)動(dòng)作組之后，繼續(xù)與庫(kù)中動(dòng)作組進(jìn)行匹配，存儲(chǔ)其匹配過(guò)程中動(dòng)作組覆蓋度高于50%的相關(guān)信息。

3.2 語(yǔ)音識(shí)別及關(guān)鍵字提取

示教是一個(gè)邊做邊說(shuō)的過(guò)程，實(shí)驗(yàn)員在手臂運(yùn)動(dòng)的過(guò)程中口述當(dāng)前動(dòng)作，這就需要語(yǔ)音技術(shù)的加成。語(yǔ)音技術(shù)的關(guān)鍵是對(duì)自然語(yǔ)言進(jìn)行處理，對(duì)語(yǔ)音進(jìn)行識(shí)別及文本生成，從而使機(jī)器具備能聽會(huì)說(shuō)、能理解會(huì)思考的能力[18]。本文使用百度的實(shí)時(shí)語(yǔ)音識(shí)別，其基于Deep Peak2端到端建模，將接收到的音頻流實(shí)時(shí)識(shí)別成文字字符，進(jìn)而使用正則表達(dá)式去提取動(dòng)作關(guān)鍵字。該部分偽代碼如下：

Function：openvoc(blist)線程用于開啟語(yǔ)音模塊功能。

Function1(Function):GetAIvocworld用于實(shí)時(shí)獲取語(yǔ)音接口返回的識(shí)別結(jié)果。

Input1：APP_ID，API_KEY，SECERT_KEY，VOC控制臺(tái)注冊(cè)的應(yīng)用ID、Key和輸入的音頻信息。

Process1：首先與控制臺(tái)建立websocket協(xié)議連接。

If：websocket_is_ok()，無(wú)錯(cuò)誤碼。

Do：Process2：邊上傳音頻邊獲取識(shí)別結(jié)果。

Output1：result = client.asr(get_voccontent)識(shí)別結(jié)果還包括voctxt=result[‘result’][0]、begin time result[‘result’][1]和end time result[‘result’][2]。

Process3：Function：getRegularword(OutPut1(result))使用正則表達(dá)式提取上述輸出的文字信息，按照順序進(jìn)行存儲(chǔ)。

OutPut2:action關(guān)鍵詞列表。

在這個(gè)過(guò)程中，由于是在化學(xué)實(shí)驗(yàn)中的語(yǔ)音識(shí)別，所以需要將針對(duì)化學(xué)實(shí)驗(yàn)中的許多術(shù)語(yǔ)以及當(dāng)前實(shí)驗(yàn)流程所需要的語(yǔ)音數(shù)據(jù)對(duì)訓(xùn)練集文本語(yǔ)料進(jìn)行補(bǔ)充，語(yǔ)料數(shù)據(jù)包括對(duì)語(yǔ)音文件的格式命名以及文本信息。語(yǔ)料數(shù)據(jù)集總結(jié)了約55 min的相關(guān)識(shí)別內(nèi)容，其音頻文件經(jīng)過(guò)模數(shù)轉(zhuǎn)換形成直接的二進(jìn)制序列PCM文件格式存儲(chǔ)，實(shí)現(xiàn)聲音數(shù)字化的同時(shí)刪減了不同于其他文件格式的文件頭和結(jié)束標(biāo)志，便于文件的串接。經(jīng)過(guò)對(duì)該語(yǔ)料數(shù)據(jù)集的補(bǔ)充，能有效提升實(shí)驗(yàn)業(yè)務(wù)場(chǎng)景下語(yǔ)音識(shí)別準(zhǔn)確率7%～15%。

在上文中語(yǔ)音識(shí)別過(guò)程中，程序需提前在文本中讀取前期人為設(shè)定好的動(dòng)作文件關(guān)鍵字，寫入到內(nèi)存變量中。在每次示教過(guò)程中將語(yǔ)音識(shí)別到的關(guān)鍵字進(jìn)行匹配文本，如正確匹配則立即記錄其標(biāo)志編號(hào)IdentNumber并進(jìn)行存儲(chǔ)。

將一整個(gè)示教過(guò)程中的所有匹配到的語(yǔ)音關(guān)鍵字編號(hào)按順序匯總，同動(dòng)作檢測(cè)與匹配部分相似，查找機(jī)械臂的動(dòng)作組，搜索到一個(gè)完整匹配或者最接近的一個(gè)動(dòng)作組，暫認(rèn)定其為語(yǔ)音識(shí)別到動(dòng)作組，保留覆蓋度信息，并記錄其他覆蓋度高于50%的相關(guān)動(dòng)作組信息。

3.3 音視信息融合

由于本文機(jī)械臂示教程序主要在嵌入式設(shè)備中運(yùn)行，某些場(chǎng)景中移動(dòng)端、嵌入式設(shè)備相比于服務(wù)器或PC機(jī)，其配置、運(yùn)算能力以及設(shè)備性能等會(huì)遜色許多[19]。在如此限制條件下，想要實(shí)現(xiàn)高速、準(zhǔn)確的識(shí)別算法、示教方式難度較高。而且，示教是一個(gè)動(dòng)態(tài)的過(guò)程，需要連續(xù)性的進(jìn)行語(yǔ)音和動(dòng)作的識(shí)別，這個(gè)過(guò)程難免會(huì)出現(xiàn)識(shí)別失效等情況影響準(zhǔn)確率。所以本文借鑒傳感器的信息融合[20-22]，編寫具有強(qiáng)針對(duì)性的算法將動(dòng)作檢測(cè)以及語(yǔ)音識(shí)別兩個(gè)單獨(dú)模塊得到的關(guān)鍵信息進(jìn)行結(jié)合，以此來(lái)提高技能獲取準(zhǔn)確度，同時(shí)節(jié)約性能。

機(jī)械臂示教過(guò)程中得到的視頻識(shí)別信息和語(yǔ)音識(shí)別信息為一個(gè)動(dòng)作組以及其覆蓋率。在運(yùn)行效果最理想的情況下，視頻和語(yǔ)音給出的動(dòng)作組長(zhǎng)度是相等的，其數(shù)據(jù)如表2為例。表2中兩個(gè)模塊列出的是當(dāng)前示教過(guò)程產(chǎn)生的最高覆蓋度的信息ACT_G0以及其他大于50%覆蓋度的動(dòng)作覆蓋信息。

表2 匹配度分布表

如果在這一次的示教過(guò)程中，兩個(gè)模塊最大的覆蓋度動(dòng)作組相同，即視頻和語(yǔ)音部分都選定了匹配度最高的相同的動(dòng)作組，那么可以認(rèn)定該動(dòng)作為示教動(dòng)作，不需要經(jīng)歷融合的算法過(guò)程，而在這種低概率的情況之外則需要。

算法思路：定義Video Module部分的ACT_G0為VG0，后續(xù)依次定義為VGn，Audio Module部分同理定義為AG0、AG1……AGn。用AG0同VG部分的1-n進(jìn)行比較，按照正序找到一個(gè)VGx同AG0的相似度為100%，即VG存在50%以上部分同AG0匹配，則記錄存儲(chǔ)AG0與VGx的覆蓋度積(AG0*VGx，0

FG=Mag[(AG0×VGx)，(VG0×AGy)]x，y∈[0，n]

(5)

其中：Mag為求最大值動(dòng)作組的函數(shù)，F(xiàn)G為覆蓋率相乘之后取得最大值的機(jī)械臂動(dòng)作組。

當(dāng)上述過(guò)程中與ACT_G0相似度為100%的動(dòng)作組為空時(shí)，則進(jìn)入以下搜尋算法：任意兩套動(dòng)作之間均有相似度(<100%)，用原始的覆蓋度之積同這兩者之間的相似度，得出兩者的關(guān)聯(lián)值，將所有的關(guān)聯(lián)值匯總輸出最大值動(dòng)作，即這個(gè)最大值是由兩個(gè)不同覆蓋度的動(dòng)作融合得出的，然后在這兩個(gè)動(dòng)作組中選擇與原始的一套動(dòng)作基元序列最接近(覆蓋度最大)的動(dòng)作組，即為最終確定的示教動(dòng)作，上述過(guò)程如公式(6)、(7)所示：

FQ(x，y)=AGx×VGy×Fit(AGx,VGy)x,y∈[0，n]

(6)

FFG=MAX_G{MAX[FQ(x,y)]}x,y∈[0，n]

(7)

其中：Fit為兩套動(dòng)作組之間的相似度，F(xiàn)Q為一對(duì)覆蓋度之積再乘上兩者相似度的動(dòng)作相關(guān)值，式(7)中將兩個(gè)模塊所有的動(dòng)作信息融合，輸出擁有最優(yōu)相關(guān)值的一對(duì)動(dòng)作，然后再選出與原始動(dòng)作基元序列覆蓋度最高的動(dòng)作組，即FFG。以此，完成對(duì)視頻模塊以及音頻模塊相關(guān)動(dòng)作信息的驗(yàn)證融合，機(jī)械臂確定最終的運(yùn)動(dòng)技能。

4 機(jī)械臂運(yùn)動(dòng)控制

示教完成之后，程序加載最終確定的XML動(dòng)作參數(shù)文件，其內(nèi)容大致如圖3右側(cè)所示。程序按照順序讀取其中X、Y、Z電機(jī)的對(duì)應(yīng)的方向以及步數(shù)參數(shù)，依次執(zhí)行，控制樹莓派相關(guān)引腳的高低電平輸出，來(lái)控制電機(jī)的運(yùn)轉(zhuǎn)。其中，步數(shù)參數(shù)1 024對(duì)應(yīng)的機(jī)械臂轉(zhuǎn)動(dòng)角度為18°，最高為10 240。

機(jī)械臂在運(yùn)動(dòng)中，安裝在機(jī)械臂前端夾爪附近的相機(jī)可以接收到實(shí)時(shí)圖像數(shù)據(jù)并通過(guò)USB端口傳輸?shù)綐漭桑到y(tǒng)將其結(jié)合抓取位姿識(shí)別[23]算法進(jìn)行抓取，算法使用了5個(gè)變量：{x，y，θ，h，w}來(lái)描述機(jī)械臂抓取物體時(shí)夾爪的抓取位置和夾爪方向。如圖12中的矩形框所示，其中(x，y)被用來(lái)表示矩形框的中心位置，用θ來(lái)表示圖像中的水平橫軸與當(dāng)前矩形框傾斜位置的夾角，h即Heigh表示高度，w即Width用來(lái)表示寬度。

圖12 抓取位姿

當(dāng)機(jī)械臂到達(dá)物體附近，需根據(jù)矩形框的位置對(duì)機(jī)械臂的前端位置進(jìn)行細(xì)微的調(diào)整。即設(shè)置了6個(gè)基礎(chǔ)調(diào)整動(dòng)作：左移和右移、上移和下移、順/逆時(shí)針旋轉(zhuǎn)移動(dòng)，利用上述動(dòng)作對(duì)機(jī)械臂調(diào)整以到達(dá)所預(yù)設(shè)的位置實(shí)現(xiàn)物體抓取。

該抓取位姿算法基于Cornell Grasping Dataset數(shù)據(jù)集，并在該數(shù)據(jù)集的基礎(chǔ)上繼續(xù)補(bǔ)充訓(xùn)練了化學(xué)器材相關(guān)的抓取位置，補(bǔ)償性的提高了抓取位姿識(shí)別的準(zhǔn)確度。

5 系統(tǒng)性能測(cè)試與分析

5.1 測(cè)試實(shí)驗(yàn)及結(jié)果

在信息融合部分對(duì)兩個(gè)模塊是否產(chǎn)生同樣數(shù)量的動(dòng)作基元會(huì)有要求，因此針對(duì)該要求設(shè)置實(shí)驗(yàn)來(lái)記錄每個(gè)模塊的動(dòng)作基元個(gè)數(shù)。

測(cè)試實(shí)驗(yàn)：實(shí)驗(yàn)過(guò)程為在固定的試驗(yàn)臺(tái)上，實(shí)驗(yàn)員模擬整套實(shí)驗(yàn)動(dòng)作，并且同時(shí)口述動(dòng)作。由于該過(guò)程不需要讓機(jī)械臂運(yùn)動(dòng)，只是觀察其示教過(guò)程，所以實(shí)驗(yàn)程序在Windows10操作系統(tǒng)中運(yùn)行，旨在記錄其產(chǎn)生的動(dòng)作組中動(dòng)作基元的個(gè)數(shù)，過(guò)程共進(jìn)行了12次不同種實(shí)驗(yàn)的示教測(cè)試，其每次示教過(guò)程中得到的語(yǔ)音部分和動(dòng)作部分檢測(cè)的一整套動(dòng)作的動(dòng)作基元個(gè)數(shù)如表3所示。

表3 動(dòng)作基元個(gè)數(shù)

可以看出，在動(dòng)作基于少的動(dòng)作組示教過(guò)程中，兩個(gè)模塊產(chǎn)生的動(dòng)作基元個(gè)數(shù)基本一致，隨著動(dòng)作基元個(gè)數(shù)增多，會(huì)出現(xiàn)少數(shù)不一致情況，總體結(jié)果效果良好。

在上述一致情況的基礎(chǔ)下，其最終動(dòng)作組的覆蓋率如表4所示。

表4 動(dòng)作組覆蓋率 %

記錄表中所示結(jié)果，再次補(bǔ)充了28次示教實(shí)驗(yàn)：本次在樹莓派Rasbian桌面操作系統(tǒng)中運(yùn)行示教程序，分為4個(gè)實(shí)驗(yàn)員完成4種不同的化學(xué)實(shí)驗(yàn)，每人重復(fù)7次實(shí)驗(yàn)過(guò)程，記錄其過(guò)程中的識(shí)別覆蓋率。根據(jù)測(cè)試任務(wù)中動(dòng)作基元的個(gè)數(shù)以及其動(dòng)作組覆蓋率，最終計(jì)算出其整體示教準(zhǔn)確率約為81.4%。該結(jié)果在化學(xué)機(jī)械臂不使用支撐設(shè)備的無(wú)接觸技能獲取領(lǐng)域取得了較好的成績(jī)。

5.2 測(cè)試效果及問(wèn)題分析

目前系統(tǒng)對(duì)于出現(xiàn)不一致情況下還沒(méi)有明確的解決辦法，后續(xù)的研究?jī)?nèi)容還需要針對(duì)不一致情況下的相關(guān)算法進(jìn)行完善和修改。

在準(zhǔn)確率方面，該機(jī)械臂示教系統(tǒng)的穩(wěn)定性與準(zhǔn)確性取決于其動(dòng)作行為識(shí)別以及語(yǔ)音識(shí)別部分的準(zhǔn)確率。由于是在嵌入式設(shè)備中運(yùn)行，其動(dòng)作識(shí)別匹配部分算法需要保證輕量級(jí)，所以在提升識(shí)別速度的情況下犧牲了部分準(zhǔn)確率。語(yǔ)音識(shí)別部分的近場(chǎng)中文普通話識(shí)別準(zhǔn)確率達(dá)95%，其進(jìn)一步進(jìn)行的關(guān)鍵字匹配正確率相比簡(jiǎn)單識(shí)別來(lái)說(shuō)要求更高。兩個(gè)模塊在示教的過(guò)程中連續(xù)識(shí)別，難免會(huì)存在丟失識(shí)別的情況，這樣準(zhǔn)確率就會(huì)降低，但基于信息融合之后，將兩者的優(yōu)勢(shì)結(jié)合起來(lái)，其得出的最終動(dòng)作覆蓋率可基本穩(wěn)定在81%以上，這個(gè)結(jié)果目前來(lái)看是令人滿意的。

性能速度方面，在2 GB RAM的樹莓派系統(tǒng)中運(yùn)行程序，其單個(gè)動(dòng)作基元的擊中時(shí)間(識(shí)別出所耗費(fèi)的時(shí)間)兩個(gè)模塊均在1 s以內(nèi)(動(dòng)作檢測(cè)程序段跳出時(shí)間約0.59 s，語(yǔ)音識(shí)別約0.82 s)。另外語(yǔ)音部分其后期需要執(zhí)行多次循環(huán)驗(yàn)證時(shí)時(shí)，可以改為使用機(jī)器碼編譯的語(yǔ)言來(lái)專門運(yùn)行循環(huán)部分，創(chuàng)建針對(duì)該部分的dll動(dòng)態(tài)鏈接庫(kù)，利用外部函數(shù)庫(kù)Ctypes去調(diào)用，可顯著提高循環(huán)速度。

對(duì)于位姿抓取部分，因試管等器材為透明材料，對(duì)識(shí)別效果有較大影響，嘗試改用標(biāo)簽識(shí)別夾取(如圖13所示)，或者將標(biāo)簽的識(shí)別作為彌補(bǔ)性的措施，以此來(lái)提高識(shí)別效率。

圖13 標(biāo)簽位置抓取

6 結(jié)束語(yǔ)

實(shí)驗(yàn)員在化學(xué)實(shí)驗(yàn)室中需要進(jìn)行各種各樣的化學(xué)實(shí)驗(yàn)，這些實(shí)驗(yàn)繁瑣且有些實(shí)驗(yàn)對(duì)人體有害。所以要利用機(jī)械臂代替實(shí)驗(yàn)員進(jìn)行實(shí)驗(yàn)。但是目前所用到的實(shí)驗(yàn)機(jī)械臂需要專業(yè)的機(jī)械臂控制人員去編程實(shí)現(xiàn)，這對(duì)于化學(xué)實(shí)驗(yàn)員來(lái)說(shuō)是有難度的。所以為了解決上述問(wèn)題，本文基于動(dòng)作檢測(cè)和語(yǔ)音識(shí)別提出了一個(gè)編程簡(jiǎn)單高效的機(jī)械臂示教系統(tǒng)。

實(shí)驗(yàn)員在邊做實(shí)驗(yàn)的過(guò)程中邊口述其動(dòng)作，系統(tǒng)利用動(dòng)作檢測(cè)檢測(cè)實(shí)驗(yàn)員手臂運(yùn)動(dòng)、搭配語(yǔ)音識(shí)別、使用信息融合相關(guān)的算法進(jìn)行機(jī)械臂示教控制，教給機(jī)械臂應(yīng)該執(zhí)行的運(yùn)動(dòng)技能，機(jī)械臂在執(zhí)行過(guò)程中結(jié)合位姿識(shí)別進(jìn)行物體的抓取，完成一套實(shí)驗(yàn)任務(wù)。該系統(tǒng)在運(yùn)動(dòng)技能獲取部分的準(zhǔn)確率能達(dá)到81%以上，在運(yùn)動(dòng)控制部分將步進(jìn)電機(jī)的每一步(1.8°)細(xì)分成16步的同時(shí)結(jié)合物體抓取位姿識(shí)別，實(shí)現(xiàn)了更精細(xì)的控制和抓取。