余子衡 楊馨 朱珣

摘 要：文章介紹了機(jī)器人動(dòng)作投影技術(shù)的定義，研究現(xiàn)狀。并提出了研究方法。在此基礎(chǔ)上，通過(guò)簡(jiǎn)易設(shè)備讓機(jī)器人模仿人類(lèi)完成舉手，抬手，前進(jìn)，后退等動(dòng)作。實(shí)驗(yàn)表明，通過(guò)紅外攝像頭讀取的深度數(shù)據(jù)，通過(guò)算法轉(zhuǎn)化為骨骼數(shù)據(jù)后，可以骨骼幀的形式處理，并轉(zhuǎn)化為機(jī)器人的舵機(jī)數(shù)據(jù)。

關(guān)鍵詞：機(jī)器人；傳感器；深度數(shù)據(jù)

中圖分類(lèi)號(hào)：TP242.6 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2018）36-0006-05

Abstract： This paper introduces the definition and research status of robot motion projection technology and puts forward the research method. On this basis， through a simple device， the study allows robots to imitate human beings by finishing the process of stretching hands， raising hands， walking forward， walking backward and other movements. The experiment shows that the depth data read by infrared camera can be processed in the form of skeleton frame and transformed into the data of robot steering gear after the algorithm is transformed into bone data.

Keywords： robot； sensor； depth data

隨著科技的發(fā)展，機(jī)器人逐漸開(kāi)始在人類(lèi)的的生產(chǎn)和生活中扮演著重要的角色，這些機(jī)器人可替代人類(lèi)完成不少工作量大，危險(xiǎn)性高的工作。在機(jī)器人技術(shù)高度發(fā)展的今天，仍然有部分工作（例如手術(shù)，精密設(shè)備修理這類(lèi)隨機(jī)性高，容錯(cuò)率低的工作），機(jī)器人依然無(wú)能為力。讓機(jī)器人通過(guò)模仿人類(lèi)的行為來(lái)完成相應(yīng)工作，是解決此問(wèn)題的一個(gè)很好的辦法。

1 機(jī)器人動(dòng)作投影技術(shù)定義及意義

機(jī)器人動(dòng)作投影技術(shù)的定義為將人類(lèi)的行為動(dòng)作，轉(zhuǎn)換機(jī)器人的對(duì)應(yīng)行為，以此來(lái)實(shí)現(xiàn)機(jī)器人對(duì)人類(lèi)行為的模仿。若能實(shí)現(xiàn)此技術(shù)，可有效減少部分高風(fēng)險(xiǎn)，普通機(jī)器人無(wú)法完成工作的危險(xiǎn)性，提高工作效率。

2 國(guó)內(nèi)外研究現(xiàn)狀及方法

2.1 國(guó)外的研究現(xiàn)狀以及所用技術(shù)

近期，英偉達(dá)在國(guó)際機(jī)器人與自動(dòng)化會(huì)議①（ICRA）上介紹了其在機(jī)器人教學(xué)方面的新的進(jìn)展——通過(guò)簡(jiǎn)單地觀(guān)察一個(gè)人就可以讓機(jī)器人學(xué)會(huì)新的任務(wù)。

從公開(kāi)的視頻來(lái)看，人類(lèi)只要先示范動(dòng)作，機(jī)器人就能學(xué)習(xí)拿起、移動(dòng)、堆疊彩色的盒子和玩具車(chē)。當(dāng)然，其中涉及的任務(wù)也還比較簡(jiǎn)單，只涉及堆疊幾個(gè)彩色的立方體。

據(jù)介紹，研究人員首先會(huì)訓(xùn)練一系列的神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)物體，推斷他們之間的關(guān)系，之后再生成一個(gè)程序來(lái)重復(fù)人類(lèi)的過(guò)程。而這種新系統(tǒng)可以讓他們訓(xùn)練機(jī)器人在現(xiàn)實(shí)世界中只需一次演示，就能完成堆疊任務(wù)。這個(gè)技術(shù)的厲害之處在于，從流水線(xiàn)下來(lái)的機(jī)器人可以在內(nèi)置的編程命令之外，通過(guò)模仿人類(lèi)的行為進(jìn)行自我“進(jìn)化”。示范學(xué)習(xí)只是其中一步，英偉達(dá)機(jī)器人研究項(xiàng)目負(fù)責(zé)人Dieter Fox稱(chēng)，比如在今后居家扶老的環(huán)境中，機(jī)器人還將利用深度學(xué)習(xí)技術(shù)預(yù)判人類(lèi)的行為，提前響應(yīng)。

在技術(shù)支撐方面，英偉達(dá)表示依靠的是GPU②，畢竟他們有著多年3D建模、圖形識(shí)別分析的能力，而且并行計(jì)算也提供了廣闊的運(yùn)算資源支持。英偉達(dá)機(jī)器人實(shí)驗(yàn)室的目標(biāo)是讓非專(zhuān)家更容易訓(xùn)練機(jī)器人，這對(duì)機(jī)器人來(lái)說(shuō)是一項(xiàng)非常困難的任務(wù)。除了讓機(jī)器人通過(guò)觀(guān)察學(xué)習(xí)人類(lèi)動(dòng)作外，通過(guò)外置設(shè)備捕捉人類(lèi)動(dòng)作，然后傳達(dá)給機(jī)器人，也是實(shí)現(xiàn)動(dòng)作投影的辦法之一。

2017 年底，豐田推出了可以模仿人類(lèi)動(dòng)作的第三代人形機(jī)器人“T-HR3③”；“T-HR3”是一種由通過(guò)可穿戴設(shè)備控制的機(jī)器人。用戶(hù)通過(guò)頭部可穿戴設(shè)備可以看見(jiàn)機(jī)器人的視角。同時(shí)通過(guò)手部和腳部的可穿戴設(shè)備來(lái)控制機(jī)器人的動(dòng)作。

2.2 國(guó)內(nèi)的研究現(xiàn)狀以及所用技術(shù)

2017年9月15日首屆全國(guó)創(chuàng)業(yè)就業(yè)服務(wù)展示交流活動(dòng)④在山東省濟(jì)南市啟動(dòng)。此次展出的體感機(jī)器人是本次展覽最大的亮點(diǎn)之一。項(xiàng)目負(fù)責(zé)人傅胤榮聯(lián)合北京大學(xué)、韓山師院、山東大學(xué)等眾多國(guó)內(nèi)外專(zhuān)家學(xué)者耗時(shí)十年研發(fā)出具有自主知識(shí)產(chǎn)權(quán)人體編程技術(shù)的機(jī)器人。傅胤榮介紹，該機(jī)器人擁有國(guó)內(nèi)領(lǐng)先仿生機(jī)器人技術(shù)、數(shù)字舵機(jī)技術(shù)、體感控制技術(shù)、數(shù)據(jù)手套等技術(shù)等。體感機(jī)器人可以實(shí)時(shí)現(xiàn)場(chǎng)精準(zhǔn)模仿人類(lèi)的動(dòng)作，并記憶人動(dòng)作運(yùn)動(dòng)軌跡，可以再重播人的動(dòng)作。目前體感機(jī)器人技術(shù)可以廣泛應(yīng)用于創(chuàng)客教育、工業(yè)控制、影視制作等產(chǎn)業(yè)。

3 本人提出的研究問(wèn)題提出的模型

3.1研究問(wèn)題：如何讓機(jī)器人模仿人類(lèi)動(dòng)作

3.2 實(shí)現(xiàn)過(guò)程

（1）捕捉人類(lèi)動(dòng)作。

（2）處理捕捉過(guò)來(lái)的人類(lèi)數(shù)據(jù)。

（3）將這些經(jīng)過(guò)處理的數(shù)據(jù)轉(zhuǎn)化為機(jī)器人舵機(jī)⑤信號(hào)并發(fā)送給機(jī)器人。

3.2.1 捕捉人類(lèi)動(dòng)作

捕捉動(dòng)作需要的是被捕捉對(duì)象的關(guān)節(jié)位置，換言之，就是需要關(guān)節(jié)部位的深度數(shù)據(jù)。因此我們需要一個(gè)自帶深度傳感器的傳感設(shè)備，紅外傳感器是最佳選擇。得到具體的深度數(shù)據(jù)，還需要一些輔助儀器。目前測(cè)量深度值有兩種方法，第一種是根據(jù)紅外線(xiàn)從發(fā)射到返回的時(shí)間差來(lái)確定深度值。一般情況下這個(gè)時(shí)間差會(huì)特別短，需要極其精密的計(jì)時(shí)器。因此，這種辦法測(cè)量深度值的儀器都會(huì)非常昂貴。第二種辦法則是通過(guò)紅外線(xiàn)反射形成的散斑形狀來(lái)判斷物體的距離。這種方法只需要用到一個(gè)紅外光屏即可實(shí)現(xiàn)，并且成本低廉。由微軟公司設(shè)計(jì)的Kinect固件就是運(yùn)用這種原理的設(shè)備之一。

Kinect for windows固件中包含很多感應(yīng)元件和處理芯片，這里我們主要使用的感應(yīng)元件有兩個(gè)：

（1）紅外投影機(jī)：主動(dòng)投射近紅外光譜，照射到粗糙物體、或是穿透毛玻璃后，光譜發(fā)生扭曲，會(huì)形成隨機(jī)的反射班點(diǎn)（稱(chēng)為散班），進(jìn)而能被紅外攝像頭讀取。

（2）紅外攝像頭：分析紅外光譜，創(chuàng)建可視范圍內(nèi)的人體、物體的深度圖像⑥。

Kinect獲得深度數(shù)據(jù)的原理如下：紅外投影機(jī)的普通光源射出一道“一類(lèi)普通激光”，這道激光經(jīng)過(guò)磨砂玻璃和紅外濾光片，覆蓋Kinect的可視范圍，紅外攝像頭接受反射光線(xiàn)，識(shí)別物體的“深度場(chǎng)”。紅外投影機(jī)是位于Kinect左側(cè)的“眼睛”，他與右側(cè)的紅外攝像頭配合使用。PS1080S

oC（系統(tǒng)級(jí)芯片）對(duì)紅外光源進(jìn)行控制，以便通過(guò)紅外光源編碼影像放映場(chǎng)景，紅外投影機(jī)的光源是一類(lèi)普通激光光源，經(jīng)過(guò)磨砂玻璃和紅外濾光片，投射出近紅外光，該光波長(zhǎng)為830nm，可持續(xù)輸出。

3.2.2 處理人體深度數(shù)據(jù)

獲得的人體深度數(shù)據(jù)需要轉(zhuǎn)化為骨骼節(jié)點(diǎn)位置才可以轉(zhuǎn)化為機(jī)器人的舵機(jī)數(shù)據(jù)。而Kinect內(nèi)置了專(zhuān)門(mén)用于計(jì)算骨骼的芯片。Kinect固件計(jì)算出骨骼數(shù)據(jù)后，這些數(shù)據(jù)將由計(jì)算機(jī)程序處理并轉(zhuǎn)化為機(jī)器人舵機(jī)數(shù)據(jù)。具體過(guò)程如下：

Kinect for windows SDK是微軟專(zhuān)門(mén)為開(kāi)發(fā)者準(zhǔn)備的工具包。其中應(yīng)用層的API⑦中，有三大組件，其中，NUI API是Kinect for windows SDK 的核心，用于處理彩色圖像流，深度圖像數(shù)據(jù)，骨骼跟蹤控制，管理設(shè)備等。Kinect Audio DMO主要負(fù)責(zé)波形處理以及音源定位。而Windows Speech SDK 提供音頻，語(yǔ)音，多媒體接口以及微軟語(yǔ)音識(shí)別功能。作為最核心的API，NUI API具體功能包括傳感器與計(jì)算機(jī)的連接，傳感器的訪(fǎng)問(wèn)，關(guān)閉，訪(fǎng)問(wèn)傳感器的圖像以及深度數(shù)據(jù)流，通過(guò)圖像和深度數(shù)據(jù)的處理來(lái)確定骨骼的位置等。深度圖像以像素的形式進(jìn)行存儲(chǔ)，每個(gè)像素2字節(jié)，共16位。

骨骼跟蹤的第一步就是將用戶(hù)從周?chē)沫h(huán)境分離出來(lái)，在Kinect的字節(jié)索引中，通過(guò)低三位字節(jié)的索引，應(yīng)用程序可將用戶(hù)和周?chē)沫h(huán)境分離開(kāi)來(lái)，稱(chēng)為用戶(hù)分割數(shù)據(jù)，它是索引數(shù)據(jù)的一部分，其中，低三位字節(jié)表示用戶(hù)的索引編號(hào)，000表示內(nèi)置處理器認(rèn)定這個(gè)像素點(diǎn)不屬于用戶(hù)，而001，010則表示這個(gè)像素屬于用戶(hù)一和用戶(hù)二。而每個(gè)像素的高13位數(shù)值表示物體離攝像頭的距離。作為由深度數(shù)據(jù)組成的“視頻”，深度數(shù)據(jù)流由深度圖像幀組成，在每一個(gè)深度圖像幀中，每一個(gè)像素點(diǎn)包含了特定的距離信息。如果深度數(shù)據(jù)是0，說(shuō)明距離太近或者太遠(yuǎn)。當(dāng)骨骼識(shí)別關(guān)閉時(shí)，記錄id的三位被設(shè)定為0。通過(guò)建立緩沖區(qū)和相關(guān)方法的調(diào)用，應(yīng)用程序可以獲取最新的彩色圖像幀，深度圖像幀以及骨骼跟蹤數(shù)據(jù)流，新的幀數(shù)一旦準(zhǔn)備好，就會(huì)被復(fù)制到緩沖區(qū)中。如果應(yīng)用程序取幀的速度大于數(shù)據(jù)準(zhǔn)備的速度，那么只能等待下一個(gè)幀的觸發(fā)。當(dāng)骨骼跟蹤引擎一段時(shí)間后，會(huì)將骨骼幀返回給應(yīng)用程序，應(yīng)用程序會(huì)據(jù)此對(duì)動(dòng)作進(jìn)行識(shí)別。

當(dāng)應(yīng)用程序?qū)@些骨骼幀進(jìn)行識(shí)別后，會(huì)調(diào)用相應(yīng)的函數(shù)進(jìn)行處理。在骨骼幀中，每一個(gè)關(guān)節(jié)都會(huì)有對(duì)應(yīng)的編號(hào)，這些編號(hào)對(duì)應(yīng)著不同的關(guān)節(jié)位置，同時(shí)，機(jī)器人不同的舵機(jī)也具有不同的編號(hào)，當(dāng)Kinect固件捕捉到數(shù)據(jù)幀并將它傳送至應(yīng)用程序后，應(yīng)用程序會(huì)將這幾個(gè)被認(rèn)定為關(guān)節(jié)的節(jié)點(diǎn)的位置通過(guò)函數(shù)轉(zhuǎn)化為舵機(jī)的運(yùn)動(dòng)指令，再將這些機(jī)器人指令發(fā)送給機(jī)器人。

3.2.3將經(jīng)過(guò)處理的數(shù)據(jù)轉(zhuǎn)化為機(jī)器人舵機(jī)信號(hào)并發(fā)送給機(jī)器人

機(jī)器人由結(jié)構(gòu)件，舵機(jī)，電機(jī)，控制器，電池組成。控制器負(fù)責(zé)向舵機(jī)發(fā)送指令，舵機(jī)負(fù)責(zé)機(jī)器人關(guān)節(jié)運(yùn)動(dòng)，而電機(jī)負(fù)責(zé)機(jī)器人的運(yùn)動(dòng)。當(dāng)控制器和計(jì)算機(jī)連接成功時(shí)，即可通過(guò)人體來(lái)控制機(jī)器人。

3.3 實(shí)驗(yàn)成功判斷方法

根據(jù)以上問(wèn)題的結(jié)論，當(dāng)Kinect固件連接計(jì)算機(jī)時(shí)，啟動(dòng)生成的應(yīng)用程序，當(dāng)使用者在Kinect面前做出肢體動(dòng)作時(shí)，機(jī)器人能模仿人類(lèi)做出對(duì)應(yīng)的肢體動(dòng)作（即當(dāng)人體關(guān)節(jié)到達(dá)指定空間時(shí)，機(jī)器人對(duì)應(yīng)的舵機(jī)將移動(dòng)至指定位置數(shù)值），即可說(shuō)明機(jī)器人動(dòng)作投影技術(shù)已實(shí)現(xiàn)。

4 實(shí)驗(yàn)過(guò)程

4.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)要求在一間空曠的實(shí)驗(yàn)室進(jìn)行，要求Kinect固件所面對(duì)的方向五米內(nèi)無(wú)障礙物。

4.2 實(shí)驗(yàn)步驟

（1）安裝vs2010，并安裝Kinectrobot SDK，組裝機(jī)器人。

（2）編寫(xiě)代碼，生成文件要求可以將Kinect固件傳遞過(guò)來(lái)的骨骼數(shù)據(jù)轉(zhuǎn)化為舵機(jī)信號(hào)，同時(shí)能讀取并顯示人體關(guān)節(jié)位置，舵機(jī)參數(shù)。

（3）架設(shè)好Kinect設(shè)備，接通電源并連接電腦，啟動(dòng)機(jī)器人電源，同時(shí)將電腦的藍(lán)牙連接機(jī)器人控制器。

（4）測(cè)試人員站在Kinect固件前，做出測(cè)試動(dòng)作，動(dòng)作依次為舉手，雙手平放，雙手下垂，前進(jìn)，后退（注，因?yàn)闄C(jī)器人沒(méi)有雙腳，所以人體抬右腳被設(shè)置為機(jī)器人向前移動(dòng)，抬左腳為向后移動(dòng)）。記錄人員負(fù)責(zé)記錄人體關(guān)節(jié)位置，機(jī)器人舵機(jī)位置。

4.3實(shí)驗(yàn)數(shù)據(jù)

數(shù)據(jù)說(shuō)明：表格記錄了Kinect固件所記錄的操作者關(guān)節(jié)坐標(biāo)（參見(jiàn)圖1），以及舵機(jī)旋轉(zhuǎn)示數(shù)（舵機(jī)位置參見(jiàn)圖2）。人體動(dòng)作由骨骼各節(jié)點(diǎn)坐標(biāo)（x，y，z）描述，z代表該節(jié)點(diǎn)與Kinect攝像頭正對(duì)方向的水平距離，y表示該節(jié)點(diǎn)高度，x代表與z垂直的水平方向的距離。當(dāng)節(jié)點(diǎn)在攝像頭正前方5米時(shí)，坐標(biāo)為（0，250，0），依此類(lèi)推。機(jī)器人動(dòng)作由各舵機(jī)示數(shù)來(lái)描述，范圍為0-256，當(dāng)舵機(jī)轉(zhuǎn)軸在起始位置時(shí)，示數(shù)為0，當(dāng)舵機(jī)恰好旋轉(zhuǎn)360度時(shí)，示數(shù)為256。當(dāng)機(jī)器人處于初始姿態(tài)（見(jiàn)圖3）時(shí)，所有舵機(jī)示數(shù)為0。測(cè)試者的初始姿態(tài)為雙腳站立，雙手自然下垂。在第1-5次實(shí)驗(yàn)中，測(cè)試者動(dòng)作依次為舉手，雙手平放，雙手下垂，右腳抬起，左腳抬起。

5 結(jié)束語(yǔ)

綜合以上實(shí)驗(yàn)結(jié)果，當(dāng)使用者在Kinect固件前做出舉手，雙手平攤，雙手下垂，右腳抬起，左腳抬起五個(gè)動(dòng)作時(shí)，機(jī)器人可以做出舉手，雙手平攤，雙手下垂，右輪前進(jìn)，左輪前進(jìn)，因?yàn)楣碳纫约芭臄z環(huán)境的影響，數(shù)據(jù)會(huì)出現(xiàn)略微的偏差，但在允許的范圍內(nèi)，另外，因機(jī)器人為輪式驅(qū)動(dòng)，故測(cè)試者做出抬腳動(dòng)作時(shí)，對(duì)應(yīng)方位的驅(qū)動(dòng)輪會(huì)前進(jìn)，不影響實(shí)驗(yàn)結(jié)果，故機(jī)器人動(dòng)作投影技術(shù)已實(shí)現(xiàn)。

注釋?zhuān)?/p>

①搜狐網(wǎng).英偉達(dá)再添ai新技術(shù)，機(jī)器看一遍就“模仿人類(lèi)行為”[EB/OL].http：//www.sohu.com/a/232401651_99970711.

②圖形處理器（英語(yǔ)：Graphics Processing Unit，縮寫(xiě)：GPU），又稱(chēng)顯示核心、視覺(jué)處理器、顯示芯片，是一種專(zhuān)門(mén)在個(gè)人電腦、工作站、游戲機(jī)和一些移動(dòng)設(shè)備（如平板電腦、智能手機(jī)等）上圖像運(yùn)算工作的微處理器。

③豐田發(fā)布第三代人形機(jī)器人T-HR3 佩戴式設(shè)備助力動(dòng)作模仿及物理交互[EB/OL].http：//auto.gasgoo.com/News/2017/11/22115053

505370027958C601.shtml.

④新浪.體感人形機(jī)器人亮相全國(guó)眾創(chuàng)周[EB/OL].city.sina.com.cn/invest/t/2017-09-18/16336736.html.

⑤舵機(jī)是一種位置（角度）伺服的驅(qū)動(dòng)器，適用于那些需要角度不斷變化并可以保持的控制系統(tǒng)。目前，在高檔遙控玩具，如飛機(jī)、潛艇模型，遙控機(jī)器人中已經(jīng)得到了普遍應(yīng)用。

⑥Kinect應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)[M].機(jī)械工業(yè)出版社，2012.

⑦API（Application Programming Interface，應(yīng)用程序編程接口）是一些預(yù)先定義的函數(shù)，目的是提供應(yīng)用程序與開(kāi)發(fā)人員基于某軟件或硬件得以訪(fǎng)問(wèn)一組例程的能力，而又無(wú)需訪(fǎng)問(wèn)源碼，或理解內(nèi)部工作機(jī)制的細(xì)節(jié)。