王 楊，汪家豪，李元金，楊 斌，趙根源

(滁州學(xué)院 計算機(jī)與信息工程學(xué)院，安徽 滁州 239000)

全球現(xiàn)有自閉癥患者6700萬人，兒童占40%[1]。據(jù)中國衛(wèi)生產(chǎn)業(yè)相關(guān)文獻(xiàn)可知，優(yōu)質(zhì)的護(hù)理服務(wù)可以讓自閉癥兒童焦慮抑郁狀態(tài)減輕，舒適度及安全感提高，從而縮短康復(fù)時間。但由于我國經(jīng)驗豐富的治療師人數(shù)缺乏，導(dǎo)致治療師長時間勞累工作、兒童康復(fù)周期較長[2]。如何減輕治療師的壓力同時又能給自閉癥兒童營造愉悅的治療環(huán)境，進(jìn)而增強(qiáng)治療效果是亟待解決的問題[3]。

基于此問題，本文借助NAO平臺設(shè)計出一款自閉癥兒童陪護(hù)機(jī)器人，能將人工智能技術(shù)有效融入醫(yī)療工作中。該自閉癥兒童陪護(hù)機(jī)器人是使用大數(shù)據(jù)技術(shù)將編寫語言到數(shù)據(jù)庫，應(yīng)用到機(jī)器人內(nèi)部，也是未來陪護(hù)型機(jī)器人的發(fā)展方向之一[4-6]。這種陪護(hù)機(jī)器人擁有智能語音聊天和娛樂兩大重要功能，其能夠識別某一固定特征目標(biāo)，與機(jī)器人的陪護(hù)運(yùn)動控制系統(tǒng)以及后端數(shù)據(jù)庫相結(jié)合，在一定的條件下追蹤該目標(biāo)并與其溝通交流[7-10]。這種語音交互型機(jī)器人具備了一定的識別、感知、處理、決策和動作能力，能夠智能地完成任務(wù)。

1 NAO機(jī)器人平臺簡介

NAO作為雙足智能機(jī)器人，身高58公分，NAO本體配備有多款軟、硬件模塊，外形具備高度的擬人化特征[11-12]。NAO身上可運(yùn)動的“人體”關(guān)節(jié)使得其擁有25個自由度，甚至其雙手都具備抓握能力，動作靈活。另外機(jī)器人還搭配了多種傳感器及其他硬件設(shè)備，例如超聲波傳感器、攝像頭、揚(yáng)聲器等，集成度較高的硬件設(shè)備使得NAO機(jī)器人能夠滿足本次設(shè)計對機(jī)器人外形的需求，NAO機(jī)器人的外形設(shè)計圖如圖1所示。

NAO腳上的壓力傳感器用于判斷它是否與地面接觸。根據(jù)腳底接觸改變內(nèi)存的數(shù)值，腳部接觸指令盒會決定輸出信號。如果腳底沒有保持跟地面接觸的話，對應(yīng)的保護(hù)程序會啟動從而進(jìn)一步保護(hù)機(jī)器人的安全。使用者將腳部接觸指令盒輸出信號作為NAO是否跌倒的依據(jù)之一。

圖1 NAO機(jī)器人外形設(shè)計圖

2 程序設(shè)計與場地分析

2.1 程序設(shè)計平臺介紹

Choregraphe 基于圖形的編程工具，實現(xiàn)對NAO的二次開發(fā)，以指令盒數(shù)據(jù)庫為基礎(chǔ)，通過連線的方式即可完成編程。操作過程中可以調(diào)整機(jī)器人的姿勢、文件傳輸、編寫指令盒及調(diào)節(jié)機(jī)器人音量等。

NAOqi是 NAO的編程結(jié)構(gòu)，擁有并行、資源管理、同步和事件等功能，NAO功能模塊之間能夠互相交流，從而滿足二次開發(fā)中的需求。在Pycharm中調(diào)用NAOqi庫，之后在Pycharm里面編譯機(jī)器人的代碼，代碼最后需要加上當(dāng)前連接中機(jī)器人的IP地址以及端口號，方可正常向機(jī)器人發(fā)送指令運(yùn)行，界面如圖2所示。

圖2 Pycharm編程開發(fā)圖

2.2 實地場地分析

本文設(shè)計的陪護(hù)機(jī)器人工作場地以滁州市第二人民醫(yī)院為案例：工作環(huán)境包含病房、醫(yī)護(hù)站、看護(hù)室及走廊這四個主要場景，如圖3所示。

總體需求為協(xié)助醫(yī)護(hù)人員陪護(hù)患者的治療過程，以減輕醫(yī)護(hù)人員的負(fù)擔(dān)及緩解患者病情為目標(biāo)，因此自閉癥兒童陪護(hù)型機(jī)器人的設(shè)計應(yīng)用對象不僅是患者，也包含醫(yī)護(hù)人員。于是，我們將二者的需求進(jìn)行收集整理得到：

患者日常的休息位于病房，應(yīng)當(dāng)設(shè)計安排機(jī)器人看護(hù)患者的正常起居；

醫(yī)護(hù)人員于醫(yī)護(hù)站進(jìn)行辦公，機(jī)器人能夠?qū)θ粘９ぷ鬟M(jìn)行提醒、協(xié)助醫(yī)護(hù)人員為訪客作導(dǎo)覽及自身調(diào)整充電；

患者的部分治療、飲食及閑余集中在看護(hù)室，機(jī)器人需要協(xié)助醫(yī)護(hù)人員提醒患者按時吃飯吃藥，通過語音交互安撫患者的情緒，通過舞蹈音樂等為患者帶來樂趣；

走廊和看護(hù)室等需要醫(yī)護(hù)人員實時工作，他們可以通過機(jī)器人視頻監(jiān)控觀察，利用監(jiān)測器遠(yuǎn)程實現(xiàn)近距離監(jiān)護(hù)；

為了方便功能的實現(xiàn)以及管理維護(hù)，應(yīng)規(guī)劃并設(shè)計好陪護(hù)機(jī)器人的工作任務(wù)；機(jī)器人應(yīng)具備區(qū)域性，合理規(guī)劃主線任務(wù)、支線任務(wù)及處理特殊情況的功能。

圖3 場地結(jié)構(gòu)圖

3 功能設(shè)計與實現(xiàn)

3.1 功能需求介紹

基于NAO平臺的自閉癥兒童陪護(hù)機(jī)器人是在簡單對話基礎(chǔ)上增加微表情識別功能，需要考慮以下幾個問題：

機(jī)器人與自閉癥兒童的交互與娛樂內(nèi)容互動的情況。(智能交互)

機(jī)器人的微表情識別系統(tǒng)應(yīng)能準(zhǔn)確快速的識別出目標(biāo)的情緒狀態(tài)。(人臉識別)

在識別目標(biāo)后，機(jī)器人能以一定的速度和距離對目標(biāo)進(jìn)行實時跟隨。在對目標(biāo)進(jìn)行跟隨運(yùn)動時，若出現(xiàn)障礙物，應(yīng)及時避障并重新規(guī)劃路徑，再次跟隨目標(biāo)。(智能規(guī)避障礙)

若目標(biāo)無法取得所需物品，通過機(jī)器人將物品進(jìn)行傳遞。(協(xié)助拿取物品)

機(jī)器人通過視頻監(jiān)控，觀察注意力集中的持續(xù)時間和面部的瞬間性表情變化，傳輸?shù)胶笈_進(jìn)行數(shù)據(jù)收集與分析。(視頻監(jiān)控)

整體模塊流程圖如圖4所示。

圖4 整體流程圖

3.2 人臉識別模塊

基于NAO平臺的智能語音交互型機(jī)器人可以通過攝像頭捕捉到被測者面部的瞬間性表情，利用圖像處理技術(shù)從圖片中提取到人像特征點(diǎn)，再利用生物統(tǒng)計學(xué)的原理進(jìn)行分析并建立數(shù)學(xué)模型，將已建成的人臉特征模板與被測者的人的面像進(jìn)行特征分析比對，根據(jù)分析的結(jié)果來確定識別每個人面部信息的身份。

除此之外，基于獨(dú)立探索的微表情分析算法分析捕捉到的面部表情，了解被測者當(dāng)前情緒，根據(jù)自閉癥兒童面部肌肉的運(yùn)動變化推斷出病人現(xiàn)有的情緒，主動與被測者進(jìn)行相應(yīng)的語音的交互，運(yùn)行更加適合該對象的功能，提供真正意義上的一對一服務(wù)，核心代碼如下：

def load_database():

h5file = h5py.File('people_infor.h5' 'r')

for name in h5file.keys():

people_source[name] = h5file[name] if h5py != None: people_infor = os.path.split(image)

people_name = None

if len(people_infor) == 2: people_name=os.path.splitext(people_infor[1])[0]

else:

people_name=os.path.splitext(people_infor[0])[0] data_h5[people_name] = emb[0，:]

3.3 智能避障模塊

智能避障模塊是NAO機(jī)器人的關(guān)鍵技術(shù)之一。當(dāng)用戶給出行走指令后，機(jī)器人首先向前行進(jìn)，當(dāng)機(jī)器人胸前的聲吶傳感器探測到障礙物時，規(guī)劃出無碰撞的有效路徑，同時滿足最短時間和最短路程的要求。

用聲吶測距模塊測出前方有無障礙物，若測出有障礙物則應(yīng)當(dāng)暫停自動導(dǎo)航并進(jìn)入避障模塊，利用云平臺控制模塊旋轉(zhuǎn)聲吶測距模塊確定左右障礙物的距離，朝無障礙物方向進(jìn)行轉(zhuǎn)向，左右同時有障礙物時自動后退重新測距選定方向前行。確定左右及前方無障礙物時恢復(fù)自動導(dǎo)航，核心代碼如下：

motionProxy = ALProxy(“ALMotion”， robotIP， PORT)

postureProxy = ALProxy(“ALRobotPosture”， robotIP， PORT)

motionProxy.wakeUp()

postureProxy.goToPosture(“StandInit”， 0.5) sonarProxy.subscribe(“myApplication”)

while 1:

left = memoryProxy.getData(“Device/SubDeviceList/USLeftSensor/Value”)

Right = memoryProxy.getData(“Device/SubDeviceList/US/Right/Sensor/Value”)

3.4 智能語音交互模塊

NAO機(jī)器人本身自帶的語音識別裝置，識別精度不高，無法適用于嘈雜的環(huán)境。本團(tuán)隊調(diào)用百度API，通過使用百度大腦的UNIT語音定制平臺創(chuàng)建專屬技能，對機(jī)器人的對話算法進(jìn)行優(yōu)化，實現(xiàn)聯(lián)網(wǎng)搜索問題答案、定制對話、聯(lián)想問答等功能。修改系統(tǒng)內(nèi)置語音模塊，通過開源語音交互引擎實現(xiàn)機(jī)器人對中文的高識別精度，更改機(jī)器人音色，核心代碼如下：

def use_cloud(file):

with open(file， “rb”) as f:

speech = base64.b64encode(f.read())．

decode('utf8') size = os.path.getsize(file) headers = { 'Content-Type' : 'application/json'} url = “https://vop.baidu.com/server_api”

definit(self):

GeneratedClass.init(self， False)

3.5 物品抓取模塊

基于NAO平臺的自閉癥兒童陪護(hù)機(jī)器人可以協(xié)助拿取物品，解決了行動不便等問題。為了提高物體定位的準(zhǔn)確度和抓取的成功率，采用Bumblebee2雙目相機(jī)機(jī)構(gòu)構(gòu)建伺服控制系統(tǒng)。

當(dāng)陪護(hù)機(jī)器人處于正常工作狀態(tài)時，在接收到無線終端或觸發(fā)下達(dá)物品抓取任務(wù)口令后，可以實現(xiàn)識別特定物品上的已知標(biāo)志，從而判斷該物體類別及合適的抓取動作并執(zhí)行相應(yīng)的支線任務(wù)。例如完成抓取藥品任務(wù)后前往看護(hù)站或病房區(qū)域，協(xié)助醫(yī)護(hù)人員利用視頻監(jiān)督患者按量服用藥品。物品抓取流程，核心代碼如下：

def userArmArticular2(motionProxy): Arm2 = [70.5，25.0，-63.5，-59.6，-39.3，1]

Arm2 = [x * motion.TO_RAD for x in Arm2] pFractionMaxSpeed=0.1 motionProxy.angleInterpolationWithSpeed(JointNames， Arm2， pFractionMaxSpeed) motionProxy.openHand('LHand') motionProxy.closeHand('LHand')

userArmArticular3(motionProxy) userArmArticular4(motionProxy)

3.6 視頻監(jiān)控模塊

陪護(hù)機(jī)器人到達(dá)指定工作區(qū)域進(jìn)行監(jiān)護(hù)時，機(jī)器人預(yù)置的高清攝像頭及視覺軟件結(jié)合無盡行走模塊，可為醫(yī)護(hù)人員提供近距離的視頻監(jiān)控，醫(yī)護(hù)人員無需走動通過終端即可對異常情況進(jìn)行巡護(hù)觀察。通過視頻監(jiān)控，觀察注意力集中的持續(xù)時間和面部的瞬間性表情的變化，傳輸?shù)胶笈_進(jìn)行數(shù)據(jù)收集與分析。當(dāng)自閉癥兒童出現(xiàn)異常時，觸發(fā)視頻功能觀察當(dāng)前片段或之前片段兒童的狀態(tài)，及時了解問題并解決問題。

另外醫(yī)護(hù)人員可自主調(diào)節(jié)視頻分辨率及色彩等參數(shù)，也可決定是否拍照或錄像保存到本地。視頻監(jiān)控流程，核心代碼如下：

self._imgData=self._videoProxy.getImageRemote(self._imgClient) cv.SetData(self._img， self._imgData[6]) cv.ShowImage(“Camera_OpenCV”， self._img) except KeyboardInterrupt:

break

if cv.WaitKey(10) == 27:

break

cv.DestroyAllWindows()

self._unregisterImageClient()

4 測試

為判斷當(dāng)前陪護(hù)機(jī)器人功能實現(xiàn)的完整性及可靠性，我們將待測試的陪護(hù)機(jī)器人帶入真實環(huán)境下進(jìn)行測試。測試過程中機(jī)器人以區(qū)域劃分，完成不同的工作任務(wù)，觀察各個功能模塊能否在真實的環(huán)境下正常運(yùn)行。完整測試中進(jìn)一步改進(jìn)一些問題，例如語音交互誤觸發(fā)、行走存在偏差、標(biāo)志識別誤差等，用戶體驗良好，得到了使用者的一致好評，測試如圖5所示。

圖5 陪護(hù)機(jī)器人測試圖

5 結(jié)束語

本文設(shè)計了一款面向自閉癥兒童的陪護(hù)型機(jī)器人，主要作用是為了減輕醫(yī)護(hù)人員的工作負(fù)擔(dān)，以及促進(jìn)患者病情的好轉(zhuǎn)。設(shè)計遵循需求分析、功能設(shè)計、軟硬件學(xué)習(xí)、程序開發(fā)及實景測試等流程，探索了機(jī)器人在協(xié)助醫(yī)護(hù)人員看護(hù)自閉癥兒童的可行性，是智能機(jī)器人在醫(yī)療領(lǐng)域的一次大膽嘗試，最終實現(xiàn)了智能交互、人臉識別、娛樂互動及視頻監(jiān)控等功能模塊。

本文首先針對醫(yī)護(hù)人員及自閉癥兒童的需求展開功能設(shè)計，結(jié)合醫(yī)院實際環(huán)境將機(jī)器人依照區(qū)域劃分各自的工作任務(wù)；最后對機(jī)器人功能依次展開了模擬場景下單獨(dú)模塊測試和實際環(huán)境下完整應(yīng)用測試，智能避障模塊的實現(xiàn)，是在平衡的移動狀態(tài)下運(yùn)用超聲波傳感器探測障礙物并繞走，失衡的狀態(tài)下結(jié)合壓力傳感器、陀螺儀及跌倒和恢復(fù)管理器自我保護(hù)、自我站立；語音交互模塊的實現(xiàn)，是通過麥克風(fēng)或揚(yáng)聲器實現(xiàn)語音輸入或輸出，實現(xiàn)關(guān)鍵字匹配語音交互數(shù)據(jù)庫后做出回應(yīng)：行為動作或問答。視頻監(jiān)控模塊的實現(xiàn)，是在陪護(hù)機(jī)器人到達(dá)指定工作區(qū)域進(jìn)行監(jiān)護(hù)時，機(jī)器人預(yù)置的高清攝像頭及視覺軟件結(jié)合無盡行走模塊，可為醫(yī)護(hù)人員提供近距離的視頻監(jiān)控，醫(yī)護(hù)人員無需走動通過終端即可對異常情況進(jìn)行巡護(hù)觀察，但同時該陪護(hù)機(jī)器人對標(biāo)識識別及物品抓取的精準(zhǔn)度及成功率上仍需要進(jìn)一步作優(yōu)化。