吳培良,王天成,金鑫龍,閆鵬宇,張?jiān)拼?陳雯柏,毛秉毅,高國(guó)偉

(1.燕山大學(xué) 信息科學(xué)與工程學(xué)院,河北 秦皇島 066004;2.河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室,河北 秦皇島 066004;3.上海工業(yè)自動(dòng)化儀表研究院有限公司,上海 200233;4.北京信息科技大學(xué) 自動(dòng)化學(xué)院,北京 100192)

0 引 言

隨著人口老齡化的加劇和用工成本的上漲,家庭服務(wù)機(jī)器人的市場(chǎng)需求在不斷擴(kuò)大。在2021年的德國(guó)國(guó)際機(jī)器人聯(lián)合會(huì)(International Federation of Robotics)發(fā)表的世界機(jī)器人-服務(wù)類(lèi)機(jī)器人的報(bào)告中指出:全球市場(chǎng)在專(zhuān)業(yè)型服務(wù)機(jī)器人領(lǐng)域的營(yíng)業(yè)額已經(jīng)達(dá)到67億美元,同比過(guò)去的2020年增長(zhǎng)率可達(dá)到12%;專(zhuān)業(yè)性服務(wù)機(jī)器人中細(xì)分的家居服務(wù)機(jī)器人的營(yíng)業(yè)額同比增長(zhǎng)可達(dá)到16%,累計(jì)44億美元[1]。由此可見(jiàn),家庭服務(wù)機(jī)器人擁有迅猛的發(fā)展勢(shì)頭和巨大的市場(chǎng)前景。

然而,當(dāng)前服務(wù)機(jī)器人的智能化程度還不能夠滿(mǎn)足室內(nèi)場(chǎng)景下人機(jī)交互的需求,主要原因?yàn)楫?dāng)前的環(huán)境信息表示方法無(wú)法使機(jī)器人產(chǎn)生對(duì)家庭環(huán)境的深入認(rèn)知。目前,常用的環(huán)境信息表示方法有謂詞邏輯表示法[2]、產(chǎn)生式規(guī)則表示法[3]和語(yǔ)義網(wǎng)本體表示法[4]。這些環(huán)境信息表示方法努力增強(qiáng)了對(duì)環(huán)境信息的表達(dá),但是對(duì)信息記錄的同時(shí),忽略了各信息之間的關(guān)系,使得機(jī)器人在使用已獲取的信息時(shí)存在一定的困難,導(dǎo)致其無(wú)法智能化地執(zhí)行服務(wù)任務(wù)。例如,機(jī)器人要執(zhí)行“倒垃圾”任務(wù),那么它不僅需要知道垃圾與垃圾桶的位置信息,還需要根據(jù)它們的功能來(lái)判斷它們與任務(wù)之間的關(guān)聯(lián)。

近年來(lái),知識(shí)圖譜的研究受到越來(lái)越多的關(guān)注。知識(shí)圖譜的研究?jī)r(jià)值集中地體現(xiàn)在它是實(shí)現(xiàn)認(rèn)知智能的基礎(chǔ)?！袄斫狻焙汀敖忉尅笔菣C(jī)器認(rèn)知智能的兩個(gè)核心能力,二者均與知識(shí)圖譜有著密切關(guān)系[5]?！袄斫狻币曌鹘臄?shù)據(jù)(包括文本、圖片、語(yǔ)音、視頻等數(shù)據(jù))到知識(shí)圖譜中的實(shí)體、概念、屬性之間映射的過(guò)程。這一過(guò)程的本質(zhì)就是將知識(shí)圖譜中的知識(shí)與問(wèn)題或者數(shù)據(jù)相關(guān)聯(lián)。有了知識(shí)圖譜,機(jī)器有望可以重現(xiàn)人類(lèi)的這種理解與解釋的過(guò)程。

當(dāng)前,研究人員已經(jīng)針對(duì)國(guó)防、能源、金融等領(lǐng)域展開(kāi)知識(shí)圖譜研究,但針對(duì)家庭服務(wù)機(jī)器人的領(lǐng)域知識(shí)圖譜構(gòu)建方面的研究十分稀少。為此,該文提出了一種家庭服務(wù)領(lǐng)域知識(shí)圖譜的自動(dòng)化構(gòu)建方法。基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)框架實(shí)現(xiàn)場(chǎng)景分割,獲取家庭場(chǎng)景中實(shí)體的語(yǔ)義信息;基于知識(shí)圖譜的共享性與拓展性構(gòu)建知識(shí)圖譜,實(shí)現(xiàn)機(jī)器人的推理功能。通過(guò)知識(shí)圖譜領(lǐng)域知識(shí)與家庭服務(wù)場(chǎng)景機(jī)器人的場(chǎng)景分割識(shí)別邏輯相結(jié)合,完成交叉學(xué)科跨領(lǐng)域知識(shí)運(yùn)用,進(jìn)一步提高家庭服務(wù)機(jī)器人在感知與認(rèn)知部分的可靠性與適應(yīng)性。

1 相關(guān)研究

1.1 知識(shí)圖譜與環(huán)境信息表達(dá)

2012年,知識(shí)圖譜(Knowledge Graph)的概念由Google公司正式提出,旨在實(shí)現(xiàn)更智能的搜索,并且于2013年后開(kāi)始在學(xué)術(shù)和業(yè)界普及,在智能問(wèn)答[6]、智能推薦[7]、反欺詐[8]等領(lǐng)域中發(fā)揮重要作用。由于其出色的環(huán)境信息表達(dá)能力,在其它領(lǐng)域知識(shí)圖譜也得到了廣泛應(yīng)用。在自動(dòng)駕駛領(lǐng)域,自動(dòng)駕駛場(chǎng)景的實(shí)體及其關(guān)系表示通過(guò)知識(shí)圖譜構(gòu)建,生成的場(chǎng)景語(yǔ)義網(wǎng)絡(luò)可用于實(shí)體預(yù)測(cè)的任務(wù),從而提高駕駛過(guò)程中對(duì)于周邊場(chǎng)景的理解[9];在圖像遙感領(lǐng)域,利用遙感知識(shí)圖譜推理與深度數(shù)據(jù)學(xué)習(xí)的融合,來(lái)提升遙感影像的解譯性能[10];在社會(huì)交通領(lǐng)域,基于開(kāi)源數(shù)據(jù)構(gòu)建交通知識(shí)圖譜和事理圖譜,利用自然語(yǔ)言處理技術(shù)對(duì)網(wǎng)絡(luò)文本進(jìn)行分析,從而實(shí)現(xiàn)知識(shí)圖譜對(duì)于網(wǎng)絡(luò)交通事件說(shuō)明的識(shí)別[11]。

由此可知,知識(shí)圖譜擁有良好的環(huán)境信息表達(dá)能力,能夠幫助智能體理解環(huán)境中實(shí)體之間的關(guān)系。對(duì)于家庭服務(wù)領(lǐng)域,知識(shí)圖譜可以幫助機(jī)器人更好地理解用戶(hù)、實(shí)體、服務(wù)任務(wù)之間的關(guān)系,使得其可以更加準(zhǔn)確地完成有關(guān)服務(wù)任務(wù)的邏輯推理。

1.2 室內(nèi)場(chǎng)景識(shí)別

一般地,家庭服務(wù)機(jī)器人通過(guò)攝像設(shè)備進(jìn)行信息采集,通過(guò)對(duì)于場(chǎng)景圖片的處理來(lái)獲取場(chǎng)景的物品參數(shù)。如何對(duì)場(chǎng)景圖片進(jìn)行快速有效的信息抽取,是亟需解決的重要環(huán)節(jié)。目前常用的方法主要有基于物品識(shí)別實(shí)現(xiàn)場(chǎng)景信息匯總以及基于場(chǎng)景分割實(shí)現(xiàn)場(chǎng)景物品分模塊識(shí)別。其中,基于物品識(shí)別實(shí)現(xiàn)場(chǎng)景信息匯總可用的方法常為級(jí)聯(lián)分類(lèi)器框架[12]、卷積神經(jīng)網(wǎng)絡(luò)[13]以及基于回歸的YOLO(You Only Look Once)算法[14]?；趫?chǎng)景分割實(shí)現(xiàn)場(chǎng)景物品分模塊識(shí)別則是采用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行深度學(xué)習(xí)。

在家庭場(chǎng)景中,實(shí)體的形態(tài)特征在畫(huà)面中因擺設(shè)位置不同將會(huì)發(fā)生形體抽象變形,并因?yàn)槲锲烽g覆蓋和放置大小差異,從而使得物品無(wú)法被有效地進(jìn)行多角度特征抽取。通過(guò)YOLO物品檢測(cè)算法進(jìn)行物品識(shí)別的準(zhǔn)確率最高只能達(dá)到42.5%。因此,對(duì)于家庭場(chǎng)景,信息理解的重心將放在基于場(chǎng)景分割實(shí)現(xiàn)場(chǎng)景物品的分模塊識(shí)別。Zhou Liguang[15]和Miao Bo[16]等皆采用場(chǎng)景分割的思路來(lái)進(jìn)行場(chǎng)景中實(shí)體的識(shí)別。

2 家庭服務(wù)場(chǎng)景知識(shí)圖譜構(gòu)建

由于各個(gè)家庭的環(huán)境具有較大差異,所以家庭服務(wù)機(jī)器人應(yīng)該現(xiàn)場(chǎng)采集數(shù)據(jù),構(gòu)建家庭服務(wù)領(lǐng)域知識(shí)圖譜,基于此,設(shè)計(jì)了如下自動(dòng)構(gòu)建流程:

(1)獲取服務(wù)策略的文本信息,通過(guò)詞頻-逆向文件頻率算法(Term Frequency-Inverse Document Frequency,TF-IDF)提取服務(wù)策略關(guān)鍵字,構(gòu)成服務(wù)策略圖譜。

(2)家庭服務(wù)機(jī)器人現(xiàn)場(chǎng)采集家庭場(chǎng)景圖片,將其輸入到訓(xùn)練好的場(chǎng)景分割模型(Scene Segmentation Model,SSM)中,得到場(chǎng)景中的實(shí)體信息。

(3)將實(shí)體信息輸入到場(chǎng)景分類(lèi)模型(Scene Classification Model,SCM)中,預(yù)測(cè)當(dāng)前場(chǎng)景類(lèi)別,如廚房、臥室、餐廳等。

(4)將SSM模型得到的物品信息和SCM模型得到的場(chǎng)景類(lèi)別進(jìn)行信息匯總,得到對(duì)應(yīng)的文本文件。得到家庭實(shí)體知識(shí)圖譜。

(5)將服務(wù)策略圖譜與家庭實(shí)體圖譜進(jìn)行拼接,得到家庭服務(wù)知識(shí)圖譜。

家庭服務(wù)場(chǎng)景系統(tǒng)框架如圖1所示。

圖1 系統(tǒng)框架

2.1 服務(wù)策略知識(shí)圖譜構(gòu)建

服務(wù)策略文本主要來(lái)源于WikiHow[17]網(wǎng)站,它是一個(gè)開(kāi)放的互聯(lián)網(wǎng)網(wǎng)站,包括多個(gè)與家庭服務(wù)任務(wù)相關(guān)的知識(shí)模塊,例如興趣與手藝、家居與園藝、飲食與休閑等,具體服務(wù)知識(shí)包括如何洗碗、如何做飯等。該網(wǎng)站的信息利用半結(jié)構(gòu)化文本表示,易于提取,故采用該網(wǎng)站的文本數(shù)據(jù)作為服務(wù)策略文本。

之后,利用TF-IDF算法[18]對(duì)策略文本進(jìn)行處理,生成服務(wù)策略關(guān)鍵字。首先,根據(jù)公式(1)計(jì)算詞頻(Term Frequency,TF)。

(1)

其中,nij表示該詞出現(xiàn)的次數(shù),分母部分表示文本dj中所有詞匯的數(shù)量,tfij表示文本dj中第i個(gè)關(guān)鍵詞出現(xiàn)的頻率,這個(gè)值越大,代表這個(gè)詞出現(xiàn)的頻率越高。

之后,根據(jù)公式(2)計(jì)算逆向文件詞頻(Inverse Document Frequency,IDF)。

(2)

其中,|D|是文件總數(shù),|{j:ti∈dj}|表示包含該詞語(yǔ)的文件總數(shù),包含該詞語(yǔ)的文檔越少,idfi值越大,表示該詞語(yǔ)具有良好的類(lèi)別區(qū)分能力。

最后,如公式(3)所示,將tfij與idfi相乘,即可得到該詞條的權(quán)值Wij,數(shù)值越大,代表該詞匯越關(guān)鍵。

Wij=tfij×idfi

(3)

得到服務(wù)步驟的關(guān)鍵字后,利用自言語(yǔ)言處理工具包[19](Natural Language Toolkit,NLTK)對(duì)原文本進(jìn)行處理,根據(jù)詞性標(biāo)注判斷該關(guān)鍵字是動(dòng)作還是物品詞條,將其輸入到知識(shí)圖譜中,構(gòu)成服務(wù)策略知識(shí)圖譜。

2.2 場(chǎng)景分割模型(SSM)

在構(gòu)建家庭服務(wù)場(chǎng)景知識(shí)圖譜時(shí),首先需要利用SSM模型對(duì)場(chǎng)景內(nèi)的實(shí)體進(jìn)行分割,并將其識(shí)別出來(lái)。

2.2.1 ADE20K數(shù)據(jù)集

SSM模型采用ADE20K進(jìn)行訓(xùn)練,ADE20K是一個(gè)密集注釋的數(shù)據(jù)集,總共有25K張復(fù)雜的日常場(chǎng)景的圖像,其中包含日常生活中常見(jiàn)的150種物體類(lèi)別,平均每個(gè)圖像有19.5個(gè)實(shí)例和10.5個(gè)對(duì)象類(lèi)。數(shù)據(jù)集根據(jù)訓(xùn)練集和檢驗(yàn)集分成兩大部分,每部分中根據(jù)a-z的相同首字母進(jìn)行場(chǎng)景分類(lèi)。

2.2.2 場(chǎng)景編碼器(Encoder):ResNet50

ResNet50為殘差神經(jīng)網(wǎng)絡(luò),50代表該殘差神經(jīng)網(wǎng)絡(luò)層數(shù)。為了解決梯度消失與梯度爆炸問(wèn)題,ResNet提出了兩種映射:一種是恒等映射,另一種殘差映射[20],將兩種映射組合,最后的輸出是y=F(x)+x。其中,恒等映射是指本身,也就是公式中的x,而殘差映射指的是y-x,所以殘差指的就是F(x)部分。殘差網(wǎng)絡(luò)的組合單元如圖2所示。

圖2 殘差網(wǎng)絡(luò)組合單元(示例)

將輸入數(shù)據(jù)記為x,則中間網(wǎng)絡(luò)層對(duì)于數(shù)據(jù)的操作可以記為F(x),通過(guò)殘差網(wǎng)絡(luò)的構(gòu)件輸出結(jié)果為F(x)+x,即將殘留下來(lái)的數(shù)據(jù)與原數(shù)據(jù)合并,再進(jìn)行運(yùn)算輸出,故該模型稱(chēng)為殘差神經(jīng)網(wǎng)絡(luò)。這時(shí)需要考慮對(duì)F(x)和x的數(shù)據(jù)格式進(jìn)行分類(lèi)討論,如果F(x)的數(shù)據(jù)通道數(shù)與x相同則輸出結(jié)果見(jiàn)式(4)。

y=F(x,{Wi})+x

(4)

其中,F(x,{Wi})指的是中間網(wǎng)絡(luò)層對(duì)于數(shù)據(jù)使用權(quán)值ωi進(jìn)行計(jì)算,x為原輸入數(shù)據(jù)。y為最終的輸出結(jié)果。另一種情況為F(x)的數(shù)據(jù)通道數(shù)與x不同,則需要將x原數(shù)據(jù)轉(zhuǎn)換成相同的數(shù)據(jù)格式,結(jié)果見(jiàn)式(5)。

y=F(x,{Wi})+Wsx

(5)

其中,Ws為通過(guò)權(quán)值的計(jì)算將x為原輸入數(shù)據(jù)轉(zhuǎn)化為相同的數(shù)據(jù)通道數(shù)量。y為最終的輸出結(jié)果。

在家庭場(chǎng)景分割的過(guò)程中,通過(guò)ResNet50將ADE20K數(shù)據(jù)集的圖片轉(zhuǎn)化成物品的區(qū)域預(yù)測(cè)概率序列,將圖像編碼成高維特征區(qū)塊的物品種類(lèi)分布,以此來(lái)實(shí)現(xiàn)家庭服務(wù)場(chǎng)景的編碼過(guò)程。

2.2.3 場(chǎng)景解碼器(Decoder):PPM

高維特征區(qū)塊物品種類(lèi)預(yù)測(cè)序列并不是最終的數(shù)據(jù)結(jié)果,需要對(duì)該序列進(jìn)行反向編碼,即解碼的過(guò)程。將高維特征還原成對(duì)應(yīng)的原圖片區(qū)域,并根據(jù)該種類(lèi)查詢(xún)對(duì)應(yīng)色卡進(jìn)行上色,完成對(duì)于識(shí)別的物品種類(lèi)在圖中進(jìn)行標(biāo)記。為了實(shí)現(xiàn)這一解碼過(guò)程,使用場(chǎng)景解碼器:金字塔池化模型(Pyramid Pooling Module,PPM)。

采用1×1、2×2、3×3和6×6四種不同尺寸的卷積核,對(duì)ResNet50獲取到的特征圖進(jìn)行卷積。得到多個(gè)尺寸的特征圖,并對(duì)這些不同尺寸的特征圖再次進(jìn)行1×1的卷積操作來(lái)減少通道數(shù)。然后采用雙線性插值進(jìn)行上采樣,以此獲得金字塔模塊前相同尺寸的特征圖,并在通道上進(jìn)行拼接,將不同層級(jí)的特征圖拼接為最終的金字塔池化全局特征。從直覺(jué)上來(lái)看,這種多尺度的池化確實(shí)可以在不同的尺度下保留全局信息,比起普通的單一池化更能保留全局上下文信息。

2.3 場(chǎng)景分類(lèi)模型(SCM)

家庭場(chǎng)景中實(shí)體分布具有一定的規(guī)律,如床大概率出現(xiàn)在臥室、沙發(fā)大概率出現(xiàn)在客廳、廚房中很可能存在廚具等。故而可以根據(jù)SSM模型識(shí)別出的實(shí)體來(lái)對(duì)當(dāng)前所處的場(chǎng)景進(jìn)行預(yù)測(cè)分類(lèi)。

2.3.1 PLACE365數(shù)據(jù)集

PLACE365數(shù)據(jù)集有365個(gè)場(chǎng)景類(lèi)別,用于各類(lèi)場(chǎng)景識(shí)別的比賽和訓(xùn)練。該家庭服務(wù)場(chǎng)景系統(tǒng)所作用的場(chǎng)景為家庭常見(jiàn)環(huán)境,因此選取PLACE365-standard數(shù)據(jù)集中的浴室(bathroom)、臥室(bedroom)、衣帽間(closet)、餐廳(dining room)、書(shū)房(home office)、廚房(kitchen)和客廳(living room)共7個(gè)數(shù)據(jù)集進(jìn)行分類(lèi)測(cè)試。

通過(guò)訓(xùn)練好的SSM模型生成家庭功能區(qū)的標(biāo)簽和功能區(qū)中的前10種像素占比大于0.1%的物品(不足10種補(bǔ)空物品樣本)樣本數(shù)據(jù)集,用于后續(xù)SCM模型進(jìn)行場(chǎng)景分類(lèi)的訓(xùn)練。

2.3.2 場(chǎng)景數(shù)據(jù)預(yù)處理與標(biāo)簽加載

由SSM模型生成的數(shù)據(jù)格式可得,每個(gè)檢測(cè)出來(lái)的物品都是通過(guò)字典的形式進(jìn)行存儲(chǔ),字典中包含對(duì)應(yīng)物品的中文名、英文名和功能關(guān)鍵詞,該文只需要選取物品的英文名作為每條數(shù)據(jù)樣本的屬性即可。

模型的數(shù)據(jù)屬性一般要求是數(shù)字格式,所以需要對(duì)物品列表文件進(jìn)行反向字典生成,即通過(guò)物品的英文名將物品的標(biāo)簽還原,讓每一條場(chǎng)景數(shù)據(jù)都是10個(gè)標(biāo)簽數(shù)字組成的數(shù)字序列(如果檢測(cè)物品不足10個(gè),則對(duì)應(yīng)的物品標(biāo)簽用-1代替)。

在完成對(duì)7個(gè)場(chǎng)景類(lèi)別圖片的識(shí)別后,將文本文件用于基于梯度提升決策樹(shù)(Gradient Boosted Decision Tree,GBDT)算法的SCM。其中,GBDT算法是通過(guò)梯度提升的方式不斷地優(yōu)化參數(shù),直到達(dá)到局部最優(yōu)解。梯度提升算法每一步優(yōu)化的對(duì)象是不同的。第一步是以label值為目標(biāo)來(lái)優(yōu)化參數(shù),第二步優(yōu)化的目標(biāo)就是第一步的殘差,第三步優(yōu)化的目標(biāo)是第二步的殘差。以此類(lèi)推,不斷地對(duì)權(quán)重進(jìn)行調(diào)整,是一種帶權(quán)的決策樹(shù)形式。

2.4 模型測(cè)試

2.4.1 評(píng)價(jià)指標(biāo)

SSM與SCM的性能通過(guò)響應(yīng)速度、準(zhǔn)確率(Accuracy)、F1-score和Cohen's Kappa等參數(shù)來(lái)進(jìn)行判定。

其中,F1-score是基于準(zhǔn)確率、精確率(Precision)、召回率(Recall)加權(quán)調(diào)和后得到的。以二分類(lèi)問(wèn)題為例,最終結(jié)果應(yīng)當(dāng)被分為正類(lèi)或者負(fù)類(lèi)。如果原標(biāo)簽標(biāo)記為正類(lèi),并且分類(lèi)結(jié)果為正類(lèi),則記為T(mén)P(True Positive)。同理,負(fù)類(lèi)標(biāo)簽與分類(lèi)結(jié)果一致就可以得到FN(False Negative)。TP和FN都是分類(lèi)正確的結(jié)果。反之,正類(lèi)被預(yù)測(cè)為負(fù)類(lèi)、負(fù)類(lèi)被預(yù)測(cè)為正類(lèi),分別記為T(mén)N(True Negative)和FP(False Positive),TN和FP是分類(lèi)錯(cuò)誤的結(jié)果。根據(jù)上述得到的四種分類(lèi)情況,可以得出精確率、準(zhǔn)確率、召回率、F1-score的計(jì)算方式,具體見(jiàn)式(6)～式(9)。

(6)

(7)

(8)

(9)

除了上述的性能參數(shù)外,再引入 Cohen's Kappa 進(jìn)一步檢驗(yàn)?zāi)Ｐ偷姆诸?lèi)精度與性能。當(dāng)標(biāo)簽數(shù)據(jù)存在樣本失衡的情況時(shí),準(zhǔn)確率就無(wú)法反映出模型的分類(lèi)效果。因而需要引入一個(gè)基礎(chǔ)準(zhǔn)確率(Pe)來(lái)均衡這種樣本數(shù)據(jù)失衡的情況?；A(chǔ)準(zhǔn)確率計(jì)算公式見(jiàn)式(10)。

(10)

其中,k表示第k個(gè)類(lèi)別,nk1和nk2的乘積表示為真實(shí)占比與預(yù)測(cè)占比的乘積。在得出基礎(chǔ)準(zhǔn)確率后,就可以得出 Cohen's Kappa的數(shù)值,數(shù)值越大代表分類(lèi)效果越好,具體如式(11)所示。

(11)

2.4.2 SSM模型測(cè)試

通過(guò)場(chǎng)景編碼器ResNet50進(jìn)行場(chǎng)景解析物品的分類(lèi),然后場(chǎng)景解碼器PPM充分利用好場(chǎng)景的上下文信息,將場(chǎng)景中的物品解析得更加準(zhǔn)確與全面。到此為止,通過(guò)場(chǎng)景編碼器和場(chǎng)景解碼器完成場(chǎng)景分割識(shí)別物品的功能。訓(xùn)練模型最終像素準(zhǔn)確率為80.13%,總分為61.14,響應(yīng)速度為2.6 s。與其他訓(xùn)練模型的結(jié)果對(duì)比如表1所示[21]。

表1 SSM模型訓(xùn)練結(jié)果統(tǒng)計(jì)

通過(guò)測(cè)試結(jié)果可知,SSM模型性能良好,與其它場(chǎng)景分割模型相比,能夠較為準(zhǔn)確地獲取場(chǎng)景中的信息,且圖像處理速度快,能夠滿(mǎn)足家庭服務(wù)機(jī)器人連續(xù)采集并處理場(chǎng)景圖像信息的需求。

2.4.3 SCM模型測(cè)試

選取PLACE365數(shù)據(jù)集中7種場(chǎng)景的部分?jǐn)?shù)據(jù)集作為測(cè)試集,通過(guò)sklearn的機(jī)器學(xué)習(xí)庫(kù)選取多種機(jī)器學(xué)習(xí)算法與GBDT算法進(jìn)行數(shù)據(jù)的訓(xùn)練與預(yù)測(cè)比較,使用Accuracy和Cohen's Kappa系數(shù)來(lái)進(jìn)行各模型的評(píng)估。從模型對(duì)比可得,GBDT算法能夠在使用10個(gè)物品特征的情況下,取得較好的場(chǎng)景分類(lèi)效果。在SSM的像素識(shí)別準(zhǔn)確率為80.13%的情況下,將場(chǎng)景分類(lèi)的準(zhǔn)確率維持在79%。因此選擇該模型作為分類(lèi)模型使用。各模型訓(xùn)練后,對(duì)測(cè)試集進(jìn)行測(cè)試的結(jié)果如表2所示[22]。

表2 SCM模型訓(xùn)練結(jié)果統(tǒng)計(jì)表

2.5 家庭服務(wù)領(lǐng)域知識(shí)圖譜結(jié)構(gòu)設(shè)計(jì)

通過(guò)對(duì)家庭服務(wù)的場(chǎng)景分析,家庭環(huán)境可以劃分成若干個(gè)房間,每個(gè)房間中擁有若干個(gè)物品,每個(gè)物品擁有若干關(guān)聯(lián)詞,關(guān)聯(lián)詞可以為功能詞匯,也可以是人的需求詞匯?；诖?家庭服務(wù)機(jī)器人便可以通過(guò)查詢(xún)知識(shí)圖譜來(lái)找到服務(wù)所需的實(shí)體信息。

之后,將構(gòu)建好的策略圖譜與實(shí)體圖譜合并,生成家庭服務(wù)知識(shí)圖譜,結(jié)合三元組的知識(shí),創(chuàng)建家庭服務(wù)場(chǎng)景的本體結(jié)構(gòu)。功能區(qū)(Room)和家庭(Home)擁有位于(Located in)的關(guān)系;工具物品(Object)和功能區(qū)(Room)擁有從屬(Belong to)的關(guān)系;服務(wù)任務(wù)(Service)和任務(wù)步驟(Service Step)擁有方法(Method)的關(guān)系;任務(wù)步驟(Service Step)和工具物品(Object)擁有動(dòng)作(Affordance)的關(guān)系;功能需求關(guān)聯(lián)詞(Function)和工具物品(Object)擁有屬于(Owned to)的關(guān)系。所構(gòu)建的知識(shí)圖譜結(jié)構(gòu)的三元組表示形式如式(12)至式(16)所示。

(12)

(13)

(14)

(15)

(16)

除了本體結(jié)構(gòu)外,仍需要考慮構(gòu)建成實(shí)體后,每個(gè)節(jié)點(diǎn)需要的屬性值。一個(gè)知識(shí)圖譜數(shù)據(jù)庫(kù)中,可能存在多個(gè)家庭環(huán)境信息,所以Home節(jié)點(diǎn)需要擁有名稱(chēng)(name)和該家庭的唯一信息標(biāo)識(shí)符(id)。Room與object同理也需要擁有name和id兩個(gè)屬性。一種服務(wù)任務(wù)可能有多種策略方法,所以任務(wù)與服務(wù)步驟之間用methodi(i=1,2…)來(lái)區(qū)別不用策略方法。

以wash clothes服務(wù)任務(wù)為例,家庭服務(wù)知識(shí)圖譜片段如圖3所示(工具物品的功能節(jié)點(diǎn)已隱去)。

圖3 家庭服務(wù)知識(shí)圖譜片段

3 家庭服務(wù)領(lǐng)域知識(shí)圖譜應(yīng)用

3.1 實(shí)驗(yàn)與應(yīng)用

為了模擬驗(yàn)證所提方法的有效性,從PLACES365數(shù)據(jù)集中選取7張場(chǎng)景圖片當(dāng)作機(jī)器人在家庭中采集的圖像信息,以此來(lái)模擬家庭場(chǎng)景,包含的7個(gè)常見(jiàn)家庭場(chǎng)景有餐廳、廚房、客廳、書(shū)房、臥室、衣帽間和浴室。

通過(guò)訓(xùn)練好的SSM模型與SCM模型,獲取實(shí)驗(yàn)場(chǎng)景圖中的實(shí)體、場(chǎng)景與功能的語(yǔ)義信息,構(gòu)建家庭服務(wù)領(lǐng)域知識(shí)圖譜,所構(gòu)建的知識(shí)圖譜共包含337個(gè)實(shí)體,783條關(guān)系。機(jī)器人通過(guò)搜索知識(shí)圖譜,可以獲取家庭環(huán)境中的實(shí)體與場(chǎng)景信息,與圖譜的交互結(jié)果如圖4所示。通過(guò)結(jié)果可知,所構(gòu)建的知識(shí)圖譜能夠幫助機(jī)器人對(duì)家庭環(huán)境產(chǎn)生深入認(rèn)知。

圖4 圖譜搜索結(jié)果

3.2 反饋與更新

由于家庭環(huán)境中的實(shí)體是復(fù)雜多變的,且構(gòu)建圖譜時(shí)可能會(huì)匹配錯(cuò)誤,所以需要對(duì)家庭服務(wù)領(lǐng)域知識(shí)圖譜進(jìn)行實(shí)時(shí)更新。為了達(dá)成這個(gè)目的,加入了反饋?lái)憫?yīng)實(shí)體關(guān)系更新功能,該功能主要通過(guò)與用戶(hù)間的交互完成家庭知識(shí)圖譜數(shù)據(jù)的更新。即在進(jìn)行查詢(xún)后,用戶(hù)可以對(duì)上一步交互結(jié)果進(jìn)行反饋,當(dāng)接收到用戶(hù)關(guān)于“錯(cuò)”之類(lèi)的關(guān)鍵詞后,通過(guò)用戶(hù)的選擇與上一步查詢(xún)結(jié)果中反饋的領(lǐng)域詞信息對(duì)圖譜進(jìn)行修改,例如增加或刪除實(shí)體的功能信息,以及修改實(shí)體的位置信息等,以此來(lái)達(dá)到更新知識(shí)圖譜的效果。反饋更新效果圖如圖5所示。

圖5 反饋更新效果

3.3 服務(wù)策略生成

當(dāng)用戶(hù)對(duì)機(jī)器人發(fā)出任務(wù)指令時(shí),機(jī)器人可以通過(guò)匹配功能需求節(jié)點(diǎn)以及任務(wù)節(jié)點(diǎn),遍歷家庭服務(wù)領(lǐng)域知識(shí)圖譜,選擇適合當(dāng)前環(huán)境的服務(wù)策略,根據(jù)服務(wù)任務(wù)的步驟、動(dòng)作、實(shí)體以及實(shí)體的位置信息來(lái)制定相應(yīng)的策略。生成的服務(wù)策略示例如表3所示。

表3 服務(wù)策略示例

現(xiàn)有的家庭服務(wù)機(jī)器人策略生成方法主要有兩種:一種為基于語(yǔ)義解析器的方法,從用戶(hù)指令中獲取動(dòng)作序列,這種方法不適合多物品操作的復(fù)雜任務(wù);另一種為基于強(qiáng)化學(xué)習(xí)的方法,設(shè)置基于先驗(yàn)知識(shí)的獎(jiǎng)勵(lì),讓機(jī)器人探索生成策略,這種方法沒(méi)有考慮到當(dāng)前的環(huán)境信息,所給出的服務(wù)策略可能包含環(huán)境中不存在的物品,導(dǎo)致任務(wù)失敗。由于所構(gòu)建的知識(shí)圖譜能夠反映出服務(wù)任務(wù)與實(shí)體之間的關(guān)系,所以用戶(hù)只需下達(dá)任務(wù)指令,機(jī)器人便可以根據(jù)家庭環(huán)境生成服務(wù)策略。與現(xiàn)有的幾種策略生成方法對(duì)比如表4所示。

表4 服務(wù)策略生成方法對(duì)比

4 結(jié)束語(yǔ)

為了增強(qiáng)家庭服務(wù)機(jī)器人的信息獲取能力與知識(shí)推理能力,設(shè)計(jì)了一種自動(dòng)構(gòu)建家庭服務(wù)領(lǐng)域知識(shí)圖譜的方法流程。所構(gòu)建的SSM模型及SCM模型能夠快速準(zhǔn)確地識(shí)別出家庭環(huán)境中的場(chǎng)景及實(shí)體,生成相應(yīng)的文本文檔,將其存儲(chǔ)neo4j圖數(shù)據(jù)庫(kù)中,完成家庭服務(wù)領(lǐng)域知識(shí)圖譜的構(gòu)建。通過(guò)對(duì)知識(shí)圖譜進(jìn)行查詢(xún),可以得到服務(wù)所需的語(yǔ)義信息,進(jìn)而生成服務(wù)策略。除此之外,還可以通過(guò)與用戶(hù)的問(wèn)答反饋來(lái)實(shí)現(xiàn)知識(shí)圖譜的自更新。

所提出的方法的創(chuàng)新點(diǎn)如下:

(1)將知識(shí)圖譜應(yīng)用到家庭服務(wù)領(lǐng)域,使得家庭服務(wù)機(jī)器人擁有了一定的推理能力,可以更加準(zhǔn)確地獲取服務(wù)所需的語(yǔ)義信息。

(2)所提出的家庭服務(wù)領(lǐng)域知識(shí)圖譜為完全自動(dòng)化構(gòu)建,只需要機(jī)器人在工作區(qū)內(nèi)采集圖像便可以自動(dòng)生成知識(shí)圖譜,不需要人工參與構(gòu)建。

除此之外,在家庭服務(wù)領(lǐng)域知識(shí)圖譜研究的過(guò)程中,仍存在一些不足之處。未來(lái)將通過(guò)以下幾個(gè)方面進(jìn)行改進(jìn):

(1)數(shù)據(jù)集擴(kuò)充與模型優(yōu)化。當(dāng)前的ADE20K數(shù)據(jù)集中標(biāo)注的物品為150種,且對(duì)于家庭環(huán)境而言,諸多細(xì)小物品并不存在相應(yīng)的數(shù)據(jù)。因此,使用該數(shù)據(jù)訓(xùn)練出的模型識(shí)別物品類(lèi)別數(shù)量與此相同,對(duì)部分家庭物品無(wú)法實(shí)現(xiàn)分割與分類(lèi)。在未來(lái)的工作中,可以通過(guò)使用場(chǎng)景分割的標(biāo)注工具,采用相同的數(shù)據(jù)格式對(duì)于ADE20K數(shù)據(jù)集的訓(xùn)練與檢驗(yàn)樣本進(jìn)行擴(kuò)充,以便完成SSM與SCM的優(yōu)化。

(2)改進(jìn)策略生成算法。目前服務(wù)策略是基于模板匹配算法生成,模板較為單一,無(wú)法處理多元化的服務(wù)指令。下一步可以利用所構(gòu)建的知識(shí)圖譜輔助強(qiáng)化學(xué)習(xí)來(lái)生成服務(wù)策略,使機(jī)器人能夠更好地利用圖譜中的信息,為用戶(hù)提供更加宜人化的服務(wù)。

(3)改用更加真實(shí)的實(shí)驗(yàn)場(chǎng)景,當(dāng)前采用場(chǎng)景圖像來(lái)模擬真實(shí)場(chǎng)景,與真實(shí)家庭環(huán)境相差甚遠(yuǎn)。未來(lái)可以采用AI2-THOR等虛擬環(huán)境來(lái)模擬機(jī)器人的工作環(huán)境,使其具有更強(qiáng)的實(shí)用性。

綜上所述,通過(guò)系統(tǒng)的研究實(shí)現(xiàn),完成家庭服務(wù)領(lǐng)域知識(shí)圖譜的構(gòu)建、應(yīng)用與創(chuàng)新。通過(guò)當(dāng)前系統(tǒng)存在的不足提出未來(lái)的發(fā)展規(guī)劃,力求在原基礎(chǔ)上不斷地更新與完善,來(lái)推進(jìn)家庭服務(wù)機(jī)器人對(duì)于場(chǎng)景信息的感知與處理,從而推動(dòng)服務(wù)型機(jī)器人智能化的發(fā)展。