楊麗

關(guān)鍵詞：導(dǎo)覽系統(tǒng) RealSense 手勢(shì)識(shí)別 顏色空間 點(diǎn)云構(gòu)建

引言

景區(qū)導(dǎo)覽裝置是幫助游客獲取景點(diǎn)詳細(xì)信息最重要的手段之一，對(duì)游客起著重要的導(dǎo)向作用，然而目前大部分景區(qū)的導(dǎo)覽系統(tǒng)都是基于平面導(dǎo)視圖或通過智能手機(jī)端進(jìn)行景點(diǎn)信息推送的形式，由于景點(diǎn)信息復(fù)雜多變，大部分景區(qū)的導(dǎo)覽系統(tǒng)缺乏創(chuàng)新性、導(dǎo)覽裝置缺乏局限性和精確性，導(dǎo)致游客體驗(yàn)感欠佳的問題。文章通過閱讀相關(guān)文獻(xiàn)后發(fā)現(xiàn)，并總結(jié)出國外的景區(qū)智能導(dǎo)覽裝置主要分為定位類型和講解類型。講解類型主要運(yùn)用在語音系統(tǒng)軟件上的交互設(shè)計(jì)應(yīng)用，游客通過系統(tǒng)的講解來獲取景點(diǎn)的各項(xiàng)信息;定位類型主要為游客在景區(qū)提供定位服務(wù)，給出合理的規(guī)劃路線，通過定位服務(wù)給游客提供更多的信息指示。國內(nèi)的景區(qū)智能導(dǎo)覽裝置主要采用數(shù)字化技術(shù)進(jìn)行導(dǎo)覽，其中包括多媒體影視技術(shù)、全息投影技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）、虛擬現(xiàn)實(shí)技術(shù)（VR）以及多點(diǎn)觸技術(shù)，其均可以結(jié)合智能手機(jī)運(yùn)用。

經(jīng)過系統(tǒng)性的文獻(xiàn)調(diào)研后發(fā)現(xiàn)，目前將智能手勢(shì)識(shí)別技術(shù)應(yīng)用到景區(qū)導(dǎo)覽系統(tǒng)的設(shè)計(jì)研究中極少。文章提出將RealSense深度相機(jī)手勢(shì)識(shí)別技術(shù)運(yùn)用在景區(qū)導(dǎo)覽系統(tǒng)的設(shè)計(jì)中，以YCbCr顏色空間膚色算法將獲取手勢(shì)圖像后進(jìn)行邊緣修復(fù)，通過實(shí)驗(yàn)得出該技術(shù)具有可行性的結(jié)論后，再結(jié)合空間三維環(huán)境點(diǎn)云系統(tǒng)的單目攝像機(jī)以及采集端信息傳感技術(shù)，掃描并重構(gòu)景區(qū)中某景點(diǎn)的圖像，同時(shí)匹配景區(qū)數(shù)據(jù)信息管理平臺(tái)上的數(shù)據(jù)，在導(dǎo)覽裝置屏幕上輸出景點(diǎn)的各類信息和最終圖像結(jié)果，完成一套智能手勢(shì)識(shí)別技術(shù)下的景區(qū)導(dǎo)覽系統(tǒng)的設(shè)計(jì)方案。

一、景區(qū)智能導(dǎo)覽裝置

（一）景區(qū)智能導(dǎo)覽裝置簡單介紹

景區(qū)的導(dǎo)視系統(tǒng)最主要的功能是向游客提供各景點(diǎn)的相關(guān)信息，新型的交互技術(shù)使得導(dǎo)覽裝置向智能化方向發(fā)展，從單一的導(dǎo)覽圖文和人工講解，到逐漸興起的智能數(shù)字化導(dǎo)覽裝置，其中主要的智能化體現(xiàn)在以APP為主的線上入口、語音識(shí)別、增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）、虛擬現(xiàn)實(shí)技術(shù)（VR）、多點(diǎn)觸摸、3D識(shí)別、人體捕捉等技術(shù)。如今導(dǎo)視系統(tǒng)的設(shè)計(jì)形式也越來越豐富和多元化，技術(shù)上的突破性進(jìn)展不僅為游客帶來了更多優(yōu)質(zhì)的交互體驗(yàn)，也逐漸改變了人機(jī)交互的方式。

（二）基于手勢(shì)識(shí)別技術(shù)的導(dǎo)覽裝置

手勢(shì)與語言一樣都屬于人類最自然的交流方式，手勢(shì)最重要的作用在于能夠?qū)⑷说奈锢韯?dòng)作描述成無聲的語言交流，尤其是與語言不通或者是聾啞人群交流時(shí)，手勢(shì)就成為了他們最重要的交流方式，因此手勢(shì)識(shí)別技術(shù)不僅使普通人能輕松操作各類科技設(shè)備，還能給殘疾人、老年人等特殊群體帶來更多使用上的便利。隨著傳感器技術(shù)的發(fā)展，越來越多的場景選擇通過手勢(shì)識(shí)別的方法來獲取人們的動(dòng)作數(shù)據(jù)，從而達(dá)到人機(jī)交互的目的。

手勢(shì)識(shí)別技術(shù)一般應(yīng)用于人體的臉部及手部的運(yùn)動(dòng)，是計(jì)算機(jī)對(duì)人體手部運(yùn)動(dòng)進(jìn)行的解釋，其利用感知的計(jì)算方式，通過傳感器和某種編程算法讓人們通過手勢(shì)識(shí)別對(duì)控制設(shè)備執(zhí)行命令。文章提出將手勢(shì)識(shí)別技術(shù)運(yùn)用在景區(qū)導(dǎo)覽系統(tǒng)的設(shè)計(jì)方案中，游客在景區(qū)中使用手部動(dòng)作與導(dǎo)覽裝置設(shè)備進(jìn)行人機(jī)交互行為，從而達(dá)到快速識(shí)別景區(qū)中各地點(diǎn)的精準(zhǔn)信息的目的。

二、基于RealSense的手勢(shì)識(shí)別技術(shù)的運(yùn)用

目前智能手勢(shì)識(shí)別技術(shù)在導(dǎo)覽裝置中的應(yīng)用主要分為三種類別，分別為：二維手型識(shí)別技術(shù)、二維手勢(shì)識(shí)別技術(shù)、三維手勢(shì)識(shí)別技術(shù)。其中前兩種是基于二維平面的等級(jí)，主要應(yīng)用于識(shí)別靜態(tài)手勢(shì)技術(shù)中，在應(yīng)用過程中只需要使用單個(gè)攝像頭便能捕捉到圖像，通過計(jì)算機(jī)最終輸出結(jié)果來實(shí)現(xiàn)手勢(shì)識(shí)別過程，輸出的結(jié)果就如平時(shí)拍照所得的照片一樣。而三維手勢(shì)識(shí)別技術(shù)能捕捉到動(dòng)態(tài)手勢(shì)，具有手勢(shì)跟蹤的技術(shù)，能捕捉到手勢(shì)的紋理、位置、運(yùn)動(dòng)軌跡等深度的信息，普遍應(yīng)用于復(fù)雜的人機(jī)交互設(shè)計(jì)中，例如增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）、虛擬現(xiàn)實(shí)技術(shù)（VR）等智能交互設(shè)計(jì)，給使用者帶來豐富的體驗(yàn)，如表1。

1. RealSense的手勢(shì)識(shí)別技術(shù)

RealSense是Intel開發(fā)的一種3D實(shí)感技術(shù)，專門用于人和機(jī)器進(jìn)行“溝通”的技術(shù)，它是一種為硬件設(shè)備添加和人類相似的感官系統(tǒng)進(jìn)行的創(chuàng)新技術(shù)[1] 。作為一款采集環(huán)境深度信息的體感外設(shè)的3D攝像機(jī)，其具有與Kinect一樣的三維手勢(shì)識(shí)別技術(shù)。RealSense3D實(shí)感攝像頭是全球首款結(jié)合2D鏡頭模塊和3D深度的設(shè)備。文章使用的RealSense D415/D435的3D攝像頭組件主要包括左紅外相機(jī)、紅外點(diǎn)陣投射器、右紅外相機(jī)、RGB相機(jī)，如表2。

文章應(yīng)用RealSense深度相機(jī)的傳感器技術(shù)獲取環(huán)境中人手部的深度圖像信息跟蹤人體骨骼，通過YCbCr的顏色空間過濾皮膚閾值的算法，提取景區(qū)中感應(yīng)到的游客的手部信息并加以修復(fù)形成模型，再將采集的手勢(shì)圖像形態(tài)以及傳達(dá)的手勢(shì)信號(hào)進(jìn)行特征分類，最后傳至景區(qū)導(dǎo)覽系統(tǒng)中。以無接觸、即時(shí)動(dòng)態(tài)捕捉、影像辨識(shí)、麥克風(fēng)輸入、語音辨識(shí)、社群互動(dòng)等便捷的功能進(jìn)行手勢(shì)識(shí)別達(dá)到人機(jī)交互的效果。

2.基于視覺感知的手勢(shì)識(shí)別導(dǎo)覽裝置

視覺是人們獲取外界信息最重要的感官之一，在導(dǎo)覽裝置中，視覺感知的程度直接影響游客使用導(dǎo)覽裝置的滿意度。因此文章提出利用手勢(shì)識(shí)別技術(shù)的導(dǎo)覽系統(tǒng)設(shè)計(jì)必須符合人體工程學(xué)的尺寸，還需充分考慮人眼可識(shí)別的導(dǎo)覽裝置和手勢(shì)識(shí)別設(shè)備的范圍與距離。并且在針對(duì)于視障、兒童、乘坐輪椅等特殊人群時(shí)，需考慮其視線范圍與正常站立的人群的距離之分。文章應(yīng)用RealSense Depth CameraD415/D435設(shè)備的手勢(shì)識(shí)別技術(shù)提取游客的手勢(shì)圖像工作是由于其具有全局快門感應(yīng)器，能同時(shí)采集到多人動(dòng)態(tài)圖像。RealSense系列的攝像機(jī)能捕捉的最遠(yuǎn)距離可達(dá)10m，并且在戶外的陽光下也可以利用，均支持輸出1280×720分辨率的深度畫面，視頻傳輸方面也可達(dá)90fps，還能識(shí)別X、Y、Z三軸中任意旋轉(zhuǎn)、偏移、滾動(dòng)等動(dòng)作。因此RealSense系列的攝像機(jī)在景區(qū)中能精準(zhǔn)地識(shí)別人體的手部深度圖像信息。