傅大梅　倪瑛

摘要： 現(xiàn)有的智能家居控制系統(tǒng)中，多以操作終端的方式對(duì)智能家居實(shí)現(xiàn)控制，這種控制方式不夠靈活。本文提出了一種基于體感技術(shù)的智能家居控制系統(tǒng)，該系統(tǒng)采用微軟的Kinect體感設(shè)備識(shí)別人體動(dòng)作和姿勢(shì)，根據(jù)人體的不同動(dòng)作向智能家居各設(shè)備發(fā)出相應(yīng)的動(dòng)作指令，以無(wú)線通信的方式接收動(dòng)作指令后，進(jìn)行相應(yīng)的控制。研究結(jié)果表明，該系統(tǒng)能夠有效、準(zhǔn)確地識(shí)別人體的各種不同動(dòng)作，并準(zhǔn)確地發(fā)出相應(yīng)的動(dòng)作控制指令，控制家電、照明、窗簾等設(shè)備的開(kāi)關(guān)。

Abstract： The existing intelligent home control system achieves intelligent home controlling by the way of the operation of the terminal. This way is not flexible enough. This paper presents an intelligent home control system based on motion sensing technology. This system uses Microsofts Kinect sensing equipment to recognize the human action and posture， and produces corresponding action commands which are transmitted in a wireless way to control the intelligent equipment. Research results show that the system can effectively and accurately identify the human bodys various movements， and accurately issued the corresponding action control commands， to control appliances， lighting， curtains and other equipment switches.

關(guān)鍵詞： 體感技術(shù)；智能家居；控制系統(tǒng)

Key words： motion sensing technology；smart home；control system

中圖分類號(hào)：TP273 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-4311（2016）32-0166-03

0 引言

隨著科學(xué)技術(shù)的發(fā)展、社會(huì)的進(jìn)步，人們對(duì)生活的質(zhì)量要求也越來(lái)越高，尤其是對(duì)智能家居這方面的需求，人們需要一種更方便、更輕松、更智能的控制方式。目前現(xiàn)有的智能家居控制系統(tǒng)中，多以操作終端的方式對(duì)智能家居實(shí)現(xiàn)控制，如通過(guò)手機(jī)或平板實(shí)現(xiàn)對(duì)家電等設(shè)備的開(kāi)關(guān)等。盡管現(xiàn)有的智能家居控制方式已經(jīng)很先進(jìn)，但是必須通過(guò)操作終端的控制形式使得控制方式不夠靈活。在微軟xbox的游戲中有一種“體感”操作技術(shù)，它通過(guò)彩色攝像頭和深度攝像頭，不僅能獲得人體的彩色圖像信息，還可獲得人體各部分的深度信息，捕獲人體的動(dòng)作。Kinect識(shí)別的對(duì)象是用戶的身體，用戶可通過(guò)身體的動(dòng)作、姿勢(shì)來(lái)控制游戲中的人或物，這樣Kineet使得用戶與游戲環(huán)境結(jié)合，形成了一套完整的人機(jī)交互游戲控制系統(tǒng)。Kinect體感技術(shù)已廣泛地應(yīng)用在各種人機(jī)交互游戲、3D場(chǎng)景重建、機(jī)器視覺(jué)等領(lǐng)域口，體感技術(shù)已經(jīng)成為人機(jī)交互的一種重要手段，具有直觀性、自然性的特點(diǎn)，將這種體感技術(shù)應(yīng)用到智能家居中將可以彌補(bǔ)現(xiàn)有操作方式的不足，豐富控制方式，適合不同的人群的需求。因此，本課題的研究目的是將體感技術(shù)應(yīng)用、集成到智能家居控制系統(tǒng)中，系統(tǒng)既可以通過(guò)人體的動(dòng)作來(lái)控制家居設(shè)備的運(yùn)行狀態(tài)，同時(shí)具有終端控制功能，可以彌補(bǔ)現(xiàn)有操作方式的不足，這樣用戶可以根據(jù)需要進(jìn)行選擇，適合不同的人群的需求。

1 系統(tǒng)總體方案

本文設(shè)計(jì)了物聯(lián)網(wǎng)技術(shù)和視覺(jué)處理聯(lián)合控制的智能家居系統(tǒng)。

該系統(tǒng)具有三種控制方式：

①使用Kinect體感識(shí)別技術(shù)，經(jīng)PC上位機(jī)處理人體姿勢(shì)后發(fā)送至控制端達(dá)到對(duì)家居設(shè)備的體感控制。

②控制端搭載各類傳感器來(lái)實(shí)現(xiàn)對(duì)智能家居的自動(dòng)監(jiān)控。

③本設(shè)計(jì)還結(jié)合云計(jì)算技術(shù)以實(shí)現(xiàn)遠(yuǎn)程終端控制。用戶可以所在的場(chǎng)合、環(huán)境、喜好選擇其中的一種控制方式。具體實(shí)現(xiàn)是通過(guò)Kinect體感攝像頭與體感識(shí)別技術(shù)結(jié)合，并通過(guò)AVR單片機(jī)控制驅(qū)動(dòng)各設(shè)備做出相應(yīng)動(dòng)作。AVR單片機(jī)同時(shí)連接各種傳感器采集數(shù)據(jù)，將數(shù)據(jù)進(jìn)行處理，使各設(shè)備也能實(shí)現(xiàn)自動(dòng)控制，達(dá)到智能的目的。最后所有設(shè)備匯集至智能網(wǎng)關(guān)，由網(wǎng)關(guān)統(tǒng)一上傳至物聯(lián)網(wǎng)云平臺(tái)實(shí)現(xiàn)遠(yuǎn)程控制。系統(tǒng)總統(tǒng)方案如圖1所示。

Kinect體感設(shè)備用來(lái)捕獲人體姿勢(shì)。當(dāng)人體做出姿勢(shì)，系統(tǒng)通過(guò)Kinect體感傳感器識(shí)別出人體姿勢(shì)，然后通過(guò)計(jì)算機(jī)以無(wú)線通信的形式給單片機(jī)發(fā)送指令，單片機(jī)發(fā)送指令給驅(qū)動(dòng)電路，驅(qū)動(dòng)電機(jī)開(kāi)啟或開(kāi)關(guān)關(guān)閉。

2 系統(tǒng)硬件設(shè)計(jì)

2.1 總體結(jié)構(gòu)設(shè)計(jì)

數(shù)據(jù)采集控制模塊包含各種傳感器模塊、單片機(jī)及控制器，傳感器有光線傳感器、溫濕度傳感器、PM2.5粉塵傳感器等，控制器有繼電器、步進(jìn)電機(jī)等。單片機(jī)讀取傳感器數(shù)據(jù)通過(guò)無(wú)線通信模塊發(fā)送出去，同時(shí)單片機(jī)利用無(wú)線通信模塊接受命令，驅(qū)動(dòng)對(duì)應(yīng)控制器。

體感識(shí)別模塊包含Kinect攝像頭，PC上位機(jī)與通信模塊。Kinect攝像頭采集體感信息，由上位機(jī)進(jìn)行處理，得到相應(yīng)指令后由無(wú)線通信模塊發(fā)送出去。

智能網(wǎng)關(guān)云端模塊包含智能網(wǎng)關(guān)、物聯(lián)網(wǎng)云平臺(tái)和無(wú)線通信模塊。網(wǎng)關(guān)負(fù)責(zé)與互聯(lián)網(wǎng)通信，通過(guò)無(wú)線模塊與采集控制模塊，將傳感器數(shù)據(jù)上傳至物聯(lián)網(wǎng)云平臺(tái)，同時(shí)接受物聯(lián)網(wǎng)云平臺(tái)控制指令從而控制體感智能控制系統(tǒng)的采集控制模塊。

以窗簾控制為例，硬件設(shè)計(jì)如圖2所示。

2.2 體感設(shè)備的選取

體感攝像頭是整個(gè)系統(tǒng)最關(guān)鍵的部分，各種人體姿勢(shì)必須通過(guò)它來(lái)獲得。該系統(tǒng)使用的體感攝像頭是來(lái)自Microsoft的Kinect for Windows。Kinect就是一種典型的體感攝影頭，有著即時(shí)動(dòng)態(tài)捕捉、影像識(shí)別、麥克風(fēng)輸入和語(yǔ)音識(shí)別等功能[1]。Kinect體感設(shè)備具備三個(gè)不同的鏡頭，中間是 RGB 彩色攝影機(jī)，用來(lái)采集RGB彩色圖像。而左右側(cè)的兩個(gè)鏡頭，則分別是紅外線發(fā)射裝置和紅外CMOS 攝影機(jī)，它們共同構(gòu)建了3D結(jié)構(gòu)光深度感應(yīng)器，用來(lái)采集深度數(shù)據(jù)（攝像頭拍攝范圍內(nèi)物體到攝像頭的距離）[2][3]。同時(shí)，Kinect還搭配了追焦技術(shù)，底座上有馬達(dá)，馬達(dá)會(huì)隨對(duì)焦物體移動(dòng)而轉(zhuǎn)動(dòng)。

2.3 采集控制模塊

本設(shè)計(jì)的采集控制模塊統(tǒng)一采用Arduino pro作為控制模塊核心，通過(guò)搭載不同的傳感器與控制器實(shí)現(xiàn)設(shè)計(jì)所需功能。Arduino主要包含兩部分：硬件部分是Arduino電路板；另外一個(gè)則是Arduino IDE，這是一種存于計(jì)算機(jī)中的程序開(kāi)發(fā)環(huán)境。只須在IDE中編寫程序代碼，然后將程序上載至Arduino后，程序會(huì)自己向Arduino解釋要做什么。Arduino能通過(guò)搭載各種傳感器來(lái)感知環(huán)境，同時(shí)通過(guò)控制燈光、馬達(dá)和其他的裝置來(lái)反饋、影響環(huán)境。本設(shè)計(jì)要采用的Arduino pro是Arduino系列中最為袖珍的一款。體積小，利于系統(tǒng)的集成與放置。Arduino pro 麻雀雖小五臟俱全，功能上和Arduino標(biāo)準(zhǔn)版是完全相同的，并且成本上更低。

2.4 智能網(wǎng)關(guān)

本設(shè)計(jì)采用了Raspberry Pi 2b型作為體感智能家居控制的智能網(wǎng)關(guān)。Raspberry Pi是一種針對(duì)計(jì)算機(jī)技術(shù)愛(ài)好者及中小型企業(yè)開(kāi)發(fā)的嵌入式開(kāi)發(fā)板。Raspberry Pi可以運(yùn)行Linux系統(tǒng)和Window10系統(tǒng)，體積僅信用卡大小。樹(shù)莓派搭載了高性能的ARM V7架構(gòu)處理器，運(yùn)算性能上和目前常見(jiàn)的智能手機(jī)相仿，可以把它看做是一塊Linux開(kāi)發(fā)板，性能上完全滿足作為網(wǎng)關(guān)的要求。成本低廉，性能強(qiáng)勁，易于大批量采購(gòu)，有很高的性價(jià)比。在接口方面，Raspberry Pi提供了多個(gè)USB接口，快速以太網(wǎng)接口、SD卡擴(kuò)展接口以及40個(gè)i/o接口，接口豐富。Raspberry Pi 2b+和市面上常見(jiàn)的linux開(kāi)發(fā)板相比除了性價(jià)比高這一優(yōu)點(diǎn)外，還更加易于開(kāi)發(fā)，足夠多的i/o接口和usb接口是大多數(shù)其他開(kāi)發(fā)板難以企及的，如圖3所示。

2.5 通信模塊

當(dāng)檢測(cè)到人體動(dòng)作后，計(jì)算機(jī)接受指令后，通過(guò)無(wú)線通信方式發(fā)出，被控制器接受。無(wú)線通信是體感智能家居系統(tǒng)中的重中之重。目前智能家居通信上已形成了藍(lán)牙4.0、WiFi、ZigBee三種無(wú)線通信技術(shù)鼎立的局面，這三種主流的無(wú)線通信方式各有優(yōu)劣，出于對(duì)通過(guò)智能家居系統(tǒng)外的其他物聯(lián)網(wǎng)設(shè)備的控制兼容性與取長(zhǎng)補(bǔ)短考慮，本系統(tǒng)同時(shí)使用這三種無(wú)線通信模塊，取長(zhǎng)補(bǔ)短。系統(tǒng)采用了TI公司的cc2530用于PM2.5傳感器，人體紅外傳感器火焰?zhèn)鞲衅髋c系統(tǒng)間的通信，這些傳感器每日只需幾次通信，單向通信，傳輸數(shù)據(jù)量也比較小。而且布置距離遠(yuǎn)，數(shù)量多，要求一點(diǎn)的數(shù)據(jù)安全性與可靠性。出于這些因素的考慮這些傳感類設(shè)備就采用ZigBee通信。HC-05用于對(duì)esp8266的補(bǔ)充，對(duì)市面上已使用藍(lán)牙通信的燈具、開(kāi)關(guān)等的控制。出于成本與兼容性考慮使用藍(lán)牙通信。HC-05就具有成本低廉，性能穩(wěn)定，兼容性良好的特點(diǎn)。Esp8266：用于光線傳感器，溫濕度傳感器與各電器的控制，這些模塊通信數(shù)據(jù)量大，連接時(shí)間長(zhǎng)，通信距離遠(yuǎn)，節(jié)點(diǎn)、模塊不僅型號(hào)繁雜，而且數(shù)量龐大，出于性能考慮使用WiFi通信。Esp8266是目前世面上使用最多的WiFi串口模塊，價(jià)格十分低廉，性能強(qiáng)勁，可靠性良好，功耗低。

3 軟件設(shè)計(jì)

體感識(shí)別處理：

體感識(shí)別，首先是從紅外采集攝像頭采集到的黑白圖像中將人體區(qū)分出來(lái)。這是一個(gè)從復(fù)雜數(shù)值中提煉有用的簡(jiǎn)單信息過(guò)程[4]。體感攝像頭會(huì)對(duì)景深圖像進(jìn)行“像素級(jí)”識(shí)別，而識(shí)別過(guò)程和人認(rèn)識(shí)物體的過(guò)程一樣，都是先識(shí)別圖像輪廓，再識(shí)別圖像細(xì)節(jié)[4]。體感識(shí)別模塊輸入的是深度圖像，輸出的是目標(biāo)人體輪廓。首先分析比較接近體感攝像頭的區(qū)域，這也是最有可能存在“人體”的區(qū)域。任何人型的物體都有可能被體感攝像頭跟蹤識(shí)別成人體；其次會(huì)逐點(diǎn)掃描這些區(qū)域深度圖像的像素，來(lái)判斷具體屬于人體的哪些部位。這一過(guò)程屬于計(jì)算機(jī)圖形視覺(jué)處理技術(shù)應(yīng)用過(guò)程，包括圖像二維化、邊緣檢測(cè)、噪聲消除、對(duì)人體目標(biāo)特征點(diǎn)分類等環(huán)節(jié)[4]。該系統(tǒng)通過(guò)這些技術(shù)最終將人體從背景環(huán)境中識(shí)別出來(lái)。Kinect利用人體20個(gè)骨骼點(diǎn)來(lái)定義人體姿態(tài)，通過(guò)定義人體的不同部位的坐標(biāo)關(guān)系確定一系列人體姿態(tài)。人體姿態(tài)與控制指令的關(guān)系表1。

系統(tǒng)的體感識(shí)別程序采用Processing編程工具開(kāi)發(fā)。Processing是Java編程語(yǔ)言的延續(xù)，并支持許多現(xiàn)有Java 編程架構(gòu)，不過(guò)在語(yǔ)法上又簡(jiǎn)易了許多，且具有許多人性化的設(shè)計(jì)。為實(shí)現(xiàn)體感識(shí)別，本設(shè)計(jì)還采用了微軟專為Kinect體感識(shí)別開(kāi)發(fā)的KINECT SDK。

4 系統(tǒng)調(diào)試

4.1 體感識(shí)別調(diào)試

首先，連接好攝像頭與串口模塊，打開(kāi)Processing開(kāi)發(fā)工具，運(yùn)行體感識(shí)別程序，結(jié)果如圖4所示。

屏幕上出現(xiàn)黑白圖像，串口無(wú)報(bào)錯(cuò)輸出，說(shuō)明程序已經(jīng)成功運(yùn)行，此時(shí)體感智能家居系統(tǒng)進(jìn)入待機(jī)狀態(tài)。

4.2 體感控制系統(tǒng)控制調(diào)試

體感控制系統(tǒng)運(yùn)行后，在體感攝像頭可拍攝的范圍內(nèi)擺手，出現(xiàn)如圖5所示畫面，此時(shí)系統(tǒng)已進(jìn)入體感追蹤狀態(tài)。通過(guò)姿勢(shì)點(diǎn)亮屏幕上對(duì)應(yīng)箭頭按鈕，并控制，說(shuō)明此時(shí)體感識(shí)別成功，對(duì)采集控制模塊控制成功。進(jìn)一步說(shuō)明了此時(shí)體感智能家居模擬系統(tǒng)工作正常。

5 結(jié)束語(yǔ)

本項(xiàng)目以微軟Kinect傳感器為基礎(chǔ)，整合了目前的先進(jìn)物聯(lián)網(wǎng)技術(shù)，嘗試了新的智能家居控制方式，研究實(shí)現(xiàn)了手勢(shì)識(shí)別系統(tǒng)在智能家居控制中的應(yīng)用。目前體感智能家居系統(tǒng)已經(jīng)可以識(shí)別人體姿勢(shì)、采集環(huán)境數(shù)據(jù)、控制用電設(shè)備、窗簾、啟動(dòng)監(jiān)控系統(tǒng)等，初步實(shí)現(xiàn)了設(shè)計(jì)目標(biāo)，改進(jìn)了目前常見(jiàn)的智能家居系統(tǒng)，探索了未來(lái)智能家居的發(fā)展方向。本研究可以推廣應(yīng)用到其它領(lǐng)域如在無(wú)菌環(huán)境的手術(shù)室或不方便接觸使用操作設(shè)備的環(huán)境下，可以用手勢(shì)輕松操作，實(shí)現(xiàn)人機(jī)交互。系統(tǒng)仍有需要進(jìn)一步改進(jìn)的部分，如還需要提高手勢(shì)的正確識(shí)別率，更加友好的操作界面等[4]。

參考文獻(xiàn)：

[1]顧容，何益明，金麗燕.基于Kinect骨骼追蹤技術(shù)的智能教學(xué)控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2013，30（6）：276-280.

[2]李健，路飛，田國(guó)會(huì)，劉志勇.基于Kinect的ppt全自動(dòng)控制系統(tǒng)的研究[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（17）：133-138.

[3]喬體洲，戴樹(shù)嶺.基于Kinect的人手姿態(tài)混合跟蹤方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)報(bào)，2015，27（4）：714-720.

[4]張?chǎng)危煳膭?，劉階萍，姚燕安.基于Kinect的智能花盆體感控制系統(tǒng)研究[J].機(jī)電工程，2014，31（9）：1226-1230.

[5]吳志勇，杜振.基于Kinect傳感器的家電手勢(shì)控制應(yīng)用研究[J].電視技術(shù)，2015，39（16）.