雷尚仲，張瑞秋

智能電視是移動(dòng)互聯(lián)網(wǎng)迅速發(fā)展背景下形成的高科技產(chǎn)品，是計(jì)算機(jī)、網(wǎng)絡(luò)以及數(shù)字技術(shù)共同發(fā)展和融合的結(jié)果[1]。它給用戶帶來(lái)了更好的交互體驗(yàn)、更豐富的視聽(tīng)內(nèi)容，目前已發(fā)展成為家庭主流電視娛樂(lè)產(chǎn)品。據(jù)智研咨詢網(wǎng)發(fā)布的《2018—2024 年中國(guó)智能電視市場(chǎng)運(yùn)行態(tài)勢(shì)及投資戰(zhàn)略咨詢報(bào)告》[2]顯示，近三年來(lái)智能電視銷量突飛猛進(jìn)，繼PC電腦、智能手機(jī)和PAD 等終端后，智能電視作為大屏終端已引起了人們的廣泛垂青。

智能電視具有屏幕大、影音效果好、可參與度高、交互性強(qiáng)、支持個(gè)性化和偏好推送優(yōu)勢(shì)，也可作為家庭信息生活生態(tài)圈的重要入口[3]。然而由于智能電視平臺(tái)型的特點(diǎn)，其內(nèi)容日漸增多，操作方式亦愈復(fù)雜，從而嚴(yán)重地挑戰(zhàn)了用戶的認(rèn)知負(fù)荷和使用習(xí)慣。如何解決這個(gè)難題目前已成為學(xué)界和產(chǎn)業(yè)界的熱點(diǎn)研究方向。近年來(lái)，隨著人工智能、計(jì)算機(jī)圖形學(xué)、語(yǔ)音技術(shù)和感性工學(xué)等學(xué)科技術(shù)的發(fā)展與應(yīng)用，可靠高效、自然實(shí)時(shí)的自然交互逐漸成為人們關(guān)注的焦點(diǎn)。

一、自然交互及其研究現(xiàn)狀

自然交互指利用人的日常技能、意圖感知能力實(shí)現(xiàn)“人”與“機(jī)器”的互動(dòng)，相比傳統(tǒng)人機(jī)交互，它更強(qiáng)調(diào)交互的自然性、人機(jī)關(guān)系的和諧性、交互途徑的隱含性及感知通道的多樣性【4】。自然交互通過(guò)聽(tīng)覺(jué)、視覺(jué)、語(yǔ)音、手勢(shì)、表情、體態(tài)和皮膚觸覺(jué)等多通道感知實(shí)現(xiàn)人機(jī)自然、準(zhǔn)確和快捷地交流。自然交互將人機(jī)交互從二維的桌面交互升級(jí)到整個(gè)三維物理空間，從而更加符合人們的日常生活習(xí)慣。

當(dāng)前，自然人機(jī)交互是計(jì)算機(jī)領(lǐng)域重要的前沿技術(shù)，涉及計(jì)算機(jī)、心理學(xué)、人體工學(xué)等多學(xué)科交叉領(lǐng)域，自然人機(jī)交互建立在對(duì)人的認(rèn)知和行為能力充分理解和建模的基礎(chǔ)之上，與圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等人工智能技術(shù)也有著密切的聯(lián)系[5]。20 世紀(jì)90 年代開(kāi)始，人機(jī)交互進(jìn)入到了多模態(tài)階段，稱為人機(jī)自然交互（HMNI）[6]。2008 年，微軟總裁比爾·蓋茨首次提出了“自然用戶界面”的概念[7]，并預(yù)言人機(jī)交互在未來(lái)幾年內(nèi)會(huì)有很大地改觀，鍵盤和鼠標(biāo)將逐步被自然的觸摸式、視覺(jué)型以及語(yǔ)音控制界面所代替。與此同時(shí)，“有機(jī)用戶界面”（Organic User Interface）也開(kāi)始悄然興起，它包括生物識(shí)別傳感器、皮膚顯示器，乃至大腦與計(jì)算機(jī)的直接對(duì)接。2009 年2 月，麻省理工學(xué)院媒體實(shí)驗(yàn)室的Pranav Mistry 博士后，將手勢(shì)識(shí)別、攝像頭、投影和云計(jì)算結(jié)合在一起，并命名為“第六感設(shè)備”[8]，如圖1 所示。這種設(shè)備不用攜帶任何大尺寸的東西，所有的終端都濃縮在胸口的掛飾和貼在手指的“色環(huán)”中。當(dāng)要拍照時(shí)，只需要用四根手指擺出一個(gè)框的形狀；當(dāng)要玩賽車游戲時(shí)，只需用手抓住一張白紙，通過(guò)投影儀它會(huì)“搖身一變”成為顯示屏，可通過(guò)改變紙張的傾斜角度來(lái)控制方向。2012 年，在國(guó)際CHI會(huì)議（ACM 人機(jī)交互會(huì)議）上，微軟和華盛頓大學(xué)UbiComp Lab 實(shí)驗(yàn)室的聲波（SoundWave）項(xiàng)目開(kāi)發(fā)了一項(xiàng)實(shí)時(shí)的傳感技術(shù)，利用電腦上的揚(yáng)聲器和麥克風(fēng)來(lái)感應(yīng)周圍的手勢(shì)和動(dòng)作，如圖2 所示。揚(yáng)聲器發(fā)出的超聲波音波引起的微妙頻移的聲波。當(dāng)人們?cè)陔娔X前做出手勢(shì)的時(shí)候，超聲波音波就以輕微的、不同的音量和波長(zhǎng)反射回?fù)P聲器，隨后這些數(shù)據(jù)可用于測(cè)量速度、方位、距離、尺寸以及改變移動(dòng)的頻率。該聲波技術(shù)能夠檢測(cè)多種多樣的手勢(shì)，還能直接控制現(xiàn)有的應(yīng)用，無(wú)需用戶佩戴任何特別的傳感器。2012 年7 月，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院集成所智能設(shè)計(jì)與機(jī)器視覺(jué)研究室宋展博士帶領(lǐng)的課題組在嵌入式手勢(shì)體感交互技術(shù)研究方面取得新成果，攻克了多個(gè)復(fù)雜環(huán)境下的手勢(shì)檢測(cè)與識(shí)別技術(shù)難題，并完成了嵌入式平臺(tái)下的算法優(yōu)化，使其可以在普通智能電視、手機(jī)等設(shè)備上穩(wěn)定流暢運(yùn)行。該課題組所開(kāi)發(fā)的嵌入式手勢(shì)識(shí)別軟件已在國(guó)內(nèi)創(chuàng)維智能電視終端上得到轉(zhuǎn)化應(yīng)用。玩具巨頭美泰公司推出的MindFlex，用戶只要戴上耳機(jī)，便可用意念控制藍(lán)色漂浮小球的高低，如圖3 所示。

圖1 第六感設(shè)備

圖2 超聲波感知手勢(shì)動(dòng)作

圖3 意念控制場(chǎng)景

目前，自然交互主要基于視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等人體感官，一般通過(guò)多模態(tài)、多通道融合實(shí)現(xiàn)精確識(shí)別，具體涉及的交互方式見(jiàn)表1。

二、智能電視的自然交互應(yīng)用現(xiàn)狀

電視的發(fā)展是隨著其交互方式的改變而發(fā)展的。從20 世紀(jì)20 年代首臺(tái)電視的問(wèn)世開(kāi)始，電視的交互方式經(jīng)歷了多代發(fā)展。近年來(lái)，隨著互聯(lián)網(wǎng)的快速發(fā)展和計(jì)算機(jī)、人工智能、圖形學(xué)、語(yǔ)音等技術(shù)的成熟，從2010 年開(kāi)始自然交互方式在電視上普遍有了應(yīng)用。目前，智能電視有以下幾種常見(jiàn)的自然交互方式：語(yǔ)音控制、手勢(shì)或體感控制、觸摸控制、多屏互動(dòng)，甚至在特定場(chǎng)合和領(lǐng)域還有人臉、指紋、虹膜識(shí)別，眼動(dòng)、腦電控制，虛擬現(xiàn)實(shí)等方式。目前市面上大多數(shù)電視都是智能電視，而自然交互是智能電視最基本也是最核心的配置要求，通過(guò)調(diào)研各主流電視品牌的主要交互方式如表2 所示。

當(dāng)前市面上的智能電視大部分依靠不同的“關(guān)鍵字”指令來(lái)進(jìn)行交互，但是多個(gè)關(guān)鍵詞非常高頻率容易操作有誤。在各大電視品牌中，TCL 作為一家以“創(chuàng)意感動(dòng)生活”為宗旨的電視品牌，其產(chǎn)品已經(jīng)進(jìn)入第三代全場(chǎng)景AI 時(shí)代和免喚醒時(shí)代。TCL 全場(chǎng)景AI 電視具有的免喚醒功能，支持多種常用指令的免喚醒控制。例如，當(dāng)用戶想看電影時(shí)，在喚醒電視之后，只要發(fā)出“好萊塢電影”“《復(fù)仇者聯(lián)盟》”“好聲音”等連貫性指令，智能電視就會(huì)迅速精準(zhǔn)識(shí)別并執(zhí)行，能夠給用戶帶來(lái)與眾不同的交互體驗(yàn)。

更有甚者，2011 年7 月18 日世界首臺(tái)腦力波電視在“上?？ㄋ_帝新聞發(fā)布會(huì)”發(fā)布[9]。海爾這款劃時(shí)代電視機(jī)的遙控操作是通過(guò)一個(gè)腦波耳機(jī)完成的。這個(gè)特別的腦波耳機(jī)可以檢測(cè)到用戶的腦電波信號(hào)，識(shí)別出用戶所處的狀態(tài)并將其轉(zhuǎn)化成電視可以識(shí)別的數(shù)字信號(hào)，由此可以實(shí)現(xiàn)以人的意志來(lái)控制電視開(kāi)關(guān)機(jī)、切換頻道等。2012 年4 月，長(zhǎng)虹、海信、創(chuàng)維、TCL 等品牌都陸續(xù)推出了具備體感游戲功能的智能電視，引入了任天堂推出的體感游戲。2016年7 月28 日，長(zhǎng)虹正式推出全球首款人工智能CHiQ（啟客）電視，向業(yè)界提出了“人工智能電視”的新概念。該人工智能電視的特點(diǎn)是“知道你、響應(yīng)你、懂你”，不僅能辨別和響應(yīng)人的指令，還具有學(xué)習(xí)功能，能自動(dòng)分析每個(gè)人的喜好，找出對(duì)應(yīng)的內(nèi)容和應(yīng)用。通過(guò)大數(shù)據(jù)和個(gè)人數(shù)據(jù)積累，人工智能電視就能非常了解人?；谕晟频募夹g(shù)邏輯與大數(shù)據(jù)運(yùn)營(yíng)，長(zhǎng)虹以物聯(lián)運(yùn)營(yíng)支撐平臺(tái)為依托，實(shí)現(xiàn)了自然語(yǔ)音交互、深度學(xué)習(xí)和應(yīng)用軟件自動(dòng)迭代等系統(tǒng)能力的整合。

表1 自然交互方式及其特征

表2 各品牌智能電視可支持的自然交互類型

在學(xué)術(shù)研究方面，本文通過(guò)研讀國(guó)內(nèi)外文獻(xiàn)資料，發(fā)現(xiàn)學(xué)界對(duì)智能電視交互方式的研究聚焦在體感、手勢(shì)和語(yǔ)音交互之上，尤其是基于視覺(jué)圖像的手勢(shì)交互方式頗多。例如國(guó)內(nèi)文獻(xiàn)：2016 年，蘭州大學(xué)王景山的碩士論文《基于語(yǔ)音交互的電視節(jié)目點(diǎn)播系統(tǒng)》介紹了構(gòu)建基于語(yǔ)音交互的電視節(jié)目點(diǎn)播系統(tǒng)的方法。2015 年，西南交通大學(xué)陳一新的碩士論文《基于Kinect 的手勢(shì)識(shí)別技術(shù)在人機(jī)交互中的應(yīng)用研究》借助Kinect 體感攝像機(jī)，提出采用位置相似度權(quán)重改進(jìn)DTW 算法來(lái)開(kāi)發(fā)手勢(shì)識(shí)別系統(tǒng)。2014 年，華南理工大學(xué)裘索的碩士論文《基于單目攝像頭的智能電視手勢(shì)交互系統(tǒng)》針對(duì)創(chuàng)維42E790U 智能電視，基于單目攝像頭開(kāi)發(fā)了一套智能電視手勢(shì)交互系統(tǒng)。2013 年，中國(guó)海洋大學(xué)王冉冉的碩士論文《基于視覺(jué)的手勢(shì)識(shí)別在智能電視上的應(yīng)用研究》論述了基于2D 攝像頭將Eyesight 手勢(shì)識(shí)別技術(shù)整合到android 智能電視上，實(shí)現(xiàn)手勢(shì)控制電視。當(dāng)然隨著國(guó)內(nèi)用戶體驗(yàn)行業(yè)的快速興起與發(fā)展，對(duì)智能電視交互體驗(yàn)方面的研究也逐漸增多。例如，2018 年崔婧、劉永翔在《智能電視的交互設(shè)計(jì)研究》一文中陳述了智能電視的發(fā)展現(xiàn)狀，從智能電視的使用環(huán)境、適用人群和使用場(chǎng)景角度分析智能電視的交互特點(diǎn)，進(jìn)而總結(jié)出智能電視設(shè)計(jì)時(shí)應(yīng)注重導(dǎo)航設(shè)計(jì)、使用情景的視覺(jué)設(shè)計(jì)和多種輸入方式的設(shè)計(jì)原則。

2014 年德國(guó)達(dá)姆施塔特工業(yè)大學(xué)（Computer Science，TU-Darmstadt）的 Niloofar Dezfuli 提出利用手掌交互表面來(lái)作為電視遙控器，從而減少手持遙控器錯(cuò)位和3D 空中手勢(shì)遙控（如微軟的Kinect）視覺(jué)上帶來(lái)的疲勞感。2014 年Chen，Yen-Lin 在臺(tái)灣臺(tái)北舉行的消費(fèi)者電子國(guó)際會(huì)議上提出了一套實(shí)時(shí)人眼識(shí)別和跟蹤系統(tǒng)的人機(jī)交互機(jī)制，它可以通過(guò)幫助智能電視用戶用攝像頭來(lái)提高他們的使用經(jīng)驗(yàn)。該系統(tǒng)通過(guò)嵌入式應(yīng)用omap4430 證明該結(jié)構(gòu)能夠有效、實(shí)時(shí)地跟蹤眼睛的位置。即使對(duì)于不均勻照明的情況下，該系統(tǒng)可以成功地高精度識(shí)別人眼。2013 年 Shen Zhiwen 在其發(fā)表在 Journal of Conver?gence Information Technology 的論文提出基于UPnP協(xié)議對(duì)智能電視實(shí)現(xiàn)多屏互動(dòng)操控。2012 年美國(guó)達(dá)拉斯-沃斯堡大學(xué)（University of Texas at Dallas）的Jaeyeon Lee 博士在其論文A Long-Range Touch In?terface for Interaction with Smart TVs 提出了一種新的基于觸摸交互模型的交互方式，利用遠(yuǎn)程裸手跟蹤模擬觸摸動(dòng)作來(lái)識(shí)別操控指令[10-15]。

三、待解決的問(wèn)題及未來(lái)發(fā)展趨勢(shì)

（一）待解決的問(wèn)題

目前，雖然市面上的電視幾乎都標(biāo)為“智能電視”，但是這種“智能化”的程度還是有差別的，尤其在交互體驗(yàn)方面還是有很大的區(qū)別。例如語(yǔ)音交互，大多數(shù)智能電視的語(yǔ)音交互繁瑣，在下達(dá)操控指令時(shí)，需要不斷地頻繁喚醒，精準(zhǔn)識(shí)別能力也有限，對(duì)話效率低，因此帶來(lái)的用戶體驗(yàn)并不是很好，這也不符合自然交互的本質(zhì)與目的。當(dāng)前受商家利益的驅(qū)使和消費(fèi)者迎合智能化潮流的“推波助瀾”等因素的影響，很多情況下自然交互只是一種營(yíng)銷概念或噱頭，而在技術(shù)實(shí)現(xiàn)和用戶體驗(yàn)方面還有很大的提升空間[16]?？偟膩?lái)說(shuō)主要有以下兩方面的問(wèn)題待解決：

第一是用戶體驗(yàn)設(shè)計(jì)方面，智能電視交互的用戶體驗(yàn)是核心問(wèn)題。雖然目前前沿頂尖人機(jī)交互技術(shù)發(fā)展迅速并取得了不錯(cuò)的成績(jī)，但技術(shù)應(yīng)用到具體產(chǎn)品上還需要經(jīng)過(guò)設(shè)計(jì)化處理。當(dāng)下智能電視的自然交互可用性、有效性和易用性整體還有提升的空間，主要存在人機(jī)交互復(fù)雜、界面信息內(nèi)容雜亂和層級(jí)繁多等體驗(yàn)不佳的問(wèn)題。

第二是精準(zhǔn)識(shí)別技術(shù)優(yōu)化方面，在精準(zhǔn)識(shí)別和多模態(tài)融合識(shí)別方面還有很大提升空間。比如語(yǔ)音、手勢(shì)和體感在實(shí)際操作時(shí)，并不是那么靈敏和精確，甚至還會(huì)帶來(lái)一些誤操作。目前，智能電視的自然交互方式在設(shè)計(jì)上基本是單通道，比如語(yǔ)音交互就只作用于語(yǔ)音識(shí)別，手勢(shì)交互就只作用于手勢(shì)識(shí)別，缺乏多感官的融合識(shí)別方案和綜合處理系統(tǒng)。建議利用人工智能多模態(tài)融合處理系統(tǒng)實(shí)現(xiàn)精準(zhǔn)識(shí)別和控制（交互）。

其實(shí)智能電視發(fā)展到現(xiàn)在還是有很大進(jìn)步的，在AI 交互體驗(yàn)上也有較大程度的提升?？v觀目前市面上的智能電視，在人工智能方面主要有三方面的體現(xiàn)：（1）語(yǔ)音、手勢(shì)、體感等自然交互控制；（2）智能個(gè)性化內(nèi)容推薦；（3）智能家居系統(tǒng)控制。其中，交互操控是一臺(tái)智能電視最主要、也是最必不可少的功能，因此大多數(shù)智能電視的AI 功能都相當(dāng)重視自然交互，通過(guò)對(duì)AI 技術(shù)的不斷更新迭代，以給用戶帶來(lái)更加人性化、差異化的交互體驗(yàn)。

（二）未來(lái)發(fā)展趨勢(shì)

隨著技術(shù)的不斷發(fā)展，智能電視的交互方式也會(huì)有所變化，而且隨著計(jì)算機(jī)、人工智能、虛擬現(xiàn)實(shí)等相關(guān)技術(shù)的快速發(fā)展和成熟，相信在不久的將來(lái)又會(huì)涌現(xiàn)出大量新的交互方式，并將不斷挑戰(zhàn)人的使用習(xí)慣。但筆者認(rèn)為無(wú)論交互技術(shù)怎樣發(fā)展，未來(lái)的智能電視交互操作將更加自然化，在高度智能化的同時(shí)智能電視交互的發(fā)展方向必將是多通道的智能融合、更加個(gè)性化和情感化，也就是智能電視越來(lái)越像一個(gè)人，甚至比人還聰明、體貼。

當(dāng)前最熱的語(yǔ)音和手勢(shì)兩種新交互方式將會(huì)在近段時(shí)間得到快速的優(yōu)化發(fā)展，人工智能和情感交互將成為長(zhǎng)期發(fā)展的趨勢(shì)，未來(lái)人與電視的交互就像人與人之間的交流那樣自然，同時(shí)電視也將具有類似人的情感和智慧，可以通過(guò)感應(yīng)人的狀況智能化調(diào)整與人的交互方式。

四、結(jié) 論

自然交互在人工智能時(shí)代將是一個(gè)具有廣闊應(yīng)用前景的高新技術(shù)領(lǐng)域，其研究范圍廣泛，但目前受諸多因素限制顛覆性突破艱難，仍存在許多有待解決的問(wèn)題。為了提高智能電視系統(tǒng)的可交互性、逼真性和沉浸感，需要加強(qiáng)新型傳感和感知、算法建模、高性能計(jì)算和圖形圖像處理等技術(shù)，同時(shí)提升在人工智能、心理學(xué)、社會(huì)學(xué)等領(lǐng)域的融合協(xié)同研究。本文通過(guò)文獻(xiàn)研究和考察調(diào)研相結(jié)合的方式對(duì)智能電視的自然交互進(jìn)行了論述，并對(duì)有待解決的問(wèn)題作了一定的分析，同時(shí)梳理了未來(lái)的發(fā)展趨勢(shì)，以期為面向萬(wàn)物互聯(lián)趨勢(shì)下新的設(shè)計(jì)機(jī)遇與挑戰(zhàn)提供依據(jù)和參考。相信隨著技術(shù)的快速發(fā)展和成熟，自然人機(jī)交互將會(huì)帶給我們?nèi)祟愒陔娨暜a(chǎn)品中更完美的“視聽(tīng)觸”等方面的多感融合體驗(yàn)。