黃興旺 孫 鵬 韓 銳 劉春梅

1(中國(guó)科學(xué)院聲學(xué)研究所國(guó)家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心 北京 100190)2(中國(guó)科學(xué)院大學(xué) 北京 100190)

?

基于多屏協(xié)同的智能電視人機(jī)交互系統(tǒng)

黃興旺1,2孫 鵬1韓 銳1劉春梅1

1(中國(guó)科學(xué)院聲學(xué)研究所國(guó)家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心 北京 100190)2(中國(guó)科學(xué)院大學(xué) 北京 100190)

基于多屏協(xié)同的智能電視人機(jī)交互系統(tǒng)定義了移動(dòng)設(shè)備對(duì)智能電視的遠(yuǎn)程操控和文本輸入的通信機(jī)制，以解決用戶對(duì)智能電視的操作不靈活的問(wèn)題，尤其改善用戶的文本輸入操作體驗(yàn)。該通信機(jī)制穩(wěn)定、可擴(kuò)展性強(qiáng)，適用于不同平臺(tái)的遠(yuǎn)程操控和文本輸入需求。該系統(tǒng)基于UPnP協(xié)議實(shí)現(xiàn)了快速連接移動(dòng)設(shè)備和智能電視，并且以Android系統(tǒng)廣播機(jī)制和輸入機(jī)制為依據(jù)，提出了基于虛擬驅(qū)動(dòng)的輸入擴(kuò)展機(jī)制，達(dá)到了原生鼠標(biāo)鍵盤(pán)事件的效果，實(shí)現(xiàn)了利用移動(dòng)設(shè)備對(duì)智能電視進(jìn)行交互控制的設(shè)計(jì)。實(shí)驗(yàn)證明，該人機(jī)交互系統(tǒng)，具有無(wú)縫連接、操作簡(jiǎn)單的優(yōu)點(diǎn)，尤其適合用戶進(jìn)行文本輸入操作。

Android平臺(tái) 智能電視 移動(dòng)設(shè)備 人機(jī)交互 UPnP協(xié)議 遠(yuǎn)程操控 文本輸入

0 引 言

由于傳統(tǒng)家庭電視設(shè)備難于交互，特別是進(jìn)行內(nèi)容搜索、文本輸入時(shí)，遙控器難以操作、速度慢等，因此研制智能電視人機(jī)交互系統(tǒng)，實(shí)現(xiàn)移動(dòng)設(shè)備對(duì)智能電視的遠(yuǎn)程操控、文本輸入，對(duì)于提升數(shù)字家庭用戶娛樂(lè)體驗(yàn)有十分重要的意義。當(dāng)前，多源聚合、多屏互動(dòng)、云電視等，興起了電視領(lǐng)域的新一輪技術(shù)演進(jìn)浪潮。其中，多屏互動(dòng)技術(shù)[1]，因其能使智能電視不但能夠?yàn)橛脩籼峁╊愋投鄻拥膽?yīng)用，也可以借助智能移動(dòng)終端，為用戶提供更加豐富的交互體驗(yàn)，即提供多屏協(xié)同功能，因而成為包括蘋(píng)果、微軟、小米等眾多廠家研究的熱點(diǎn)。本文基于以上兩點(diǎn)，研究實(shí)現(xiàn)基于多屏協(xié)同的人機(jī)交互系統(tǒng)，為用戶提供更加良好的功能和服務(wù)。

在人機(jī)交互研究方面，其中一類研究是基于觸摸屏的二維手勢(shì)識(shí)別交互研究。文獻(xiàn)[2]通過(guò)為觸摸交互應(yīng)用，構(gòu)建模型，重用手勢(shì)來(lái)提高交互一致性。文獻(xiàn)[3]提出了基于簡(jiǎn)單觸摸手勢(shì)的通用描述框架，向設(shè)計(jì)者提供一種較為系統(tǒng)化和標(biāo)準(zhǔn)化的方法，提高交互手勢(shì)系統(tǒng)的設(shè)計(jì)的通用性。文獻(xiàn)[4]基于用戶行為習(xí)慣和遙控操作的差異性，提出基于觸摸屏手勢(shì)特征設(shè)計(jì)并定義觸摸控制手勢(shì)的類型和算法。上述人機(jī)交互遙控系統(tǒng)都偏重于手勢(shì)識(shí)別方面，而未關(guān)注遙控通信建立階段卻存在連接建立慢、繁瑣的問(wèn)題。文獻(xiàn)[5]中提出的多屏互動(dòng)系統(tǒng)，采用自己設(shè)計(jì)的通信協(xié)議，并且基于TCP實(shí)現(xiàn)，交互通信穩(wěn)定。但該系統(tǒng)服務(wù)器一個(gè)時(shí)刻只能有一個(gè)授權(quán)客戶端，并且需要用戶輸入智能電視IP地址的操作才能建立通信連接，對(duì)于普通用戶而言要求太高。

由于Android系統(tǒng)[6]是目前國(guó)內(nèi)智能電視的主流操作系統(tǒng)，開(kāi)源并且具有Google和眾多開(kāi)源社區(qū)的強(qiáng)力支持，因此，本文以此為平臺(tái)進(jìn)行系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)，尤其利用了一些Android系統(tǒng)優(yōu)良的系統(tǒng)特性，實(shí)現(xiàn)了包括虛擬驅(qū)動(dòng)輸入機(jī)制等特定功能。

1 系統(tǒng)結(jié)構(gòu)

本系統(tǒng)主要包括三方面：建立移動(dòng)設(shè)備和智能電視之間的通信；智能電視對(duì)移動(dòng)設(shè)備的命令進(jìn)行解析和執(zhí)行以實(shí)現(xiàn)操作映射；在文本輸入階段，移動(dòng)設(shè)備獲取智能電視文本輸入需求并對(duì)智能電視的命令進(jìn)行解析和執(zhí)行，以實(shí)現(xiàn)移動(dòng)設(shè)備文本輸入對(duì)智能電視的映射。由此實(shí)現(xiàn)智能移動(dòng)終端控制智能電視和輔助智能電視進(jìn)行文本輸入操作，達(dá)到多屏協(xié)同。

圖1是基于多屏協(xié)同的智能電視人機(jī)交互系統(tǒng)結(jié)構(gòu)，包括智能電視的功能模塊層次結(jié)構(gòu)。

圖1 智能電視交互系統(tǒng)結(jié)構(gòu)

在智能電視中，主要包括以下模塊：

(1) UPnP：通用即插即用協(xié)議模塊，主要功能是快速建立移動(dòng)設(shè)備和智能電視的設(shè)備互連。

(2) 帶外通信模塊：用于建立和移動(dòng)設(shè)備的Socket通信連接，傳輸信令消息。

(3) 解析模塊：解析來(lái)自UPnP或帶外通信模塊的信令消息。

(4) 虛擬驅(qū)動(dòng)：通過(guò)JNI從解析模塊中獲取移動(dòng)設(shè)備傳來(lái)的信令，實(shí)現(xiàn)原生鍵盤(pán)、鼠標(biāo)輸入效果，從而完成遠(yuǎn)程操控和文本輸入操作。

圖2是移動(dòng)設(shè)備系統(tǒng)模塊，包括界面響應(yīng)部分和后臺(tái)信息處理部分。

圖2 移動(dòng)設(shè)備交互系統(tǒng)模塊

在移動(dòng)設(shè)備中，相應(yīng)的模塊描述如下：

(1) UDP模塊：將信令以預(yù)先定義的消息通信格式發(fā)送給智能電視，或者接收來(lái)自智能電視的消息。

(2) UPnP模塊：建立移動(dòng)設(shè)備和智能電視的互連互通，并獲取智能電視的IP地址。

(3) 帶外通信模塊：利用UPnP模塊獲取的智能電視IP建立帶外通信，實(shí)現(xiàn)家庭網(wǎng)絡(luò)環(huán)境中的穩(wěn)定通信。

(4) 遠(yuǎn)程操控模塊：利用帶外通信傳輸從觸摸屏上獲取的鍵值。

(5) 文字輸入模塊：利用帶外通信傳輸觸摸屏上輸入的文本內(nèi)容。

2 UPnP技術(shù)實(shí)現(xiàn)設(shè)備互連

UPnP技術(shù)[7]支持家庭網(wǎng)絡(luò)內(nèi)的對(duì)等連接，支持設(shè)備間的互聯(lián)互通。使用UPnP(即通用即插即用協(xié)議)，設(shè)備能動(dòng)態(tài)加入網(wǎng)絡(luò)，可自動(dòng)獲取IP地址，接著向其他UPnP設(shè)備宣告它的能力和服務(wù)(service)，或者獲得其他UPnP設(shè)備的存在和服務(wù)(servcie)，上述過(guò)程都是協(xié)議規(guī)定中自動(dòng)完成的，此后這些設(shè)備便可相互通信[8]。本文即采用UPnP技術(shù)實(shí)現(xiàn)設(shè)備互聯(lián)。

當(dāng)一個(gè)設(shè)備被添加到家庭網(wǎng)絡(luò)后，UPnP的發(fā)現(xiàn)部分協(xié)議，允許其向家庭網(wǎng)絡(luò)中的控制點(diǎn)等設(shè)備，以組播方式宣告自己可以提供的服務(wù)。而當(dāng)控制點(diǎn)被添加到家庭網(wǎng)絡(luò)時(shí)，UPnP發(fā)現(xiàn)部分協(xié)議，允許這個(gè)控制點(diǎn)設(shè)備，通過(guò)M-Search的方式來(lái)對(duì)家庭網(wǎng)絡(luò)上其感興趣的設(shè)備進(jìn)行搜索。上述的兩種情形下的組播消息內(nèi)容，通常是設(shè)備與服務(wù)的基本內(nèi)容信息，像它的類型、當(dāng)前狀態(tài)參數(shù)、唯一標(biāo)識(shí)符等。發(fā)現(xiàn)的過(guò)程可以如圖3所示。

圖3 UPnP設(shè)備發(fā)現(xiàn)技術(shù)

利用UPnP設(shè)備發(fā)現(xiàn)技術(shù)，移動(dòng)設(shè)備便可以獲得所連接的智能電視的IP地址。由于在家庭網(wǎng)絡(luò)環(huán)境下，存在多個(gè)移動(dòng)設(shè)備連接同一智能電視的情況，如果采用TCP連接進(jìn)行信令傳送，需要維護(hù)當(dāng)前所有已連接的移動(dòng)設(shè)備的IP地址，并且需采用合適的策略，判定哪個(gè)IP地址是當(dāng)前需要對(duì)電視進(jìn)行操控的移動(dòng)設(shè)備的IP。而采用UDP協(xié)議，智能電視端只需要維持一個(gè)最新連接的移動(dòng)設(shè)備的IP地址，因此，UPnP設(shè)備連接建立后，后續(xù)的遠(yuǎn)程操控和文本輸入以UDP為基礎(chǔ)，進(jìn)行信令傳送。

3 遠(yuǎn)程操控模塊

遠(yuǎn)程操控模塊：首先，通過(guò)UPnP實(shí)現(xiàn)智能電視與移動(dòng)設(shè)備的設(shè)備互聯(lián)，移動(dòng)設(shè)備從而獲取智能電視IP地址，并由此可建立從移動(dòng)設(shè)備向智能電視發(fā)起的UDP通信；然后，移動(dòng)設(shè)備將觸摸屏上獲得的操作對(duì)應(yīng)的鍵值等信息通過(guò)該UDP通信機(jī)制傳遞給智能電視；智能電視收到來(lái)自移動(dòng)設(shè)備的命令后，通過(guò)對(duì)命令進(jìn)行解析，讀取命令類型和鍵值，然后借助Android系統(tǒng)的輸入機(jī)制，達(dá)到原生鼠標(biāo)鍵盤(pán)事件的效果。整個(gè)操作控制交互流程如圖4所示。

圖4 遠(yuǎn)程操控交互

本文借助Android系統(tǒng)的輸入機(jī)制，提出一種基于虛擬驅(qū)動(dòng)的輸入擴(kuò)展機(jī)制。通過(guò)建立一個(gè)事件處理機(jī)制，將Android應(yīng)用獲得的操控消息，在用戶空間經(jīng)過(guò)理解映射寫(xiě)入設(shè)備文件，轉(zhuǎn)換為原生的鼠標(biāo)鍵盤(pán)等輸入事件，注入內(nèi)核空間，可向所有應(yīng)用程序分發(fā)該輸入事件。內(nèi)核收到重新注入的事件之前的過(guò)程都是透明的，對(duì)內(nèi)核而言，這些事件與直接由鍵盤(pán)鼠標(biāo)輸入的事件沒(méi)有差別。通過(guò)這種方式將既保證了事件基于系統(tǒng)中規(guī)范的通道被傳遞，又避免了將事件映射過(guò)程寫(xiě)入驅(qū)動(dòng)。

在用戶空間建立事件映射服務(wù)進(jìn)程，從Android應(yīng)用讀取操控消息，統(tǒng)一映射之后再通過(guò)虛擬驅(qū)動(dòng)實(shí)現(xiàn)對(duì)內(nèi)核的透明輸入?；谔摂M驅(qū)動(dòng)的輸入方式擴(kuò)展原理如圖5所示。

圖5 基于虛擬驅(qū)動(dòng)的輸入擴(kuò)展機(jī)制

由Android應(yīng)用專門(mén)的服務(wù)進(jìn)程(extension-server)監(jiān)聽(tīng)Socket端口[9]，識(shí)別事件信息或網(wǎng)絡(luò)數(shù)據(jù)包指令，并將其轉(zhuǎn)換為預(yù)定義的鍵盤(pán)、鼠標(biāo)的輸入事件，經(jīng)由虛擬驅(qū)動(dòng)注入到內(nèi)核輸入子系統(tǒng)，從而實(shí)現(xiàn)不同交互手段的方便擴(kuò)展。

Android應(yīng)用與底層內(nèi)核的交互，需要通過(guò)JNI技術(shù)實(shí)現(xiàn)[10]。在本文的基于虛擬驅(qū)動(dòng)的輸入擴(kuò)展機(jī)制中，在Java層定義輸入事件的接口，匹配N(xiāo)ative層[11]提供的輸入事件的接口，從而可在Android應(yīng)用中調(diào)用這些接口，實(shí)現(xiàn)鍵盤(pán)、鼠標(biāo)事件的輸入。

4 文字輸入模塊

在多屏互動(dòng)場(chǎng)景中，當(dāng)需要向智能電視輸入文字時(shí)，如果通過(guò)遙控器操控，將會(huì)非常不便，這種情況下，用戶需要頻繁移動(dòng)焦點(diǎn)以選擇字符進(jìn)行文本輸入，不僅費(fèi)時(shí)，而且容易出錯(cuò)。通過(guò)UPnP協(xié)議，利用手機(jī)等移動(dòng)設(shè)備來(lái)輸入，就會(huì)大大地增加便利性。

文字輸入模塊：需要實(shí)現(xiàn)的是在智能電視用戶進(jìn)入到輸入文本框時(shí)，能夠檢測(cè)到與之連接的移動(dòng)設(shè)備，通知移動(dòng)設(shè)備進(jìn)行文字輸入，然后在移動(dòng)設(shè)備開(kāi)啟文字輸入的界面，進(jìn)行文字輸入，文字輸入結(jié)束后，在智能電視的輸入文本框中執(zhí)行輸入完成事件。

基于上述功能描述，移動(dòng)設(shè)備和智能電視要進(jìn)行信息的交互處理，因此本文設(shè)計(jì)利用UPnP的設(shè)備互連互通和服務(wù)交互，在智能電視和移動(dòng)設(shè)備的服務(wù)上擴(kuò)展出文字輸入的功能，讓智能電視端在找到連接的移動(dòng)設(shè)備端的服務(wù)后，通過(guò)文字輸入的功能接口將要進(jìn)行文字輸入的信息傳遞到移動(dòng)設(shè)備端，當(dāng)輸入完成時(shí)，通知智能電視端服務(wù)執(zhí)行輸入完成指令。

具體實(shí)現(xiàn)這個(gè)功能時(shí)，我們還利用了智能電視端的輸入法模塊與其他應(yīng)用進(jìn)行文本框信息的交互，具體是指何時(shí)進(jìn)入文本框、文本輸入的信息交互和何時(shí)完成文本輸入這三個(gè)事件，這部分交互我們采用Android系統(tǒng)廣播的形式。為了實(shí)現(xiàn)移動(dòng)設(shè)備控制智能電視進(jìn)行文字輸入，采用代碼方式，動(dòng)態(tài)地對(duì)廣播接收者[12]進(jìn)行注冊(cè)，實(shí)現(xiàn)移動(dòng)設(shè)備端從監(jiān)聽(tīng)智能電視文字輸入請(qǐng)求的應(yīng)用到啟用移動(dòng)設(shè)備文字輸入軟鍵盤(pán)的動(dòng)作。

在更新智能電視上的已輸入文本內(nèi)容時(shí)，本文采用的策略是：當(dāng)移動(dòng)設(shè)備端輸入內(nèi)容有變化即更新電視端顯示內(nèi)容，方便用戶實(shí)時(shí)根據(jù)已輸入的內(nèi)容判斷輸入是否有誤，這樣符合用戶正常的輸入習(xí)慣，使得用戶具有在自己移動(dòng)設(shè)備上進(jìn)行輸入操作一樣的體驗(yàn)。

當(dāng)有文本輸入的操作需求時(shí)，移動(dòng)設(shè)備觸摸屏上會(huì)有一個(gè)單擊文本框的選定操作(借助于遠(yuǎn)程控制模塊)，該操作對(duì)應(yīng)的會(huì)給智能電視發(fā)送一個(gè)命令，攜帶確認(rèn)選中該文本框進(jìn)行文本輸入的命令。智能電視此時(shí)從該報(bào)文中，便能獲得即將進(jìn)行文本輸入的移動(dòng)設(shè)備的IP地址。通過(guò)該IP地址，智能電視端便能向移動(dòng)設(shè)備發(fā)送命令報(bào)文，攜帶文本框的交互信息。移動(dòng)設(shè)備收到報(bào)文請(qǐng)求后，解析報(bào)文內(nèi)容，判斷此時(shí)文本框的類型等信息。根據(jù)此時(shí)收到的報(bào)文內(nèi)容，決定彈出的軟鍵盤(pán)類型，并進(jìn)行后續(xù)的文本內(nèi)容輸入操作。由于采用UDP協(xié)議進(jìn)行后續(xù)操作，所以簡(jiǎn)化了維持連接IP地址池的工作，只需要維持最新收到的UDP報(bào)文中的IP地址一個(gè)全局變量即可。系統(tǒng)交互過(guò)程如圖6所示。

圖6 文字輸入交互

本模塊優(yōu)點(diǎn)在于巧妙利用了用戶在進(jìn)行文本輸入時(shí)的操作即選中文本框的動(dòng)作來(lái)獲知智能電視需要進(jìn)行文本輸入操作，并且借此獲取文本輸入類型，移動(dòng)設(shè)備據(jù)此提供給用戶合適的輸入法軟鍵盤(pán)。該方法解決了移動(dòng)設(shè)備難以得知智能電視何時(shí)需要進(jìn)行文本輸入，以及對(duì)來(lái)自智能電視的命令進(jìn)行解析，以調(diào)用合適的輸入法的這一難點(diǎn)，從而實(shí)現(xiàn)移動(dòng)設(shè)備輸入的無(wú)縫切換。

5 實(shí)驗(yàn)與討論

5.1 硬件參數(shù)

系統(tǒng)測(cè)試硬件平臺(tái)為GIEC機(jī)頂盒(搭載GIEC Android SDK 4.4)、TPLink路由器和魅族2、華為P7手機(jī)，其中，GIEC機(jī)頂盒為智能電視硬件載體，TPLink路由器為網(wǎng)絡(luò)連接設(shè)備，三星pad作為移動(dòng)設(shè)備載體，接入同一無(wú)線局域網(wǎng)。交互界面如圖7所示。

圖7 交互界面

5.2 測(cè)試結(jié)果

本文在無(wú)線局域網(wǎng)內(nèi)測(cè)試設(shè)備連接建立時(shí)間，通過(guò)Wireshark軟件抓取數(shù)據(jù)通信報(bào)文，圖8是其中一次測(cè)試中抓取的連接建立交互報(bào)文信息。

圖8 設(shè)備連接建立交互報(bào)文示例

其中，SSDP報(bào)文為移動(dòng)終端發(fā)出的搜索UPnP中MediaRender設(shè)備(這里即智能電視)的組播報(bào)文，而圖中最后一個(gè)內(nèi)容信息為“HTTP/1.1 200 OK”的報(bào)文即是智能電視給予移動(dòng)終端的響應(yīng)報(bào)文，表明UPnP設(shè)備連接經(jīng)過(guò)約2.5秒建立。

本文在無(wú)線局域網(wǎng)內(nèi)測(cè)試多個(gè)移動(dòng)終端設(shè)備同時(shí)連接作為MediaRender的智能電視，測(cè)試輸入時(shí)的無(wú)縫切換效果，如圖9所示，兩圖中一個(gè)移動(dòng)設(shè)備進(jìn)行輸入操作時(shí)，另一個(gè)移動(dòng)設(shè)備不會(huì)因此受到影響(不會(huì)同正在輸入的手機(jī)一樣彈出軟鍵盤(pán))。

圖9 多移動(dòng)終端連接時(shí)切換設(shè)備輸入示例

5.3 測(cè)試分析

多次測(cè)試結(jié)果表明，該系統(tǒng)設(shè)備連接建立時(shí)間小于3秒；采用了基于虛擬驅(qū)動(dòng)的輸入擴(kuò)展機(jī)制的遠(yuǎn)程操控，其命令執(zhí)行準(zhǔn)確及時(shí)；文字輸入便捷，比傳統(tǒng)遙控器輸入快2至3倍，能夠極大提升文本輸入效率，且能夠在多移動(dòng)終端連接時(shí)實(shí)現(xiàn)無(wú)縫切換。通過(guò)本人機(jī)交互系統(tǒng)操控智能電視運(yùn)行其他應(yīng)用時(shí)，也對(duì)移動(dòng)設(shè)備的操作給予了正確的響應(yīng)，驗(yàn)證了本系統(tǒng)方案的正確性。

與業(yè)界的同類系統(tǒng)相比，如文獻(xiàn)[5]中提出的多屏系統(tǒng)，本文提出的系統(tǒng)能支持多個(gè)設(shè)備進(jìn)行同時(shí)連接，也不需要用戶輸入智能電視IP地址來(lái)建立連接，操作簡(jiǎn)單。而文獻(xiàn)[13]中所提到的多屏協(xié)同智能輸入系統(tǒng)，它不具有遠(yuǎn)程控制功能，因而不能滿足智能電視的遙控方面的需求。另外，本文提出并實(shí)現(xiàn)的系統(tǒng)，采用了用戶選中文本框進(jìn)行輸入操作時(shí)的點(diǎn)擊動(dòng)作事件實(shí)現(xiàn)輸入終端切換的策略，使該系統(tǒng)既具有支持連接多個(gè)移動(dòng)設(shè)備的優(yōu)點(diǎn)，又具有在各個(gè)移動(dòng)設(shè)備間進(jìn)行控制、輸入操作時(shí)無(wú)縫切換的優(yōu)點(diǎn)。

6 結(jié) 語(yǔ)

本文提出的基于多屏協(xié)同的智能電視人機(jī)交互系統(tǒng)，其設(shè)備互連建立在UPnP協(xié)議之上，連接快速；遠(yuǎn)程操作控制，基于虛擬驅(qū)動(dòng)的輸入擴(kuò)展機(jī)制，實(shí)現(xiàn)了Android原生的操控效果；而本文設(shè)計(jì)并實(shí)現(xiàn)的文本輸入法，能夠有效解決傳統(tǒng)遙控器難以進(jìn)行文本輸入操作的問(wèn)題。此外，本方案適當(dāng)擴(kuò)展UPnP服務(wù)[14]，能擴(kuò)展成為當(dāng)前熱門(mén)的多屏互動(dòng)系統(tǒng)，具有良好的可擴(kuò)展性。不足之處在于，當(dāng)家庭網(wǎng)絡(luò)網(wǎng)絡(luò)環(huán)境較差時(shí)，交互信令可能會(huì)有一定的網(wǎng)絡(luò)延遲，這也是本文后續(xù)需要繼續(xù)研究改進(jìn)的方向。

[1] 余澤喜,王香婷,馬婷婷.多屏互動(dòng)系統(tǒng)的研究與實(shí)現(xiàn)[J].智能計(jì)算機(jī)與應(yīng)用,2012,2(1):69-70.

[2] 薛嬌,孫鵬,鄧峰,等.基于觸摸屏的手勢(shì)遙控系統(tǒng)[J].計(jì)算機(jī)工程,2014,40(6):285-290.

[3] Lao S,Heng X,Zhang G,et al.A gestural interaction design model for multi-touch displays[C].British Computer Society Conference on Human-computer Interaction,2009,1(3):440-446.

[4] 張國(guó)華,衡祥安,凌云翔,等.基于多點(diǎn)觸摸的交互手勢(shì)分析與設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用研究,2010,27(5):1737-1739.

[5] 吳軼群,朱亞?wèn)|,王明敏.基于Android平臺(tái)的多屏互動(dòng)系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(10):234-238.

[6] 曾健平,邵艷潔.Android系統(tǒng)架構(gòu)及應(yīng)用程序開(kāi)發(fā)研究[J].微計(jì)算機(jī)信息,2011(9):1-3.

[7] Miller B A,Nixon T,Tai C,et al.Home networking with Universal Plug and Play[J].IEEE Communications Magazine,2002,39(12):104-109.

[8] 陳艷.基于UPnP的數(shù)字電視機(jī)頂盒控制技術(shù)的研究[J].電腦知識(shí)與技術(shù),2013(1):162-164.

[9] 哈諾德.Java網(wǎng)絡(luò)編程[M].中國(guó)電力出版社,2005.

[10] Cinar O.Pro Android C++ with the NDK[M].Apress,2012.

[11] Meier R.Professional Android 4 application development[M].John Wiley & Sons,2012.

[12] 秦建平.Android 編程寶典[M].北京航空航天大學(xué)出版社,2013.

[13] 四川長(zhǎng)虹電器股份有限公司.多屏協(xié)同智能輸入系統(tǒng)及其實(shí)現(xiàn)方法:中國(guó),CN201310566456.X[P].2014-2-26.

[14] 李騰.基于UPnP的多屏互動(dòng)實(shí)現(xiàn)[D].北京郵電大學(xué),2014.

SMART TV HUMAN-COMPUTER INTERACTION SYSTEM BASED ON MULTI-SCREEN COLLABORATION

Huang Xingwang1,2Sun Peng1Han Rui1Liu Chunmei1

1(NationalNetworkNewMediaEngineeringResearchCenter,InstituteofAcoustics,ChineseAcademyofSciences,Beijing100190,China)2(UniversityofChineseAcademyofSciences,Beijing100190,China)

The smart TV human-computer interaction system based on multi-screen collaboration defines a communication mechanism for mobile devices in regard to remote control and text input on smart TV so as to solve the problem that user’s control on smart TV is not flexible, in particular to improve user’s experience of text inputting operation. This mechanism is stable and has high scalability, and is suitable for the requirement of remote control and text input on different platforms. Based on UPnP protocol the system implements fast connection on mobile devices and smart TV, and presents the virtual drive-based input extension mechanism based on Android system broadcast mechanism and input mechanism, this achieves the effect of the native mouse and keyboard events, thus realises the design of using mobile devices to interactively control smart TV. Experiments show that this human-computer interaction system has the advantages of seamless connectivity and simple operation, and is particularly suitable for users in text input operation.

Android platform Smart TV Mobile devices Human-computer interaction UPnP Remote control Text input

2015-09-15。國(guó)家科技支撐計(jì)劃課題(2012BAH73 F01)；中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)項(xiàng)目(XDA06040501)。黃興旺，碩士生，主研領(lǐng)域：智能終端。孫鵬，研究員。韓銳，副研究員。劉春梅，助理研究員。

TP3

A

10.3969/j.issn.1000-386x.2016.11.012