王艷 劉偉衛(wèi)

摘 要：文章結合綜合顯示系統(tǒng)的應用實際，從進一步擴展指揮顯示功能的需求出發(fā)，設計了一套集視頻顯示、數據顯示、綜合態(tài)勢顯示于一體的多點觸控及顯示系統(tǒng)，在提升綜合顯示系統(tǒng)現(xiàn)場輔助決策能力方面進行了研究。

關鍵詞：多點觸控；顯示；輔助決策

1 概述

經過多年的建設應用，中國華陰兵器試驗中心的綜合顯示系統(tǒng)實現(xiàn)了綜合信息實時按需顯示，在任務中發(fā)揮了重要作用，為任務的組織指揮提供了可視化的指揮調度手段和信息化輔助手段，提高了整體工作效率。

但在當前的系統(tǒng)應用模式中，顯示大廳只為前排的操作人員和保障人員提供了工作臺位，而在觀摩席位就座的其他人員缺乏必要的個性化按需顯示設施，其通過主屏幕了解的信息非常有限，無法做到及時掌握任務進展態(tài)勢、各關鍵點實時情況和各設備工作情況等，很多情況只能由各臺位保障人員轉述，在一定程度上制約了現(xiàn)場決策的靈活性和實時性，無形中加大了任務組織實施的難度。因而有必要為后排相關人員設計一套用于及時全面掌握任務進展態(tài)勢的多點觸控及顯示系統(tǒng)，進一步豐富系統(tǒng)顯示功能和顯示方式，增強人機交互性，全面提高任務保障能力。

2 觸控及顯示終端系統(tǒng)設計

2.1 系統(tǒng)設計

多點觸控及顯示系統(tǒng)主要包括控制軟件和硬件平臺兩部分。硬件包括觸控顯示終端、高性能圖形工作站、承載支架等?？刂栖浖崿F(xiàn)多路視頻源信息和顯示終端軟件的觸控顯示功能。系統(tǒng)連接關系如圖1所示。

2.1.1 硬件設計

多點觸控及顯示系統(tǒng)硬件主要由顯示終端、圖形工作站、承載平臺組成。

（1）顯示終端。顯示終端采用電容技術觸摸屏（Capacity Touch Panel，CTP）?？梢酝瑫r顯示16路視頻源，并支持10點觸控效果。

（2）圖形工作站。圖形工作站是整個系統(tǒng)信息處理的集成終端，主要實現(xiàn)多點觸控組件驅動和數據處理。圖形工作站匯集所有接收到的模擬視頻源、數字視頻源以及計算機信息，并將其所有信息源根據需要進行相應的編碼、編排處理，通過顯示終端展現(xiàn)給用戶。

（3）視頻轉發(fā)服務器。視頻轉發(fā)服務器是整個集成設備信息處理的轉發(fā)中心，主要實現(xiàn)視頻流的多點信息轉發(fā)處理。視頻轉發(fā)服務器匯集所有接收到的視頻流，并將其根據終端需求進行相應的編碼處理，通過網絡轉發(fā)給需要顯示的終端用戶。

2.1.2 軟件設計

（1）手勢觸摸控制界面。如圖2所示，此界面安裝于圖像工作站上，是整個系統(tǒng)的操作界面。在畫面瀏覽窗口內，實時顯示各個已正常連接的視頻畫面和遠程桌面，用戶可使用手勢在各個候選畫面進行切換，選擇出欲瀏覽畫面后將其拖放于多畫面實時顯示窗口。在多畫面實時顯示窗口中放大顯示選中的各種畫面，包括視頻畫面、錄像畫面和遠程桌面。用戶可以隨意在單畫面、四畫面、九畫面之間進行切換。用戶可通過該窗口進行視頻畫面的放大、縮小、平移、推拉等操作（見圖3），并可根據連接設置情況進行顏色、對比度、亮度、色度等畫面調節(jié)。

（2）遠程桌面控制。在電子地圖和參數顯示等計算機上安裝遠程桌面服務系統(tǒng)，觸屏計算機可進行遠程桌面控制。該服務系統(tǒng)可響應遠程客戶端的鼠標和鍵盤輸入，并將本地顯示畫面實時流暢地傳遞給圖形工作站。同時該圖形工作站還能響應遠程手勢觸摸操作，根據鼠標手勢進行地圖軟件的放大縮小、平移切換等操作。

（3）遠程視頻點播。遠程接收視頻，選擇最佳畫質碼流，使用RTP流媒體協(xié)議實時播放選中的視頻畫面，在視頻服務器提供聲音功能的情況下，自動選取相應聲音同步播放，可對選看的視頻畫面進行平移、縮放和推拉操作。

（4）遠程視頻錄像。存儲遠程視頻，并提供界面進行回放。對于觸屏客戶端接收到的視頻流進行本地存儲，提供界面以方便事后回放?；胤沤缑鎽シ?、暫停、快進與快退功能。

（5）數據瀏覽。內置網頁瀏覽器；顯示數據服務器的上網頁內容。操作界面上內置網頁瀏覽器，可同時顯示（兩幅）網頁數據畫面，并可以對其顯示頁面進行觸屏操作，根據鼠標手勢進行瀏覽頁面的放大縮小、平移切換等操作。

（6）視頻轉發(fā)服務。轉發(fā)接收到的視頻流，支持8臺以上的觸屏客戶端。本系統(tǒng)設計時，需要接收視頻編碼器傳輸的視頻流，目前正在應用的北清視頻編碼器只提供最多5路視頻流，遠遠不能滿足系統(tǒng)至少8臺觸屏控制終端同時顯示的功能。而且北清的視頻編碼器還需要對其他系統(tǒng)提供視頻流，所以在本系統(tǒng)中，從北清視頻編碼器接收的視頻流只能限定為一路。為了將收到的一路視頻流分發(fā)給至少8臺觸屏終端，在系統(tǒng)中增加一臺視頻轉發(fā)服務器并配置相應的視頻流轉發(fā)軟件，由視頻轉發(fā)服務器實時將接收到的視頻流轉發(fā)給多臺客戶端，系統(tǒng)設計至少支持16臺的觸屏客戶端。

（7）用戶管理。角色設置，安全操作，功能授權。系統(tǒng)設置多種用戶級別，對用戶操作功能與權限進行分類，設置不同的角色，每一種角色對應相應的功能操作權限。系統(tǒng)設置有超級權限管理員，所有用戶及角色都超級管理員創(chuàng)建并逐級下發(fā)管理，并在必要時所有權限均可由超級管理員收回。使用系統(tǒng)的每一個用戶都歸屬于不同的用戶角色，并且只能使用該角色限定的操作功能。根據實際安全需求本系統(tǒng)設置的用戶角色管理員、操作員和瀏覽用戶3種角色，分別是管理員、操作員、瀏覽用戶。

（8）參數配置。參數配置包括：預覽區(qū)域配置，字幕疊加，配置文件管理。

①預覽區(qū)域配置。預覽區(qū)域至少顯示16路視頻圖像和遠程桌面窗口，系統(tǒng)超級管理員對預覽區(qū)域中每一路顯示畫面均可以單獨進行配置，可配置其IP地址、端口號、視頻類型、解碼方式、顯示比例、最佳質量等。系統(tǒng)管理員也可以根據需求額外增加并配置顯示畫面。

②字幕疊加。每一路畫面最多可顯示16個漢字的標題。標題文字的設置由超級管理員完成，超級管理員可針對每一路顯示畫面單獨設置是否允許疊加文字以及疊加文字的內容。

③配置文件管理。所有的系統(tǒng)配置參數包括預覽區(qū)參數設置、文字疊加設置等都以XML文件格式保存在運行文件夾之下，系統(tǒng)管理員可以按試驗名稱保存當前信號源配置信息，并將配置文件導出保存。

④本地與遠程配置。系統(tǒng)提供本地操作配置界面，所有配置操作均由超級管理員在本地操作完成，可將配置文件導入或導出，可設置預覽區(qū)畫面信息等。

2.2 系統(tǒng)原理

多點觸控及顯示系統(tǒng)由位于底層的操作系統(tǒng)層、網絡通信層、網絡服務層和應用顯示層4部分組成，如圖4所示。

2.2.1 操作系統(tǒng)層

操作系統(tǒng)層是整個系統(tǒng)的基礎運行平臺，主要向上層提供所需要的硬件驅動、外部設備接口、內存管理與進程控制等服務。其中硬件設備的驅動是選擇操作系統(tǒng)首要考慮的內容，如觸摸屏多點觸控驅動、聲音驅動、圖形卡驅動、網卡驅動等都需要操作系統(tǒng)層面的支持。

2.2.2 網絡通信層

網絡通信層使用國際標準的TCP/IP協(xié)議來在多個服務器與控制終端之間進行網絡包交換通信?？紤]到視頻流與音頻流的突發(fā)性與實時性，對于音視頻數據包采用面向無連接的UDP數據報協(xié)議，以減少傳輸過程中的抖動和反復，最大限度的保障音視頻流的實時與流暢。

2.2.3 網絡服務層

網絡服務層是在網絡層之上提供的可供客戶端使用協(xié)議來調用的各類服務。系統(tǒng)中包含的視頻調用服務使用原有北清、?？?、松下視頻服務系統(tǒng)。

遠程桌面服務安裝于參數計算機和地圖等計算機上，用于提供遠程虛擬桌面服務，通過標準訪問控制協(xié)議對外提供本地計算機的屏幕圖像，并接收遠程控制界面的鼠標和鍵盤控制信號，模擬出一個遠程的虛擬計算機桌面。

2.2.4 應用顯示層

應用顯示層是本系統(tǒng)的顯示界面和操作中心。使用穩(wěn)定可靠的計算機編程語言，保障各子功能的流暢顯示，增加對指針設備的多點觸摸控制，利用流行的拖拽操作方式，結合操作界面中的窗口、按鈕、菜單等界面元素完成畫面分割、手指觸控和地圖漫游的功能。支持鼠標、手勢的放大、縮小、輕點、滑動、雙指、3指等。

應用顯示層還集中了視頻調用、遠程桌面和網頁瀏覽客戶端，通過這3個客戶端來跟網絡服務層中的相應服務進行交互，完成相應的功能。

3 多點觸控及顯示系統(tǒng)功能及設計特點

3.1 多點觸控及顯示系統(tǒng)功能

多點觸控及顯示系統(tǒng)具有以下8個功能。

（1）系統(tǒng)具有普通賬戶和管理員兩種用戶權限，普通帳戶只具備畫面調閱功能，管理員賬戶除具備普通賬戶的權限外，還具備圖像源信息維護和全部的顯示控制功能，系統(tǒng)支持動態(tài)切換帳戶。

（2）觸控顯示終端顯示界面分為主顯示區(qū)域和畫面預覽區(qū)域。

（3）在主顯示區(qū)域內系統(tǒng)可以根據需要進行單畫面、四畫面、六畫面、九畫面顯示和切換，雙擊選中的各種畫面進行全屏顯示，顯示畫面包括視頻畫面和遠程桌面，顯示畫面能進行放大、縮小、平移、推拉等操作。

（4）在畫面預覽區(qū)域內，可顯示全部已正常連接的視頻畫面和遠程桌面的實時畫面，單屏可同時顯示8～16路（路數可自定義設置），通過手指左右劃動實現(xiàn)當前顯示畫面的切換，通過手指上下劃動實現(xiàn)預覽畫面向主顯示區(qū)域的選擇性拖放。

（5）系統(tǒng)可同時接收顯示至少6路計算機信號及10路IP視頻圖像共計16路信號，所有接收的視頻圖像可以錄像保存至本地硬盤中，在需要時可調閱回放。

（6）系統(tǒng)可同時顯示（至少兩臺）電腦屏幕信息畫面；并可以對其顯示畫面進行觸屏操作；可對電子地圖進行放大、縮小、平移等操作。

（7）預覽區(qū)域顯示信息可以本地和遠程進行配置和預覽，系統(tǒng)可通過字幕疊加方式遠程和本地配置各顯示畫面的文字說明，可按試驗名稱保存導出當前信號源配置信息，以便下次相同試驗時，直接導入使用歷史配置信息。

（8）系統(tǒng)內置網頁瀏覽器，可同時顯示（兩幅）網頁數據畫面，并可以對其顯示畫面進行觸屏操作。

3.2 技術特點

3.2.1 穩(wěn)定可靠的組織架構

系統(tǒng)組織架構中的各個組成部分均采用經過時間驗證的可靠性極高的成熟系統(tǒng)與協(xié)議，這些系統(tǒng)與協(xié)議也代表著國際公認的未來發(fā)展的正確方向，有著良好的兼容性和后續(xù)發(fā)展動力。

3.2.2 國際標準的通信協(xié)議

網絡服務之間的協(xié)議全部采用流行的國際標準協(xié)議，包括視頻通信協(xié)議、遠程桌面協(xié)議和網頁瀏覽協(xié)議，沒有自定義任何私有的通信協(xié)議，這十分有利于系統(tǒng)的接口與集成。任何系統(tǒng)只要支持這些國際標準協(xié)議都可以無縫地與本系統(tǒng)進行對接，使用本系統(tǒng)的全部或者任何一部分功能。

3.2.3 先進的界面展現(xiàn)與操作方式

通過先進的多點觸摸設備，提供手勢操作的功能，結合流行的視頻畫面分割與拖拽技術，展示給用戶一個清新絢麗而又易于理解操作的控制界面。強勁動力的圖形工作站、寬闊護眼的視網膜級大屏、簡單無需學習而且符合人體操作習慣的界面行為方式，必將會給用戶帶來一個全新舒適的操控感受。

4 結語

建立多點觸控及顯示系統(tǒng)，各類人員可以通過顯示屏瀏覽任務現(xiàn)場畫面及綜合態(tài)勢情況，可直觀地掌握任務發(fā)展態(tài)勢，指揮員可依據顯示信息的相關情況下達命令。該系統(tǒng)拓展了各類決策人員的視野，縮短了任務中的各類事項上傳下達的時間，提高了任務整體執(zhí)行效率。

[參考文獻]

[1]殷旭，俞雅玲，王媛，等.采用良好觸控體驗尺寸的自適應用戶界面生成方法[J].計算機輔助設計與圖形學學報，2014（4）：662-668.

[2]夏潔.Synaptics與比亞迪合作開發(fā)新的汽車觸控屏解決方案[J].計算機與網絡，2016（5）：76.