周妙林，凌飛，信欣，粟駿龍,3

（1. 廣東數(shù)字生態(tài)科技有限責任公司，廣東 韶關 512026；2. 廣東云舜綜合能源科技有限公司，廣東 韶關 512029；3.武漢大學，湖北 武漢 430079）

0 引言

人機交互技術一直屬于研究熱點，人類不斷挖掘其中各類信息傳遞所依賴的有效載體及其對應識別手段。標繪業(yè)務對于人機交互技術有著較強的依賴性，其繪制成果通?；诘乩硇畔⑵脚_進行二三維可視化展示。由于計算機多模態(tài)識別技術的發(fā)展，用戶對于標繪渠道的擴展有著潛在的現(xiàn)實需求，希望突破單一的鼠標鍵盤標繪模式的局限，引入更多標繪模態(tài)。通過融合處理多種模態(tài)輸入信息，從中提取各種形態(tài)的用戶交互命令，結(jié)合多模態(tài)語義理解技術，最終讓計算機捕捉和識別用戶的交互意圖，充分發(fā)揮不同模態(tài)的數(shù)據(jù)處理優(yōu)勢，幫助用戶更快捷、更方便的進行高效的標繪工作。

1 研究現(xiàn)狀

語音識別和觸控等技術的進步豐富了傳統(tǒng)標繪的手段，廣泛應用于各類業(yè)務系統(tǒng)，部分研究也探討了文本標繪的策略與方法。

何麗明[1]，楊若鵬[2]等人在軍標通用標繪算法和組件化封裝方面做了一些研究。

Guangsen Wang[3]、朱鴻展[4]、趙騫[5]、魏麗[6]等人在語音、手勢、文件導入標繪等方面做了一些探索。

劉銘崴[7]、倪金生[8]、張利娟[9]、柳楊[10]分別在動態(tài)異構(gòu)數(shù)據(jù)標繪、多源共享標繪等場景進行了研究和嘗試。

分析發(fā)現(xiàn)，這些研究要么聚焦于某一單模態(tài)的標繪技術探索；要么實現(xiàn)多模態(tài)信息的簡單集成，未涉及到信息融合的層次；或者融合特定兩種模態(tài)的交互標繪，但是這類多模態(tài)信息融合是基于一種緊耦合的模型設計，即識別模型采用一種端到端的方式，將觸控操作、語音等不同模態(tài)指令同時輸入到一個通用處理模型中進行訓練和識別處理，借助模態(tài)自適應轉(zhuǎn)化和命令參數(shù)對齊技術，其標繪命令粒度可以細化到單一模態(tài)輸入提供標繪命令內(nèi)部參數(shù)級，兩種模態(tài)交替輸入融合的結(jié)果作為命令級的輸出，但這種模型針對指令內(nèi)部參數(shù)進行多模態(tài)的融合，導致處理難度較大，可靠性有待提高[11]。

所以，基于現(xiàn)有技術條件和標繪的特性，本文拓展多種可靠標繪渠道，設計了一種松耦合的多模態(tài)標繪引擎模型，通過對多模態(tài)輸入采用松耦合的方式，即單獨處理各個模態(tài)，包括語音數(shù)據(jù)、觸控手勢、格式化文書與傳統(tǒng)的鼠標鍵盤等操作方式，識別粒度為標繪命令級，基于各個模態(tài)識別處理結(jié)果生成標繪定義文件，來實現(xiàn)多模態(tài)輸入的可靠融合。

2 標繪業(yè)務流程

基于松耦合的多模態(tài)標繪引擎可以接收格式化的文書、語音、觸屏動作及鼠標鍵盤操作等內(nèi)容，經(jīng)命令解析處理和數(shù)據(jù)融合后，將對應的標記要素顯示在態(tài)勢圖上，并且支持多個用戶協(xié)同對要圖進行統(tǒng)一繪制，為用戶及時、準確的了解業(yè)務場景及有關部署提供支撐。

根據(jù)上述業(yè)務需求，標繪業(yè)務流程設計如下圖所示，多模態(tài)標繪引擎由交互式語音識別引擎、文書識別引擎、觸控識別引擎、鼠標鍵盤識別引擎組成，分別用于接收音頻設備、文書、觸控屏及鼠標鍵盤等渠道采集的輸入信息，并將這些形態(tài)各異的外部指令解析成標記對象的具體繪制命令，以圖元繪制命令為最小融合粒度，將各類識別引擎產(chǎn)生的圖元繪制列表融合成統(tǒng)一的標繪定義文件，并提交給標繪服務器端處理。標繪服務器端協(xié)同處理多用戶的分布式標繪請求，在用戶組范圍內(nèi)同步所有協(xié)作用戶的標繪信息并消除繪制沖突，最終標繪服務器及時以標繪定義文件的形式分發(fā)給各標繪協(xié)作臺位，借助地理信息平臺進行對應的標繪二三維渲染展示（如圖1所示）。

圖1 標繪流程

3 模型結(jié)構(gòu)設計

由于多模態(tài)標繪命令歷經(jīng)輸入、識別、融合、多用戶管理及展示等環(huán)節(jié)，本文將標繪模型設計為輸入層、多模態(tài)繪制識別層、數(shù)據(jù)耦合層、分布式協(xié)同層及應用展示層等模塊，對應的模型結(jié)構(gòu)如圖2所示。

圖2 標繪模型結(jié)構(gòu)設計圖

其中，輸入層包括音頻設備、觸控設備、格式化文書及鼠標鍵盤等多種信息采集渠道，方便用戶根據(jù)任務需要選擇合適的輸入方式。

多模態(tài)繪制識別層分別設計了語音識別、觸控識別、文書指令識別、鼠標指令識別功能模塊，將差異化的用戶指令通過對應的識別引擎進行形態(tài)轉(zhuǎn)化，生成標繪對象的文本類型描述。

數(shù)據(jù)融合層使用自定義的標繪定義文件來融合各模態(tài)標繪指令。

分布式協(xié)同層用于協(xié)調(diào)處理多臺位用戶協(xié)作標繪所涉及到的管理機制。

應用展示層實現(xiàn)標繪成果可視化及文書生成等功能。

3.1 語音標繪

通過語音渠道輸入的標繪命令，通過語音識別引擎準確識別并轉(zhuǎn)化為文本信息，形成對標繪對象命令詞的文本描述形態(tài)，以便融合成統(tǒng)一的標繪定義文件。由于戰(zhàn)場指揮環(huán)境的復雜性，需要考慮語音輸入過程中的噪音干擾，音頻采樣可能存在失真以及漢語多音字及生僻字識別難度高等現(xiàn)實因素，使得語音識別達不到絕對的精準，所以在語音匹配過程中需要采用模糊識別的方式。語音標繪的原理如圖3所示。

圖3 語音標繪原理

3.2 觸控標繪

通過觸摸屏動作產(chǎn)生系統(tǒng)觸控事件，由對應的觸控標繪引擎將單點或多點觸控事件，通過用戶定義的動作與功能模式映射，解析成該動作對應的繪制命令，以文本形態(tài)進行描述，以便進行標繪定義文件的融合。觸控標繪的原理如圖4所示。

圖4 觸控標繪原理

3.3 格式化文書標繪

在各類業(yè)務領域，常常需要將格式化文書或預定義的格式化數(shù)據(jù)等文本信息作為標繪數(shù)據(jù)源。格式化文書經(jīng)過DOC格式解析/文本提取來過濾掉干擾數(shù)據(jù)，方便自然語言處理引擎（NLP）分析并提取標繪關鍵詞，形成標繪命令的文本描述，以便格式化為標繪定義文件。格式化文書標繪原理如圖5所示。

圖5 格式化文書標繪原理

3.4 鼠標、鍵盤標繪

本方式屬于最傳統(tǒng)的標繪手段。通過鼠標點擊的窗體事件觸發(fā)捕捉機制，進而對標繪動作進行事件識別，分析當前鼠標點擊或鍵盤操作，影響了哪一類的對象、產(chǎn)生了哪一種命令或者修改了哪一列屬性，從而提取對應的指令信息及參數(shù)，如操作對象、對應的命令描述、設置或修改的屬性信息等，以文本形態(tài)進行描述，以便生成標繪定義文件。鼠標鍵盤標繪原理如圖6所示。

圖6 鼠標鍵盤標繪原理

3.5 數(shù)據(jù)融合層

如前文所述，數(shù)據(jù)融合層融合無差異的多模態(tài)標繪文本命令，將命令融合成命令流的集合，以標繪定義文件為單位向標繪服務器提交標繪請求，從而優(yōu)化多標繪臺位與標繪服務器的信息傳遞機制。標繪模式管理用于切換多模態(tài)標繪輸入渠道，并將識別后的結(jié)果融入到當前標繪定義文件。同時，本模塊設計了標繪對象與其內(nèi)部編號的索引服務，通過關聯(lián)匹配表，建立標識對象與相應標號的對應關系，為標繪操作提供快速查詢功能（如圖7所示）。

圖7 數(shù)據(jù)融合流程

標繪定義文件以列表的形式存儲需要在地圖上需要標繪的圖元，該列表依據(jù)最后操作時間倒序排列。為滿足分布式標繪的需要，每個標繪圖元除了包含命令基本屬性外，還包括創(chuàng)建時間、最后操作時間、是否鎖定、鎖定機位、是否顯示等屬性。其中，基本屬性即通用的GIS屬性，如圖元大小、圖元種類等，依據(jù)不同的地理信息平臺而不同。在此基礎之上，附加設計了其他用于多機位協(xié)作的額外的屬性（如圖8所示）。

圖8 標繪定義文件

3.6 分布式協(xié)同層

分布式協(xié)同層處理多臺位標繪客戶端與標繪服務器之間數(shù)據(jù)的交互，客服端向服務器提交繪制請求，服務器端檢測多臺位繪制的沖突并消融沖突，將消融后的無沖突繪制命令分發(fā)給各繪制臺位進行同步顯示。這些標繪請求或命令都是基于標繪定義文件的形式傳遞。

歷史操作列表存儲在協(xié)同標繪時所有的有效操作，包括操作圖元、操作時間、操作機位、操作內(nèi)容等屬性。當前操作列表存儲在當前時刻中所有標繪臺位的操作請求，根據(jù)沖突臺位優(yōu)先級對互斥操作進行消融，保證并發(fā)操作的正確性（如圖9所示）。

圖9 沖突消融機制

3.7 應用展示層

本層次用于實現(xiàn)標繪客戶端的展示功能及有關實用工具。最終的信息表達階段，標繪定義文件可以映射為標繪符號，并與標繪模板進行匹配，調(diào)用標繪組件的繪圖接口，實現(xiàn)標繪的成果展示。根據(jù)具體業(yè)務部門的標繪標準與需求，基于特定維地理信息平臺二次開發(fā)設計的標繪展示組件，加載所需的標繪接口的標繪定義文件，實現(xiàn)點、線、面等標記的綜合態(tài)勢展現(xiàn)。

4 結(jié)語

本文設計了一種多模態(tài)標繪引擎來適配各種標繪需求，融合語音，觸控、文書以及傳統(tǒng)的鼠標鍵盤等多種途徑，方便用戶根據(jù)使用場景選擇合適的標繪手段。語音標繪可以避免在繁瑣的標繪圖標面板中尋找繪制元素的環(huán)節(jié)，觸控標繪也讓適應了智能手機的用戶擁有良好的交互體驗，格式化文書標繪利用了現(xiàn)有文本成果直接生成標繪要圖。對多模態(tài)輸入采用松耦合的方式，可以降低數(shù)據(jù)融合的難度，提高系統(tǒng)的可靠性和實用性，同時多源輸入采集模塊便于擴展，方便集成更多的標繪渠道。目前標繪定義文件基于數(shù)據(jù)融合的需要，命令格式稍顯簡單，后續(xù)需要優(yōu)化標繪定義文件對于復雜指令的描述設計。