任天宇 姚登峰 仰國維 康新晨

提 要 信息時代的到來推動了中國語言信息化的高速發(fā)展，但中國手語的信息化卻明顯滯后，表現(xiàn)為理論建構(gòu)、實踐模型和應(yīng)用軟件的欠缺以及手語數(shù)據(jù)集及語料庫的薄弱。造成這一現(xiàn)狀的原因不僅在于將手語數(shù)字化等同于信息化、手語信息化必須建立書寫系統(tǒng)等認識上的誤區(qū)，還在于中國手語至今仍缺乏完整的書寫系統(tǒng)理論和必要的技術(shù)標準，多信道輸入輸出的問題沒有得到很好的解決等制約性的瓶頸。這就需要走出認識上的誤區(qū)，以中國語言為基礎(chǔ)完善中國的手語書寫系統(tǒng)理論，量身制定手語信息化標準，根據(jù)先機讀后人讀的原則制定手語輸入輸出方案。

關(guān)鍵詞 中國手語；手語信息化；書寫系統(tǒng)；多信道輸入輸出

中圖分類號 H002 文獻標識碼 A 文章編號 2096-1014（2023）04-0044-09

DOI 10.19689/j.cnki.cn10-1361/h.20230404

Chinese Sign Language Informatization： Status Quo， Bottleneck and Resolutions

Ren Tianyu， Yao Dengfeng， Yang Guowei and Kang Xinchen

Abstract With the boom of information technology， Chinese language informatization has developed rapidly in recent years. As an integral part of Chinese language informatization， Chinese sign language is yet to achieve complete informatization. At present， the informatization of Chinese sign language has garnered insufficient support in theoretical and practical fields， and the sign language datasets and corpora are difficult to meet the needs of informatization. The common misunderstandings in this area include the equivalence of informatization to digitization of sign language， and the requisite to create a writing system for sign language informatization. The absence of necessary technical standards for Chinese sign language， the lingering problem of multichannel input and output， and the lack of well-established writing system theory have become the bottleneck for the development of Chinese sign language informatization. In order to overcome these difficulties， it is necessary to formulate the informatization standard of sign language， devise the input and output scheme for sign language in the principle of machine reading before human reading， and theorize Chinese sign language writing system based on the linguistic features of Chinese language.

Keywords Chinese sign language; sign language informatization; writing system; multi-channel input and output

一、引 言

當前，新一輪信息革命浪潮催生全球范圍的產(chǎn)業(yè)變革，科技創(chuàng)新進入空前密集活躍時期，信息化領(lǐng)域成為國家競爭的戰(zhàn)略高地。手語信息化作為中國語言文字信息化的一部分，也是國家信息化的重要組成部分。《第二期國家手語和盲文規(guī)范化行動計劃（2021—2025年）》指出，中國手語規(guī)范化、標準化、信息化程度還不高，要加快手語規(guī)范化、標準化、信息化進程。開展手語信息化的理論和實踐研究是擺在中國科技工作者面前的一項重要任務(wù)，尤其是在國家大力推行信息無障礙工作的社會背景下，這項工作對于服務(wù)國內(nèi)弱勢群體、構(gòu)建和諧社會顯得更有意義，對中國的特殊教育、無障礙事業(yè)乃至整個人類科學技術(shù)的發(fā)展都有極好的促進作用。

手語信息化屬于自然語言處理的一部分，而國際計算語言學會議（the Association for Computational Linguistics，ACL）作為自然語言處理領(lǐng)域水平最高、最具權(quán)威的國際會議，被視為語言信息化的風向標。ACL于2014年吸納輔助技術(shù)語音與語言處理研討會（Speech and Language Processing for Assistive Technologies，SLPAT）成為其子會議，最近幾年錄用了多篇美國手語信息處理相關(guān)的論文，主題涵蓋了美國手語拼寫、手語數(shù)據(jù)集介紹、手部模型訓練、手語生成的建模強化算法等，這些都有力推動了美國手語信息化發(fā)展。SLPAT官網(wǎng)介紹，該會議的宗旨是幫助更多的人了解信息無障礙領(lǐng)域的前沿進展和研究成果，確保不增加殘疾人的準入壁壘。同時，也可以為手語語言處理領(lǐng)域的未來發(fā)展提供思路和方向。相比較而言，中國手語信息化建設(shè)仍處于起步階段，目前，中國手語并未完全實現(xiàn)信息化，已成為國家通用手語規(guī)范化、信息化最后的瓶頸。為了有效推進其發(fā)展，本文就中國手語信息化提出一些思考與展望。

二、中國手語信息化的現(xiàn)狀

（一）手語信息化理論和實踐缺乏

手語信息化理論包括有助于手語信息處理的語言學理論，如書寫符號系統(tǒng)、多信道句法分析、依存語法；引領(lǐng)手語信息處理發(fā)展趨勢的手語計算模型，如深度神經(jīng)網(wǎng)絡(luò)。國外也已提出了多項手語音系學模型，如Stokoe模型（Stokoe et al. 1965）和Liddell模型（Liddell & Johnson 1989）。在手語信息化實踐上，中國手語至今仍沒有與之配套的國家標準和國際標準，如編碼字符集、字型、鍵盤等；也沒有與之配套的系統(tǒng)軟件和應(yīng)用軟件，如電子出版平臺、辦公自動化系統(tǒng)等。國外有50多個國家和地區(qū)已采用了手語編碼字符集SignTyp（Cruz & Lamprecht 2008）等、手語音標系統(tǒng)HamNoSys（類似于有聲語言的國際音標系統(tǒng)）（Prillwitz et al. 1989）、書寫系統(tǒng)SignWriting、ASL-phabet（Supalla et al. 2008）等。理論和實踐的基礎(chǔ)薄弱導致中國難以在手語信息處理的核心技術(shù)和標準制定方面獲得優(yōu)勢地位，與中文和少數(shù)民族語言信息化進度相比，差距較大。

（二）手語數(shù)據(jù)集及語料庫難以滿足信息化需要

中國手語信息化研究起步較早，2000年中國科學院計算所推出中國手語識別系統(tǒng)和合成系統(tǒng)，并應(yīng)用于北京市海淀區(qū)電視臺、北京2008年奧運會等場景，具備一定規(guī)模的手語數(shù)據(jù)集。同時，《國家通用手語常用詞表》（中國殘聯(lián)教就部，等2018）于2018年7月1日起實施，《國家通用手語詞典》（中國聾人協(xié)會，國家手語和盲文研究中心2019）于2019年10月正式發(fā)布，標志著中國手語規(guī)范化建設(shè)在穩(wěn)步推進。為支持中國手語語料庫的建設(shè)，國家于2012年設(shè)立了兩個重大項目，目前均已結(jié)題，分別為國家社科基金重大項目“基于漢語和部分少數(shù)民族語言的手語語料庫建設(shè)研究”和國家語委重大項目“國家手語詞匯語料庫建設(shè)”。這些手語規(guī)范化、語言資源庫建設(shè)，對于手語教學與研究、手語資源的數(shù)字化、語言學科的創(chuàng)新、語言文化資源的保護和利用等方面的發(fā)展，發(fā)揮了推動作用。然而這些手語數(shù)據(jù)集和語料庫因受制于信息化的基礎(chǔ)研究相對薄弱，規(guī)模普遍較小，類型不全，深度加工不夠，難以為手語信息化應(yīng)用提供切實的支持與服務(wù)。

中國手語信息化落后的原因很多，主要有以下兩點：第一，用戶規(guī)模相對較小，聽障用戶相對于主流有聲語言用戶群體，仍為小眾；第二，受使用人口和使用范圍的限制，手語信息技術(shù)產(chǎn)品銷量有限，利潤微薄，甚至無利可圖，手語信息化開發(fā)成本相對較高，使得科研單位和企業(yè)的研發(fā)生產(chǎn)積極性受到嚴重影響。

三、手語信息化的誤區(qū)

對于大多數(shù)人來說，他們并不了解手語的語言特點及其信息化的概念，沒有認識到手語信息化的復雜性和艱巨性，對手語信息化存在以下誤解。

（一）手語數(shù)字化等同于信息化

目前手語研究的主要做法是用手語視頻作為研究語料，并使用本國有聲語言書寫系統(tǒng)來轉(zhuǎn)寫和編碼手語語料，該方法可充分利用和借鑒本國有聲語言信息化（姚登峰，等2019）的成熟技術(shù)。這種把手語信息輸入到計算機的方法是目前成本最低、見效最快的方法。但是這種方法只是間接實現(xiàn)了手語數(shù)字化，離計算機處理手語的目標還有較長一段距離。因為這樣的手語視頻存在語義鴻溝問題（即構(gòu)建視覺信號到手語語義間的映射問題），很難實現(xiàn)自動將手語視頻轉(zhuǎn)換為文本或語音，因此計算機無法理解這樣的手語數(shù)據(jù)。為了將手語數(shù)字化過渡到信息化，讓計算機能夠分析手語的內(nèi)部成分，不能再僅僅停留在物理圖像信號的數(shù)字化層次，應(yīng)思考和引進手語語言學理論，大力發(fā)展手語信息化理論，將手語識別的層次提升到語言學領(lǐng)域的語義理解水平，最終推進人類對手語的理解。為了能夠分析手語的內(nèi)部成分，語言學家發(fā)展了一些音系學模型，如Stokoe系統(tǒng)（Stokoe et al. 1965）、Liddel系統(tǒng)（Liddell & Johnson 1986）、Sandier模型（Sandier 1989）和Brentari模型（Brentari 1999），宗旨都是分析手勢的最小單元，也稱音韻參數(shù)（phonological parameter）。音韻參數(shù)作為“次詞匯”（sub-lexical，Caselli et al. 2017）單位，各自具有不同的特征，可被用來組成一個手勢，如同口語中不同音位（phoneme）組成音節(jié)（syllable），然后再組成詞、短語、句子一樣。這些模型對手語信息化的方法和技術(shù)影響很大，后續(xù)發(fā)展的手語信息化應(yīng)用均基于這些模型理論。要以這些手語語言學理論為基礎(chǔ)，開發(fā)中國手語的編碼字符集、字型、鍵盤國家標準和國際標準，還要研究與之配套的系統(tǒng)軟件和應(yīng)用軟件，以便計算機能夠理解和處理手語，真正實現(xiàn)手語信息化。

（二）手語信息化必須要建立書寫系統(tǒng)

有聲語言能夠?qū)崿F(xiàn)信息化是因為該語言擁有書寫符號系統(tǒng)，并實現(xiàn)了機讀化。由于種種原因，中國手語至今沒有出現(xiàn)一個標準書寫系統(tǒng)，所謂的中文“文本”屬于將中國手語翻譯轉(zhuǎn)寫后的文本，只能借用漢字表達中國手語的近似含義。因此，很多人認為手語信息化的第一步是需要研究開發(fā)手語的書寫符號系統(tǒng)，因為它是語言信息化處理的基礎(chǔ)工程。此外，信息化的意義在于可對語言進行技術(shù)保留，以供研究、分析和使用，而書寫符號系統(tǒng)是保留語言的有力工具。人類歷史上浩如煙海的資料，多以語言文字為載體，未來仍然如此，因為在所有載體中，語言文字以最小的負載傳達了最大的信息量，而非語言文字載體，如圖像或視頻等，都做不到這一點。在極端條件下，只有語言文字載體可便攜利用生理設(shè)備和書寫工具，而其他載體則需要特殊設(shè)備。信息化時代人機交互均使用語言文字作為載體，其他載體承載的信息最終還需轉(zhuǎn)化為語言文字信息，才能讓信息技術(shù)產(chǎn)品識別和理解人類指令。因此，為手語開發(fā)書寫系統(tǒng)是必要的，有利于記錄和保存手語信息，有利于聾人語言、文化、思想的傳承。

從理論上看，確實有必要開發(fā)手語書寫系統(tǒng)，但實際落地時受制于很多因素。以國外手語書寫系統(tǒng)為例，從現(xiàn)有報道來看，國外已存在3套手語書寫系統(tǒng)，分別是Bébian系統(tǒng)、SignWriting系統(tǒng)和ASL-phabet系統(tǒng)。Bébian系統(tǒng)是第一個手語書寫系統(tǒng)（Bouzid & Jemni 2014），但這種系統(tǒng)一直沒被人采用，直到瓦萊麗·薩頓（Valerie Sutton）在1974年開發(fā)了SignWriting系統(tǒng)，才有了廣為使用的書寫系統(tǒng)。有研究統(tǒng)計，全球至少有10多個機構(gòu)在使用SignWriting系統(tǒng)（Johnston & Crasborn 2006）。第三個系統(tǒng)ASL-phabet則由塞繆爾·蘇帕拉（Samuel Supalla）團隊開發(fā)，由于使用的圖形單元相對有限，這種書寫系統(tǒng)相當簡單。從文獻來看，這3個書寫系統(tǒng)的受眾都很有限。SignWriting的開發(fā)者認為，該系統(tǒng)可能也會因為人口、政治和技術(shù)等很多現(xiàn)實因素而很難成功。因為相對于健聽人數(shù)，聾人的數(shù)量更少，而且可能還會持續(xù)減少。

中文、英語等有聲語言具有兩個模態(tài)，即口頭語音和書寫符號。認知心理學表明，當有聲語言用戶第一眼看到書寫系統(tǒng)時，第一反應(yīng)是直接將書寫系統(tǒng)的視覺特征輸送到大腦中的語義單元，同有聲語言聲音的聽覺特征直達大腦語義單元一樣，而不是先將視覺特征轉(zhuǎn)化為聽覺特征，再轉(zhuǎn)化為語義。漢字、英文字母等書寫系統(tǒng)承擔了有聲語言的視覺載體功能，而手語視頻承擔了手語的視覺載體功能。最好的手語語言理解，應(yīng)該是手語這種視覺空間語言的視覺特征直達大腦中的語義單元，完成手語語言的理解，這才是大腦最自然的手語理解方式，而不是先轉(zhuǎn)化為書面文字，再轉(zhuǎn)化為語義。如果為手語開發(fā)書寫系統(tǒng)，相當于手語有兩個視覺載體，分別是手語視頻和手語書寫符號。理論上這兩個視覺載體的視覺特征都能直達大腦語義單元，但既然是兩個視覺載體，必然在效率、耗時、成本等諸多因素上有高低之分。在保存手的位置、形狀、方向，眼睛凝視，頭傾斜，肩部傾斜，身體姿勢，面部表情等信道信息方面，手語視頻這種視覺載體無疑更為完整，最關(guān)鍵的是手語視頻可即時呈現(xiàn)并傳達多道信息，對于聾人用戶來說手語視頻最具良好的人機交互性，最受歡迎。而書寫符號和有聲語言一樣都存在先天缺陷，即作為單信道載體，在從多信道載體轉(zhuǎn)換而來的過程中，必然會遺失一部分信道信息，不但學習成本高昂，而且會降低信息接收和傳遞的效率，從而在聾人用戶接受度上已失去先機。

四、中國手語信息化的瓶頸

手語和有聲語言在許多方面存在差別，手語信息化無法簡單地套用有聲語言信息化理論。手語信息化涉及操作系統(tǒng)、文字的輸入輸出、文字的編輯等多方面的內(nèi)容。為了能用計算機來處理或加工手語，有許多特殊的問題需要研究。

（一）手語信息化標準

中國的語言文字信息化標準是中華字符集，涵蓋了古文字、少數(shù)民族文字等，并成為國際標準，目前已完成的編碼漢字為7萬字。此外，ISO/IEC 10646（通用多八位編碼字符集）（張青，等2009）已經(jīng)建立了藏文、維吾爾文、朝鮮文、彝文等國際標準。中國手語如果要建立信息化標準，完全可以加入中華字符集，這樣可以減少自帶字庫、多個編碼系統(tǒng)來回轉(zhuǎn)換的麻煩，還可以降低開發(fā)成本，增加使用便利性，更重要的是可以保證手語編碼字符集的每個字符代碼都是唯一的。2019年9月出版的《國家通用手語詞典》一共收錄了8000多個常用詞語，且中國手語的手勢數(shù)量在不斷增加。國外的手語編碼系統(tǒng)SignTyp（300個符號）、音標系統(tǒng)HamNoSys（200個符號）、書寫系統(tǒng)SignWriting（500個符號）等字符集都是針對國外手語設(shè)計的，顯然無法覆蓋到中國手語的全部手勢。在設(shè)計手語編碼時，可借鑒藏文、朝鮮文、彝文等少數(shù)民族文字的編碼經(jīng)驗，采用大字符集，即七位或八位雙字節(jié)編碼方式，這樣便于兼容現(xiàn)有中文信息處理系統(tǒng)，沒必要考慮優(yōu)先兼容現(xiàn)有西文信息處理系統(tǒng)（采用單字節(jié)編碼小字符集）。因此，我們可以以漢字和少數(shù)民族文字編碼為基礎(chǔ)，根據(jù)中國手語音系學結(jié)構(gòu)和中國手語音系符號的特點，設(shè)計具有唯一性的中國手語編碼方案，增加中國手語音系輸入法，建立系統(tǒng)公用字庫等。當前的目標是在保留漢字系統(tǒng)功能的同時，增加中國手語處理功能，該功能涵蓋中國手語編碼、字庫、輸入輸出、打印等一整套信息化標準和程序，同時能實現(xiàn)計算機上中國手語與漢字、拼音文字等共存，實現(xiàn)混合排版打印輸出。

雖然中國手語信息化工作取得了一定成績，但在標準化工作方面，中國與歐美國家相比仍有不小差距，至今仍缺乏必要的技術(shù)標準。目前，國外已出現(xiàn)了一些手語編碼系統(tǒng)，而中國手語編碼至今仍無國家標準。規(guī)范化的標準能夠保證相關(guān)手語信息技術(shù)產(chǎn)品和應(yīng)用的正常運行，手語信息標準化和規(guī)范化因而成為手語信息化進程上必須解決的技術(shù)問題。只有統(tǒng)一的、規(guī)范化的標準，才有利于手語的研究和傳播。當然手語輸入輸出存在著自身的特點，需要量身定制，當前手語信息化標準的主要任務(wù)就是急需開展手語編碼體系的標準化研究。

（二）手語輸入輸出方案

手語信息化的必要前提是要把手語信息輸入到計算機，解決中國手語轉(zhuǎn)換、傳輸、存儲、分析等計算機加工的問題，需要從計算機的角度考慮中國手語的內(nèi)部表示。因此，需要定制完整的全新的輸入輸出方案，這種方案能綜合考慮手語的語音、語義等內(nèi)部結(jié)構(gòu)因素，使之更適合計算機加工。這些輸入輸出方案除了要考慮設(shè)計書寫系統(tǒng)，還要考慮包括編碼字符集、字型標準、鍵盤標準制定和輸入法設(shè)計。目前，國外已針對SignWriting等手語書寫系統(tǒng)開發(fā)了輸入法、字符集等標準，國內(nèi)有一部分研究人員也開始采用這種手語輸入輸出方案，因此，制定中國手語的輸入輸出方案，迫在眉睫。

手語信息化的重點在于讓計算機能理解手勢視覺信息并且準確地描述手勢動作的各個成分特征。比如，使用單個相機采集手語視覺信息時，由于角度不佳，可能會出現(xiàn)遮擋問題，從而無法完全、準確、充分地反映手勢的3D形態(tài)。為了解決這種手勢描述不正確的問題，很多采集方案對實驗條件做了相應(yīng)的限制，如簡化實驗背景、使用色彩手套（李勇，高文2002）等方法，使計算機能夠準確地錨定和分割被試的手部區(qū)域。這些手語采集方案取得了很好的實驗效果，但都是在理想的實驗室條件下完成的，要滿足實際生活中手語千變?nèi)f化的需求，仍有不小的距離。因此，雖然這種采集方案具有自然的人機交互性，但其精確度低、速度慢的特點限制了其實際落地?，F(xiàn)有采集方式仍然為直接用攝像頭采集視頻，然后進行人工轉(zhuǎn)寫和標注。

目前的體感設(shè)備技術(shù)（Zheng & Wang 2014）基于人眼仿生原理，可將傳統(tǒng)的二維轉(zhuǎn)換映射到三維空間，這樣就能得到手勢的深度圖像信息，可能是理想的手語輸入方案。如圖1所示，體感控制器Leap Motion能快速識別出22個手部關(guān)鍵坐標，基于這些坐標的深度和紅外圖像信息，手部位置、手形、方向和運動等手語內(nèi)部信息就可以計算出來并被標注，可滿足高精度、實時性的手語自動輸入和手語語料自動標注的需求。如果需要標注形態(tài)、句法、篇章等層面的信息，則需要研究人員針對手勢的深度圖像信息，基于手語語言學理論，提出手語語法分析理論和算法。更重要的是，體感設(shè)備能夠采集手部的靜態(tài)和動態(tài)特征，基于這些特征可以構(gòu)建手勢者3D模型，即構(gòu)建手部內(nèi)部表示的數(shù)學模型及其計算理論，為探討手部行為與語言特征的統(tǒng)計方法及其兩者之間的關(guān)系提供了可能。

將英語或中文等有聲語言按口語語音轉(zhuǎn)為文本，這種有聲語言信息化本質(zhì)上屬于單信道編碼。而手語除了包含手部動作，還包含面部表情、身體語言、頭部動作、眼睛動作等，因此，手語信息化本質(zhì)上屬于多信道編碼。由于手語真人視頻或者動畫能夠較全面地傳達手語多信道信息，因此，手語真人視頻或動畫是手語輸出的第一選擇。生成真人視頻目前存在很多技術(shù)限制，比如計算機無法做到實時生成真人視頻，需要提前進行現(xiàn)場實地拍攝，如果內(nèi)容需要修改，則需要重新拍攝，費時費力。此外，還存在后期剪輯和修改時，真人視頻的手勢之間無法平滑過渡或者與面部表情等非手動特征組合困難等問題。

手語虛擬人體建模和動畫技術(shù)已相當成熟，優(yōu)勢在于可以隨時編輯或修改（Wideman & Sims 1998），因而獲得了廣泛應(yīng)用。1998年美國維爾（Veale）等人設(shè)計的世界上第一個從英語到美國手語的機器翻譯系統(tǒng)——Zardoz系統(tǒng)就帶有手語動畫生成器（Veale et al. 1998），此后，國內(nèi)外手語機器翻譯系統(tǒng)都普遍帶有手語動畫生成器。2022年北京冬奧會時，央視新聞AI手語主播亮相，隨后市面上手語虛擬人像雨后春筍一樣層出不窮，其中不乏一些知名企業(yè)。這種手語虛擬人一般需要手語生成器協(xié)作完成輸出，手語生成器是一個自然語言處理模塊，負責接受有聲語言文本或抽象的語義輸入，經(jīng)過自然語言處理流程后，可返回手語動畫腳本，指示手語虛擬人的下一步動作（假定語言學模塊和虛擬人動畫模塊之間已提供了接口并事先開發(fā)了指令集）。這些手語虛擬人目前只支持單向輸出，尚無可識別手語的雙向交互技術(shù)，且大多數(shù)手語虛擬人所用的詞匯量有限，參考的《國家通用手語詞典》詞匯量也僅在8000左右。此外，手語虛擬人大部分所用手勢均直接從中文詞匯翻譯過來，并非從手語語料切分而來，憑這種有限的詞匯很難滿足手語動畫生成的需要。將中文翻譯成中國手語的機器翻譯技術(shù)也沒有獲得突破，中國手語和中文是兩種不同的獨立語言，在句法、語義、語用等層面上有很大的區(qū)別，大部分手語虛擬人都只是將手勢和中文詞匯序列對譯。此外，涉及語氣程度、角色轉(zhuǎn)換等語法意義的手語表達會使用很多非手控特征，大部分手語虛擬人沒有很好地處理面部表情、身體姿態(tài)等非手控特征。選擇是否使用非手控特征、用什么程度的句子來表達、要表達到什么程度、如何選擇表達非手控特征等，這些決策都是建立在物理空間限制的詞法和句法選擇的基礎(chǔ)之上的。目前的手語虛擬人動畫沒有充分考慮這樣的非手控特征決策的復雜性。因此這種手語虛擬人動畫如果沒有字幕的輔助，大多數(shù)聾人仍然很難看懂。

相對于有聲語言信息化，手語信息化較為落后，瓶頸就在于多信道輸入輸出的問題沒有得到很好的解決，因此手語信息化的核心任務(wù)是將單信道和多信道信息相互轉(zhuǎn)換。開展手語信息化研究，有助于發(fā)展多信道編碼理論，帶動有聲語言與多信道編碼理論并軌。這是因為人類交流溝通是多信道的，梅拉比安（Mehrabian）等人（Mehrabian & Ferris 1967）認為語音信道和其他眼神接觸、面部表情、手勢、身體姿勢等信道都為有效溝通做出了貢獻。一些研究結(jié)果表明這種除語音外的多模式行為占所有交流效果的2/3（Stubbs 2003；Burgoon 2009）。當口頭語音信息和非語音信息相反或沖突時，非語音信息就成為人們辨析語義正確與否的主要信息依據(jù)，即視覺獲得的語言信息（Malandro et al. 1989）?？梢?，有聲語言也需要多信道的方式，才能有效地彌補語音信道表達的不足，防止因單一模式表達而帶來的誤解。同時在有些場合，如噪聲區(qū)域、公共場合，也常常需要采用除語音以外的其他表達方式來增強對相互表達意思的準確理解。因此，求出多個信道其信息容量之和的最優(yōu)解，形成最優(yōu)的信道編碼系統(tǒng)，可以提高多模態(tài)語言（包括有聲語言和手語）通信的效率，有助于將手語輸入輸出的工作效率提高到與有聲語言同等的水平。為了解決這個手語輸入輸出方案的關(guān)鍵問題，我們要實現(xiàn)手語的多信道分析方案，獲取最優(yōu)的多信道編碼表征，從而為實現(xiàn)手語的多信道輸入輸出創(chuàng)造條件。同時，通過上文我們也能看出，將這種基于多信道的語言——手語輸入到計算機，僅僅依靠計算機視覺等先進的人工智能手段是不夠的，只有熟練掌握手語、精通手語語言學，才能深入開展手語信息化的研究。

（三）書寫符號系統(tǒng)

雖然書寫系統(tǒng)的使用不是必要的，但是如果將其看作中國手語理論一個不可或缺的基礎(chǔ)板塊，就要考慮如何開發(fā)中國的手語書寫系統(tǒng)，在這一方面，我們依然面臨著許多困難。書寫系統(tǒng)理論比較復雜，除了與從形式到意義的關(guān)系有關(guān)，還涉及象似性、認知動機、表征層次等多種因素。如美國手語學者哈里認為書寫系統(tǒng)可分為3種，即象形系統(tǒng)（pictographic）、會意系統(tǒng)（semagraphic）和表音系統(tǒng)（phonographic）（van der Hulst & Channon 2011）；美國漢學家約翰·德弗朗西斯（John DeFrancis）等（DeFrancis & Unger 1997）認為可分成圖畫字、音節(jié)系統(tǒng)、輔音系統(tǒng)、字母系統(tǒng)4個系統(tǒng)；語言學家克雷斯邦（Crasborn 2015）則認為只有會意系統(tǒng)和表音系統(tǒng)這兩個書寫系統(tǒng)體系。按照上述理論的觀點，目前所有手語書寫系統(tǒng)，包括SignWriting等，都屬于表音系統(tǒng)。不過克雷斯邦還認為世界上所有的語言里，只有中文是唯一的會意系統(tǒng)，其他語言都是表音系統(tǒng)。包括韓語、日語也都不是會意系統(tǒng)，而是表音系統(tǒng)。

按照這些書寫系統(tǒng)理論的觀點，有聲語言的最古老書寫系統(tǒng)應(yīng)該是會意系統(tǒng)，即基于詞匯或者詞素的系統(tǒng)，這種系統(tǒng)的圖形是詞匯意義指定的參照物的形象性表示（基于感官的表征）。這類形象性書寫系統(tǒng)有兩個發(fā)展方向：第一個方向仍然是基本的會意系統(tǒng)，但圖形往往會失去其象似性，因為頻繁地使用會破壞能夠保證象似性的細節(jié)。由這些理論可以判斷其發(fā)展趨勢可能還是以語義相關(guān)的詞共享同一個圖形特征的圖形化方向為動機，或者向任意性發(fā)展。第二個方向是越來越像表音系統(tǒng)。當圖形被用來代表音韻形式而非詞匯意義時，該系統(tǒng)就具備了表音系統(tǒng)的特點。這種現(xiàn)象叫“畫謎原則”（Rebus Principle）（Huehnergard 2020），可理解為以畫為提示的字謎，比如sun或eye的會意符號常常被用于son或I的諧音字。這往往生成音節(jié)系統(tǒng)（DeFrancis 1989），還可能生成用圖形來表示語音聲音或音素（比如輔音）的系統(tǒng)，但是我們最熟悉的字母系統(tǒng)里的元音符號例外。表音系統(tǒng)的元素也會被包含進會意系統(tǒng)，以便作為消歧手段，比如用來區(qū)分兩種不同發(fā)音的符號，否則相同的會意符號將難以區(qū)分。例如，如果表示sun和moon，最終的轉(zhuǎn)寫可能在開頭添加一個小的表意符號來表達一個或兩個意義——s與m。

因此，制定統(tǒng)一的書寫系統(tǒng)標準，讓中國聾人都能接受，這種可能性在理論上是存在的，但落實到實際操作上，手語書寫系統(tǒng)還有很多問題需要進一步研究和解決。中文屬于漢藏語系，其特點是不使用形態(tài)標記，因此語法的重要手段是語序和虛詞。從書寫系統(tǒng)上看，漢字為平面型方塊體，在平面方框中有序地分布著筆畫，這是從外形上看最明顯的特點，與拼音文字只能左右一維組合有著天壤之別。中國手語和漢字重視覺，而西方拼音文字重聽覺，它們將各自的語言以不同的方式記錄下來，通過不同的感官渠道輸送到人類大腦。這種中國表意文字和西方拼音文字的最大差異可能會影響和決定著中國手語書寫系統(tǒng)、字符編碼等信息化理論不會完全等同于英國手語、美國手語等手語。漢字對中國手語影響很大，豐富了手語的詞匯、語義等很多層面，涉及開發(fā)手語書寫系統(tǒng)時，漢字可提供一定的借鑒和啟示。

五、實現(xiàn)路徑

作為中國重要的語言之一，中國手語扮演著重要的角色，其信息化有利于文化交流與溝通，有利于聾人文化傳承，根據(jù)語言使用狀況和以往的工作基礎(chǔ)，我們建議可采取以下實現(xiàn)路徑。

（一）制定手語信息化標準

標準化是手語信息化獲得長足發(fā)展的前提，是手語信息處理參與國際競爭的重要手段。在信息社會，標準化對手語知識產(chǎn)權(quán)保護的重要性已現(xiàn)端倪，就手語數(shù)字化與信息化而言，其發(fā)展過程的每一個關(guān)鍵環(huán)節(jié)，都與標準化緊密聯(lián)系在一起，標準化貫穿了手語信息處理發(fā)展始終。由于學科理論發(fā)展的局限性和手語本身的復雜性，目前中國自然語言處理理論和方法的研究還不能為手語信息化提供足夠的支撐。應(yīng)用型研究和實用系統(tǒng)開發(fā)的目標比較明確，投入和成果相對豐碩，而基礎(chǔ)理論和方法研究比較薄弱，是多年來國內(nèi)計算語言學學科發(fā)展的一個特點。

有關(guān)部門應(yīng)加大手語信息化重大基礎(chǔ)理論和應(yīng)用研究，將處理手語的功能和有關(guān)標準作為立項和考核指標，尤其是手語內(nèi)部結(jié)構(gòu)的形式化問題。另外，手語語言資源缺乏，這要求在社會需求的支持下和國家統(tǒng)一規(guī)劃的基礎(chǔ)上有計劃地展開語言資源建設(shè)，并使得這些資源成為能夠服務(wù)于社會應(yīng)用的大規(guī)模的、完整的、有價值的資源體系。建議有關(guān)部門提供長期穩(wěn)定的經(jīng)費資助，以支持手語信息化研究和開發(fā)（包括軟硬件開發(fā)和標準研制等），促進手語信息化與漢字等其他文字信息處理技術(shù)協(xié)調(diào)發(fā)展。

（二）制定手語輸入輸出方案

根據(jù)先機讀后人讀的原則制定手語輸入輸出方案，理由有兩點：第一，當前的技術(shù)條件已比較成熟，可便捷地將手語記錄為視頻或圖像，基本能實現(xiàn)保存和流通完整的手語信息；第二，機讀沒有學習環(huán)節(jié)的成本，不需要像書寫系統(tǒng)那樣有先對人們進行教育推廣的過程。當前手語信息化的主要問題在于手語沒有文本記錄形式，無法機讀，無法信息化，從而成為發(fā)展人工智能的障礙。因而，當務(wù)之急是解決手語文本記錄和信息化的問題，從而實現(xiàn)機讀。當前保存手語信息的文本形式有3種類型，一是手語編碼字符集，二是手語音標系統(tǒng)，三是手語書寫系統(tǒng)。第一種和第二種是以機讀為目標，也是發(fā)展機讀的基礎(chǔ)條件，第三種主要是為了實現(xiàn)人讀，可放在最后一步。因此，具體實施手語信息化可分兩步走：首先開發(fā)一套手語標音系統(tǒng)，像漢語拼音那樣，任何手勢都可以通過音標組合發(fā)音，做到覆蓋國內(nèi)絕大多數(shù)手語詞匯；然后再制定一套手語編碼字符集，包括所有中國手語的語素成分。只要完成這兩個標準體系，就可具備實現(xiàn)手語信息化的基本條件。

（三）解決手語符號系統(tǒng)難題

書寫系統(tǒng)的研發(fā)是一個漫長的引進和消化過程。值得一提的是，國外對多種手語書寫系統(tǒng)理論開展了大量的實驗，結(jié)果顯示其效果并不像理論提出之初那樣理想。手語信息化的困境并未得到實質(zhì)上的改善，暴露出學界當前對手語知識本身的發(fā)掘程度很有限。盡管表達方法先進了，所能表達的內(nèi)容卻并不一定能跟著有實質(zhì)性的提高。這也是這些手語書寫系統(tǒng)理論難以從根本上解決手語信息化問題的癥結(jié)所在。

如果必須要開發(fā)書寫符號系統(tǒng)，可以在解決信息化標準和輸入輸出問題之后再進行。以目前中國的技術(shù)水平，開發(fā)一個符號系統(tǒng)是完全可行的，但是否開發(fā)、何時開發(fā)還需要有關(guān)部門來做決策。

六、結(jié) 語

《國家手語和盲文規(guī)范化行動計劃（2015—2020年）》強調(diào)要積極開展手語和盲文規(guī)范化標準化信息化建設(shè)，體現(xiàn)出國家對手語信息化的重視。手語信息化研究基本屬于空白，還有很多難題需要學者去深入研究。手語自身的特點導致了手語信息化面臨著一系列困難，無論是理論構(gòu)建還是商業(yè)應(yīng)用，都需要經(jīng)過長時間的艱苦努力，但這樣的現(xiàn)狀也在提示我們，手語信息化很可能正處在變革的前夜。

手語信息化要走市場化道路，但是在市場還沒有培育成熟或自培能力比較差時完全依賴市場，必然造成手語軟件和網(wǎng)絡(luò)的日漸萎縮，也易造成低水平的重復；加之手語軟件開發(fā)成本高，不僅企業(yè)的積極性會受影響，用戶也因價格偏高而難以承受。目前手語信息技術(shù)產(chǎn)品和應(yīng)用的開發(fā)完全依靠市場競爭來推動還不現(xiàn)實，因此急需國家的一些政策和經(jīng)費來支持手語信息化，而且政府要加強引導和合理利用，將有限的人力和物力用到刀刃上，并加強頂層設(shè)計，統(tǒng)籌部署，凝聚人才、科研、產(chǎn)業(yè)與資本的優(yōu)勢力量，規(guī)范發(fā)展路徑，盡快出臺中國手語信息化發(fā)展路線圖。努力打造手語信息化的創(chuàng)新鏈條和生態(tài)鏈條，要建立測試標準，規(guī)劃底層的認知架構(gòu)、核心算法、操作系統(tǒng)、信息化體系結(jié)構(gòu)與芯片，形成“學研產(chǎn)用”的創(chuàng)新鏈條。鼓勵各大企業(yè)關(guān)注并投入研發(fā)，形成生態(tài)鏈條。一方面，手語信息化研究成果有助于改善與提升特殊人群的生活、學習與工作環(huán)境，為他們供更好的服務(wù)，體現(xiàn)企業(yè)的人文關(guān)懷和社會責任；另一方面，在電影制作、動畫制作、游戲娛樂等諸多方面，手語信息化研究成果也能起到支撐作用。因此，手語信息化研發(fā)不僅能夠提升企業(yè)的文化品位，在經(jīng)濟上的收益也是不可估量的。

信息化界有句名言——一流出標準，二流出技術(shù)，三流出人工。如何把基于中國龐大手語資源的科研成果變成全世界都遵守的標準，把手語信息資源變成巨大無比的知識庫，應(yīng)當成為當前和未來手語信息化基礎(chǔ)應(yīng)用研究的首要課題。

參考文獻

李 勇，高 文 2002 《基于顏色手套的中國手指語字母的動靜態(tài)識別》，《計算機工程與應(yīng)用》第17期。

……

（因版面不足，以下參考文獻從略，可在中國知網(wǎng)上閱讀、下載完整版）

責任編輯：逯琳琳