辛港濤/XIN Gangtao，樊平毅/FAN Pingyi

（清華大學(xué)，中國(guó) 北京 100084）

近年來，隨著規(guī)?；療o線通信的快速發(fā)展與智能處理需求的快速增多，各種基于無線通信技術(shù)的新興智能業(yè)務(wù)得到迅速發(fā)展，這給通信技術(shù)帶來了新的挑戰(zhàn)。一方面，這些新興業(yè)務(wù)（如工業(yè)互聯(lián)網(wǎng)、虛擬/增強(qiáng)/混合現(xiàn)實(shí)、元宇宙、全息通信）的成功高度依賴于在海量數(shù)據(jù)集上對(duì)大型學(xué)習(xí)模型的訓(xùn)練。此類應(yīng)用承載的大量流量可能會(huì)使現(xiàn)存的網(wǎng)絡(luò)容量趨于飽和。因此，通信基礎(chǔ)設(shè)施需要融入智能，確保在必要的時(shí)間，以合理的速率，傳輸所需的流量。另一方面，這些新興業(yè)務(wù)需要極低的端到端時(shí)延，因此通信技術(shù)需要考慮流量的相關(guān)性和緊迫性，以最快、最可靠的方式提取和交付與任務(wù)相關(guān)的信息。這將導(dǎo)致通信網(wǎng)絡(luò)架構(gòu)從單純追求高速率傳輸向追求智能化過渡[1]。

語義通信是一種全新的通信架構(gòu)，它將用戶對(duì)信息的需求及任務(wù)語義融入通信過程，有望大幅度提高通信實(shí)施效率，提升用戶的體驗(yàn)，并從根本上解決基于數(shù)據(jù)的傳統(tǒng)通信協(xié)議中存在的跨系統(tǒng)、跨協(xié)議、跨網(wǎng)絡(luò)等技術(shù)難題[2]。C. E.SHANNON 和W. WEAVER 在1949 年發(fā)表的論文中提出了廣義通信的3個(gè)層次的問題[3]，分別為：

1）技術(shù)層：傳輸?shù)姆?hào)是否準(zhǔn)確？

2）語義層：傳輸?shù)姆?hào)是否準(zhǔn)確表達(dá)了任務(wù)預(yù)期含義？

3）有效層：接收的信息含義能否按照預(yù)期方式影響用戶的行為？

從技術(shù)層到語義層，通信的目標(biāo)從符號(hào)的準(zhǔn)確傳輸轉(zhuǎn)變?yōu)檎Z義的有效交換。經(jīng)典的香農(nóng)信息論建立在概率與統(tǒng)計(jì)的基礎(chǔ)上，忽略了具體任務(wù)的語義表示方式，從技術(shù)層解決了兩個(gè)基本問題：臨界數(shù)據(jù)壓縮的值和臨界通信傳輸速率的值。語義通信的數(shù)學(xué)理論和語義的數(shù)學(xué)表征可以歸結(jié)為語義信息論的問題。盡管目前語義信息論沒有公認(rèn)且統(tǒng)一的理論框架，但近些年來，學(xué)術(shù)界和工業(yè)界對(duì)語義信息論的研究越來越多。2021 年，華為公司提出的后香農(nóng)時(shí)代信息通信技術(shù)（ICT）領(lǐng)域的十大挑戰(zhàn)問題[4]，將語義信息論列為基礎(chǔ)理論的首要問題。本文中，我們關(guān)注語義信息論的核心概念，介紹語義熵、語義率失真和語義信道容量方面的進(jìn)展。

1 語義熵

語義信息的度量問題是語義信息理論的基礎(chǔ)。熵是對(duì)隨機(jī)變量不確定性的度量，語義熵是對(duì)語義不確定度或信息量大小的度量。到目前為止，對(duì)語義熵直觀且通用的數(shù)學(xué)描述仍然是一個(gè)具有挑戰(zhàn)性的難題：一方面語義基本內(nèi)涵不易定義從而難以度量；另一方面人們對(duì)語義的產(chǎn)生機(jī)理和過程并不明確[5-7]。

1）語義熵起源于前香農(nóng)時(shí)代，與自然語言的分析相關(guān)[8]。針對(duì)語言任務(wù)，1952 年，R. CARNAP 和Y. BARHILLEL[9]提出了語義熵的概念，用邏輯概率來衡量一個(gè)句子所包含的語義信息量，即：

其中，m(e)是指事件e在所有可能情況下為真的概率，也就是事件e的邏輯概率。可以看出，一個(gè)句子為真的邏輯概率越大，包含的信息量就越小。但是，這產(chǎn)生了一個(gè)悖論，即任何事實(shí)與其自身矛盾時(shí)會(huì)具有無窮大的信息量，如Hs(e ∧?e)（表示“事件e與事件非e”發(fā)生的概率）為無窮大。2004年，L. FLORIDI[10]提出強(qiáng)語義信息理論，用與真實(shí)事件之間的距離來表示語義信息量的大小，解決了這一悖論。2011 年，S. D'AFLONSO[11]基于真理相似性對(duì)語義信息進(jìn)行了定量描述。L. FLORID和S. D'AFLONSO的方法衡量的是某一事件相對(duì)于參考事件的信息，信息值總是在0～1。然而，這些度量都依賴于參考事件的存在。從本質(zhì)上講，他們的工作提供了兩個(gè)句子之間語義相似度的度量，而不是語義不確定性或信息量大小的測(cè)量。2011 年，遵循R.CARNAP 的定義，J. BAO、P. BASU 等[12]采用命題邏輯拓展了m(e)的表示，進(jìn)一步拓展了語言任務(wù)中語義熵的含義。

2）針對(duì)智能任務(wù)，I. D. MELAMED[13]提出了一種測(cè)量文本中單詞的語義熵的方法。具體而言，對(duì)于一個(gè)詞w，語義熵可以被表示為：

其中，H(T|w)代表了翻譯不一致性，表示一個(gè)詞被翻譯成不同的方式所帶來的不確定性，T表示目標(biāo)詞的集合，N(w)表示w的空鏈接的貢獻(xiàn)，表示從一種語言翻譯到另一種語言時(shí)遇到困難的可能性，F(xiàn)(w)是w 的頻率。對(duì)于分類任務(wù)，LIU X. D.、JIA W. J. 等[14]引入匹配度和隸屬度的概念來定義語義熵。隸屬度是模糊集理論中的一個(gè)難以解析的概念，一般是根據(jù)經(jīng)驗(yàn)來給定。定義? 為語義概念，μ?(x)為每個(gè)x ∈X的隸屬度。對(duì)于某個(gè)類別Cj，匹配度Dj(?)定義為：

對(duì)于類別Cj，其語義熵定義為HS(?)=?Dj(?)log Dj(?)。將X 中所有類的語義熵相加，可以得到集合X 上的整體語義熵。

A. CHATTOPADHYAY 等[15]提出一種量化任務(wù)相關(guān)的語義熵，他們將語義熵定義為關(guān)于數(shù)據(jù)X的語義查詢的最小數(shù)量，其答案足以預(yù)測(cè)任務(wù)V，可以表示為：

3）語義是對(duì)信號(hào)的理解，知識(shí)在語義的產(chǎn)生過程中充當(dāng)了語義編碼和表示的角色，發(fā)揮了重要作用。J. CHOI等[16]基于邏輯概率，從知識(shí)庫的角度研究一個(gè)句子的語義熵。具體而言，記知識(shí)庫為K，用p[K?q]表示句子q相對(duì)于知識(shí)庫K正確的概率，簡(jiǎn)化為pq= p[K?q]，則q相對(duì)于K的語義熵為：

眾所周知，擴(kuò)展模式可以把簡(jiǎn)單的事物組合成復(fù)雜的系統(tǒng)，甚至產(chǎn)生智能。在人類的語言系統(tǒng)中，主謂賓、定狀補(bǔ)的成分組成了句子，可以表達(dá)出單個(gè)單詞所不可能具有的含義。受此啟發(fā)，XIN G. T.和FAN P. Y.[17]認(rèn)為智能語義應(yīng)當(dāng)是可以擴(kuò)展的，語義熵的表示形式要體現(xiàn)知識(shí)擴(kuò)展的理念。在語義的擴(kuò)展中，知識(shí)層面發(fā)生了碰撞。語義正是在知識(shí)碰撞作用下，與信號(hào)作用的產(chǎn)物。例如，Apple Inc.屬于商業(yè)公司類別，thirteen 屬于數(shù)字類別，但是它們的碰撞可能會(huì)產(chǎn)生一個(gè)單詞——iPhone，屬于移動(dòng)通信產(chǎn)品類別。用X1和X2表示信號(hào)，和表示兩個(gè)知識(shí)實(shí)例，則語義熵可以表示為，其中⊕表示擴(kuò)展，⊙表示碰撞。

4）不同于邏輯概率或統(tǒng)計(jì)概率模型，針對(duì)不同任務(wù)和背景，語義熵的推導(dǎo)形式也各不相同。A. KOLCHINSKY 與D. H. WOLPERT[18]將語義信息定義為描述系統(tǒng)與其所處環(huán)境之間關(guān)系的語法信息。M. KOUNTOURIS 和N. PAPPAS[19]使用Rényi熵對(duì)語義信息進(jìn)行度量。N. J. VENHUIZEN 等[20]基于背景知識(shí)的語言理解模型推導(dǎo)出語義熵。C. LU[21]引入廣義信息論，基于貝葉斯公式、邏輯概率和模糊集合等理論對(duì)語義信息進(jìn)行數(shù)學(xué)度量描述。

2 語義率失真

在香農(nóng)信息論中，率失真理論解決了失真情況下的編碼問題。若信源為X～p(x)，編碼后的表示為，率失真度量為，則率失真函數(shù)為：

如果R > R(D)，則存在編碼方法使得平均失真趨向于D。如果R < R(D)，則這樣的碼序列不存在。

在語義通信中，在語義層面進(jìn)行信息提取與編碼表示，有助于進(jìn)一步壓縮語義信息的冗余，提取最重要的語義特征，從而提高語義傳輸?shù)挠行?。J. LIU 等[22]將語義率失真定義為：

其中，X1、X2分別是兩個(gè)用戶的語義表示，Y 是邊信息。2022 年，P. A. STAVROU 和M. KOUNTOURIS[24]進(jìn)一步研究了在漢明失真度量下的特征。

語義率失真理論直接對(duì)應(yīng)編碼技術(shù)，有效的語義編碼工作具有高復(fù)雜性和挑戰(zhàn)性。目前，用雙失真度量的方式來表示語義編碼是較普遍的做法。Y. SHAO等[25]用語義失真LU和語義成本DU來定義語義編碼的可達(dá)區(qū)域。語義失真反映了接收方和發(fā)送方在語義理解上的差異，語義成本則代表了信息的簡(jiǎn)潔性或可理解性，它可以是相應(yīng)比特序列的長(zhǎng)度。語義成本定義可表述為：若存在一個(gè)語義編碼方案U使得DU=D，LU= L，則稱失真-成本區(qū)域(L,D) 是可達(dá)的。P.AGHELI[26]等對(duì)多用戶的語義編碼進(jìn)行了研究，發(fā)送端向具有兩個(gè)不同目標(biāo)的接收端傳輸語義，用戶根據(jù)最大化兩個(gè)接收端的語義感知效用函數(shù)的加權(quán)和，分配所選數(shù)據(jù)包到達(dá)的最佳實(shí)際碼字長(zhǎng)度。Y. XIAO 等[27]提出了策略語義通信的率失真理論。該將博弈論模型與率失真理論相結(jié)合，以表征語義編碼器和解碼器之間的信息交互對(duì)通信失真性能的影響。

3 語義信道容量

信道容量是信息論的中心問題，也是信息論中最著名的成果。對(duì)于一個(gè)輸入為X、輸出為Y的離散無記憶信道，信道容量被定義為：

信道容量指出了在傳輸信息時(shí)可達(dá)速率的上界。所有小于信道容量C的碼率都可在無差錯(cuò)條件下可達(dá)，而所有大于信道容量的碼率是不可無差錯(cuò)達(dá)到的。也就是說，對(duì)任意的碼率R < C，存在誤差概率趨于0 的一個(gè)(2nR,n)碼序列；反之，如果碼率R > C，那么誤差概率將遠(yuǎn)離0。

語義信道容量的相關(guān)研究工作較少。T. OKAMOTO[28]認(rèn)為語義信道容量可以表示為通過語義信道傳輸?shù)恼Z義信息的最大速率或者最大語義通信量與通信數(shù)據(jù)大小的比率。一方面，在該速率下，可以通過語義信道發(fā)送語義信息，并在語義信道的輸出端恢復(fù)信息；另一方面，在信道上的語義數(shù)據(jù)信息傳輸速率不可能超過信道的語義容量。

2011，J. BAO等[12]對(duì)語義信道容量做出如下定義：

對(duì)任意? > 0 和R < Cs，存在一種編碼策略，使得語義錯(cuò)誤的最大概率小于?。其中，X是信源，V是傳輸任務(wù)，Z是語義表示，I(X; V)是信源X和傳輸任務(wù)V之間的互信息，H(Z|X)表示編碼的語義不確定度，是任務(wù)V的接收消息的平均邏輯信息。

語義信道容量可以高于或低于香農(nóng)信道容量I(X:V)，這取決于語義編碼策略和接收機(jī)解釋所收到消息的能力。若，則意味著接收者可以處理語義歧義，接收者可以用收到的語句回答問題，語義壓縮可以實(shí)現(xiàn)更高的傳輸速率。在這種情況下，CS高于香農(nóng)容量。若H(Z|X)< 0，接收者不能解決原本存在的語義歧義，接收者無法根據(jù)收到的語句回答問題，CS低于香農(nóng)容量。

4 語義信息論展望

如果說目前語義通信處于幼兒期，那么語義信息論則處于嬰兒期，仍然有大量開放性問題尚未解決，例如：

1）語義、語義熵、語義編碼器是否存在通用的數(shù)學(xué)表示形式？還是可以分類表示？

2）語義通信的基本性能極限是什么？由于語義通信旨在讓傳輸?shù)姆?hào)精確地傳達(dá)內(nèi)容含義，因此語義通信的基本性能極限難以用一個(gè)具體的容量值描述，應(yīng)由技術(shù)層和語義層所共同決定，其形式應(yīng)體現(xiàn)多維特點(diǎn)。涉及的極限問題包括但不限于網(wǎng)絡(luò)容量、最優(yōu)編碼、數(shù)據(jù)傳輸速率對(duì)語義傳輸速率的影響等，可能還需要兼顧物理層通信速率與語義解碼器表達(dá)能力之間的均衡特征。

3）基于深度學(xué)習(xí)的語義通信系統(tǒng)的理論框架應(yīng)如何發(fā)展？目前深度學(xué)習(xí)被廣泛用于信源信道聯(lián)合編碼和面向任務(wù)的通信結(jié)構(gòu)設(shè)計(jì)，在智能處理服務(wù)中逐漸顯現(xiàn)其重要性。探索基于深度學(xué)習(xí)的語義通信的理論框架并給出理論指導(dǎo)，包括其合適的性能指標(biāo)與語義相似度度量等是非常必要的。

5 結(jié)束語

語義通信作為一種新的通信結(jié)構(gòu)，改變了傳統(tǒng)的數(shù)據(jù)傳輸范式，有望為大型智能處理服務(wù)帶來新氣象。然而，目前的語義通信研究剛剛起步，有大量的工作值得進(jìn)一步研究，如知識(shí)共享框架、資源調(diào)度與分配、語義噪聲建模與度量等。本文從語義通信的理論角度出發(fā)，依次回顧了語義熵、語義率失真和語義信道容量等相關(guān)概念，梳理了語義信息論的相關(guān)發(fā)展，同時(shí)對(duì)未來語義信息論存在的開放性問題進(jìn)行了簡(jiǎn)單討論。希望這些問題能引起專家學(xué)者的關(guān)注，助力他們?yōu)檎Z義信息論的發(fā)展做出更多的貢獻(xiàn)。