張姍姍

（寶雞文理學(xué)院，陜西 寶雞 721013）

信息論的應(yīng)用

張姍姍

（寶雞文理學(xué)院，陜西 寶雞 721013）

信息論是關(guān)于信息的本質(zhì)和傳送規(guī)律的科學(xué)理論，其主要特點(diǎn)是理論的成功應(yīng)用。文章主要介紹信息論在數(shù)據(jù)壓縮、密碼學(xué)、統(tǒng)計(jì)及信號(hào)處理中的應(yīng)用。

信息；信息論；數(shù)據(jù)壓縮；密碼學(xué)

信息是人類社會(huì)互通情報(bào)的實(shí)踐過(guò)程中產(chǎn)生的，在當(dāng)今信息社會(huì)中，常把它作為人們認(rèn)識(shí)世界的向?qū)c智慧的源泉，也是社會(huì)與社會(huì)生產(chǎn)力發(fā)展的動(dòng)力與資源。信息作為一種資源，如何開(kāi)發(fā)、利用、共享是人們普遍關(guān)注的問(wèn)題。信息是信息論中最基本最重要的概念。信息論是應(yīng)用近代數(shù)理統(tǒng)計(jì)方法研究信息的傳輸、存儲(chǔ)與處理的科學(xué)[1]。其基本任務(wù)是為設(shè)計(jì)有效而可靠的通信系統(tǒng)提供理論依據(jù)，主要特點(diǎn)是理論的成功應(yīng)用。文章主要介紹信息論在數(shù)據(jù)壓縮、密碼學(xué)、統(tǒng)計(jì)及信號(hào)處理中的應(yīng)用。

1 信息論在數(shù)據(jù)壓縮理論中的應(yīng)用

信息論之父香農(nóng)在 1948年發(fā)表的論文《通信的數(shù)學(xué)理論》一文中指出，任何信息都有冗余，冗余大小和信息中每個(gè)符號(hào)的出現(xiàn)概率或者說(shuō)不確定性有關(guān)[2]。香農(nóng)把信息中排除了冗余后的平均信息量稱為信息熵，并給出了計(jì)算信息熵的數(shù)學(xué)表達(dá)式，這為數(shù)據(jù)壓縮奠定了理論基礎(chǔ)。

數(shù)據(jù)壓縮的主要目的是力求用最少的數(shù)據(jù)表示信源所發(fā)出的信號(hào)，使信號(hào)占用的存儲(chǔ)空間盡可能小，以達(dá)到提高信息傳輸速度的目的。數(shù)據(jù)壓縮在近代信息處理問(wèn)題中有大量的應(yīng)用，無(wú)論在數(shù)據(jù)存儲(chǔ)或傳送中，通過(guò)數(shù)據(jù)壓縮不僅可以大大節(jié)省資源利用的成本，而且把一些原來(lái)無(wú)實(shí)用意義的技術(shù)，如多媒體技術(shù)中的一些問(wèn)題，達(dá)到具有實(shí)用意義的標(biāo)準(zhǔn)。

數(shù)據(jù)壓縮作為信息論研究中的一項(xiàng)內(nèi)容，主要是有關(guān)數(shù)據(jù)壓縮比和各種編碼方法的研究，即按某種方法對(duì)源數(shù)據(jù)流進(jìn)行編碼，使得經(jīng)過(guò)編碼的數(shù)據(jù)流比厡數(shù)據(jù)流占有較少的空間。其中基于符號(hào)頻率統(tǒng)計(jì)的哈夫曼編碼效率高，運(yùn)算速度快，實(shí)現(xiàn)方式靈活，使得其在數(shù)據(jù)壓縮領(lǐng)域得到了廣泛的應(yīng)用。不過(guò)，哈夫曼所得的編碼長(zhǎng)度只是對(duì)信息熵計(jì)算結(jié)果的一種近似，還無(wú)法真正逼近信息熵的極限。所以盡管哈夫曼編碼具有良好的壓縮性能，也一直占據(jù)重要的地位，還是不斷有基于哈夫曼編碼的改進(jìn)算法提出。

算數(shù)編碼是一種可以成功地逼近信息熵極限的編碼方法，它與部分分配預(yù)測(cè)模型結(jié)合，開(kāi)發(fā)了壓縮效果近乎完美的壓縮算法。算數(shù)編碼雖然可以獲得最短的編碼長(zhǎng)度，但其本身的復(fù)雜性也使得算數(shù)編碼的任何具體實(shí)現(xiàn)在運(yùn)行時(shí)都慢如蝸牛，導(dǎo)致難以滿足日常應(yīng)用的需求。此時(shí)，LZ系列算法的優(yōu)越性很快就在數(shù)據(jù)壓縮領(lǐng)域里體現(xiàn)了出來(lái)，LZ系列算法基本解決了通用數(shù)據(jù)壓縮中兼顧速度與壓縮效果的難題。

數(shù)據(jù)壓縮技術(shù)的不斷完善是依靠在信息論這門(mén)學(xué)科的成長(zhǎng)上的，信息能否被壓縮以及能在多大程度上被壓縮與信息的不確定性有直接的關(guān)系，人工智能技術(shù)將會(huì)對(duì)數(shù)據(jù)壓縮的未來(lái)產(chǎn)生重大影響。

2 信息論在密碼學(xué)中的應(yīng)用

密碼學(xué)是研究編制密碼和破譯密碼的技術(shù)科學(xué)。從傳統(tǒng)意義上來(lái)說(shuō)，密碼學(xué)是研究如何把信息轉(zhuǎn)換成一種隱蔽的方式并阻止其他人得到它。密碼術(shù)的研究和應(yīng)用雖有很長(zhǎng)的歷史，但在信息論誕生之前，它還沒(méi)有系統(tǒng)的理論，直到香農(nóng)發(fā)表的保密通信的信息理論一文，為密碼學(xué)確立了一系列的基本原則與指標(biāo)，如加密運(yùn)算中的完全性、剩余度等指標(biāo)，它們與信息的度量有著密切相關(guān)。之后才產(chǎn)生了基于信息論的密碼學(xué)理論，所以說(shuō)信息論與密碼學(xué)的關(guān)系十分密切。

近代密碼學(xué)由于數(shù)據(jù)加密標(biāo)準(zhǔn)與公鑰體制的出現(xiàn)于應(yīng)用，使近代密碼學(xué)所涉及的范圍有了極大的發(fā)展，尤其是在網(wǎng)絡(luò)認(rèn)證方面得到廣泛應(yīng)用，但其中的安全性原理與測(cè)量標(biāo)準(zhǔn)仍未脫離香農(nóng)保密系統(tǒng)所規(guī)定的要求，多種加密函數(shù)的構(gòu)造，如相關(guān)免疫函數(shù)的構(gòu)造仍以香農(nóng)的完善保密性為基礎(chǔ)。

3 信息論在統(tǒng)計(jì)中的應(yīng)用

信息論在統(tǒng)計(jì)中的應(yīng)用一般指信息量在統(tǒng)計(jì)中的應(yīng)用，也有編碼定理與碼結(jié)構(gòu)在統(tǒng)計(jì)中的應(yīng)用等問(wèn)題。由于統(tǒng)計(jì)學(xué)研究的問(wèn)題日趨復(fù)雜，如統(tǒng)計(jì)模型從線性到非線性，統(tǒng)計(jì)分布從單一分布到混合分布，因此信息量在統(tǒng)計(jì)中的作用日趨重要，在許多問(wèn)題中以信息量作為它們的基本度量[3]。

在統(tǒng)計(jì)領(lǐng)域里，統(tǒng)計(jì)計(jì)算技術(shù)近年來(lái)發(fā)展很快，它使許多統(tǒng)計(jì)方法,尤其是Bayes統(tǒng)計(jì)得到廣泛的運(yùn)用。Bayes計(jì)算方法有很多，其中一類是直接應(yīng)用于后驗(yàn)分布以得到后驗(yàn)均值或后驗(yàn)眾數(shù)的估計(jì)，以及這種估計(jì)的漸進(jìn)方差或其近似。EM算法就是一種迭代方法,主要用來(lái)計(jì)算后驗(yàn)分布的眾數(shù)或極大似然估計(jì)。這種方法可以廣泛的應(yīng)用于缺損數(shù)據(jù)，截尾數(shù)據(jù)，成群數(shù)據(jù)，帶有討厭參數(shù)的數(shù)據(jù)等所謂的不完全數(shù)據(jù)。EM算法的最大優(yōu)點(diǎn)是簡(jiǎn)單和穩(wěn)定，主要目的是提供一個(gè)簡(jiǎn)單的迭代算法來(lái)計(jì)算極大似然估計(jì)，問(wèn)題是如此建立的EM算法得到的估計(jì)序列是否收斂。它的特點(diǎn)與信道容量的遞推漸近算法相似，但應(yīng)用更為廣泛。EM 算法實(shí)現(xiàn)簡(jiǎn)單，數(shù)值計(jì)算穩(wěn)定，存儲(chǔ)量小，并具有良好的全局收斂性。EM算法是一種求參數(shù)極大似然估計(jì)的迭代算法，在處理不完全數(shù)據(jù)中有重要應(yīng)用。

信息與統(tǒng)計(jì)相結(jié)合的其他典型問(wèn)題還很多，如假設(shè)檢驗(yàn)中的兩類誤差估計(jì)問(wèn)題，試驗(yàn)設(shè)計(jì)問(wèn)題，信息量在有效估計(jì)中的應(yīng)用問(wèn)題等，這些問(wèn)題已使信息論與統(tǒng)計(jì)學(xué)想成相互推動(dòng)發(fā)展的局面。

4 信息論在信號(hào)處理中的應(yīng)用

信號(hào)處理包括數(shù)據(jù)、影象、語(yǔ)聲或其他的信號(hào)的處理，從信息論的觀點(diǎn)看，信號(hào)則是觀察客觀事物表達(dá)其相應(yīng)信息的技術(shù)手段，也就是特定信息的載體[4]。信息是通過(guò)信號(hào)來(lái)表達(dá)的，對(duì)信息的加工和處理，也就是信號(hào)的加工和處理。所有處理過(guò)程無(wú)非是信源編碼，變換，過(guò)濾或決策過(guò)程，其實(shí)變換也是一種編碼過(guò)程。這些過(guò)程中的大部分的信息論基礎(chǔ)是信息率失真理論。

譬如數(shù)字信號(hào)處理，其技術(shù)可以歸結(jié)為以快速傅里葉變換和數(shù)字濾波器為核心，以邏電路為基礎(chǔ)，以大規(guī)模集成電路為手段，利用軟硬件來(lái)實(shí)現(xiàn)各種模擬信號(hào)的數(shù)字處理，其中要用到信息論中的信號(hào)檢測(cè)、信號(hào)變換、信號(hào)的調(diào)制和解調(diào)、信號(hào)的運(yùn)算、信號(hào)的傳輸和信號(hào)的交換等。

現(xiàn)在，信息理論與技術(shù)不僅直接應(yīng)用于通信、計(jì)算機(jī)和自動(dòng)控制等領(lǐng)域，而且還廣泛滲透到生物學(xué)、醫(yī)學(xué)、語(yǔ)言學(xué)、社會(huì)學(xué)、經(jīng)濟(jì)學(xué)和管理學(xué)等領(lǐng)域，與這些交叉學(xué)科的發(fā)展，是信息論的應(yīng)用范圍更加廣泛。

[1] 曹雪虹,張宗橙.信息論與編碼[M].北京:清華大學(xué)出版社,2004.

[2] 周葉林.科學(xué)研究中的信息論及其應(yīng)用[J].今日南國(guó),2009，5:201-202.

[3] 沈世鎰,吳忠華.信息論基礎(chǔ)與應(yīng)用[M].北京:高等教育出版社,2004.

[4] 周蔭清.信息理論基礎(chǔ)[M].北京:北京航空航天大學(xué)出版社,2006.

G201

A

1008-1151(2011)07-0045-02

2011-04-19

寶雞文理學(xué)院科研計(jì)劃項(xiàng)目（ZK0788）

張姍姍（1981—），女，河南博愛(ài)人，寶雞文理學(xué)院數(shù)學(xué)系助教，碩士，研究方向?yàn)樾畔踩?/p>