信息論（Information Theory）又稱通信的數(shù)學(xué)理論、通訊理論、通信的統(tǒng)計(jì)理論，它是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息、信息熵、通信系統(tǒng)、密碼學(xué)和數(shù)據(jù)壓縮等問(wèn)題的應(yīng)用數(shù)學(xué)學(xué)科。
信息論的起源可以追溯到19世紀(jì)，美國(guó)物理學(xué)家約西亞·吉布斯（Josiah Willard Gibbs）和奧地利物理學(xué)家路德維希·玻爾茲曼（Ludwig Boltzmann）分別將偶然性、熵函數(shù)引進(jìn)物理學(xué)，為信息論的產(chǎn)生提供了思想前提。信息論的早期研究工作開(kāi)端與20世紀(jì)20年代。1928年，科學(xué)家哈特萊（Hartley）發(fā)表了《信息傳輸》一文，區(qū)分了信息和消息在概念上的差異，并提出用消息出現(xiàn)的概率的對(duì)數(shù)來(lái)度量其中所包含的信息，為理論的創(chuàng)立奠定了初步基礎(chǔ)。美國(guó)數(shù)學(xué)家克勞德·香農(nóng)（Claude Elwood Shannon）于1948年和1949年先后發(fā)表了論文——《通信的數(shù)學(xué)理論》和《在噪聲中的通信》，標(biāo)志著信息論正式誕生。20世紀(jì)50年代，信息論開(kāi)始向各學(xué)科發(fā)起沖擊，以物理學(xué)為代表。60年代，該理論進(jìn)入了一個(gè)消化、理解的時(shí)期，在已有的基礎(chǔ)上進(jìn)行了一些重大建設(shè)，研究重點(diǎn)是信息和信源編碼問(wèn)題。后來(lái)，學(xué)者們?cè)絹?lái)越認(rèn)識(shí)到信息的重要性，它迫切要求突破克勞德·香農(nóng)信息論的狹隘范圍，以便使它能夠成為人類各種活動(dòng)中所碰到的信息問(wèn)題的基礎(chǔ)理論，從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。
信息論的研究對(duì)象是廣義通信系統(tǒng)，它把所有的信息流通系統(tǒng)都抽象成一個(gè)統(tǒng)一的模型。編碼理論為信息論的基本理論，主要分為信源編碼和信道編碼兩個(gè)部分。與該學(xué)科相關(guān)的觀點(diǎn)是信息論假說(shuō)。此外，信息論的理論與成果在自然科學(xué)、社會(huì)科學(xué)的各個(gè)領(lǐng)域中應(yīng)用廣泛，如，在生物學(xué)中，基于信息論的特征提取方法可以對(duì)生物序列中的必需基因和啟動(dòng)子進(jìn)行分析與預(yù)測(cè)。
學(xué)科簡(jiǎn)介
信息論又稱通信的數(shù)學(xué)理論、通訊理論、通信的統(tǒng)計(jì)理論，它是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息、信息熵、通信系統(tǒng)、密碼學(xué)和數(shù)據(jù)壓縮等問(wèn)題的應(yīng)用數(shù)學(xué)學(xué)科。
信息論的研究對(duì)象是廣義通信系統(tǒng)，它把所有的信息流通系統(tǒng)都抽象成一個(gè)統(tǒng)一的模型，該模型不僅包括電話、電報(bào)、傳真、電視、雷達(dá)等狹義的通信系統(tǒng)，還包括生物有機(jī)體的遺傳系統(tǒng)、神經(jīng)系統(tǒng)、視覺(jué)系統(tǒng)，甚至是人類社會(huì)的管理系統(tǒng)。信息論的研究分為信息傳輸和信息壓縮兩大領(lǐng)域，這兩個(gè)方面又通過(guò)信息傳輸定理、信源—信道隔離定理相互聯(lián)系。
歷史
前提與開(kāi)端
信息論的起源可以追溯到19世紀(jì)，美國(guó)物理學(xué)家約西亞·吉布斯（Josiah Willard Gibbs）的統(tǒng)計(jì)力學(xué)方法中隱含著把一個(gè)復(fù)雜的偶然事件看作為由許多局部偶然事件無(wú)限概率之和的思想。這種研究方法為信息論的創(chuàng)立提供了方法論的前提。奧地利物理學(xué)家路德維希·玻爾茲曼（Ludwig Boltzmann）把熵函數(shù)引入統(tǒng)計(jì)物理學(xué)，對(duì)熵首先作出了微觀解釋，指出熵是關(guān)于一個(gè)物理系統(tǒng)分子運(yùn)動(dòng)狀態(tài)的物理量，表示分子運(yùn)動(dòng)的混亂程度，并且把熵和信息聯(lián)系起來(lái)，提出“熵是一個(gè)系統(tǒng)失去了的‘信息’的度量”。偶然性、熵函數(shù)引進(jìn)物理學(xué)為信息論的產(chǎn)生提供了思想前提。這些研究已經(jīng)涉及到有關(guān)信息方面的問(wèn)題，但由于當(dāng)時(shí)科學(xué)技術(shù)水平的限制，他們未能直接提出信息理論的問(wèn)題。
信息論的早期研究工作開(kāi)端與20世紀(jì)20年代，科學(xué)家奈奎斯特（Nyquist）與哈特萊（Hartley）根據(jù)通信實(shí)踐的需要最早研究了通信系統(tǒng)的傳輸效率問(wèn)題。1924年，奈奎斯特等科學(xué)家指出，為了以一定的速度傳送電報(bào)信號(hào)，電磁波必須有一定的頻率范圍——頻帶寬度，即電信信號(hào)的傳輸速率與信道頻帶寬度之間存在著比例關(guān)系。1928年，哈特萊發(fā)表了《信息傳輸》一文，首次提出了消息是代碼、符號(hào)，它與信息是不同的，即消息是信息的載體，而信息是包含在各種具體消息中的抽象量。此外，他還提出了用消息出現(xiàn)的概率的對(duì)數(shù)來(lái)度量其中所包含的信息，為信息論的建立奠定了初步基礎(chǔ)。
鋪墊與誕生
20世紀(jì)30年代初，美國(guó)數(shù)學(xué)家諾伯特·維納（Norbert Wiener）利用“廣義諧波分析理論”對(duì)信息系統(tǒng)中的隨機(jī)過(guò)程進(jìn)行了譜分析。1936年，美國(guó)電工學(xué)家阿姆斯特朗（Armstrong）認(rèn)識(shí)到在傳輸過(guò)程中采用增加帶寬的辦法對(duì)抑制噪聲干擾有明顯的效果，根據(jù)這一思想他提出了寬偏移的頻率調(diào)制方法。三年后，美國(guó)物理學(xué)家達(dá)德利（Homer Dudley）發(fā)明了聲碼器。當(dāng)時(shí)他提出的概念是：通信所需要的帶寬至少要同所要傳送消息的帶寬一樣。20世紀(jì)40年代初期，由于軍事上的需要，諾伯特·維納在研究防空火炮的控制問(wèn)題時(shí)，發(fā)表了《平穩(wěn)時(shí)間序列的外推、內(nèi)插與平滑及其工程應(yīng)用》一文，他把隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)學(xué)的觀點(diǎn)引入到通信和控制系統(tǒng)中來(lái)，揭示了信息傳輸和處理過(guò)程的統(tǒng)計(jì)本質(zhì)。
信息論真正的創(chuàng)始人是美國(guó)數(shù)學(xué)家克勞德·香農(nóng)（Claude Elwood Shannon），他從1940年開(kāi)始從事信息論的研究。香農(nóng)于1948年發(fā)表論文《通信的數(shù)學(xué)理論》，集中討論了信源、信宿、信道以及編碼等問(wèn)題，使用概率統(tǒng)計(jì)方法對(duì)通信系統(tǒng)進(jìn)行了研究，揭示了通信系統(tǒng)傳遞的對(duì)象是信息，并且對(duì)信息進(jìn)行了科學(xué)的定量描述，提出了熵的概念。一年后，香農(nóng)又發(fā)表了《在噪聲中的通信》一文，這些著作標(biāo)志著信息論的正式誕生。與此同時(shí)，諾伯特·維納在他的《控制論》一書(shū)中從理論上探討了信息的本質(zhì)，并從控制和通信的角度對(duì)信息論進(jìn)行了長(zhǎng)期研究，提出了維納濾波理論和信號(hào)預(yù)測(cè)的接受理論。他從統(tǒng)計(jì)觀點(diǎn)出發(fā)，把消息看做是可測(cè)時(shí)間序列，提出了將消息定量化的原則和方法，并提出了度量信息量的數(shù)學(xué)公式，把信息作為通信和控制系統(tǒng)的基本概念和方法運(yùn)用到許多領(lǐng)域。
應(yīng)用與發(fā)展
20世紀(jì)50年代，信息論開(kāi)始向各門學(xué)科發(fā)起沖擊，60年代，信息論不是重大的創(chuàng)新時(shí)期，而是一個(gè)消化、理解的時(shí)期，是在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時(shí)期，研究重點(diǎn)是信息和信源編碼問(wèn)題。1961年，美國(guó)物理學(xué)家羅爾夫·蘭道爾（Rolf Landauer）在發(fā)表的文章《計(jì)算過(guò)程中的不可逆轉(zhuǎn)性和熱生成》中，表述了計(jì)算機(jī)中的邏輯不可逆與物理不可逆有關(guān)。他發(fā)現(xiàn)如“擦除”之類的去除信息的邏輯運(yùn)算必然產(chǎn)生能量的耗散，擦除將信息從可訪問(wèn)的形式轉(zhuǎn)換為不可訪問(wèn)的形式，稱為熵，而可以逆轉(zhuǎn)的邏輯操作不會(huì)導(dǎo)致熵的上升。同時(shí)，羅爾夫·蘭道爾還算出擦除每一個(gè)字節(jié)的信息增加的最小熵等于（是玻爾茲曼常數(shù)），也是在這篇文章中，他首次提出了“信息是物理的”觀點(diǎn)。
除物理學(xué)之外，信息論也逐漸被推廣到生物學(xué)、神經(jīng)科學(xué)等各個(gè)領(lǐng)域。20世紀(jì)70年代，由于數(shù)字計(jì)算機(jī)的廣泛應(yīng)用，通信系統(tǒng)的能力也有很大提高。80年代中期以來(lái)，信息論得到快速發(fā)展。學(xué)者們?cè)絹?lái)越認(rèn)識(shí)到信息的重要性，它可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法廣泛滲透到各個(gè)科學(xué)領(lǐng)域，它迫切要求突破克勞德·香農(nóng)信息論的狹隘范圍，以便使它能夠成為人類各種活動(dòng)中所碰到的信息問(wèn)題的基礎(chǔ)理論，從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。
信息論分支
根據(jù)信息論研究的內(nèi)容，一般將其分為狹義信息論、工程信息論和廣義信息論三種類型。
狹義信息論
狹義信息論又稱香農(nóng)信息論、經(jīng)典信息論、信息論基礎(chǔ)，它是以客觀概率信息為研究對(duì)象，從通信的信息傳輸問(wèn)題中總結(jié)和開(kāi)拓出來(lái)的理論。狹義信息論主要研究信息測(cè)度、信道容量、信息率失真函數(shù)，以及與這3個(gè)概念相對(duì)應(yīng)的香農(nóng)三定理以及信源和信道編碼等內(nèi)容。這部分內(nèi)容是信息論的基礎(chǔ)理論。
工程信息論
工程信息論又稱一般信息論，它主要研究信息的傳輸和處理問(wèn)題。除了克勞德·香農(nóng)基本理論之外，工程信息論的研究還包括噪聲理論、信號(hào)濾波和預(yù)測(cè)、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、調(diào)制理論、信息處理理論以及保密理論等。后一部分內(nèi)容的研究者以美國(guó)科學(xué)家維納為代表。雖然諾伯特·維納和香農(nóng)等人都是運(yùn)用概率和統(tǒng)計(jì)數(shù)學(xué)的方法研究如何準(zhǔn)確或近似再現(xiàn)消息的問(wèn)題，都是通信系統(tǒng)的最優(yōu)化問(wèn)題，但他們之間有一個(gè)重要的區(qū)別。諾伯特·維納研究的重點(diǎn)是在接收端，研究消息在傳輸過(guò)程中受到干擾時(shí)，在接收端如何把消息從干擾中提取出來(lái)。在此基礎(chǔ)上建立了最佳過(guò)濾理論（維納濾波器）、統(tǒng)計(jì)檢測(cè)與估計(jì)理論、噪聲理論等。克勞德·香農(nóng)研究的對(duì)象是從信源到信宿的全過(guò)程，是收、發(fā)端聯(lián)合最優(yōu)化問(wèn)題，重點(diǎn)是編碼。香農(nóng)定理指出，只要在傳輸前后對(duì)消息進(jìn)行適當(dāng)?shù)木幋a和譯碼，就能保證在有干擾的情況下，最佳地傳送消息，并準(zhǔn)確或近似地再現(xiàn)消息。信息測(cè)度理論、信道容量理論和編碼理論等由此發(fā)展起來(lái)。
廣義信息論
廣義信息論是一門綜合性的新興學(xué)科，并沒(méi)有嚴(yán)格的定義。概括說(shuō)來(lái)，凡是能夠用廣義通信系統(tǒng)模型描述的過(guò)程或系統(tǒng)，都能用信息基本理論來(lái)研究。廣義信息論不僅包括狹義信息論和一般信息論的所有研究?jī)?nèi)容，還包括如醫(yī)學(xué)、生物學(xué)、心理學(xué)、遺傳學(xué)、神經(jīng)心理學(xué)、語(yǔ)言學(xué)、語(yǔ)義學(xué)，甚至社會(huì)學(xué)和經(jīng)濟(jì)管理中有關(guān)信息的問(wèn)題。反過(guò)來(lái)，所有研究信息的識(shí)別、控制、提取、變換、傳輸、處理、存儲(chǔ)、顯示、價(jià)值、作用以及信息量的大小的一般規(guī)律以及實(shí)現(xiàn)這些原理的技術(shù)手段的工程學(xué)科，也都屬于廣義信息論的范疇。
研究對(duì)象
信息論的研究對(duì)象是廣義通信系統(tǒng)，它把所有的信息流通系統(tǒng)都抽象成一個(gè)統(tǒng)一的模型。在任何一個(gè)信息流通系統(tǒng)中，都有一個(gè)發(fā)出信息的發(fā)送端（信源），有一個(gè)接收信息的接收端（信宿），以及信息流通的通道（信道）。在信息傳遞的過(guò)程中不可避免地會(huì)有噪聲，所以有一個(gè)噪聲源。為了把信源發(fā)出的消息變成適合在信道中傳輸?shù)男盘?hào)，還需要加入編碼器；在送到信宿之前要進(jìn)行反變換，所以要加入編譯器。信源、編碼器、信道、譯碼器和信宿構(gòu)成了通信系統(tǒng)的主要組成部分。
信源
信源是產(chǎn)生消息和消息序列的源，它可以是人、生物、機(jī)器或其他事物。比如，各種氣象狀態(tài)是信源，能夠產(chǎn)生獨(dú)特的氣味吸引蜜蜂屬來(lái)采花蜜的花朵是信源，人腦的思維活動(dòng)也是一種信源。信源的輸出是消息（或消息序列）。消息有著各種不同的形式，如文字、符號(hào)、語(yǔ)言、圖片、圖像、氣味等。消息以能被通信雙方所理解的形式通過(guò)通信進(jìn)行傳遞和交換。消息攜帶著信息，是信息的載體。信源輸出的消息是隨機(jī)的、不確定的，但又有一定的規(guī)律性，因此用隨機(jī)變量或隨機(jī)向量等數(shù)學(xué)模型來(lái)表示信源。
編碼器
編碼器：在信息論中是泛指所有變換信號(hào)的設(shè)備，實(shí)際上就是終端機(jī)的發(fā)送部分，是將信源發(fā)出的符號(hào)轉(zhuǎn)化為適合信道傳輸?shù)男盘?hào)，一般包括信源編碼、信道編碼和調(diào)制器等。信源編碼又可分為無(wú)失真信源編碼和限失真信源編碼，其目的是壓縮信源的冗余度（即多余度），提高信息傳輸?shù)男剩瑥亩岣咄ㄐ畔到y(tǒng)的有效性。信道編碼是為了提高信息傳輸?shù)目煽啃远心康牡貙?duì)信源編碼器輸出的代碼組添加一些監(jiān)督碼元，使之具有糾、檢錯(cuò)能力。調(diào)制器將信道編碼的輸出變換為適合信道傳輸要求的信號(hào)。
信道
信道是指通信系統(tǒng)把載荷消息的信號(hào)從發(fā)送端送到接收端的媒介或通道，是包括收發(fā)設(shè)備在內(nèi)的物理設(shè)施。信道除了傳播信號(hào)以外，還有存儲(chǔ)信號(hào)的作用。在狹義的通信系統(tǒng)中，實(shí)際信道有明線、電纜、光纜、無(wú)線電傳播空間、磁盤、光盤等，這些都屬于傳輸電磁波能量的信道。對(duì)于廣義的通信系統(tǒng)來(lái)說(shuō)，信道還可以是其他的傳輸媒介。在信道中，把在系統(tǒng)其他部分產(chǎn)生的干擾和噪聲都等效地折合成信道干擾，看成是由一個(gè)噪聲源產(chǎn)生的，它將作用于所傳輸?shù)男盘?hào)上。這樣，信道輸出的已是疊加了干擾的信號(hào)。噪聲源的統(tǒng)計(jì)特性是劃分信道的依據(jù)，并且是信道傳輸能力的決定因素。由于干擾或噪聲往往具有隨機(jī)性，所以信道用輸入和輸出之間的條件概率分布來(lái)描述。
譯碼器
譯碼器是編碼器的逆過(guò)程，就是把信道輸出的已疊加了干擾的編碼信號(hào)進(jìn)行反變換，變成信宿能夠理解的消息。其目的是準(zhǔn)確或者近似地再現(xiàn)信源發(fā)出的消息。與編碼器相對(duì)應(yīng)，譯碼器一般由解調(diào)器、信道譯碼器和信源譯碼器組成。信道輸出信號(hào)是模擬信號(hào)，解調(diào)器的任務(wù)是對(duì)該模擬信號(hào)進(jìn)行采樣、量化，產(chǎn)生數(shù)字信號(hào)，有時(shí)候還要對(duì)采樣得到的信號(hào)進(jìn)行判決，以便后續(xù)進(jìn)行檢錯(cuò)、糾錯(cuò)處理，或者進(jìn)行信源譯碼，再現(xiàn)信源傳送的消息。信道譯碼器主要是檢測(cè)或者糾正數(shù)據(jù)傳輸中的錯(cuò)誤，它用于再現(xiàn)或者重建信源傳送的消息符號(hào)。
信宿
信宿是消息傳送的對(duì)象，即接受消息的人、機(jī)器或其他事物，它與信源處于不同地點(diǎn)或存在于不同時(shí)刻。信宿要對(duì)傳遞過(guò)來(lái)的消息提出可接收的條件，即提出一定的準(zhǔn)則，發(fā)送端將以此來(lái)確定對(duì)信源處理時(shí)所保留的最小信息量。信宿的數(shù)量可以是一個(gè)，也可以是多個(gè)，取決于具體應(yīng)用需要。
基本方法
信息論通過(guò)概率統(tǒng)計(jì)方法研究通信中的問(wèn)題，信息熵的概念被引入。它作為信息量多少的測(cè)度，已成為經(jīng)典信息論和量子信息論中最重要的概念。
信息源的熵
香農(nóng)熵：經(jīng)典信息論中的基本概念。對(duì)于隨機(jī)變量，它具有不確定性，可以取不同值。的香農(nóng)熵即測(cè)到的值之前關(guān)于的不確定性的測(cè)度，也可以視為測(cè)到值之后得到信息多少的一種平均測(cè)度。
設(shè)對(duì)隨機(jī)變量，測(cè)到其值為，概率分別為，則與該概率分布相聯(lián)系的香農(nóng)熵定義為：
其中是測(cè)到的概率。必須強(qiáng)調(diào)的是，這里對(duì)數(shù)是以為底的，因此熵的單位是比特（bit），且約定為；另外，概率滿足。
二元熵函數(shù)：設(shè)隨機(jī)變量的概率分布為
則
令，則時(shí)，取最大值為；當(dāng)或時(shí)，為確定信源，此時(shí)，則稱為二元熵函數(shù)。當(dāng)二元熵函數(shù)信源輸出的消息等概率分布時(shí)，信源熵達(dá)到最大值比特，從而也驗(yàn)證了最大離散熵定理（如下圖）。因此當(dāng)二元數(shù)字是由等概率的二元信源輸出時(shí)，每個(gè)二元數(shù)字提供比特的信息量，否則，每個(gè)二元數(shù)字提供的信息量小于比特。這就是信息量的單位比特和計(jì)算機(jī)術(shù)語(yǔ)中位的單位比特的關(guān)系。
聯(lián)合熵
聯(lián)合熵又稱共熵，指聯(lián)合集上，每對(duì)元素的自信息量概率的加權(quán)平均值。其定義式為：
根據(jù)二維聯(lián)合集上的元素的聯(lián)合自信息量定義：
（式中，為積事件，為元素的二維聯(lián)合概率）聯(lián)合熵又可定義為：
。
條件熵
條件熵是聯(lián)合集上，條件自信息量的概率加權(quán)平均值。聯(lián)合集中，集相對(duì)于集的條件熵的定義式為：
條件熵又可寫(xiě)成
式中取和的范圍包括二維空間中的所有點(diǎn)。條件熵是用聯(lián)合概率而不是用條件概率進(jìn)行加權(quán)平均的。
互信息
互信息：兩個(gè)隨機(jī)變量信息共享程度的一種度量，即給定其中一個(gè)變量的信息，能多大程度地減少另一個(gè)變量的不確定性；另一方面，互信息也是兩個(gè)隨機(jī)變量獨(dú)立性的一種度量。假定是兩個(gè)離散型的隨機(jī)變量，那么它們的互信息可定義為：
其中，是的聯(lián)合概率分布，與分別為的邊緣概率分布。對(duì)于連續(xù)型的隨機(jī)變量，互信息可定義為：
性質(zhì)：互信息是一個(gè)非負(fù)變量，且是對(duì)稱的，即。
特別地，如果是兩個(gè)獨(dú)立的隨機(jī)變量，那么
也就是獨(dú)立變量間沒(méi)有共享的信息。
互信息表示在已知的條件下，的信息量減少的多少。決策樹(shù)中的信息增益就是互信息，把分類的不同結(jié)果看成不同隨機(jī)事件，然后把當(dāng)前選擇的特征看成，則信息增益就是當(dāng)前的信息熵減去已知情況下的信息熵。
相對(duì)熵
相對(duì)熵：又稱散度、鑒別信息、方向散度、交叉熵、Kullbac-Leibler距離等，是兩個(gè)概率分布差異的一種度量，它反映了假設(shè)分布特性與實(shí)際分布特性之間的差異。在同一字母集合上的兩個(gè)概率分布和的相對(duì)熵定義為：
在上面的定義中，通常約定，。
性質(zhì)：
（1）不對(duì)稱性：盡管相對(duì)熵從直觀上是個(gè)度量或距離函數(shù)，但它并不是一個(gè)真正的度量或者距離，因?yàn)樗痪哂袑?duì)稱性。
（2）非負(fù)性：相對(duì)熵的值是非負(fù)值。它可以衡量?jī)蓚€(gè)隨機(jī)分布之間的距離，當(dāng)兩個(gè)隨機(jī)分布相同時(shí)，它們的相對(duì)熵為零；當(dāng)兩個(gè)隨機(jī)分布的差別增大時(shí)，它們的相對(duì)熵也會(huì)增大。
定向信息
從序列到序列的定向信息記為，定義為
一般地，定向信息。
（1）若和分別是離散信道的輸入和輸出序列，則
當(dāng)且僅當(dāng)使用該信道沒(méi)有反饋時(shí)等號(hào)成立。
（2）若和分別是離散無(wú)記憶信道的輸入和輸出序列，則
當(dāng)且僅當(dāng)在統(tǒng)計(jì)上獨(dú)立時(shí)等號(hào)成立。
基本理論
編碼理論：編碼理論是研究信息傳輸過(guò)程中信號(hào)編碼規(guī)律的數(shù)學(xué)理論，即研究如何根據(jù)信息系統(tǒng)的結(jié)構(gòu)特征，對(duì)信源產(chǎn)生的符號(hào)序列進(jìn)行變換，以提高信道利用率和通信可靠性的理論。編碼是為了達(dá)到某種目的而對(duì)信號(hào)進(jìn)行的一種變換，其逆變換稱為譯碼或解碼。
數(shù)據(jù)壓縮：數(shù)據(jù)壓縮是利用數(shù)據(jù)編碼或數(shù)據(jù)變換將原來(lái)的數(shù)據(jù)集合壓縮為一個(gè)較小規(guī)模的數(shù)據(jù)集合。多媒體數(shù)據(jù)壓縮方法根據(jù)不同的依據(jù)可產(chǎn)生不同的分類。第一種，按照其作用域在空間域或頻率域上分為空間方法、變換方法和混合方法；第二種，根據(jù)是否自適應(yīng)分為自適應(yīng)性編碼和非自適應(yīng)性編碼；第三種，根據(jù)質(zhì)量有無(wú)損失可分為有損失編碼和無(wú)損失編碼。
糾錯(cuò)碼：糾錯(cuò)碼是為每個(gè)分組添加足夠的冗余信息，使接收方能發(fā)現(xiàn)并自動(dòng)糾正傳輸差錯(cuò)的信道編碼。按構(gòu)造方式它可分為分組碼與卷積碼；按碼元關(guān)系可分為線性碼與非線性碼。
為實(shí)現(xiàn)有效編碼，在編碼理論中同時(shí)從信源、信道兩方面來(lái)進(jìn)行考慮。首先從信源角度考慮，在不丟失信源的原始信息條件下對(duì)信源的數(shù)據(jù)量盡可能精簡(jiǎn)壓縮，是信源編碼問(wèn)題；另一方面則從信道角度考慮，主要目的是克服誤差干擾使數(shù)據(jù)實(shí)現(xiàn)無(wú)誤差或誤差很小的傳輸，是信道編碼問(wèn)題。
信源編碼
信源編碼：對(duì)信源輸出的信號(hào)進(jìn)行變換，包括連續(xù)信號(hào)的離散化，即將模擬信號(hào)通過(guò)采樣和量化變成數(shù)字信號(hào)，以及對(duì)數(shù)據(jù)進(jìn)行壓縮，提高數(shù)字信號(hào)傳輸?shù)挠行远M(jìn)行的編碼。
信息率：信源每秒中產(chǎn)生的信息（量）被稱之為信源的信息率，單位為比特/秒，信息率的具體計(jì)算為：設(shè)信源發(fā)出的消息中有個(gè)可能的符號(hào)，其概率分布為，那么對(duì)接收者來(lái)說(shuō)，有兩種情況：
（1）在無(wú)噪聲時(shí)，每收到一個(gè)符號(hào)，平均消除的不確定性（即信息量）為比特/符號(hào)。符號(hào)信源以平均每秒個(gè)符號(hào)的速度發(fā)送信號(hào)，該信源的信息率為比特/秒；
（2）在有噪聲時(shí)，盡管信源仍以同樣速率發(fā)送信息，但信宿實(shí)際收到的要比小，因此信宿接收的信息率此時(shí)要小于信源信息率。
信道編碼
信道容量：表征信道最大傳送信息能力的度量，指對(duì)于一個(gè)給定的信道環(huán)境，在傳輸差錯(cuò)率（即誤碼率）無(wú)窮趨近于零的情況下，單位時(shí)間內(nèi)可以傳輸?shù)男畔⒘俊＜葱诺廊萘渴切诺涝趩挝粫r(shí)間里所能傳輸信息的最大速率，其單位是比特/秒。它是一個(gè)客觀數(shù)值，與信源無(wú)關(guān)，但與編碼、調(diào)制等技術(shù)有關(guān)。
信道模型：當(dāng)二進(jìn)制數(shù)字序列通過(guò)通道時(shí)，可能發(fā)生下面情況：
發(fā)送，接收機(jī)可能判決為或；發(fā)送，接收機(jī)可能判決為或，設(shè)表示發(fā)送接收機(jī)判決為的概率，表示發(fā)送接收機(jī)判決為的概率，表示發(fā)送接收機(jī)判決為的概率，表示發(fā)送接收機(jī)判決為的概率，則信道轉(zhuǎn)移概率矩陣可表示為
如果，則稱這種信道為二進(jìn)制對(duì)稱信道；否則稱為不對(duì)稱信道。若，或，則稱為信道。二進(jìn)制對(duì)稱信道如下圖所示。
在作刪除判決情況下，信道可用下圖模型表示，稱為二進(jìn)制刪除信道。
信道編碼：對(duì)信源編碼器輸出的信號(hào)進(jìn)行再變換，包括區(qū)分通路、適應(yīng)信道條件和提高通信可靠性而進(jìn)行的編碼。 信道容量中二元對(duì)稱信道通常是無(wú)記憶的，即傳輸?shù)拿總€(gè)碼元符號(hào)不相關(guān)或統(tǒng)計(jì)獨(dú)立，因此產(chǎn)生的傳輸差錯(cuò)是隨機(jī)性的，因而又被稱為隨機(jī)信道；二進(jìn)制擦除信道會(huì)損失一些比特（不是被損壞），如果二進(jìn)制擦除信道存在反饋，那么就會(huì)清楚下一步該做什么：若一個(gè)比特?fù)p失，那么重新傳輸它，直到其順利通過(guò)為止；有記憶信道在信號(hào)傳輸時(shí)可能發(fā)生一種突發(fā)差錯(cuò)，即前后碼元發(fā)生的差錯(cuò)有關(guān)聯(lián)性，一個(gè)差錯(cuò)的出現(xiàn)會(huì)導(dǎo)致后面差錯(cuò)的出現(xiàn)。
相關(guān)觀點(diǎn)
信息
定義
信息是一個(gè)十分通俗而又廣泛的名詞，當(dāng)今信息社會(huì)中，常把它作為人類認(rèn)識(shí)世界的向?qū)c智慧的源泉，也是社會(huì)與生產(chǎn)力發(fā)展的動(dòng)力與資源。信息從不同的學(xué)科及不同的角度有不同的解釋定義，大體歸結(jié)為三大類：從日常生活認(rèn)識(shí)來(lái)看，信息被認(rèn)為是新聞、消息與知識(shí)；從哲學(xué)角度上講，信息是人類認(rèn)識(shí)和改造客觀世界的更高層次；從科學(xué)角度上看，信息作為事物的聯(lián)系、變化和差異。
性質(zhì)
（1）存在的普遍性：信息的本質(zhì)是事物的運(yùn)動(dòng)和變化，只要有事物的存在，就會(huì)有事物的運(yùn)動(dòng)和變化，就會(huì)產(chǎn)生信息。因此，信息普遍存在。
（2）有序性：信息可以用來(lái)消除系統(tǒng)的不確定性，增加系統(tǒng)的有序性。
（3）相對(duì)性：對(duì)于同一個(gè)事物，不同的觀察者所能獲得的信息量可能不同。
（4）可度量性：信息的多少用信息量表示。
（5）可擴(kuò)充性：信息并非一成不變，隨著時(shí)間的推移，大部分信息將得到不斷的擴(kuò)充。
（6）可存儲(chǔ)、傳輸與攜帶性：信息可通過(guò)信息載體以多種形式存儲(chǔ)、傳輸和攜帶。
（7）可壓縮性：人們得到信息之后，并非原封不動(dòng)地拿來(lái)應(yīng)用，往往要進(jìn)行加工、整理、概括、歸納，使信息更加精練、可靠，從而濃縮。
（8）可替代性：信息能替代勞力、資本、物質(zhì)材料甚至?xí)r間。
（9）可擴(kuò)散性：信息可以在短時(shí)間內(nèi)較大范圍地?cái)U(kuò)散開(kāi)來(lái)。
（10）可共享性：信息是可以供大家共享的。
（11）時(shí)效性：信息以事實(shí)的存在為前提。
作用機(jī)制
信息機(jī)制是客觀事物及其運(yùn)動(dòng)的特性、規(guī)律，以及反映它們的語(yǔ)言、文字、圖像、表格等資料，作用刺激于主體感官，經(jīng)過(guò)主體選擇其有價(jià)值意義的部分，以接受、儲(chǔ)存、處理、流通、使用的過(guò)程。信息機(jī)制的要點(diǎn)，在于要有準(zhǔn)確和充足的信息量。如果信息失真、片面，或者貧乏、單調(diào)，那就不可能有全面正確的分析和結(jié)論。
信息論假說(shuō)
信息論假說(shuō)是利用信息論中具有嶄新的學(xué)術(shù)思想和獨(dú)特的思維方法，使通信問(wèn)題的研究從經(jīng)驗(yàn)轉(zhuǎn)變?yōu)榭茖W(xué)，即利用抽象化的方法對(duì)現(xiàn)實(shí)中各種不同的通信背景下的根本問(wèn)題進(jìn)行了刻畫(huà)和抽象。
實(shí)例
思想與記憶：思想是人類一直捉摸不透的東西，而按照信息論假說(shuō)來(lái)講，思想其實(shí)就是一種信息。大腦中的某些特定分子摩擦碰撞，引起了某些信息子的規(guī)則排布，在三維空間中的表現(xiàn)就是產(chǎn)生電流，引起腦細(xì)胞的活動(dòng)，這就是思想的本質(zhì)，當(dāng)然，不同信息表現(xiàn)出不同思想。記憶的功能不僅僅在于儲(chǔ)存信息，還包括對(duì)信息的分析、加工并將其納入言語(yǔ)主體的信息系統(tǒng)。記憶是思想形成的憑借和重要條件，一個(gè)人有了豐富的信息貯存后，一旦受到某種觸發(fā)，大腦皮層會(huì)把遠(yuǎn)期和近期貯存的信息一一映現(xiàn)出來(lái)。
化學(xué)反應(yīng)：化學(xué)反應(yīng)包含著信息過(guò)程，反應(yīng)過(guò)程是一個(gè)物質(zhì)交換和能量交換過(guò)程，其中必然有信息的交流；化學(xué)反應(yīng)的結(jié)果一定會(huì)引起系統(tǒng)的熵變，而熵變又是系統(tǒng)得到或失去信息的結(jié)果。反應(yīng)系統(tǒng)各物質(zhì)相互作用主要表現(xiàn)在組成各物質(zhì)粒子（原子、離子等）之間的相互作用，它隨粒子間距離、方位以及粒子狀態(tài)的變化而變化，這個(gè)相互作用在不同的時(shí)間和空間有著不同的內(nèi)容，而變化著的內(nèi)容就構(gòu)成了現(xiàn)實(shí)信息即化學(xué)反應(yīng)的信息，也就是反應(yīng)系統(tǒng)潛在信息向現(xiàn)實(shí)信息轉(zhuǎn)化的信息。
生命現(xiàn)象：生命現(xiàn)象也可以通過(guò)信息論假說(shuō)來(lái)解釋，生命現(xiàn)象的一個(gè)重要活動(dòng)是信息流，其本質(zhì)是信息的形成、傳遞與演化。經(jīng)絡(luò)運(yùn)行氣血，溝通內(nèi)外表里上下，傳導(dǎo)生理病理信息，依托身體各層結(jié)構(gòu)，是整體涌現(xiàn)的生命現(xiàn)象。生命遺傳信息脫氧核糖核酸就是以數(shù)據(jù)的形式在細(xì)胞內(nèi)的有序排列，通過(guò)核糖核酸編譯成遺傳信息識(shí)別，再根據(jù)識(shí)別的結(jié)果負(fù)責(zé)細(xì)胞成分的組裝，決定細(xì)胞的基本結(jié)構(gòu)和代謝形式，指導(dǎo)著細(xì)胞代謝及其調(diào)節(jié)。在細(xì)胞間交流時(shí)，細(xì)胞表面糖被結(jié)構(gòu)決定同種細(xì)胞的粘連、聚集及性細(xì)胞的融合等。而核酸的結(jié)構(gòu)信號(hào)是在親代細(xì)胞向子代細(xì)胞間傳遞遺傳信息，并決定子代生長(zhǎng)發(fā)育的基本模式。
意義
（1）信息論假說(shuō)將物質(zhì)與思想相統(tǒng)一，它是唯物主義發(fā)展所必經(jīng)的一步，它用唯物的觀點(diǎn)解釋了人類一直無(wú)法弄清的問(wèn)題。它自身只是一個(gè)假說(shuō)，需要人類長(zhǎng)時(shí)間去探索與證明。當(dāng)然，它也存在缺陷，需要人類的不斷發(fā)現(xiàn)。也許它本來(lái)就是個(gè)錯(cuò)誤，但它是人類成長(zhǎng)的見(jiàn)證，是人類的精神財(cái)富。
（2）用信息論假說(shuō)的觀點(diǎn)看問(wèn)題，可以使人類認(rèn)識(shí)到一個(gè)全新的世界，并有助于探索世界更深的本質(zhì)。它給人類提供了一個(gè)豐富的經(jīng)驗(yàn)，是人類跳出固有思想看問(wèn)題的典范。
意義
信息論的研究和發(fā)展的意義主要體現(xiàn)在技術(shù)應(yīng)用、社會(huì)經(jīng)濟(jì)和思維方式三個(gè)方面。
（1）技術(shù)應(yīng)用：信息論為現(xiàn)代通信理論和技術(shù)的發(fā)展做出了不可磨滅的貢獻(xiàn)，信息科學(xué)與材料科學(xué)、能源科學(xué)一起已成為現(xiàn)代高新技術(shù)領(lǐng)域的三大關(guān)鍵技術(shù)，信息產(chǎn)業(yè)已是當(dāng)今社會(huì)中發(fā)展最快、效益最高、潛力最大、影響最廣的最重要的支柱產(chǎn)業(yè)之一。
（2）社會(huì)經(jīng)濟(jì)：21世紀(jì)人類社會(huì)全面進(jìn)入信息時(shí)代，智力、技術(shù)和信息已成為現(xiàn)代社會(huì)經(jīng)濟(jì)生活中不可缺少的重要資源。信息科學(xué)的迅速發(fā)展和信息高速公路的出現(xiàn)，使先進(jìn)的技術(shù)和信息能夠?yàn)椴煌瑖?guó)家和民族所使用，有利于國(guó)際性的合作和交往的發(fā)展，同時(shí)也為市場(chǎng)經(jīng)濟(jì)中資源的有效配置和利用提供了良好的社會(huì)環(huán)境，避免了項(xiàng)目的重復(fù)建設(shè)和產(chǎn)品的盲目生產(chǎn)。企業(yè)充分利用互聯(lián)網(wǎng)上的有用信息和在互聯(lián)網(wǎng)上做廣告也為其利潤(rùn)的增加和經(jīng)濟(jì)的發(fā)展開(kāi)辟了新的天地。
（3）思維方式：信息高速公路的開(kāi)通和信息的快速傳遞導(dǎo)致思維方式上的不斷更新。互聯(lián)網(wǎng)的開(kāi)通加快了人們接受新思想、新信息的速度，促進(jìn)了不同生活方式和思維模式的融合，使得那些原來(lái)遙不可及的事情變得唾手可得，原來(lái)不可思議的新事物變得司空見(jiàn)慣，原來(lái)不可接受的生活方式、思維模式和文化傳統(tǒng)變得爭(zhēng)相仿效。人們每天都能從網(wǎng)絡(luò)上接受到大量的不同種類、具有不同文化特質(zhì)和民族風(fēng)格的信息，通過(guò)對(duì)不同民族的優(yōu)良文化傳統(tǒng)和獨(dú)特的思維方式的學(xué)習(xí)和消化、分析和綜合，加快了人們思維方式的變革和更新，促進(jìn)了新的思維模式的形成，將人們從靜態(tài)思維轉(zhuǎn)向動(dòng)態(tài)思維，從局域性思維轉(zhuǎn)向全局性思維，從封閉性思維轉(zhuǎn)向開(kāi)放性思維，從單向性思維轉(zhuǎn)向多向性思維。它有利于全方位、多層次、多渠道地展開(kāi)思維活動(dòng)，促進(jìn)跳躍性、聯(lián)想性，創(chuàng)造性的思維網(wǎng)絡(luò)的形成。
應(yīng)用
生物學(xué)
在生物學(xué)研究中，信息論占據(jù)重要的作用和地位。20世紀(jì)90年代以來(lái)，伴隨著分子結(jié)構(gòu)測(cè)定技術(shù)的突破和各種基因組測(cè)序計(jì)劃的展開(kāi)，生物學(xué)數(shù)據(jù)大量出現(xiàn)，如何分析這些數(shù)據(jù)，從中獲得生物結(jié)構(gòu)、功能的相關(guān)信息成為困擾生物學(xué)家的一個(gè)難題。于是，他們競(jìng)相應(yīng)用信息論的概念和方法去理解和解決本領(lǐng)域中的問(wèn)題。例如，使用信息論中的方法能夠分析生物遺傳信息。豐富的遺傳信息的復(fù)制與表達(dá)對(duì)應(yīng)著遺傳信息的編碼、存儲(chǔ)與傳遞，這與通信系統(tǒng)中信息的編碼傳遞具有一定的相似性，因而可以通過(guò)引入一種基于信息論的特征提取方法，對(duì)生物序列中的必需基因和啟動(dòng)子進(jìn)行分析與預(yù)測(cè)。
管理學(xué)
在現(xiàn)代化管理中，信息論已成為與系統(tǒng)論、控制論等相并列的現(xiàn)代科學(xué)的主要方法論之一。在管理世界里，管理信息依據(jù)不同的分類方法，可以分為各種不同的類別，而在這繁多的種類中，大體可分為兩大形式：管理自然信息和管理社會(huì)信息。實(shí)際上，現(xiàn)代化管理與信息已融為一體，并形成一種特殊形態(tài)的信息運(yùn)動(dòng)形式，即管理系統(tǒng)信息流。例如，在圖書(shū)館管理工作中引入信息論原理，不僅可以利用信息流的反饋來(lái)及時(shí)調(diào)整管理方向，提高圖書(shū)館管理的時(shí)效性和針對(duì)性，以保證整個(gè)圖書(shū)館系統(tǒng)的高效運(yùn)作，而且還能提高圖書(shū)資源的利用價(jià)值，促進(jìn)地區(qū)文化教育更快、更好地發(fā)展。
密碼學(xué)
信息論的創(chuàng)始人香農(nóng)發(fā)表的《保密系統(tǒng)的通信理論》一文，用信息論的觀點(diǎn)對(duì)信息保密問(wèn)題作了全面的闡述，并以概率統(tǒng)計(jì)的觀點(diǎn)對(duì)消息源、密鑰源、接收和截獲的信息進(jìn)行數(shù)學(xué)描述和分析，闡明了密碼系統(tǒng)、完善保密性、純密碼、理論保密性和實(shí)際保密性等重要概念，為密碼學(xué)奠定了理論基礎(chǔ)。例如，利用信息論原理對(duì)密碼學(xué)函數(shù)迭代技術(shù)建立信道迭代模型。在此基礎(chǔ)上，進(jìn)一步利用隨機(jī)過(guò)程理論，給出密碼學(xué)函數(shù)迭代原理分析，得到了經(jīng)過(guò)密碼學(xué)函數(shù)迭代之后輸出為均勻分布時(shí)輸入輸出互信息極限為零的充分必要條件，以及在一定條件之下的輸入輸出互信息收斂速度的一個(gè)上界。
計(jì)算機(jī)科學(xué)
從信息論的觀點(diǎn)看，信號(hào)是觀察客觀事物表達(dá)其相應(yīng)信息的技術(shù)手段，也是特定信息的載體。信息通過(guò)信號(hào)來(lái)表達(dá)，對(duì)信息的加工和處理也就是信號(hào)的加工和處理。計(jì)算機(jī)科學(xué)的信號(hào)處理過(guò)程無(wú)非是信源編碼、變換、過(guò)濾或決策過(guò)程，大部分應(yīng)用的是信息論基礎(chǔ)中的信息率失真理論。例如，數(shù)字信號(hào)處理的技術(shù)可以歸結(jié)為以快速傅里葉變換和數(shù)字濾波器為核心，以邏輯電路為基礎(chǔ)，以大規(guī)模集成電路為手段，利用軟硬件來(lái)實(shí)現(xiàn)各種模擬信號(hào)的數(shù)字處理，其中用到了信息論中的信號(hào)檢測(cè)、信號(hào)變換、信號(hào)的調(diào)制和解調(diào)、信號(hào)的運(yùn)算、信號(hào)的傳輸和信號(hào)的交換等。
參考資料 >