《信息論基礎(chǔ)教程》第二版PPT課件

《信息論基礎(chǔ)教程》第二版PPT課件,信息論基礎(chǔ)教程,信息論,基礎(chǔ)教程,第二,PPT,課件 第三章：信源及信源熵 一、一、信源的分類及其數(shù)學(xué)模型信源的分類及其數(shù)學(xué)模型二、離散單符號信源二、離散單符號信源三、離散多符號信源三、離散多符號信源四、連續(xù)信源四、連續(xù)信源信源的分類及其數(shù)學(xué)模型第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵l信源是產(chǎn)生消息（符號）、消息序列（符號序列）以及信源是產(chǎn)生消息（符號）、消息序列（符號序列）以及時間連續(xù)的消息的來源。時間連續(xù)的消息的來源。l 信源的主要問題：信源的主要問題：如何描述信源的輸出（信源的建模問題）如何描述信源的輸出（信源的建模問題）怎樣確定信源產(chǎn)生的信息量、產(chǎn)生信息的速率怎樣確定信源產(chǎn)生的信息量、產(chǎn)生信息的速率 信源編碼信源編碼 （第五章）（第五章）多符號信源多符號信源連續(xù)信源連續(xù)信源信源分類信源分類單符號信源單符號信源時間（空間）取值信源種類舉例消息的數(shù)學(xué)描述離散離散離散信源（數(shù)字信源）文字、數(shù)據(jù)、離散化圖象離散隨機(jī)變量序列離散連續(xù)連續(xù)信源連續(xù)隨機(jī)變量序列連續(xù)連續(xù)波形信源（模擬信源）語音、音樂、熱噪聲、圖形、圖象隨機(jī)過程連續(xù)離散不常見根據(jù)信源輸出消息在時間和取值上是離散或連續(xù)分類：根據(jù)信源輸出消息在時間和取值上是離散或連續(xù)分類：l 本章重點(diǎn)研究本章重點(diǎn)研究離散平穩(wěn)無記憶信源離散平穩(wěn)無記憶信源，以及較簡單的有，以及較簡單的有記憶信源記憶信源馬爾可夫信源馬爾可夫信源。l 根據(jù)信源發(fā)出的單個消息取值是離散值還是連續(xù)根據(jù)信源發(fā)出的單個消息取值是離散值還是連續(xù)值，信源可分為值，信源可分為離散離散信源信源/連續(xù)連續(xù)信源。信源。l 根據(jù)信源發(fā)出的消息之間是否有統(tǒng)計依賴關(guān)系，信源根據(jù)信源發(fā)出的消息之間是否有統(tǒng)計依賴關(guān)系，信源可分為可分為有記憶有記憶信源信源/無記憶無記憶信源。信源。信源的分類及其數(shù)學(xué)模型多符號信源多符號信源連續(xù)信源連續(xù)信源信源分類信源分類單符號信源單符號信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵l 根據(jù)信源發(fā)出的消息序列中的消息，統(tǒng)計特性是否根據(jù)信源發(fā)出的消息序列中的消息，統(tǒng)計特性是否保持不變，信源可分為保持不變，信源可分為平穩(wěn)平穩(wěn)信源信源/非平穩(wěn)非平穩(wěn)信源信源。信源的分類及其數(shù)學(xué)模型多符號信源多符號信源連續(xù)信源連續(xù)信源信源分類信源分類單符號信源單符號信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵離散單符號信源離散單符號信源l 離散單符號信源：輸出離散取值的單個符號的信源。離散單符號信源：輸出離散取值的單個符號的信源。離散單符號信源是最簡單、最基本的信源，是組成實際信源的基本單元，離散單符號信源是最簡單、最基本的信源，是組成實際信源的基本單元，可以用一個離散隨機(jī)變量來表示?？梢杂靡粋€離散隨機(jī)變量來表示。l 離散單符號信源離散單符號信源X的概率空間：的概率空間：多符號信源多符號信源連續(xù)信源連續(xù)信源單符號信源單符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵離散單符號信源（續(xù)）離散單符號信源（續(xù)）l 信源輸出的所有消息的自信息的信源輸出的所有消息的自信息的 統(tǒng)計平均值，定統(tǒng)計平均值，定義為信源的義為信源的平均自信息平均自信息（信息熵信息熵）：）：l 信息熵表示離散單符號信源的平均不確定性。信息熵表示離散單符號信源的平均不確定性。多符號信源多符號信源連續(xù)信源連續(xù)信源單符號信源單符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵一：一：信源的分類及其數(shù)學(xué)模型信源的分類及其數(shù)學(xué)模型二：離散單符號信源二：離散單符號信源三：離散多符號信源三：離散多符號信源1.預(yù)備知識預(yù)備知識2.離散平穩(wěn)無記憶信源離散平穩(wěn)無記憶信源3.離散平穩(wěn)有記憶信源離散平穩(wěn)有記憶信源4.馬爾可夫信源馬爾可夫信源5.信源的相關(guān)性和剩余度信源的相關(guān)性和剩余度四：連續(xù)信源四：連續(xù)信源第三章：信源及信源熵 1.預(yù)備知識l實際信源輸出往往是符號序列，稱為實際信源輸出往往是符號序列，稱為離散多符號信源離散多符號信源。l離散多符號信源可以用離散多符號信源可以用隨機(jī)矢量隨機(jī)矢量/隨機(jī)變量序列來描述，隨機(jī)變量序列來描述，即即l一般來說，一般來說，信信源的統(tǒng)計特性隨著時間的推移而有所變化。源的統(tǒng)計特性隨著時間的推移而有所變化。為了便于研究，我們常常假定在一個較短的時間段內(nèi)，為了便于研究，我們常常假定在一個較短的時間段內(nèi)，信源是平穩(wěn)信源。信源是平穩(wěn)信源。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.預(yù)備知識（續(xù)1）定義定義1：對于離散隨機(jī)變量序列：對于離散隨機(jī)變量序列 ，若任意兩個不同，若任意兩個不同時刻時刻i和和j(大于大于1的任意整數(shù)的任意整數(shù))信源發(fā)出消息的概率分布完全相信源發(fā)出消息的概率分布完全相同，即對于任意的同，即對于任意的 ，和和 具有相同的概率分布。也就是具有相同的概率分布。也就是即各維聯(lián)合概率分布均與時間起點(diǎn)無關(guān)的信源稱為即各維聯(lián)合概率分布均與時間起點(diǎn)無關(guān)的信源稱為離散平穩(wěn)信離散平穩(wěn)信源源。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.預(yù)備知識（續(xù)2）對離散平穩(wěn)信源，由聯(lián)合概率與條件概率的關(guān)系可以推出：對離散平穩(wěn)信源，由聯(lián)合概率與條件概率的關(guān)系可以推出：因此：因此：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.預(yù)備知識（續(xù)3）定義定義2：隨機(jī)變量序列中，對前隨機(jī)變量序列中，對前N個隨機(jī)變量的聯(lián)合熵求平均稱個隨機(jī)變量的聯(lián)合熵求平均稱為為平均符號熵平均符號熵：如果當(dāng)如果當(dāng) 時上式極限存在，則時上式極限存在，則 被稱為被稱為熵率熵率，或或極限熵極限熵，記為，記為 單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源l為了研究為了研究離散平穩(wěn)無記憶信源的極限熵，離散平穩(wěn)無記憶信源的極限熵，把信源輸出把信源輸出的符號序列看成是一組一組發(fā)出的。的符號序列看成是一組一組發(fā)出的。例例1：電報系統(tǒng)中，可以認(rèn)為每電報系統(tǒng)中，可以認(rèn)為每2個二進(jìn)制數(shù)字組成一組。個二進(jìn)制數(shù)字組成一組。這樣信源輸出的是由這樣信源輸出的是由2個二進(jìn)制數(shù)字組成的一組組符號。個二進(jìn)制數(shù)字組成的一組組符號。這時可以將它們等效看成一個新的信源，它由四個符號這時可以將它們等效看成一個新的信源，它由四個符號00，01，10，11組成，把該信源稱為二進(jìn)制無記憶信源組成，把該信源稱為二進(jìn)制無記憶信源的二次擴(kuò)展。的二次擴(kuò)展。例例2：如果把每三個二進(jìn)制數(shù)字組成一組，這樣長度為如果把每三個二進(jìn)制數(shù)字組成一組，這樣長度為3的二進(jìn)制序列就有的二進(jìn)制序列就有8種不同的符號，可等效成一個具有種不同的符號，可等效成一個具有8個符號的信源，把它稱為二進(jìn)制無記憶信源的三次擴(kuò)展個符號的信源，把它稱為二進(jìn)制無記憶信源的三次擴(kuò)展信源。信源。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)1）l假定信源輸出的是假定信源輸出的是N長符號序列，把它看成是一個新長符號序列，把它看成是一個新信源，稱為信源，稱為離散平穩(wěn)無記憶信源的離散平穩(wěn)無記憶信源的N N次擴(kuò)展信源次擴(kuò)展信源，用，用N N維離散隨機(jī)矢量來表示：維離散隨機(jī)矢量來表示：lN N次擴(kuò)展信源的概率空間為：次擴(kuò)展信源的概率空間為：G 是一個長為是一個長為N N的序列，的序列，單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)2）lN N次擴(kuò)展信源次擴(kuò)展信源的熵：的熵：l離散平穩(wěn)無記憶信源的離散平穩(wěn)無記憶信源的N N次擴(kuò)展信源的熵等于離散單次擴(kuò)展信源的熵等于離散單符號信源熵的符號信源熵的N N倍：倍：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)3）l離散平穩(wěn)無記憶信源的熵率：離散平穩(wěn)無記憶信源的熵率：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)4）例例1：設(shè)有一離散無記憶信源：設(shè)有一離散無記憶信源X，其概率空間為其概率空間為求該信源的熵率及二次擴(kuò)展信源的熵。求該信源的熵率及二次擴(kuò)展信源的熵。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)5）解：解：離散單符號信源熵離散單符號信源熵比特/符號熵率：熵率：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)6）二次擴(kuò)展信源的概率空間：二次擴(kuò)展信源的概率空間：二次擴(kuò)展信源的熵：二次擴(kuò)展信源的熵：比特比特/二個符號二個符號單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源l實實際際信信源源常常常常是是有有記記憶憶信信源源。設(shè)設(shè)信信源源輸輸出出N N長長的的符符號號序序列列，則則可可以以用用N N維維隨隨機(jī)機(jī)矢矢量量 來來表表示示信信源源，其其中中每每個個隨隨機(jī)機(jī)變量之間存在統(tǒng)計依賴關(guān)系。變量之間存在統(tǒng)計依賴關(guān)系。lN N維隨機(jī)矢量的聯(lián)合熵為：維隨機(jī)矢量的聯(lián)合熵為：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)1）定理定理：對于離散平穩(wěn)信源，如果：對于離散平穩(wěn)信源，如果 ，則有，則有單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)2）證明：證明：（1 1）首先證明極限條件熵存在：）首先證明極限條件熵存在：只要只要X的樣本空間有限，則必然有的樣本空間有限，則必然有 。根據(jù)條件熵的性質(zhì)，以及信源的平穩(wěn)性有根據(jù)條件熵的性質(zhì)，以及信源的平穩(wěn)性有 是單調(diào)有界數(shù)列，是單調(diào)有界數(shù)列，極極限限 必必然然存存在在，且且極極限限為為0 0和和 之之間的某一個值。間的某一個值。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)3）（2 2）對于收斂的實數(shù)列，有以下結(jié)論成立：）對于收斂的實數(shù)列，有以下結(jié)論成立：如果如果 是一個收斂的實數(shù)列，那么是一個收斂的實數(shù)列，那么利用上述結(jié)論可以推出：利用上述結(jié)論可以推出：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)4）例例2：信源信源X的信源模型為的信源模型為 輸出符號序列中，只有前后輸出符號序列中，只有前后兩個符號之間有記憶，條件兩個符號之間有記憶，條件概率空間見右邊的表。概率空間見右邊的表。求熵求熵率并比較率并比較 H(X)、H(X2|X1)、1/2H(X1X2)。條件概率條件概率 單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)5）解：解：1)1)比特比特/符號符號 2)2)如果不考慮符號間的相關(guān)性，則信源熵為如果不考慮符號間的相關(guān)性，則信源熵為比特比特/符號符號 3)3)如果把信源發(fā)出的符號看成是分組發(fā)出的，每兩個符號為一如果把信源發(fā)出的符號看成是分組發(fā)出的，每兩個符號為一組，這個新信源的熵為組，這個新信源的熵為比特比特/兩個符號兩個符號 單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)6）結(jié)論：結(jié)論：如何從理論上解如何從理論上解釋這個結(jié)果？釋這個結(jié)果？單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源(1)定義(2)熵率(3)馬爾可夫信源馬爾可夫鏈(4)馬爾可夫鏈單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)1）l 實際的有記憶信源，符號間的相關(guān)性可以追溯到很遠(yuǎn)，使實際的有記憶信源，符號間的相關(guān)性可以追溯到很遠(yuǎn)，使得熵率的計算比較復(fù)雜。得熵率的計算比較復(fù)雜。l馬爾可夫信源馬爾可夫信源是一類相對簡單的有記憶信源。信源在某一時是一類相對簡單的有記憶信源。信源在某一時刻發(fā)出某一符號的概率，除與該符號有關(guān)外，只與此前發(fā)出刻發(fā)出某一符號的概率，除與該符號有關(guān)外，只與此前發(fā)出的有限個符號有關(guān)。的有限個符號有關(guān)。(1)定義單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)2）l對于對于m階馬爾可夫信源，階馬爾可夫信源，(2)熵率l如何計算條件熵？如何計算條件熵？條件概率條件概率 通常是已知的，我們需要求解的是聯(lián)通常是已知的，我們需要求解的是聯(lián)合概率合概率 。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)3）(3)馬爾可夫信源馬爾可夫鏈單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)4）例例3 3：設(shè)一個二元一階馬爾可夫信源，信源符號集為設(shè)一個二元一階馬爾可夫信源，信源符號集為 ，輸出符號的條件概率為輸出符號的條件概率為用狀態(tài)轉(zhuǎn)移圖來描述該信源。用狀態(tài)轉(zhuǎn)移圖來描述該信源。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)5）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)6）例例4 4：設(shè)一個二元二階馬爾可夫信源，信源符號集為設(shè)一個二元二階馬爾可夫信源，信源符號集為 ，輸，輸出符號的條件概率為出符號的條件概率為求該信源的狀態(tài)轉(zhuǎn)移圖。求該信源的狀態(tài)轉(zhuǎn)移圖。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)7）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)8）l對于對于 m階馬爾可夫信源，階馬爾可夫信源，單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)9）(4)馬爾可夫鏈l 有限狀態(tài)馬爾可夫鏈有限狀態(tài)馬爾可夫鏈l 狀態(tài)轉(zhuǎn)移概率狀態(tài)轉(zhuǎn)移概率l 齊次馬爾可夫鏈齊次馬爾可夫鏈l Chapman-Kolmogorov方程方程l馬爾可夫鏈的平穩(wěn)分布馬爾可夫鏈的平穩(wěn)分布單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)10）l 馬爾可夫鏈馬爾可夫鏈：設(shè)設(shè) 為一隨機(jī)序列，如果對所有為一隨機(jī)序列，如果對所有 ，有，有則稱則稱 為馬爾可夫鏈。為馬爾可夫鏈。l 如果馬爾可夫鏈的狀態(tài)空間如果馬爾可夫鏈的狀態(tài)空間 有限，則被稱為有限，則被稱為有有限狀態(tài)馬爾可夫鏈限狀態(tài)馬爾可夫鏈；如果狀態(tài)空間；如果狀態(tài)空間 是無窮集合，則是無窮集合，則被稱為可數(shù)無窮狀態(tài)的馬爾可夫鏈。被稱為可數(shù)無窮狀態(tài)的馬爾可夫鏈。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)11）l 狀態(tài)轉(zhuǎn)移概率狀態(tài)轉(zhuǎn)移概率（描述馬氏鏈最重要的參數(shù)）：（描述馬氏鏈最重要的參數(shù)）：l 狀態(tài)轉(zhuǎn)移概率的性質(zhì)：狀態(tài)轉(zhuǎn)移概率的性質(zhì)：l 一步轉(zhuǎn)移概率：一步轉(zhuǎn)移概率：l k步轉(zhuǎn)移概率：步轉(zhuǎn)移概率：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)12）l 齊次馬爾可夫鏈齊次馬爾可夫鏈：如果馬氏鏈狀態(tài)轉(zhuǎn)移概率與起始時刻無關(guān)，即對任意如果馬氏鏈狀態(tài)轉(zhuǎn)移概率與起始時刻無關(guān)，即對任意m，有有 ，則稱為，則稱為時齊馬爾可夫鏈或齊次馬時齊馬爾可夫鏈或齊次馬爾可夫鏈爾可夫鏈，也稱為具有平穩(wěn)轉(zhuǎn)移概率的馬爾可夫鏈。，也稱為具有平穩(wěn)轉(zhuǎn)移概率的馬爾可夫鏈。l 齊次馬氏鏈可以用轉(zhuǎn)移概率矩陣或狀態(tài)轉(zhuǎn)移圖來描述。齊次馬氏鏈可以用轉(zhuǎn)移概率矩陣或狀態(tài)轉(zhuǎn)移圖來描述。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)13）l Chapman-Kolmogorov方程方程：或用矩陣表示為或用矩陣表示為單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)14）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)15）l 遍歷性遍歷性：若齊次馬爾可夫鏈，若齊次馬爾可夫鏈，存在不依賴于，存在不依賴于 的極限的極限且滿足且滿足則稱其具有遍歷性（各態(tài)歷經(jīng)性）。則稱其具有遍歷性（各態(tài)歷經(jīng)性）。為平穩(wěn)分布。為平穩(wěn)分布。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)16）l 定理定理1：是滿足方程組是滿足方程組 和和 的唯一解。的唯一解。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)17）l 定理定理2：設(shè)設(shè) 為馬氏鏈的狀態(tài)轉(zhuǎn)移矩陣，則該馬氏鏈平穩(wěn)分布存在為馬氏鏈的狀態(tài)轉(zhuǎn)移矩陣，則該馬氏鏈平穩(wěn)分布存在的充要條件是，存在一個正整數(shù)的充要條件是，存在一個正整數(shù) ，使矩陣，使矩陣 中的所有元素均中的所有元素均大于零。大于零。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)18）例例5 5：求二階馬爾可夫信源的極限熵。：求二階馬爾可夫信源的極限熵。解：解：1 1）首先根據(jù)定理）首先根據(jù)定理2 2檢查該信源是否存在穩(wěn)態(tài)分布：檢查該信源是否存在穩(wěn)態(tài)分布：所有元素均大于所有元素均大于0 0，穩(wěn)態(tài)分布存在。，穩(wěn)態(tài)分布存在。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)19）2 2）設(shè)狀態(tài)的平穩(wěn)分布為設(shè)狀態(tài)的平穩(wěn)分布為 ，根據(jù)定理，根據(jù)定理1 1有有 單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)20）3 3）求熵率：求熵率：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)21）如何求信源發(fā)出的符號的極限概率？如何求信源發(fā)出的符號的極限概率？單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵符號的平穩(wěn)概率分布為：如果不考慮符號間的相關(guān)性，則由符號的平穩(wěn)概率分布可得信源熵H(X)=1比特/符號，而考慮符號間的相關(guān)性后，該信源的熵率0.80比特/符號4.馬爾可夫信源（續(xù)22）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵例1：設(shè)有一馬氏鏈，其狀態(tài)轉(zhuǎn)移矩陣為：問是否存在穩(wěn)態(tài)分布。如果存在，求其極限熵。4.馬爾可夫信源（續(xù)23）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵5.信源的相關(guān)性和剩余度l 信源的相關(guān)性就是信源符號間的依賴程度。信源的相關(guān)性就是信源符號間的依賴程度。l 對對于于不不同同平平穩(wěn)穩(wěn)信信源源可可以以分分別別計計算算它它的的熵熵（設(shè)設(shè)信信源源有有q q個個符符號）：號）：（獨(dú)立等概信源）（獨(dú)立等概信源）（無記憶信源）（無記憶信源）（一階馬爾可夫信源）（一階馬爾可夫信源）（m階馬爾可夫信源）階馬爾可夫信源）（記憶長度無限的記憶長度無限的信源）信源）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵5.信源的相關(guān)性和剩余度（續(xù)）l 對對同同一一信信源源，采采用用不不同同的的模模型型（假假定定相相關(guān)關(guān)程程度度不不同同），計算得到的熵的關(guān)系為計算得到的熵的關(guān)系為l 結(jié)論：結(jié)論：符號間相關(guān)性越大，熵越小。符號間相關(guān)性越大，熵越小。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵5.信源的相關(guān)性和剩余度（續(xù)1）l 定義定義1 1：熵的相對率：熵的相對率l 定義定義2 2：信源的剩余度：信源的剩余度單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵英文信源：H0=4.76H1=4.03H2=3.32H3=3.1H5=1.65=1.45.信源的相關(guān)性和剩余度（續(xù)2）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵英文 法文德文 西班牙文 中文 （按8千漢字計算）5.信源的相關(guān)性和剩余度（續(xù)3）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵例3.7：計算漢字的剩余度。假設(shè)常用漢字約為10000個，其中140個漢字出現(xiàn)的概率占50%，625個漢字（含140個）出現(xiàn)的概率占85%，2400個漢字（含625個）出現(xiàn)的概率占99.7%，其余7600個漢字出現(xiàn)的概率占0.3%，不考慮符號間的相關(guān)性，只考慮它的概率分布，在這一級近似下計算漢字的剩余度。5.信源的相關(guān)性和剩余度（續(xù)4）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵解：為了計算方便，假設(shè)每類中漢字出現(xiàn)是等概的，得表類別漢字個數(shù)所占概率每個漢字的概率11400.50.5/1402625-140=4850.85-0.5=0.350.35/48532400-625=17750.997-0.85=0.1470.147/1775476000.0030.003/7600H1=H(X)=9.773bit/漢字H0=13.288bit/漢字5.信源的相關(guān)性和剩余度（續(xù)5）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵一：一：信源的分類及其數(shù)學(xué)模型信源的分類及其數(shù)學(xué)模型二：離散單符號信源二：離散單符號信源三：離散多符號信源三：離散多符號信源四：連續(xù)信源四：連續(xù)信源1.連續(xù)信源的微分熵連續(xù)信源的微分熵 2.連續(xù)信源的最大熵連續(xù)信源的最大熵3.連續(xù)信源的熵功率連續(xù)信源的熵功率第三章：信源及信源熵 單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵離散：（一）數(shù)學(xué)模型單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)1）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)2）（二）H(X)：信息熵量化分層連續(xù)離散單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)3）p(x)-1-0.500.51x單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)4）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)5）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)6）微分熵：h(X)又稱為差熵確定值部分無限大常數(shù)項同樣，我們可以定義兩個連續(xù)隨機(jī)變量的聯(lián)合熵：及條件熵并且它們之間也有與離散隨機(jī)變量一樣的相互關(guān)系：單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)7）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)8）例3.8：求均勻分布的隨機(jī)變量的微分熵：單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)9）微分熵?zé)o非負(fù)性，可為負(fù)值單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)10）例3.9：求高斯分布的隨機(jī)變量的微分熵：單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)11）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)12）高斯分布的微分熵與方差有關(guān)，與均值無關(guān)當(dāng)均值m=0時，方差代表平均功率P。微分熵只與平均功率有關(guān)(平均功率P=直流功率m2+交流功率)單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)13）例3.10：求指數(shù)分布的隨機(jī)變量的微分熵：單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)14）指數(shù)分布的微分熵只取決于均值a單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)15）例3.11 求N維高斯信源的熵。思考：若隨機(jī)噪聲在 之間的概率密度函數(shù) 。求該信源的微分熵。p(x)-11x單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)16）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.連續(xù)信源的最大熵定理3.1在輸出幅度受限的情況，服從均勻分布的隨機(jī)變量X具有最大輸出熵。定理3.2對于均值為m，方差為的連續(xù)隨機(jī)變量，當(dāng)服從高斯分布時具有最大熵。單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵熵功率3.連續(xù)信源的熵功率剩余度