《信息論基礎(chǔ)教程》第二版PPT課件

《信息論基礎(chǔ)教程》第二版PPT課件,信息論基礎(chǔ)教程,信息論,基礎(chǔ)教程,第二,PPT,課件 第二章：信息的度量一、自信息和互信息一、自信息和互信息二、平均自信息二、平均自信息三、平均互信息三、平均互信息第二章：信息的度量1.自信息自信息2.互信息互信息一、一、自信息和互信息自信息和互信息二、平均自信息二、平均自信息三、平均互信息三、平均互信息平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.自信息（量）公理性條件：(1)如果p(x1)I(x2)，I(xi)是p(xi)的單調(diào)遞減函數(shù)；(2)如果p(xi)=0，則I(xi);如果p(xi)=1，則I(xi)=0;(3)由兩個(gè)相對(duì)獨(dú)立的事件所提供的信息量，應(yīng)等于它們分別提供的信息量之和：I(xi yj)=I(xi)+I(yj)平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.自信息（量）（續(xù)1）l隨機(jī)事件隨機(jī)事件 的的自信息自信息定義為該事件發(fā)生概定義為該事件發(fā)生概 率的對(duì)數(shù)的負(fù)值：率的對(duì)數(shù)的負(fù)值：l 關(guān)于對(duì)數(shù)底的選?。宏P(guān)于對(duì)數(shù)底的選取：以以2為底，單位為為底，單位為比特比特(bit)以以e為底，單位為為底，單位為奈特奈特(nat)以以10為底，單位為為底，單位為哈特萊哈特萊(Hartley)l 一般一般都采用以都采用以2 2為底的對(duì)數(shù)，為了書寫簡(jiǎn)潔，有時(shí)把底數(shù)為底的對(duì)數(shù)，為了書寫簡(jiǎn)潔，有時(shí)把底數(shù)2 2略略去不寫。去不寫。1.自信息（量）（續(xù)2）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l 單位之間的換算關(guān)系：?jiǎn)挝恢g的換算關(guān)系：1奈特奈特=log2 e 比特比特=1.443比特比特 1哈特萊哈特萊=log210 比特比特=3.322比特比特 1 r進(jìn)制單位進(jìn)制單位=log2r 比特比特l自信息可以從兩個(gè)方面來(lái)理解：自信息可以從兩個(gè)方面來(lái)理解：自信息是事件發(fā)生前，事件發(fā)生的不確定性。自信息是事件發(fā)生前，事件發(fā)生的不確定性。自信息表示事件發(fā)生后，事件所包含的信息量。自信息表示事件發(fā)生后，事件所包含的信息量。試問(wèn)四進(jìn)制、八進(jìn)制的每一波形所含的信息量是二進(jìn)制每一波形所含的信息量的多少倍？1.自信息（量）（續(xù)3）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.自信息（量）（續(xù)4）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例1:設(shè)在甲袋中放入n個(gè)不同阻值的電阻，隨意取出一個(gè)，求當(dāng)被告知“取出的電阻阻值為i”時(shí)所獲得的信息量。解：比特由于是隨意取出一個(gè)電阻,所以取出任意阻值的電阻的概率相等:例2:在乙袋中放入個(gè)電阻，其中阻值為1的1個(gè)，2的2個(gè)，n的n個(gè)，隨意取出一個(gè)，求被告知“取出的電阻阻值為1 ”和“取出的電阻阻值為n ”時(shí)分別獲得的信息量。解：1.自信息（量）（續(xù)5）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.自信息（量）（續(xù)6）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.自信息（量）（續(xù)7）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例3：設(shè)在A袋放入n個(gè)不同阻值的電阻，隨意取出一個(gè)，求當(dāng)被告知“取出的電阻阻值為i”時(shí)所獲得的信息量。在B袋中放入m種不同功率的電阻，任意取出一個(gè)，求被告知“取出的電阻功率為j”時(shí)獲得的信息量。在C袋中放入n種不同阻值，而每種阻值又有m種不同功率的電阻，即共有nm個(gè)電阻，隨意選取一個(gè)，被告知“取出的電阻阻值為i，功率為j”時(shí)獲得的信息量。1.自信息（量）（續(xù)8）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量I(xi)=logp(xi)=logn 比特I(yj)=logp(yj)=logm 比特I(xiyj)=logp(xiyj)=log(nm)=I(xi)+I(yj)比特解：對(duì)應(yīng)A,B,C三袋，隨意取出一個(gè)電阻事件的概率分別為：因此因此1.自信息（量）（續(xù)9）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例4：設(shè)在一正方形棋盤上共有64個(gè)方格，如果甲將一粒棋子隨意的放在棋盤中的某方格且讓乙猜測(cè)棋子所在位置。（1）將方格按順序編號(hào)，令乙猜測(cè)棋子所在的順序號(hào)。問(wèn)猜測(cè)的難易程度。（2）將方格按行和列編號(hào)，甲將棋子所在方格的列編號(hào)告訴乙之后，再令乙猜測(cè)棋子所在行的位置。問(wèn)猜測(cè)的難易程度。解：p(xiyj)=1/64i=1,2,8;j=1,2,8（1）I(xiyj)=logp(xiyj)=6比特（2）I(xi|yj)=logp(xi|yj)=logp(xiyj)/p(yj)=3比特 I(xi)=logp(xi)=3比特I(yj)=3比特1.自信息（量）（續(xù)10）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.互信息（量）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l設(shè)設(shè)X為為信信源源發(fā)發(fā)出出的的離離散散消消息息集集合合；Y為為信信宿宿收收到到的的離離散散消消息集合；息集合；l信源發(fā)出的消息，經(jīng)過(guò)有噪聲的信道傳遞到信宿；信源發(fā)出的消息，經(jīng)過(guò)有噪聲的信道傳遞到信宿；信宿信道信源圖1通信系統(tǒng)的簡(jiǎn)化模型噪聲XY2.互信息（量）（續(xù)1）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量信宿信道信源噪聲XYxixi無(wú)噪I(xi)p(xi)p(xi|yj)I(xi)yjI(xi;yj)=I(xi)I(xi|yj)l先驗(yàn)概率先驗(yàn)概率：信源發(fā)出消息：信源發(fā)出消息 的概率的概率 。l后驗(yàn)概率后驗(yàn)概率：信宿收到消息：信宿收到消息 后推測(cè)信源發(fā)出后推測(cè)信源發(fā)出 的概率的概率，即條件概率即條件概率 。2.互信息（量）（續(xù)2）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l互信息定義為：互信息定義為：l互信息有兩方面的含義：互信息有兩方面的含義：表示事件表示事件 出現(xiàn)前后關(guān)于事件出現(xiàn)前后關(guān)于事件 的不確定性減少的量；的不確定性減少的量；事件事件 出現(xiàn)以后信宿獲得的關(guān)于事件出現(xiàn)以后信宿獲得的關(guān)于事件 的信息量。的信息量。2.互信息（量）（續(xù)3）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量討論：(3)p(xi|yj)=1(2)若p(xi)0(1)統(tǒng)計(jì)獨(dú)立p(xi|yj)=p(xi)，I(xi|yj)=I(xi)I(xi;yj)=0若p(xi)p(xi|yj)則I(xi;yj)0I(xi;yj)=logp(xi|yj)logp(xi)=I(xi)I(xi|yj)2.互信息（量）（續(xù)4）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例5：某地二月份天氣構(gòu)成的信源為某一天有人告訴你：“今天不是晴天”，把這句話作為收到的消息y1,求當(dāng)收到y(tǒng)1后,y1與各種天氣的互信息量。解：2.互信息（量）（續(xù)5）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.互信息（量）（續(xù)6）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量xiyjv觀察者站在輸出端觀察者站在輸出端 I(xi;yj)=logp(xi|yj)logp(xi)=I(xi)I(xi|yj)：對(duì)對(duì) yj 一無(wú)所知的情況下一無(wú)所知的情況下 xi 存在的不確定度；存在的不確定度；：收到：收到 yj后后 xi仍然存在的不確定度；仍然存在的不確定度；互信息：互信息：收到收到 yj 前和收到前和收到 yj 后不確定度被消除的部分后不確定度被消除的部分。2.互信息（量）（續(xù)7）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量v觀察者站在輸入端觀察者站在輸入端 I(yj;xi)=logp(yj|xi)logp(yj)=I(yj)I(yj|xi)觀察者得知輸入端發(fā)出觀察者得知輸入端發(fā)出 xi 前、后對(duì)輸出端出現(xiàn)前、后對(duì)輸出端出現(xiàn) yj 的的不確定度的差。不確定度的差。xiyjI(yj;xi)=I(xi;yj)?平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量v觀察者站在通信系統(tǒng)總體立場(chǎng)上觀察者站在通信系統(tǒng)總體立場(chǎng)上互信息等于通信前后不確定度的差值互信息等于通信前后不確定度的差值 通信前：通信前：X和和Y之間沒(méi)有任何關(guān)系，即之間沒(méi)有任何關(guān)系，即X、Y統(tǒng)計(jì)獨(dú)立，統(tǒng)計(jì)獨(dú)立，p(xi yj)=p(xi)p(yj)，先驗(yàn)不確定度為先驗(yàn)不確定度為 通信后：通信后：p(xi yj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)，后驗(yàn)不確定度后驗(yàn)不確定度2.互信息（量）（續(xù)8）2.互信息（量）（續(xù)9）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1)互信息的對(duì)稱性互信息的對(duì)稱性2)互信息可為正值、負(fù)值，或?yàn)榛バ畔⒖蔀檎怠⒇?fù)值，或?yàn)?3)任何兩個(gè)事件之間的互信息不可能大于其中任一任何兩個(gè)事件之間的互信息不可能大于其中任一事件的自信息事件的自信息互互信息量信息量的性質(zhì)的性質(zhì)2.互信息（量）（續(xù)10）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l用公式表示為：用公式表示為：l互信息的對(duì)稱性表明：互信息的對(duì)稱性表明：從從yj得到的關(guān)于得到的關(guān)于xi的信息量的信息量 與從與從xi 得到的關(guān)于得到的關(guān)于 yj的信息量的信息量 是一樣的，只是觀察的角度不同而已。是一樣的，只是觀察的角度不同而已。1)互信息的對(duì)稱性2.互信息（量）（續(xù)11）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l當(dāng)后驗(yàn)概率大于先驗(yàn)概率時(shí)，互信息為正。當(dāng)后驗(yàn)概率大于先驗(yàn)概率時(shí)，互信息為正。說(shuō)明事件說(shuō)明事件yj的出現(xiàn)有助于消除事件的出現(xiàn)有助于消除事件xi的不確定度。的不確定度。l當(dāng)后驗(yàn)概率小于先驗(yàn)概率時(shí)，互信息為負(fù)。當(dāng)后驗(yàn)概率小于先驗(yàn)概率時(shí)，互信息為負(fù)。說(shuō)明收信者未收到說(shuō)明收信者未收到 yj 以前，對(duì)消息以前，對(duì)消息xi是否出現(xiàn)的猜測(cè)難度較是否出現(xiàn)的猜測(cè)難度較小，但接收到消息小，但接收到消息 yj 后對(duì)后對(duì) xi 是否出現(xiàn)的猜測(cè)的難度增加了，也是否出現(xiàn)的猜測(cè)的難度增加了，也就是收信者接收到消息就是收信者接收到消息 yj 后對(duì)后對(duì) xi出現(xiàn)的不確定性反而增加，所出現(xiàn)的不確定性反而增加，所以獲得的信息量為負(fù)值。以獲得的信息量為負(fù)值。l當(dāng)后驗(yàn)概率與先驗(yàn)概率相等時(shí)，互信息為零。當(dāng)后驗(yàn)概率與先驗(yàn)概率相等時(shí)，互信息為零。這就是兩個(gè)隨機(jī)事件相互獨(dú)立的情況。表明這就是兩個(gè)隨機(jī)事件相互獨(dú)立的情況。表明xi和和yj之間不存之間不存在統(tǒng)計(jì)約束關(guān)系，從在統(tǒng)計(jì)約束關(guān)系，從yj得得不到關(guān)于不到關(guān)于xi的的任何信息，反之亦然。任何信息，反之亦然。2)互信息可正可負(fù)，可為零3)任何兩個(gè)事件之間的互信息不可能大于其中任一事件的自信息2.互信息（量）（續(xù)12）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例6：居住某地區(qū)的女孩中有25%是大學(xué)生，在女大學(xué)生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占總數(shù)一半。假如我們得知“身高1.6m以上的某女孩是大學(xué)生”的消息，問(wèn)獲得多少信息量？2.互信息（量）（續(xù)13）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.互信息（量）（續(xù)14）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量解：解：x=某女孩是大學(xué)生；某女孩是大學(xué)生；y=某女孩身高某女孩身高1 1米米6 6以上。則有以上。則有“身高身高1 1米米6 6以上的某女孩是女大學(xué)生以上的某女孩是女大學(xué)生”為事件為事件2.互信息（量）（續(xù)15）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例7：已知信源發(fā)出和兩種消息，且 。此消息在二進(jìn)制對(duì)稱信道上傳輸，信道傳輸特性為 。求互信息量 和 。2.互信息（量）（續(xù)16）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量解：由已知可得可得2.互信息（量）（續(xù)17）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量一、一、自信息和互信息自信息和互信息二、平均自信息二、平均自信息三、平均互信息三、平均互信息1.平均自信息平均自信息的概念的概念2.熵函數(shù)的性質(zhì)熵函數(shù)的性質(zhì)3.聯(lián)合熵與條件熵聯(lián)合熵與條件熵1.平均自信息的概念自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l平均平均自自信息（信息（信息熵信息熵/信源熵信源熵/香農(nóng)熵香農(nóng)熵/無(wú)條件熵?zé)o條件熵/熵函數(shù)熵函數(shù)/熵熵）：）：l自信息是一個(gè)隨機(jī)變量：自信息是一個(gè)隨機(jī)變量：自信息是指信源發(fā)出的某一消息所含有的信息量。不自信息是指信源發(fā)出的某一消息所含有的信息量。不同的消息，它們所含有的信息量也就不同。同的消息，它們所含有的信息量也就不同。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的統(tǒng)計(jì)度量第二章：信息的統(tǒng)計(jì)度量第二章：信息的統(tǒng)計(jì)度量第二章：信息的統(tǒng)計(jì)度量l信息熵的單位，信息熵的單位，取決于對(duì)數(shù)選取的底取決于對(duì)數(shù)選取的底：以以2為底，單位為為底，單位為比特比特/符號(hào)符號(hào)以以e e為底，單位為為底，單位為奈特奈特/符號(hào)符號(hào)以以1010為底，單位為為底，單位為哈特萊哈特萊/符號(hào)符號(hào)。l信息熵的意義：信息熵的意義：信源的信息熵是從信源的信息熵是從整個(gè)整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的。它信源的統(tǒng)計(jì)特性來(lái)考慮的。它是從是從平均平均意義上來(lái)表征信源的總體特性的。意義上來(lái)表征信源的總體特性的。對(duì)于某特定的對(duì)于某特定的信源，其信息熵只有一個(gè)。信源，其信息熵只有一個(gè)。不同的信源因統(tǒng)計(jì)特性不同，不同的信源因統(tǒng)計(jì)特性不同，其信息熵也不同。其信息熵也不同。1.平均自信息的概念（續(xù)1）1.平均自信息的概念（續(xù)2）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量通常把一個(gè)隨機(jī)變量的樣本通常把一個(gè)隨機(jī)變量的樣本空間和樣本空間中的元素空間和樣本空間中的元素對(duì)應(yīng)的概率稱為對(duì)應(yīng)的概率稱為概率空間概率空間。離散隨機(jī)變量 的概率空間為：1.平均自信息的概念（續(xù)3）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例1擲一個(gè)六面均勻的骰子，每次出現(xiàn)朝上一面的點(diǎn)數(shù)是隨機(jī)的，以朝上一面的點(diǎn)數(shù)作為隨機(jī)試驗(yàn)的結(jié)果，并把試驗(yàn)結(jié)果看作一個(gè)信源的輸出，試建立數(shù)學(xué)模型。信源的輸出：離散隨機(jī)變量XX：1，2，3，4，5，6樣本空間P（X）：P(X=1)=1/6，P(X=2)=1/6，P(X=6)=1/6XP=X：123456P(X)：1/61/61/61/61/61/6解：概率空間1.平均自信息的概念（續(xù)4）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例2：一信源有6種輸出符號(hào)，概率分別為P(A)=0.5，P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。1)計(jì)算H(X)。2)求符號(hào)序列ABABBA和FDDFDF的信息量，并將之與6位符號(hào)的信息量期望值相比較。解：解：1)1)由信息熵定義，該信源輸出的信息熵為由信息熵定義，該信源輸出的信息熵為1.平均自信息的概念（續(xù)5）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.平均自信息的概念（續(xù)6）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量符號(hào)序列符號(hào)序列FDDFDF所含的信息量為所含的信息量為6位符號(hào)序列的信息量平均值為位符號(hào)序列的信息量平均值為 符號(hào)序列符號(hào)序列ABABBA所含的信息量為所含的信息量為三者比較為三者比較為 自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)l離散隨機(jī)變量離散隨機(jī)變量X X的概率空間為的概率空間為記記 pi=p(xi)，則l 由于概率的完備性，即由于概率的完備性，即 ，所以，所以 實(shí)際上是實(shí)際上是 元函數(shù)。元函數(shù)。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)1）l 當(dāng)當(dāng) n=2 時(shí)，時(shí)，自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)2）熵函數(shù)的數(shù)學(xué)特性包括熵函數(shù)的數(shù)學(xué)特性包括:(1)對(duì)稱性對(duì)稱性(2)確定性確定性(3)非負(fù)性非負(fù)性(4)擴(kuò)展性擴(kuò)展性(5)連續(xù)性連續(xù)性(6)遞增性遞增性(7)上凸性上凸性(8)極值性極值性自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)3）l當(dāng)概率矢量當(dāng)概率矢量 中各分量的次序任意變中各分量的次序任意變更時(shí)，熵函數(shù)的值不變，即更時(shí)，熵函數(shù)的值不變，即 H(p1，p2，pn)=H(p2，p1，pn)=H(p3，p1，p2)=l該性質(zhì)說(shuō)明：熵只與隨機(jī)變量該性質(zhì)說(shuō)明：熵只與隨機(jī)變量(信源信源)的的總體統(tǒng)計(jì)特性總體統(tǒng)計(jì)特性有關(guān)。有關(guān)。如果某些信源的統(tǒng)計(jì)特性相同（含有的如果某些信源的統(tǒng)計(jì)特性相同（含有的符號(hào)數(shù)符號(hào)數(shù)和和概率分布概率分布相同），那么這些信源的熵就相同。相同），那么這些信源的熵就相同。（1）對(duì)稱性自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)4）例3：三個(gè)信源分別為：X與與Z信源的差別信源的差別：具體消息其含義不同；具體消息其含義不同；X與與Y信源的差別信源的差別：同一消息的概率不同；同一消息的概率不同；但它們的信息熵是相同的。但它們的信息熵是相同的。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)5）H(1,0)=H(1,0,0)=H(1,0,0,0)=H(1,0,0)=0 l在概率空間中，只要有一個(gè)事件是必然事件，那么其它事件在概率空間中，只要有一個(gè)事件是必然事件，那么其它事件一定是不可能事件，因此信源沒(méi)有不確定性，熵必為一定是不可能事件，因此信源沒(méi)有不確定性，熵必為0。（2）確定性自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)6）l只有當(dāng)隨機(jī)變量是一確知量時(shí)，熵只有當(dāng)隨機(jī)變量是一確知量時(shí)，熵H(X)=0。l離散信源的熵滿足非負(fù)性，而連續(xù)信源的熵可能為負(fù)。離散信源的熵滿足非負(fù)性，而連續(xù)信源的熵可能為負(fù)。（3）非負(fù)性自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)7）l擴(kuò)展性說(shuō)明，增加一個(gè)概率接近于零的事件，信源熵保擴(kuò)展性說(shuō)明，增加一個(gè)概率接近于零的事件，信源熵保持不變。持不變。l雖然小概率事件出現(xiàn)后，給予收信者較多的信息，但從雖然小概率事件出現(xiàn)后，給予收信者較多的信息，但從總體來(lái)考慮時(shí)，因?yàn)檫@種概率很小的事件幾乎不會(huì)出總體來(lái)考慮時(shí)，因?yàn)檫@種概率很小的事件幾乎不會(huì)出現(xiàn)，所以它對(duì)于離散集的熵的貢獻(xiàn)可以忽略不計(jì)。這現(xiàn)，所以它對(duì)于離散集的熵的貢獻(xiàn)可以忽略不計(jì)。這也是熵的總體平均性的一種體現(xiàn)。也是熵的總體平均性的一種體現(xiàn)。（4）擴(kuò)展性自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)8）（5）連續(xù)性（6）遞增性（遞推性)自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)9）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)10）例4：利用遞推性計(jì)算熵函數(shù)H(1/3，1/3，1/6，1/6)的值。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)11）例4：利用遞推性計(jì)算熵函數(shù)H(1/3，1/3，1/6，1/6)的值。解：bit/符號(hào)自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)13）l凸函數(shù)的定義及詹森不等式（7）上凸性引理引理（香農(nóng)輔助定理）：香農(nóng)輔助定理）：其中其中證明：證明：自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)14）時(shí)等號(hào)成立?？梢员豢醋鍪且环N新的概率分布?？梢员豢醋鍪且环N新的概率分布。是概率分布是概率分布 的嚴(yán)格上凸函數(shù)，即的嚴(yán)格上凸函數(shù)，即證明：證明：自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)15）等號(hào)成立條件但是所以等號(hào)不成立。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)16）l上凸性的幾何意義：上凸性的幾何意義：在上凸函數(shù)的任兩點(diǎn)在上凸函數(shù)的任兩點(diǎn)之間畫一條割線，函數(shù)總之間畫一條割線，函數(shù)總在割線的上方在割線的上方.l上凸函數(shù)在定義域內(nèi)上凸函數(shù)在定義域內(nèi)的極值必為最大值，的極值必為最大值，這對(duì)求最大熵很有用。這對(duì)求最大熵很有用。f(x)x1x2f(x1)f(x2)自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)17）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)18）（8）極值性（最大離散熵定理）定理定理：離散無(wú)記憶信源輸出離散無(wú)記憶信源輸出n個(gè)不同的信息符號(hào)，個(gè)不同的信息符號(hào)，當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí)當(dāng)且僅當(dāng)各個(gè)符號(hào)出現(xiàn)概率相等時(shí)(即即 )，熵熵最大，即最大，即 自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)19）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)20）例例5：以二進(jìn)制信源為例，信源的概率空間為以二進(jìn)制信源為例，信源的概率空間為二進(jìn)制信源的信息熵為二進(jìn)制信源的信息熵為這時(shí)信息熵這時(shí)信息熵H(X)是是p的函數(shù)，熵函數(shù)的函數(shù)，熵函數(shù)H(p)的曲線如圖所的曲線如圖所示：示：從圖中可以得出熵函數(shù)的一些性質(zhì)：從圖中可以得出熵函數(shù)的一些性質(zhì)：l如果二進(jìn)制信源的輸出是確定的如果二進(jìn)制信源的輸出是確定的(p=0或或p=1)，則該信源不則該信源不提供任何信息；提供任何信息；l當(dāng)二進(jìn)制信源符號(hào)當(dāng)二進(jìn)制信源符號(hào)0和和1等概率等概率發(fā)生時(shí)，信源的熵達(dá)到最大發(fā)生時(shí)，信源的熵達(dá)到最大值，等于值，等于1比特比特/符號(hào)符號(hào);l在在等概率等概率的二進(jìn)制信源輸出的二進(jìn)制數(shù)字序列中，每一個(gè)的二進(jìn)制信源輸出的二進(jìn)制數(shù)字序列中，每一個(gè)二元數(shù)字提供二元數(shù)字提供1比特的信息量。如果符號(hào)比特的信息量。如果符號(hào)不是等概率分布不是等概率分布，則每一個(gè)二元數(shù)字所提供的平均信息量小于則每一個(gè)二元數(shù)字所提供的平均信息量小于1比特。比特。l這也進(jìn)一步說(shuō)明了這也進(jìn)一步說(shuō)明了計(jì)算機(jī)術(shù)語(yǔ)中的計(jì)算機(jī)術(shù)語(yǔ)中的“比特比特”與與信息量單位信息量單位“比特比特”的關(guān)系。的關(guān)系。自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量2.熵函數(shù)的性質(zhì)（續(xù)21）3.聯(lián)合熵和條件熵自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量定義定義2.4 隨機(jī)變量X和Y的聯(lián)合分布為p(xiyj)，則這兩個(gè)隨機(jī)變量的聯(lián)合熵定義為：聯(lián)合熵表示對(duì)于二維隨機(jī)變量的平均不確定性。3.聯(lián)合熵和條件熵（續(xù)1）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量定義定義2.5 隨機(jī)變量X和Y的條件熵定義為：條件熵表示已知一個(gè)隨機(jī)變量時(shí)，對(duì)另一個(gè)隨機(jī)變量的平均不確定性。l 表示在已知表示在已知 的情況下的情況下,Y的平均不確定性。的平均不確定性。l對(duì)于不同的對(duì)于不同的 ，是變化的。因此，是變化的。因此，是一個(gè)隨機(jī)變量。是一個(gè)隨機(jī)變量。3.聯(lián)合熵和條件熵（續(xù)2）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)3）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例例6：已知已知 聯(lián)合概率分布如下，求：聯(lián)合概率分布如下，求：H(XY)，H(X),H(Y),H(Y|X),H(X|Y)。1)解：解：3.聯(lián)合熵和條件熵（續(xù)4）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)5）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量H(X)=2.0662)3)H(Y)=1.8564)3.聯(lián)合熵和條件熵（續(xù)6）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量5)3.聯(lián)合熵和條件熵（續(xù)7）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)8）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量各種熵之間的關(guān)系各種熵之間的關(guān)系 H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)H(X|Y)H(X)，H(Y|X)H(Y)H(XY)H(X)+H(Y)若X與Y統(tǒng)計(jì)獨(dú)立，則H(XY)=H(X)+H(Y)可推廣到多個(gè)隨機(jī)變量的情況：可推廣到多個(gè)隨機(jī)變量的情況：3.聯(lián)合熵和條件熵（續(xù)9）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量l 引入事件的重量，度量事件的重要性或主觀價(jià)值。引入事件的重量，度量事件的重要性或主觀價(jià)值。l 加權(quán)熵定義為：加權(quán)熵定義為：加權(quán)熵3.聯(lián)合熵和條件熵（續(xù)10）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量3.聯(lián)合熵和條件熵（續(xù)11）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量例7：信源X=A,B,C,信源Y=D,E,F,G,已知條件概率分布和X的概率分布，求聯(lián)合熵和條件熵。P(Y|X)DEFGP(X)A1/41/41/41/41/2B3/101/51/53/10 1/3C1/61/21/61/61/63.聯(lián)合熵和條件熵（續(xù)12）自信息和互信息自信息和互信息平均互信息平均互信息平均自信息平均自信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量P(XY)DEFGA1/81/81/81/8B1/101/151/151/10C1/361/121/361/36P(Y)91/36033/12079/36091/360解：H(XY)=3.417H(X)=1.46H(Y)=1.997H(Y|X)=1.95H(X|Y)=H(XY)-H(Y)=1.42第二章：信息的度量一、一、自信息和互信息自信息和互信息二、平均自信息二、平均自信息三、平均互信息三、平均互信息1.平均互信息平均互信息的概念的概念2.平均互信息的性質(zhì)平均互信息的性質(zhì)3.數(shù)據(jù)處理定理數(shù)據(jù)處理定理第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.平均互信息的概念信宿信道信源噪聲XYxiyjI(xi;yj)p(xiyj)平均交互信息量、交互熵I(X;Y)p(yj|xi)平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量1.平均互信息的概念（續(xù)1）平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息2.平均互信息的性質(zhì)1.對(duì)稱性：I(X;Y)=I(Y;X)2.非負(fù)性：3.極值性：I(X;Y)minH(X),H(Y)4.5.4.平均互信息和各類熵的關(guān)系:6.I(X;Y)=H(X)-H(X|Y)=H(Y)H(Y|X)=H(X)+H(Y)H(XY)7.X,Y 互相獨(dú)立時(shí)8.5.I(X;Y)是信源概率分布p(xi)的上凸函數(shù)和信道傳遞概率p(yj|xi)的下凸函數(shù)。第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息平均互信息量不是從兩個(gè)具體消息平均互信息量不是從兩個(gè)具體消息出發(fā)，而是從隨機(jī)變量出發(fā)，而是從隨機(jī)變量X X和和Y Y的的整體角度出發(fā)，在平均意義上整體角度出發(fā)，在平均意義上觀察問(wèn)題，所以觀察問(wèn)題，所以平均互信息不平均互信息不會(huì)出現(xiàn)負(fù)值會(huì)出現(xiàn)負(fù)值。第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息2.平均互信息的性質(zhì)（續(xù)1）H(XY)H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)=0第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息2.平均互信息的性質(zhì)（續(xù)2）符號(hào)符號(hào)圖示圖示表表1 X、Y之間有依賴關(guān)系時(shí)之間有依賴關(guān)系時(shí)第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息2.平均互信息的性質(zhì)（續(xù)3）符號(hào)符號(hào)圖示圖示表表2 X、Y相互獨(dú)立時(shí)相互獨(dú)立時(shí)第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息3.數(shù)據(jù)處理定理定義2.7 平均條件互信息定義2.8 平均聯(lián)合互信息可以證明同理第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息3.數(shù)據(jù)處理定理（續(xù)1）定理2.3（數(shù)據(jù)處理定理）如果隨機(jī)變量X，Y，Z構(gòu)成一個(gè)馬爾可夫鏈，則有以下關(guān)系成立：等號(hào)成立的條件分別是對(duì)于任意的 x，y，z證明第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息3.數(shù)據(jù)處理定理（續(xù)2）第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息3.數(shù)據(jù)處理定理（續(xù)3）練習(xí)題練習(xí)題1 已知：已知：X為隨機(jī)變量，為隨機(jī)變量，判斷：判斷：？第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息第二章：信息的度量第二章：信息的度量第二章：信息的度量第二章：信息的度量平均自信息平均自信息 平均互信息平均互信息自信息和互信息自信息和互信息