《信息論基礎(chǔ)教程》第二版PPT課件

《信息論基礎(chǔ)教程》第二版PPT課件,信息論基礎(chǔ)教程,信息論,基礎(chǔ)教程,第二,PPT,課件 信息論與編碼課程信息l教材及主要參考書(shū)教材及主要參考書(shū)：信息論基礎(chǔ)教程信息論基礎(chǔ)教程第二版第二版 李梅李梅,李亦農(nóng)李亦農(nóng) 北京郵電大學(xué)出版社，北京郵電大學(xué)出版社，20082008年年1010月月 信息論信息論-基礎(chǔ)理論與應(yīng)用基礎(chǔ)理論與應(yīng)用，傅祖蕓，傅祖蕓 電子工業(yè)出版社，電子工業(yè)出版社，20012001年年8 8月月l考核考核：平時(shí)成績(jī)平時(shí)成績(jī) 20（作業(yè)、考勤、（作業(yè)、考勤、實(shí)驗(yàn)實(shí)驗(yàn)）期末考試期末考試 80（閉卷）（閉卷）l答疑答疑：實(shí)踐性教學(xué)內(nèi)容、要求及學(xué)時(shí)分配實(shí)踐性教學(xué)內(nèi)容、要求及學(xué)時(shí)分配實(shí)踐性教學(xué)內(nèi)容、要求及學(xué)時(shí)分配實(shí)踐性教學(xué)內(nèi)容、要求及學(xué)時(shí)分配實(shí)驗(yàn)一：信道容量的迭代算法實(shí)驗(yàn)一：信道容量的迭代算法 2 學(xué)時(shí)實(shí)驗(yàn)二：實(shí)驗(yàn)二：Huffman 編碼編碼 2 學(xué)時(shí)實(shí)驗(yàn)三：通信系統(tǒng)仿真實(shí)驗(yàn)三：通信系統(tǒng)仿真 4 學(xué)時(shí)（備選題目：LZW壓縮編碼）國(guó)外參考教材T.M.Cover,Fundamental of Information Theory 最為流行的英文教材，為Stanford、MIT等學(xué)校的研究生課程選用 數(shù)學(xué)推導(dǎo)適中，強(qiáng)調(diào)概念，作為參考教材R.G.Gallager,Information Theory and Reliable Communication 數(shù)學(xué)推導(dǎo)較為艱深 作為提高教材第一章：緒論一、一、什么是信息什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.概述概述2.信息的通俗概念信息的通俗概念3.信息的狹義概念（香農(nóng)信息）信息的狹義概念（香農(nóng)信息）4.信息的廣義概念信息的廣義概念l組成客觀世界的三大基本要素：組成客觀世界的三大基本要素：物質(zhì)物質(zhì)能量能量信息信息l沒(méi)沒(méi)有有物物質(zhì)質(zhì)什什么么都都不不存存在在，沒(méi)沒(méi)有有能能量量什什么么都都不不會(huì)會(huì)發(fā)發(fā)生生，沒(méi)沒(méi)有信息什么都沒(méi)有意義。有信息什么都沒(méi)有意義。美國(guó)學(xué)者歐廷格美國(guó)學(xué)者歐廷格研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論1.概述2.信息的通俗概念 信息的通俗概念：消息就是信息。信息的通俗概念：消息就是信息。l用用文文字字、符符號(hào)號(hào)、數(shù)數(shù)據(jù)據(jù)、語(yǔ)語(yǔ)言言、音音符符、圖圖片片、圖圖像像等等能能夠夠被被人人們們感感覺(jué)覺(jué)器器官官所所感感知知的的形形式式，把把客客觀觀物物質(zhì)質(zhì)運(yùn)運(yùn)動(dòng)動(dòng)和和主主觀觀思維活動(dòng)的狀態(tài)表達(dá)出來(lái)，就稱(chēng)為思維活動(dòng)的狀態(tài)表達(dá)出來(lái)，就稱(chēng)為消息消息。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論l消息消息中包含信息，消息是信息的載體。中包含信息，消息是信息的載體。2.信息的通俗概念（續(xù)1）l信號(hào)信號(hào)是表示消息的物理量，包括電信號(hào)、光信號(hào)等。是表示消息的物理量，包括電信號(hào)、光信號(hào)等。l信號(hào)信號(hào)中攜帶著消息，信號(hào)是消息的載體。中攜帶著消息，信號(hào)是消息的載體。信息信息信號(hào)信號(hào)消息消息研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論3.信息的狹義概念（香農(nóng)信息）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型香香農(nóng)農(nóng)信信息息：信信息息是是對(duì)對(duì)事事物物運(yùn)運(yùn)動(dòng)動(dòng)狀狀態(tài)態(tài)或或存存在在方方式式的的不不確確定定 性性的描述。的描述。l通通信信的的基基本本問(wèn)問(wèn)題題是是在在一一點(diǎn)點(diǎn)(信信宿宿）精精確確或或近近似似恢恢復(fù)復(fù)另另一一點(diǎn)點(diǎn)（信源）所選擇的消息。（信源）所選擇的消息。香農(nóng)香農(nóng)l通信的過(guò)程就是消除通信的過(guò)程就是消除不確定性不確定性的過(guò)程。的過(guò)程。3.信息的狹義概念（香農(nóng)信息）（續(xù)1）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l例例1 1：甲甲袋袋紅紅、白白球球各各5050個(gè)個(gè)，乙乙袋袋紅紅、白白、藍(lán)藍(lán)、黑黑球球各各2525個(gè)個(gè)。比比較較從從甲甲袋袋中中取取出出一一個(gè)個(gè)球球是是紅紅球球的的事事件件和和從從乙乙袋袋中中取取出出一一個(gè)個(gè)球球是是紅紅球球的的事事件件發(fā)發(fā)生生的的難難易易程程度度，也也就就是是事事件件發(fā)生的不確定性。發(fā)生的不確定性。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)2）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l例例2 2：北北京京地地區(qū)區(qū)十十月月份份可可能能出出現(xiàn)現(xiàn)的的天天氣氣包包括括：晴晴、陰陰、雨雨、雪雪。比比較較天天氣氣預(yù)預(yù)報(bào)報(bào)為為“晴晴”和和天天氣氣預(yù)預(yù)報(bào)報(bào)為為“雪雪”，給給人人們帶來(lái)的信息量。們帶來(lái)的信息量。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型結(jié)論結(jié)論：不確定性的大小與事：不確定性的大小與事件發(fā)生的概率有關(guān)。件發(fā)生的概率有關(guān)。3.信息的狹義概念（香農(nóng)信息）（續(xù)3）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型不確定性的大小與事件發(fā)生的概率有關(guān)不確定性的大小與事件發(fā)生的概率有關(guān)因此，信息量可以表示為概率的函數(shù)。因此，信息量可以表示為概率的函數(shù)。不確定性是概率的函數(shù)不確定性是概率的函數(shù)3.信息的狹義概念（香農(nóng)信息）（續(xù)4）l信息與概率的關(guān)系：信息與概率的關(guān)系：事件發(fā)生的事件發(fā)生的概率越大概率越大，該事件包含的，該事件包含的信息量越小信息量越小；如果一個(gè)事件發(fā)生的如果一個(gè)事件發(fā)生的概率為概率為1 1，那么它包含的，那么它包含的信息量為信息量為0 0；兩兩個(gè)個(gè)相相互互獨(dú)獨(dú)立立事事件件所所提提供供的的信信息息量量應(yīng)應(yīng)等等于于它它們們各各自自提提供供的的信息量之和。信息量之和。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)5）l某個(gè)消息的不確定性（含有的信息量）可以表示為：某個(gè)消息的不確定性（含有的信息量）可以表示為：第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型信源的平均信源的平均不確定性：不確定性：3.信息的狹義概念（香農(nóng)信息）（續(xù)6）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l香農(nóng)信息的優(yōu)點(diǎn)：香農(nóng)信息的優(yōu)點(diǎn)：有明確的數(shù)學(xué)表達(dá)式，定量化有明確的數(shù)學(xué)表達(dá)式，定量化與人們直觀理解的信息含義一致與人們直觀理解的信息含義一致不不考考慮慮收收信信者者主主觀觀感感受受的的不不同同，認(rèn)認(rèn)為為同同一一消消息息對(duì)對(duì)任何收信者，所得信息量相同。任何收信者，所得信息量相同。研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農(nóng)信息）（續(xù)7）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l香農(nóng)信息的局限：香農(nóng)信息的局限：沒(méi)有考慮收信者的主觀特性和主觀意義沒(méi)有考慮收信者的主觀特性和主觀意義研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型4.信息的廣義概念研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型信息信息是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的和表達(dá)的事是認(rèn)識(shí)主體（人、生物、機(jī)器）所感受的和表達(dá)的事物運(yùn)動(dòng)的狀態(tài)和運(yùn)動(dòng)狀態(tài)變化的方式。物運(yùn)動(dòng)的狀態(tài)和運(yùn)動(dòng)狀態(tài)變化的方式。語(yǔ)法信息語(yǔ)法信息語(yǔ)義信息語(yǔ)義信息語(yǔ)用信息語(yǔ)用信息第一章：緒論第一章：緒論第一章：緒論第一章：緒論第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.通信系統(tǒng)模型通信系統(tǒng)模型2.提高通信系統(tǒng)的性能指標(biāo)的措施提高通信系統(tǒng)的性能指標(biāo)的措施1.通信系統(tǒng)模型研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖1 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)1）l信源信源l編碼器編碼器l信道信道l譯碼器譯碼器l信宿信宿第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1）信源研究?jī)?nèi)容：研究?jī)?nèi)容：l信源發(fā)出的消息的信源發(fā)出的消息的統(tǒng)計(jì)特性統(tǒng)計(jì)特性離散離散信源、信源、連續(xù)連續(xù)信源、信源、波形波形信源信源有記憶有記憶信源和信源和無(wú)記憶無(wú)記憶信源信源平穩(wěn)平穩(wěn)信源和信源和非平穩(wěn)非平穩(wěn)信源信源l信源產(chǎn)生信息的信源產(chǎn)生信息的速率速率 熵率熵率第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)2）2）編碼器l編碼器的功能：將消息變成適合信道傳輸?shù)男盘?hào)編碼器的功能：將消息變成適合信道傳輸?shù)男盘?hào) l編碼器包括：編碼器包括：信源編碼器信源編碼器信道編碼器信道編碼器調(diào)制器調(diào)制器第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)3）第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖2 編碼器的組成編碼器的組成研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)4）l信源編碼器：信源編碼器：去除信源消息中的冗余度，提高傳輸?shù)挠行?。去除信源消息中的冗余度，提高傳輸?shù)挠行?。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)5）l信道編碼器：信道編碼器：將信源編碼后的符號(hào)加上冗余符號(hào)，提高傳輸?shù)目煽啃?。將信源編碼后的符號(hào)加上冗余符號(hào)，提高傳輸?shù)目煽啃?。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖圖3 信道編碼示例信道編碼示例1.通信系統(tǒng)模型（續(xù)6）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l思考題：思考題：信源編碼去除冗余度，信道編碼卻加上冗余度，為信源編碼去除冗余度，信道編碼卻加上冗余度，為什么要這么做？什么要這么做？1.通信系統(tǒng)模型（續(xù)7）l調(diào)制器：調(diào)制器：功能：將信道編碼后的符號(hào)變成適合信道傳輸?shù)男盘?hào)功能：將信道編碼后的符號(hào)變成適合信道傳輸?shù)男盘?hào)目的：目的：提高傳輸效率提高傳輸效率第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)8）3）信道l狹義信道狹義信道l廣義信道廣義信道第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)9）研究?jī)?nèi)容：研究?jī)?nèi)容：l信道的信道的統(tǒng)計(jì)特性統(tǒng)計(jì)特性無(wú)噪聲無(wú)噪聲信道、信道、有噪聲有噪聲信道信道離散離散信道、信道、連續(xù)連續(xù)信道、信道、波形波形信道信道有記憶有記憶信道和信道和無(wú)記憶無(wú)記憶信道信道恒參恒參信道（信道（平穩(wěn)平穩(wěn)信道）和信道）和隨參隨參信道（信道（非平穩(wěn)非平穩(wěn)信道）信道）單用戶(hù)單用戶(hù)信道和信道和多用戶(hù)多用戶(hù)信道信道l信道傳輸信息的信道傳輸信息的最高速率最高速率 信道容量信道容量1.通信系統(tǒng)模型（續(xù)10）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型4）譯碼器l譯碼器的功能：從接收到的信號(hào)中恢復(fù)消息。譯碼器的功能：從接收到的信號(hào)中恢復(fù)消息。l包括：包括：解調(diào)器解調(diào)器信道譯碼器信道譯碼器信源譯碼器信源譯碼器第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)11）第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖4 譯碼器的組成譯碼器的組成研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)12）5）信宿l信宿是消息傳送的對(duì)象（人或機(jī)器）。信宿是消息傳送的對(duì)象（人或機(jī)器）。l香農(nóng)信息論不研究信宿。香農(nóng)信息論不研究信宿。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)13）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l提高提高有效性有效性：（數(shù)據(jù)壓縮）（數(shù)據(jù)壓縮）信源編碼：信源編碼：無(wú)失真無(wú)失真信源編碼和信源編碼和限失真限失真信源編碼信源編碼l提高提高可靠性可靠性：（可靠傳輸）（可靠傳輸）信道編碼信道編碼2.提高通信系統(tǒng)性能指標(biāo)的措施研究?jī)?nèi)容研究?jī)?nèi)容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.信息論研究的主要問(wèn)題信息論研究的主要問(wèn)題2.什么是信息論什么是信息論3.信息論的應(yīng)用信息論的應(yīng)用1.信息論研究的主要問(wèn)題第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容 狹義信息論：又稱(chēng)香農(nóng)信息論。狹義信息論：又稱(chēng)香農(nóng)信息論。一般信息論：也叫工程信息論。一般信息論：也叫工程信息論。廣義信息論廣義信息論廣義廣義信息論信息論一般一般信息論信息論狹義狹義信息論信息論1.信息論研究的主要問(wèn)題（續(xù)1）1 1）什么是信息？如何度量信息？）什么是信息？如何度量信息？第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容2 2）怎樣確定信源輸出信息的速率？）怎樣確定信源輸出信息的速率？3 3）對(duì)于一個(gè)信道，它傳輸信息的最高速率（信道容量）是）對(duì)于一個(gè)信道，它傳輸信息的最高速率（信道容量）是多少？多少？1.信息論研究的主要問(wèn)題（續(xù)2）4 4）無(wú)失真信源編碼，所需要的最少碼符號(hào)數(shù)是多少？）無(wú)失真信源編碼，所需要的最少碼符號(hào)數(shù)是多少？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農(nóng)第一定理香農(nóng)第一定理：如果編碼后的信源序列的如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存編碼信息率不小于信源的熵，那么一定存在一種無(wú)失真信源編碼方法；否則，不存在一種無(wú)失真信源編碼方法；否則，不存在這樣的一種無(wú)失真信源編碼方法。在這樣的一種無(wú)失真信源編碼方法。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容1.信息論研究的主要問(wèn)題（續(xù)3）5 5）在有噪聲信道中，有沒(méi)有可能實(shí)現(xiàn)幾乎無(wú)差錯(cuò)的傳輸信）在有噪聲信道中，有沒(méi)有可能實(shí)現(xiàn)幾乎無(wú)差錯(cuò)的傳輸信息？息？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農(nóng)第二定理香農(nóng)第二定理：如果信道的信息傳輸率小于信：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得道容量，那么總可以找到一種編碼方式，使得當(dāng)編碼序列足夠長(zhǎng)時(shí)傳輸差錯(cuò)任意小；否則，當(dāng)編碼序列足夠長(zhǎng)時(shí)傳輸差錯(cuò)任意??；否則，不存在使差錯(cuò)任意小的信道編碼方式。不存在使差錯(cuò)任意小的信道編碼方式。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容1.信息論研究的主要問(wèn)題（續(xù)4）6 6）如果信源編碼時(shí)，允許一定的失真，那么信源編碼所需）如果信源編碼時(shí)，允許一定的失真，那么信源編碼所需要的最少碼符號(hào)數(shù)又是多少？要的最少碼符號(hào)數(shù)又是多少？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農(nóng)第三定理香農(nóng)第三定理：對(duì)于任意的失真度：對(duì)于任意的失真度 ，只要，只要碼字足夠長(zhǎng)，那么總可以找到一種編碼方法，使碼字足夠長(zhǎng)，那么總可以找到一種編碼方法，使編碼后的編碼信息率編碼后的編碼信息率 ，而碼的平均失真度，而碼的平均失真度 。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容 信信息息論論是是通通信信的的數(shù)數(shù)學(xué)學(xué)基基礎(chǔ)礎(chǔ)，它它以以概概率率論論為為主主要要數(shù)數(shù)學(xué)學(xué)工工具具，詳詳細(xì)細(xì)研研究究了了通通信信中中的的各各個(gè)個(gè)關(guān)關(guān)鍵鍵環(huán)環(huán)節(jié)節(jié)，以以定定理理的的形形式式給給出出了了信信源源編編碼碼、信信道道編編碼碼的的理理論論極極限限，為為各各種種具具體體的的通通信信技技術(shù)術(shù)提提供供了理論上的指導(dǎo)。了理論上的指導(dǎo)。信息論創(chuàng)立的標(biāo)志信息論創(chuàng)立的標(biāo)志:香農(nóng)于香農(nóng)于19481948年發(fā)表年發(fā)表 的論文的論文：A Mathematical Theory of Communication（通信的數(shù)學(xué)理論）（通信的數(shù)學(xué)理論）2.什么是信息論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容第一章：緒論第一章：緒論第一章：緒論第一章：緒論2.什么是信息論（續(xù)1）l以概率論、隨機(jī)過(guò)程為基本研究工具。以概率論、隨機(jī)過(guò)程為基本研究工具。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容l研究的是通信系統(tǒng)的整個(gè)過(guò)程，而不是單個(gè)環(huán)節(jié)，并研究的是通信系統(tǒng)的整個(gè)過(guò)程，而不是單個(gè)環(huán)節(jié)，并以編、譯碼器為重點(diǎn)。以編、譯碼器為重點(diǎn)。l關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個(gè)性能（并不關(guān)心的是最優(yōu)系統(tǒng)的性能和怎樣達(dá)到這個(gè)性能（并不具體設(shè)計(jì)系統(tǒng)）。具體設(shè)計(jì)系統(tǒng)）。l要求信源為隨機(jī)過(guò)程，不研究信宿。要求信源為隨機(jī)過(guò)程，不研究信宿。信息論的特點(diǎn)信息論的特點(diǎn)信息論幫助通信工程師從全局的觀點(diǎn)觀察和設(shè)計(jì)通信系統(tǒng)。信息論幫助通信工程師從全局的觀點(diǎn)觀察和設(shè)計(jì)通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開(kāi)發(fā)的必備的知識(shí)。信息論是從事信息通信系統(tǒng)研究和開(kāi)發(fā)的必備的知識(shí)。香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫香農(nóng)信息論的目標(biāo)是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農(nóng)信息論有它的局限性。助人們理解信息含義。香農(nóng)信息論有它的局限性。2.信息論的應(yīng)用第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容2.信息論的應(yīng)用（續(xù)1）通通信信的的基基本本問(wèn)問(wèn)題題是是在在一一點(diǎn)點(diǎn)精精確確地地或或近近似似地地恢恢復(fù)復(fù)另另一一點(diǎn)點(diǎn)（信信源源）所所選選擇擇的的消消息息。通通常常，這這些些消消息息是是有有含含義義的的，但但是是這這些些語(yǔ)語(yǔ)義義方方面面的的問(wèn)問(wèn)題題與與通通信信問(wèn)問(wèn)題題無(wú)無(wú)關(guān)關(guān)，而而重重要要的的方方面面是是實(shí)實(shí)際際消消息息是是從從一一個(gè)個(gè)可能的消息集合中選擇出的一條消息?？赡艿南⒓现羞x擇出的一條消息。香農(nóng)香農(nóng)第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容2.信息論的應(yīng)用（續(xù)2）信息論的應(yīng)用舉例語(yǔ)音信號(hào)壓縮（G.711,GSM,Vocoder）計(jì)算機(jī)文件壓縮模擬話(huà)路中數(shù)據(jù)傳輸速率的提高其他（音頻信號(hào)壓縮MP3、圖象信號(hào)的壓縮JPEG,MPEG等）第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究?jī)?nèi)容研究?jī)?nèi)容第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究?jī)?nèi)容三、信息論的研究?jī)?nèi)容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.技術(shù)背景技術(shù)背景2.理論背景理論背景3.香農(nóng)的主要工作香農(nóng)的主要工作1.技術(shù)背景l(fā)當(dāng)時(shí)通信理論與技術(shù)已有較大的發(fā)展，存在的通信技術(shù)包括：當(dāng)時(shí)通信理論與技術(shù)已有較大的發(fā)展，存在的通信技術(shù)包括：電報(bào)（電報(bào)（Morse，1838）、電話(huà)（）、電話(huà)（Bell，1876）、無(wú)線(xiàn)電報(bào)）、無(wú)線(xiàn)電報(bào)(Marconi,1887)、調(diào)幅廣播（、調(diào)幅廣播（1900s 早期）、單邊帶調(diào)制早期）、單邊帶調(diào)制（Carson，1922）、電視（）、電視（1925-1927）、調(diào)頻廣播）、調(diào)頻廣播（Armstrong，1936）、脈沖編碼調(diào)制（）、脈沖編碼調(diào)制（Reeves，1937-1939）、聲碼器（）、聲碼器（Dudley，1939）、擴(kuò)頻通信（）、擴(kuò)頻通信（1940s）等。等。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型 研究?jī)?nèi)容研究?jī)?nèi)容什么是信息什么是信息形成和發(fā)展形成和發(fā)展2.理論背景l(fā)1948年以前，年以前，Nyquist、Hartley、Wiener做做了許多有影響的工作。了許多有影響的工作。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型 研究?jī)?nèi)容研究?jī)?nèi)容什么是信息什么是信息形成和發(fā)展形成和發(fā)展3.香農(nóng)的主要工作l1948年，發(fā)表年，發(fā)表通信的數(shù)學(xué)理論通信的數(shù)學(xué)理論。第一章：緒論第一章：緒論第一章：緒論第一章：緒論l1949年，發(fā)表年，發(fā)表噪聲下的通信噪聲下的通信。l1959年，發(fā)表年，發(fā)表在保真度準(zhǔn)則下的離散信源編在保真度準(zhǔn)則下的離散信源編碼定理碼定理。l1961年，發(fā)表年，發(fā)表雙路通信系統(tǒng)雙路通信系統(tǒng)。通信系統(tǒng)模型通信系統(tǒng)模型 研究?jī)?nèi)容研究?jī)?nèi)容什么是信息什么是信息形成和發(fā)展形成和發(fā)展l1956年，發(fā)表年，發(fā)表噪聲信道的零差錯(cuò)容量噪聲信道的零差錯(cuò)容量。大寫(xiě)字母等表示隨機(jī)變量小寫(xiě)字母等表示隨機(jī)變量的具體取值大寫(xiě)黑體字母 等表示多維隨機(jī)變量，也就是隨機(jī)矢量小寫(xiě)黑體字母 等表示隨機(jī)矢量的具體取值本課程約定的符號(hào)表示第三章：信源及信源熵 一、一、信源的分類(lèi)及其數(shù)學(xué)模型信源的分類(lèi)及其數(shù)學(xué)模型二、離散單符號(hào)信源二、離散單符號(hào)信源三、離散多符號(hào)信源三、離散多符號(hào)信源四、連續(xù)信源四、連續(xù)信源信源的分類(lèi)及其數(shù)學(xué)模型第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵l信源是產(chǎn)生消息（符號(hào)）、消息序列（符號(hào)序列）以及信源是產(chǎn)生消息（符號(hào)）、消息序列（符號(hào)序列）以及時(shí)間連續(xù)的消息的來(lái)源。時(shí)間連續(xù)的消息的來(lái)源。l 信源的主要問(wèn)題：信源的主要問(wèn)題：如何描述信源的輸出（信源的建模問(wèn)題）如何描述信源的輸出（信源的建模問(wèn)題）怎樣確定信源產(chǎn)生的信息量、產(chǎn)生信息的速率怎樣確定信源產(chǎn)生的信息量、產(chǎn)生信息的速率 信源編碼信源編碼 （第五章）（第五章）多符號(hào)信源多符號(hào)信源連續(xù)信源連續(xù)信源信源分類(lèi)信源分類(lèi)單符號(hào)信源單符號(hào)信源時(shí)間（空間）取值信源種類(lèi)舉例消息的數(shù)學(xué)描述離散離散離散信源（數(shù)字信源）文字、數(shù)據(jù)、離散化圖象離散隨機(jī)變量序列離散連續(xù)連續(xù)信源連續(xù)隨機(jī)變量序列連續(xù)連續(xù)波形信源（模擬信源）語(yǔ)音、音樂(lè)、熱噪聲、圖形、圖象隨機(jī)過(guò)程連續(xù)離散不常見(jiàn)根據(jù)信源輸出消息在時(shí)間和取值上是離散或連續(xù)分類(lèi)：根據(jù)信源輸出消息在時(shí)間和取值上是離散或連續(xù)分類(lèi)：l 本章重點(diǎn)研究本章重點(diǎn)研究離散平穩(wěn)無(wú)記憶信源離散平穩(wěn)無(wú)記憶信源，以及較簡(jiǎn)單的有，以及較簡(jiǎn)單的有記憶信源記憶信源馬爾可夫信源馬爾可夫信源。l 根據(jù)信源發(fā)出的單個(gè)消息取值是離散值還是連續(xù)根據(jù)信源發(fā)出的單個(gè)消息取值是離散值還是連續(xù)值，信源可分為值，信源可分為離散離散信源信源/連續(xù)連續(xù)信源。信源。l 根據(jù)信源發(fā)出的消息之間是否有統(tǒng)計(jì)依賴(lài)關(guān)系，信源根據(jù)信源發(fā)出的消息之間是否有統(tǒng)計(jì)依賴(lài)關(guān)系，信源可分為可分為有記憶有記憶信源信源/無(wú)記憶無(wú)記憶信源。信源。信源的分類(lèi)及其數(shù)學(xué)模型多符號(hào)信源多符號(hào)信源連續(xù)信源連續(xù)信源信源分類(lèi)信源分類(lèi)單符號(hào)信源單符號(hào)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵l 根據(jù)信源發(fā)出的消息序列中的消息，統(tǒng)計(jì)特性是否根據(jù)信源發(fā)出的消息序列中的消息，統(tǒng)計(jì)特性是否保持不變，信源可分為保持不變，信源可分為平穩(wěn)平穩(wěn)信源信源/非平穩(wěn)非平穩(wěn)信源信源。信源的分類(lèi)及其數(shù)學(xué)模型多符號(hào)信源多符號(hào)信源連續(xù)信源連續(xù)信源信源分類(lèi)信源分類(lèi)單符號(hào)信源單符號(hào)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵離散單符號(hào)信源離散單符號(hào)信源l 離散單符號(hào)信源：輸出離散取值的單個(gè)符號(hào)的信源。離散單符號(hào)信源：輸出離散取值的單個(gè)符號(hào)的信源。離散單符號(hào)信源是最簡(jiǎn)單、最基本的信源，是組成實(shí)際信源的基本單元，離散單符號(hào)信源是最簡(jiǎn)單、最基本的信源，是組成實(shí)際信源的基本單元，可以用一個(gè)離散隨機(jī)變量來(lái)表示?？梢杂靡粋€(gè)離散隨機(jī)變量來(lái)表示。l 離散單符號(hào)信源離散單符號(hào)信源X的概率空間：的概率空間：多符號(hào)信源多符號(hào)信源連續(xù)信源連續(xù)信源單符號(hào)信源單符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵離散單符號(hào)信源（續(xù)）離散單符號(hào)信源（續(xù)）l 信源輸出的所有消息的自信息的信源輸出的所有消息的自信息的 統(tǒng)計(jì)平均值，定統(tǒng)計(jì)平均值，定義為信源的義為信源的平均自信息平均自信息（信息熵信息熵）：）：l 信息熵表示離散單符號(hào)信源的平均不確定性。信息熵表示離散單符號(hào)信源的平均不確定性。多符號(hào)信源多符號(hào)信源連續(xù)信源連續(xù)信源單符號(hào)信源單符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵一：一：信源的分類(lèi)及其數(shù)學(xué)模型信源的分類(lèi)及其數(shù)學(xué)模型二：離散單符號(hào)信源二：離散單符號(hào)信源三：離散多符號(hào)信源三：離散多符號(hào)信源1.預(yù)備知識(shí)預(yù)備知識(shí)2.離散平穩(wěn)無(wú)記憶信源離散平穩(wěn)無(wú)記憶信源3.離散平穩(wěn)有記憶信源離散平穩(wěn)有記憶信源4.馬爾可夫信源馬爾可夫信源5.信源的相關(guān)性和剩余度信源的相關(guān)性和剩余度四：連續(xù)信源四：連續(xù)信源第三章：信源及信源熵 1.預(yù)備知識(shí)l實(shí)際信源輸出往往是符號(hào)序列，稱(chēng)為實(shí)際信源輸出往往是符號(hào)序列，稱(chēng)為離散多符號(hào)信源離散多符號(hào)信源。l離散多符號(hào)信源可以用離散多符號(hào)信源可以用隨機(jī)矢量隨機(jī)矢量/隨機(jī)變量序列來(lái)描述，隨機(jī)變量序列來(lái)描述，即即l一般來(lái)說(shuō)，一般來(lái)說(shuō)，信信源的統(tǒng)計(jì)特性隨著時(shí)間的推移而有所變化。源的統(tǒng)計(jì)特性隨著時(shí)間的推移而有所變化。為了便于研究，我們常常假定在一個(gè)較短的時(shí)間段內(nèi)，為了便于研究，我們常常假定在一個(gè)較短的時(shí)間段內(nèi)，信源是平穩(wěn)信源。信源是平穩(wěn)信源。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.預(yù)備知識(shí)（續(xù)1）定義定義1：對(duì)于離散隨機(jī)變量序列：對(duì)于離散隨機(jī)變量序列 ，若任意兩個(gè)不同，若任意兩個(gè)不同時(shí)刻時(shí)刻i和和j(大于大于1的任意整數(shù)的任意整數(shù))信源發(fā)出消息的概率分布完全相信源發(fā)出消息的概率分布完全相同，即對(duì)于任意的同，即對(duì)于任意的 ，和和 具有相同的概率分布。也就是具有相同的概率分布。也就是即各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無(wú)關(guān)的信源稱(chēng)為即各維聯(lián)合概率分布均與時(shí)間起點(diǎn)無(wú)關(guān)的信源稱(chēng)為離散平穩(wěn)信離散平穩(wěn)信源源。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.預(yù)備知識(shí)（續(xù)2）對(duì)離散平穩(wěn)信源，由聯(lián)合概率與條件概率的關(guān)系可以推出：對(duì)離散平穩(wěn)信源，由聯(lián)合概率與條件概率的關(guān)系可以推出：因此：因此：?jiǎn)畏?hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.預(yù)備知識(shí)（續(xù)3）定義定義2：隨機(jī)變量序列中，對(duì)前隨機(jī)變量序列中，對(duì)前N個(gè)隨機(jī)變量的聯(lián)合熵求平均稱(chēng)個(gè)隨機(jī)變量的聯(lián)合熵求平均稱(chēng)為為平均符號(hào)熵平均符號(hào)熵：如果當(dāng)如果當(dāng) 時(shí)上式極限存在，則時(shí)上式極限存在，則 被稱(chēng)為被稱(chēng)為熵率熵率，或或極限熵極限熵，記為，記為 單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無(wú)記憶信源l為了研究為了研究離散平穩(wěn)無(wú)記憶信源的極限熵，離散平穩(wěn)無(wú)記憶信源的極限熵，把信源輸出把信源輸出的符號(hào)序列看成是一組一組發(fā)出的。的符號(hào)序列看成是一組一組發(fā)出的。例例1：電報(bào)系統(tǒng)中，可以認(rèn)為每電報(bào)系統(tǒng)中，可以認(rèn)為每2個(gè)二進(jìn)制數(shù)字組成一組。個(gè)二進(jìn)制數(shù)字組成一組。這樣信源輸出的是由這樣信源輸出的是由2個(gè)二進(jìn)制數(shù)字組成的一組組符號(hào)。個(gè)二進(jìn)制數(shù)字組成的一組組符號(hào)。這時(shí)可以將它們等效看成一個(gè)新的信源，它由四個(gè)符號(hào)這時(shí)可以將它們等效看成一個(gè)新的信源，它由四個(gè)符號(hào)00，01，10，11組成，把該信源稱(chēng)為二進(jìn)制無(wú)記憶信源組成，把該信源稱(chēng)為二進(jìn)制無(wú)記憶信源的二次擴(kuò)展。的二次擴(kuò)展。例例2：如果把每三個(gè)二進(jìn)制數(shù)字組成一組，這樣長(zhǎng)度為如果把每三個(gè)二進(jìn)制數(shù)字組成一組，這樣長(zhǎng)度為3的二進(jìn)制序列就有的二進(jìn)制序列就有8種不同的符號(hào)，可等效成一個(gè)具有種不同的符號(hào)，可等效成一個(gè)具有8個(gè)符號(hào)的信源，把它稱(chēng)為二進(jìn)制無(wú)記憶信源的三次擴(kuò)展個(gè)符號(hào)的信源，把它稱(chēng)為二進(jìn)制無(wú)記憶信源的三次擴(kuò)展信源。信源。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無(wú)記憶信源（續(xù)1）l假定信源輸出的是假定信源輸出的是N長(zhǎng)符號(hào)序列，把它看成是一個(gè)新長(zhǎng)符號(hào)序列，把它看成是一個(gè)新信源，稱(chēng)為信源，稱(chēng)為離散平穩(wěn)無(wú)記憶信源的離散平穩(wěn)無(wú)記憶信源的N N次擴(kuò)展信源次擴(kuò)展信源，用，用N N維離散隨機(jī)矢量來(lái)表示：維離散隨機(jī)矢量來(lái)表示：lN N次擴(kuò)展信源的概率空間為：次擴(kuò)展信源的概率空間為：G 是一個(gè)長(zhǎng)為是一個(gè)長(zhǎng)為N N的序列，的序列，單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無(wú)記憶信源（續(xù)2）lN N次擴(kuò)展信源次擴(kuò)展信源的熵：的熵：l離散平穩(wěn)無(wú)記憶信源的離散平穩(wěn)無(wú)記憶信源的N N次擴(kuò)展信源的熵等于離散單次擴(kuò)展信源的熵等于離散單符號(hào)信源熵的符號(hào)信源熵的N N倍：倍：?jiǎn)畏?hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無(wú)記憶信源（續(xù)3）l離散平穩(wěn)無(wú)記憶信源的熵率：離散平穩(wěn)無(wú)記憶信源的熵率：?jiǎn)畏?hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無(wú)記憶信源（續(xù)4）例例1：設(shè)有一離散無(wú)記憶信源：設(shè)有一離散無(wú)記憶信源X，其概率空間為其概率空間為求該信源的熵率及二次擴(kuò)展信源的熵。求該信源的熵率及二次擴(kuò)展信源的熵。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無(wú)記憶信源（續(xù)5）解：解：離散單符號(hào)信源熵離散單符號(hào)信源熵比特/符號(hào)熵率：熵率：?jiǎn)畏?hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無(wú)記憶信源（續(xù)6）二次擴(kuò)展信源的概率空間：二次擴(kuò)展信源的概率空間：二次擴(kuò)展信源的熵：二次擴(kuò)展信源的熵：比特比特/二個(gè)符號(hào)二個(gè)符號(hào)單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源l實(shí)實(shí)際際信信源源常常常常是是有有記記憶憶信信源源。設(shè)設(shè)信信源源輸輸出出N N長(zhǎng)長(zhǎng)的的符符號(hào)號(hào)序序列列，則則可可以以用用N N維維隨隨機(jī)機(jī)矢矢量量 來(lái)來(lái)表表示示信信源源，其其中中每每個(gè)個(gè)隨隨機(jī)機(jī)變量之間存在統(tǒng)計(jì)依賴(lài)關(guān)系。變量之間存在統(tǒng)計(jì)依賴(lài)關(guān)系。lN N維隨機(jī)矢量的聯(lián)合熵為：維隨機(jī)矢量的聯(lián)合熵為：?jiǎn)畏?hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)1）定理定理：對(duì)于離散平穩(wěn)信源，如果：對(duì)于離散平穩(wěn)信源，如果 ，則有，則有單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)2）證明：證明：（1 1）首先證明極限條件熵存在：）首先證明極限條件熵存在：只要只要X的樣本空間有限，則必然有的樣本空間有限，則必然有 。根據(jù)條件熵的性質(zhì)，以及信源的平穩(wěn)性有根據(jù)條件熵的性質(zhì)，以及信源的平穩(wěn)性有 是單調(diào)有界數(shù)列，是單調(diào)有界數(shù)列，極極限限 必必然然存存在在，且且極極限限為為0 0和和 之之間的某一個(gè)值。間的某一個(gè)值。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)3）（2 2）對(duì)于收斂的實(shí)數(shù)列，有以下結(jié)論成立：）對(duì)于收斂的實(shí)數(shù)列，有以下結(jié)論成立：如果如果 是一個(gè)收斂的實(shí)數(shù)列，那么是一個(gè)收斂的實(shí)數(shù)列，那么利用上述結(jié)論可以推出：利用上述結(jié)論可以推出：?jiǎn)畏?hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)4）例例2：信源信源X的信源模型為的信源模型為 輸出符號(hào)序列中，只有前后輸出符號(hào)序列中，只有前后兩個(gè)符號(hào)之間有記憶，條件兩個(gè)符號(hào)之間有記憶，條件概率空間見(jiàn)右邊的表。概率空間見(jiàn)右邊的表。求熵求熵率并比較率并比較 H(X)、H(X2|X1)、1/2H(X1X2)。條件概率條件概率 單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)5）解：解：1)1)比特比特/符號(hào)符號(hào) 2)2)如果不考慮符號(hào)間的相關(guān)性，則信源熵為如果不考慮符號(hào)間的相關(guān)性，則信源熵為比特比特/符號(hào)符號(hào) 3)3)如果把信源發(fā)出的符號(hào)看成是分組發(fā)出的，每?jī)蓚€(gè)符號(hào)為一如果把信源發(fā)出的符號(hào)看成是分組發(fā)出的，每?jī)蓚€(gè)符號(hào)為一組，這個(gè)新信源的熵為組，這個(gè)新信源的熵為比特比特/兩個(gè)符號(hào)兩個(gè)符號(hào) 單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)6）結(jié)論：結(jié)論：如何從理論上解如何從理論上解釋這個(gè)結(jié)果？釋這個(gè)結(jié)果？單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源(1)定義(2)熵率(3)馬爾可夫信源馬爾可夫鏈(4)馬爾可夫鏈單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)1）l 實(shí)際的有記憶信源，符號(hào)間的相關(guān)性可以追溯到很遠(yuǎn)，使實(shí)際的有記憶信源，符號(hào)間的相關(guān)性可以追溯到很遠(yuǎn)，使得熵率的計(jì)算比較復(fù)雜。得熵率的計(jì)算比較復(fù)雜。l馬爾可夫信源馬爾可夫信源是一類(lèi)相對(duì)簡(jiǎn)單的有記憶信源。信源在某一時(shí)是一類(lèi)相對(duì)簡(jiǎn)單的有記憶信源。信源在某一時(shí)刻發(fā)出某一符號(hào)的概率，除與該符號(hào)有關(guān)外，只與此前發(fā)出刻發(fā)出某一符號(hào)的概率，除與該符號(hào)有關(guān)外，只與此前發(fā)出的有限個(gè)符號(hào)有關(guān)。的有限個(gè)符號(hào)有關(guān)。(1)定義單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)2）l對(duì)于對(duì)于m階馬爾可夫信源，階馬爾可夫信源，(2)熵率l如何計(jì)算條件熵？如何計(jì)算條件熵？條件概率條件概率 通常是已知的，我們需要求解的是聯(lián)通常是已知的，我們需要求解的是聯(lián)合概率合概率 。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)3）(3)馬爾可夫信源馬爾可夫鏈單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)4）例例3 3：設(shè)一個(gè)二元一階馬爾可夫信源，信源符號(hào)集為設(shè)一個(gè)二元一階馬爾可夫信源，信源符號(hào)集為 ，輸出符號(hào)的條件概率為輸出符號(hào)的條件概率為用狀態(tài)轉(zhuǎn)移圖來(lái)描述該信源。用狀態(tài)轉(zhuǎn)移圖來(lái)描述該信源。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)5）單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)6）例例4 4：設(shè)一個(gè)二元二階馬爾可夫信源，信源符號(hào)集為設(shè)一個(gè)二元二階馬爾可夫信源，信源符號(hào)集為 ，輸，輸出符號(hào)的條件概率為出符號(hào)的條件概率為求該信源的狀態(tài)轉(zhuǎn)移圖。求該信源的狀態(tài)轉(zhuǎn)移圖。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)7）單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)8）l對(duì)于對(duì)于 m階馬爾可夫信源，階馬爾可夫信源，單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)9）(4)馬爾可夫鏈l 有限狀態(tài)馬爾可夫鏈有限狀態(tài)馬爾可夫鏈l 狀態(tài)轉(zhuǎn)移概率狀態(tài)轉(zhuǎn)移概率l 齊次馬爾可夫鏈齊次馬爾可夫鏈l Chapman-Kolmogorov方程方程l馬爾可夫鏈的平穩(wěn)分布馬爾可夫鏈的平穩(wěn)分布單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)10）l 馬爾可夫鏈馬爾可夫鏈：設(shè)設(shè) 為一隨機(jī)序列，如果對(duì)所有為一隨機(jī)序列，如果對(duì)所有 ，有，有則稱(chēng)則稱(chēng) 為馬爾可夫鏈。為馬爾可夫鏈。l 如果馬爾可夫鏈的狀態(tài)空間如果馬爾可夫鏈的狀態(tài)空間 有限，則被稱(chēng)為有限，則被稱(chēng)為有有限狀態(tài)馬爾可夫鏈限狀態(tài)馬爾可夫鏈；如果狀態(tài)空間；如果狀態(tài)空間 是無(wú)窮集合，則是無(wú)窮集合，則被稱(chēng)為可數(shù)無(wú)窮狀態(tài)的馬爾可夫鏈。被稱(chēng)為可數(shù)無(wú)窮狀態(tài)的馬爾可夫鏈。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)11）l 狀態(tài)轉(zhuǎn)移概率狀態(tài)轉(zhuǎn)移概率（描述馬氏鏈最重要的參數(shù)）：（描述馬氏鏈最重要的參數(shù)）：l 狀態(tài)轉(zhuǎn)移概率的性質(zhì)：狀態(tài)轉(zhuǎn)移概率的性質(zhì)：l 一步轉(zhuǎn)移概率：一步轉(zhuǎn)移概率：l k步轉(zhuǎn)移概率：步轉(zhuǎn)移概率：?jiǎn)畏?hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)12）l 齊次馬爾可夫鏈齊次馬爾可夫鏈：如果馬氏鏈狀態(tài)轉(zhuǎn)移概率與起始時(shí)刻無(wú)關(guān)，即對(duì)任意如果馬氏鏈狀態(tài)轉(zhuǎn)移概率與起始時(shí)刻無(wú)關(guān)，即對(duì)任意m，有有 ，則稱(chēng)為，則稱(chēng)為時(shí)齊馬爾可夫鏈或齊次馬時(shí)齊馬爾可夫鏈或齊次馬爾可夫鏈爾可夫鏈，也稱(chēng)為具有平穩(wěn)轉(zhuǎn)移概率的馬爾可夫鏈。，也稱(chēng)為具有平穩(wěn)轉(zhuǎn)移概率的馬爾可夫鏈。l 齊次馬氏鏈可以用轉(zhuǎn)移概率矩陣或狀態(tài)轉(zhuǎn)移圖來(lái)描述。齊次馬氏鏈可以用轉(zhuǎn)移概率矩陣或狀態(tài)轉(zhuǎn)移圖來(lái)描述。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)13）l Chapman-Kolmogorov方程方程：或用矩陣表示為或用矩陣表示為單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)14）單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)15）l 遍歷性遍歷性：若齊次馬爾可夫鏈，若齊次馬爾可夫鏈，存在不依賴(lài)于，存在不依賴(lài)于 的極限的極限且滿(mǎn)足且滿(mǎn)足則稱(chēng)其具有遍歷性（各態(tài)歷經(jīng)性）。則稱(chēng)其具有遍歷性（各態(tài)歷經(jīng)性）。為平穩(wěn)分布。為平穩(wěn)分布。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)16）l 定理定理1：是滿(mǎn)足方程組是滿(mǎn)足方程組 和和 的唯一解。的唯一解。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)17）l 定理定理2：設(shè)設(shè) 為馬氏鏈的狀態(tài)轉(zhuǎn)移矩陣，則該馬氏鏈平穩(wěn)分布存在為馬氏鏈的狀態(tài)轉(zhuǎn)移矩陣，則該馬氏鏈平穩(wěn)分布存在的充要條件是，存在一個(gè)正整數(shù)的充要條件是，存在一個(gè)正整數(shù) ，使矩陣，使矩陣 中的所有元素均中的所有元素均大于零。大于零。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)18）例例5 5：求二階馬爾可夫信源的極限熵。：求二階馬爾可夫信源的極限熵。解：解：1 1）首先根據(jù)定理）首先根據(jù)定理2 2檢查該信源是否存在穩(wěn)態(tài)分布：檢查該信源是否存在穩(wěn)態(tài)分布：所有元素均大于所有元素均大于0 0，穩(wěn)態(tài)分布存在。，穩(wěn)態(tài)分布存在。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)19）2 2）設(shè)狀態(tài)的平穩(wěn)分布為設(shè)狀態(tài)的平穩(wěn)分布為 ，根據(jù)定理，根據(jù)定理1 1有有 單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)20）3 3）求熵率：求熵率：?jiǎn)畏?hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)21）如何求信源發(fā)出的符號(hào)的極限概率？如何求信源發(fā)出的符號(hào)的極限概率？單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵符號(hào)的平穩(wěn)概率分布為：如果不考慮符號(hào)間的相關(guān)性，則由符號(hào)的平穩(wěn)概率分布可得信源熵H(X)=1比特/符號(hào)，而考慮符號(hào)間的相關(guān)性后，該信源的熵率0.80比特/符號(hào)4.馬爾可夫信源（續(xù)22）單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵例1：設(shè)有一馬氏鏈，其狀態(tài)轉(zhuǎn)移矩陣為：?jiǎn)柺欠翊嬖诜€(wěn)態(tài)分布。如果存在，求其極限熵。4.馬爾可夫信源（續(xù)23）單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵5.信源的相關(guān)性和剩余度l 信源的相關(guān)性就是信源符號(hào)間的依賴(lài)程度。信源的相關(guān)性就是信源符號(hào)間的依賴(lài)程度。l 對(duì)對(duì)于于不不同同平平穩(wěn)穩(wěn)信信源源可可以以分分別別計(jì)計(jì)算算它它的的熵熵（設(shè)設(shè)信信源源有有q q個(gè)個(gè)符符號(hào)）：號(hào)）：（獨(dú)立等概信源）（獨(dú)立等概信源）（無(wú)記憶信源）（無(wú)記憶信源）（一階馬爾可夫信源）（一階馬爾可夫信源）（m階馬爾可夫信源）階馬爾可夫信源）（記憶長(zhǎng)度無(wú)限的記憶長(zhǎng)度無(wú)限的信源）信源）單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵5.信源的相關(guān)性和剩余度（續(xù)）l 對(duì)對(duì)同同一一信信源源，采采用用不不同同的的模模型型（假假定定相相關(guān)關(guān)程程度度不不同同），計(jì)算得到的熵的關(guān)系為計(jì)算得到的熵的關(guān)系為l 結(jié)論：結(jié)論：符號(hào)間相關(guān)性越大，熵越小。符號(hào)間相關(guān)性越大，熵越小。單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵5.信源的相關(guān)性和剩余度（續(xù)1）l 定義定義1 1：熵的相對(duì)率：熵的相對(duì)率l 定義定義2 2：信源的剩余度：信源的剩余度單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵英文信源：H0=4.76H1=4.03H2=3.32H3=3.1H5=1.65=1.45.信源的相關(guān)性和剩余度（續(xù)2）單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵英文 法文德文 西班牙文 中文 （按8千漢字計(jì)算）5.信源的相關(guān)性和剩余度（續(xù)3）單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵例3.7：計(jì)算漢字的剩余度。假設(shè)常用漢字約為10000個(gè)，其中140個(gè)漢字出現(xiàn)的概率占50%，625個(gè)漢字（含140個(gè)）出現(xiàn)的概率占85%，2400個(gè)漢字（含625個(gè)）出現(xiàn)的概率占99.7%，其余7600個(gè)漢字出現(xiàn)的概率占0.3%，不考慮符號(hào)間的相關(guān)性，只考慮它的概率分布，在這一級(jí)近似下計(jì)算漢字的剩余度。5.信源的相關(guān)性和剩余度（續(xù)4）單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵解：為了計(jì)算方便，假設(shè)每類(lèi)中漢字出現(xiàn)是等概的，得表類(lèi)別漢字個(gè)數(shù)所占概率每個(gè)漢字的概率11400.50.5/1402625-140=4850.85-0.5=0.350.35/48532400-625=17750.997-0.85=0.1470.147/1775476000.0030.003/7600H1=H(X)=9.773bit/漢字H0=13.288bit/漢字5.信源的相關(guān)性和剩余度（續(xù)5）單符號(hào)信源單符號(hào)信源連續(xù)信源連續(xù)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵一：一：信源的分類(lèi)及其數(shù)學(xué)模型信源的分類(lèi)及其數(shù)學(xué)模型二：離散單符號(hào)信源二：離散單符號(hào)信源三：離散多符號(hào)信源三：離散多符號(hào)信源四：連續(xù)信源四：連續(xù)信源1.連續(xù)信源的微分熵連續(xù)信源的微分熵 2.連續(xù)信源的最大熵連續(xù)信源的最大熵3.連續(xù)信源的熵功率連續(xù)信源的熵功率第三章：信源及信源熵 單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵離散：（一）數(shù)學(xué)模型單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)1）單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)2）（二）H(X)：信息熵量化分層連續(xù)離散單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)3）p(x)-1-0.500.51x單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)4）單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)5）單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)6）微分熵：h(X)又稱(chēng)為差熵確定值部分無(wú)限大常數(shù)項(xiàng)同樣，我們可以定義兩個(gè)連續(xù)隨機(jī)變量的聯(lián)合熵：及條件熵并且它們之間也有與離散隨機(jī)變量一樣的相互關(guān)系：?jiǎn)畏?hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)7）單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)8）例3.8：求均勻分布的隨機(jī)變量的微分熵：?jiǎn)畏?hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)9）微分熵?zé)o非負(fù)性，可為負(fù)值單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)10）例3.9：求高斯分布的隨機(jī)變量的微分熵：?jiǎn)畏?hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)11）單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)12）高斯分布的微分熵與方差有關(guān)，與均值無(wú)關(guān)當(dāng)均值m=0時(shí)，方差代表平均功率P。微分熵只與平均功率有關(guān)(平均功率P=直流功率m2+交流功率)單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)13）例3.10：求指數(shù)分布的隨機(jī)變量的微分熵：?jiǎn)畏?hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)14）指數(shù)分布的微分熵只取決于均值a單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)15）例3.11 求N維高斯信源的熵。思考：若隨機(jī)噪聲在 之間的概率密度函數(shù) 。求該信源的微分熵。p(x)-11x單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)16）單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.連續(xù)信源的最大熵定理3.1在輸出幅度受限的情況，服從均勻分布的隨機(jī)變量X具有最大輸出熵。定理3.2對(duì)于均值為m，方差為的連續(xù)隨機(jī)變量，當(dāng)服從高斯分布時(shí)具有最大熵。單符號(hào)信源單符號(hào)信源多符號(hào)信源多符號(hào)信源信源分類(lèi)信源分類(lèi)連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵熵功率3.連續(xù)信源的熵功率剩余度