《信息論基礎教程》第二版PPT課件

《信息論基礎教程》第二版PPT課件,信息論基礎教程,信息論,基礎教程,第二,PPT,課件 信息論與編碼課程信息l教材及主要參考書教材及主要參考書：信息論基礎教程信息論基礎教程第二版第二版 李梅李梅,李亦農李亦農 北京郵電大學出版社，北京郵電大學出版社，20082008年年1010月月 信息論信息論-基礎理論與應用基礎理論與應用，傅祖蕓，傅祖蕓 電子工業(yè)出版社，電子工業(yè)出版社，20012001年年8 8月月l考核考核：平時成績平時成績 20（作業(yè)、考勤、（作業(yè)、考勤、實驗實驗）期末考試期末考試 80（閉卷）（閉卷）l答疑答疑：實踐性教學內容、要求及學時分配實踐性教學內容、要求及學時分配實踐性教學內容、要求及學時分配實踐性教學內容、要求及學時分配實驗一：信道容量的迭代算法實驗一：信道容量的迭代算法 2 學時實驗二：實驗二：Huffman 編碼編碼 2 學時實驗三：通信系統(tǒng)仿真實驗三：通信系統(tǒng)仿真 4 學時（備選題目：LZW壓縮編碼）國外參考教材T.M.Cover,Fundamental of Information Theory 最為流行的英文教材，為Stanford、MIT等學校的研究生課程選用 數學推導適中，強調概念，作為參考教材R.G.Gallager,Information Theory and Reliable Communication 數學推導較為艱深 作為提高教材第一章：緒論一、一、什么是信息什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內容三、信息論的研究內容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內容三、信息論的研究內容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.概述概述2.信息的通俗概念信息的通俗概念3.信息的狹義概念（香農信息）信息的狹義概念（香農信息）4.信息的廣義概念信息的廣義概念l組成客觀世界的三大基本要素：組成客觀世界的三大基本要素：物質物質能量能量信息信息l沒沒有有物物質質什什么么都都不不存存在在，沒沒有有能能量量什什么么都都不不會會發(fā)發(fā)生生，沒沒有信息什么都沒有意義。有信息什么都沒有意義。美國學者歐廷格美國學者歐廷格研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論1.概述2.信息的通俗概念 信息的通俗概念：消息就是信息。信息的通俗概念：消息就是信息。l用用文文字字、符符號號、數數據據、語語言言、音音符符、圖圖片片、圖圖像像等等能能夠夠被被人人們們感感覺覺器器官官所所感感知知的的形形式式，把把客客觀觀物物質質運運動動和和主主觀觀思維活動的狀態(tài)表達出來，就稱為思維活動的狀態(tài)表達出來，就稱為消息消息。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論l消息消息中包含信息，消息是信息的載體。中包含信息，消息是信息的載體。2.信息的通俗概念（續(xù)1）l信號信號是表示消息的物理量，包括電信號、光信號等。是表示消息的物理量，包括電信號、光信號等。l信號信號中攜帶著消息，信號是消息的載體。中攜帶著消息，信號是消息的載體。信息信息信號信號消息消息研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論3.信息的狹義概念（香農信息）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型香香農農信信息息：信信息息是是對對事事物物運運動動狀狀態(tài)態(tài)或或存存在在方方式式的的不不確確定定 性性的描述。的描述。l通通信信的的基基本本問問題題是是在在一一點點(信信宿宿）精精確確或或近近似似恢恢復復另另一一點點（信源）所選擇的消息。（信源）所選擇的消息。香農香農l通信的過程就是消除通信的過程就是消除不確定性不確定性的過程。的過程。3.信息的狹義概念（香農信息）（續(xù)1）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l例例1 1：甲甲袋袋紅紅、白白球球各各5050個個，乙乙袋袋紅紅、白白、藍藍、黑黑球球各各2525個個。比比較較從從甲甲袋袋中中取取出出一一個個球球是是紅紅球球的的事事件件和和從從乙乙袋袋中中取取出出一一個個球球是是紅紅球球的的事事件件發(fā)發(fā)生生的的難難易易程程度度，也也就就是是事事件件發(fā)生的不確定性。發(fā)生的不確定性。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農信息）（續(xù)2）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l例例2 2：北北京京地地區(qū)區(qū)十十月月份份可可能能出出現現的的天天氣氣包包括括：晴晴、陰陰、雨雨、雪雪。比比較較天天氣氣預預報報為為“晴晴”和和天天氣氣預預報報為為“雪雪”，給給人人們帶來的信息量。們帶來的信息量。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型結論結論：不確定性的大小與事：不確定性的大小與事件發(fā)生的概率有關。件發(fā)生的概率有關。3.信息的狹義概念（香農信息）（續(xù)3）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型不確定性的大小與事件發(fā)生的概率有關不確定性的大小與事件發(fā)生的概率有關因此，信息量可以表示為概率的函數。因此，信息量可以表示為概率的函數。不確定性是概率的函數不確定性是概率的函數3.信息的狹義概念（香農信息）（續(xù)4）l信息與概率的關系：信息與概率的關系：事件發(fā)生的事件發(fā)生的概率越大概率越大，該事件包含的，該事件包含的信息量越小信息量越小；如果一個事件發(fā)生的如果一個事件發(fā)生的概率為概率為1 1，那么它包含的，那么它包含的信息量為信息量為0 0；兩兩個個相相互互獨獨立立事事件件所所提提供供的的信信息息量量應應等等于于它它們們各各自自提提供供的的信息量之和。信息量之和。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農信息）（續(xù)5）l某個消息的不確定性（含有的信息量）可以表示為：某個消息的不確定性（含有的信息量）可以表示為：第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型信源的平均信源的平均不確定性：不確定性：3.信息的狹義概念（香農信息）（續(xù)6）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l香農信息的優(yōu)點：香農信息的優(yōu)點：有明確的數學表達式，定量化有明確的數學表達式，定量化與人們直觀理解的信息含義一致與人們直觀理解的信息含義一致不不考考慮慮收收信信者者主主觀觀感感受受的的不不同同，認認為為同同一一消消息息對對任何收信者，所得信息量相同。任何收信者，所得信息量相同。研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型3.信息的狹義概念（香農信息）（續(xù)7）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l香農信息的局限：香農信息的局限：沒有考慮收信者的主觀特性和主觀意義沒有考慮收信者的主觀特性和主觀意義研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型4.信息的廣義概念研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型信息信息是認識主體（人、生物、機器）所感受的和表達的事是認識主體（人、生物、機器）所感受的和表達的事物運動的狀態(tài)和運動狀態(tài)變化的方式。物運動的狀態(tài)和運動狀態(tài)變化的方式。語法信息語法信息語義信息語義信息語用信息語用信息第一章：緒論第一章：緒論第一章：緒論第一章：緒論第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內容三、信息論的研究內容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.通信系統(tǒng)模型通信系統(tǒng)模型2.提高通信系統(tǒng)的性能指標的措施提高通信系統(tǒng)的性能指標的措施1.通信系統(tǒng)模型研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖1 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)1）l信源信源l編碼器編碼器l信道信道l譯碼器譯碼器l信宿信宿第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1）信源研究內容：研究內容：l信源發(fā)出的消息的信源發(fā)出的消息的統(tǒng)計特性統(tǒng)計特性離散離散信源、信源、連續(xù)連續(xù)信源、信源、波形波形信源信源有記憶有記憶信源和信源和無記憶無記憶信源信源平穩(wěn)平穩(wěn)信源和信源和非平穩(wěn)非平穩(wěn)信源信源l信源產生信息的信源產生信息的速率速率 熵率熵率第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)2）2）編碼器l編碼器的功能：將消息變成適合信道傳輸的信號編碼器的功能：將消息變成適合信道傳輸的信號 l編碼器包括：編碼器包括：信源編碼器信源編碼器信道編碼器信道編碼器調制器調制器第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)3）第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖2 編碼器的組成編碼器的組成研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)4）l信源編碼器：信源編碼器：去除信源消息中的冗余度，提高傳輸的有效性。去除信源消息中的冗余度，提高傳輸的有效性。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)5）l信道編碼器：信道編碼器：將信源編碼后的符號加上冗余符號，提高傳輸的可靠性。將信源編碼后的符號加上冗余符號，提高傳輸的可靠性。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型圖圖3 信道編碼示例信道編碼示例1.通信系統(tǒng)模型（續(xù)6）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型l思考題：思考題：信源編碼去除冗余度，信道編碼卻加上冗余度，為信源編碼去除冗余度，信道編碼卻加上冗余度，為什么要這么做？什么要這么做？1.通信系統(tǒng)模型（續(xù)7）l調制器：調制器：功能：將信道編碼后的符號變成適合信道傳輸的信號功能：將信道編碼后的符號變成適合信道傳輸的信號目的：目的：提高傳輸效率提高傳輸效率第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)8）3）信道l狹義信道狹義信道l廣義信道廣義信道第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)9）研究內容：研究內容：l信道的信道的統(tǒng)計特性統(tǒng)計特性無噪聲無噪聲信道、信道、有噪聲有噪聲信道信道離散離散信道、信道、連續(xù)連續(xù)信道、信道、波形波形信道信道有記憶有記憶信道和信道和無記憶無記憶信道信道恒參恒參信道（信道（平穩(wěn)平穩(wěn)信道）和信道）和隨參隨參信道（信道（非平穩(wěn)非平穩(wěn)信道）信道）單用戶單用戶信道和信道和多用戶多用戶信道信道l信道傳輸信息的信道傳輸信息的最高速率最高速率 信道容量信道容量1.通信系統(tǒng)模型（續(xù)10）第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型4）譯碼器l譯碼器的功能：從接收到的信號中恢復消息。譯碼器的功能：從接收到的信號中恢復消息。l包括：包括：解調器解調器信道譯碼器信道譯碼器信源譯碼器信源譯碼器第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)11）第一章：緒論第一章：緒論第一章：緒論第一章：緒論圖圖4 譯碼器的組成譯碼器的組成研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)12）5）信宿l信宿是消息傳送的對象（人或機器）。信宿是消息傳送的對象（人或機器）。l香農信息論不研究信宿。香農信息論不研究信宿。第一章：緒論第一章：緒論第一章：緒論第一章：緒論研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型1.通信系統(tǒng)模型（續(xù)13）第一章：緒論第一章：緒論第一章：緒論第一章：緒論l提高提高有效性有效性：（數據壓縮）（數據壓縮）信源編碼：信源編碼：無失真無失真信源編碼和信源編碼和限失真限失真信源編碼信源編碼l提高提高可靠性可靠性：（可靠傳輸）（可靠傳輸）信道編碼信道編碼2.提高通信系統(tǒng)性能指標的措施研究內容研究內容形成和發(fā)展形成和發(fā)展什么是信息什么是信息 通信系統(tǒng)模型通信系統(tǒng)模型第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內容三、信息論的研究內容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.信息論研究的主要問題信息論研究的主要問題2.什么是信息論什么是信息論3.信息論的應用信息論的應用1.信息論研究的主要問題第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容 狹義信息論：又稱香農信息論。狹義信息論：又稱香農信息論。一般信息論：也叫工程信息論。一般信息論：也叫工程信息論。廣義信息論廣義信息論廣義廣義信息論信息論一般一般信息論信息論狹義狹義信息論信息論1.信息論研究的主要問題（續(xù)1）1 1）什么是信息？如何度量信息？）什么是信息？如何度量信息？第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容2 2）怎樣確定信源輸出信息的速率？）怎樣確定信源輸出信息的速率？3 3）對于一個信道，它傳輸信息的最高速率（信道容量）是）對于一個信道，它傳輸信息的最高速率（信道容量）是多少？多少？1.信息論研究的主要問題（續(xù)2）4 4）無失真信源編碼，所需要的最少碼符號數是多少？）無失真信源編碼，所需要的最少碼符號數是多少？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農第一定理香農第一定理：如果編碼后的信源序列的如果編碼后的信源序列的編碼信息率不小于信源的熵，那么一定存編碼信息率不小于信源的熵，那么一定存在一種無失真信源編碼方法；否則，不存在一種無失真信源編碼方法；否則，不存在這樣的一種無失真信源編碼方法。在這樣的一種無失真信源編碼方法。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容1.信息論研究的主要問題（續(xù)3）5 5）在有噪聲信道中，有沒有可能實現幾乎無差錯的傳輸信）在有噪聲信道中，有沒有可能實現幾乎無差錯的傳輸信息？息？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農第二定理香農第二定理：如果信道的信息傳輸率小于信：如果信道的信息傳輸率小于信道容量，那么總可以找到一種編碼方式，使得道容量，那么總可以找到一種編碼方式，使得當編碼序列足夠長時傳輸差錯任意小；否則，當編碼序列足夠長時傳輸差錯任意小；否則，不存在使差錯任意小的信道編碼方式。不存在使差錯任意小的信道編碼方式。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容1.信息論研究的主要問題（續(xù)4）6 6）如果信源編碼時，允許一定的失真，那么信源編碼所需）如果信源編碼時，允許一定的失真，那么信源編碼所需要的最少碼符號數又是多少？要的最少碼符號數又是多少？第一章：緒論第一章：緒論第一章：緒論第一章：緒論 香農第三定理香農第三定理：對于任意的失真度：對于任意的失真度 ，只要，只要碼字足夠長，那么總可以找到一種編碼方法，使碼字足夠長，那么總可以找到一種編碼方法，使編碼后的編碼信息率編碼后的編碼信息率 ，而碼的平均失真度，而碼的平均失真度 。通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容 信信息息論論是是通通信信的的數數學學基基礎礎，它它以以概概率率論論為為主主要要數數學學工工具具，詳詳細細研研究究了了通通信信中中的的各各個個關關鍵鍵環(huán)環(huán)節(jié)節(jié)，以以定定理理的的形形式式給給出出了了信信源源編編碼碼、信信道道編編碼碼的的理理論論極極限限，為為各各種種具具體體的的通通信信技技術術提提供供了理論上的指導。了理論上的指導。信息論創(chuàng)立的標志信息論創(chuàng)立的標志:香農于香農于19481948年發(fā)表年發(fā)表 的論文的論文：A Mathematical Theory of Communication（通信的數學理論）（通信的數學理論）2.什么是信息論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容第一章：緒論第一章：緒論第一章：緒論第一章：緒論2.什么是信息論（續(xù)1）l以概率論、隨機過程為基本研究工具。以概率論、隨機過程為基本研究工具。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容l研究的是通信系統(tǒng)的整個過程，而不是單個環(huán)節(jié)，并研究的是通信系統(tǒng)的整個過程，而不是單個環(huán)節(jié)，并以編、譯碼器為重點。以編、譯碼器為重點。l關心的是最優(yōu)系統(tǒng)的性能和怎樣達到這個性能（并不關心的是最優(yōu)系統(tǒng)的性能和怎樣達到這個性能（并不具體設計系統(tǒng)）。具體設計系統(tǒng)）。l要求信源為隨機過程，不研究信宿。要求信源為隨機過程，不研究信宿。信息論的特點信息論的特點信息論幫助通信工程師從全局的觀點觀察和設計通信系統(tǒng)。信息論幫助通信工程師從全局的觀點觀察和設計通信系統(tǒng)。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識。信息論是從事信息通信系統(tǒng)研究和開發(fā)的必備的知識。香農信息論的目標是研究通信系統(tǒng)的信息傳遞，而不是幫香農信息論的目標是研究通信系統(tǒng)的信息傳遞，而不是幫助人們理解信息含義。香農信息論有它的局限性。助人們理解信息含義。香農信息論有它的局限性。2.信息論的應用第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容2.信息論的應用（續(xù)1）通通信信的的基基本本問問題題是是在在一一點點精精確確地地或或近近似似地地恢恢復復另另一一點點（信信源源）所所選選擇擇的的消消息息。通通常常，這這些些消消息息是是有有含含義義的的，但但是是這這些些語語義義方方面面的的問問題題與與通通信信問問題題無無關關，而而重重要要的的方方面面是是實實際際消消息息是是從從一一個個可能的消息集合中選擇出的一條消息?？赡艿南⒓现羞x擇出的一條消息。香農香農第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容2.信息論的應用（續(xù)2）信息論的應用舉例語音信號壓縮（G.711,GSM,Vocoder）計算機文件壓縮模擬話路中數據傳輸速率的提高其他（音頻信號壓縮MP3、圖象信號的壓縮JPEG,MPEG等）第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型形成和發(fā)展形成和發(fā)展什么是信息什么是信息研究內容研究內容第一章：緒論一、什么是信息一、什么是信息二、通信系統(tǒng)模型二、通信系統(tǒng)模型三、信息論的研究內容三、信息論的研究內容四、信息論的形成和發(fā)展四、信息論的形成和發(fā)展1.技術背景技術背景2.理論背景理論背景3.香農的主要工作香農的主要工作1.技術背景l(fā)當時通信理論與技術已有較大的發(fā)展，存在的通信技術包括：當時通信理論與技術已有較大的發(fā)展，存在的通信技術包括：電報（電報（Morse，1838）、電話（）、電話（Bell，1876）、無線電報）、無線電報(Marconi,1887)、調幅廣播（、調幅廣播（1900s 早期）、單邊帶調制早期）、單邊帶調制（Carson，1922）、電視（）、電視（1925-1927）、調頻廣播）、調頻廣播（Armstrong，1936）、脈沖編碼調制（）、脈沖編碼調制（Reeves，1937-1939）、聲碼器（）、聲碼器（Dudley，1939）、擴頻通信（）、擴頻通信（1940s）等。等。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型 研究內容研究內容什么是信息什么是信息形成和發(fā)展形成和發(fā)展2.理論背景l(fā)1948年以前，年以前，Nyquist、Hartley、Wiener做做了許多有影響的工作。了許多有影響的工作。第一章：緒論第一章：緒論第一章：緒論第一章：緒論通信系統(tǒng)模型通信系統(tǒng)模型 研究內容研究內容什么是信息什么是信息形成和發(fā)展形成和發(fā)展3.香農的主要工作l1948年，發(fā)表年，發(fā)表通信的數學理論通信的數學理論。第一章：緒論第一章：緒論第一章：緒論第一章：緒論l1949年，發(fā)表年，發(fā)表噪聲下的通信噪聲下的通信。l1959年，發(fā)表年，發(fā)表在保真度準則下的離散信源編在保真度準則下的離散信源編碼定理碼定理。l1961年，發(fā)表年，發(fā)表雙路通信系統(tǒng)雙路通信系統(tǒng)。通信系統(tǒng)模型通信系統(tǒng)模型 研究內容研究內容什么是信息什么是信息形成和發(fā)展形成和發(fā)展l1956年，發(fā)表年，發(fā)表噪聲信道的零差錯容量噪聲信道的零差錯容量。大寫字母等表示隨機變量小寫字母等表示隨機變量的具體取值大寫黑體字母 等表示多維隨機變量，也就是隨機矢量小寫黑體字母 等表示隨機矢量的具體取值本課程約定的符號表示第三章：信源及信源熵 一、一、信源的分類及其數學模型信源的分類及其數學模型二、離散單符號信源二、離散單符號信源三、離散多符號信源三、離散多符號信源四、連續(xù)信源四、連續(xù)信源信源的分類及其數學模型第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵l信源是產生消息（符號）、消息序列（符號序列）以及信源是產生消息（符號）、消息序列（符號序列）以及時間連續(xù)的消息的來源。時間連續(xù)的消息的來源。l 信源的主要問題：信源的主要問題：如何描述信源的輸出（信源的建模問題）如何描述信源的輸出（信源的建模問題）怎樣確定信源產生的信息量、產生信息的速率怎樣確定信源產生的信息量、產生信息的速率 信源編碼信源編碼 （第五章）（第五章）多符號信源多符號信源連續(xù)信源連續(xù)信源信源分類信源分類單符號信源單符號信源時間（空間）取值信源種類舉例消息的數學描述離散離散離散信源（數字信源）文字、數據、離散化圖象離散隨機變量序列離散連續(xù)連續(xù)信源連續(xù)隨機變量序列連續(xù)連續(xù)波形信源（模擬信源）語音、音樂、熱噪聲、圖形、圖象隨機過程連續(xù)離散不常見根據信源輸出消息在時間和取值上是離散或連續(xù)分類：根據信源輸出消息在時間和取值上是離散或連續(xù)分類：l 本章重點研究本章重點研究離散平穩(wěn)無記憶信源離散平穩(wěn)無記憶信源，以及較簡單的有，以及較簡單的有記憶信源記憶信源馬爾可夫信源馬爾可夫信源。l 根據信源發(fā)出的單個消息取值是離散值還是連續(xù)根據信源發(fā)出的單個消息取值是離散值還是連續(xù)值，信源可分為值，信源可分為離散離散信源信源/連續(xù)連續(xù)信源。信源。l 根據信源發(fā)出的消息之間是否有統(tǒng)計依賴關系，信源根據信源發(fā)出的消息之間是否有統(tǒng)計依賴關系，信源可分為可分為有記憶有記憶信源信源/無記憶無記憶信源。信源。信源的分類及其數學模型多符號信源多符號信源連續(xù)信源連續(xù)信源信源分類信源分類單符號信源單符號信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵l 根據信源發(fā)出的消息序列中的消息，統(tǒng)計特性是否根據信源發(fā)出的消息序列中的消息，統(tǒng)計特性是否保持不變，信源可分為保持不變，信源可分為平穩(wěn)平穩(wěn)信源信源/非平穩(wěn)非平穩(wěn)信源信源。信源的分類及其數學模型多符號信源多符號信源連續(xù)信源連續(xù)信源信源分類信源分類單符號信源單符號信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵離散單符號信源離散單符號信源l 離散單符號信源：輸出離散取值的單個符號的信源。離散單符號信源：輸出離散取值的單個符號的信源。離散單符號信源是最簡單、最基本的信源，是組成實際信源的基本單元，離散單符號信源是最簡單、最基本的信源，是組成實際信源的基本單元，可以用一個離散隨機變量來表示?？梢杂靡粋€離散隨機變量來表示。l 離散單符號信源離散單符號信源X的概率空間：的概率空間：多符號信源多符號信源連續(xù)信源連續(xù)信源單符號信源單符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵離散單符號信源（續(xù)）離散單符號信源（續(xù)）l 信源輸出的所有消息的自信息的信源輸出的所有消息的自信息的 統(tǒng)計平均值，定統(tǒng)計平均值，定義為信源的義為信源的平均自信息平均自信息（信息熵信息熵）：）：l 信息熵表示離散單符號信源的平均不確定性。信息熵表示離散單符號信源的平均不確定性。多符號信源多符號信源連續(xù)信源連續(xù)信源單符號信源單符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵一：一：信源的分類及其數學模型信源的分類及其數學模型二：離散單符號信源二：離散單符號信源三：離散多符號信源三：離散多符號信源1.預備知識預備知識2.離散平穩(wěn)無記憶信源離散平穩(wěn)無記憶信源3.離散平穩(wěn)有記憶信源離散平穩(wěn)有記憶信源4.馬爾可夫信源馬爾可夫信源5.信源的相關性和剩余度信源的相關性和剩余度四：連續(xù)信源四：連續(xù)信源第三章：信源及信源熵 1.預備知識l實際信源輸出往往是符號序列，稱為實際信源輸出往往是符號序列，稱為離散多符號信源離散多符號信源。l離散多符號信源可以用離散多符號信源可以用隨機矢量隨機矢量/隨機變量序列來描述，隨機變量序列來描述，即即l一般來說，一般來說，信信源的統(tǒng)計特性隨著時間的推移而有所變化。源的統(tǒng)計特性隨著時間的推移而有所變化。為了便于研究，我們常常假定在一個較短的時間段內，為了便于研究，我們常常假定在一個較短的時間段內，信源是平穩(wěn)信源。信源是平穩(wěn)信源。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.預備知識（續(xù)1）定義定義1：對于離散隨機變量序列：對于離散隨機變量序列 ，若任意兩個不同，若任意兩個不同時刻時刻i和和j(大于大于1的任意整數的任意整數)信源發(fā)出消息的概率分布完全相信源發(fā)出消息的概率分布完全相同，即對于任意的同，即對于任意的 ，和和 具有相同的概率分布。也就是具有相同的概率分布。也就是即各維聯合概率分布均與時間起點無關的信源稱為即各維聯合概率分布均與時間起點無關的信源稱為離散平穩(wěn)信離散平穩(wěn)信源源。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.預備知識（續(xù)2）對離散平穩(wěn)信源，由聯合概率與條件概率的關系可以推出：對離散平穩(wěn)信源，由聯合概率與條件概率的關系可以推出：因此：因此：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.預備知識（續(xù)3）定義定義2：隨機變量序列中，對前隨機變量序列中，對前N個隨機變量的聯合熵求平均稱個隨機變量的聯合熵求平均稱為為平均符號熵平均符號熵：如果當如果當 時上式極限存在，則時上式極限存在，則 被稱為被稱為熵率熵率，或或極限熵極限熵，記為，記為 單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源l為了研究為了研究離散平穩(wěn)無記憶信源的極限熵，離散平穩(wěn)無記憶信源的極限熵，把信源輸出把信源輸出的符號序列看成是一組一組發(fā)出的。的符號序列看成是一組一組發(fā)出的。例例1：電報系統(tǒng)中，可以認為每電報系統(tǒng)中，可以認為每2個二進制數字組成一組。個二進制數字組成一組。這樣信源輸出的是由這樣信源輸出的是由2個二進制數字組成的一組組符號。個二進制數字組成的一組組符號。這時可以將它們等效看成一個新的信源，它由四個符號這時可以將它們等效看成一個新的信源，它由四個符號00，01，10，11組成，把該信源稱為二進制無記憶信源組成，把該信源稱為二進制無記憶信源的二次擴展。的二次擴展。例例2：如果把每三個二進制數字組成一組，這樣長度為如果把每三個二進制數字組成一組，這樣長度為3的二進制序列就有的二進制序列就有8種不同的符號，可等效成一個具有種不同的符號，可等效成一個具有8個符號的信源，把它稱為二進制無記憶信源的三次擴展個符號的信源，把它稱為二進制無記憶信源的三次擴展信源。信源。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)1）l假定信源輸出的是假定信源輸出的是N長符號序列，把它看成是一個新長符號序列，把它看成是一個新信源，稱為信源，稱為離散平穩(wěn)無記憶信源的離散平穩(wěn)無記憶信源的N N次擴展信源次擴展信源，用，用N N維離散隨機矢量來表示：維離散隨機矢量來表示：lN N次擴展信源的概率空間為：次擴展信源的概率空間為：G 是一個長為是一個長為N N的序列，的序列，單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)2）lN N次擴展信源次擴展信源的熵：的熵：l離散平穩(wěn)無記憶信源的離散平穩(wěn)無記憶信源的N N次擴展信源的熵等于離散單次擴展信源的熵等于離散單符號信源熵的符號信源熵的N N倍：倍：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)3）l離散平穩(wěn)無記憶信源的熵率：離散平穩(wěn)無記憶信源的熵率：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)4）例例1：設有一離散無記憶信源：設有一離散無記憶信源X，其概率空間為其概率空間為求該信源的熵率及二次擴展信源的熵。求該信源的熵率及二次擴展信源的熵。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)5）解：解：離散單符號信源熵離散單符號信源熵比特/符號熵率：熵率：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.離散平穩(wěn)無記憶信源（續(xù)6）二次擴展信源的概率空間：二次擴展信源的概率空間：二次擴展信源的熵：二次擴展信源的熵：比特比特/二個符號二個符號單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源l實實際際信信源源常常常常是是有有記記憶憶信信源源。設設信信源源輸輸出出N N長長的的符符號號序序列列，則則可可以以用用N N維維隨隨機機矢矢量量 來來表表示示信信源源，其其中中每每個個隨隨機機變量之間存在統(tǒng)計依賴關系。變量之間存在統(tǒng)計依賴關系。lN N維隨機矢量的聯合熵為：維隨機矢量的聯合熵為：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)1）定理定理：對于離散平穩(wěn)信源，如果：對于離散平穩(wěn)信源，如果 ，則有，則有單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)2）證明：證明：（1 1）首先證明極限條件熵存在：）首先證明極限條件熵存在：只要只要X的樣本空間有限，則必然有的樣本空間有限，則必然有 。根據條件熵的性質，以及信源的平穩(wěn)性有根據條件熵的性質，以及信源的平穩(wěn)性有 是單調有界數列，是單調有界數列，極極限限 必必然然存存在在，且且極極限限為為0 0和和 之之間的某一個值。間的某一個值。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)3）（2 2）對于收斂的實數列，有以下結論成立：）對于收斂的實數列，有以下結論成立：如果如果 是一個收斂的實數列，那么是一個收斂的實數列，那么利用上述結論可以推出：利用上述結論可以推出：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)4）例例2：信源信源X的信源模型為的信源模型為 輸出符號序列中，只有前后輸出符號序列中，只有前后兩個符號之間有記憶，條件兩個符號之間有記憶，條件概率空間見右邊的表。概率空間見右邊的表。求熵求熵率并比較率并比較 H(X)、H(X2|X1)、1/2H(X1X2)。條件概率條件概率 單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)5）解：解：1)1)比特比特/符號符號 2)2)如果不考慮符號間的相關性，則信源熵為如果不考慮符號間的相關性，則信源熵為比特比特/符號符號 3)3)如果把信源發(fā)出的符號看成是分組發(fā)出的，每兩個符號為一如果把信源發(fā)出的符號看成是分組發(fā)出的，每兩個符號為一組，這個新信源的熵為組，這個新信源的熵為比特比特/兩個符號兩個符號 單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵3.離散平穩(wěn)有記憶信源（續(xù)6）結論：結論：如何從理論上解如何從理論上解釋這個結果？釋這個結果？單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源(1)定義(2)熵率(3)馬爾可夫信源馬爾可夫鏈(4)馬爾可夫鏈單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)1）l 實際的有記憶信源，符號間的相關性可以追溯到很遠，使實際的有記憶信源，符號間的相關性可以追溯到很遠，使得熵率的計算比較復雜。得熵率的計算比較復雜。l馬爾可夫信源馬爾可夫信源是一類相對簡單的有記憶信源。信源在某一時是一類相對簡單的有記憶信源。信源在某一時刻發(fā)出某一符號的概率，除與該符號有關外，只與此前發(fā)出刻發(fā)出某一符號的概率，除與該符號有關外，只與此前發(fā)出的有限個符號有關。的有限個符號有關。(1)定義單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)2）l對于對于m階馬爾可夫信源，階馬爾可夫信源，(2)熵率l如何計算條件熵？如何計算條件熵？條件概率條件概率 通常是已知的，我們需要求解的是聯通常是已知的，我們需要求解的是聯合概率合概率 。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)3）(3)馬爾可夫信源馬爾可夫鏈單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)4）例例3 3：設一個二元一階馬爾可夫信源，信源符號集為設一個二元一階馬爾可夫信源，信源符號集為 ，輸出符號的條件概率為輸出符號的條件概率為用狀態(tài)轉移圖來描述該信源。用狀態(tài)轉移圖來描述該信源。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)5）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)6）例例4 4：設一個二元二階馬爾可夫信源，信源符號集為設一個二元二階馬爾可夫信源，信源符號集為 ，輸，輸出符號的條件概率為出符號的條件概率為求該信源的狀態(tài)轉移圖。求該信源的狀態(tài)轉移圖。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)7）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)8）l對于對于 m階馬爾可夫信源，階馬爾可夫信源，單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)9）(4)馬爾可夫鏈l 有限狀態(tài)馬爾可夫鏈有限狀態(tài)馬爾可夫鏈l 狀態(tài)轉移概率狀態(tài)轉移概率l 齊次馬爾可夫鏈齊次馬爾可夫鏈l Chapman-Kolmogorov方程方程l馬爾可夫鏈的平穩(wěn)分布馬爾可夫鏈的平穩(wěn)分布單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)10）l 馬爾可夫鏈馬爾可夫鏈：設設 為一隨機序列，如果對所有為一隨機序列，如果對所有 ，有，有則稱則稱 為馬爾可夫鏈。為馬爾可夫鏈。l 如果馬爾可夫鏈的狀態(tài)空間如果馬爾可夫鏈的狀態(tài)空間 有限，則被稱為有限，則被稱為有有限狀態(tài)馬爾可夫鏈限狀態(tài)馬爾可夫鏈；如果狀態(tài)空間；如果狀態(tài)空間 是無窮集合，則是無窮集合，則被稱為可數無窮狀態(tài)的馬爾可夫鏈。被稱為可數無窮狀態(tài)的馬爾可夫鏈。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)11）l 狀態(tài)轉移概率狀態(tài)轉移概率（描述馬氏鏈最重要的參數）：（描述馬氏鏈最重要的參數）：l 狀態(tài)轉移概率的性質：狀態(tài)轉移概率的性質：l 一步轉移概率：一步轉移概率：l k步轉移概率：步轉移概率：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)12）l 齊次馬爾可夫鏈齊次馬爾可夫鏈：如果馬氏鏈狀態(tài)轉移概率與起始時刻無關，即對任意如果馬氏鏈狀態(tài)轉移概率與起始時刻無關，即對任意m，有有 ，則稱為，則稱為時齊馬爾可夫鏈或齊次馬時齊馬爾可夫鏈或齊次馬爾可夫鏈爾可夫鏈，也稱為具有平穩(wěn)轉移概率的馬爾可夫鏈。，也稱為具有平穩(wěn)轉移概率的馬爾可夫鏈。l 齊次馬氏鏈可以用轉移概率矩陣或狀態(tài)轉移圖來描述。齊次馬氏鏈可以用轉移概率矩陣或狀態(tài)轉移圖來描述。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)13）l Chapman-Kolmogorov方程方程：或用矩陣表示為或用矩陣表示為單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)14）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)15）l 遍歷性遍歷性：若齊次馬爾可夫鏈，若齊次馬爾可夫鏈，存在不依賴于，存在不依賴于 的極限的極限且滿足且滿足則稱其具有遍歷性（各態(tài)歷經性）。則稱其具有遍歷性（各態(tài)歷經性）。為平穩(wěn)分布。為平穩(wěn)分布。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)16）l 定理定理1：是滿足方程組是滿足方程組 和和 的唯一解。的唯一解。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)17）l 定理定理2：設設 為馬氏鏈的狀態(tài)轉移矩陣，則該馬氏鏈平穩(wěn)分布存在為馬氏鏈的狀態(tài)轉移矩陣，則該馬氏鏈平穩(wěn)分布存在的充要條件是，存在一個正整數的充要條件是，存在一個正整數 ，使矩陣，使矩陣 中的所有元素均中的所有元素均大于零。大于零。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)18）例例5 5：求二階馬爾可夫信源的極限熵。：求二階馬爾可夫信源的極限熵。解：解：1 1）首先根據定理）首先根據定理2 2檢查該信源是否存在穩(wěn)態(tài)分布：檢查該信源是否存在穩(wěn)態(tài)分布：所有元素均大于所有元素均大于0 0，穩(wěn)態(tài)分布存在。，穩(wěn)態(tài)分布存在。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)19）2 2）設狀態(tài)的平穩(wěn)分布為設狀態(tài)的平穩(wěn)分布為 ，根據定理，根據定理1 1有有 單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)20）3 3）求熵率：求熵率：單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵4.馬爾可夫信源（續(xù)21）如何求信源發(fā)出的符號的極限概率？如何求信源發(fā)出的符號的極限概率？單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵符號的平穩(wěn)概率分布為：如果不考慮符號間的相關性，則由符號的平穩(wěn)概率分布可得信源熵H(X)=1比特/符號，而考慮符號間的相關性后，該信源的熵率0.80比特/符號4.馬爾可夫信源（續(xù)22）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵例1：設有一馬氏鏈，其狀態(tài)轉移矩陣為：問是否存在穩(wěn)態(tài)分布。如果存在，求其極限熵。4.馬爾可夫信源（續(xù)23）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵5.信源的相關性和剩余度l 信源的相關性就是信源符號間的依賴程度。信源的相關性就是信源符號間的依賴程度。l 對對于于不不同同平平穩(wěn)穩(wěn)信信源源可可以以分分別別計計算算它它的的熵熵（設設信信源源有有q q個個符符號）：號）：（獨立等概信源）（獨立等概信源）（無記憶信源）（無記憶信源）（一階馬爾可夫信源）（一階馬爾可夫信源）（m階馬爾可夫信源）階馬爾可夫信源）（記憶長度無限的記憶長度無限的信源）信源）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵5.信源的相關性和剩余度（續(xù)）l 對對同同一一信信源源，采采用用不不同同的的模模型型（假假定定相相關關程程度度不不同同），計算得到的熵的關系為計算得到的熵的關系為l 結論：結論：符號間相關性越大，熵越小。符號間相關性越大，熵越小。單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵5.信源的相關性和剩余度（續(xù)1）l 定義定義1 1：熵的相對率：熵的相對率l 定義定義2 2：信源的剩余度：信源的剩余度單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵英文信源：H0=4.76H1=4.03H2=3.32H3=3.1H5=1.65=1.45.信源的相關性和剩余度（續(xù)2）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵英文 法文德文 西班牙文 中文 （按8千漢字計算）5.信源的相關性和剩余度（續(xù)3）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵例3.7：計算漢字的剩余度。假設常用漢字約為10000個，其中140個漢字出現的概率占50%，625個漢字（含140個）出現的概率占85%，2400個漢字（含625個）出現的概率占99.7%，其余7600個漢字出現的概率占0.3%，不考慮符號間的相關性，只考慮它的概率分布，在這一級近似下計算漢字的剩余度。5.信源的相關性和剩余度（續(xù)4）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵解：為了計算方便，假設每類中漢字出現是等概的，得表類別漢字個數所占概率每個漢字的概率11400.50.5/1402625-140=4850.85-0.5=0.350.35/48532400-625=17750.997-0.85=0.1470.147/1775476000.0030.003/7600H1=H(X)=9.773bit/漢字H0=13.288bit/漢字5.信源的相關性和剩余度（續(xù)5）單符號信源單符號信源連續(xù)信源連續(xù)信源多符號信源多符號信源信源分類信源分類第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵一：一：信源的分類及其數學模型信源的分類及其數學模型二：離散單符號信源二：離散單符號信源三：離散多符號信源三：離散多符號信源四：連續(xù)信源四：連續(xù)信源1.連續(xù)信源的微分熵連續(xù)信源的微分熵 2.連續(xù)信源的最大熵連續(xù)信源的最大熵3.連續(xù)信源的熵功率連續(xù)信源的熵功率第三章：信源及信源熵 單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵離散：（一）數學模型單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)1）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)2）（二）H(X)：信息熵量化分層連續(xù)離散單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)3）p(x)-1-0.500.51x單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)4）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)5）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)6）微分熵：h(X)又稱為差熵確定值部分無限大常數項同樣，我們可以定義兩個連續(xù)隨機變量的聯合熵：及條件熵并且它們之間也有與離散隨機變量一樣的相互關系：單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)7）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)8）例3.8：求均勻分布的隨機變量的微分熵：單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)9）微分熵無非負性，可為負值單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)10）例3.9：求高斯分布的隨機變量的微分熵：單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)11）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)12）高斯分布的微分熵與方差有關，與均值無關當均值m=0時，方差代表平均功率P。微分熵只與平均功率有關(平均功率P=直流功率m2+交流功率)單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)13）例3.10：求指數分布的隨機變量的微分熵：單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)14）指數分布的微分熵只取決于均值a單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)15）例3.11 求N維高斯信源的熵。思考：若隨機噪聲在 之間的概率密度函數 。求該信源的微分熵。p(x)-11x單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.連續(xù)信源的微分熵（續(xù)16）單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.連續(xù)信源的最大熵定理3.1在輸出幅度受限的情況，服從均勻分布的隨機變量X具有最大輸出熵。定理3.2對于均值為m，方差為的連續(xù)隨機變量，當服從高斯分布時具有最大熵。單符號信源單符號信源多符號信源多符號信源信源分類信源分類連續(xù)信源連續(xù)信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵熵功率3.連續(xù)信源的熵功率剩余度