李梅李亦農(nóng)《信息論基礎(chǔ)教程》課件教案第一章緒論

《李梅李亦農(nóng)《信息論基礎(chǔ)教程》課件教案第一章緒論》由會員分享，可在線閱讀，更多相關(guān)《李梅李亦農(nóng)《信息論基礎(chǔ)教程》課件教案第一章緒論（52頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、李 梅 李 梅 ， 女 ， 1969年 7月 生 ， 博 士 ， 副 教 授 ， 碩 士 生 導 師 。 1991年 畢 業(yè)于 北 京 郵 電 大 學 通 信 工 程 專 業(yè) ， 學 士 ， 2003年 畢 業(yè) 于 北 京 工 業(yè) 大 學 計 算機 應(yīng) 用 技 術(shù) 專 業(yè) ， 碩 士 ， 2011年 獲 中 國 地 質(zhì) 大 學 （ 北 京 ） 地 球 物 理 儀 器方 向 博 士 。 2003年 至 今 在 中 國 地 質(zhì) 大 學 （ 北 京 ） 工 作 ， 主 要 從 事 信 號 與 信 息 處理 的 教 學 和 科 研 工 作 。 主 講 課 程 ： 信 息 理 論 與 編 碼 、 虛 擬

2、 儀 器 技術(shù) 、 現(xiàn) 代 數(shù) 字 信 號 處 理 。 主 要 研 究 與 招 生 方 向 ： 信 號 采 集 與 信 息處 理 、 通 信 與 網(wǎng) 絡(luò) 技 術(shù) 、 地 球 物 理 儀 器 。 目 前 是 科 技 部 創(chuàng) 新 基 金 評 審 專 家 、 海 淀 區(qū) 科 委 科 技 項 目 評 審 專家 、 北 京 市 科 技 咨 詢 中 心 專 家 庫 成 員 、 中 國 電 子 學 會 高 級 會 員 、中 國 儀 器 儀 表 學 會 高 級 會 員 。 已 出 版 教 材 ： 李 梅 ， 李 亦 農(nóng) . 信 息 論 基 礎(chǔ) 教 程 （ 第 二 版 ） . 北 京 ： 北 京 郵 電 大 學

3、 出 版 社 ， 2008李 梅 ， 李 亦 農(nóng) . 信 息 論 基 礎(chǔ) 教 程 習 題 解 答 和 實 驗 指 導 （ 第 二 版 ） . 北 京 ： 北 京 郵 電 大 學 出版 社 ， 2011劉 文 林 ， 李 梅 ， 李 洪 . 組 網(wǎng) 工 程 . 北 京 ： 北 京 郵 電 大 學 出 版 社 ， 2008劉 文 林 ， 李 梅 ， 吳 譽 蘭 . 計 算 機 系 統(tǒng) 安 全 . 北 京 ： 北 京 郵 電 大 學 出 版 社 ， 2009 l 教 材 及 主 要 參 考 書 ： 信 息 論 基 礎(chǔ) 教 程 第 二 版 李 梅 ,李 亦 農(nóng) 北 京 郵 電 大 學 出 版 社 ，

4、2008年 10月 信 息 論 -基 礎(chǔ) 理 論 與 應(yīng) 用 ， 傅 祖 蕓 電 子 工 業(yè) 出 版 社 ， 2001年 8月l 考 核 ： 平 時 成 績 20 （ 作 業(yè) 、 考 勤 、 實 驗 ） 期 末 考 試 80 （ 閉 卷 ）l 答 疑 ： 實 踐 性 教 學 內(nèi) 容 、 要 求 及 學 時 分 配實 驗 一 ： 信 道 容 量 的 迭 代 算 法 2 學 時實 驗 二 ： Huffman 編 碼 2 學 時實 驗 三 ： 通 信 系 統(tǒng) 仿 真 4 學 時 （ 備 選 題 目 ： LZW壓 縮 編 碼 ） 國 外 參 考 教 材T. M. Cover, Fundamental

5、of Information Theory 最 為 流 行 的 英 文 教 材 ， 為 Stanford、 MIT等 學 校 的 研 究 生 課 程 選 用 數(shù) 學 推 導 適 中 ， 強 調(diào) 概 念 ， 作 為 參 考 教 材R.G. Gallager, Information Theory and Reliable Communication 數(shù) 學 推 導 較 為 艱 深 作 為 提 高 教 材 一 、 什 么 是 信 息二 、 通 信 系 統(tǒng) 模 型三 、 信 息 論 的 研 究 內(nèi) 容四 、 信 息 論 的 形 成 和 發(fā) 展 一 、 什 么 是 信 息二 、 通 信 系 統(tǒng) 模 型

6、三 、 信 息 論 的 研 究 內(nèi) 容四 、 信 息 論 的 形 成 和 發(fā) 展 1. 概 述2. 信 息 的 通 俗 概 念3. 信 息 的 狹 義 概 念 （ 香 農(nóng) 信 息 ）4. 信 息 的 廣 義 概 念 l 組 成 客 觀 世 界 的 三 大 基 本 要 素 ：物 質(zhì)能 量信 息l 沒 有 物 質(zhì) 什 么 都 不 存 在 ， 沒 有 能 量 什 么 都 不 會 發(fā) 生 ， 沒有 信 息 什 么 都 沒 有 意 義 。 美 國 學 者 歐 廷 格研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 信 息 的 通 俗 概 念 ： 消 息 就 是 信 息 。l

7、用 文 字 、 符 號 、 數(shù) 據(jù) 、 語 言 、 音 符 、 圖 片 、 圖 像 等 能 夠被 人 們 感 覺 器 官 所 感 知 的 形 式 ， 把 客 觀 物 質(zhì) 運 動 和 主 觀思 維 活 動 的 狀 態(tài) 表 達 出 來 ， 就 稱 為 消 息 。 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型l 消 息 中 包 含 信 息 ， 消 息 是 信 息 的 載 體 。 l 信 號 是 表 示 消 息 的 物 理 量 ， 包 括 電 信 號 、 光 信 號 等 。l 信 號 中 攜 帶 著 消 息 ， 信 號 是 消 息 的 載 體 。信 息信 號消 息 研

8、究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型香 農(nóng) 信 息 ： 信 息 是 對 事 物 運 動 狀 態(tài) 或 存 在 方 式 的 不 確 定 性 的 描 述 。 l 通 信 的 基 本 問 題 是 在 一 點 (信 宿 ） 精 確 或 近 似 恢 復(fù) 另 一 點（ 信 源 ） 所 選 擇 的 消 息 。 香 農(nóng)l 通 信 的 過 程 就 是 消 除 不 確 定 性 的 過 程 。 l 例 1： 甲 袋 紅 、 白 球 各 50個 ， 乙 袋 紅 、 白 、 藍 、 黑 球 各25個 。 比

9、較 從 甲 袋 中 取 出 一 個 球 是 紅 球 的 事 件 和 從 乙 袋中 取 出 一 個 球 是 紅 球 的 事 件 發(fā) 生 的 難 易 程 度 ， 也 就 是 事件 發(fā) 生 的 不 確 定 性 。 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 l 例 2： 北 京 地 區(qū) 十 月 份 可 能 出 現(xiàn) 的 天 氣 包 括 ： 晴 、 陰 、雨 、 雪 。 比 較 天 氣 預(yù) 報 為 “ 晴 ” 和 天 氣 預(yù) 報 為 “ 雪 ” ，給 人 們 帶 來 的 信 息 量 。 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型結(jié) 論

10、： 不 確 定 性 的 大 小 與 事件 發(fā) 生 的 概 率 有 關(guān) 。 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型不 確 定 性 的 大 小 與 事 件 發(fā) 生 的 概 率 有 關(guān)因 此 ， 信 息 量 可 以 表 示 為 概 率 的 函 數(shù) 。不 確 定 性 是 概 率 的 函 數(shù) l 信 息 與 概 率 的 關(guān) 系 ： 事 件 發(fā) 生 的 概 率 越 大 ， 該 事 件 包 含 的 信 息 量 越 小 ； 如 果 一 個 事 件 發(fā) 生 的 概 率 為 1， 那 么 它 包 含 的 信 息 量 為 0； 兩 個 相 互 獨 立 事 件 所 提 供 的 信

11、 息 量 應(yīng) 等 于 它 們 各 自 提 供 的信 息 量 之 和 。 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 l 某 個 消 息 的 不 確 定 性 （ 含 有 的 信 息 量 ） 可 以 表 示 為 ：1( ) log log ( )( )i iiI x p xp x 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 qi ii xpxpXH 1 )(log)()(信 源 的 平 均 不 確 定 性 ： 1 1 11 1( ) ( ) log5 5x p x I x 2 2 24 4( ) ( ) log5 5x p x I

12、 x 1 1 4 4( ) log log5 5 5 5H X l 香 農(nóng) 信 息 的 優(yōu) 點 ：有 明 確 的 數(shù) 學 表 達 式 ， 定 量 化與 人 們 直 觀 理 解 的 信 息 含 義 一 致不 考 慮 收 信 者 主 觀 感 受 的 不 同 ， 認 為 同 一 消 息 對任 何 收 信 者 ， 所 得 信 息 量 相 同 。 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 l 香 農(nóng) 信 息 的 局 限 ：沒 有 考 慮 收 信 者 的 主 觀 特 性 和 主 觀 意 義研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 研

13、究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型信 息 是 認 識 主 體 （ 人 、 生 物 、 機 器 ） 所 感 受 的 和 表 達 的 事物 運 動 的 狀 態(tài) 和 運 動 狀 態(tài) 變 化 的 方 式 。語 法 信 息語 義 信 息 語 用 信 息 一 、 什 么 是 信 息二 、 通 信 系 統(tǒng) 模 型三 、 信 息 論 的 研 究 內(nèi) 容四 、 信 息 論 的 形 成 和 發(fā) 展 1. 通 信 系 統(tǒng) 模 型2. 提 高 通 信 系 統(tǒng) 的 性 能 指 標 的 措 施 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 圖 1 通

14、信 系 統(tǒng) 模 型 l 信 源l 編 碼 器l 信 道l 譯 碼 器l 信 宿 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 研 究 內(nèi) 容 ：l 信 源 發(fā) 出 的 消 息 的 統(tǒng) 計 特 性離 散 信 源 、 連 續(xù) 信 源 、 波 形 信 源有 記 憶 信 源 和 無 記 憶 信 源平 穩(wěn) 信 源 和 非 平 穩(wěn) 信 源l 信 源 產(chǎn) 生 信 息 的 速 率 熵 率 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 l 編 碼 器 的 功 能 ： 將 消 息 變 成 適 合 信 道 傳 輸 的 信 號 l 編 碼 器 包 括 ：

15、信 源 編 碼 器信 道 編 碼 器調(diào) 制 器 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 圖 2 編 碼 器 的 組 成 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 l 信 源 編 碼 器 ：去 除 信 源 消 息 中 的 冗 余 度 ， 提 高 傳 輸 的 有 效 性 。研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 l 信 道 編 碼 器 ：將 信 源 編 碼 后 的 符 號 加 上 冗 余 符 號 ， 提 高 傳 輸 的 可 靠 性 。研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息

16、通 信 系 統(tǒng) 模 型圖 3 信 道 編 碼 示 例 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型l 思 考 題 ： 信 源 編 碼 去 除 冗 余 度 ， 信 道 編 碼 卻 加 上 冗 余 度 ， 為什 么 要 這 么 做 ？ l 調(diào) 制 器 ：功 能 ： 將 信 道 編 碼 后 的 符 號 變 成 適 合 信 道 傳 輸 的 信 號目 的 ： 提 高 傳 輸 效 率 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 l 狹 義 信 道l 廣 義 信 道 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型

17、 研 究 內(nèi) 容 ：l 信 道 的 統(tǒng) 計 特 性無 噪 聲 信 道 、 有 噪 聲 信 道離 散 信 道 、 連 續(xù) 信 道 、 波 形 信 道有 記 憶 信 道 和 無 記 憶 信 道恒 參 信 道 （ 平 穩(wěn) 信 道 ） 和 隨 參 信 道 （ 非 平 穩(wěn) 信 道 ）單 用 戶 信 道 和 多 用 戶 信 道l 信 道 傳 輸 信 息 的 最 高 速 率 信 道 容 量 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 l 譯 碼 器 的 功 能 ： 從 接 收 到 的 信 號 中 恢 復(fù) 消 息 。l 包 括 ：解 調(diào) 器信 道 譯 碼 器信 源 譯 碼 器

18、 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 圖 4 譯 碼 器 的 組 成 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 l 信 宿 是 消 息 傳 送 的 對 象 （ 人 或 機 器 ） 。l 香 農(nóng) 信 息 論 不 研 究 信 宿 。 研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 l 提 高 有 效 性 ： （ 數(shù) 據(jù) 壓 縮 ）信 源 編 碼 ： 無 失 真 信 源 編 碼 和 限 失 真 信 源 編 碼l 提 高 可 靠 性 ： （ 可 靠 傳 輸 ）信 道 編 碼2.提 高 通 信 系

19、 統(tǒng) 性 能 指 標 的 措 施研 究 內(nèi) 容 形 成 和 發(fā) 展什 么 是 信 息 通 信 系 統(tǒng) 模 型 一 、 什 么 是 信 息二 、 通 信 系 統(tǒng) 模 型三 、 信 息 論 的 研 究 內(nèi) 容四 、 信 息 論 的 形 成 和 發(fā) 展 1. 信 息 論 研 究 的 主 要 問 題2. 什 么 是 信 息 論3. 信 息 論 的 應(yīng) 用 通 信 系 統(tǒng) 模 型 形 成 和 發(fā) 展什 么 是 信 息 研 究 內(nèi) 容 狹 義 信 息 論 ： 又 稱 香 農(nóng) 信 息 論 。 一 般 信 息 論 ： 也 叫 工 程 信 息 論 。 廣 義 信 息 論 廣 義信 息 論一 般信 息 論狹 義

20、信 息 論 1） 什 么 是 信 息 ？ 如 何 度 量 信 息 ？通 信 系 統(tǒng) 模 型 形 成 和 發(fā) 展什 么 是 信 息 研 究 內(nèi) 容2） 怎 樣 確 定 信 源 輸 出 信 息 的 速 率 ？3） 對 于 一 個 信 道 ， 它 傳 輸 信 息 的 最 高 速 率 （ 信 道 容 量 ） 是多 少 ？ 4） 無 失 真 信 源 編 碼 ， 所 需 要 的 最 少 碼 符 號 數(shù) 是 多 少 ？ 香 農(nóng) 第 一 定 理 ： 如 果 編 碼 后 的 信 源 序 列 的編 碼 信 息 率 不 小 于 信 源 的 熵 ， 那 么 一 定 存在 一 種 無 失 真 信 源 編 碼 方 法 ；

21、 否 則 ， 不 存在 這 樣 的 一 種 無 失 真 信 源 編 碼 方 法 。通 信 系 統(tǒng) 模 型 形 成 和 發(fā) 展什 么 是 信 息 研 究 內(nèi) 容 5） 在 有 噪 聲 信 道 中 ， 有 沒 有 可 能 實 現(xiàn) 幾 乎 無 差 錯 的 傳 輸 信息 ？ 香 農(nóng) 第 二 定 理 ： 如 果 信 道 的 信 息 傳 輸 率 小 于 信道 容 量 ， 那 么 總 可 以 找 到 一 種 編 碼 方 式 ， 使 得當 編 碼 序 列 足 夠 長 時 傳 輸 差 錯 任 意 小 ； 否 則 ，不 存 在 使 差 錯 任 意 小 的 信 道 編 碼 方 式 。 通 信 系 統(tǒng) 模 型 形 成

22、 和 發(fā) 展什 么 是 信 息 研 究 內(nèi) 容 6） 如 果 信 源 編 碼 時 ， 允 許 一 定 的 失 真 ， 那 么 信 源 編 碼 所 需要 的 最 少 碼 符 號 數(shù) 又 是 多 少 ？ 香 農(nóng) 第 三 定 理 ： 對 于 任 意 的 失 真 度 ， 只 要碼 字 足 夠 長 ， 那 么 總 可 以 找 到 一 種 編 碼 方 法 ， 使編 碼 后 的 編 碼 信 息 率 ， 而 碼 的 平 均 失 真度 。0D 0D( )R D d D 通 信 系 統(tǒng) 模 型 形 成 和 發(fā) 展什 么 是 信 息 研 究 內(nèi) 容 信 息 論 是 通 信 的 數(shù) 學 基 礎(chǔ) ， 它 以 概 率 論

23、 為 主 要 數(shù) 學 工 具 ，詳 細 研 究 了 通 信 中 的 各 個 關(guān) 鍵 環(huán) 節(jié) ， 以 定 理 的 形 式 給 出 了 信源 編 碼 、 信 道 編 碼 的 理 論 極 限 ， 為 各 種 具 體 的 通 信 技 術(shù) 提 供了 理 論 上 的 指 導 。信 息 論 創(chuàng) 立 的 標 志 :香 農(nóng) 于 1948年 發(fā) 表 的 論 文 ： A Mathematical Theory of Communication（ 通 信 的 數(shù) 學 理 論 ） 通 信 系 統(tǒng) 模 型 形 成 和 發(fā) 展什 么 是 信 息 研 究 內(nèi) 容 l 以 概 率 論 、 隨 機 過 程 為 基 本 研 究 工

24、 具 。通 信 系 統(tǒng) 模 型 形 成 和 發(fā) 展什 么 是 信 息 研 究 內(nèi) 容l 研 究 的 是 通 信 系 統(tǒng) 的 整 個 過 程 ， 而 不 是 單 個 環(huán) 節(jié) ， 并以 編 、 譯 碼 器 為 重 點 。l 關(guān) 心 的 是 最 優(yōu) 系 統(tǒng) 的 性 能 和 怎 樣 達 到 這 個 性 能 （ 并 不具 體 設(shè) 計 系 統(tǒng) ） 。l 要 求 信 源 為 隨 機 過 程 ， 不 研 究 信 宿 。 信 息 論 幫 助 通 信 工 程 師 從 全 局 的 觀 點 觀 察 和 設(shè) 計 通 信 系 統(tǒng) 。信 息 論 是 從 事 信 息 通 信 系 統(tǒng) 研 究 和 開 發(fā) 的 必 備 的 知 識

25、 。香 農(nóng) 信 息 論 的 目 標 是 研 究 通 信 系 統(tǒng) 的 信 息 傳 遞 ， 而 不 是 幫助 人 們 理 解 信 息 含 義 。 香 農(nóng) 信 息 論 有 它 的 局 限 性 。通 信 系 統(tǒng) 模 型 形 成 和 發(fā) 展什 么 是 信 息 研 究 內(nèi) 容 通 信 的 基 本 問 題 是 在 一 點 精 確 地 或 近 似 地 恢 復(fù) 另 一 點 （ 信 源 ）所 選 擇 的 消 息 。 通 常 ， 這 些 消 息 是 有 含 義 的 ， 但 是 這 些 語 義 方面 的 問 題 與 通 信 問 題 無 關(guān) ， 而 重 要 的 方 面 是 實 際 消 息 是 從 一 個可 能 的 消

26、息 集 合 中 選 擇 出 的 一 條 消 息 。 香 農(nóng)通 信 系 統(tǒng) 模 型 形 成 和 發(fā) 展什 么 是 信 息 研 究 內(nèi) 容 信 息 論 的 應(yīng) 用 舉 例 語 音 信 號 壓 縮 （ G.711,GSM,Vocoder） 計 算 機 文 件 壓 縮 模 擬 話 路 中 數(shù) 據(jù) 傳 輸 速 率 的 提 高 其 他 （ 音 頻 信 號 壓 縮 MP3、 圖 象 信 號 的 壓 縮 JPEG,MPEG等 ） 通 信 系 統(tǒng) 模 型 形 成 和 發(fā) 展什 么 是 信 息 研 究 內(nèi) 容 一 、 什 么 是 信 息二 、 通 信 系 統(tǒng) 模 型三 、 信 息 論 的 研 究 內(nèi) 容四 、 信

27、 息 論 的 形 成 和 發(fā) 展 1. 技 術(shù) 背 景2. 理 論 背 景3. 香 農(nóng) 的 主 要 工 作 l 當 時 通 信 理 論 與 技 術(shù) 已 有 較 大 的 發(fā) 展 ， 存 在 的 通 信 技 術(shù) 包 括 ： 電 報 （ Morse， 1838） 、 電 話 （ Bell， 1876） 、 無 線 電 報(Marconi,1887)、 調(diào) 幅 廣 播 （ 1900s 早 期 ） 、 單 邊 帶 調(diào) 制（ Carson， 1922） 、 電 視 （ 1925-1927） 、 調(diào) 頻 廣 播（ Armstrong， 1936） 、 脈 沖 編 碼 調(diào) 制 （ Reeves， 1937-1

28、939） 、 聲 碼 器 （ Dudley， 1939） 、 擴 頻 通 信 （ 1940s）等 。 通 信 系 統(tǒng) 模 型 研 究 內(nèi) 容什 么 是 信 息 形 成 和 發(fā) 展 l 1948年 以 前 ， Nyquist、 Hartley、 Wiener做了 許 多 有 影 響 的 工 作 。 通 信 系 統(tǒng) 模 型 研 究 內(nèi) 容什 么 是 信 息 形 成 和 發(fā) 展 l 1948年 ， 發(fā) 表 通 信 的 數(shù) 學 理 論 。l 1949年 ， 發(fā) 表 噪 聲 下 的 通 信 。l 1959年 ， 發(fā) 表 在 保 真 度 準 則 下 的 離 散 信 源 編碼 定 理 。l 1961年 ， 發(fā) 表 雙 路 通 信 系 統(tǒng) 。通 信 系 統(tǒng) 模 型 研 究 內(nèi) 容什 么 是 信 息 形 成 和 發(fā) 展l 1956年 ， 發(fā) 表 噪 聲 信 道 的 零 差 錯 容 量 。 大 寫 字 母 等 表 示 隨 機 變 量 小 寫 字 母 等 表 示 隨 機 變 量 的 具 體 取 值 大 寫 黑 體 字 母 等 表 示 多 維 隨 機 變 量 ， 也 就 是隨 機 矢 量 小 寫 黑 體 字 母 等 表 示 隨 機 矢 量 的 具 體 取 值NXXYX , 1 Nxxyx , 1 X,Yyx,本 課 程 約 定 的 符 號 表 示