《機器學(xué)習(xí)》PPT課件

《《機器學(xué)習(xí)》PPT課件》由會員分享，可在線閱讀，更多相關(guān)《《機器學(xué)習(xí)》PPT課件（72頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、Artificial Intelligence Principles and Applications 第 7 章 機 器 學(xué) 習(xí)教 材 ： 王萬良人工智能及其應(yīng)用（第2版） 高等教育出版社，2008. 6 2 第 7章 機 器 學(xué) 習(xí)7.1 機 器 學(xué) 習(xí) 的 基 本 概 念7.2 機 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 3 第 7章 機 器 學(xué) 習(xí)7.1 機 器 學(xué) 習(xí) 的 基 本 概 念7.2 機 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)

2、7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 4 7.1 機 器 學(xué) 習(xí) 的 基 本 概 念7.1.1 學(xué) 習(xí)7.1.2 機 器 學(xué) 習(xí)7.1.3 機 器 學(xué) 習(xí) 系 統(tǒng)7.1.4 機 器 學(xué) 習(xí) 的 發(fā) 展7.1.5 機 器 學(xué) 習(xí) 的 分 類 5 7.1.1 學(xué) 習(xí)（ 1） 學(xué) 習(xí) 是 系 統(tǒng) 改 進(jìn) 其 性 能 的 過 程 ： 西 蒙 ， 1980。（ 2） 學(xué) 習(xí) 是 獲 取 知 識 的 過 程 。（ 3） 學(xué) 習(xí) 是 技 能 的 獲 取 。（ 4） 學(xué) 習(xí) 是 事 物 規(guī) 律 的 發(fā) 現(xiàn) 過 程 。 學(xué) 習(xí) ： 一 個 有 特

3、 定 目 的 的 知 識 獲 取 過 程 。 學(xué) 習(xí) 的 內(nèi) 在 行 為 ： 獲 取 知 識 、 積 累 經(jīng) 驗 、 發(fā) 現(xiàn) 規(guī) 律 。 學(xué) 習(xí) 的 外 部 表 現(xiàn) ： 改 進(jìn) 性 能 、 適 應(yīng) 環(huán) 境 、 實 現(xiàn) 系 統(tǒng) 的 自 我 完 善 。 6 機 器 學(xué) 習(xí) ： 計 算 機 能 模 擬 人 的 學(xué) 習(xí) 行 為 ， 自 動 地通 過 學(xué) 習(xí) 獲 取 知 識 和 技 能 ， 不 斷 改 善 性 能 ， 實 現(xiàn) 自我 完 善 。 7.1.2 機 器 學(xué) 習(xí)（ 1） 學(xué) 習(xí) 機 理 人 類 獲 取 知 識 、 技 能 和 抽 象 概 念 的 天 賦 能 力 。 （ 2） 學(xué) 習(xí) 方 法（ 3

4、） 學(xué) 習(xí) 系 統(tǒng) 7 1. 機 器 學(xué) 習(xí) 系 統(tǒng) 的 定 義 學(xué) 習(xí) 系 統(tǒng) ： 能 夠 在 一 定 程 度 上 實 現(xiàn) 機 器 學(xué) 習(xí) 的 系 統(tǒng) 。 薩 利 斯 (Saris)的 定 義 （ 1973年 ） ： 能 夠 從 某 個 過 程 或 環(huán)境 的 未 知 特 征 中 學(xué) 到 有 關(guān) 信 息 ， 并 且 能 把 學(xué) 到 的 信 息 用于 未 來 的 估 計 、 分 類 、 決 策 或 控 制 ， 以 便 改 進(jìn) 系 統(tǒng) 的 性能 。 施 密 斯 等 的 定 義 （ 1977年 ） ： 在 與 環(huán) 境 相 互 作 用 時 ， 能利 用 過 去 與 環(huán) 境 作 用 時 得 到 的 信

5、息 ， 并 提 高 其 性 能 。7.1 機 器 學(xué) 習(xí) 的 基 本 概 念 7. .3 機 器 學(xué) 習(xí) 系 統(tǒng) 8 2. 機 器 學(xué) 習(xí) 系 統(tǒng) 的 條 件 和 能 力 （ 1） 具 有 適 當(dāng) 的 學(xué) 習(xí) 環(huán) 境（ 2） 具 有 一 定 的 學(xué) 習(xí) 能 力 （ 3） 能 應(yīng) 用 學(xué) 到 的 知 識 求 解 問 題 （ 4） 能 提 高 系 統(tǒng) 的 性 能 7.1.3 機 器 學(xué) 習(xí) 系 統(tǒng) 9 3. 機 器 學(xué) 習(xí) 系 統(tǒng) 的 基 本 模 型7.1.3 機 器 學(xué) 習(xí) 系 統(tǒng) 執(zhí) 行 與 評 價環(huán) 境 學(xué) 習(xí) 知 識 庫學(xué) 習(xí) 系 統(tǒng) 的 基 本 結(jié) 構(gòu) 10 7.1.4 機 器 學(xué) 習(xí)

6、的 發(fā) 展1. 神 經(jīng) 元 模 型 的 研 究 （ 20世 紀(jì) 50年 代 中 期 ） 主 要 研 究 工 作 ： 應(yīng) 用 決 策 理 論 的 方 法 研 制 可 適 應(yīng) 環(huán) 境 的通 用 學(xué) 習(xí) 系 統(tǒng) （ general purpose learning system） 。 1957年 ， 羅 森 勃 拉 特 （ F. Rosenblatt） 提 出 感 知 器 模 型 。 1969年 ， 明 斯 基 和 佩 珀 特 （ Papert） 發(fā) 表 了 論 著 Perceptron ， 對 神 經(jīng) 元 模 型 的 研 究 作 出 了 悲 觀 的 論 斷 。 11 7.1.4 機 器 學(xué) 習(xí) 的

7、 發(fā) 展2. 符 號 學(xué) 習(xí) 的 研 究 （ 20世 紀(jì) 70年 代 中 期 ）莫 斯 托 夫 （ D. J. Mostow） 的 指 導(dǎo) 式 學(xué) 習(xí) 。溫 斯 頓 （ Winston） 和 卡 鮑 尼 爾 （ J. G. Carbonell） 的類 比 學(xué) 習(xí) 。米 切 爾 （ T. M. Mitchell） 等 人 的 解 釋 學(xué) 習(xí) 。 12 7.1.4 機 器 學(xué) 習(xí) 的 發(fā) 展3. 連 接 學(xué) 習(xí) 的 研 究 （ 20世 紀(jì) 80年 代 ） 1980年 在 卡 內(nèi) 基 梅 隆 大 學(xué) 召 開 了 第 一 屆 機 器 學(xué) 習(xí) 國際 研 討 會 。 1986年 創(chuàng) 刊 了 第 一 本 機

8、 器 學(xué) 習(xí) 雜 志 Machine Learning 。 13 7.1.5 機 器 學(xué) 習(xí) 的 分 類 1. 按 學(xué) 習(xí) 方 法 分 類 （ 溫 斯 頓 ， 1977 ） ： 機 械 式 學(xué) 習(xí) 、 指 導(dǎo) 式 學(xué) 習(xí) 、 示 例 學(xué) 習(xí) 、 類 比 學(xué) 習(xí) 、 解 釋 學(xué) 習(xí) 等 。2. 按 學(xué) 習(xí) 能 力 分 類 ： 監(jiān) 督 學(xué) 習(xí) （ 有 教 師 學(xué) 習(xí) ） 14 7.1.5 機 器 學(xué) 習(xí) 的 分 類 2. 按 學(xué) 習(xí) 能 力 分 類 ： 再 勵 學(xué) 習(xí) （ 強 化 學(xué) 習(xí) 或 增 強 學(xué) 習(xí) ） 15 7.1.5 機 器 學(xué) 習(xí) 的 分 類 2. 按 學(xué) 習(xí) 能 力 分 類 ： 非

9、 監(jiān) 督 學(xué) 習(xí) （ 無 教 師 學(xué) 習(xí) ）3. 按 推 理 方 式 分 類 ：基 于 演 繹 的 學(xué) 習(xí) （ 解 釋 學(xué) 習(xí) ） ?；?于 歸 納 的 學(xué) 習(xí) （ 示 例 學(xué) 習(xí) 、 發(fā) 現(xiàn) 學(xué) 習(xí) 等 ） 。4. 按 綜 合 屬 性 分 類 ：歸 納 學(xué) 習(xí) 、 分 析 學(xué) 習(xí) 、 連 接 學(xué) 習(xí) 等 。 16 第 7章 機 器 學(xué) 習(xí)7.1 機 器 學(xué) 習(xí) 的 基 本 概 念7.2 機 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 17 7.2 機 械 式 學(xué) 習(xí) 機

10、械 式 學(xué) 習(xí) （ rote learning） 又 稱 記 憶 學(xué) 習(xí) ， 或 死記 式 學(xué) 習(xí) ： 通 過 直 接 記 憶 或 者 存 儲 外 部 環(huán) 境 所 提 供的 信 息 達(dá) 到 學(xué) 習(xí) 的 目 的 ， 并 在 以 后 通 過 對 知 識 庫 的檢 索 得 到 相 應(yīng) 的 知 識 直 接 用 來 求 解 問 題 。 機 械 式 學(xué) 習(xí) 實 質(zhì) 是 用 存 儲 空 間 來 換 取 處 理 時 間 。 18 塞 繆 爾 的 跳 棋 程 序 CHECKERS7.2 機 械 式 學(xué) 習(xí) 以 A為 結(jié) 點 的 博 弈 樹QA6 A博 弈 搜 索 樹2 B 6 C2 4 8 6 91 2 3 4

11、 3 8 6 5 6 4 9 6 19 第 7章 機 器 學(xué) 習(xí)7.1 機 器 學(xué) 習(xí) 的 基 本 概 念7.2 機 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 20 7.3 指 導(dǎo) 式 學(xué) 習(xí) 指 導(dǎo) 式 學(xué) 習(xí) （ learning by being told） 又 稱 囑 咐 式 學(xué)習(xí) 或 教 授 式 學(xué) 習(xí) ： 由 外 部 環(huán) 境 向 系 統(tǒng) 提 供 一 般 性 的指 示 或 建 議 ， 系 統(tǒng) 把 它 們 具 體 地 轉(zhuǎn) 化 為 細(xì) 節(jié) 知 識 并送 入 知 識

12、庫 中 。 在 學(xué) 習(xí) 過 程 中 要 反 復(fù) 對 形 成 的 知 識進(jìn) 行 評 價 ， 使 其 不 斷 完 善 。 指 導(dǎo) 式 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 ： 征 詢 指 導(dǎo) 者 的 指 示 或 建議 、 把 征 詢 意 見 轉(zhuǎn) 換 為 可 執(zhí) 行 的 內(nèi) 部 形 式 、 加 入 知識 庫 、 評 價 。 21 7.3 指 導(dǎo) 式 學(xué) 習(xí) 簡 單 征 詢 ： 指 導(dǎo) 者 給 出 一 般 性 的 意 見 ， 系 統(tǒng) 將 其 具 體 化 。 復(fù) 雜 征 詢 ： 系 統(tǒng) 不 僅 要 求 指 導(dǎo) 者 給 出 一 般 性 的 建 議 ， 而且 還 要 具 體 地 鑒 別 知 識 庫 中 可 能 存 在

13、 的 問 題 ， 并 給 出 修 改意 見 。 被 動 征 詢 ： 系 統(tǒng) 只 是 被 動 地 等 待 指 導(dǎo) 者 提 供 意 見 。 主 動 征 詢 ： 系 統(tǒng) 不 只 是 被 動 地 接 受 指 示 ， 而 且 還 能 主 動地 提 出 詢 問 ， 把 指 導(dǎo) 者 的 注 意 力 集 中 在 特 定 的 問 題 上 。 1. 征 詢 指 導(dǎo) 者 的 指 示 或 建 議 22 7.3 指 導(dǎo) 式 學(xué) 習(xí) 學(xué) 習(xí) 系 統(tǒng) 應(yīng) 具 有 把 用 約 定 形 式 表 示 的 征 詢 意 見 轉(zhuǎn) 化 為 計 算 機內(nèi) 部 可 執(zhí) 行 形 式 的 能 力 ， 并 且 能 在 轉(zhuǎn) 化 過 程 中 進(jìn) 行

14、語 法 檢 查 及適 當(dāng) 的 語 義 分 析 。 2. 把 征 詢 意 見 轉(zhuǎn) 換 為 可 執(zhí) 行 的 內(nèi) 部 形 式 在 加 入 過 程 中 要 對 知 識 進(jìn) 行 一 致 性 檢 查 ， 以 防 止 出 現(xiàn) 矛 盾 、冗 余 、 環(huán) 路 等 問 題 。 3. 加 入 知 識 庫 評 價 方 法 ： 對 新 知 識 進(jìn) 行 經(jīng) 驗 測 試 ， 即 執(zhí) 行 一 些 標(biāo) 準(zhǔn) 例 子 ， 然 后 檢 查 執(zhí) 行 情 況 是 否 與 已 知 情 況 一 致 。 4. 評 價 23 第 7章 機 器 學(xué) 習(xí)7.1 機 器 學(xué) 習(xí) 的 基 本 概 念7.2 機 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7

15、.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 24 7.4 歸 納 學(xué) 習(xí)7.4.1 歸 納 推 理7.4.2 示 例 學(xué) 習(xí)7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) 25 7.4.1 歸 納 推 理歸 納 推 理 ： 應(yīng) 用 歸 納 方 法 所 進(jìn) 行 的 推 理 ， 即 從 足 夠多 的 事 例 中 歸 納 出 一 般 性 的 知 識 。它 是 一 種 從 個 別 到 一 般 、 從 部 分 到 整 體 的 推 理 。歸 納 推 理 的 重 要 特 征 ： 歸 納 出 的 結(jié) 論 不 能 絕 對 保 證它 的 正

16、確 性 ， 只 能 以 某 種 程 度 相 信 它 為 真 。 例 如 ， 由 “ 麻 雀 會 飛 ” 、 “ 鴿 子 會 飛 ” 、 “ 燕 子 會飛 ” 歸 納 出 “ 有 翅 膀 的 動 物 會 飛 ” 、 “ 長 羽 毛 的 動 物 會 飛 ” 等 結(jié)論 。 26 從 個 別 事 例 歸 納 出 一 般 性 知 識 的 方 法 ： 設(shè) ： 某 類 事 物 A中 的 具 體 事 物 。 已 知 都 有 屬 性 P， 并 且 沒 有 發(fā) 現(xiàn) 反 例 。 當(dāng) n 足 夠 大 時 ， 可 得 出 ： “ A中 所 有 事 物 都 有 屬 性 P” 。 7.4.1 歸 納 推 理n21 aaa

17、， 1. 枚 舉 歸 納 n21 aaa ， 27 例 如 ， 設(shè) 有 如 下 已 知 事 例 ： 張 三 是 足 球 運 動 員 ， 他 的 體 格 健 壯 。 李 四 是 足 球 運 動 員 ， 他 的 體 格 健 壯 。 劉 六 是 足 球 運 動 員 ， 他 的 體 格 健 壯 。 事 例 足 夠 多 時 ， 可 歸 納 出 一 般 性 知 識 ： 凡 是 足 球 運 動 員 ， 他 的 體 格 一 定 健 壯 。7.4.1 歸 納 推 理1. 枚 舉 歸 納 (0.9) 28 已 知 兩 個 事 物 a與 b有 n個 屬 性 相 似 或 相 同 ， 即 ：a具 有 屬 性 P1， b

18、也 具 有 屬 性 P1。 a具 有 屬 性 P1， b也 具 有 屬 性 P2。 a具 有 屬 性 P1， b也 具 有 屬 性 Pn。 且 a具 有 屬 性 Pn+1 ， 則 當(dāng) n足 夠 大 時 ， 可 歸 納 出 b也 具 有 屬 性 P n+1。 7.4.1 歸 納 推 理2. 聯(lián) 想 歸 納 29 設(shè) ： 且 則 當(dāng) A與 B中 有 新 元 素 出 現(xiàn) 時 （ 設(shè) A 中 的 及 B中 的 ） ， 若已 知 有 屬 性 ， 就 可 得 出 有 屬 性 ， 即 7.4.1 歸 納 推 理 3. 類 比 歸 納 , 21 aaA , 21 bbB 1,2,.i iP a Q b i i

19、a bQaP ibia ib 30 一 般 模 式 ：（ 1） 若 H 為 真 時 ， 則 H E必 為 真 或 以 置 信 度 cf1成 立 。（ 2） 觀 察 到 E 成 立 或 以 置 信 度 cf2成 立 。（ 3） 則 H 以 某 種 置 信 度 ( cf ) 成 立 。7.4.1 歸 納 推 理4. 逆 推 理 歸 納 用 公 式 表 示 ： EH 1cfE 2cfH cf 31 cf 的 計 算 方 法 ：7.4.1 歸 納 推 理4. 逆 推 理 歸 納 （ 續(xù) ） EP HPcfEP HPHEPEHPfc 11 21 cffccf 32 7.4.1 歸 納 推 理5. 消 除

20、 歸 納 消 除 歸 納 ： 通 過 不 斷 否 定 原 先 的 假 設(shè) 來 得 出 結(jié) 論 。 已 知 ： 結(jié) 論 ： 1 21 1 1 i ni in i A A A AAAAA A 33 7.4.1 歸 納 推 理演 繹 推 理 歸 納 推 理 從 一 般 到 個 別 從 個 別 到 一 般 必 然 性 推 理 或 然 性 推 理 結(jié) 論 不 會 超 出 前 提 所 斷 定 的 范 圍 不 能 獲 取 新 知 識 結(jié) 論 適 用 于 更 大 的 范 圍 可 獲 取 新 知 識 34 7.4.2 示 例 學(xué) 習(xí) 示 例 學(xué) 習(xí) （ learning from examples） 又 稱 為

21、 實 例 學(xué) 習(xí)或 從 例 子 中 學(xué) 習(xí) ： 通 過 從 環(huán) 境 中 取 得 若 干 與 某 概 念 有關(guān) 的 例 子 ， 經(jīng) 歸 納 得 出 一 般 性 概 念 的 一 種 學(xué) 習(xí) 方 法 。 示 例 學(xué) 習(xí) 中 ， 外 部 環(huán) 境 （ 教 師 ） 提 供 一 組 例 子 （ 正例 和 反 例 ） ， 然 后 從 這 些 特 殊 知 識 中 歸 納 出 適 用 于 更大 范 圍 的 一 般 性 知 識 ， 它 將 覆 蓋 所 有 的 正 例 并 排 除 所有 反 例 。 35 7.4.2 示 例 學(xué) 習(xí)1. 示 例 學(xué) 習(xí) 的 學(xué) 習(xí) 模 型 示 例 空 間 驗 證搜 索 解 釋 形 成

22、知 識 知 識 庫 示 例 學(xué) 習(xí) 的 學(xué) 習(xí) 模 型 36 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識 的 方 法（ 1） 變 量 代 換 常 量 例 如 ， 假 設(shè) 有 兩 個 關(guān) 于 撲 克 牌 “ 同 花 ” 概 念 的 示 例 。示 例 1：示 例 2： 1 2 3 41 2 3 41 2 3 41 2 3 4, , , , ,c c c cc c c cc c c cc c c c 花 色 （ ， 梅 花 ） 花 色 （ ， 梅 花 ） 花 色 （ ， 梅 花 ） 花 色 （ ， 梅 花 ）同 花 （ ）花 色 （ ， 紅 桃 ） 花 色 （ ， 紅 桃 ） 花 色 （ ，

23、紅 桃 ） 花 色 （ ， 紅 桃 ）同 花 （ ）1 2 3 41 2 3 4, , ,c x c x c x c xc c c c 花 色 （ ， ） 花 色 （ ， ） 花 色 （ ， ） 花 色 （ ， ）同 花 （ ） 可 得 到 一 條 一 般 性 的 知 識 ：規(guī) 則 1： 37 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識 的 方 法（ 2） 舍 棄 條 件 例 如 示 例 ： 1 12 23 34 41 2 3 4, , ,c cc cc cc cc c c c 花 色 （ ， 紅 桃 ） 點 數(shù) （ ， 2）花 色 （ ， 紅 桃 ） 點 數(shù) （ ， 4）花 色 （ ，

24、 紅 桃 ） 點 數(shù) （ ， 6）花 色 （ ， 紅 桃 ） 點 數(shù) （ ， 8）同 花 （ ）1 2 3 41 2 3 4, , ,c x c x c x c xc c c c 花 色 （ ， ） 花 色 （ ， ） 花 色 （ ， ） 花 色 （ ， ）同 花 （ ） 可 得 到 一 條 一 般 性 的 知 識 ：規(guī) 則 1： 38 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識 的 方 法（ 3） 增 加 操 作 前 件 析 取 法 例 如 關(guān) 于 “ 臉 牌 ” 示 例 ： 1 11 11 1c J cc Q cc K c示 例 1： 點 數(shù) （ ， ） 臉 （ ）示 例 2： 點

25、數(shù) （ ， ） 臉 （ ）示 例 3： 點 數(shù) （ ， ） 臉 （ ） 1 2 3 1c J c Q c K c 規(guī) 則 2： 點 數(shù) （ ， ） 點 數(shù) （ ， ） 點 數(shù) （ ， ） 臉 （ ）得 到 知 識 ： 39 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識 的 方 法（ 3） 增 加 操 作 內(nèi) 部 析 取 法 例 如 示 例 ： 1 11 11 1 c J cc Q cc K c 示 例 1： 點 數(shù) （ ） 臉 （ ）示 例 2： 點 數(shù) （ ） 臉 （ ）示 例 3： 點 數(shù) （ ） 臉 （ ） 1 1 c J Q K c 點 數(shù) （ ） ， ， 臉 （ ）得 到 知 識

26、 ： 40 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識 的 方 法（ 4） 合 取 變 析 取 例 如 ： “ 男 同 學(xué) 與 女 同 學(xué) 可 以 組 成 一 個 班 ” 。 歸 納 ： “ 男 同 學(xué) 或 女 同 學(xué) 可 以 組 成 一 個 班 ” 。 （ 5） 歸 結(jié) 歸 納 例 如 ： 得 到 ： 1 1P E HP E H 1 2E E H 41 7.4.2 示 例 學(xué) 習(xí) 2. 形 成 知 識 的 方 法（ 6） 曲 線 擬 合 設(shè) 在 示 例 空 間 提 供 了 一 批 如 下 形 式 的 示 例 ： (x, y, z)示 例 1： (1, 0, 10)示 例 2： (2,

27、1, 18)示 例 3： (-1, -2, -6)應(yīng) 用 曲 線 擬 合 法 得 到 ： z=2x+6 y+8 42 7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí)觀 察 學(xué) 習(xí) ： 用 于 對 事 例 進(jìn) 行 概 念 聚 類 ， 形 成 概 念描 述 。發(fā) 現(xiàn) 學(xué) 習(xí) ： 用 于 發(fā) 現(xiàn) 規(guī) 律 ， 產(chǎn) 生 定 律 或 規(guī) 則 。 43 7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí)1. 概 念 聚 類 概 念 聚 類 ： 1980年 ,米 卡 爾 斯 基 （ R. S. Michalski） 。 概 念 聚 類 的 基 本 思 想 : 把 事 例 按 一 定 的 方 式 和 準(zhǔn) 則進(jìn) 行 分 組 ， 如

28、劃 分 為 不 同 的 類 ， 不 同 的 層 次 等 ， 使 不同 的 組 代 表 不 同 的 概 念 ， 并 且 對 每 一 個 組 進(jìn) 行 特 征 概括 ， 得 到 一 個 概 念 的 語 義 符 號 描 述 。 44 7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) 1. 概 念 聚 類 例 如 對 如 下 事 例 ： 喜 鵲 、 麻 雀 、 布 谷 鳥 、 烏 鴉 、 雞 、 鴨 、 鵝 ， 分 為 兩 類 ： 鳥 =喜 鵲 ， 麻 雀 ， 布 谷 鳥 ， 烏 鴉 ， 家 禽 =雞 、 鴨 、 鵝 ， 得 知 ： “ 鳥 有 羽 毛 、 有 翅 膀 、 會 飛 、 會 叫 、 野 生 ” 。

29、“ 家 禽 有 羽 毛 、 有 翅 膀 、 會 飛 、 會 叫 、 家 養(yǎng) ” 。 45 7.4.3 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) 2. 發(fā) 現(xiàn) 學(xué) 習(xí) 發(fā) 現(xiàn) 學(xué) 習(xí) : 從 系 統(tǒng) 的 初 始 知 識 、 觀 察 事 例 或 經(jīng) 驗 數(shù)據(jù) 中 歸 納 出 規(guī) 律 或 規(guī) 則 。 無 教 師 指 導(dǎo) 的 歸 納 學(xué)習(xí) 經(jīng) 驗 發(fā) 現(xiàn) : 從 經(jīng) 驗 數(shù) 據(jù) 中 發(fā) 現(xiàn) 規(guī) 律 和 定 律 。 知 識 發(fā) 現(xiàn) : 指 從 已 觀 察 的 事 例 中 發(fā) 現(xiàn) 新 的 知 識 。 46 第 7章 機 器 學(xué) 習(xí)7.1 機 器 學(xué) 習(xí) 的 基 本 概 念7.2 機 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué)

30、 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 47 7.5 類 比 學(xué) 習(xí)7.5.1 類 比 推 理7.5.2 屬 性 類 比 學(xué) 習(xí)7.5.3 轉(zhuǎn) 換 類 比 學(xué) 習(xí) 48 7.5.1 類 比 推 理 類 比 推 理 ： 由 新 情 況 與 記 憶 中 的 已 知 情 況 在 某 些 方面 相 似 ， 從 而 推 出 它 們 在 其 他 相 關(guān) 方 面 也 相 似 。 源 域 S： 已 經(jīng) 認(rèn) 識 的 域 ， 包 括 過 去 曾 經(jīng) 解 決 過 且 與當(dāng) 前 問 題 類 似 的 問 題 以 及 相 關(guān) 知 識

31、 ；目 標(biāo) 域 T： 當(dāng) 前 尚 未 完 全 認(rèn) 識 的 域 ， 是 遇 到 的 新 問題 。 類 比 推 理 的 目 的 ： 從 S中 選 出 與 當(dāng) 前 問 題 最 近 似 的問 題 及 其 求 解 方 法 來 求 解 當(dāng) 前 的 問 題 ， 或 者 建 立 起目 標(biāo) 域 中 已 有 命 題 間 的 聯(lián) 系 ， 形 成 新 知 識 。 49 7.5.1 類 比 推 理推 理 過 程 ： 1. 回 憶 與 聯(lián) 想 2. 選 擇 3. 建 立 對 應(yīng) 關(guān) 系 4. 轉(zhuǎn) 換 設(shè) S1與 T1分 別 表 示 S與 T 中 的 某 一 情 況 ， 且 S1與 T1相 似 假 設(shè) S2與 S1相 關(guān)

32、則 由 類 比 推 理 可 推 出 T 中 的 T2 ， 且 T2與 S2相 似 50 7.5.2 屬 性 類 比 學(xué) 習(xí) 屬 性 類 比 學(xué) 習(xí) : 根 據(jù) 兩 個 相 似 事 物 的 屬 性 實 現(xiàn) 類 比學(xué) 習(xí) 的 。 1979年 ， 溫 斯 頓 研 究 開 發(fā) 了 一 個 屬 性 類 比 學(xué) 習(xí) 系 統(tǒng) 。 源 域 和 目 標(biāo) 域 都 是 用 框 架 表 示 的 ， 分 別 稱 為 源 框 架和 目 標(biāo) 框 架 。 框 架 的 槽 用 于 表 示 事 物 的 屬 性 。 學(xué) 習(xí) 過 程 : 把 源 框 架 中 的 某 些 槽 值 傳 遞 到 目 標(biāo) 框 架的 相 應(yīng) 槽 中 去 。 5

33、1 7.5.2 屬 性 類 比 學(xué) 習(xí)候 選 槽 ： 其 槽 值 有 可 能 要 傳 遞 給 目 標(biāo) 框 架 的 那 些 槽 。選 擇 的 方 法 ：（ 1） 選 擇 具 有 極 端 槽 值 的 槽 作 為 候 選 槽 。（ 2） 選 擇 已 經(jīng) 被 確 認(rèn) 為 “ 重 要 槽 ” 的 槽 作 為 候 選 槽 。（ 3） 選 擇 與 源 框 架 相 似 的 框 架 中 不 具 有 的 槽 作 為 候 選 槽 。（ 4） 選 擇 相 似 框 架 中 不 具 有 這 種 槽 值 的 槽 作 為 候 選 槽 。（ 5） 把 源 框 架 中 的 所 有 槽 都 作 為 候 選 槽 。 1. 從 源 框

34、 架 中 選 擇 若 干 槽 作 為 候 選 槽 52 7.5.2 屬 性 類 比 學(xué) 習(xí)篩 選 規(guī) 則 ：（ 1） 選 擇 在 目 標(biāo) 框 架 中 還 未 填 值 的 槽 。 （ 2） 選 擇 在 目 標(biāo) 框 架 中 為 典 型 事 例 的 槽 。 （ 3） 選 擇 與 目 標(biāo) 框 架 有 緊 密 關(guān) 系 的 槽 ， 或 者 與 目 標(biāo) 框 架 的 槽 類 似 的 槽 。 2. 根 據(jù) 目 標(biāo) 框 架 對 候 選 槽 進(jìn) 行 篩 選 53 7.5.3 轉(zhuǎn) 換 類 比 學(xué) 習(xí) 在 狀 態(tài) 空 間 表 示 法 的 知 識 表 示 中 ， “ 狀 態(tài) ” ： 描 述問 題 在 不 同 時 刻 的

35、狀 況 ； “ 算 符 ” ： 描 述 改 變 狀 態(tài) 的 操作 。 當(dāng) 問 題 由 初 始 狀 態(tài) 變 換 到 目 標(biāo) 狀 態(tài) 時 ， 所 用 算 符 的 序列 就 構(gòu) 成 了 問 題 的 一 個 解 。 如 何 使 問 題 由 初 始 狀 態(tài) 變 換 到 目 標(biāo) 狀 態(tài) 呢 ？ “ 手 段 目 標(biāo) 分 析 ” 法 （ means-end analysis， MEA） ，又 稱 為 “ 中 間 結(jié) 局 分 析 ” 法 ： 紐 厄 爾 等 人 在 通 用 問 題求 解 程 序 GPS（ general problem solver） 中 提 出 的 一 種 問題 求 解 模 型 。 54 7.

36、5.3 轉(zhuǎn) 換 類 比 學(xué) 習(xí) “ 手 段 目 標(biāo) 分 析 ” 法 （ MEA） 求 解 問 題 的 基 本 過 程 ：（ 1） 把 問 題 的 當(dāng) 前 狀 態(tài) 與 目 標(biāo) 狀 態(tài) 進(jìn) 行 比 較 ， 找 出 差 異 。（ 2） 根 據(jù) 差 異 找 出 一 個 可 減 小 差 異 的 算 符 。（ 3） 如 果 該 算 符 可 作 用 于 當(dāng) 前 狀 態(tài) ， 則 用 該 算 符 把 當(dāng) 前 狀 態(tài) 改變 為 另 一 個 更 接 近 于 目 標(biāo) 狀 態(tài) 的 狀 態(tài) ； 如 果 不 能 ， 則 保 留 當(dāng) 前狀 態(tài) ， 并 生 成 一 個 子 問 題 ， 再 對 此 子 問 題 應(yīng) 用 MEA。（

37、 4） 當(dāng) 子 問 題 被 求 解 后 ， 恢 復(fù) 保 留 的 狀 態(tài) ， 繼 續(xù) 處 理 原 問 題 。 55 7.5.3 轉(zhuǎn) 換 類 比 學(xué) 習(xí) 回 憶 過 程 ： 找 出 新 、 舊 問 題 間 的 差 別 ， 包 括 ：（ 1） 初 始 狀 態(tài) 的 差 別 。（ 2） 目 標(biāo) 狀 態(tài) 的 差 別 。（ 3） 路 徑 約 束 的 差 別 。（ 4） 求 解 方 法 可 應(yīng) 用 度 的 差 別 。 轉(zhuǎn) 換 過 程 ： 把 舊 問 題 的 求 解 方 法 經(jīng) 適 當(dāng) 變 換 使 之 成 為 求解 新 問 題 的 方 法 。 轉(zhuǎn) 換 類 比 學(xué) 習(xí) ： 由 外 部 環(huán) 境 獲 得 與 類 比

38、有 關(guān) 的 信 息 ， 學(xué)習(xí) 系 統(tǒng) 找 出 與 新 問 題 相 似 的 舊 問 題 的 有 關(guān) 知 識 ， 把 這 些 知識 進(jìn) 行 轉(zhuǎn) 換 使 之 適 用 于 新 問 題 ， 從 而 獲 得 新 的 知 識 。 56 第 7章 機 器 學(xué) 習(xí)7.1 機 器 學(xué) 習(xí) 的 基 本 概 念7.2 機 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 57 7.6 解 釋 學(xué) 習(xí) 解 釋 學(xué) 習(xí) （ explanation-based learning） ： 演 繹 學(xué) 習(xí)方 法 。

39、 它 是 通 過 運 用 相 關(guān) 的 領(lǐng) 域 知 識 ， 對 當(dāng) 前 提 供 的 單個 問 題 求 解 實 例 進(jìn) 行 分 析 ， 從 而 構(gòu) 造 解 釋 并 產(chǎn) 生 相 應(yīng)知 識 的 。 解 釋 學(xué) 習(xí) 系 統(tǒng) ： 米 切 爾 等 人 研 制 的 LEX和 LEAP系統(tǒng) 、 明 頓 （ S. Minton） 等 人 研 制 的 PRODIGY系 統(tǒng) 等 。 58 7.6 解 釋 學(xué) 習(xí)7.6.1 解 釋 學(xué) 習(xí) 的 概 念7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程7.6.3 領(lǐng) 域 知 識 的 完 善 性 59 7.6.1 解 釋 學(xué) 習(xí) 的 概 念 解 釋 學(xué) 習(xí) ： 通 過 運 用

40、相 關(guān) 的 領(lǐng) 域 知 識 及 一 個 訓(xùn) 練 實例 來 對 某 一 目 標(biāo) 概 念 進(jìn) 行 學(xué) 習(xí) ， 并 最 終 生 成 這 個 目 標(biāo)概 念 的 一 般 性 描 述 。 解 釋 學(xué) 習(xí) 的 一 般 性 描 述 （ 米 切 爾 ， 1986） ： 給 定 ： 領(lǐng) 域 知 識 。 目 標(biāo) 概 念 。 訓(xùn) 練 實 例 。 操 作 性 準(zhǔn) 則 。找 出 ： 滿 足 的 關(guān) 于 的 充 分 條 件 。 60 7.6.1 解 釋 學(xué) 習(xí) 的 概 念 解 釋 學(xué) 習(xí) 與 示 例 學(xué) 習(xí) 的 主 要 區(qū) 別 ：（ 1） 示 例 學(xué) 習(xí) ： 系 統(tǒng) 要 求 輸 入 一 組 實 例 。 解 釋 學(xué) 習(xí) ：

41、輸 入 一 個 實 例 。（ 2） 示 例 學(xué) 習(xí) ： 歸 納 學(xué) 習(xí) ， 不 要 求 提 供 領(lǐng) 域 知 識 。 解 釋 學(xué) 習(xí) ： 演 繹 學(xué) 習(xí) ， 要 求 提 供 完 善 的 領(lǐng) 域 知 識 。（ 3） 示 例 學(xué) 習(xí) ： 概 念 的 獲 取 ， 即 知 識 增 加 的 一 面 。 解 釋 學(xué) 習(xí) ： 技 能 提 高 的 一 面 。 61 7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 構(gòu) 造 解 釋 的 任 務(wù) ： 證 明 提 供 給 系 統(tǒng) 的 訓(xùn) 練 實 例 為 什 么是 滿 足 目 標(biāo) 概 念 的 一 個 實 例 。 證 明 過 程 ： 通 過 運 用 領(lǐng) 域 知 識 進(jìn) 行

42、演 繹 實 現(xiàn) 的 ， 證 明的 結(jié) 果 是 得 到 一 個 解 釋 結(jié) 構(gòu) 。 1. 構(gòu) 造 解 釋 62 7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 例 如 ， 學(xué) 習(xí) 目 標(biāo) ：訓(xùn) 練 實 例 ：領(lǐng) 域 知 識 ： 1. 構(gòu) 造 解 釋 ),( 21 ObjObjStackToSafe 1 212 12( , )( , )( , )( ,1)( ,0.1)On Obj ObjIsa Obj book AIIsa Obj table bookVolume ObjDensity Obj ),()( yxStackToSafeyFragile ),(),( yxStackToSafeyxL

43、ighter ),(),(),(),( wpWeightwdvdpDensityvpVolume )15,(),( pWeightbooktablepIsa ),(),(),(),( 21212211 ppLighterwwSmallerwpWeightwpWeight 63 7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 1. 構(gòu) 造 解 釋 ),( 21 ObjObjStackToSafe ),( 21 ObjObjLighter)1.0,( 1ObjWeight )15,( 2ObjWeight )15,1.0(Smaller),( 2 booktableObjIsa )1,( 1Obj

44、Volume )1.0,( 1ObjDensity )1.0,1.0,1(*Safe-To-Stack ( Obj 1 , Obj2 ) 的 解 釋 結(jié) 構(gòu) 64 7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 構(gòu) 造 解 釋 的 任 務(wù) ： 對 上 一 步 得 到 的 解 釋 結(jié) 構(gòu) 進(jìn) 行 一 般化 處 理 ， 從 而 得 到 關(guān) 于 目 標(biāo) 概 念 的 一 般 性 知 識 。 處 理 的 方 法 : 把 常 量 變 換 為 變 量 ， 并 把 某 些 不 重 要 的信 息 去 掉 ， 只 保 留 那 些 對 以 后 求 解 問 題 所 必 須 的 關(guān) 鍵 性信 息 。 2. 獲 取 一

45、般 性 的 知 識 65 7.6.2 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 過 程 2. 獲 取 一 般 性 的 知 識 ),( 21 OOStackToSafe ),( 21 OOLighter),( 11 wOWeight )15,( 2OWeight )15,( 1wSmaller),( 2 booktableOIsa ),( 11 vOVolume ),( 11 dODensity ),(* 111 wdvSafe -To -Stack ( O 1 , O2 ) 一 般 化 解 釋 結(jié) 構(gòu) 66 7.6.3 領(lǐng) 域 知 識 的 完 善 性 兩 種 極 端 情 況 ：（ 1） 構(gòu) 造 不 出 解

46、釋 原 因 ： 系 統(tǒng) 中 缺 少 某 些 相 關(guān) 的 領(lǐng) 域 知 識 ， 或 者 領(lǐng) 域 知 識中 包 含 了 矛 盾 等 錯 誤 。 （ 2） 構(gòu) 造 出 了 多 種 解 釋 原 因 ： 領(lǐng) 域 知 識 不 健 全 ， 已 有 的 知 識 不 足 以 把 不 同 的 解釋 區(qū) 分 開 來 。 67 第 7章 機 器 學(xué) 習(xí)7.1 機 器 學(xué) 習(xí) 的 基 本 概 念7.2 機 械 式 學(xué) 習(xí)7.3 指 導(dǎo) 式 學(xué) 習(xí)7.4 歸 納 學(xué) 習(xí)7.5 類 比 學(xué) 習(xí)7.6 基 于 解 釋 的 學(xué) 習(xí)7.7 學(xué) 習(xí) 方 法 的 比 較 與 展 望 68 7.7 機 器 學(xué) 習(xí) 方 法 的 比 較 與

47、 展 望7.7.1 各 種 機 器 學(xué) 習(xí) 方 法 的 比 較7.7.2 機 器 學(xué) 習(xí) 的 展 望 69 7.7.1 各 種 機 器 學(xué) 習(xí) 方 法 的 比 較 以 推 理 能 力 排 列 機 械 式 學(xué) 習(xí) ， 指 導(dǎo) 式 學(xué) 習(xí) ， 解 釋 學(xué) 習(xí) ， 類 比 學(xué) 習(xí) ， 示 例 學(xué) 習(xí) ， 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) 。 適 用 領(lǐng) 域 連 接 學(xué) 習(xí) ： 模 擬 人 類 較 低 級 的 神 經(jīng) 活 動 。 符 號 學(xué) 習(xí) ： 模 擬 人 類 的 高 級 思 維 活 動 。 對 領(lǐng) 域 理 論 的 要 求 示 例 學(xué) 習(xí) 、 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) ： 領(lǐng) 域 理 論 要 求 較

48、少 。 解 釋 學(xué) 習(xí) ： 要 求 提 供 完 善 的 領(lǐng) 域 知 識 。 70 7.7.1 各 種 機 器 學(xué) 習(xí) 方 法 的 比 較 知 識 獲 取 角 度 ： 示 例 學(xué) 習(xí) 、 觀 察 與 發(fā) 現(xiàn) 學(xué) 習(xí) ： 通 過 學(xué) 習(xí) 可 以 產(chǎn) 生 新 概 念 描 述 ， 可 用 于 專 家 系 統(tǒng) 的 知 識 獲 取 。 解 釋 學(xué) 習(xí) 的 學(xué) 習(xí) 目 標(biāo) 主 要 是 改 善 系 統(tǒng) 的 效 率 ， 而 不 擴 充 概 念 描 述 的 范 圍 。 指 導(dǎo) 式 學(xué) 習(xí) 通 過 與 指 導(dǎo) 者 （ 如 領(lǐng) 域 專 家 ） 的 交 互 學(xué) 習(xí) 新 知 識 ， 同 時 又 可 幫 助 指 導(dǎo) 追 蹤

49、 推 理 過 程 ， 發(fā) 現(xiàn) 其 中 的 錯 誤 ， 找 出 產(chǎn) 生 錯 誤 的 原 因 ， 然 后 由 指 導(dǎo) 者 進(jìn) 行 修 正 。 71 7.7.2 機 器 學(xué) 習(xí) 的 展 望（ 1） 人 類 學(xué) 習(xí) 機 制 的 研 究 。（ 2） 發(fā) 展 和 完 善 現(xiàn) 有 的 學(xué) 習(xí) 方 法 ， 并 開 展 新 的 學(xué) 習(xí) 方 法 的 研 究 。（ 3） 建 立 實 用 的 學(xué) 習(xí) 系 統(tǒng) ， 特 別 是 多 種 學(xué) 習(xí) 方 法 協(xié) 同 工 作 的 集 成 化 系 統(tǒng) 的 研 究 。（ 4） 機 器 學(xué) 習(xí) 的 結(jié) 構(gòu) 模 型 、 計 算 理 論 、 算 法 和 混 合 學(xué) 習(xí) 的 有 關(guān) 理 論 及 應(yīng) 用 的 研 究 。 72THE END Artificial Intelligence Principles and Applications