湘潭大學(xué) 人工智能課件 群智能PPT課件02

《湘潭大學(xué) 人工智能課件 群智能PPT課件02》由會員分享，可在線閱讀，更多相關(guān)《湘潭大學(xué) 人工智能課件 群智能PPT課件02（42頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、Artificial Intelligence Artificial Intelligence(AI)(AI)人工智能人工智能第九章：群智第九章：群智能系統(tǒng)能系統(tǒng)內(nèi)容提要第九章：群智能系統(tǒng)第九章：群智能系統(tǒng)1.1.粒子群優(yōu)化算法粒子群優(yōu)化算法2.2.蟻群算法蟻群算法內(nèi)容提要第九章：群智能系統(tǒng)第九章：群智能系統(tǒng)1.1.粒子群優(yōu)化算法粒子群優(yōu)化算法2.2.蟻群算法蟻群算法n描述描述 群智能作為一種新興的演化計算技術(shù)已成為研究焦群智能作為一種新興的演化計算技術(shù)已成為研究焦點，它與人工生命，特別是進(jìn)化策略以及遺傳算法點，它與人工生命，特別是進(jìn)化策略以及遺傳算法有著極為特殊的關(guān)系。有著極為特殊的關(guān)系。n

2、特性特性 指無智能的主體通過合作表現(xiàn)出智能行為的特性，指無智能的主體通過合作表現(xiàn)出智能行為的特性，在沒有集中控制且不提供全局模型的前提下，為尋在沒有集中控制且不提供全局模型的前提下，為尋找復(fù)雜的分布式問題求解方案提供了基礎(chǔ)。找復(fù)雜的分布式問題求解方案提供了基礎(chǔ)。群智能n優(yōu)點優(yōu)點 靈活性：群體可以適應(yīng)隨時變化的環(huán)境；靈活性：群體可以適應(yīng)隨時變化的環(huán)境；穩(wěn)健性：即使個體失敗，整個群體仍能完成任務(wù)；穩(wěn)健性：即使個體失敗，整個群體仍能完成任務(wù)；自我組織：活動既不受中央控制，也不受局部監(jiān)管。自我組織：活動既不受中央控制，也不受局部監(jiān)管。n典型算法典型算法 蟻群算法（螞蟻覓食）蟻群算法（螞蟻覓食）粒子群算

3、法（鳥群捕食）粒子群算法（鳥群捕食）群智能粒子群算法原理粒子群算法原理粒子群算法原理粒子群算法原理n由由James Kenney（社會心理學(xué)博士）和（社會心理學(xué)博士）和Russ Eberhart（電子工程學(xué)博士，（電子工程學(xué)博士，http:/www.engr.iupui.edu/eberhart/）于）于1995年提出粒子群算法（年提出粒子群算法（Particle Swarm Optimization,PSO）粒子群算法原理粒子群算法原理生物界現(xiàn)象生物界現(xiàn)象群體行為群體行為群體遷徙群體遷徙生物覓食生物覓食社會心理學(xué)社會心理學(xué)群體智慧群體智慧個體認(rèn)知個體認(rèn)知社會影響社會影響 人工生命人工生命鳥群

4、覓食鳥群覓食魚群學(xué)習(xí)魚群學(xué)習(xí)群理論群理論粒子群算法原理粒子群算法原理鳥群覓食現(xiàn)象鳥群覓食現(xiàn)象鳥群鳥群覓食空間覓食空間飛行速度飛行速度所在位置所在位置個體認(rèn)知與群體協(xié)作個體認(rèn)知與群體協(xié)作找到食物找到食物粒子群優(yōu)化算法粒子群優(yōu)化算法搜索空間的一組有效解搜索空間的一組有效解問題的搜索空間問題的搜索空間解的速度向量解的速度向量解的位置向量解的位置向量速度與位置的更新速度與位置的更新找到全局最優(yōu)解找到全局最優(yōu)解粒子群優(yōu)化算法粒子群優(yōu)化算法類比關(guān)系類比關(guān)系鳥群覓食現(xiàn)象鳥群覓食現(xiàn)象n源于對鳥群捕食行為的研究，是基于迭代的方法源于對鳥群捕食行為的研究，是基于迭代的方法n簡單易于實現(xiàn)，需要調(diào)整的參數(shù)相對較少簡單

5、易于實現(xiàn)，需要調(diào)整的參數(shù)相對較少n在函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)訓(xùn)練、工業(yè)系統(tǒng)優(yōu)化和模糊在函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)訓(xùn)練、工業(yè)系統(tǒng)優(yōu)化和模糊系統(tǒng)控制等領(lǐng)域得到了廣泛的應(yīng)用。系統(tǒng)控制等領(lǐng)域得到了廣泛的應(yīng)用。粒子群算法原理n鳥群：鳥群：假設(shè)一個區(qū)域，所有的鳥都不知道食物的位置，假設(shè)一個區(qū)域，所有的鳥都不知道食物的位置，但是它們知道當(dāng)前位置離食物還有多遠(yuǎn)。但是它們知道當(dāng)前位置離食物還有多遠(yuǎn)。nPSO算法算法 每個解看作一只鳥，稱為每個解看作一只鳥，稱為“粒子粒子(particle)”，所有，所有的粒子都有一個適應(yīng)值，每個粒子都有一個速度決的粒子都有一個適應(yīng)值，每個粒子都有一個速度決定它們的飛翔方向和距離，粒子們追隨當(dāng)

6、前最優(yōu)粒定它們的飛翔方向和距離，粒子們追隨當(dāng)前最優(yōu)粒子在解空間中搜索。子在解空間中搜索。粒子群算法原理算法流程 PSO中的個體，也叫中的個體，也叫粒子粒子，在多維搜索空間中飛行。，在多維搜索空間中飛行。PSO中的每個粒子維護(hù)兩個向量中的每個粒子維護(hù)兩個向量 位置向量位置向量xi：粒子在解空間中的當(dāng)前位置：粒子在解空間中的當(dāng)前位置 速度向量速度向量vi：粒子在解空間中的飛行速度：粒子在解空間中的飛行速度 pBest：粒子自身的歷史最優(yōu)位置：粒子自身的歷史最優(yōu)位置 gBest：群體全局最優(yōu)向量：群體全局最優(yōu)向量 lBest：鄰域中的最好位置：鄰域中的最好位置nPSO算法算法 初始化為一群隨機(jī)粒子，

7、通過迭代找到最優(yōu)。初始化為一群隨機(jī)粒子，通過迭代找到最優(yōu)。每次迭代中，粒子通過跟蹤每次迭代中，粒子通過跟蹤“個體極值（個體極值（pbest）”和和“全局極值全局極值(gbest)”來來 更新自己的位置。更新自己的位置。算法流程算法流程(t)iv 令令 表示表示t t時刻第時刻第i i 個粒子個粒子 在超空間的位置。在超空間的位置。把速度矢量把速度矢量 加至當(dāng)前位置，則加至當(dāng)前位置，則 的位置變?yōu)椋旱奈恢米優(yōu)椋?t)ixiP(t)(t1)(t)iiixxviP算法流程 速度向量反映了粒子速度向量反映了粒子自身的經(jīng)驗知識自身的經(jīng)驗知識和和來自鄰域粒子的社來自鄰域粒子的社會交換信息會交換信息。粒子的

8、經(jīng)驗知識通常叫做粒子的經(jīng)驗知識通常叫做認(rèn)知部分認(rèn)知部分，它和粒子與其，它和粒子與其自身的自身的歷史最優(yōu)位置（歷史最優(yōu)位置（pbestpbest ）的距離成正比。）的距離成正比。社會交換信息叫做速度方程的社會交換信息叫做速度方程的社會部分社會部分。gbest PSOgbest PSO，全局最佳粒子群優(yōu)化，全局最佳粒子群優(yōu)化 lbest PSOlbest PSO，局部最佳粒子群優(yōu)化，局部最佳粒子群優(yōu)化算法流程粒子群算法粒子群算法的特點粒子群算法的特點 PSO算法收斂速度快，特別是在算法的早期，但也存在著算法收斂速度快，特別是在算法的早期，但也存在著精度較低，易發(fā)散等缺點。精度較低，易發(fā)散等缺點。若

9、加速系數(shù)、最大速度等參數(shù)太大，粒子群可能錯過最優(yōu)若加速系數(shù)、最大速度等參數(shù)太大，粒子群可能錯過最優(yōu)解，算法不收斂；解，算法不收斂；而在收斂的情況下，由于所有的粒子都向最優(yōu)解的方向飛而在收斂的情況下，由于所有的粒子都向最優(yōu)解的方向飛去，所以粒子趨向同一化（失去了多樣性），使得后期收去，所以粒子趨向同一化（失去了多樣性），使得后期收斂速度明顯變慢，同時算法收斂到一定精度時，無法繼續(xù)斂速度明顯變慢，同時算法收斂到一定精度時，無法繼續(xù)優(yōu)化，所能達(dá)到的精度也不高。優(yōu)化，所能達(dá)到的精度也不高。內(nèi)容提要第九章：群智能系統(tǒng)第九章：群智能系統(tǒng)1.1.粒子群優(yōu)化算法粒子群優(yōu)化算法2.2.蟻群算法蟻群算法蟻群算法原

10、理蟻群算法原理蟻群算法原理蟻群算法原理育嬰室育嬰室儲備室儲備室寢室寢室蟻后室蟻后室日光浴場日光浴場入口入口蟻群算法原理 通過遺留在來往路徑上的信息素通過遺留在來往路徑上的信息素（Pheromone）的揮發(fā)性化學(xué)物質(zhì)來進(jìn)行）的揮發(fā)性化學(xué)物質(zhì)來進(jìn)行 通通信和協(xié)調(diào)。信和協(xié)調(diào)。蟻群算法蟻群覓食過程蟻群覓食過程算法基本原理自然界螞蟻覓食行為自然界螞蟻覓食行為蟻群優(yōu)化算法蟻群優(yōu)化算法蟻群蟻群搜索空間的一組有效解搜索空間的一組有效解問題的搜索空間問題的搜索空間信息素濃度變量信息素濃度變量一個有效解一個有效解問題的最優(yōu)解問題的最優(yōu)解覓食空間覓食空間信息素信息素蟻巢到食物的一條路徑蟻巢到食物的一條路徑找到的最短

11、路徑找到的最短路徑對對應(yīng)應(yīng)關(guān)關(guān)系系算法基本原理螞蟻在尋找食物的過程中往往是螞蟻在尋找食物的過程中往往是隨機(jī)選擇路徑隨機(jī)選擇路徑的，但它們能的，但它們能感知當(dāng)前地面上的信息素感知當(dāng)前地面上的信息素濃度濃度，并傾向于往信息素濃度高的方向行進(jìn)并傾向于往信息素濃度高的方向行進(jìn)。信息素由螞蟻自身釋放，是實現(xiàn)蟻群內(nèi)。信息素由螞蟻自身釋放，是實現(xiàn)蟻群內(nèi)間接通信的物質(zhì)。間接通信的物質(zhì)。由于較短路徑上螞蟻的往返時間比較短，單位時間內(nèi)經(jīng)過該路徑的螞蟻多，所以信息由于較短路徑上螞蟻的往返時間比較短，單位時間內(nèi)經(jīng)過該路徑的螞蟻多，所以信息素的積累速度比較長路徑快。因此，當(dāng)后續(xù)螞蟻在路口時，就能感知先前螞蟻留下的素的積

12、累速度比較長路徑快。因此，當(dāng)后續(xù)螞蟻在路口時，就能感知先前螞蟻留下的信息，并傾向于選擇一條較短的路徑前行。信息，并傾向于選擇一條較短的路徑前行。這種這種正反饋機(jī)制正反饋機(jī)制使得越來越多的螞蟻在巢穴與食物之間的最短路徑上行進(jìn)。由于其他使得越來越多的螞蟻在巢穴與食物之間的最短路徑上行進(jìn)。由于其他路徑上的信息素會路徑上的信息素會隨著時間蒸發(fā)隨著時間蒸發(fā)，最終所有的螞蟻都在最優(yōu)路徑上行進(jìn)。，最終所有的螞蟻都在最優(yōu)路徑上行進(jìn)。蟻群算法流程路徑構(gòu)建路徑構(gòu)建每只螞蟻都隨機(jī)選擇每只螞蟻都隨機(jī)選擇一個城市作為其出發(fā)一個城市作為其出發(fā)城市，并維護(hù)一個路城市，并維護(hù)一個路徑記憶向量，用來存徑記憶向量，用來存放該螞蟻

13、依次經(jīng)過的放該螞蟻依次經(jīng)過的城市。螞蟻在構(gòu)建路城市。螞蟻在構(gòu)建路徑的每一步中，按照徑的每一步中，按照一個隨機(jī)比例規(guī)則選一個隨機(jī)比例規(guī)則選擇下一個要到達(dá)的城擇下一個要到達(dá)的城市。市。ACO基本要素基本要素信息素更新信息素更新當(dāng)所有螞蟻構(gòu)建完路當(dāng)所有螞蟻構(gòu)建完路徑后，算法將會對所徑后，算法將會對所有的路徑進(jìn)行全局信有的路徑進(jìn)行全局信息素的更新。注意，息素的更新。注意，我們所描述的是我們所描述的是AS的的ant-cycle版本版本，更新，更新是在全部螞蟻均完成是在全部螞蟻均完成了路徑的構(gòu)造后才進(jìn)了路徑的構(gòu)造后才進(jìn)行的，信息素的濃度行的，信息素的濃度變化與螞蟻在這一輪變化與螞蟻在這一輪中構(gòu)建的路徑長度

14、相中構(gòu)建的路徑長度相關(guān)。關(guān)。螞蟻系統(tǒng)螞蟻系統(tǒng)(Ant System，AS)的螞蟻圈（的螞蟻圈（Ant-cycle）版本是最基本）版本是最基本的的ACO算法，是以算法，是以TSP作為應(yīng)用實例提出的。作為應(yīng)用實例提出的。蟻群算法流程偽隨機(jī)比例選擇規(guī)則偽隨機(jī)比例選擇規(guī)則 對于每只螞蟻對于每只螞蟻k k，路徑記憶向量，路徑記憶向量R Rk k按照訪問順序記錄了所有按照訪問順序記錄了所有k k已經(jīng)經(jīng)過已經(jīng)經(jīng)過的城市序號。的城市序號。設(shè)螞蟻設(shè)螞蟻k k當(dāng)前所在城市為當(dāng)前所在城市為i i，則其選擇城市，則其選擇城市j j作為下一個訪問對象的概作為下一個訪問對象的概率如上式。率如上式。J Jk k(i i)表

15、示從城市表示從城市i i 可以直接到達(dá)的、且又不在螞蟻訪問可以直接到達(dá)的、且又不在螞蟻訪問過的城市序列過的城市序列R Rk k中的城市集合。中的城市集合。(i i,j j)是一個啟發(fā)式信息，通常由是一個啟發(fā)式信息，通常由(i i,j j)=1/)=1/d dij ij 直接計算。直接計算。(i i,j j)表示邊表示邊(i i,j j)上的信息素量。上的信息素量。()(,)(,),if ()(,)(,)(,)0,otherwisekkku Jii ji jjJipi ji ui u蟻群算法流程偽隨機(jī)比例選擇規(guī)則偽隨機(jī)比例選擇規(guī)則 長度越短、信息素濃度越大的路徑被螞蟻選擇的概率越大。長度越短、信

16、息素濃度越大的路徑被螞蟻選擇的概率越大。和和是兩個預(yù)先設(shè)置的參數(shù)，用來是兩個預(yù)先設(shè)置的參數(shù)，用來控制啟發(fā)式信息與信息素濃度作控制啟發(fā)式信息與信息素濃度作用的權(quán)重關(guān)系用的權(quán)重關(guān)系。當(dāng)當(dāng) =0=0時，算法演變成傳統(tǒng)的隨機(jī)貪心算法，最鄰近城市被選中的時，算法演變成傳統(tǒng)的隨機(jī)貪心算法，最鄰近城市被選中的概率最大。當(dāng)概率最大。當(dāng) =0=0時，螞蟻完全只根據(jù)信息素濃度確定路徑，算法時，螞蟻完全只根據(jù)信息素濃度確定路徑，算法將快速收斂，這樣構(gòu)建出的最優(yōu)路徑與實際目標(biāo)差異較大，算法性能將快速收斂，這樣構(gòu)建出的最優(yōu)路徑與實際目標(biāo)差異較大，算法性能較差。較差。()(,)(,),if ()(,)(,)(,)0,ot

17、herwisekkku Jii ji jjJipi ji ui u蟻群算法流程(1)(1)在算法初始化時，問題空間中所有的邊上的信息素都被在算法初始化時，問題空間中所有的邊上的信息素都被初始化初始化為為0 0。(2)(2)算法迭代每一輪，問題空間中的算法迭代每一輪，問題空間中的所有路徑上的信息素都會發(fā)生蒸發(fā)所有路徑上的信息素都會發(fā)生蒸發(fā)，我們?yōu)樗?，我們?yōu)樗羞吷系男畔⑺爻松弦粋€小于邊上的信息素乘上一個小于1 1的常數(shù)的常數(shù)(:信息素的蒸發(fā)率信息素的蒸發(fā)率)。信息素蒸發(fā)是自然界本。信息素蒸發(fā)是自然界本身固有的特征，在算法中能夠幫助避免信息素的無限積累，使得算法可以快速丟棄之身固有的特征，在算法

18、中能夠幫助避免信息素的無限積累，使得算法可以快速丟棄之前構(gòu)建過的較差的路徑。前構(gòu)建過的較差的路徑。(3)(3)螞蟻根據(jù)自己構(gòu)建的路徑長度在它們本輪經(jīng)過的邊上釋放信息素。螞蟻根據(jù)自己構(gòu)建的路徑長度在它們本輪經(jīng)過的邊上釋放信息素。螞蟻構(gòu)建的路螞蟻構(gòu)建的路徑越短、釋放的信息素就越多徑越短、釋放的信息素就越多。一條邊被螞蟻爬過的次數(shù)越多、它所獲得的信息素也。一條邊被螞蟻爬過的次數(shù)越多、它所獲得的信息素也越多。越多。(4)(4)迭代迭代 (2)(2)，直至算法終止。，直至算法終止。蟻群算法流程 信息素的更新公式：信息素的更新公式：m m：螞蟻個數(shù)；：螞蟻個數(shù)；：信息素的蒸發(fā)率，規(guī)定：信息素的蒸發(fā)率，規(guī)定

19、00r r11。(i i,j j)：第第k k只螞蟻在它經(jīng)過的邊上釋放的信息素量，它等于螞蟻只螞蟻在它經(jīng)過的邊上釋放的信息素量，它等于螞蟻k k本輪構(gòu)建本輪構(gòu)建路徑長度的倒數(shù)。路徑長度的倒數(shù)。C Ck k：路徑長度，它是：路徑長度，它是R Rk k中所有邊的長度和。中所有邊的長度和。11(,)(1)(,)(,),(),if(,)(,)0,otherwisemkkkkki ji ji jCi jRi j蟻群算法流程路徑構(gòu)建路徑構(gòu)建信息素更新信息素更新蟻群算法的應(yīng)用車輛路徑問題車輛路徑問題（Vehicle Routing Problem，VRP）車間作業(yè)調(diào)度問題車間作業(yè)調(diào)度問題（Job-Shop

20、Scheduling Problem，JSP）分配問題分配問題（Assignment problem,AP）網(wǎng)絡(luò)路由網(wǎng)絡(luò)路由（Network Routing）其他其他子集問題子集問題（Set Problem）ACOn共同特點共同特點 基于概率計算的隨機(jī)搜索進(jìn)化算法，在結(jié)構(gòu)、研究基于概率計算的隨機(jī)搜索進(jìn)化算法，在結(jié)構(gòu)、研究內(nèi)容、方法以及步驟上有較大的相似性；內(nèi)容、方法以及步驟上有較大的相似性；n存在的問題存在的問題 （1）數(shù)學(xué)理論基礎(chǔ)相對薄弱；）數(shù)學(xué)理論基礎(chǔ)相對薄弱；（2）參數(shù)設(shè)置沒有確切的理論依據(jù)，對具體問題）參數(shù)設(shè)置沒有確切的理論依據(jù)，對具體問題和應(yīng)用環(huán)境的依賴性大；和應(yīng)用環(huán)境的依賴性大；群

21、智能優(yōu)化的特點與不足n存在的問題存在的問題 （3）比較性研究不足，缺乏用于性能評估的標(biāo)準(zhǔn)）比較性研究不足，缺乏用于性能評估的標(biāo)準(zhǔn)測試集；測試集；（4）不具備絕對的可信性，存在應(yīng)用風(fēng)險；）不具備絕對的可信性，存在應(yīng)用風(fēng)險；n進(jìn)一步的工作進(jìn)一步的工作 （1）進(jìn)一步研究真實群居動物的行為特征；）進(jìn)一步研究真實群居動物的行為特征；（2）進(jìn)一步研究算法的收斂性；）進(jìn)一步研究算法的收斂性；群智能優(yōu)化的特點與不足n存在的問題存在的問題 （3）進(jìn)一步提高收斂速度，從而解決大規(guī)模優(yōu)化）進(jìn)一步提高收斂速度，從而解決大規(guī)模優(yōu)化問題；問題；（4）進(jìn)一步研究各種參數(shù)設(shè)置問題；）進(jìn)一步研究各種參數(shù)設(shè)置問題；（5）研究群智能的并行算法；）研究群智能的并行算法；（6）進(jìn)一步研究各算法的適用范圍；）進(jìn)一步研究各算法的適用范圍；（7）研究與其它算法的混合技術(shù)。）研究與其它算法的混合技術(shù)。群智能優(yōu)化的特點與不足其他計算智能方法模擬退火模擬退火人工免疫系統(tǒng)人工免疫系統(tǒng)粗集理論粗集理論EDA算法算法文化進(jìn)化計算文化進(jìn)化計算量子計算量子計算DNA計算計算智能智能Agent