教學(xué)PPT神經(jīng)網(wǎng)絡(luò)控制

《教學(xué)PPT神經(jīng)網(wǎng)絡(luò)控制》由會員分享，可在線閱讀，更多相關(guān)《教學(xué)PPT神經(jīng)網(wǎng)絡(luò)控制（37頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,,單擊此處編輯母版文本樣式,,第二級,,第三級,,第四級,,,,,*,第三章 神經(jīng)網(wǎng)絡(luò)控制,（,Neural Network Control,）,人工神經(jīng)元模型,,神經(jīng)元的學(xué)習(xí)方法,,神經(jīng)元網(wǎng)絡(luò),,神經(jīng)網(wǎng)絡(luò)控制,,應(yīng)用實(shí)例,,3.1,人工神經(jīng)元模型,一、神經(jīng)元模型（,The Neuron,）,,,生物神經(jīng)元是腦組織的基本單元，人腦約,10,11,個神經(jīng)元。,,二、人工神經(jīng)元：,,,利用物理器件（電子、光電）、軟件在計算機(jī)上仿真，模擬生物結(jié)構(gòu)功能。,,,對生物神經(jīng)元的一種模擬與簡化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。,,,?,f (.),?,j,-1,x,1,w,j1,x,n

2、,w,jn,s,j,y,j,w,ji,：連接權(quán)系數(shù),,θ,i,：內(nèi)部閾值,,f(·),：輸出變換函數(shù)，,,具有非線性特性,θ, f,的確定,:,根據(jù)應(yīng)用,,,w,i,,的確定,:,通過學(xué)習(xí),它是一個多輸入、單輸出的非線性元件。,三、,神經(jīng)元,結(jié)構(gòu)模型,,輸出變換函數(shù)的常見類型,:,y,s,1,-1,s,1,0,0.5,y,s,1,-1,y,0,控制中常用,②,，,③,，,④,②,比例函數(shù),③,S,,狀函數(shù),④,雙曲函數(shù),①,符號函數(shù),①,③,④,,二、學(xué)習(xí)規(guī)則：,,,w,i,(k+1) =,w,i,(k,) +,μ,i,v,i,(k,) , i = 1, 2, ..., n,,,k ——

3、,第,k,次學(xué)習(xí),,,μ,i,,——,學(xué)習(xí)速率 （,μ,i,,> 0,）,,,v,i,(k,) ——,學(xué)習(xí)信號（通常為誤差的函數(shù)）,y,Σθf,(,·,),...,w,1,w,n,w,2,x,1,x,2,x,n,...,學(xué)習(xí)規(guī)則,,學(xué)習(xí)信號,一、學(xué)習(xí)的意義：,,通過調(diào)整權(quán)值,w,i,,，使神經(jīng)元具有期望的輸入輸出模式。,3.2,神經(jīng)元的學(xué)習(xí)方法,,三、學(xué)習(xí)方法,——,梯度下降法：,特點(diǎn)：,,沿梯度方向下降一定能到達(dá),,J,,的極小點(diǎn)；,,學(xué)習(xí)的快慢取決于學(xué)習(xí)速率,μ,i,,的選取；,,缺點(diǎn)是可能陷入局部最小點(diǎn)。,J,W,W(k,),梯度方向,,簡單例：,,設(shè),y = w,1,x,1,,,（即

4、,θ= 0 ,,f(s,) = s,）,,,w,1,的初值,w,1,(0) = 0,y,Σθf,(,·,),w,1,x,1,單輸入神經(jīng)元,取性能指標(biāo)為,,,,J,= e,2,(k),／,2 = [ 2 –,y(k,)],2,,／,2,,= [ 2 – w,1,(k)],2,,／,2,則有,J,w,1,2,梯度方向,0,2,用梯度下降法,,,使,x,1,= 1,時,, y = 2,,,,k,,1,,2,,3,,4,,5,w,1,(k),,y(k,),,1,,1.5,1.75,1.875,1.9375,,,k,,1,,2,,3,,4,,5,w,1,(k),,y(k,),,3,,1.5,2.25,

5、1.875,2.0625,表,3-1 μ=0.5,時的學(xué)習(xí)結(jié)果,(,學(xué)習(xí)速率較小,),表,3-2 μ=1.5,時的學(xué)習(xí)結(jié)果,(,學(xué)習(xí)速率較大,),,,k,,1,,2,,3,4,,5,w,1,(k),,y(k,),,4,,0,4,0,4,表,3-3 μ=2,時的學(xué)習(xí)結(jié)果,(,學(xué)習(xí)速率過大,),,,,k,,1,,2,,3,4,,5,w,1,(k),,y(k,),,6,,-6,18,-30,66,表,3-4 μ=3,時的學(xué)習(xí)結(jié)果,(,學(xué)習(xí)速率過大,),,,結(jié)論：,,,μ,過小收斂慢；,μ,過大則振蕩甚至可能發(fā)散。,,對于該例，,μ=1,時的學(xué)習(xí)次數(shù)最少,(,一次結(jié)束,),,. . .

6、,. . .,. . .,三層前饋網(wǎng)絡(luò),神經(jīng)元按一定方式連接,神經(jīng)網(wǎng)絡(luò),目的：,通過學(xué)習(xí)，使神經(jīng)網(wǎng)絡(luò)具有 期望 的輸入輸出模式,,兩個關(guān)鍵,:,,網(wǎng)絡(luò)結(jié)構(gòu),,,學(xué)習(xí)方法,,常用結(jié)構(gòu),:,,前饋網(wǎng)，反饋網(wǎng)等,3.3,神經(jīng)元網(wǎng)絡(luò),,一、,BP,神經(jīng)網(wǎng)絡(luò),,,（誤差反向傳播神經(jīng)網(wǎng)絡(luò),: Back Propagation,）,著名的,BP,網(wǎng)絡(luò),,=,前饋網(wǎng),+ BP,算法,,1.BP,神經(jīng)網(wǎng)絡(luò)特點(diǎn),,（,1,）是一種多層網(wǎng)絡(luò)，包括輸入層、隱含層和輸出層；,,（,2,）層與層之間采用全互連方式，同一層神經(jīng)元之間不連接；,,（,3,）權(quán)值通過,δ,學(xué)習(xí)算法進(jìn)行調(diào)節(jié)；,,（,4,）神經(jīng)元激發(fā)函數(shù)為,S,函

7、數(shù)；,,（,5,）學(xué)習(xí)算法由正向傳播和反向傳播組成；,,（,6,）層與層的連接是單向的，信息的傳播是雙向的。,,,2.BP,網(wǎng)絡(luò)的逼近（,BP,算法）,,梯度下降法,由輸出層向輸入層反向計算每一層的連接權(quán)值,BP,算法,＋,＝,,（,1,）前向傳播：計算網(wǎng)絡(luò)的輸出。,隱層神經(jīng)元的輸入為所有輸入的加權(quán)之和：,隱層神經(jīng)元的輸出采用,S,函數(shù)激發(fā)：,則,,輸出層神經(jīng)元的輸出：,網(wǎng)絡(luò)輸出與理想輸出誤差為：,誤差性能指標(biāo)函數(shù)為：,,（,2,）反向傳播：采用,δ,學(xué)習(xí)算法，調(diào)整各層間的權(quán)值。,根據(jù)梯度下降法，權(quán)值的學(xué)習(xí)算法如下：,輸出層及隱層的連接權(quán)值學(xué)習(xí)算法為：,,k+1,時刻網(wǎng)絡(luò)的權(quán)值為：,隱層及輸

8、入層連接權(quán)值學(xué)習(xí)算法為：,其中,,k+1,時刻網(wǎng)絡(luò)的權(quán)值為：,如果考慮上次權(quán)值對本次權(quán)值變化的影響，需要加入動量因子,此時的權(quán)值為：,其中，,為學(xué)習(xí)速率，,為動量因子。,,,陣,(,即為對象的輸出對控制輸入的靈敏度信息,),算法為：,,,,其中取,,,,由給定的輸入樣本計算網(wǎng)絡(luò)輸出，并與輸出樣本進(jìn)行比較（輸出誤差）；由輸出誤差依次反向計算每一層的權(quán)值；,,重復(fù),①,、,②,，直至輸出誤差滿足要求為止；,,對每組輸入輸出樣本數(shù)據(jù)都按①～③ 進(jìn)行學(xué)習(xí)；,,重復(fù)①～④，直至所有輸出誤差都達(dá)到要求的精度。,（,3,）,BP,算法的計算步驟：,,,（,4,）,BP,網(wǎng)絡(luò)的逼近仿真實(shí)例,使用,BP,網(wǎng)絡(luò)逼

9、近對象：,BP,網(wǎng)絡(luò)逼近程序見,chap7_1.m,采樣時間：,1ms,。,輸入信號為：,神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為,2-6-1,,3.,BP網(wǎng)絡(luò)模式識別,根據(jù)標(biāo)準(zhǔn)的輸入輸出模式對，采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，以標(biāo)準(zhǔn)的模式作為學(xué)習(xí)樣本進(jìn)行訓(xùn)練，通過學(xué)習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)的連接權(quán)值。,,當(dāng)訓(xùn)練滿足要求后，得到的神經(jīng)網(wǎng)絡(luò)權(quán)值構(gòu)成了模式識別的知識庫。,,利用神經(jīng)網(wǎng)絡(luò)并行推理算法對所需要的輸入模式進(jìn)行識別。,,相同時,，與樣本相對應(yīng)的輸出模式；,不完全相同時,，與其相近樣本相對應(yīng)的輸出模式。,相差遠(yuǎn)時，,新的樣本進(jìn)行訓(xùn)練。,,BP,網(wǎng)絡(luò)的訓(xùn)練過程如下：,,正向傳播是輸入信號從輸入層經(jīng)隱層傳向輸出層，若輸出層得到了期望的輸出，

10、則學(xué)習(xí)算法結(jié)束；否則，轉(zhuǎn)至反向傳播。,網(wǎng)絡(luò)的學(xué)習(xí)算法如下：,,（,1,）前向傳播：計算網(wǎng)絡(luò)的輸出。,,隱層神經(jīng)元的輸入為所有輸入的加權(quán)之和：,隱層神經(jīng)元的輸出,采用,S,函數(shù)激發(fā),,則,輸出層神經(jīng)元的輸出：,網(wǎng)絡(luò)第 個輸出與相應(yīng)理想輸出 的誤差為：,,第,p,個樣本的誤差性能指標(biāo)函數(shù)為：,其中,N,為網(wǎng)絡(luò)輸出層的個數(shù)。,（,2,）反向傳播：采用梯度下降法，調(diào)整各層間的權(quán)值。權(quán)值的學(xué)習(xí)算法如下：,輸出層及隱層的連接權(quán)值 學(xué)習(xí)算法為：,,隱層及輸入層連接權(quán)值 學(xué)習(xí)算法為：,其中,,,如果考慮上次權(quán)值對本次權(quán)值變化的影響，需要加入動量因子 ，此時的權(quán)值為：,,其中 為

11、學(xué)習(xí)速率， 為動量因子。,,仿真實(shí)例：,取標(biāo)準(zhǔn)樣本為,3,輸入,2,輸出樣本，如表,3-1,所示。,表,3-1,訓(xùn)練樣本,輸,,入,,輸,,出,,1,,0,,0,,1,,0,,0,,1,,0,,0,,0.5,,0,,0,,1,,0,,1,,,BP,網(wǎng)絡(luò)結(jié)構(gòu)為,3-6-2,chap7_2a.m,chap7_2b.m,,4. BP,網(wǎng)絡(luò)的優(yōu)缺點(diǎn),,BP,網(wǎng)絡(luò)的優(yōu)點(diǎn)為：,（,1,）只要有足夠多的隱層和隱層節(jié)點(diǎn)，,BP,網(wǎng)絡(luò)可以,逼近任意的非線性映射關(guān)系,；,,（,2,）,BP,網(wǎng)絡(luò)的學(xué)習(xí)算法屬于,全局逼近算法,，具有較強(qiáng)的泛化能力。,,（,3,）,BP,網(wǎng)絡(luò)輸入輸出之間的關(guān)聯(lián)信息分布地存儲在網(wǎng)絡(luò)的

12、連接權(quán)中，個別神經(jīng)元的損壞只對輸入輸出關(guān)系有較小的影響，因而,BP,網(wǎng)絡(luò)具有較好的,容錯性。,,,BP網(wǎng)絡(luò)的主要缺點(diǎn)為：,（,1,）待尋優(yōu)的參數(shù)多，,收斂速度慢,；,,（,2,）目標(biāo)函數(shù)存在多個極值點(diǎn)，按梯度下降法進(jìn)行學(xué)習(xí)，很容易陷入,局部極小值,；,,（,3,）,難以確定隱層及隱層節(jié)點(diǎn)的數(shù)目,。目前，如何根據(jù)特定的問題來確定具體的網(wǎng)絡(luò)結(jié)構(gòu)尚無很好的方法，仍需根據(jù)經(jīng)驗(yàn)來試湊。,,,BP,網(wǎng)絡(luò)的,應(yīng)用領(lǐng)域,：,（,1,）模式識別,,（,2,）圖像處理,,（,3,）系統(tǒng)辨識,,（,4,）函數(shù)擬合,,（,5,）優(yōu)化計算,,（,6,）最優(yōu)預(yù)測,,（,7,）自適應(yīng)控制,,由于,BP,網(wǎng)絡(luò)具有很好的逼近特

13、性和泛化能力，可用于神經(jīng)網(wǎng)絡(luò)控制器的設(shè)計。但由于,BP,網(wǎng)絡(luò)收斂速度慢，,難以適應(yīng)實(shí)時控制,的要求。,,二、,RBF,神經(jīng)網(wǎng)絡(luò),,,徑向基函數(shù),(RBF-Radial Basis Function),,RBF,網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，已證明它能任意精度逼近任意連續(xù)函數(shù)。,輸入到輸出的映射是非線性的，而隱含層空間到輸出空間的映射是線性的。,,作用函數(shù)為,高斯函數(shù),,1.RBF,網(wǎng)絡(luò)的逼近,網(wǎng)絡(luò)的輸入向量,徑向基向量,其中,hj,為高斯基函數(shù)：,網(wǎng)絡(luò)的第,j,個結(jié)點(diǎn)的中心矢量為：,其中，,i=1,2,,…,n,,設(shè)網(wǎng)絡(luò)的基寬向量為：,,,,,為節(jié)點(diǎn)的基寬度參數(shù)，且為大于零的數(shù)。網(wǎng)絡(luò)的權(quán)向量為：,,

14、,k,時刻,網(wǎng)絡(luò)的輸出為：,,,,,設(shè)理想輸出為,y(k),，,則性能指標(biāo)函數(shù)為,：,,,,,根據(jù)梯度下降法，輸出權(quán)、節(jié)點(diǎn)中心及節(jié)點(diǎn)基寬參數(shù)的迭代算法如下：,其中,,,為學(xué)習(xí)速率， 為動量因子。,,陣,(,即為對象的輸出對控制輸入的靈敏度信息,),算法為：,,,,其中取 。,,2.RBF,網(wǎng)絡(luò)的逼近仿真實(shí)例,使用,RBF,網(wǎng)絡(luò)逼近下列對象：,RBF,網(wǎng)絡(luò)逼近程序見,chap7_3.m,。,輸入信號為：,采樣時間：,1ms,。,網(wǎng)絡(luò)隱含層神經(jīng)元個數(shù)?。?m=4,網(wǎng)絡(luò)結(jié)構(gòu)為,2-4-1,高斯函數(shù)的初值為：,,習(xí)題和思考題,1.,試采用,BP,網(wǎng)絡(luò)對訓(xùn)練樣本進(jìn)行訓(xùn)練，并針對一組實(shí)際樣本進(jìn)行測試。用于測試的,3,組樣本輸入分別是：,1,，,0.1,,；,0.5,0.5,；,0.1,1,。,輸入,,輸出,1,0,1,0,0,0,0,1,-1,2.,試采用,BP,網(wǎng)絡(luò)、,RBF,網(wǎng)絡(luò)逼近非線性對象：,,