??
1. BP神經(jīng)網(wǎng)絡(luò)的設(shè)計實例?
??
例1. 采用動量梯度下降算法訓(xùn)練BP 網(wǎng)絡(luò)。?
訓(xùn)練樣本定義如下：?
輸入矢量為?????
p =[-1 -2 3? 1;-1? 1 5 -3]?
目標(biāo)矢量為?? t = [-1 -1 1 1]?
解：本例的 MATLAB 程序如下：??

close all??
clear??
echo on??
clc??
% NEWFF——生成一個新的前向神經(jīng)網(wǎng)絡(luò)??
% TRAIN——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練??
% SIM——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真??
pause?????????
%? 敲任意鍵開始??
clc??
%? 定義訓(xùn)練樣本??
% P 為輸入矢量??
P=[-1,? -2,??? 3,??? 1;?????? -1,??? 1,??? 5,? -3];?
% T 為目標(biāo)矢量??
T=[-1, -1, 1, 1];??
pause;??
clc??
%? 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò)??
net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')?
%? 當(dāng)前輸入層權(quán)值和閾值??
inputWeights=net.IW{1,1}??
inputbias=net.b{1}??
%? 當(dāng)前網(wǎng)絡(luò)層權(quán)值和閾值??
layerWeights=net.LW{2,1}??
layerbias=net.b{2}??
pause??
clc??
%? 設(shè)置訓(xùn)練參數(shù)??
net.trainParam.show = 50;??
net.trainParam.lr = 0.05;??
net.trainParam.mc = 0.9;??
net.trainParam.epochs = 1000;??
net.trainParam.goal = 1e-3;??
pause??
clc??
%? 調(diào)用 TRAINGDM 算法訓(xùn)練 BP 網(wǎng)絡(luò)??
[net,tr]=train(net,P,T);??
pause??
clc??
%? 對 BP 網(wǎng)絡(luò)進(jìn)行仿真??
A = sim(net,P)??
%? 計算仿真誤差??
E = T - A??
MSE=mse(E)??
pause??
clc??
echo off??

例2. 采用貝葉斯正則化算法提高 BP 網(wǎng)絡(luò)的推廣能力。在本例中，我們采用兩種訓(xùn)練方法，即 L-M 優(yōu)化算法（trainlm）和貝葉斯正則化算法（trainbr），用以訓(xùn)練 BP 網(wǎng)絡(luò)，使其能夠擬合某一附加有白噪聲的正弦樣本數(shù)據(jù)。其中，樣本數(shù)據(jù)可以采用如下MATLAB 語句生成：??
輸入矢量：P = [-1:0.05:1]；??
目標(biāo)矢量：randn(’seed’,78341223)；??
T = sin(2*pi*P)+0.1*randn(size(P))；??
解：本例的 MATLAB 程序如下：??
close all??
clear??
echo on??
clc??
% NEWFF——生成一個新的前向神經(jīng)網(wǎng)絡(luò)??
% TRAIN——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練?
% SIM——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真??
pause?????????
%? 敲任意鍵開始??
clc??
%? 定義訓(xùn)練樣本矢量??
% P 為輸入矢量??
P = [-1:0.05:1];??
% T 為目標(biāo)矢量??
randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P));??
%? 繪制樣本數(shù)據(jù)點??
plot(P,T,'+');??
echo off??
hold on;??
plot(P,sin(2*pi*P),':');?????????
%? 繪制不含噪聲的正弦曲線??
echo on??
clc??
pause??
clc??
%? 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò)??
net=newff(minmax(P),[20,1],{'tansig','purelin'});??
pause??
clc??
echo off??
clc?
disp('1.? L-M 優(yōu)化算法 TRAINLM'); disp('2.? 貝葉斯正則化算法 TRAINBR');??
choice=input('請選擇訓(xùn)練算法(1,2):');??
figure(gcf);??
if(choice==1)??????????????????
??? echo on??????????
??? clc??????????
??? %? 采用 L-M 優(yōu)化算法 TRAINLM??
??? net.trainFcn='trainlm';??????????
??? pause??????????
??? clc??????????
??? %? 設(shè)置訓(xùn)練參數(shù)??????????
??? net.trainParam.epochs = 500;??????????
??? net.trainParam.goal = 1e-6;??????????
??? net=init(net);?????????
??? %? 重新初始化????????????
??? pause??????????
??? clc?
elseif(choice==2)??????????
??? echo on??????????
??? clc??????????
??? %? 采用貝葉斯正則化算法 TRAINBR??????????
??? net.trainFcn='trainbr';??????????
??? pause??????????
??? clc??????????
??? %? 設(shè)置訓(xùn)練參數(shù)??????????
??? net.trainParam.epochs = 500;??????????
??? randn('seed',192736547);??????????
??? net = init(net);?????????
??? %? 重新初始化????????????
??? pause??????????
??? clc??????????
end???
??
??

例2. % 調(diào)用相應(yīng)算法訓(xùn)練 BP 網(wǎng)絡(luò)?
[net,tr]=train(net,P,T);?
pause?
clc?
% 對 BP 網(wǎng)絡(luò)進(jìn)行仿真?
A = sim(net,P);?
% 計算仿真誤差?
E = T - A;?
MSE=mse(E)?
pause?
clc?
% 繪制匹配結(jié)果曲線?
close all;?
plot(P,A,P,T,'+',P,sin(2*pi*P),':');?
pause;?
clc?
echo off?

??????? 通過采用兩種不同的訓(xùn)練算法，我們可以得到兩種擬合結(jié)果。圖中的實線表示擬合曲線，虛線代表不含白噪聲的正弦曲線，“＋”點為含有白噪聲的正弦樣本數(shù)據(jù)點。顯然，經(jīng) trainlm 函數(shù)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)點實現(xiàn)了“過度匹配”，而經(jīng) trainbr 函數(shù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對噪聲不敏感，具有較好的推廣能力。??

????????? 值得指出的是，在利用 trainbr 函數(shù)訓(xùn)練 BP 網(wǎng)絡(luò)時，若訓(xùn)練結(jié)果收斂，通常會給出提示信息“Maximum MU reached”。此外，用戶還可以根據(jù) SSE 和 SSW 的大小變化情況來判斷訓(xùn)練是否收斂：當(dāng) SSE 和 SSW 的值在經(jīng)過若干步迭代后處于恒值時，則通常說明網(wǎng)絡(luò)訓(xùn)練收斂，此時可以停止訓(xùn)練。觀察trainbr 函數(shù)訓(xùn)練 BP 網(wǎng)絡(luò)的誤差變化曲線,可見，當(dāng)訓(xùn)練迭代至 320 步時，網(wǎng)絡(luò)訓(xùn)練收斂，此時 SSE 和 SSW 均為恒值，當(dāng)前有效網(wǎng)絡(luò)的參數(shù)（有效權(quán)值和閾值）個數(shù)為 11.7973。?
例3 采用“提前停止”方法提高 BP 網(wǎng)絡(luò)的推廣能力。對于和例 2相同的問題，在本例中我們將采用訓(xùn)練函數(shù) traingdx 和“提前停止”相結(jié)合的方法來訓(xùn)練 BP 網(wǎng)絡(luò)，以提高 BP 網(wǎng)絡(luò)的推廣能力。?
解：在利用“提前停止”方法時，首先應(yīng)分別定義訓(xùn)練樣本、驗證樣本或測試樣本，其中，驗證樣本是必不可少的。在本例中，我們只定義并使用驗證樣本，即有?
驗證樣本輸入矢量：val.P = [-0.975:.05:0.975]?
驗證樣本目標(biāo)矢量：val.T = sin(2*pi*val.P)+0.1*randn(size(val.P))?
??????? 值得注意的是，盡管“提前停止”方法可以和任何一種 BP 網(wǎng)絡(luò)訓(xùn)練函數(shù)一起使用，但是不適合同訓(xùn)練速度過快的算法聯(lián)合使用，比如 trainlm 函數(shù)，所以本例中我們采用訓(xùn)練速度相對較慢的變學(xué)習(xí)速率算法 traingdx 函數(shù)作為訓(xùn)練函數(shù)。?
本例的 MATLAB 程序如下：?
close all?
clear?
echo on?
clc?
% NEWFF——生成一個新的前向神經(jīng)網(wǎng)絡(luò)?
% TRAIN——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練?
% SIM——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真?
pause?
% 敲任意鍵開始?
clc?
% 定義訓(xùn)練樣本矢量?
% P 為輸入矢量?
P = [-1:0.05:1];?
% T 為目標(biāo)矢量?
randn('seed',78341223);?
T = sin(2*pi*P)+0.1*randn(size(P));?
% 繪制訓(xùn)練樣本數(shù)據(jù)點?
plot(P,T,'+');?
echo off?
hold on;?
plot(P,sin(2*pi*P),':'); % 繪制不含噪聲的正弦曲線?
echo on?
clc?
pause?
clc?
% 定義驗證樣本?
val.P = [-0.975:0.05:0.975]; % 驗證樣本的輸入矢量?
val.T = sin(2*pi*val.P)+0.1*randn(size(val.P)); % 驗證樣本的目標(biāo)矢量?
pause?
clc?
% 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò)?
net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');?
pause?
clc?
% 設(shè)置訓(xùn)練參數(shù)?
net.trainParam.epochs = 500;?
net = init(net);?
pause?
clc?
% 訓(xùn)練 BP 網(wǎng)絡(luò)?
[net,tr]=train(net,P,T,[],[],val);?
pause?
clc?
% 對 BP 網(wǎng)絡(luò)進(jìn)行仿真?
A = sim(net,P);?
% 計算仿真誤差?
E = T - A;?
MSE=mse(E)?
pause?
clc?
% 繪制仿真擬合結(jié)果曲線?
close all;?
plot(P,A,P,T,'+',P,sin(2*pi*P),':');?
pause;?
clc?
echo off?

????????? 下面給出了網(wǎng)絡(luò)的某次訓(xùn)練結(jié)果，可見，當(dāng)訓(xùn)練至第 136 步時，訓(xùn)練提前停止，此時的網(wǎng)絡(luò)誤差為 0.0102565。給出了訓(xùn)練后的仿真數(shù)據(jù)擬合曲線，效果是相當(dāng)滿意的。?
[net,tr]=train(net,P,T,[],[],val);?
TRAINGDX, Epoch 0/500, MSE 0.504647/0, Gradient 2.1201/1e-006?
TRAINGDX, Epoch 25/500, MSE 0.163593/0, Gradient 0.384793/1e-006?
TRAINGDX, Epoch 50/500, MSE 0.130259/0, Gradient 0.158209/1e-006?
TRAINGDX, Epoch 75/500, MSE 0.086869/0, Gradient 0.0883479/1e-006?
TRAINGDX, Epoch 100/500, MSE 0.0492511/0, Gradient 0.0387894/1e-006?
TRAINGDX, Epoch 125/500, MSE 0.0110016/0, Gradient 0.017242/1e-006?
TRAINGDX, Epoch 136/500, MSE 0.0102565/0, Gradient 0.01203/1e-006?
TRAINGDX, Validation stop.