视觉机器学习20讲-MATLAB源码示例（12）-RBF学习算法
1. RBF学习算法
RBF（Radial Basis Function, 径向基函数）网络一般来说，是一种单隐层前馈神经网络，它使用径向基函数作为隐含层神经元激活函数，而输出层则是对隐含层神经元输出的线性组合。
RBF网络一共分为三层，第一层为输入层即Input Layer，由信号源节点组成；第二层为隐藏层即图中中间的黄球，隐藏层中神经元的变换函数即径向基函数是对中心点径向对称且衰减的非负线性函数，该函数是局部响应函数。因为是局部相应函数，所以一般要根据具体问题设置相应的隐藏层神经元个数；第三层为输出层，是对输入模式做出的响应，输出层是对线性权进行调整，采用的是线性优化策略，因而学习速度较快。
2. Matlab仿真
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%功能：演示RBF算法在计算机视觉中的应用
%基于RBF实现曲线拟合；
%环境：Win7，Matlab2018a
%Modi: C.S
%时间：2022-04-05
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
SamNum = 100; % 总样本数
TestSamNum = 101; % 测试样本数
InDim = 1; % 样本输入维数
ClusterNum = 10; % 隐节点数，即聚类样本数
Overlap = 1.0; % 隐节点重叠系数
% 根据目标函数获得样本输入输出
NoiseVar = 0.1;
Noise = NoiseVar*randn(1,SamNum);
SamIn = 8*rand(1,SamNum)-4;
SamOutNoNoise = 1.1*(1-SamIn+2*SamIn.^2).*exp(-SamIn.^2/2);
SamOut = SamOutNoNoise + Noise;
TestSamIn = -4:0.08:4;
TestSamOut = 1.1*(1-TestSamIn+2*TestSamIn.^2).*exp(-TestSamIn.^2/2);
figure
hold on
grid
plot(SamIn,SamOut,'k+')
plot(TestSamIn,TestSamOut,'k--')
xlabel('Input x');
ylabel('Output y');
Centers = SamIn(:,1:ClusterNum);
NumberInClusters = zeros(ClusterNum,1); % 各类中的样本数，初始化为零
IndexInClusters = zeros(ClusterNum,SamNum); % 各类所含样本的索引号
while 1,
NumberInClusters = zeros(ClusterNum,1); % 各类中的样本数，初始化为零
IndexInClusters = zeros(ClusterNum,SamNum); % 各类所含样本的索引号
% 按最小距离原则对所有样本进行分类
for i = 1:SamNum
AllDistance = dist(Centers',SamIn(:,i));
[MinDist,Pos] = min(AllDistance);
NumberInClusters(Pos) = NumberInClusters(Pos) + 1;
IndexInClusters(Pos,NumberInClusters(Pos)) = i;
end
% 保存旧的聚类中心
OldCenters = Centers;
for i = 1:ClusterNum
Index = IndexInClusters(i,1:NumberInClusters(i));
Centers(:,i) = mean(SamIn(:,Index)')';
end
% 判断新旧聚类中心是否一致，是则结束聚类
EqualNum = sum(sum(Centers==OldCenters));
if EqualNum == InDim*ClusterNum,
break,
end
end
% 计算各隐节点的扩展常数（宽度）
AllDistances = dist(Centers',Centers); % 计算隐节点数据中心间的距离（矩阵）
Maximum = max(max(AllDistances)); % 找出其中最大的一个距离
for i = 1:ClusterNum % 将对角线上的0 替换为较大的值
AllDistances(i,i) = Maximum+1;
end
Spreads = Overlap*min(AllDistances)'; % 以隐节点间的最小距离作为扩展常数
% 计算各隐节点的输出权值
Distance = dist(Centers',SamIn); % 计算各样本输入离各数据中心的距离
SpreadsMat = repmat(Spreads,1,SamNum);
HiddenUnitOut = radbas(Distance./SpreadsMat); % 计算隐节点输出阵
HiddenUnitOutEx = [HiddenUnitOut' ones(SamNum,1)]'; % 考虑偏移
W2Ex = SamOut*pinv(HiddenUnitOutEx); % 求广义输出权值
W2 = W2Ex(:,1:ClusterNum); % 输出权值
B2 = W2Ex(:,ClusterNum+1); % 偏移
% 测试
TestDistance = dist(Centers',TestSamIn);
TestSpreadsMat = repmat(Spreads,1,TestSamNum);
TestHiddenUnitOut = radbas(TestDistance./TestSpreadsMat);
TestNNOut = W2*TestHiddenUnitOut+B2;
plot(TestSamIn,TestNNOut,'k-')
W2
B2
3. 仿真结果
4. 小结
RBF神经网络主要用于解决非线性可分问题。RBF网络用于隐含层单元，并使用径向基函数（如Gaussian函数）作为激活函数,先将非线性可分的输入空间设法变换到线性可分的特征空间（通常都是高维空间），然后用输出层来进行线性划分，完成分类功能。将多变量插值的径向基函数方法应用于神经网络设计，从而构成了RBF神经网络。基本思想是：用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接（不通过权连接）映射到隐空间。
RBF神经网络与BP神经网络进行对比：
（1）RBF网络和BP网络一样可近似任何的连续非线性函数。两者的主要不同点是在非线性映射上采用了不同的作用函数。
（2） RBF网络具有惟一最佳逼近的特性，且无局部极小。
（3）求RBF网络隐节点的中心向量和标化常数是一个困难的问题。
（4）径向基函数有多种。最常用的有，高斯核函数。
（5）RBF网络用于非线性系统辨识与控制时，隐节点的中心难求。
（6） RBF网络学习速度很快。
（7）RBF网络是一种典型二层网络，BP是一种典型的三层网络。
非线性分类问题，变换到高维空间，再进行线性划分，是不是和SVM有些类似，归根结底还是解决非线性的分类问题，所以SVM的核函数中也有径向基核函数可选，对RBF学习算法感兴趣的同学，推荐去仔细查看全文《机器学习20讲》中第十二讲内容，源码好像也是需要32位的matlab才能运行成功，希望大家注意。
