7.4.1 全连接与局部连接

1968 年 ， 生 物 学 家 休 伯 尔 （ David Hunter Hubel ） 教 授 与 维 泽 尔 （Torsten N.Wiesel）教授在研究动物如何处理视觉信息时有一个重要的发 现。他们发现动物大脑皮层是分级、分层处理信息的。在大脑的初级视觉皮层 中存在好几种不同的细胞，这些不同类型的细胞?担着不同层次的视觉感知工 作。 两位学者的研究成果对于神经网络领域有着重要的启发。原来当我们思考 的时候，大脑里的神经元不是采用“全连接”的方式，也就是说没有必要激活 大脑所有细胞去思考一件事情。那么人工神经网络是否也可以像大脑一样，使 用神经元“局部激活”的模式？这样一来，可以大大简化神经网络的复杂性。 径向基函数神经网络就是其中的代表之一。 径向基函数（Radial Basis Function，RBF）神经网络是一种性能优良的 前馈型神经网络，与基于BP算法的其他前向神经网络一样，其能够实现对任意 非线性函数的?近，这一点是所有神经网络的共性，?近能力取决于隐藏层的 神经元个数。RBF神经网络由输入层、隐藏层、输出层组成。从输入空间到隐 藏层空间的变换是非线性的，而从隐藏层空间到输出层空间的变换是线性的， 如图7-13所示。

从网络结构上看，RBF神经网络与BP神经网络有明显的差异。主要表现在 以?三个方面： （1）BP神经网络可以包含多个隐藏层，但是RBF只有一个隐藏层。 （2）BP神经网络实行权值连接，隐藏层单元的转移函数一般选择非线性 函数。而在RBF神经网络中输入层到隐藏层之间为直接连接，隐藏层到输出层 实行权值连接，RBF神经网络隐藏层单元的转移函数一般是中心对称的高斯函 数。 （3）BP神经网络是全局?近网络，网络中各个参数对于输出结果都有影 响。每次输入新的样本，网络所有神经元的权值全部都要更新，因此学习速度 比较慢；RBF神经网络是局部?近网络，也就是说在网络输入空间的某个局部 区域只有少数几个连接神经元影响网络的输出。如图 7-14 所示，每次输入 时，只有和输入样本向量较为接近的神经元才会活跃起来，对应的权值才会更 新，其他权值保持不变，这是由高斯分布函数的特点决定的。

 

BP神经网络好比是，当我们看到一张猫的图像时，大脑里负责视觉、嗅 觉、味觉、?觉的神经元全部都被激活。大脑全局响应，综合所有感官计算之 后判断出这是一只猫的图片；RBF 神经网络好比是当我们看到一张猫的图像 时，大脑里只有负责视觉的神经元被激活，其他的嗅觉、味觉、?觉的神经元 不会被激活。大脑局部响应，计算量小，这样模型的运算速度当然比BP神经网 络要快得多。 7.4.2 改变激活函数 造成以上区别的主要原因在于两种网络中隐藏层神经元的激活函数不同。 RBF网络的基本思想是用高斯函数作为隐藏层神经元的基本构成，然后将输入 直接映射到隐藏层空间，不需要通过权重连接 。当RBF的中心点确定以后， 映射关系也随之确定。隐藏层到输出层的映射是线性的，即网络的输出是隐藏 层所有神经元输出的线性加权和。在RBF神经网络中，隐藏层的作用是将数据 从低维空间映射到高维空间，当将低维空间中线性不可分的数据集转换到高维 空间时可以找到线性可分的超平面。例如在二维平面无法线性区分的数据被映 射到三维空间中时可以找到一个平面区分，如图7-15所示。

 

在RBF网络中输入到输出的映射是非线性的，而输出对可调参数而言?是 线性的。这种设计让网络的权值可由线性方程组直接解出，从而提升学习速度 并避免局部极小问题。 为什么使用高斯函数作为激活函数以后，全局?近网络会变成局部?近网 络呢？我们来看看高斯函数的图像特点，高斯函数的图像符合正态分布，函数 图像是两边衰减且径向对称的，如图7-16所示。

 

RBF 神经网络的隐藏层神经元采用输入样本与中心向量的距离（如欧式距 离）作为函数的自变量。神经元的输入离激活函数的中心越远，神经元的激活 程度就越低。这句话可以理解为：与输入样本距离较近的神经元，在高斯公式 的作用?就会被映射到较大的值，这时候神经元才能够被激活。 与输入样本距离较远的神经元就被映射到几乎为0的值，即神经元没有被 激活，在反向传播的时候没有权值不更新。从全局的角度来看，网络中只有一 部分神经元更新权值，也就是所谓的局部学习。由此可见对于RBF神经网络而 言，核心问题是确定隐藏层神经元的中心参数。常用的方法是从给定的训练样 本集里按照某种方法直接选取中心参数，或者通过聚类的方法获得。 RBF网络的优点在于，网络可根据具体问题确定相应的拓扑结构，具有自 学习、自组织、自适应的特点。它对非线性连续函数具有一致?近性，学习速 度快，可以进行大范围的数据融合，可以并行高速地处理数据。目前 RBF 神 经网络已成功应用于非线性函数?近、时间序列分析、模式识别、图像处理、 控制和故障诊断等不同的领域。 目前人工神经网络已经在一些特定领域取得了举世瞩目的成绩，可它的学 习和训练?往往是一个艰难的过程，为了获得最佳效果，常常要重复试验多 次。因此，神经网络的多元化应用、场景的挖掘离不开产品经理与工程师共同 的努力。随着业界对神经网络的深入研究以及硬件计算能力的提升，相信在不 久的将来，神经网络一定有更广泛的应用。 

查看原文