- Artificial Neural Network Tutorial
- Artificial Neural Network - Home
- Basic Concepts
- Building Blocks
- Learning & Adaptation
- Supervised Learning
- Unsupervised Learning
- Learning Vector Quantization
- Adaptive Resonance Theory
- Kohonen Self-Organizing Feature Maps
- Associate Memory Network
- Hopfield Networks
- Boltzmann Machine
- Brain-State-in-a-Box Network
- Optimization Using Hopfield Network
- Other Optimization Techniques
- Genetic Algorithm
- Applications of Neural Networks
- Artificial Neural Network Resources
- Quick Guide
- Useful Resources
- Discussion
学习与适应
如前所述，ANN 完全受到生物神经系统（即人脑）工作方式的启发。人脑最令人印象深刻的特征是学习，因此人工神经网络也具有相同的特征。
人工神经网络中的学习是什么？
基本上，学习意味着当环境发生变化时，进行并适应自身的变化。ANN是一个复杂的系统，或者更准确地说，我们可以说它是一个复杂的自适应系统，它可以根据通过它的信息来改变其内部结构。
它为什么如此重要？
作为一个复杂的自适应系统，人工神经网络中的学习意味着处理单元能够随着环境的变化而改变其输入/输出Behave。当构建特定网络时，由于固定的激活函数以及输入/输出向量，人工神经网络中学习的重要性会增加。现在要改变输入/输出Behave，我们需要调整权重。
分类
它可以被定义为通过寻找同一类样本之间的共同特征来学习将样本数据区分为不同类的过程。例如，为了进行人工神经网络的训练，我们有一些具有独特特征的训练样本，而为了进行其测试，我们有一些具有其他独特特征的测试样本。分类是监督学习的一个例子。
神经网络学习规则
我们知道，在ANN学习过程中，为了改变输入/输出Behave，我们需要调整权重。因此，需要一种可以修改权重的方法。这些方法称为学习规则，它们只是算法或方程。以下是神经网络的一些学习规则 -
赫布学习规则
这条规则是最古老、最简单的规则之一，由 Donald Hebb 在 1949 年的《Behave组织》一书中提出。它是一种前馈、无监督学习。
基本概念- 该规则基于 Hebb 提出的提案，他写道 -
“当细胞 A 的轴突足够接近以激发细胞 B 并重复或持续地参与激发它时，一个或两个细胞中会发生一些生长过程或代谢变化，从而使 A 的效率成为激发 B 的细胞之一，增加了。”
根据上述假设，我们可以得出结论，如果两个神经元同时放电，则两个神经元之间的连接可能会加强，如果它们在不同时间放电，则可能会减弱。
数学公式- 根据赫布学习规则，以下是在每个时间步增加连接权重的公式。
$$\Delta w_{ji}(t)\:=\:\alpha x_{i}(t).y_{j}(t)$$
这里，$\Delta w_{ji}(t)$ = 连接权重在时间步t增加的增量
$\alpha$ = 正且恒定的学习率
$x_{i}(t)$ = 时间步t时突触前神经元的输入值
$y_{i}(t)$ = 同一时间步t的突触前神经元的输出
感知器学习规则
该规则是Rosenblatt提出的具有线性激活函数的单层前馈网络的监督学习算法的纠错算法。
基本概念- 由于本质上是受监督的，为了计算误差，需要在期望/目标输出和实际输出之间进行比较。如果发现任何差异，则必须更改连接权重。
数学公式- 为了解释其数学公式，假设我们有“n”个有限输入向量 x(n) 及其所需/目标输出向量 t(n)，其中 n = 1 到 N。
现在可以计算输出“y”，如前面根据净输入所解释的，并且应用于该净输入的激活函数可以表示如下 -
$$y\:=\:f(y_{in})\:=\:\begin{cases}1, & y_{in}\:>\:\theta \\0, & y_{in}\: \leqslant\:\theta\end{案例}$$
其中θ是阈值。
权重的更新可以在以下两种情况下完成 -
情况 I − 当t ≠ y时，则
$$w(新)\:=\:w(旧)\:+\;tx$$
情况 II − 当t = y时，则
体重没有变化
Delta 学习规则（Widrow-Hoff 规则）
它由 Bernard Widrow 和 Marcian Hoff 提出，也称为最小均方 (LMS) 方法，用于最小化所有训练模式的误差。它是一种具有连续激活函数的监督学习算法。
基本概念- 该规则的基础是梯度下降方法，它永远持续下去。Delta规则更新突触权重，以最小化输出单元的净输入和目标值。
数学公式- 为了更新突触权重，增量规则由下式给出
$$\Delta w_{i}\:=\:\alpha\:.x_{i}.e_{j}$$
这里 $\Delta w_{i}$ = 第 i 个模式的权重变化；
$\alpha$ = 正且恒定的学习率；
$x_{i}$ = 突触前神经元的输入值；
$e_{j}$ = $(t\:-\:y_{in})$，期望/目标输出与实际输出$y_{in}$之间的差异
上述增量规则仅适用于单个输出单元。
权重的更新可以在以下两种情况下完成 -
情况-I − 当t ≠ y时，则
$$w(新)\:=\:w(旧)\:+\:\Delta w$$
情况-II − 当t = y时，则
体重没有变化
竞争学习规则（赢者通吃）
它涉及无监督训练，其中输出节点尝试相互竞争以表示输入模式。为了理解这个学习规则，我们必须理解竞争网络，如下所示 -
竞争网络的基本概念- 该网络就像一个单层前馈网络，在输出之间具有反馈连接。输出之间的连接是抑制型的，如虚线所示，这意味着竞争对手永远不会支持自己。
竞争学习规则的基本概念- 如前所述，输出节点之间将会存在竞争。因此，主要概念是在训练期间，对给定输入模式具有最高激活的输出单元将被宣布为获胜者。该规则也称为赢家通吃，因为只有获胜的神经元被更新，其余神经元保持不变。
数学公式- 以下是此学习规则的数学公式的三个重要因素 -
成为获胜者的条件- 假设如果一个神经元 $y_{k}$ 想成为获胜者，那么将有以下条件 -
$$y_{k}\:=\:\begin{cases}1 & if\:v_{k}\:>\:v_{j}\:对于所有\:j,\:j\:\ neq\:k\\0 & 否则\end{cases}$$
这意味着如果任何神经元（比如 $y_{k}$ ）想要获胜，那么它的感应局部场（求和单元的输出）（比如 $v_{k}$）必须是所有其他神经元中最大的在网络中。
权重总和条件- 竞争性学习规则的另一个约束是，特定输出神经元的权重总和将为 1。例如，如果我们考虑神经元k ，则 -
$$\displaystyle\sum\limits_{j}w_{kj}\:=\:1\:\:\:\:\:\:\:\:\:对于所有\:k$$
获胜者权重的变化- 如果神经元不响应输入模式，则该神经元不会进行学习。然而，如果特定神经元获胜，则相应的权重将按如下方式调整
$$\Delta w_{kj}\:=\:\begin{cases}-\alpha(x_{j}\:-\:w_{kj}), & if\:神经元\:k\:获胜\\ 0, & if\:神经元\:k\:损失\end{cases}$$
这里$\alpha$是学习率。
这清楚地表明，我们通过调整获胜神经元的权重来支持获胜的神经元，如果神经元丢失，那么我们无需费心重新调整其权重。
Outstar学习规则
格罗斯伯格提出的这条规则与监督学习有关，因为期望的输出是已知的。它也被称为格罗斯伯格学习。
基本概念- 该规则应用于排列在层中的神经元。它专门设计用于产生p 个神经元层的所需输出d。
数学公式- 此规则中的权重调整计算如下
$$\Delta w_{j}\:=\:\alpha\:(d\:-\:w_{j})$$
这里d是期望的神经元输出，$\alpha$ 是学习率。