反向传播是如何工作的?
反向传播定义了整个过程,包括梯度的计算及其在随机梯度下降中的需求。从技术上讲,反向传播用于计算网络误差相对于网络可修改权重的梯度。
反向传播的特点是采用迭代、递归和有效的方法,通过该方法计算更新后的权重来增强网络,直到网络无法执行其训练的功能。反向传播需要在网页设计时知道激活服务的导数。
反向传播通常用于神经网络训练,并计算与网络权重相关的损失函数。它与多层神经网络协同工作,并观察输入输出映射的内部表示。
它是人工神经网络训练的标准形式,有助于计算网络中所有权重的梯度损失函数。反向传播算法通过链式法则更有效地训练神经网络。它定义了在每次前向传播之后,反向传播通过调整模型的参数来实现网络的反向传播。
该梯度用于简单的随机梯度下降算法,以找到最小化误差的权重。误差从输出节点反向传播到内部节点。
反向传播通过迭代处理训练元组的数据集合,将网络对每个元组的指标与实际已知的目标值进行比较来理解。目标值可以是训练元组的已知类别标签(用于分类问题)或连续值(用于预测)。
对于每个训练元组,权重都会被修改,以最小化网络预测值与实际目标值之间的均方误差。这些修改是"向后"进行的,即从输出层开始,经过每个隐藏层,直到第一个隐藏层(因此得名反向传播)。虽然没有保护机制,但通常情况下,权重最终会聚集在一起,学习过程结束。
反向传播的类型
反向传播有两种类型,分别为:−
静态反向传播 − 在这种类型的反向传播中,静态输出是由静态输入的映射生成的。它可以解决诸如光学字符识别之类的静态分类问题。
循环反向传播 − 循环传播向前进行,直到达到某个确定的值或阈值。达到特定值后,计算错误并向后传播。

