1.6 KiB
Executable File
1.6 KiB
Executable File
created, type, tags
| created | type | tags | |
|---|---|---|---|
| 2026-04-28 | concept |
|
反向传播（Backpropagation）
神经网络训练的核心算法，通过链式法则计算梯度
定义
反向传播（Backpropagation，简称 BP）是一种用于训练神经网络的算法。它通过计算损失函数对每个权重的梯度（偏导数），使得网络可以沿梯度下降方向更新参数。
核心思想
前向传播：输入 → 网络 → 输出 → 计算损失
反向传播：损失 → 链式法则 → 每个权重的梯度 → 更新权重
数学基础
链式法则（Chain Rule）：
∂L/∂w = ∂L/∂output × ∂output/∂hidden × ∂hidden/∂w
即：损失对权重的梯度 = 各层梯度的乘积
工作流程
- 前向传播：数据通过网络，计算输出
- 计算损失：比较预测值与真实值
- 反向传播：从输出层向输入层逐层计算梯度
- 更新权重：沿梯度反方向更新参数
为什么叫"反向"？
- 前向传播：从输入到输出（推理方向）
- 反向传播：从输出到输入（梯度计算方向）
关键挑战
| 问题 | 说明 | 解决方案 |
|---|---|---|
| 梯度消失 | 深层网络中梯度越来越小 | ReLU、残差连接 |
| 梯度爆炸 | 梯度变得过大 | 梯度裁剪、归一化 |
相关概念
- 神经网络（反向传播的应用对象）
- 机器学习（反向传播是其中的训练算法）
- Transformer 架构（现代网络中的反向传播实现）
基于深度学习基础知识整理