59 lines
1.6 KiB
Markdown
Executable File
59 lines
1.6 KiB
Markdown
Executable File
---
|
||
created: 2026-04-28
|
||
type: concept
|
||
tags: [反向传播，神经网络，梯度下降，深度学习]
|
||
---
|
||
|
||
# 反向传播（Backpropagation）
|
||
|
||
> 神经网络训练的核心算法，通过链式法则计算梯度
|
||
|
||
## 定义
|
||
|
||
反向传播（Backpropagation，简称 BP）是一种用于训练[[神经网络]]的算法。它通过计算损失函数对每个权重的梯度（偏导数），使得网络可以沿梯度下降方向更新参数。
|
||
|
||
## 核心思想
|
||
|
||
```
|
||
前向传播：输入 → 网络 → 输出 → 计算损失
|
||
反向传播：损失 → 链式法则 → 每个权重的梯度 → 更新权重
|
||
```
|
||
|
||
## 数学基础
|
||
|
||
链式法则（Chain Rule）：
|
||
|
||
```
|
||
∂L/∂w = ∂L/∂output × ∂output/∂hidden × ∂hidden/∂w
|
||
```
|
||
|
||
即：损失对权重的梯度 = 各层梯度的乘积
|
||
|
||
## 工作流程
|
||
|
||
1. **前向传播**：数据通过网络，计算输出
|
||
2. **计算损失**：比较预测值与真实值
|
||
3. **反向传播**：从输出层向输入层逐层计算梯度
|
||
4. **更新权重**：沿梯度反方向更新参数
|
||
|
||
## 为什么叫"反向"？
|
||
|
||
- 前向传播：从输入到输出（推理方向）
|
||
- 反向传播：从输出到输入（梯度计算方向）
|
||
|
||
## 关键挑战
|
||
|
||
| 问题 | 说明 | 解决方案 |
|
||
|------|------|---------|
|
||
| 梯度消失 | 深层网络中梯度越来越小 | ReLU、残差连接 |
|
||
| 梯度爆炸 | 梯度变得过大 | 梯度裁剪、归一化 |
|
||
|
||
## 相关概念
|
||
|
||
- [[神经网络]]（反向传播的应用对象）
|
||
- [[机器学习]]（反向传播是其中的训练算法）
|
||
- [[Transformer 架构]]（现代网络中的反向传播实现）
|
||
|
||
---
|
||
|
||
*基于深度学习基础知识整理* |