---
created: 2026-04-28
type: concept
tags: [反向传播，神经网络，梯度下降，深度学习]
---

# 反向传播（Backpropagation）

> 神经网络训练的核心算法，通过链式法则计算梯度

## 定义

反向传播（Backpropagation，简称 BP）是一种用于训练[[神经网络]]的算法。它通过计算损失函数对每个权重的梯度（偏导数），使得网络可以沿梯度下降方向更新参数。

## 核心思想

```
前向传播：输入 → 网络 → 输出 → 计算损失
反向传播：损失 → 链式法则 → 每个权重的梯度 → 更新权重
```

## 数学基础

链式法则（Chain Rule）：

```
∂L/∂w = ∂L/∂output × ∂output/∂hidden × ∂hidden/∂w
```

即：损失对权重的梯度 = 各层梯度的乘积

## 工作流程

1. **前向传播**：数据通过网络，计算输出
2. **计算损失**：比较预测值与真实值
3. **反向传播**：从输出层向输入层逐层计算梯度
4. **更新权重**：沿梯度反方向更新参数

## 为什么叫"反向"？

- 前向传播：从输入到输出（推理方向）
- 反向传播：从输出到输入（梯度计算方向）

## 关键挑战

| 问题 | 说明 | 解决方案 |
|------|------|---------|
| 梯度消失 | 深层网络中梯度越来越小 | ReLU、残差连接 |
| 梯度爆炸 | 梯度变得过大 | 梯度裁剪、归一化 |

## 相关概念

- [[神经网络]]（反向传播的应用对象）
- [[机器学习]]（反向传播是其中的训练算法）
- [[Transformer 架构]]（现代网络中的反向传播实现）

---

*基于深度学习基础知识整理*