chill_notes/wiki/Resources/方法论/神经网络.md

created, type, tags

created	type	tags
2026-04-28	concept	神经网络，深度学习，AI

神经网络（Neural Network）

受人脑神经元启发的计算模型，是现代 AI 的基础

定义

神经网络是一种由多层"神经元"组成的计算模型，通过调整层与层之间的权重来学习输入到输出的映射关系。

基本结构

输入层 → [隐藏层 1 → 隐藏层 2 → ...] → 输出层

• 神经元（Neuron）：接收输入 → 加权求和 → 激活函数 → 输出
• 权重（Weight）：连接强度，训练过程中学习
• 激活函数：引入非线性（如 ReLU、Sigmoid、GELU）

主要类型

类型	特点	应用
前馈网络（FFN）	最简单的多层网络	基础分类/回归
卷积网络（CNN）	局部感受野+权重共享	图像识别
循环网络（RNN）	有记忆的状态传递	序列处理
Transformer	自注意力机制	NLP、多模态
图神经网络（GNN）	在图上操作	知识图谱、社交网络

训练过程

前向传播 → 计算损失 → 反向传播 → 更新权重 → 重复

• 损失函数：衡量预测与真实的差距
• 梯度下降：沿损失减小方向更新权重
• 学习率：控制更新步长

与 AI 的关系

AI（人工智能）
└── ML（机器学习）
    └── DL（深度学习）= 多层神经网络
        └── LLM（大语言模型）= 超大规模 Transformer

相关概念

• Transformer 架构（现代 LLM 的神经网络架构）
• 监督学习 / 无监督学习（训练范式）
• RAG（基于神经网络的应用）

---

整理自 AI 基础知识