Transformer 架构深度拆解从 Attention 到 Agent 的底层密码想理解 Agent先理解大模型想理解大模型先理解 Transformer。这篇没有一行多余的代码只有你真正需要知道的底层原理。前言为什么 Agent 学习要从 Transformer 开始2026 年你随便打开一个 Agent 框架——OpenClaw、LangGraph、CrewAI——底层都在调用 LLM。而当前所有主流 LLMGPT-5、Claude 4、Llama 4、Qwen 3、DeepSeek V3/R1、GLM-5.2的架构核心都是Transformer。这不是历史课。Transformer 的设计直接影响了你作为 Agent 开发者每天遇到的问题为什么上下文窗口有长度限制→ 因为 Self-Attention 的计算复杂度是输入长度的平方为什么 Agent 容易记忆出错→ 因为 Attention 机制本身的注意力分散为什么不同模型推理速度差这么多→ 因为 KV Cache 和 Attention 的实现差异为什么多轮对话会越聊越笨→ 因为位置编码和上下文窗口的限制不夸张地说Transformer 的每一个设计决策都在 Agent 开发中表现得淋漓尽致。一、Transformer 之前为什么需要它1.1 序列建模的三大难题在 Transformer 出现之前2017 年以前处理序列数据的主力是 RNN循环神经网络和 LSTM。它们有三个硬伤问题表现后果顺序计算必须从左到右逐个处理 token无法并行训练慢到怀疑人生长距离依赖距离超过 50 个 token信息几乎消失长文本理解能力极差梯度问题反向传播时梯度指数级消失/爆炸训练不稳定深了训不动1.2 Transformer 的破局思路Transformer 的核心思想可以用一句话概括把序列建模问题变成注意力权重分配问题。不再沿着时间步逐个处理而是让每个 token 直接看到所有其他 token用注意力权重决定哪些信息重要。这就是Transformer这个名字的由来——它在转换Transform整个序列而不是一步步遍历。二、整体架构一图看懂Transformer 的架构图来自原论文 “Attention Is All You Need”分为左右两半┌──────────────────────┐ │ Output Probabilities│ └──────────┬───────────┘ │ ┌──────────▼───────────┐ │ Softmax │ └──────────┬───────────┘ │ ┌──────────▼───────────┐ │ Linear │ └──────────┬───────────┘ │ ┌────────────────────▼────────────────────┐ │ Add Layer Norm │ └────────────────────┬────────────────────┘ │ ┌────────────────────▼────────────────────┐ │ Feed Forward Network │ └────────────────────┬────────────────────┘ │ ┌────────────────────▼────────────────────┐ │ Add Layer Norm │ └────────────────────┬────────────────────┘ │ ┌────────────────────▼────────────────────┐ │ Multi-Head Attention │ └────────────────────┬────────────────────┘ │ ┌─────────▼─────────┐ ┌─────▼──────┐ │ Positional │ │ Positional│ │ Encoding │ │ Encoding │ └─────────┬─────────┘ └─────┬──────┘ │ │ ┌─────────▼─────────┐ ┌─────▼──────┐ │ Input Embedding │ │ Output │ │ │ │ Embedding │ └─────────┬─────────┘ └─────┬──────┘ │ │ Input Tokens Output Tokens当代 LLM 实际用的是 Decoder-Only 架构右侧部分去掉 Cross-Attention。GPT、Llama、Qwen、DeepSeek 都是 Decoder-Only。原因很简单生成任务只需要自回归解码不需要编码器去理解整个输入。但不管 Encoder-Decoder 还是 Decoder-Only核心组件完全相同Embedding 层把 token 变成向量Positional Encoding告诉模型 token 的位置Multi-Head Self-Attention核心中的核心Feed-Forward Network非线性变换Layer Normalization Residual Connection稳定训练三、核心组件拆解3.1 Embedding从词到向量模型不认识猫这个字只认识数字。Embedding 做的就是这个翻译工作。输入猫追老鼠 ↓ Tokenizer 分词 [猫, 追, 老, 鼠] ↓ 查表可训练的 Embedding 矩阵 [[0.12, 0.34, -0.56, ...], // 猫 的向量768维 [0.23, -0.45, 0.67, ...], // 追 的向量 [-0.11, 0.89, -0.22, ...], // 老 的向量 [0.54, -0.33, 0.78, ...]] // 鼠 的向量关键理解Embedding 是可训练的。模型在训练过程中不断调整每个 token 的向量表示让语义相近的词向量更接近猫和狗的向量距离比猫和法律近。Embedding 维度也叫 hidden_size 或 d_model是 Transformer 最重要的超参数之一小模型如 GPT-2 Small768 维中模型如 Llama 3 8B4096 维大模型如 GPT-5推测 8192 维以上超大 MoE如 GLM-5.2 744B MoE推测 12288 维3.2 位置编码给 token 装上 GPSAttention 机制本身没有顺序概念。在 Self-Attention 中猫追老鼠和鼠追老猫的计算结果完全一样——因为 Attention 只关心 token 之间的关联强度不关心谁先谁后。这显然不行。位置编码就是用来解决这个问题的。原始 Transformer2017Sinusoidal 位置编码使用正弦和余弦函数生成固定位置向量不需要训练PE(pos, 2i) sin(pos / 10000^(2i/d_model)) PE(pos, 2i1) cos(pos / 10000^(2i/d_model))效果每个位置有一个唯一的指纹而且任意位置的编码可以通过线性变换得到。当代主流RoPERotary Position EmbeddingLlama、Qwen、DeepSeek 等模型全部使用 RoPE。它的核心思想是对 Attention 计算中的 Query 和 Key 向量做旋转旋转角度由位置决定。位置越远旋转角度越大Query 和 Key 的点积自然衰减。这天然给了模型距离越近的 token 越重要的归纳偏置。RoPE 为什么成为主流相对位置编码可以泛化到训练时未见过的长度可以配合NTK-aware等插值方法扩展到长上下文计算效率高不影响推理速度延伸阅读位置编码的选择直接决定了模型能否处理长上下文。GPT-5 的 256K 上下文、Claude 4 的 500K 上下文背后都是位置编码的改进。DeepSeek 的 MLAMulti-head Latent Attention创新DeepSeek V3 引入了 MLA多头潜在注意力这是一种对 KV Cache 的极致压缩方案。传统 Attention 中KV Cache 随上下文长度线性增长而 MLA 通过将 K 和 V 压缩到低维潜在空间将 KV Cache 大小降低到原来的约 1/4同时保持相近的注意力质量。这使得 DeepSeek V3 在 128K 上下文下的显存占用远低于同级别模型。3.3 Scaled Dot-Product Attention核心心脏这是 Transformer 最核心的计算单元。公式看起来简单但内涵极深Attention(Q, K, V) softmax(Q × K^T / √d_k) × V我们拆开来看每一步Step 1: Q × K^T —— 计算相似度Q Query查询当前这个 token 在找什么 K Key键每个 token 提供了什么举例在处理猫追老鼠这句话时模型在处理老鼠这个词时会问Q与老鼠最相关的词是哪些对每个位置计算 Q·K (“老鼠”·“猫”) 0.8, (“老鼠”·“追”) 0.6, (“老鼠”·“老”) 0.3, (“老鼠”·“鼠”) 1.0Step 2: √d_k —— 缩放为什么除以 √d_k因为向量维度越高点积的数值范围越大。如果不缩放softmax 会进入梯度极小的区域训练不动。这是 Transformer 原论文的一个关键工程洞察。Step 3: softmax —— 归一化成概率softmax([0.8, 0.6, 0.3, 1.0]) [0.27, 0.22, 0.16, 0.35]Step 4: × V —— 加权求和V Value值“每个 token 实际提供的信息”输出 0.27 × 猫 0.22 × 追 0.16 × 老 0.35 × 鼠最终输出每个位置的输出都是所有位置信息的加权混合权重由 Attention 分数决定。这就是注意力的全部秘密不是真的关注而是加权平均。3.4 Multi-Head Attention分组并行看问题单头 Attention 的问题是每个 token 只能有一个注意力模式。但实际中一个词可能需要关注多种不同的信息语法关系老鼠是追的宾语语义关系老鼠是猫的天敌位置关系老鼠在句尾Multi-Head Attention 的做法是把 Q、K、V 分别切分成 h 份每份独立计算 Attention然后拼接起来。输入: [768维] ↓ 切分成 12 个头 头1: [64维] → 独立 Attention → [64维] 头2: [64维] → 独立 Attention → [64维] ... 头12: [64维] → 独立 Attention → [64维] ↓ 拼接 输出: [768维]为什么 Multi-Head 有效每个头可以学习不同的注意力模式头 1-3关注语法关系主谓宾头 4-6关注语义关系同义词、上下位头 7-9关注位置关系相邻词头 10-12关注长距离依赖对 Agent 开发的启示当你给 Agent 提供很长的上下文时不同的 Attention Head 在争夺注意力资源。如果上下文充满了无关信息有用的信号可能被淹没。GQAGrouped-Query Attention的普及2026 年大多数新模型Llama 3、Qwen 3、DeepSeek V3已经从传统的 MHAMulti-Head Attention转向 GQA 或 MQAMulti-Query Attention。GQA 让多个 Query 头共享同一组 K 和 V从而大幅减少 KV Cache 的显存占用同时保持接近 MHA 的质量。例如 Llama 3 8B 使用 8 个 Query 头共享 1 组 KVKV Cache 减少到 MHA 的 1/8。这是让长上下文推理变得实际可行的关键架构改进。3.5 Feed-Forward Network每个位置独立思考Attention 完成后每个 token 的表示已经包含了上下文信息。接下来逐位置通过一个两层的全连接网络FFN(x) W2 × ReLU(W1 × x b1) b2关键理解Attention 是token 之间的信息交换FFN 是每个 token 独立消化信息类比Attention 是开会讨论大家互相交换信息FFN 是散会后各自回家思考每个人独立处理得到的信息。FFN 在模型参数量中占比很大约 2/3 的总参数是模型记住知识的主要场所。这也是为什么专家混合MoE模型要在这里做文章——把 FFN 拆成多个专家网络每次只激活一部分。2026 年 MoE 架构现状2026 年MoE 已成为超大模型的主流架构。代表性模型包括DeepSeek V3671B 总参数37B 激活参数256 个专家每次激活 8 个GLM-5.2744B 总参数约 32B 激活参数采用稀疏 MoE 架构Qwen 3采用 MoE 架构总参数与激活参数比约 10:1GPT-5推测采用更细粒度的 MoE激活比例更低MoE 的核心优势总参数决定知识容量激活参数决定推理成本。这使得模型可以大而快——既有海量知识又保持较低推理延迟。3.6 Layer Normalization Residual ConnectionResidual Connection残差连接output Layer(input Sublayer(input))把输入直接加到子层的输出上。解决深度网络退化问题——让梯度可以直接流回浅层让模型可以训练 100 层以上。Layer Normalization层归一化对每个 token 的所有维度做归一化让数值分布稳定在均值为 0、方差为 1 的范围内。Pre-Norm vs Post-Norm原始 TransformerPost-Norm先子层再归一化当代模型GPT、LlamaPre-Norm先归一化再子层Pre-Norm 训练更稳定不需要 warmup 也能训RMSNorm 的普及2026 年大多数主流模型Llama 3、Qwen 3、DeepSeek V3、GLM-5.2已经从标准 LayerNorm 转向 RMSNormRoot Mean Square Normalization。RMSNorm 去掉了均值的计算只做方差归一化计算量减少约 20%效果与 LayerNorm 几乎一致。四、Encoder-Decoder vs Decoder-Only4.1 架构对比特性Encoder-DecoderDecoder-Only代表模型T5、BART、早期 TransformerGPT-5、Llama 4、Qwen 3、DeepSeek V3输入处理Encoder 双向注意力Decoder 单向因果注意力输出生成Decoder 自回归自回归适合任务翻译、摘要、分类对话、生成、代码Agent 应用极少几乎所有4.2 为什么 Agent 都用 Decoder-Only本质原因Agent 的任务是持续生成不是理解后输出。Agent 的工作模式是接收用户输入思考内部推理生成回复可能调用工具继续生成这个循环天然是自回归的Decoder-Only 完美匹配。Encoder-Decoder 需要先编码再解码在多轮交互中需要重复编码效率低。4.3 因果注意力Causal AttentionDecoder-Only 的核心是因果注意力每个 token 只能看到自己和前面的 token不能看到后面的。猫追老鼠 ↓ 猫 → 只能看到 [猫] 追 → 只能看到 [猫, 追] 老 → 只能看到 [猫, 追, 老] 鼠 → 能看到 [猫, 追, 老, 鼠]实现方式Attention Mask。把未来位置的 Attention 分数设为 -∞softmax 后变为 0。Attention Mask: [猫, 追, 老, 鼠] [1, 0, 0, 0] 猫 只看自己 [1, 1, 0, 0] 追 看猫和追 [1, 1, 1, 0] 老 看前三个 [1, 1, 1, 1] 鼠 看全部对 Agent 开发的意义Agent 的思考过程Chain-of-Thought就是利用因果注意力的特性——模型先生成思考过程的 token这些 token 成为后续生成的上下文一步步引导最终输出。五、复杂度分析为什么上下文窗口是平方级的5.1 Attention 的计算复杂度Self-Attention 的时间复杂度是O(n² × d)其中 n 是序列长度d 是隐藏维度。n 40964K 上下文 → 需要计算 4096² 16,777,216 个 Attention 分数 n 3276832K 上下文 → 需要计算 32768² 1,073,741,824 个 Attention 分数上下文长度翻 8 倍计算量翻 64 倍。这就是为什么长上下文那么贵。5.2 内存占用不仅计算量大Attention 的内存占用也是 O(n²)存储 Attention 分数矩阵n × n × 2 字节FP16n4096约 32MBn32768约 2GBn131072约 32GB5.3 缓解方案方案原理代价Sparse Attention只计算部分 token 对丢失长距离信息Sliding Window只关注附近 token丢失远程依赖Flash Attention 3不显式构建 Attention 矩阵纯工程优化无信息损失KV Cache MLA复用已计算的 K、V / 压缩 KV线性空间换时间线性注意力用核函数替代标准 Attention精度有损Flash Attention 是当前最实用的方案它通过分块计算和重计算把显存占用从 O(n²) 降到 O(n)速度也翻倍。几乎所有现代推理引擎都用了它。六、从 Transformer 到 Agent6.1 理解 Transformer 如何影响 Agent 设计Transformer 特性对 Agent 的影响固定上下文窗口Agent 的记忆有限需要外部记忆系统注意力分散上下文越长Agent 越容易忽略关键信息因果注意力Agent 的思考必然是线性的无法并行思考逐 token 生成Agent 的响应速度受限于 token 生成速度位置编码Agent 对长对话的顺序敏感Attention 头分工不同头关注不同维度但资源有限6.2 一个具体例子为什么 Agent 在多轮对话中容易忘记前面的信息轮次 1: 用户说帮我写一个 Python 爬虫 轮次 10: 用户说用之前那个爬虫但改成异步版本从 Transformer 的角度看轮次 1 的信息在 Attention 中与轮次 10 的信息竞争如果轮次 1-9 积累了 3000 个 token轮次 10 的异步关键词需要从 3000 个 token 中脱颖而出不同 Attention Head 可能被不同信息吸引导致轮次 1 的细节被稀释这就是为什么 Agent 需要显式的记忆管理和上下文压缩而不是依赖 Transformer 的注意力机制。七、2026 年 Transformer 的进化方向7.1 当前最新进展方向代表工作核心改进Attention 加速Flash Attention 3利用 Hopper GPU 硬件特性进一步降低显存KV Cache 压缩DeepSeek MLA将 KV 压缩到低维潜在空间显存降至 1/4长上下文Qwen 31M token、Gemini 2.02M token结合 RoPE 改进 稀疏注意力MoE 架构DeepSeek V3、GLM-5.2、Qwen 3只激活部分参数降低推理成本混合架构JambaAttentionMamba、Falcon-MambaAttention SSM 组合兼顾精度与效率推理优化Speculative Decoding、Medusa多个 token 同时预测加速生成7.2 Attention 会被替代吗MambaState Space Model和 RWKV 这类替代方案在长序列任务上展现出了潜力。2026 年的现状Mamba2 已发布在序列建模上进一步逼近 Attention 的精度Attention 在需要精确检索的任务上依然不可替代——比如 Agent 需要从上下文中找到某个具体信息线性注意力适合全局理解但精确性不足主流趋势是混合架构Attention SSM 的组合如 AI21 的 Jamba 模型在每层中交替使用 Attention 和 Mamba对 Agent 开发者来说短期内 Attention 依然是核心但混合架构正在快速发展值得关注。总结Transformer 的核心就是把序列建模变成了注意力权重分配。从此序列长度不再是模型能力的瓶颈——但计算量成了。作为 Agent 开发者你不需要重写 Attention但需要理解Agent 的所有问题都能在 Transformer 层面找到根源记忆、速度、上下文长度Attention 的 O(n²) 复杂度决定了 Agent 的工程上限位置编码的选择决定了 Agent 能处理多长的对话因果注意力的线性特性决定了 Agent 的思考模式MoE 架构正在改变大模型慢模型的固有认知下一篇文章我们将深入 LLM 的预训练过程理解 Scaling Law、Chinchilla 最优计算以及模型究竟是怎么学会知识的。思考题如果 Attention 不是唯一的信息交换机制你还能想到哪些方式让 token 之间共享信息为什么 Agent 的记忆不能完全依赖 Transformer 的上下文窗口Flash Attention 是怎么做到不构建 Attention 矩阵的它的核心思路是什么DeepSeek 的 MLA 技术是如何在保持注意力质量的同时压缩 KV Cache 的下一篇[02] 从 GPT 到 LLM预训练与扩展定律
Transformer 架构深度拆解从 Attention 到 Agent 的底层密码想理解 Agent先理解大模型想理解大模型先理解 Transformer。这篇没有一行多余的代码只有你真正需要知道的底层原理。前言为什么 Agent 学习要从 Transformer 开始2026 年你随便打开一个 Agent 框架——OpenClaw、LangGraph、CrewAI——底层都在调用 LLM。而当前所有主流 LLMGPT-5、Claude 4、Llama 4、Qwen 3、DeepSeek V3/R1、GLM-5.2的架构核心都是Transformer。这不是历史课。Transformer 的设计直接影响了你作为 Agent 开发者每天遇到的问题为什么上下文窗口有长度限制→ 因为 Self-Attention 的计算复杂度是输入长度的平方为什么 Agent 容易记忆出错→ 因为 Attention 机制本身的注意力分散为什么不同模型推理速度差这么多→ 因为 KV Cache 和 Attention 的实现差异为什么多轮对话会越聊越笨→ 因为位置编码和上下文窗口的限制不夸张地说Transformer 的每一个设计决策都在 Agent 开发中表现得淋漓尽致。一、Transformer 之前为什么需要它1.1 序列建模的三大难题在 Transformer 出现之前2017 年以前处理序列数据的主力是 RNN循环神经网络和 LSTM。它们有三个硬伤问题表现后果顺序计算必须从左到右逐个处理 token无法并行训练慢到怀疑人生长距离依赖距离超过 50 个 token信息几乎消失长文本理解能力极差梯度问题反向传播时梯度指数级消失/爆炸训练不稳定深了训不动1.2 Transformer 的破局思路Transformer 的核心思想可以用一句话概括把序列建模问题变成注意力权重分配问题。不再沿着时间步逐个处理而是让每个 token 直接看到所有其他 token用注意力权重决定哪些信息重要。这就是Transformer这个名字的由来——它在转换Transform整个序列而不是一步步遍历。二、整体架构一图看懂Transformer 的架构图来自原论文 “Attention Is All You Need”分为左右两半┌──────────────────────┐ │ Output Probabilities│ └──────────┬───────────┘ │ ┌──────────▼───────────┐ │ Softmax │ └──────────┬───────────┘ │ ┌──────────▼───────────┐ │ Linear │ └──────────┬───────────┘ │ ┌────────────────────▼────────────────────┐ │ Add Layer Norm │ └────────────────────┬────────────────────┘ │ ┌────────────────────▼────────────────────┐ │ Feed Forward Network │ └────────────────────┬────────────────────┘ │ ┌────────────────────▼────────────────────┐ │ Add Layer Norm │ └────────────────────┬────────────────────┘ │ ┌────────────────────▼────────────────────┐ │ Multi-Head Attention │ └────────────────────┬────────────────────┘ │ ┌─────────▼─────────┐ ┌─────▼──────┐ │ Positional │ │ Positional│ │ Encoding │ │ Encoding │ └─────────┬─────────┘ └─────┬──────┘ │ │ ┌─────────▼─────────┐ ┌─────▼──────┐ │ Input Embedding │ │ Output │ │ │ │ Embedding │ └─────────┬─────────┘ └─────┬──────┘ │ │ Input Tokens Output Tokens当代 LLM 实际用的是 Decoder-Only 架构右侧部分去掉 Cross-Attention。GPT、Llama、Qwen、DeepSeek 都是 Decoder-Only。原因很简单生成任务只需要自回归解码不需要编码器去理解整个输入。但不管 Encoder-Decoder 还是 Decoder-Only核心组件完全相同Embedding 层把 token 变成向量Positional Encoding告诉模型 token 的位置Multi-Head Self-Attention核心中的核心Feed-Forward Network非线性变换Layer Normalization Residual Connection稳定训练三、核心组件拆解3.1 Embedding从词到向量模型不认识猫这个字只认识数字。Embedding 做的就是这个翻译工作。输入猫追老鼠 ↓ Tokenizer 分词 [猫, 追, 老, 鼠] ↓ 查表可训练的 Embedding 矩阵 [[0.12, 0.34, -0.56, ...], // 猫 的向量768维 [0.23, -0.45, 0.67, ...], // 追 的向量 [-0.11, 0.89, -0.22, ...], // 老 的向量 [0.54, -0.33, 0.78, ...]] // 鼠 的向量关键理解Embedding 是可训练的。模型在训练过程中不断调整每个 token 的向量表示让语义相近的词向量更接近猫和狗的向量距离比猫和法律近。Embedding 维度也叫 hidden_size 或 d_model是 Transformer 最重要的超参数之一小模型如 GPT-2 Small768 维中模型如 Llama 3 8B4096 维大模型如 GPT-5推测 8192 维以上超大 MoE如 GLM-5.2 744B MoE推测 12288 维3.2 位置编码给 token 装上 GPSAttention 机制本身没有顺序概念。在 Self-Attention 中猫追老鼠和鼠追老猫的计算结果完全一样——因为 Attention 只关心 token 之间的关联强度不关心谁先谁后。这显然不行。位置编码就是用来解决这个问题的。原始 Transformer2017Sinusoidal 位置编码使用正弦和余弦函数生成固定位置向量不需要训练PE(pos, 2i) sin(pos / 10000^(2i/d_model)) PE(pos, 2i1) cos(pos / 10000^(2i/d_model))效果每个位置有一个唯一的指纹而且任意位置的编码可以通过线性变换得到。当代主流RoPERotary Position EmbeddingLlama、Qwen、DeepSeek 等模型全部使用 RoPE。它的核心思想是对 Attention 计算中的 Query 和 Key 向量做旋转旋转角度由位置决定。位置越远旋转角度越大Query 和 Key 的点积自然衰减。这天然给了模型距离越近的 token 越重要的归纳偏置。RoPE 为什么成为主流相对位置编码可以泛化到训练时未见过的长度可以配合NTK-aware等插值方法扩展到长上下文计算效率高不影响推理速度延伸阅读位置编码的选择直接决定了模型能否处理长上下文。GPT-5 的 256K 上下文、Claude 4 的 500K 上下文背后都是位置编码的改进。DeepSeek 的 MLAMulti-head Latent Attention创新DeepSeek V3 引入了 MLA多头潜在注意力这是一种对 KV Cache 的极致压缩方案。传统 Attention 中KV Cache 随上下文长度线性增长而 MLA 通过将 K 和 V 压缩到低维潜在空间将 KV Cache 大小降低到原来的约 1/4同时保持相近的注意力质量。这使得 DeepSeek V3 在 128K 上下文下的显存占用远低于同级别模型。3.3 Scaled Dot-Product Attention核心心脏这是 Transformer 最核心的计算单元。公式看起来简单但内涵极深Attention(Q, K, V) softmax(Q × K^T / √d_k) × V我们拆开来看每一步Step 1: Q × K^T —— 计算相似度Q Query查询当前这个 token 在找什么 K Key键每个 token 提供了什么举例在处理猫追老鼠这句话时模型在处理老鼠这个词时会问Q与老鼠最相关的词是哪些对每个位置计算 Q·K (“老鼠”·“猫”) 0.8, (“老鼠”·“追”) 0.6, (“老鼠”·“老”) 0.3, (“老鼠”·“鼠”) 1.0Step 2: √d_k —— 缩放为什么除以 √d_k因为向量维度越高点积的数值范围越大。如果不缩放softmax 会进入梯度极小的区域训练不动。这是 Transformer 原论文的一个关键工程洞察。Step 3: softmax —— 归一化成概率softmax([0.8, 0.6, 0.3, 1.0]) [0.27, 0.22, 0.16, 0.35]Step 4: × V —— 加权求和V Value值“每个 token 实际提供的信息”输出 0.27 × 猫 0.22 × 追 0.16 × 老 0.35 × 鼠最终输出每个位置的输出都是所有位置信息的加权混合权重由 Attention 分数决定。这就是注意力的全部秘密不是真的关注而是加权平均。3.4 Multi-Head Attention分组并行看问题单头 Attention 的问题是每个 token 只能有一个注意力模式。但实际中一个词可能需要关注多种不同的信息语法关系老鼠是追的宾语语义关系老鼠是猫的天敌位置关系老鼠在句尾Multi-Head Attention 的做法是把 Q、K、V 分别切分成 h 份每份独立计算 Attention然后拼接起来。输入: [768维] ↓ 切分成 12 个头 头1: [64维] → 独立 Attention → [64维] 头2: [64维] → 独立 Attention → [64维] ... 头12: [64维] → 独立 Attention → [64维] ↓ 拼接 输出: [768维]为什么 Multi-Head 有效每个头可以学习不同的注意力模式头 1-3关注语法关系主谓宾头 4-6关注语义关系同义词、上下位头 7-9关注位置关系相邻词头 10-12关注长距离依赖对 Agent 开发的启示当你给 Agent 提供很长的上下文时不同的 Attention Head 在争夺注意力资源。如果上下文充满了无关信息有用的信号可能被淹没。GQAGrouped-Query Attention的普及2026 年大多数新模型Llama 3、Qwen 3、DeepSeek V3已经从传统的 MHAMulti-Head Attention转向 GQA 或 MQAMulti-Query Attention。GQA 让多个 Query 头共享同一组 K 和 V从而大幅减少 KV Cache 的显存占用同时保持接近 MHA 的质量。例如 Llama 3 8B 使用 8 个 Query 头共享 1 组 KVKV Cache 减少到 MHA 的 1/8。这是让长上下文推理变得实际可行的关键架构改进。3.5 Feed-Forward Network每个位置独立思考Attention 完成后每个 token 的表示已经包含了上下文信息。接下来逐位置通过一个两层的全连接网络FFN(x) W2 × ReLU(W1 × x b1) b2关键理解Attention 是token 之间的信息交换FFN 是每个 token 独立消化信息类比Attention 是开会讨论大家互相交换信息FFN 是散会后各自回家思考每个人独立处理得到的信息。FFN 在模型参数量中占比很大约 2/3 的总参数是模型记住知识的主要场所。这也是为什么专家混合MoE模型要在这里做文章——把 FFN 拆成多个专家网络每次只激活一部分。2026 年 MoE 架构现状2026 年MoE 已成为超大模型的主流架构。代表性模型包括DeepSeek V3671B 总参数37B 激活参数256 个专家每次激活 8 个GLM-5.2744B 总参数约 32B 激活参数采用稀疏 MoE 架构Qwen 3采用 MoE 架构总参数与激活参数比约 10:1GPT-5推测采用更细粒度的 MoE激活比例更低MoE 的核心优势总参数决定知识容量激活参数决定推理成本。这使得模型可以大而快——既有海量知识又保持较低推理延迟。3.6 Layer Normalization Residual ConnectionResidual Connection残差连接output Layer(input Sublayer(input))把输入直接加到子层的输出上。解决深度网络退化问题——让梯度可以直接流回浅层让模型可以训练 100 层以上。Layer Normalization层归一化对每个 token 的所有维度做归一化让数值分布稳定在均值为 0、方差为 1 的范围内。Pre-Norm vs Post-Norm原始 TransformerPost-Norm先子层再归一化当代模型GPT、LlamaPre-Norm先归一化再子层Pre-Norm 训练更稳定不需要 warmup 也能训RMSNorm 的普及2026 年大多数主流模型Llama 3、Qwen 3、DeepSeek V3、GLM-5.2已经从标准 LayerNorm 转向 RMSNormRoot Mean Square Normalization。RMSNorm 去掉了均值的计算只做方差归一化计算量减少约 20%效果与 LayerNorm 几乎一致。四、Encoder-Decoder vs Decoder-Only4.1 架构对比特性Encoder-DecoderDecoder-Only代表模型T5、BART、早期 TransformerGPT-5、Llama 4、Qwen 3、DeepSeek V3输入处理Encoder 双向注意力Decoder 单向因果注意力输出生成Decoder 自回归自回归适合任务翻译、摘要、分类对话、生成、代码Agent 应用极少几乎所有4.2 为什么 Agent 都用 Decoder-Only本质原因Agent 的任务是持续生成不是理解后输出。Agent 的工作模式是接收用户输入思考内部推理生成回复可能调用工具继续生成这个循环天然是自回归的Decoder-Only 完美匹配。Encoder-Decoder 需要先编码再解码在多轮交互中需要重复编码效率低。4.3 因果注意力Causal AttentionDecoder-Only 的核心是因果注意力每个 token 只能看到自己和前面的 token不能看到后面的。猫追老鼠 ↓ 猫 → 只能看到 [猫] 追 → 只能看到 [猫, 追] 老 → 只能看到 [猫, 追, 老] 鼠 → 能看到 [猫, 追, 老, 鼠]实现方式Attention Mask。把未来位置的 Attention 分数设为 -∞softmax 后变为 0。Attention Mask: [猫, 追, 老, 鼠] [1, 0, 0, 0] 猫 只看自己 [1, 1, 0, 0] 追 看猫和追 [1, 1, 1, 0] 老 看前三个 [1, 1, 1, 1] 鼠 看全部对 Agent 开发的意义Agent 的思考过程Chain-of-Thought就是利用因果注意力的特性——模型先生成思考过程的 token这些 token 成为后续生成的上下文一步步引导最终输出。五、复杂度分析为什么上下文窗口是平方级的5.1 Attention 的计算复杂度Self-Attention 的时间复杂度是O(n² × d)其中 n 是序列长度d 是隐藏维度。n 40964K 上下文 → 需要计算 4096² 16,777,216 个 Attention 分数 n 3276832K 上下文 → 需要计算 32768² 1,073,741,824 个 Attention 分数上下文长度翻 8 倍计算量翻 64 倍。这就是为什么长上下文那么贵。5.2 内存占用不仅计算量大Attention 的内存占用也是 O(n²)存储 Attention 分数矩阵n × n × 2 字节FP16n4096约 32MBn32768约 2GBn131072约 32GB5.3 缓解方案方案原理代价Sparse Attention只计算部分 token 对丢失长距离信息Sliding Window只关注附近 token丢失远程依赖Flash Attention 3不显式构建 Attention 矩阵纯工程优化无信息损失KV Cache MLA复用已计算的 K、V / 压缩 KV线性空间换时间线性注意力用核函数替代标准 Attention精度有损Flash Attention 是当前最实用的方案它通过分块计算和重计算把显存占用从 O(n²) 降到 O(n)速度也翻倍。几乎所有现代推理引擎都用了它。六、从 Transformer 到 Agent6.1 理解 Transformer 如何影响 Agent 设计Transformer 特性对 Agent 的影响固定上下文窗口Agent 的记忆有限需要外部记忆系统注意力分散上下文越长Agent 越容易忽略关键信息因果注意力Agent 的思考必然是线性的无法并行思考逐 token 生成Agent 的响应速度受限于 token 生成速度位置编码Agent 对长对话的顺序敏感Attention 头分工不同头关注不同维度但资源有限6.2 一个具体例子为什么 Agent 在多轮对话中容易忘记前面的信息轮次 1: 用户说帮我写一个 Python 爬虫 轮次 10: 用户说用之前那个爬虫但改成异步版本从 Transformer 的角度看轮次 1 的信息在 Attention 中与轮次 10 的信息竞争如果轮次 1-9 积累了 3000 个 token轮次 10 的异步关键词需要从 3000 个 token 中脱颖而出不同 Attention Head 可能被不同信息吸引导致轮次 1 的细节被稀释这就是为什么 Agent 需要显式的记忆管理和上下文压缩而不是依赖 Transformer 的注意力机制。七、2026 年 Transformer 的进化方向7.1 当前最新进展方向代表工作核心改进Attention 加速Flash Attention 3利用 Hopper GPU 硬件特性进一步降低显存KV Cache 压缩DeepSeek MLA将 KV 压缩到低维潜在空间显存降至 1/4长上下文Qwen 31M token、Gemini 2.02M token结合 RoPE 改进 稀疏注意力MoE 架构DeepSeek V3、GLM-5.2、Qwen 3只激活部分参数降低推理成本混合架构JambaAttentionMamba、Falcon-MambaAttention SSM 组合兼顾精度与效率推理优化Speculative Decoding、Medusa多个 token 同时预测加速生成7.2 Attention 会被替代吗MambaState Space Model和 RWKV 这类替代方案在长序列任务上展现出了潜力。2026 年的现状Mamba2 已发布在序列建模上进一步逼近 Attention 的精度Attention 在需要精确检索的任务上依然不可替代——比如 Agent 需要从上下文中找到某个具体信息线性注意力适合全局理解但精确性不足主流趋势是混合架构Attention SSM 的组合如 AI21 的 Jamba 模型在每层中交替使用 Attention 和 Mamba对 Agent 开发者来说短期内 Attention 依然是核心但混合架构正在快速发展值得关注。总结Transformer 的核心就是把序列建模变成了注意力权重分配。从此序列长度不再是模型能力的瓶颈——但计算量成了。作为 Agent 开发者你不需要重写 Attention但需要理解Agent 的所有问题都能在 Transformer 层面找到根源记忆、速度、上下文长度Attention 的 O(n²) 复杂度决定了 Agent 的工程上限位置编码的选择决定了 Agent 能处理多长的对话因果注意力的线性特性决定了 Agent 的思考模式MoE 架构正在改变大模型慢模型的固有认知下一篇文章我们将深入 LLM 的预训练过程理解 Scaling Law、Chinchilla 最优计算以及模型究竟是怎么学会知识的。思考题如果 Attention 不是唯一的信息交换机制你还能想到哪些方式让 token 之间共享信息为什么 Agent 的记忆不能完全依赖 Transformer 的上下文窗口Flash Attention 是怎么做到不构建 Attention 矩阵的它的核心思路是什么DeepSeek 的 MLA 技术是如何在保持注意力质量的同时压缩 KV Cache 的下一篇[02] 从 GPT 到 LLM预训练与扩展定律
