从 Transformer 到 LLM 全景图：参数、训练三阶段、推理两段、能力边界

📌 一句话摘要

本文系统梳理了从 Transformer 到 LLM 的全景图，解析参数规模跃升、训练三阶段、推理两段及模型能力边界，阐明 8 类不可实现的根源。

📝 详细摘要

本文从 Transformer 模型出发，纵览大语言模型（LLM）的全貌。首先分析参数规模为何能从 1 亿跨到 2.78 万亿，解释稠密模型与混合专家（MoE）模型的区别，指出显存看总参数、算力看激活参数。其次阐明为何需要三阶段训练：预训练、后训练、长上下文扩展，后训练虽算力占比不大却是模型可用性的关键。然后拆解推理的两段瓶颈：Prefill 阶段计算受限，Decode 阶段显存带宽受限，解释了为何首字慢、后面快。接着对比闭源 API 与开源权重自托管的硬约束与成本结构，给出决策规则。随后分析模型为何会“胡说”，指出八条结构性限制。最后列出 6 类模型“真做不到”的现象及其根因。

💡 主要观点

1. 参数规模跃升的本质是总参数与激活参数解耦 稠密模型总参数等于激活参数，MoE 模型通过稀疏化 FFN 实现解耦，Kimi K3 总参数 2.78T 但仅激活约 104B（3.7%），显存看总参数，算力看激活参数。
2. LLM 训练分为三阶段：预训练、后训练、长上下文扩展 预训练占 99%算力学习语言结构，后训练不到 1%但决定模型是否听指令，长上下文扩展将窗口从 8K 扩展到 128K。
3. 推理分为 Prefill 和 Decode 两个阶段，瓶颈不同 Prefill 处理整段提示，计算受 Tensor Core 限制，决定首字延迟；Decode 逐 token 生成，显存带宽成瓶颈，决定每 token 延迟。
4. 闭源 API 与开源自托管的选择取决于硬约束与成本 数据合规要求、调用量大小、长期成本、是否需深度定制等约束决定优先选择，70B 模型 4-bit 权重约 43GB。
5. 模型“胡说”源于训练目标与结构性限制 模型目标是生成最像正确文本而非查证事实，受知识截止、幻觉、多步推理衰减、上下文窗口等八条限制影响。
6. 六类模型“真做不到”的根因在于输入形式与机制边界 包括字符级计数、长上下文中间遗忘、知识停留在训练截止日、多步推理误差累积、无法实际操作等，数学上 0.95^10≈0.599。

💬 文章金句

• 显存看总参数，算力看激活参数。
• 预训练那 99% 是可以自己复算的。
• 首字延迟的大头往往不是算得慢。
• 如果数据不能出域，那么「闭源 API 分数更高」这个论据根本不成立。
• 模型「知道很多」和「不知道时几乎不承认」可以并存，所以分数高不等于可信。
• 0.95¹⁰ ≈ 0.599

📊 文章信息

阅读完整文章