刚刚，百度开源全新预训练基模，还是主打效率的Flash
机器之心 · 人工智能
原创 关注大模型的 2026-11-05 16:21 北京 文心5.5 Flash Base 编辑 | 泽南 Agent 开始连续执行任务，对于模型的需求有了新变化。 随着任务链条的拉长，模型每一步的计算开销、长文本能力，都会影响最终的使用体验与成本，这让 Flash 档模型的重要性越来越强：它们更注重在能力、速度与成本之间找到平衡，承接那些高频和持续运行的工作。 11 月 5 日，百度文心系列正式发布新一代基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base），并开放了权重。 这次发布的是一个稀疏 MoE 语言模型，总参数量 280B，每 token 激活 14B，其在 33.5T tokens 上从零完成预训练，最长的训练上下文为 128K， 微调与推理阶段外扩到 1M tokens 的长上下文。 该模型已开放权重，并已联合 vLLM、SGLang 等社区提供开源生态支持。 HF FP8: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base HF BF16: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16 SGLang 的 cookbook： https://docs.sglang.io/cookbook/autoregressive/Baidu/ERNIE-5.5-Flash vllm 的 cookbook ： https://recipes.vllm.ai/baidu/ERNIE-5.5-Flash 此次文心发布的是一个「Base」模型，该模型已经具备了完整的通用能力，可作为后续所有训练的起点，人们可以在此基础之上进行领域适配、指令微调、强化学习，乃至面向 Agent 的行为塑造。这意味着开发者们可以自行决定模型下一阶段的方向。 更让人关注的是模型的性能与架构。这一次，百度在有限的激活参数与缓存预算下做出更强的基础能力。 同级别 SOTA 表现 当前，AI 应用即将进入「Super Agent」时代，在 token 消耗大幅膨胀、Agent 需要高频次、长时间自主运转的背景下，Flash 级模型会成为真正被大量使用的档位。对于模型本身而言，Agent 需要频繁读取海量环境事件，最大的瓶颈在于长上下文 Pre-fill（前缀预填充）和 KV Cache 内存占用，这方面的优化也是贯穿文心 5.5 Flash Base 设计的主线。 百度的目标是让所有激活参数、每字节 KV cache 都发挥出更大作用。基于这种思路，其团队在注意力、MoE、未来预测等具体组件上进行了大量技术创新。 该模型共有 43 层 Transformer，Hidden Size 4096，64 个注意力头。除第一层外，各层前馈网络都被替换为 MoE 块。其预训练采用 Muon 优化器与 FP8 混合精度，上下文在训练中逐步扩展至 128K，推理与微调阶段再外扩到 1M。 在官方给出的同级别模型对比中，文心 5.5 Flash Base 在知识、推理、数学、代码、多语言和长上下文等基准上整体领先，对手包括 DeepSeek-V4-Flash Base、Hy3-preview-Base 和 MiMo-V2.5-Base。 从与 DeepSeek-V4-Flash-Base（284B 参数、13B 激活）的逐项对比来看，文心新模型在学科与推理方面优势明显，代码能力是领先最大的板块：HumanEval + 为 82.3 对 69.5，LiveCodeBench 为 40.1 对 31.9，FullStackBench 为 54.6 对 43.3。不过，文心 5.5 Flash Base 在 ChineseSimpleQA 等少量评测上略有差距。 长上下文评测的成绩还验证了架构效率，文心 5.5 Flash Base 在六项长上下文基准整体稳健，「少数全量层加多数压缩层」的设计并未牺牲模型的长文本能力。 在这份成绩单背后，是文心团队对于模型架构的大量改进与创新。 混合稀疏注意力，1/7 全上下文访问 架构效率上，文心 5.5 Flash Base 使用混合稀疏注意力降低了推理成本。 Transformer 在处理长文本时每一层都要为全部历史 token 保存 KV cache，开销会随着上下文长度线性增长，这是推理成本的主要来源。百度对此的洞察是：并不是每一层都需要同样清晰地看清历史细节。 文心 5.5 Flash Base 采用 MLA 与 HCA 混合方案 ：每七层中只有一层保留对全上下文的 token 级访问，采用多头潜在注意力（MLA），其余六层采用重度压缩注意力（HCA），每 128 个 token 压缩为一条