一文详解文心 5.5 Flash Base 开源
GitHubDaily · 软件开发
原创 小 G 2026-11-05 17:08 广东 就在刚刚，百度文心终于出手了，把自家基座模型 文心 5.5 Flash Base（ERNIE 5.5 Flash Base） 开源了。 一出手就在同尺寸模型里拿下 SOTA，在 30 项基准评测中表现突出，尤其在推理、代码和综合类任务上优势明显，超过了 DeepSeek-V4-Flash-Base、MiMo-V2.5-Base 等 Base 模型。 其中差距最大的是考试类的 MMLU-Pro，它拿了 78.4 分，第二名是 69.2。 这次文心 5.5 Flash Base 模型是从零开始预训练，采用的稀疏混合专家（MoE）架构，喂进了 33.5 万亿 Token 数据。 总参数量达到 2800 亿，每个 Token 只激活其中的 140 亿，这样每次计算用到的参数少了，算力也省下不少。 上下文方面，预训练时最长 128K，到了微调和推理阶段，能拉长到 100 万 Token。 为什么同样参数规模的基座模型，能拉开差距？我翻看了下文心 5.5 Flash Base 公开的技术 Blog。 模型底层从注意力、残差连接，到 MoE 层和输出头，每个组件都围绕着效率重新设计过。 精打细算，用在刀刃上 为什么这么盯着效率？从公开的技术材料里看到所给的理由，也很实在。 模型在后续训练要反复采样，放到 Agent 应用里要多步交互，还要处理长上下文，这些都会让计算和存储的开销不断往上累积。 所以文心 5.5 Flash Base 把注意力、残差连接、MoE 层和输出头逐个拿出来，重新权衡能力和效率，让每一份激活参数、每一字节 KV cache 都发挥更大作用。 整个主干一共 43 层，注意力层由 HCA 和 MLA 两种注意力混合排布。 除了第一层，每一层的前馈网络都是 MoE 块，输出头用的是 MultiMax，主干的最后一层还兼任了 ECHO。 其中还有几项创新的做法，已经单独公开发布了论文，下面跟大家一起来看下。 文本越长，越要省着存 第一处是注意力，叫 Latent-Gated Sparse Attention 。 模型处理长文本时，每一层都要把读过的内容存成 KV cache，方便后面回头看，上下文越长，这份缓存就越大。 但大多数层其实不需要逐字回看很远的内容，对前面写了什么有个大概印象就够用。 所以 43 层里有 37 层用的是重度压缩注意力 HCA，每 128 个 token 压成一条缓存，再加上最近一小段没压缩的原文一起看。 这样每层的缓存只剩不压缩时的一小部分，对整段内容的全局视野还保留着。 剩下的 6 层用的是多头潜在注意力 MLA，这是模型逐个 token 回看远处内容的唯一通路。 为了不让这 6 层在长文本下占掉太多计算，它们还配了稀疏注意力 DSA。 由一个轻量级 indexer 先给历史位置打分，只在得分最高的那些位置上计算。 长上下文评测也验证了这一设计的有效性：尽管 43 层中只有 6 层采用 MLA-DSA，模型在 6 项长上下文 Benchmark 上依然取得了不错的效果。 每层注意力内部，还有两处小改动。 一处是低秩门控注意力，门控相当于在注意力的输出上加一个信息过滤器，决定哪些信息多往后传。 常规做法是用这一层的隐状态来算这个门，文心 5.5 Flash Base 改用每层本来就会生成的低秩 query latent，维度只有隐状态的四分之一。 这么一改，门控投影的权重参数少了 75%，消融实验里模型效果也有所提升。 另一处是虚拟头注意力，在注意力之后加了一层轻量的跨头混合，让不同注意力头之间多交换信息。 推理时这部分会融合进注意力算子，开销很小。 多人打分，不怕看走眼 第二处在 MoE 层，叫 Multi-Router Latent MoE 。 MoE 模型里有很多专家，每个 token 进来，先由路由器给专家打分，再挑出几位专家来计算。 麻烦在于，传统 MoE 只有一个路由器，它打的分跟专家实际好不好用，关联并不强，中深层尤其明显。 落选的专家拿不到这个 token 的梯度，一旦选错就很难纠正，错误还会越滚越大。 文心 5.5 Flash Base 的做法，是让多个独立初始化的路由器一起打分，这些路由器的偏好会明显分化。 一个专家只要被某个路由器特别看好，或者同时被几个路由器看好，就有机会入选。 单个路由器打错分，也左右不了最后的结果，选错了也更容易被纠正。 每层有 512 个路由专家，每个 token 选 10 个，另外还有 1 个共享专家。 这样一来，路由打分和专家实际效用的相关性明显提升，原本相关性最弱的中深层，提升也最大。 而激活的专家数、专家计算量和通信量，都和单路由器一样，并没有拿更多算力去换效果。 少挂一个模块，想得更远 第三处