一文详解文心 5.5 Flash Base 开源
BestBlog编程类文章 · 软件开发
📌 一句话摘要 百度文心 5.5 Flash Base 模型从零预训练 33.5 万亿 Token，采用稀疏混合专家架构和 128K 上下文设计，在 30 项基准中 SOTA，特别在 MMLU-Pro 取得 78.4 分，开源后显著提升了具身智能研发门槛。 📝 详细摘要 文章详细介绍了百度文心 5.5 Flash Base（ERNIE 5.5 Flash Base）模型的开源动态。该模型采用稀疏混合专家（MoE）架构，总参数 2800 亿，每次激活 140 亿，训练数据规模达 33.5 万亿 Token。模型在 30 项基准评测中表现突出，尤其在推理、代码和综合类任务上超越 DeepSeek-V4-Flash-Base、MiMo-V2.5-Base 等基座模型，MMLU-Pro 得分高达 78.4 分。文章重点解析了模型的四大核心创新：Latent-Gated Sparse Attention 通过压缩注意力缓存降低长文本计算成本；Multi-Router Latent MoE 采用多路由器提升专家选择相关性；ECHO 机制利用主干最后一层实现多步预测；以及 FlashMask-4 注意力算子和 R2L 分词器等细节优化。这些技术共同实现了在保持强大能力的同时，显著提升推理效率和长上下文处理能力。 💡 主要观点 稀疏混合专家架构实现高效计算 总参数 2800 亿，每次激活仅 140 亿，显著降低计算开销。通过 Muon 优化器和均衡参数切分，支持数千卡规模高效训练。 Latent-Gated Sparse Attention 压缩长文本缓存 43 层中 37 层采用 HCA 压缩注意力，仅保留最近部分原文，6 层使用 MLA-DSA 进行稀疏远距离回看，显著降低 KV cache 存储压力。 Multi-Router Latent MoE 提升路由相关性 多个独立路由器共同打分，提升专家选择的相关性，尤其改善中深层效果，激活专家数与单路由器持平，未增加额外算力。 ECHO 机制替代 MTP 提升长程建模 利用主干最后一层进行多步预测，训练信号直接作用在生成下一个 token 的参数上，促使模型提前规划后续内容，提升推理与代码任务性能。 FlashMask-4 和 R2L 分词器优化细节 FlashMask-4 支持更大的 Head Dim，SM100 GPU 上前向性能提升最高 175%；R2L 分词器按右到左三位分组切分数字，对算术任务更友好。 💬 文章金句 把自家基座模型**文心 5.5 Flash Base（ERNIE 5.5 Flash Base）** 开源了。 在 30 项基准评测中表现突出，尤其在推理、代码和综合类任务上优势明显。 MMLU-Pro 得分 78.4 分，第二名只有 69.2 分。 总参数量达到 2800 亿，每个 Token 只激活其中的 140 亿，这样每次计算用到的参数少了，算力也省下不少。 上下文方面，预训练时最长 128K，到了微调和推理阶段，能拉长到 100 万 Token。 📊 文章信息 AI 初评： 88 来源： GitHubDaily 作者： GitHubDaily 分类： 人工智能 语言： 中文 阅读时间： 12 分钟 字数： 2758 标签： AI 与智能应用 , 开源项目 , 大语言模型 (LLM) , 模型训练与推理 , 混合专家模型 阅读完整文章