Kimi K3.1 Pro 正式开源，2.8万亿旗舰用上 DeepSeek Sparse Attention
AINLP · 人工智能
原创 NLPer 2026-11-05 11:21 江苏 后训练大幅增加 今天凌晨，月之暗面放出了 Kimi K3.1 Pro 的完整模型权重 ，vLLM 同步提供 Day-0 支持。此前已经在 Kimi、Kimi Code 和 API 里用上的这款旗舰，现在可以下载到自己的基础设施上运行了。 总参数仍是 2.8 万亿，每次激活约 1040 亿，支持 100 万 token 上下文 。乍一看，和 K3 没什么区别。 但把两代模型卡放在一起，能看到一个很实在的变化：K3.1 Pro 保留了 K3 的混合架构，同时给其中 24 层注意力加上了稀疏索引。能力提升来自更大规模的后训练，长上下文的运行方式也跟着变了。 先把长任务做扎实 K3.1 Pro 从 K3 继续后训练，月之暗面这次大幅增加了后训练计算量，在数百个下游领域上进行大规模联合强化学习。配套调整包括训练框架、长上下文推理、沙箱、任务调度，以及环境质量检查。 在月之暗面的长程编码评测 Kimi Code Bench 3.0 Long-horizon 中，成绩从 K3 的 55.95% 提升到 61.2% 。金融建模从 50.4 提升到 57.6 ，金融研究从 58.8 提升到 70.4 。 月之暗面的 K3 与 K3.1 Pro 内部金融评测 这类能力可以看一个具体任务。 月之暗面曾让 K3.1 Pro 基于开源人体解剖模型 human-atlas，搭建人体行走动力学模拟器，连同训练和评估流水线一起完成。模型需要处理包含软骨在内的 296 个骨骼组件和 402 个肌肉组件。 一开始，模拟人体走不了几步就倒。经过 167 次任务、420 次独立评审，控制器最终能交替迈步，连续行走 11.2 秒 。 中间有个挺有意思的转折：怎么调奖励都改善不了手臂动作。K3.1 Pro 转而探测模拟器的动力学，找出了肩部肌肉力臂计算里的 36 处错误 ，修正后再训练。 事实准确性也做了专项改进。在故意挑选易出错问题的内部 Kimi Hallu Bench Hard 压力测试中，开启工具后的事实断言错误率从 K3 的 23.4% 降到 8.3% 。这是特定压力测试的结果。 外部的 Agent Arena 也给出了一组观察。按 Arena 最新公告，基于社区 1.75 万多次真实长时程会话 ，K3.1 Pro Max 位列其开放模型第一、总榜第 13，Work、Code、Chat 三类中均居开放模型第一。 注意力开始挑重点 真正值得拆开的技术变化，是这张对照表。 项目 Kimi K3 Kimi K3.1 Pro 总参数与激活参数 2.8T / 104B 2.8T / 104B 层数 93 93 线性注意力部分 69 层 KDA 69 层 KDA 其余注意力层 24 层 Gated MLA 24 层 Gated DSA 稀疏索引 无 每次选择最多 2048 个 token 上下文窗口 1M token 1M token 两代模型都保留了 69 层 Kimi Delta Attention（KDA） 。这部分用固定大小的循环状态处理历史信息；其余 24 层负责从缓存的 token 表示中读取更细的信息。 K3 在这 24 层使用 Gated MLA。K3.1 Pro 则在 MLA 旁边增加了 DeepSeek Sparse Attention（DSA）索引器 。 每次生成时，索引器先用 32 个轻量索引头给历史 token 打分，选出最相关的 2048 个 。随后，注意力只读取这些位置的完整潜在表示，并在选中的 token 上进行精确计算。 历史仍然要扫描，但扫描的是更小的索引键。以 vLLM 的 FP8 配置为例，索引键连同缩放信息是每 token 132 字节 ，完整 MLA 潜在表示则是 576 字节 。 在很长的上下文中，这种做法让单层解码需要读取的数据，降到稠密 MLA 的约 23% 。Agent 对着一大份代码库反复改文件、跑工具，后续每一步都要重新利用历史，这部分带宽就很值钱。 百万上下文得跑得动 vLLM 的首日支持，做到了这一层下面。 K3.1 Pro 同时要存 MLA 潜在表示、DSA 索引键和 KDA 状态，三者大小不一。vLLM 把它们放进按块组织的连续缓存，不再为了统一页面大小而大量填充空位；预填充和解码分开部署时，也能按整块传输。 索引本身也占显存。同样使用 FP8 时，K3.1 Pro 的每 token 缓存会比 K3 更大。vLLM 因此支持进一步量化：潜在表示用 NVFP4，索引键可选 MXFP4，再用 Decode Context Parallelism（DCP） ，把历史 token 的缓存分到多张卡上。 在 vLLM 的 8 张 GB300 测试中，TP8 加