【轻量化复刻大模型 / KIMI K3】KDA 对 AI Infra 的挑战与各家应对
罗西的思考 · 软件开发
原创 罗西的思考 2026-11-05 20:45 北京 【轻量化复刻大模型 / KIMI K3】KDA 对 AI Infra 的挑战与各家应对 0x00 概要 0x01. 先建立正确的心智模型 1.1 混合注意力的完整执行链 1.2 三种状态对比 1.3 KDA 的顺序性：可分段但必须保序 0x02. KDA 的优势与结构性限制 2.1 优势 2.2 代价：固定状态不是完整档案 0x03. 为什么 Prefix Cache 与 KV Cache 不再等价 3.1 普通 Prefix Cache 为什么简单 3.2 KDA 为什么打破这个等价关系 0x04. KDA 给推理系统带来的新挑战 4.1 缓存对象从一种变成多种 4.2 状态恢复必须满足边界一致性 4.3 活动态不能直接共享 4.4 PD/EPD 分离不再只搬 KV 0x05. SGLang 的应对思路 5.1 KDA‑aware Radix Tree 5.2 Sparse Checkpoint：为什么不是简单等间隔 5.3 Compressed Checkpoint 5.4 COW、Snapshot 与 Donate 5.5 Unified Memory 5.6 Mooncake 的职责边界 0x06. SGLang 源码导航 6.1 源码地图 6.2 模型层：`KimiK3DeltaAttention` 不是只做矩阵乘 6.3 统一入口：`RadixLinearAttention.forward` 6.4 `KDAKernelDispatcher`：不同阶段用不同 kernel 6.5 SGLang 的 state 不是只有 recurrent state 6.6 Checkpoint Pool 的真实实现 6.7 活动状态、Donate 与边界 6.8 checkpoint 何时产生 6.9 Unified Memory 的源码证据 6.10 SGLang 恢复流程总览 0x07. vLLM 的应对思路 7.1 State block 是什么 7.2 逻辑前缀与物理 state 解耦 7.3 Fine‑grained Partial Hit 7.4 Interval‑based 与 Marconi‑style Retention 0x08. vLLM 源码导航 8.1 源码地图 8.2 KDA 执行和 state cache 8.3 metadata 如何找到 state 8.4 Fine‑grained Partial Hit 的源码证据 8.5 Retention 的源码证据 8.6 vLLM 恢复流程总览 0x09. 深入讨论 9.1 为什么 SWA 的 checkpoint 方法不能直接用于 KDA 9.2 Checkpoint 密度的两难 9.3 跨实例复用与 PD/EPD 分离 9.4 概念与源码对应表 9.5 复现源码时的最小阅读顺序 0x10. 最终结论 0xFF 参考 0x00 概要 KDA 的固定状态设计让标准 serving 栈的若干组件失效，因此，各大推理引擎都对其进行适配： 基础设施层 标准假设 KDA 挑战 应对（参考实现） 前缀缓存 Prefix Cache 缓存 KV 前缀 需缓存"状态 S"（无逐 token 条目） SGLang radix cache 纳入 temporal checkpoint（copy-on-write）；kimi3-master prefix_cache.py 两级 hash KV 池 Memory Pool 统一 KV 页 混合模型（KDA+MLA）异构缓存 SGLang MambaPool （conv + temporal）vs MLA KV 池；kimi3-master paged_cache.py::PageKind 上下文并行 CP KV 广播 状态跨段不可加 KCP 前缀扫描 varlen 批量 cu_seqlens 每序列独立状态推进 cu_seqlens + 段偏移 投机解码 KV 截断回滚 状态需回滚/分支/重放 SGLang ReplaySSM（轨迹重放）；kimi3-master ReplaySSM CUDA Graph 静态 KV 布局 递推状态无法标准捕获 ReplaySSM 折叠机制 本文前半篇用概念性语言解释 KDA 为什么改变了推理缓存的正确性条件，以及推理框架如何在不破坏正确性的前提下节省显存和重算；后半篇给出源码导航，对应到 SGLang 与 vLLM 的具体文件与关键函数。 注： 项目 https://github.com/RossiLH/Model-Viz 和系列博客是我的一个尝试，也是我学习的过程。不确定是否满足读者的需求，我自己会反思改进，也希望大家提出宝贵意