通过 AI 进行芯片设计，以及为 AI 进行芯片设计——Ricursive Intelligence
BestBlog编程类文章 · 软件开发
📌 One-Sentence Summary Ricursive Intelligence 发布 Ripple-65B Preview，这是一款拥有 65-billion 个参数的开放权重模型，在智能体编程任务上取得美国开放权重模型 SOTA（TerminalBench 2.1 得分为 80.52），成本仅为此前模型的 one-tenth，并采用针对高效训练与推理共同设计的架构。 📝 Summary Ricursive Intelligence 推出 Ripple-65B Preview，这是一款拥有 65-billion 个参数的稠密 Transformer 模型，使用 12 trillion 个 token 进行预训练，上下文长度为 1M。该模型在智能体编程任务上取得美国开放权重模型 SOTA，TerminalBench 2.1 得分为 80.52，超过了更大型的开放权重模型，包括 Reflection Beam 501B（80.1）、Meta Muse Spark Open 816B（76.4）、Thinking Machines Inkling 975B（63.8）和 NVIDIA Nemotron 3 Ultra 550B（56.4）。Ripple-65B Preview 的研发成本仅为 $32M，约为此前开放权重 SOTA 模型估算成本的 one-tenth。其架构针对 NVIDIA 硬件上的高效训练与部署进行了共同设计，采用窄而深的结构（d_model 5120，80 层）、现代化稠密注意力机制，并加入门控注意力、全局 NoPE、值残差和 FFN 激活裁剪。通过审慎的模型阶梯实验，团队在代码任务上相较 Olmo 3 基线实现了最高 16x 的计算效率提升。RL 后训练阶段仅使用 1.4M 次 rollout，就达到了 80.5 的 TerminalBench 得分，比 Reflection Beam 此前的 SOTA 少约 70x。Ripple-65B Preview 已在 Hugging Face、Together AI、GMI Cloud 和 OpenRouter 上提供，Fireworks 集成即将推出。 💡 Main Points Ripple-65B Preview 以此前成本的 one-tenth，在智能体编程任务上取得美国开放权重模型 SOTA Ripple-65B Preview 的总研发成本为 $32M，在 TerminalBench 2.1 上取得 80.52 分，超过 Reflection Beam 501B（80.1）和 Meta Muse Spark Open 816B（76.4）等规模大得多的模型，展现出出色的成本效益。 模型架构针对 NVIDIA 硬件上的高效训练与推理进行了共同设计 该模型采用窄而深的稠密 Transformer（5120 d_model，80 层），结合门控注意力、全局 NoPE、值残差和 FFN 激活裁剪。该架构避开了 MoE 的复杂性，同时保持出色的推理表现，并在整个训练过程中维持 40% MFU。 审慎的模型阶梯实验使代码任务的计算效率最高提升 16x 通过迭代式阶梯实验（v1.0-v1.6），团队采用 StepFun 缩放定律、前置与后置归一化、sigmoid 门控注意力、全局 NoPE 和值残差；在 4B 规模下，代码任务的计算效率相较 Olmo 3 基线提升了 16x。 RL 后训练以比此前模型少 70x 的 rollout 次数达到 SOTA 团队采用截断重要性采样、分数中心化和线性长度惩罚，仅用 1.4M 次 rollout 就达到了 80.5 的 TerminalBench 得分；相比之下，Reflection Beam 据估计需要 100M 次 rollout 才能取得相近表现。 Ripple-65B Preview 作为开放权重模型在多个主流平台发布 该模型已在 Hugging Face、Together AI、GMI Cloud 和 OpenRouter 上发布，并即将登陆 Fireworks。开放权重模型由此向社区开放前沿智能体编程能力，同时展现出其能够以更低成本与专有系统竞争。 💬 Key Quotes 我们发布 Ripple-65B Preview，这是我们专有模型的通用版本；该专有模型为我们的 AI 芯片设计平台提供支持。 Ripple-65B Preview 在智能体编程任务上表现出色，在 TerminalBench 2.1 上取得美国开放权重模型 SOTA（80.52）。 我们仅用 $32M 就完成了 Ripple-65B Preview 的开发和训练，成本仅为此前智能体编程开放权重 SOTA 模型的 one-tenth。 最终