淘宝 MNN 团队开源 0.3B 手机模型，iPhone 18 Pro 上离线跑出 350 token/s
BestBlog编程类文章 · 软件开发
📌 一句话摘要 淘宝 MNN 团队开源 0.3B 手机模型，实现 iPhone 18 Pro 上离线 350 token/s 的解码速度，兼顾速度、内存、功耗与能力，为手机应用原生大模型提供可集成的轻量化解决方案。 📝 详细摘要 本文介绍了淘宝 MNN 团队推出的 MNN-Pocket-0.3B 模型，这是一个面向手机应用的轻量语言模型。文章聚焦于如何在有限算力、内存和能耗下，构建兼顾任务能力、响应速度与持续运行体验的'手机应用原生大模型'。作者团队通过控制模型参数规模（约 3 亿参数）、精简词表（从 151K 缩减至 64K）、量化技术（INT4）和推理引擎优化，实现了在 iPhone 18 Pro 上 350 token/s 的解码吞吐、仅 228MB 的峰值内存增量和极低的功耗开销。文章详细阐述了从模型结构设计、数据分级预训练、SFT 迭代训练、多教师蒸馏到量化感知训练的完整技术路径，并通过电商评论理解和全端侧语音对话等垂类任务验证了模型在实际应用中的适配能力。 💡 主要观点 手机应用原生大模型的四维设计目标 文章提出手机应用大模型需满足速度（>200token/s 解码）、内存（ MNN-Pocket-0.3B 的轻量化技术方案 通过控制参数规模（0.3B）、精简词表（64K）、INT4 量化和 MNN 推理引擎优化，实现了 173MB 的部署体积、228MB 的峰值内存和 350 token/s 的解码速度，显著优于同规模模型。 多阶段训练流程构建模型能力 采用四阶段预训练（建立基础、强化中文数学代码、高质量数据巩固、扩展至 32K 上下文）、SFT Loop Engine 自主迭代训练、MOPD 多教师蒸馏和 QAT 量化感知训练，最终将 11 项评测平均得分从 35.79 提升至 49.59。 垂类任务适配验证实用能力 在电商评论理解任务中达到 80.15 的 F1 分数（优于 Qwen3-0.6B 和 1.7B），在全端侧语音对话系统中实现 45.44 的 VoiceBench 总分，验证了模型在实际业务场景中的适配潜力。 💬 文章金句 把大模型运行在手机上，已经有了不少探索。 MNN-Pocket-0.3B 的 INT4 MNN 部署文件体积仅为 173MB。 在 iPhone 18 Pro 上离线跑出 350 token/s。 通过控制参数规模、精简词表、量化和推理引擎优化，实现了兼顾速度、内存、功耗与能力。 0.3B 模型开放多阶段权重，从任务微调走向应用实战。 📊 文章信息 AI 初评： 88 来源： 大淘宝技术 作者： 大淘宝技术 分类： 软件编程 语言： 中文 阅读时间： 33 分钟 字数： 8048 标签： 编程与工程 , 量化技术 , 移动开发 , AI 编程 , 开源项目 阅读完整文章