淘宝MNN团队开源0.3B手机模型，iPhone 18 Pro上离线跑出350 token/s
大淘宝技术 · 软件开发
Meta技术 2026-11-06 11:33 浙江 方寸之间，智能可及 把大模型运行在手机上，已经有了不少探索。 从1B、4B到27B量级的稠密模型，再到总参数约30B、激活参数约3B的MoE模型，不同规模与架构正在拓展端侧部署的可能性。 但对手机应用开发者来说，成功加载模型、完成一次对话，只是起点。 对于淘宝、闲鱼这类日常高频使用的应用，大模型必须与其自带业务共享算力、内存和带宽。同时，还得在持续调用与多任务并发下，兼顾响应时延、功耗和温升。 MNN团队 将这一设计方向称为 “手机应用原生大模型” 。他们发布了 MNN-Pocket-0.3B ，面向手机应用的任务需求与资源预算，在有限算力、内存和能耗下，兼顾任务能力、响应速度与持续运行体验。 手机应用原生大模型背景介绍 围绕淘宝等综合型手机应用，团队将“手机应用原生大模型”落实为四个维度的设计目标： 速度上 ， 在指定设备与上下文配置下，解码吞吐超过 200token/s 。这一目标参考高速云端模型服务的生成吞吐，力求在本地提供流畅的生成体验。 内存上 ， 在指定测试条件下，峰值内存低于 300MB 。即使手机拥有8～16GB内存，也需要由系统与多个应用共享。以约 500MB 的模型模块预算为例，将推理峰值控制在300MB以下，可以为上下文增长和集成开销保留余量。 功耗上 ， 在典型推理负载（输入512~1024token、输出128token）下，单次推理增量能耗目标不超过参考手机电池能量的万分之一，即100次推理耗能不超过 电池能总量的1% ，控制高频调用的续航开销。 能力上 ， 以在指定业务场景上达到 8B级模型 的效果为目标，兼顾中英文理解、世界知识与数学、代码推理能力，重点强化指令遵循，并为长上下文与多步骤任务保留扩展空间。 这些目标还需要在持续调用中共同接受检验：在满足任务要求的同时，控制功耗与温升，保持整机流畅，才能融入应用的日常使用。 MNN-Pocket-0.3B正是这一设计方向的具体实践。 MNN团队从零设计并训练了这个约3亿参数、重点支持中文与英文的轻量语言模型，将模型结构、词表、训练数据、预训练与后训练方法，以及量化和推理引擎纳入协同优化，为淘宝业务与开源社区开发者提供一个具备任务理解能力、响应迅速、易于适配和集成的模型底座。 手机应用原生大模型象限：MNN-Pocket-0.3B兼顾速度、内存 与能力（ 注：峰值内存不仅取决于总参数量，还受词表规模、量化参数及加载缓冲影响，详细指标与测试设置见技术报告。） 0.3B参数，如何做到轻量与高速？ 先看MNN-Pocket-0.3B在iPhone 18 Pro上的真机表现。模型通过MNN推理引擎完全离线运行，平均解码（Decode）速度约为350token/s。录屏同步展示输入处理（Prefill）、逐Token生成（Decode）的速度与峰值内存占用，直观呈现模型的响应效率与资源开销。 部署体积与运行内存： MNN-Pocket-0.3B的INT4 MNN部署文件体积仅为 173MB ，包含模型权重、分词器、计算图和推理配置。在iPad Pro M5、Metal后端、512token测试配置下，模型加载与推理期间的峰值Metal驻留内存相对加载前基线增加 228MB 。同一测试中，Qwen3-0.6B的部署文件体积为340MB，峰值内存增量为427MB。相比之下，MNN-Pocket-0.3B的部署体积减少约 49% ，峰值内存增量减少约 47% 。对于手机应用原生大模型，较小的部署体积能够降低模型下载与更新成本，较低的运行内存则为页面、图片、视频等业务模块保留更多空间，降低应用集成的资源负担。 端侧大模型在iPad Pro（M5）上的内存占用与部署体积（上下文长度为512token） 跨平台推理速度： 团队在Apple与Android设备上，使用Metal、OpenCL和CPU后端评估推理吞吐。测试采用MNN 3.6.2、INT4量化及统一运行设置，每组配置预热一次、测量五次，取吞吐中位数，Prefill与Decode分别测量。在iPad Pro M5/Metal、512token测试配置下，MNN-Pocket-0.3B的Prefill吞吐达到 8,721token/s ，Decode吞吐达到 466token/s ，约为同条件下Qwen3-0.6B（286token/s）的 1.63倍 。在Snapdragon 8 Gen 5的CPU后端，Decode吞吐达到 251token/s 。 不同平台上端侧大模型的推理速度（上下文长度为512token，单位：token/s） Prefill影响输入处理耗时，Decode影响后续生成速度。上述结果基于报告规定的量化、上下文与测量条件，实际表现会随设备、