看教程自进化，CUA-Master-27B媲美GPT-5.6
PaperAgent · 人工智能
PaperAgent 2026-11-07 10:32 湖北 27B参数 ，真实世界 双递归迭代 框架。来自香港中文大学MMLab、京东探索研究院等机构的研究团队提出CUA-Master，让模型从 教程视频中学习 ，能力逼近旗舰模型且执行效率更高。 LLM黑箱正在崩塌：OpenAI奥特曼点赞的新论文 如果让 AI 帮你整理几十份文件、核对数据，再把结果填进桌面软件，它面对的一道关键门槛： 模型不仅需要理解屏幕，还需要选择合适的操作方式、控制执行成本，并从失败中恢复。 CUA-Master-27B CUA-Master 给出了一种系统性的回答。研究团队以 27B模型 为基础，把开放世界知识获取、可控任务构建、真实环境执行与模型训练联结起来。在论文的四项主要评测中，它取得了有竞争力的表现；更值得关注的是，它展示了完成任务所需的 时间、步骤和能力 如何同时改善。 8大数据分类 01 先看结果：27B小模型，在CUA领域逼近旗舰模型 CUA-Master-27B在论文报告的四项核心基准上取得如下成绩： 这些数字的看点，不只是分数。 在 WeaveBench 上，CUA-Master-27B获得 43.9分 ，与论文所比较的 GPT-5.6-Luna 的 44.0 分 接近，但平均执行时间从后者的 47 分钟 降至 34 分钟 ，缩短约 **28%**。在 Agents' Last Exam 上，其 25.0% 的全任务通过率与 Kimi-K3、Qwen-3.8-Max 持平，平均用时则分别比这两者减少约 34% 和 **36%**。 这些对比，体现了CUA-Master在真实的使用场景中的优异性能。 研究团队提出的模型在四个基准的 分数-执行之间 上都取得了 帕累托前沿 ； 论文还对比了跨Linux、Windows与macOS的效果：CUA-Master-27B 在 WindowsAgentArena、MacOSWorld、MacAgentBench 上分别取得 56.2、43.0、59.9 分。虽然不同基准的排名并不完全一致，但这表明模型能力并非只局限于单一操作系统或某一类界面； 此外，与不同基于Qwen-3.5-27B模型对比，CUA-Master-27B也展现了更佳的综合能力。 02 让能力持续增长：从真实世界工作流出发，构建可扩展的CUA系统 高质量数据从哪里来？CUA-Master没有把希望全部寄托在模型自己完全"编"出的新任务上。 研究团队首先从公开的软件教学视频中挖掘真实操作经验。其应用分类覆盖 8大领域、36个子领域、650余种软件 ；通过视频筛选、任务片段识别，以及基于 语义线索与画面变化 的双路径重建，将非结构化的视频演示转化为可复用的 种子任务 。 但真正关键的一步，是不止于“照着教程学会一次操作”。系统进一步把这些经验拆解为包含操作前提、环境要求和验证条件的 能力原语 ，再按复杂度和软件范围组合，生成新的、可以执行并验证的任务。 由此，数据构建形成了一个飞轮： 真实工作流 → 种子任务 → 可复用能力原语 → 跨应用复杂任务 → 收集的执行轨迹 → 下一轮迭代 在更外层，模型训练又反过来影响下一轮数据采集：哪里表现较弱，就更有针对性地探索相应软件、工作流和任务难度，形成一个更大的循环: 开放世界语料收集 → CUA数据构建 → 模型训练提升 → 模型反馈 → 下一轮迭代 论文称之为 双层递归改进框架 。 论文采用了多个阶段三个SFT阶段累计约 115K 数据，和 12K 高质量RL。 03 为什么更高效？先让CUA学会“该点鼠标时点鼠标，该敲命令时敲命令” 人使用电脑时，很少坚持只用一种操作方式。 需要检查图像、调整界面参数，我们会看屏幕、点菜单；需要批量读取文件、汇总数字、处理结构化信息，我们往往更愿意调用脚本或命令行。前者直观，后者高效。优秀的电脑操作 Agent，也应具备这种选择能力。 CUA-Master 将 GUI（图形界面）与CLI（命令行） 纳入统一动作空间，让模型在任务执行过程中按需切换。论文展示了批量核对答卷并录入电子表格、处理文档并完成网页表单、结合专业可视化软件检查数据等跨工具流程。 这并非简单地给 Agent 增加一个终端入口。更重要的是，它能够把 文件处理、批量计算 交给 CLI，把 视觉检查、窗口交互 交给 GUI，使两种能力在同一条任务轨迹中相互配合。 混合模式相较仅GUI减少了执行步骤，有利于长链路任务的成功执行。 04 多重机制构建更多样、更可控、更可靠的大规模CUA训练数据 CUA-Master不仅关注数据规模，更着重解决CUA训练数据的三个核心问题：多样性、可控性和可靠性。 首先是多样性。 通过从真实教程视频中提取操作经验，并将其转化为可组合的能力原语，CUA-Master