一个人、两周、数百美元，如何训出登顶 Hugging Face 的模型｜42章经
42章经 · 商业与创投
原创 曲凯 2026-09-06 21:00 北京 模型的价值会慢慢地往应用公司让渡？ 本期节目的嘉宾逯雨鑫是 Mind Lab 的研究员。此前，他以个人开发者的身份，仅花费数百美元，后训练出了两个登顶 Hugging Face Model Trending 榜的模型。 本期播客原文约 15000 字，本文经过删减整理后约 4800 字。 曲凯： 今天大多数人还是觉得训模型是一件非常难的事情，不知道有哪些步骤、具体该怎么做。大家印象中，训模型的人一般也都是各种 PhD、researcher 之类的。但雨鑫你其实不是 AI PhD，此前也没有 AI Lab 的训练经验，为什么能训出两个登顶 Hugging Face 开源模型榜首的小模型？ 雨鑫： 其实要训出能在工业界用起来的模型，路径是很明确的， 没有大家想象中那么难。 只要自学一些基础，再加上现在各种 AI 工具的加成，很多人都可以做到。 曲凯： 你训练这两版模型，大概花了多少时间和钱？ 雨鑫： 第一版花了 5 天左右，第二版时间长一些，大概两三周，然后总共花了几百美元。硬件上，我就用了一张 5090。现在租一张 5090，每小时可能只要一两美元，真正训练一次也就是十几个小时。即便迭代几版，硬件成本也不会超过 100 美元。软件上，我用了一个 200 美元的 Claude Max Plan，主要用来合成目标领域的数据。 曲凯： 最后训练出来的效果怎么样？ 雨鑫： 我的模型主要针对 agentic 场景，把对应的 benchmark 从底座模型的 15 分提升到了 55 - 60 分左右。 不过，个人或应用公司训练模型，往往需要做一些取舍。在资源有限的情况下，你可以让模型在目标能力上变强，但其他 benchmark 或多或少会下降。 曲凯： 我能不能简单理解成，你的做法就是用更强的 teacher model 生成数据，通过 SFT 蒸馏出一个特定领域的小模型，让它在某些任务上比原来的底座更强？ 雨鑫： 是的。 曲凯： 这听起来并不复杂，但为什么这件事还没有大众化？是我们有盲区、其实很多人已经在做，还是确实做的人不多？ 雨鑫： 确实没有那么多人做，最主要的原因是大家认为它非常复杂。但其实这件事的流程没有那么难，总共可以分成五步。 第一步：明确自己要做什么。 很多个人开发者上来会先追热点，或者盲目刷 benchmark。但更应该从自己的真实需求出发，想明白要提升模型哪方面的能力。我的项目能火起来，就是因为抓住了有真实需求的场景，选定了 coding 和 agentic 这两个方向，所以模型发布后有很多下载和使用。 第二步：选底座模型。 这里要考虑模型架构、语言能力和具体场景。比如我用的是 Gemma 4 12B，当时就遇到了一些问题，比如它的中文能力比较差、有时会说粤语，而且架构没那么主流，训练过程会很麻烦。 我个人体感上，Qwen 是坑相对比较少的开源模型。 第三步：设计数据管线。 我用到的数据大概有三类：一种是合成数据，就是让一个模型扮演用户，另一个模型回答；一种是开源数据，在 Hugging Face、ModelScope 这样的平台上其实有很多；还有一种是自己或其他真实用户的使用轨迹。我自己用到的真实数据，很多是关注我这个模型的用户主动贡献的。 然后我有一个比较大的经验是，合成数据可能没有那么好，它更像靶向药，适合定向解决某个问题。实际训练时，我 60% - 70% 还是用的真实轨迹数据，遇到具体问题时才用合成数据。 举个例子。我训练时会遇到模型过度自信的问题，就是跑 benchmark 时，模型明明没有真的完成任务，却说自己完成了。要解决这个问题，很难从公开或者日常使用数据中找到合适的选择，就得有针对性地去合成。 第四步：决定训练方法。 现在工业界比较流行的有两种做法，一种是 SFT，简单来说就是把 teacher model 的能力蒸馏到小模型里，实际效果取决于数据质量；另一种是 RL，被吹得很神，但我个人觉得效果不如前者。 当然还有很多别的方法，比如 OPD（On-Policy Distillation）。但我感觉 RL 和 OPD 的成本都比较高，更适合锦上添花。对很多应用公司和个人来说，SFT 配上好的数据，就已经能完成很多工业场景里的目标了。我自己也是只选择了 SFT 去训练。 第五步：用特定的 benchmark 测试效果并迭代。一版训练出来的效果不好，就从错题和失败轨迹里找原因，调整数据，再训练下一版。 这整套流程并不复杂。过程中需要的训练脚本、数据、benchmark 和环境等，基本都有开源或第三方服务的解决方案。你可以去找合适的方案，把代码拉下来，再借助 agent 改成适合自己模型的版本。实际训练也很快，几个小时就能跑一版。 其中最大的、甚至唯一的难