一个Token是怎么“造”出来的？黄仁勋的“五层蛋糕”理论给出答案
点拾投资 · 财经与投资
点拾投资 2026-09-06 18:58 山西 你在聊天框里敲下一句话，等上几十毫秒，屏幕上便出现一段看似流畅的回答。对绝大多数用户来说，这是一个十分轻量化的过程。可到了付款页面，许多用户会有一种遭到“背刺”的感觉——输入多少百万Token、输出多少百万Token、上下文多长、缓存是否命中。 这时，很多人会有这样的疑问：为什么一个看不见、摸不着的回答，要按量收费？为什么AI公司不能像卖传统软件那样，一次授权、无限复制？ 这里至少混着三张不同的账单。 第一张是生产成本：造出一个Token，底层到底消耗了多少电力、芯片、机房和工程资源； 第二张是市场价格：模型厂商向外报出的调用单价，其中还包含竞争、利润和服务分层； 第三张是任务成本：用户为了完成一项工作，究竟总共烧掉了多少Token。 当把三者混为一谈，就会出现“电费明明不贵，为什么AI还这么贵”“模型降价了，为什么企业账单反而变大”这样的困惑。 AI当然有软件的一面：算法可以迭代，模型可以压缩，服务可以通过接口分发。但它还有另一面，且正在越来越显眼：每一次生成都要经过真实的计算，依赖真实的电力、显存、网络和机房。 典型SaaS的成本常常随着复制而快速摊薄，AI推理却始终带着一笔不断发生的边际成本。 “Token看上去像软件，骨子里却越来越像重工业。” 那么，造一个Token，钱究竟花在了哪里？ 黄仁勋的“五层蛋糕” 2026年1月，英伟达CEO黄仁勋在达沃斯世界经济论坛上，第一次把AI基础设施描述为一块”五层蛋糕”：自下而上，分别是能源、芯片、基础设施、模型和应用。此后他在CES 2026和GTC 2026大会上反复使用这个框架。 在《Token经济》这本书中，作者把这个系统形容为一条“实时运行的认知生产线”。用户输入、上下文、工具说明和企业知识库，像生产的原材料；电力、芯片和推理时间，像能源；模型架构、缓存机制、路由策略和工作流编排，则像工艺。不同于一件可以造好后堆进仓库的工业品，Token往往在调用瞬间被生产、交付并消费。 “Token的生产成本，是造出一个Token所消耗的资源；Token的市场价格，是厂商对外报出的调用单价；Token的任务成本，是完成一次完整任务总共花掉的钱。” 只有把这三层账分开，才能理解下面这块蛋糕。 以下内容节选自《Token经济》（白惠天、袁晓辉、司晓 著），部分内容经过编辑。 一、五层拆解： 从底往上，Token是如何被生产的 ① 能源层：电费很重要，但电费不是全部（约占总成本10%~20%） GPU运转需要电力，冷却系统需要电力，网络传输需要电力，数据中心是不折不扣的用电大户。按美国工业电价每千瓦时0.06~0.08美元计算，一座500兆瓦的数据中心，一年的电费账单超过3亿美元。 但书中提醒，要区分”运营成本”和”单位Token完全成本”：电力在数据中心日常运营中很扎眼，可一旦把GPU、HBM、网络和机房的资本折旧都计入，能源层就不是最大项了。SemiAnalysis的推理TCO（总拥有成本）模型显示，机房租赁和电力合计通常不到总拥有成本的20%。因此在大规模商用推理口径下，能源约占Token生产总成本的10%~20%。 ② 芯片层：最大的成本层，也是供给的咽喉（约占40%~55%） GPU/AI加速器、HBM（高带宽内存）、芯片间互联和CPU，构成了Token成本的主体。从公开采购口径看，一块英伟达B200的价格为3万~4万美元，其中通常已包含封装内的HBM成本；而从物料清单（BOM）口径看，HBM与先进封装合计约占高端芯片制造成本的三分之二。 为什么显存和互联决定供给？书中解释了一个关键技术事实：模型参数必须驻留在HBM中，才能实现高效推理——HBM的容量和带宽，直接决定了推理的速度与并发上限。而全球HBM产能被三家寡头垄断：SK海力士约占57%，三星占22%，美光占21%。AI需求爆发叠加寡头格局，让超大规模云厂商资本开支中内存的占比，从2023—2024年的约8%飙升至2026年的约30%，几乎全部由HBM驱动。在大规模商用推理口径下，整个芯片层约占Token生产总成本的40%到55%，高端模型、长上下文和高显存场景还会更高。 ③ 基础设施层：把一堆芯片，变成一座”AI工厂”（约占15%~20%） 有了芯片，离能产出Token还差得很远。这一层包括机房建设、供配电系统、液冷/散热、机柜、光模块、线缆与InfiniBand交换网络，以及大规模集群的调度和运维系统——它的任务，是把成千上万张芯片组织成一座协同运转的”AI工厂”。 基础设施层约占Token生产总成本的15%~20%，但这个比例的弹性很大：GPU利用率、电价、折旧年限、数据中心是自建还是租赁，都会让它大幅波动。同一批芯片，利用率60%和80%的企业，摊到每个Token上的