Dylan Patel:Anthropic 与 OpenAI 到 2028 年将控制全球大部分算力
Dylan Patel – Anthropic & OpenAI will have most of the world’s compute by 2028
在最新一期播客中,SemiAnalysis 创始人 Dylan Patel 与 Dwarkesh Patel 讨论实验室经济学,预计 Anthropic 和 OpenAI 到 2028 年将控制全球大部分可用 FLOPs,因其能更好变现算力并出价高于其他方。
六亿美元晶圆厂资本开支最终可能对应超一万亿美元终端AI收入,这个数量级差距能解释实验室愿高价竞购算力并推高市场利率的一种机制。
又和我的双胞胎兄弟 Dylan Patel 畅聊了一番,非常开心。
我们梳理了未来几年实验室的经济学——随着 RSI 临近,从推理向训练的转变;以及 Anthropic 和 OpenAI 如何有望在未来几年内掌控全球大部分可用 FLOPs(因为它们能更好地将算力变现,从而在出价上压过所有人)。
接着我们讨论了,到本十年末我们将看到的超过 $10T 的 AI 总资本支出,是否会引发一场主权债务危机——超大规模云厂商的债务推高利率,将没有 AI 敞口国家推向破产,并令非 AI 类股票崩盘。
有一个问题我们没能解决:是否存在任何东西,能够对抗这个行业里所有正冲向中心化的力量——训练中的规模经济、算力的稀缺,以及最终的持续学习和 RSI。
00:00:00 – 两家实验室将很快控制全球大部分算力
好,我回来了,和我一起的是 SemiAnalysis 的创始人 Dylan Patel。我们这种相当于家庭感恩节聚餐的形式,就是每年一次的常规播客。不过我们其实并没有血缘关系。
Dylan Patel
别把这事告诉别人。
它会摧毁那个神话。基本上,世界经济正越来越成为实验室经济、算力市场等走向的函数。我想理解这个疯狂的未来在几年内会落到什么地步。但让我们先从今天所处的位置开始。给我讲讲现在实验室的算力和实验室的收入,也许再往后推一两年做个预测。
Dylan Patel
回顾去年,甚至到去年年底,美国的大部分 GDP 增长都只是 AI 基础设施。展望今年,大约三分之一新上线的算力是给这些实验室的,给 OpenAI 和 Anthropic。这些算力可能由别人建设,然后租给它们,但最终客户就是它们。
随着我们走向未来,算力的数字正在急剧膨胀。今年我们的 CapEx 略高于一万亿美元。到 2028 年,将超过 2 万亿美元。这些实验室在其中所占的比例也在不断增加。所以最终,你会看到一个非常有趣的局面:这些实验室正从每年花费数百亿美元的公司,变成每年花费数千亿美元的公司,甚至预测到本十年末每年要花费数万亿美元。这至少是它们已经开始与合作伙伴签署的部分合同所显示的。
这要求它们的经济模式发生重大重塑。到目前为止,它们基本上都是亏损的公司。Anthropic 在第二季度开始实现盈利。据信,在第三季度的某个时候,随着 Codex 和 5.6 等的更大规模增长,OpenAI 甚至可能开始实现盈利。但如果我们回到一年前,它们所有的资金都来自风险投资支撑的亏损。即便回到今年年初,也还是风险投资支撑的亏损。它们现在已经扭亏为盈,实际上开始盈利了。
这并不意味着它们不再吸纳新资本。新资本仍在持续流入,以进一步加速增长。但归根结底,它们越来越多的业务正依靠自身收入来支撑,而非依赖外部注入的资本。在过去一年半里,它们的利润率确实大幅飙升。算力的基础成本往往在每兆瓦 1000 万、1300 万或 1500 万美元左右。
现在发生的事情中最有意思的一点是:以前,如果他们提供一个模型——GPT-4部署在NvidiaHopperGPU上——这对 OpenAI 来说产生的是负毛利率。但现在,当 OpenAI 提供 GPT-5.6,或者 Anthropic 提供Opus 5或Fable 5时,它们的收入创造已经远远超过了每兆瓦 1000-1500 万美元的增量。就 Anthropic 而言,收入已经高达每兆瓦 5000 万美元。这现在让它们能够做到的是:“嘿,如果我在推理容量上花 10 美元,我实际上能产生 50 美元的收入,然后我可以反过来把所有这些利润增量地花在训练上。”
我非常想了解的一件事是,你如何看待算力在实验室端的集中化,或者说流向世界与流向实验室的算力相对比例。如果你说现在三分之一的边际算力流向了实验室,那么到什么时候,世界上超过一半的增量算力会流向实验室?到什么时候,实验室基本上会拥有世界上绝大多数的算力?
Dylan Patel
今年年初,OpenAI 起步时为 2 吉瓦,Anthropic 不到 2 吉瓦。到今年年底,两者都超过了 5 吉瓦。所以它们整体的算力扩大了 3-4 倍。当你看新增的算力时,这大约占今年新增算力的 30%。
随着我们迈入明年,考虑到已经签署、落笔并敲定的那些协议,你会看到更加惊人的局面。Anthropic 和 OpenAI 明年将占用多达 40% 到 50% 的算力。这种集中化趋势看起来不会放缓或停止。事实上,它看起来只会加速。
为他们建设这些算力的主体将会发生变化。明年,一个重要的新入局者就是 SpaceX,它正在建设大量算力。他们很可能会积极将相当一部分算力出租给 Anthropic和 OpenAI,因为这两家最有边际能力支付最高价格。此外,OpenAI 和 Anthropic 也开始建设自己的算力——OpenAI 用自己的芯片,Anthropic 则使用从 Google 购买的 TPU,并通过 Fluidstack 部署。
所以你问:“嘿,什么时候全球一半的增量新增算力都会流向 OpenAI 和 Anthropic?”实际上到明年年底,一半的增量算力就已经流向 Anthropic 和 OpenAI 了。
因为算力增长如此之快,增量算力基本上将构成算力的大部分。所以很快——你说的大概是一年半到两年之内——全球大部分算力都将由两家实验室拥有,或者至少是在服务这两家实验室的需求。
有一种趋势是,全球算力以吉瓦计可能每年翻一番,但前沿实验室的算力却是每年翻三倍。如果当前趋势持续下去,就会从今年年初的 2 增长到今年年底接近 6。就是乘以 3 而已。到 2027 年底是 18,到 2028 年底是 54。你会不会觉得,“好吧,到那个时候,考虑到全球算力的总量,他们根本不可能继续每年翻三倍”?你如何看待未来几年的全球算力状况?
Dylan Patel
如果今年新增算力是 30 吉瓦,明年 50 吉瓦,后年大约 70 吉瓦,你就会遇到一个非常有趣的现象。今年部署的每一瓦,其效率都远高于两年前部署的瓦。全球算力中极大的一部分是今年部署的。尽管部署的瓦数没有翻倍,但我部署的是 GB300、TPUv7 和 Trainium3,它们的效率要高得多得多。它们每瓦性能比上一代芯片高出 3-5 倍。
所以归根结底,这里存在一个巨大的阶梯。如果 Anthropic 和 OpenAI 明年承担 45% 的算力,那么到——比如说——27 年 12 月,它们就已经承担了全球新增算力的一半。但这一半全球新增算力,实际上比之前所有算力的性能都要更高。所以你还得在此基础上再乘一个倍数。等到接近 2028 年底——如果这个趋势持续下去,而我看不到任何阻止它的因素——它们就几乎独自掌控了全世界大部分可用的 flops。
00:07:01 – 60 亿美元的晶圆厂资本支出可支撑 1 万亿美元以上的终端收入
我不明白的是,如果我们进入一个算力价值大幅提升的世界,你为什么认为 2028 年我们只会新增 80 吉瓦。
Dylan Patel
顺便说一句,那是上限。那就是那种“我他妈极度看多”的情形。
好,我们在这里做一些链式推理。几个月前我采访你的时候,你说要造出 1 吉瓦的,我记得是 Vera Rubin,你需要 55,000 片 N3晶圆、6K 片 N5 晶圆,以及 170K 片 DRAM 晶圆。我知道这些数字可能已经变了。
Dylan Patel
我要调侃你一下,但你说“wafers”的方式也太他妈印度了。Vafers。
顺便说一句,我们刚搬到美国的时候,我的 v/w 发音问题挺严重的,而且我当时是素食主义者。
Dylan Patel
我记得你跟我说过这件事。
在北达科他州,我上小学的时候,我会说——
Dylan Patel
能给我来一份“wedgie”吗?
能给我来几份“wedgies”吗?
总之,那是针对一吉瓦的。我让一个 LLM 跑了你的晶圆厂设备模型,算出基本上每年生产一吉瓦算力所需的工具成本是多少。它说是 $3-4 billion。现在假设你把洁净室和厂房外壳以及晶圆厂的其他所有东西都算进去。那么 $6 billion 的晶圆厂资本支出每年就能产出一吉瓦。一吉瓦目前能产生 $100 billion 的收入。
但同样,这 60 亿美元的资本支出每年能产出一个吉瓦,而这个吉瓦每年能产出 1000 亿美元。所以在这五年里,第一个吉瓦已经产生了五年的利润,晶圆厂产出的第二个吉瓦已经产生了四年的利润,以此类推。晶圆厂层面 60 亿美元的资本支出将产生超过一万亿美元的终端 AI 收入。
Dylan Patel
是的。一路上有大量的运营支出。还有很多其他的资本支出,比如数据中心、电力。
而且你还得为研发向 OpenAI 付费。
Dylan Patel
安装。这里有很多不同的人都需要钱。
把其中一半拿走分给所有这些中间商。这仍然意味着晶圆厂资本支出与所产生的终端收入之间存在 100 倍的差距。实际上还不止,但我们只是非常保守地估计。结果就是……这就是资本主义。你存在如此巨大的差距,可以把 1 美元变成 100 美元。他们难道不会想办法造出更多的镜子吗?
Dylan Patel
他们会的。只是这些镜子需要一些时间来制造。
但紧急程度如此之高,以至于 Anthropic 和 OpenAI 都在说:“我们现在就能赚一万亿美元,但我们就是卡在那些装进 ASML 机器的反射镜上。”如果我们为此投入 1000 亿美元,怎么才能造出更多反射镜?这就是我们很快将面临的处境。我们无法解决那个供应瓶颈?这实在很难想象。
Dylan Patel
你已经看到有人在这里做有趣的套利,他们买下 涡轮机然后试图转售,因为涡轮机的价值要高得多,因为它是卡住你数据中心的东西。我认为,如果任何人有 4 亿美元,并且有能力说服 ASML 卖给他们一台 EUV 设备,他们完全应该直接去买一台,等着,然后以超过十亿美元的价格卖掉。
但归根结底,是的,资本主义会推动这些东西扩张。但这是一根鞭子。鞭子信号传到末端需要很长时间。供应链不会立即反应。事实上,你去和 Carl Zeiss 的人聊聊,他们会说:“是啊,是啊,是啊,我们需要在这个十年结束前造出 100 台 EUV 设备。”今年早些时候我们做那期节目时,他们甚至不认为自己需要造那么多——足够一年造 100 台 EUV 设备的反射镜。现在他们说:“好吧,我们需要做到这一点。”但实际上,考虑到正在发生的所有经济因素,应该还要更多。传导需要太长时间了。
假设产业链上的每一家公司都被私募股权收购了。来了一个超级信奉 AGI 的人,说:“我们要把产量最大化。”你觉得制造更多东西的物理约束会是什么?我问这个的原因是,我们很快就会进入一个世界,届时实验室收入,或者干脆说 AI 的现金流——因为显然加速器也有这些巨大的现金流——会大到你可以直接用现金流本身来资助这一切产能的极端扩张。
Dylan Patel
我总体上同意。显然存在一些物理约束。按照供应链目前的扩张方式,100 大致上仍然是正确的数字。
是指 2030 年?
Dylan Patel
2030 年 100 台 ASML 设备。但如果你说,“Carl Zeiss,这里是 100 亿美元。请他妈的就直接扩产吧,”那情况就会改变。你得对供应链上的每一家公司都这么做。
但你不觉得这会在明年发生吗?
Dylan Patel
我不觉得今年会发生。我不觉得明年会发生。我也不觉得后年会发生,因为这个世界受资本约束。
但在这样一个世界里,比如说,头部实验室明年即便加起来能创造一万亿美元的收入,他们也拿不出其中的 100 亿美元——
Dylan Patel
我不认为他们会那么做,但是……
或者至少数千亿美元?看起来他们确实意识到了世界正走向何方。我觉得他们完全可以……
Dylan Patel
问题在于,这些实验室明年将创造数千亿美元的收入。但归根结底,明年的 CapEx 大约是 2 万亿美元。所以你就看到了这种巨大的错配。晶圆制造设备供应链的规模大约在 2000 亿美元量级。数据中心市场供应链的规模还要更大。加速器供应链的规模还要更大。能源供应链也会贡献一个可观的数字。把这些全部加起来,CapEx 将远超 2 万亿美元。所以这些实验室还没有发展到能用自身现金流来支撑这一切的程度。
显然他们永远也到不了那一步,因为你总是希望让 CapEx 高于你的回报。
Dylan Patel
对,你再投资。
00:13:08 – 如果实验室出价高过所有人,算力价格将会上涨
我真正想弄明白的关键问题是:如果当前趋势延续下去,到 2028 年底,每家实验室的算力将超过 50 吉瓦。那么两家加起来就是 100 吉瓦。正如你所说,到 2028 年,这些吉瓦所带来的吞吐量或性能将是现在的许多倍,因为硬件变得更好了。不仅每瓦 flops 提升了,硬件在处理 AI 工作负载方面也变得更擅长了。
好,那么到 2028 年底,这些实验室合计 100 吉瓦。全球算力总量是多少?
Dylan Patel
我觉得这可能有点困难,因为到 2028 年,他们已经拿走了增量算力的 70-80%。我不确定到时候市场会变成什么样。算力价格要飙升到什么程度,他们才能真正买到 70-80% 的算力?Google、Meta 或 Amazon 是否愿意卖出那么多?
另外,当我们谈论这些吉瓦数字时,有一个需要注意的地方。当 Amazon 通过 Bedrock 为 Anthropic 的模型提供服务时,在我们的视角里,这算作 Anthropic 的算力,因为归根结底,这实际上被计为 Anthropic 的收入,尽管存在收入分成和返还抵扣之类的安排。但最终到 2028 年,如果他们合计达到 100 吉瓦,那他们对市场造成的颠覆将是极其巨大的。
因为如今任何人都能靠每兆瓦 1000 万到 1500 万美元的算力赚钱。不骗你,这并不难。去弄一个 GB300 机架,去下载 Kimi 权重,去下载 vLLM 或 SGLang,把它搭起来。Codex 和 Fable 其实能帮你做这件事。这相当简单。算不上轻而易举,但也不是什么高深莫测的事。把它挂到 OpenRouter 上。非常简单。你赚到的收入就会超过你为算力支付的费用。
这已经导致了这种算力定价——每兆瓦 1000 万到 1500 万美元——开始向上拐头。要在 2028 年达到那 100 吉瓦,你必须相信这些实验室能出更高的价来买算力,因为任何人都能在每兆瓦 1000 到 1500 万美元的水平上赚钱。算力现在会涨到每兆瓦 2500 万美元吗?会涨到每兆瓦 4000 万美元吗?
正如你所说,情况已经是这些实验室每兆瓦产生的收入远超其他所有人。如果它们保持目前这样遥遥领先,你会预期这种情况会持续下去。如果存在某种 递归式自我改进,使得这些 AI 实验室相对而言被抬升——或者它们内部有对外不发布的模型,正在帮助它们把下一个模型做得更好——你会预期这种情况会更加明显。
你不是已经看到这种情况了吗——SpaceX,或者任何稍微落后一点的一方,如果它们无法像那些实验室一样在内部把算力变现,就会直接把算力卖给出价最高的人?你会预期它们会不断竞标,去争夺算力市场里越来越大的份额。
Dylan Patel
我认为这就是我的世界观。它们会继续吞噬更多的算力。但归根结底,它们无法以当前价格、甚至接近当前价格的水平做到这一点。它们确实必须开始为每兆瓦支付 2500 万、3000 万、5000 万美元,才能在 2028 年真正吞噬全球 70% 的算力,在 2028 年达到 100 吉瓦,这是一个非常激进的目标。
这件事另一个真正棘手的方面是,我们已经看到 AI 实验室出现了大幅放缓。它们所倡导的这些监管,实际上对实验室的拖慢程度远超过对中国开源语言模型的拖慢。OpenAI 不发布 Astra。OpenAI 暂停训练两周。Anthropic 不发布其安全评估所称的Model 2,而外界普遍认为这就是Mythos的下一个版本。
它们显然没有发布自己最好的模型,在这种情况下,它们每兆瓦的收入就会停滞,甚至可能再次开始下降,因为其他模型又变得有竞争力了。这并不是说它们在落后,只是说它们没有发布自己最好的东西。
如果存在某种监管影响,阻止它们发布自己最好的模型呢?那么它们每兆瓦的收入就不会攀升得那么快。它们以高于其他所有人的价格购买那部分增量算力的能力就会开始减弱,然后也许它们就无法达到那 100 吉瓦了。
但在一个安全无关紧要的世界里,我确实相信事情恰恰就是那样发生的。他们可以开始做到每兆瓦产生 1 亿美元甚至更多,并且他们可以支付每兆瓦 5000 万美元。其他任何人除了说“求你了,Dario,把我的算力全都拿走吧”,没有任何合乎逻辑的理由去用他们的算力做别的事。但有一些我们无法描述的力量在起作用,可能会让这件事慢下来。
我觉得一个很好的直觉推演是:如果 AI 模型真的和一个完全自动化的软件工程师一样强呢?它们目前还没到那一步。我认为它们距离能够完全自动化一个全职白领工作者的工作还差得远。但白领工作者一年能挣六位数或更多。如果你有 1 吉瓦,能够支撑比如说大约 100 万白领工作者的规模。那么在此基础上……那将是 1000 亿美元。这实际上低得令人意外。
Dylan Patel
是的,每人 10 万美元,100 万人口。
我不知道。但如果你实现了完全的 AGI,那将是每吉瓦数千亿美元。
00:18:22 – 哪一层将捕获大部分剩余价值?
Dylan Patel
另一个方面——而且我们一直在看到这一点——是大部分价值捕获并没有发生。这些模型所产生的大部分价值并没有落入 OpenAI 和 Anthropic 手中。幸运的是,到目前为止,这些价值大多只是被交给了用户。
Jane Street凭借其与 OpenAI 签订的 GPT-5.6 Ultrafast mode 独家合同,或者说 Jane Street——他们是 Anthropic 最大的客户之一——从他们付费购买的 token 中创造出的价值,远远、远远、远远超过 Anthropic 在利润方面所创造的价值,因为他们可以靠市场赚钱。
或者以 Meta 为例,它一度被传占 Anthropic 业务的 10% 之多。他们通过优化广告算法之类的手段,获得了多得多的效率提升,参与时长延长了 5%,诸如此类。他们通过使用这些模型赚到的钱,远比 Anthropic 赚得多。
这就是必要条件。当然,如果你有 100 万名新软件工程师,软件工程师的成本也会下降。
让我困惑的一点是,市场会达到均衡吗?如果达到均衡,你是否会预期算力的价格等于 Anthropic 和 OpenAI 能从中产生的收益,或者非常接近这个水平,只是为 Anthropic 和 OpenAI 留出少量加价?
眼下非常奇怪的是,算力的售价与 Anthropic 能从中赚到的钱之间存在 4 倍甚至更大的差距。在一个每吉瓦收入持续增长的世界里,如果 Anthropic 对每吉瓦的变现能力翻倍或增至三倍,那么这一差距继续扩大就会显得很奇怪。Anthropic 仅仅凭借拥有一些权重,就能把成本 10 美元的东西变成 100 美元。
Dylan Patel
这始终是个有趣的问题。AI 的价值流向了哪里?AI 正在创造所有这些价值。你有终端用户,我想我们都同意他们创造的价值比任何人都多,因此他们为这些模型支付了高昂费用。然后是应用层。到目前为止,应用层创造的价值非常少。再然后是模型层,一年前它还在产生负毛利,如今却在产生巨额正毛利。看起来它正朝着每兆瓦创造 1 亿美元的方向发展。所以,正如你所说,把 10-15 美元变成 100 美元。
但如果我们回到一年前,硬件供应链在产生所有这些毛利,而其他所有人几乎都在亏钱。OpenAI 和 Anthropic 只是在往里砸风投资金,许多其他初创公司也是如此。这些超大规模云厂商中有许多在建设基础设施时,并不知道是否会有回报。
所以最终,如果你愿意这么说的话,模型层上产生的是负价值,因为他们卖 token 的价格低于基础设施侧的成本。所有价值都被芯片和晶圆厂捕获了。2023 年初的时候,内存厂商从 HBM 或 AI 内存上根本赚不到钱,尽管理论上他们交付的价值是巨大的。
现在你有了……嗯,实际上 TSMC 捕获的价值远少于内存厂商。所以价值捕获发生了很大的转移,这对跟踪市场或参与市场的人来说非常有趣,比如 Jane Street。这不是广告。这不是广告。这不是广告。
他们是赞助商,但你不用这么卖力地给他们打广告。
Dylan Patel
那么接下来会发生什么?Anthropic 和 OpenAI 已经开始慢慢膨胀其价值捕获。它们会膨胀并拿走所有的价值捕获吗?嗯,曾经有人这么想,然后 Elon 证明了:“实际上,不会。我可以以每兆瓦 2500 万美元或每兆瓦 4000 万美元的价格把我的算力卖给 Anthropic 和 Google。即使是短期的事情,我已经以这个价格卖出去了,我将在一年内收回全部资本支出。”
你预测相关的那一批算力——B300s 或者 SpaceX 以 400 亿美元每吉瓦卖给 Google 的那些——到明年年底会卖到什么价格?
Dylan Patel
我认为大部分算力仍将以每吉瓦低于 200 亿美元的价格成交。
哪怕到明年年底也是如此?
Dylan Patel
因为所有这些都必须获得融资。如果 Meta、Microsoft、Amazon、SpaceX 能在没有找到客户的情况下就建算力,直接说“去他的,我就要建这个算力”,然后转身等到它建好,那他们就掌控了局面。
大部分算力在建成之前很久就已经签好了合同。这正是 Elon 在市场上利用的一点。他实际上手里有所有这些算力。他说:“嘿,Anthropic,我知道你们每吉瓦能赚 600 多亿美元。你们为什么不干脆花一大笔钱买我的东西?”显然,这并不是 Elon 决定了这件事或 Anthropic 决定了这件事。是市场自己找到了答案。
其他人呢,你去随便一家云厂商,他们会说:“好,我要建一吉瓦算力,或者 100 兆瓦算力。我要花这笔 CapEx。我得转身去找客户。如果我想找到客户,我就得找到资金。谁来给我资金和客户?客户得签协议。然后我拿着客户的承诺去信贷市场融资。”
所以存在一种完全不同的权力结构,Meta 实际上在囤积算力。Meta 和 SpaceX 是唯一两个可能的第三名,因为他们在囤积所有这些算力。他们利用自己的资产负债表和能力来建设算力,却没有一个能大规模变现的终端客户。他们拥有实实在在的资产负债表,所以可以去信贷市场融资。你建一个吉瓦,你就能赚到你的利润,不是疯狂的利润率,但是不错的利润率。现在我就拥有了所有这些算力。
现在 Meta 和 SpaceX 拥有了这种选择权,可以环顾四周然后想:“我的内部用例会让我赚更多钱,还是我应该出去以疯狂的利润率把它卖给 Anthropic 或 OpenAI?”所以现在我们进入了一个新格局,SpaceX 和 Meta 在说:“实际上,我要建这个算力,我可以以不是 13 美元的价格租出去。我可以卖到 25 美元、50 美元甚至更多。”
00:25:40 – 数据中心监管会拖慢 AI 吗?
你觉得到 2027 年底他们每吉瓦的收入是多少?对 Anthropic 或 OpenAI 来说,到 27 年底。
Dylan Patel
我认为这高度取决于谁拥有最好的模型,以及他们是否被允许继续发布自己最好的模型。但我不明白为什么每兆瓦不会达到 5000 万美元以上。
到 27 年底。
Dylan Patel
哦,到27年底?那就更有挑战性了,但我认为可能会更高,达到每兆瓦7000万、8000万美元,全公司混合计算的话,甚至可能更高。
看起来偏低。
Dylan Patel
那么如果是这样的话,算力的价格会发生什么变化?嗯,如果我是 Anthropic,增量算力是值得的。也许我在 SpaceX 算力上花每兆瓦4000万美元。如果我是 SpaceX,我看看供应链,我会想,“嗯,我已经和 Jensen 达成了这笔交易(他现在突然开始用 Twitter 了)。”Elon 说他们独家使用 Nvidia,但 Jensen 为什么不涨价呢?然后 SK Hynix、Micron 和 Samsung 看看这个情况,他们会想,“嗯,我们为什么不涨价呢?”
所以就价值捕获而言,我认为这里存在一种牛鞭效应。仅仅因为有人涨价了,并不意味着整个供应链会立即重新平衡。但随着时间的推移,供应链会重新平衡,东西会越来越贵。为了获得那部分增量产能,你多少不得不这么做。所以 TSMC 涨价非常缓慢,但存储公司涨价非常快。基板公司涨价非常快。如果是15美元,Elon 不会卖,但他现在在卖,因为价格是25美元以上。所以显然他涨价涨得非常快。
我很惊讶,你居然认为到明年年底,每吉瓦收入不会增长到远超每吉瓦 100 的水平。
Dylan Patel
或者就算 RSI 不发生,就说当前的进展速度继续保持下去。只要看看我们在,比如说,过去一年半里取得了多大的进展。一年半前的模型是什么?Claude 3.5之类的?
Dylan Patel
我对这一点的异议在于,世界上现存最好的模型是在二月份训练的。
所以你的意思是,也许我们就是不被允许发布各实验室最好的模型。
Dylan Patel
OpenAI 说他们两周都不训练模型了,老兄。搞什么鬼?
一方面,在内部,他们是否获得了足够多的使用量,以至于他们会把算力的价格抬上去?另一方面,AI 整体进展是否会因为监管而放缓?
Dylan Patel
是的,但他们甚至不被允许在内部使用这个新模型。Astra甚至都没有在内部广泛部署。
但话说回来,如果你有一个模型……去年年初发布的是什么模型?GPT……
Dylan Patel
4o?是4o吗?
是的。到那个时候,也就是到2027年底,你谈论的是从GPT-4o到Mythos 2级别的跨越。
Dylan Patel
是的,但Mythos 2还没发布。
甚至Mythos都没有。又是那种跨越。
Dylan Patel
甚至连Mythos都不被允许发布。他们把它阉割了。我们无法用它来优化推理性能。我们无法用它来优化各种东西。
是的,也许AI进展或AI部署有所放缓,这意味着每吉瓦的收入可能会更低。但这是我能看到的、到明年年底每兆瓦只有1亿美元的唯一解释。
Dylan Patel
只要模型不断变好,它所产生的价值就会不断提升。显然,价值最终由谁获取仍有争议,但归根结底所有人都会涨价。因为他们有这个能力,而且这极具通胀效应。
尤其是当监管手段是……目前来看,还只是“不许发布模型”。但越来越多的监管方式是纽约州禁止数据中心。得克萨斯州在实施暂停令。俄亥俄州说,或者至少试图说,你必须为一定半径内所有人的房产税买单。这类做法会减少供给、推高成本。而这些成本也会被转嫁出去。
你最终会陷入这样一种境地:进展确实放缓了,至少从外部来看是这样,即便模型在内部变得越来越好。在起飞情景下,Anthropic 为什么不把最好的模型比对外可用的版本提前六个月?出于安全和监管的考虑,但也是出于竞争优势?如果进展加速,那六个月的差距实际上会变成更大的差异。
所以这就是那个会限制每兆瓦收入增长的因素,使其远低于我们在今年上半年所看到的增速。
00:29:43 – 实验室正在将算力从推理转向研发
有件事我非常感兴趣。随着这些公司上市并对投资者负责,假设到明年年底它们拥有接近 20 吉瓦的算力。那么 10% 的算力就是 2 吉瓦。
假设他们想把用于训练的算力占比从 60% 提高到 70%。而他们的投资人会说:“好吧,如果你每吉瓦能产生 1000 亿美元的收入,那你基本上就是在拒绝 2000 亿美元的收入,只为了增加你的训练算力。”所以投资人会说:“搞什么鬼?你已经在训练上花了这么多钱,为什么还要在训练上花更多钱?”
作为一家上市公司,如果他们就说:“不,我们会继续提高用于训练的算力占比,以抵消每吉瓦算力带给我们的收入增长”,你觉得会发生什么?
Dylan Patel
这是我个人的看法。随着时间推移,这些实验室会分配给推理的算力越来越少。我认为这是非常非共识的。大多数人的标准看法是:“哦,大部分算力会用于推理。”但大部分算力会用于训练的前向传播,而不一定是能产生收入的推理。
归根结底,如果他们今天每兆瓦能产生 3000 万到 4000 万美元的收入,你会把 40% 分配给推理。如果你现在每兆瓦能产生 6000 万到 7000 万美元的收入,你还会把 40% 分配给推理、赚取所有这些利润、然后分红和回购股票吗?还是去构建 AGI?我认为 Anthropic 和 OpenAI 给出的显而易见答案是去构建 AGI,不仅是高管层面,他们的董事会也是如此,因为这利润高得多。所以最终你会看到他们不断提高用于训练的算力占比——
而如果他们把每一份新增算力都专门用于推理,其带来的利润生成能力正变得越来越强。
Dylan Patel
对。核心在于,如果我是在卖 token……OpenAI 是只对外部发布 Ultrafast 模式,还是内部也在用?结果是,不。实际上,我会把它同时分配给内部和外部,因为我从超高速 AI 或最好的 AI 模型中所产生的内部价值,远远超过外部某个人所能产生的价值。
所以归根结底,当然,我每兆瓦可以产生 1 亿美元,但如果我把这些转向 AI 研究,我能获得的增量进展是什么?这对我未来的盈利潜力、对我所做的一切的现金流折现意味着什么?他们并没有去做那套计算,但归根结底,把越来越多的算力专门用于内部是更合理的。让推理算力如此庞大的唯一原因,就是你可以借此扩大你的训练集群。
我觉得这是一个有趣的经济学问题,我觉得我们可以让模型来消化一下。在一个他们减少用于推理的算力占比的世界里,必须满足什么条件才会成立?
Dylan Patel
我认为在过去三个月里他们已经是这样了。我认为在今年的一些时段,他们在提高算力投入的比例……我们就逐月来看吧。你会同意,每个月 Anthropic 增加的算力都比上个月更多。当他们签下 SpaceX 之类的交易时可能会有一些波动,但总体而言,算力总量是一条上升的曲线。
所以在一月份,他们增加的算力比十二月份少,然而他们的收入增长却一飞冲天。然后他们某种程度上进入了平台期。他们现在并不是每个月都增加 250 亿美元的 ARR。这意味着他们获得的边际兆瓦中,用于研发的比例高于用于推理的比例。所以事实上,他们今天正在把更多算力投向研发。我认为只要你足够仔细地观察他们在做什么,这一点是不言自明的。
00:33:27 – 中国获得的新增算力不到 10%,但中国的实验室需要的也更少
如果我看看你说的全球算力增长速度的那些数字,有几件事我想弄清楚。看起来如果把你刚才说的数字加起来,到 2028 年底全球算力将超过 200 吉瓦,对吧?
Dylan Patel
是的,全球范围内。
好。2028 年之后,全球 AI 算力还能以多快的速度继续增长?
Dylan Patel
今年 30,明年 50,到 28 年 70。29 年应该在 90-100 这个量级。
然后之后每年就再增加 100 左右还是怎样?
Dylan Patel
我认为这个斜率可以继续向上走。超过四年的预测就很难做了。谁知道我们是不是处在 RSI 状态中,或者世界经济什么时候能每年增长 10%?因为如果你每年达到 100+ 吉瓦,那就是荒谬的 GDP 增速了。
如果你认为 2028 年全球有 200 吉瓦,那到那时中国有多少?在整个这一趋势中,中国的算力如何持续增长?因为如果 RSI 这件事在中国拥有大量算力之前就在西方启动了,也许我们生活的世界会和它没启动时不一样。
Dylan Patel
如果我们把基准拉回到 2022 年,美国当时贡献了全球算力的大约 45-50%。中国大约贡献了 30-35%。其余部分由世界其他地区占据。自 2022 年以来,我们对中国出台了重大监管,而美国的增长则急剧上升。所以今天,70% 的瓦数部署在美国。中国实际上是一个非常小的数字。部署用于数据中心 AI 算力的瓦数中,中国占比不到 10%。
随着我们向前推进,它们的数量仍然非常小。它们的国内产量相当小。它们从 Nvidia 的采购量仍然相当小,而且其中很大一部分最终还流向了其他地方,马来西亚之类的。
所以归根结底,中国国内在新增算力中仍然只占不到 10%。我认为到 2028 年,这个数字可能会开始向上拐头。但很容易说,中国的 AI 算力将达到 30 吉瓦或更少。
到 2028 年?
Dylan Patel
是的,2028 年。
好。那它们的曲棍球杆式增长会有多快?
Dylan Patel
我确实认为,到 2028 年,它们能够部署的算力会有大幅提升。到 2026 年,它们仍然主要依赖大量走私芯片,大量由台积电为那些它们以为不是华为的公司、但最终却是华为的公司制造的芯片,或者三星正在出货的大量 HBM。
但到了2027年,晶圆厂开始上量。尤其是2028年,SMIC和CXMT等厂商的晶圆厂开始上量,届时国内产量实际上能达到每年数百万颗。到2028年,他们仅在这一年就会逐步新增5-10吉瓦的国产芯片。这些芯片肯定比Nvidia在2028年、Google在2028年或OpenAI在2028年将拥有的芯片要差。
所以你是说,即便是吉瓦这个数字也夸大了实际情况。是30吉瓦,但芯片实际上要差得多。但如果你认为第二年全球将新增100吉瓦——我知道你说过你没法预测那么远——那中国在接下来那一年能新增多少?基本上我想知道的是:他们会不会在能够开始大量出货算力的那个节点上直接曲棍球棒式暴涨,还是仍然会少于美国加盟友?
Dylan Patel
美国是否通过MATCH Act、工具是否继续受到出口管制、中国能以多快速度造出他们开始能够国产的新设备,这些都还有很大变数。但归根结底,中国肯定会曲棍球棒式暴涨。如果说中国有什么真正擅长的,那就是极其迅速地扩大制造规模。
我设想中国将开始能够把越来越多的外国芯片采购引入中国国内,或者至少缩小美国允许Nvidia卖给他们的芯片与实际需求之间的差距,诸如此类。
但你认为中国在 2029 年有可能新增 50 吉瓦吗?
Dylan Patel
我认为这完全合理。其中一部分也可能从国外采购。但没错,我认为中国在 2029 年做到 50 吉瓦是完全合理的。但如果其中大部分是国产芯片,那么这里就有一个系数问题:那 50 吉瓦实际上只相当于美国芯片的 20 吉瓦。
对。所以你实际上是在预测这样一个世界:如果按质量对吉瓦进行加权,2028 年领先的实验室所拥有的算力,可能比整个中国在 2029 年甚至 2030 年所拥有的还要多。
Dylan Patel
这意味着没有采取任何措施来减缓美国实验室的发展。
没错。
Dylan Patel
但显然政府和政界人士正开始这么做。而中国不会放缓 AI。事实上,他们唯一会做的就是加速它。
说实话,当我采访 Jensen 并问到出口管制时——我是一个自由意志主义者——我当时并不真正确定自己在这个问题上的立场。我在为他所持观点的对立面做最强论证,因为我认为把想法彻底辩清楚很重要。我当时想的是:“是啊,也许存在这样一种情况:如果我们干脆和中国合作,对我们反而更好,尤其是考虑到他们掌控着供应链中如此多的环节,以及机器人技术所需的其他东西。”
但我没意识到算力状况有你说的那么糟糕。实际上,出口管制似乎确实……如果他们运出的量如你所说,那就是天壤之别。等到我们拥有自动化编程员并进入自动化研究员阶段时,中国在算力储备上已经远远落后了。如果最终真是这样,那出口管制就奏效了。我认为这实际上是一个值得注意的成功。
Dylan Patel
唯一需要注意的是,其中一部分是出口管制的原因,但另一部分也纯粹是金融体系的问题。美国的金融体系比中国的金融体系更愿意对初创企业豪赌一把。但一旦中国的金融体系选定一个重点发展的行业,他们给出的补贴会多得多。
所以中国半导体产业获得的补贴,比世界其他地区半导体产业补贴的总和还要多得多。如果起飞的速度没有你暗示的那么快,而是实际上需要更长时间,那么最终中国将在半导体方面大幅追赶上来,而半导体在某个时点就等同于算力。
另一个值得注意的方面是,如今中国公司在 AI 模型上,至少从公众感知来看,相对于它们所拥有的算力而言,并没有落后太多。领先的中国实验室总算力最多只有 100-200 兆瓦,字节跳动 Seed是唯一的例外,其算力显著高于这个水平。但 Kimi并没有在运行一吉瓦的算力,也远未接近。而 Anthropic 到今年年底将超过 5 吉瓦。
所以问题是,这重要吗?我认为目前这种算力差距并没有那么重要。当我们拆解一个实验室的算力比例或预算时,到目前为止是 60% 用于训练,40% 用于推理。但训练部分还会进一步拆解。实际上 50% 的算力用于研究,10% 的算力用于开发,然后 40% 用于推理。
我所说的研究和开发是指:研究人员在产生想法、测试新架构、测试新的数据配比、测试新的超参数、新的注意力技术,等等等等。但最终当他们进行训练运行时,当 Anthropic 训练 Mythos 时,功耗低于 200 兆瓦。
是预训练还是整个过程?
Dylan Patel
预训练。大约两个月的时间里功耗低于 200 兆瓦。然后RL就更少了。
你认为 RL 用的算力比预训练少?
Dylan Patel
至少就单个预训练站点而言,是的。
但总计算量可能更高,对吧?
Dylan Patel
但它是串行的。他们在任一时刻最多用到的算力大概是 200 兆瓦。而实际上他们拥有数千兆瓦,所以他们的绝大部分算力都投入到了研究中,而不是模型的开发上。
这是有原因的。协调所有这些集群很难。把它们放在同一地点很难。做多站点训练很难。做 RL 很难。在 RL 期间生成更多的 rollout 并不一定能让效果更好。有各种各样的原因导致你未必能把拥有的全部两千兆瓦算力都用于训练。实际上,我只能用上 200 兆瓦。
随着我们在自动化编程和自动化研究员方向上越走越远,我实际上预期用于研究的那部分算力预算占比会变得更加模糊,甚至训练占比会更高。还有像持续学习这样的东西。所有这些都开始意味着,越来越多的算力实际上会被投入到模型的训练中。
如果你最终进入一个每年建设 100 吉瓦的世界,按当前价格计算,那将是每年 5 万亿美元的资本支出。
Dylan Patel
再叠加一个事实:你必须在那之前很早就把发电厂建好。它还是一笔 30 年期的资产。再叠加一个事实:数据中心是一笔 15 年、20 年期的资产,你也必须提前把它建好。所以那 5 万亿美元,一旦把未来几年的增长算进去,实际上会更像是 7 万亿或 10 万亿美元的资本支出。
等等,我没听懂。那还不包括数据中心本身没有发电基础设施这一事实。
Dylan Patel
对,正是如此。当人们谈论 AI 资本支出时,他们会说 400 亿、500 亿美元。但那实际上只是关键 IT 部分:服务器、网络、光纤、收发器、光通信,诸如此类。它不包括数据中心本身,也不包括发电厂本身,而这些都在被提前建设。
如果我今年建设 100 吉瓦,明年建设 150 吉瓦,那么为那 150 吉瓦配套的所有建筑都需要在今年作为资本支出建好。如果我后年建设 200 吉瓦,那么所有这些发电厂都需要支出……你必须今年就买下涡轮机。所以实际上,如果你要建设 100 吉瓦,这个数字甚至远不止 5 万亿美元。
没错。很有可能的是,到 2030 年底,每年的增量 CapEx 将接近 $10 trillion,这将近世界经济总量的十分之一。如果这些全都投在美国……美国经济本身也会增长。但即便如此,以美国当前的经济规模来看,这相当于美国经济的四分之一到三分之一都只是投向数据中心。
当我把这话说出口时,我心里想的是:“也许你说得对,我们就是不会允许这种情况发生,而这正是这件事不会成真的原因。”因为要让这种指数级增长持续下去,美国经济的四分之一就只是在建数据中心。
Dylan Patel
我相信资本主义,也相信资源会重新配置到最有利可图的地方。但与此同时,政治是存在的,信贷市场是存在的,资本市场也是存在的。
所以,要支撑比如说 2030 年的 100 gigawatts……或者我们干脆把范围缩小到 2028 年,那时所有这些项目的 CapEx 大约是 $3 到 $4 trillion:其中超过 $2.5 trillion 用于 IT CapEx,另外 $1 到 $2 trillion 用于数据中心和能源,以及所有下游供应链,比如半导体之类的。如果你处在 $3 到 $4 trillion 的 CapEx 规模,这些现金都从哪来?目前还没有人从这项业务中产生那么多现金。
迄今为止,所有增长都是由超大规模云厂商出资支撑的。Google、Microsoft、Amazon、Meta。它们承担了其中很大一部分资金。它们曾占据算力的一半以上,但如今它们不再产生现金。实际上,它们把所有资金都花在了 CapEx 上。此外,它们还举债,并把所有资金都花在 CapEx 上。你已经看到 Meta 这么做了,甚至 Amazon、甚至 Google 也是如此。Microsoft 很快也会加入。每个人都在举债来支付自己的 CapEx。
那么,现在谁是此前没有这么做、却要为这件事买单的增量出资方?就 Google 而言,停止回购、或者 Meta 停止回购,然后转而购买计算机基础设施,对它们来说相当简单。这对市场没有巨大影响,但确实有一些影响。但当你推进到 2028 年——届时超大规模云厂商正在筹集数千亿美元的债务,然后它们整个供应链也在筹集数千亿美元的债务——谁来为此买单?
所以有几种不同的方式。有像 Nvidia 和 Broadcom 这样的半导体公司,以及存储公司转而决定为其中一部分 CapEx 出资。还有传统的基础设施投资者,他们正在募集资金并投资于基础设施。不是桥梁,而是数据中心。
然后最后,经济中的每个人都在意识到:“也许我不该买房,也许我不该投资那些帮助人们买房的信贷,也许我不该买政府债务。我应该直接买超大规模云厂商的债务,或者买这个数据中心的债务,或者买 Anthropic 的债务。因为 Anthropic 愿意为增量的一十亿美元支付 20% 的利率来建设他们的产能。因为他们知道从中获得的收入将是巨大的,而且他们愿意支付 20%,因为这仍然比从 SpaceX 以 500 亿美元每吉瓦的价格租用要划算。”
所以你就有了所有这些争夺。但如果你现在这么做,整个世界经济真的会围绕它重新洗牌。
00:48:48 – AI 会引发主权债务危机吗?
你和我过去几天一直在私下辩论,AI 是否会导致主权债务危机。逻辑是这样的。正如我们提到的,你面对的情况是极少的投资转化为大量的资金。所以回报率——
Dylan Patel
这他妈算什么问题,老兄。我的天。简直不敢相信。
不,对其它所有无法把一点钱变成很多钱的人来说,这是个巨大的问题。所以回报率高得惊人。即便在数据中心层面,如果你建了一个数据中心,想以相当于建设成本折旧后 10 倍的价格租给 Anthropic 或 OpenAI,那折旧基准来算,这简直疯了。到年底你能把 1 美元变成 2 美元、10 美元之类的。这就把利率推得更高。
现在,如果利率走高,并且整个经济都如此……人们借的钱越来越多。他们在与政府本会进行的放贷、其他公司本会进行的放贷,或者你作为消费者或房贷买家本会进行的放贷相竞争。这让其他所有人的借贷都变得更昂贵。这对无数人有着巨大的影响。抱歉,我在这里要稍微独白一番,但我们一直在一起思考这件事。
我认为美国最终会没事的。因为如果数据中心建在美国,你从根本上就可以对数据中心征税。但按照现行税制的设置方式,企业所得占联邦收入不到 10%。80% 以上是工资税和所得税,而随着自动化程度越来越高,这些税收将会缩水。
同时,在支出方面,目前 20% 的税收收入用于偿还债务,即支付债务的利息。现在,很多债务是短期的,所以每五年就会滚动一次。你他妈在笑什么?
Dylan Patel
因为这是你上个月才学到的东西。
说得好像你就有什么不同似的。好像你拿了个他妈金融经济学的学位一样。
Dylan Patel
我没有。网上都以为我是个养蜂人。几个月,就几个月。
这就是我们的本行,Dylan。
Dylan Patel
我知道,我知道。抱歉,抱歉。
现在我开始不自在了。妈的。
Dylan Patel
不,挺好的。你做得挺好。我只是觉得这挺好笑。一百万人听这个家伙讲,而他这个月才刚搞懂债务是怎么回事。
假设利率上升 1%。在五年的基础上,用于偿还债务的税收收入占比会从 20% 升到 25%。如果上升 5 个百分点,那就会超过 40%。但如果你把政府每年借入 2 万亿美元这个事实考虑进去,那这个数字就会从 40% 升到 60% 以上。也就是说,60% 的税收收入都直接用于支付债务的利息了。
现在,我认为美国会没事,因为如果我们允许数据中心在美国建设,税基就会扩大。在我看来,其他国家就彻底完蛋了。我刚才在看哪些国家债务高、税收收入极低,而且很多债务还经常需要偿付。像巴基斯坦或尼日利亚这样的国家,我认为在这种新的利率体制下会非常惨。
Dylan Patel
这种挤出效应就是为什么不能无脑上 10 亿吉瓦。你有那么多行业和国家依赖大量债务,你前面提到的那些贫困国家,它们只会违约。还有消费品行业,那些生产你在 Trader Joe's 或别的地方能看到的商品的的公司,它们依赖大量债务。所有这些电信公司依赖大量债务。银行依赖大量债务。
所以如果市场利率上升——不一定是政府设定的利率,而是利差,即政府所说的联邦利率与其他人收取的利率之间的差距,因为 Amazon 明年想发 1000 亿美元的债,或者不管那个数字是多少,可能更少——你最终会面临一个非常棘手的问题:现金从哪里来?
有一部分是由现金流支撑的,而且现金流还在不断增长。但合乎逻辑的做法是投资远超你的现金流,因为这样未来几年的回报会非常惊人。所以你就有了这个缺口。
那么,压低压差的就是所有其他这些东西:针对数据中心的监管、消费者变得愤怒、政客变得愤怒、针对 AI 的监管、AI 实验室出于安全原因不发布它们最新的模型。利率上升对所有这些事情都有影响。所以,所有这些事情把曲线从资本主义在纯粹、简单的经济学意义上所期望的样子,弯向我们所拥有的这个复杂系统所期望的样子,并且把它越压越低,低到本该建设的吉瓦数不会那么多。
嗯,利率是资本主义的一部分,对吧?
Dylan Patel
是的,但这是在简单经济模型与我们实际所拥有的更复杂情况之间的对比。
你认为 Amazon 或 Anthropic 或其他哪家公司明年发债融资的利率会是多少?如果它们发行数千亿美元的债务。平均利率是多少?
Dylan Patel
我不认为 Amazon 会发行数千亿美元的债务。
总共。就说那些大型科技公司吧。
Dylan Patel
超大规模云厂商总计,以及所有云厂商……在我们所做的建模中,从 2024 年到 2029 年,我们大约有 11 万亿美元的资本支出。
总计?
Dylan Patel
总计。如果你尽可能用现金流来为其中大部分提供资金,你最终仍然需要为这 11 万亿美元以上的建设发行超过 5 万亿美元的信贷。
所以你不认为 AI 收入能继续保持同比 3 倍的增长?
Dylan Patel
AI 收入确实会增长。我不认为它能在不触及某些约束的情况下永远增长下去。实验室会有某些激励。在很多情况下,实验室并不是建设所有算力的那一方,尽管它们越来越想朝那个方向走。
但它们会有所有这些现金流。你说收入会是多少?你认为它们不会有那么多收入?
Dylan Patel
不,我只是说,到 2029 年大约有 11 万亿美元的资本支出。其中 6 万亿美元由现金提供资金,5 万亿美元由债务提供资金。如果是这样的话,整个生态系统筹集 5 万亿美元的债务确实会推高利率。
那么,是什么阻止了这一点?有几个因素。其一,实验室是否会提高每兆瓦收入,并保持较大的推理算力分配?如果是这样,他们就在积累整个标普500的利润,因为所有人都在付费降低自己的成本。当然,他们的利润也会上升,但现金必须来自某处。因此,他们的收入增长速度相对于他们为世界创造的价值,存在一个上限。而且技术还有扩散效应。
但归根结底,实验室的收入会持续增长。他们无法用现金流为一切提供资金。最优情景是你尽可能多地使用信贷来融资,因为即使实验室的现金流能支撑很多东西,你也想建设得更多。所以会有一定规模的信贷被创造出来。
我们目前的模型显示,到2029年将有5万亿美元的信贷和6万亿美元现金流资助的基础设施投资。把这些加起来,相对于AI模型的需求增长,算力仍然不够。所以显而易见的答案是:每兆瓦收入会持续上升。
这说得通。你认为到2029年,利率会因此上升多少?
老兄,这就是凭感觉拍个数,但如果你要凭感觉拍一个数出来……世界经济增长在大幅上升,那亚马逊的利率凭什么不会从今天的水平上升呢?
这话说出来可能非常凭感觉,但最近 Meta 的融资利率已经升到了 5% 到 6%。我看不出他们有什么理由不愿意付 8%。他们会很乐意付 8%,因为他们将要建设的算力所带来的回报是极其巨大的。市场不会希望他们这么做,但他们自己会愿意付 8%。
反过来看,如果他们付 8%,而不是今天付的 5%、5.5%、6%——也就是上升 250 个基点——那就会让经济中其他所有人也多付 250 个基点,进而引发一连串后果。银行会叫苦连天,因为如果它们的信用利差上升,它们的债务重新定价的速度会快于资产重新定价的速度。如果它们的信用利差爆掉,最终会亏掉大量资金。
这件事的另一个后果——这是你提出的一个观点——是如果利率上升,贴现率就会上升,这意味着所有股票的贴现现金流都会崩塌。也就是说,即便股市整体可能表现不错——标普 500 会没事——任何单只股票的价值很可能都已经崩塌了,尤其是巴菲特式的、伯克希尔那种、能在 30 年里稳定产生良好现金流的股票。
是的。就像是在说,“我为什么要为 强生付这么多钱?”它们被视为稳定型股票:现金流良好,会随着时间推移把现金流返还给股东。或者一家铁路公司。如果我的贴现率不是 3% 或 5%,我他妈为什么要投那么多钱?现在可是 8% 或 10% 了。
对于发展中国家……Basil Halperin,他是我的好朋友,也是一位经济学家,他提出了这样一个观点:我们会看到第二次沃尔克冲击。在80年代,为了对抗通胀,美联储主席Paul Volcker将利率提高了超过5%,实际利率大约达到8%。这导致在那个十年里有大约40个不同的国家违约,主要集中在拉丁美洲。我认为这种情况很可能会再次发生。
好,现在我们开始聊奇点了。我们之前一直在讨论如果利率上升会发生什么——
顺便说一句,我认为这一切都发生在奇点之前。
对,我就是这个意思。我们之前讨论的是奇点之前的情况,利率上升2-3%,等等。在某个时间点,我认为世界经济非常有可能每年翻一番。这不会在五年内发生。但最终会发生的。有一位研究者,Damon Binder,在这方面做了很棒的工作。如果你看看一个完全自动化经济体的投入产出表……要让经济中所有存量每年翻一番,需要什么条件?
对。如果经济每年增长3%,那么按照70法则,大约需要二十多年。
对。但他当时的意思是:“好吧,现在我们的瓶颈在于人手,而你没法让人手每年翻一番。”但在一个劳动力也能每年翻一番的世界里,经济能增长多快?我认为它可能每年翻一番。至少也会是每年百分之几十。
好。利率应该会相当接近增长率。不会完全相等,因为有消费的因素,但应该会相当接近。然后我们会进入一个世界,我认为是在 2030 年代,利率会达到百分之几十。我脑子里有一部分在想:“可能会是百分之几百,”但我们就说至少是百分之几十吧。
我就想,好吧。每一个没有参与 AI 生产的国家都会违约。每一只不是 AI 股票的股票基本上都一文不值,因为贴现现金流毫无价值。如果联邦政府想不出对 AI 征税的办法,偿债成本就会超过当前的税收收入。而且还有所有其他我确信我们甚至还没计入价格的影响:你没法拿到房贷,等等等等。
从根本上说,这个世界正在发生什么?这些都是书呆子话,对吧?但我们退一步看。正在发生什么?
刚刚才开始,书呆子话?
我们将会进入一个完全不同的增长体制。经济基本上是在说:“嘿,政府借钱来给人们发养老金的机会成本现在极其高昂。因为那笔钱本可以用来建造一座机器人工厂,而这座工厂再建造一座机器人工厂,再建造一座机器人工厂。”资本的机会成本将会大幅上升。这从根本上就是我们正在谈论的这一切事情的成因。
随着利率上升,股市会遭受重创。即便是 AI 公司也不例外。有些真正笃信 AI 的人会说:“为什么 Micron、Hynix 或 Kioxia 的市盈率只有 2 到 3 倍?”答案是:“好吧,如果你真的对 AI 深信不疑,那么经济中的一切都应该以 2 到 3 倍的市盈率交易。”如果你不笃信 AI,那当然,它们确实赚得超额了。
这是一个论据,说明为什么——我认为内存会表现很好——内存股不应该再涨 10 倍之类的。因为如果我们身处一个对内存有如此巨大需求的市场——这意味着 AI 已经引起了经济中如此剧烈的变化——那么一切都应该以 2 到 3 倍的倍数交易,而股市就应该他妈崩盘。
从某种意义上说,Meta 的市值……我记得他们大概是一家 1.5 万亿美元的公司。这算什么?太荒唐了。他们的价值远不止于此,至少从逻辑上讲是这样。你只需看看他们的现金流、他们囤积的所有基础设施,以及他们将来能够以每瓦疯狂价格出售的所有算力——要么作为 token 出售,因为他们的实验室能跑通,要么直接卖给 Anthropic 和 OpenAI。
归根结底,问题变成了:你必须把所有资本重新配置给 AGI。而做到这一点的方式,就是把其他所有人都挤出局。所以,AGI 的限制因素并不是研究工程师——比如我们的室友 Sholto——能多快转动齿轮。真正的限制因素其实是,世界上的其他人究竟允许这件事发生到什么程度。
因为他们会监管。他们显然会加息。他们会说:“不许建数据中心。”他们会说:“停止建晶圆厂。”他们会说:“哦糟了,每家公司的股权价值都在暴跌,那我还怎么花钱用 AI 来增长我的业务?”
那么,Anthropic 和 OpenAI 就得开始自己造东西了。他们已经在造自己的芯片了,至少是在设计自己的芯片,而且这会进一步扩展。未来几年里,他们会签约自建数据中心,并搭建自己的基础设施。
问题在于,这种经济上的重新配置会如何发生。即便模型本身有能力实现,也存在着大量下行压力,使其不会直接一飞冲天。我想你和我都相信,我们正处于一个模型具备这种能力的世界。但缓慢起飞——至少是我的希望——是可能的,因为经济和监管领域的一切因素。政府说:“不要发布你们的模型”,政府说:“实际上,你们甚至不能在内部大量使用你们的模型”,因为这种事很快就会发生。他们已经在说,你们不能发布你们的模型了。
我最担心的是奇点,而外部部署实际上正在助长它。所以,我们阻止外部部署这件事本身就很愚蠢。
这会阻止奇点吗?
现在这会带来更多收入,因为模型还没有能力进行 RSI。但我担心的是到了 2030 年的世界,政府说:“我们要等六个月,才能让你把最新模型发布给公众。”
六个月,100 倍。来吧。
在那六个月里,他们在内部进行递归自我改进。公司里发生着各种疯狂的事情。与此同时,我们其他人只能被困在按当前速度落后数年的模型上。
我的想法是这样的。假设全世界都参与到这个阴谋中,试图减缓 AI 的发展。
我不认为这是什么阴谋。每个政客都公开这么写着。
假设他们把 AI 减缓一年。如果算力每年增长 2 到 3 倍,他们阻止了整整一年的 AI 部署,这样你就比原本落后了一年。在 RSI 期间,你在一年内就能获得 3 到 6 年的 AI 进展。
但他们不只是限制算力。他们还限制实验室在内部发布模型的能力。我们看到了这一点。
如果他们那样做,那就太理想了。
Anthropic 曾一度不得不停止向外籍员工提供 Mythos。
我不知道这是否属实,在内部也是如此吗?
那是他们声称的。
我原以为那只是一个不同的 checkpoint,并不是 Mythos,但实际上它基本上就是 Mythos。
但这类事情同样不会被允许。政府是蠢,但至少我希望他们还没蠢到那个地步。政府——至少是手握筹码的美国政府——不会希望 Anthropic 在内部使用 Mythos 4。他们会说:“他妈等等,慢着点。”出于所有这些监管方面的原因。
每个当选的人都会讨厌 AI。就连已经当选的人也讨厌 AI。所有选民都是如此。我敢打赌,到了某个时候你父母会打电话给你说:“Dwarkesh 孩子,你干得太糟糕了。你在让 AI 进步得更快。”
因为我的播客,我在加速 AI 的进展?
也许吧。你在教育人们。也许他们变得更聪明了,就能更快地推进 AI。
总之,AI 的进展、开发和部署都会面临现实世界的约束。尽管它最终会发生,但我们可能在到达那一步之前就先把自己撕裂了。
01:07:52 – 世界未来的劳动力将归属于少数几家公司吗?
这些情景中让我觉得疯狂的一点是,世界上未来劳动力供给的很大一部分最终集中在极少数公司手里,而且这种劳动力供给逐年增长的速度有多快。如果前沿算力以 FLOP 计每年增长 4-5 倍——而且更进一步,达到某一能力水平所需的算力每年下降 3 倍——那么基本上,前沿实验室中有效的 AI 人口规模每年增长 10 倍。这在当下其实没那么重要,因为 AI 还不够好,无法承担完整的工作,也无法像人一样自主地完成工作、策划阴谋之类的。
但如果当前趋势持续下去,你会看到一个世界:OpenAI 从今年基本上拥有比如 1000 万 AI 劳动力,到明年变成 1 亿,再到后年变成 10 亿。很快,即使算力扩展放缓,也用不了多少年,每一家公司单独拥有的劳动力当量就会超过地球上的人口总数。我认为到本十年末,这非常有可能——单个实验室内部的 AI 劳动力、有效人口,比地球上的人还多。
我们经常谈论权力集中,因为国有化之类的缘故。但我们没有充分思考这样一个事实:我们实际上正在非常快速地进入一种格局,就工作产出来说,大多数“人”集中在两家实验室里,而它们正在消耗世界上越来越多的算力。如果这些 AI 没有对齐,那么基本上世界上大多数人就没有对齐,因为世界上大多数心智都在那里。但即使它们是对齐的,也只有极少数公司拥有巨大的影响力或巨大的控制权。
最近有一整场口水战,我记得Gavin Baker当时说:“Dario 相信世界上只会剩下一家公司。”然后Sholto和Dario出来回应说:“不不不,我们没这么说过。”但归根结底,如果你相信 RSI,如果你相信实验室是算力最高效的使用者、能从算力中产生最大价值,那么唯一会发生的事情就是算力的集中化。如果你相信 AI 研究者、RSI、AGI,那么这一切都成立,这一切都是基础。
即使没有 RSI,这一点也成立。在给定能力水平下,前沿的有效人口目前正以每年 10 倍的速度增长。所以如果你达到一个非常称职的远程工作者、或一个非常称职的软件工程师、或一个非常称职的研究者的能力水平,那么在当前的能力增长速度下,这些“人口”正以每年 10 倍的速度增长。
我明白了,而且这还是在没有 RSI 的情况下。一旦有了 RSI,那就更疯狂了。
那时候可能每年增长 100 倍甚至 1000 倍。或者它们的智能在提升但数量没有增加。又或者是两者以某种方式混合,对吧?
Dwarkesh,你能看到哪种世界是一切没有被集中化的?因为在我看来,每一股力量都在尖叫着冲向集中化。而这可怕得要命。
我当然希望它不要完全中心化。但也许这正是一台热爱优雅的机器的全部意义所在,对吧?它无所不能,让我们的生活变得美好。
思考未来实在太难了。但我同意你的看法。我认为根本问题在于,AI 训练具有巨大的规模经济效应,因为你在训练 AI 掌握某项特定技能或某组特定知识上所投入的任何努力,都会被分摊到数十亿次会话或数十亿用户身上。这是其中一个效应。
另一个效应是,如果你在 AI 竞赛中略微领先,而算力又处于短缺状态,你就可以收取高得多的溢价,因为你能更好地节约这一稀缺资源。所以这两个效应都会让 AI 竞赛中的领先者获得越来越多。可能还有更多效应。如果模型能从部署中学习,而一个模型的部署范围远比另一个广泛,它就能获得多得多的真实世界数据。
你的观点我接受——无论是用户部署和持续学习,还是训练和这些规模经济效应,还是最好的 AI 模型帮助你打造下一个最好的 AI 模型这种渐进式进步,即 RSI,所有这些都指向中心化。
我认为,坦率地说,我们应该花些时间思考的重大思想课题之一——至少我会花些时间思考——是:在 AGI 之后,一个去中心化、广泛赋权的未来愿景是什么样的,同时又能认真对待这些规模经济?另一种愿景是政府掌控一切,也许你认为政府更值得信任,因为它不是私营企业。
我不信任政府,我不信任 Dario,我也不信任 Sam。
这就是问题所在,对吧?显然,对未来的判断很容易出错。你可能没有预见到某个关键效应,或者某件改变一切的事情。但事前来看,很难看出我们如何避免这样一种局面:我们不得不在某一个集中化来源之间做出选择。
这就是资本主义之所以奏效的原因,对吧?它是去中心化的决策和去中心化的权力。在某种程度上,这也是为什么超级集中化的资本主义经济体实际上比超级去中心化的资本主义经济体增长得更慢。你必须要有法治以及所有这些。但然后 AI 把这一切彻底颠覆了。最终你会说:“实际上,私有制可能不是最有效率的经济体制,因此它比集中化的 AI 经济体制增长得更慢。”
嗯,它仍然是私有制,但真正参与这部分经济的公司有多少呢?现在大概是经济的 2% 吧?$1 trillion 除以 30。Nvidia 占了很大份额,还有 Anthropic 和 OpenAI 以及这些超大规模云厂商。显然还有其他公司参与其中,但 AI 相关的大部分事情只是由极少数公司在做。所以它可以是私有制,但参与的公司非常少。
我的意思是,这就是市场结构正在发生的事。那么什么能阻止它?我不知道。除非 AI 进展放缓,除非政府往死里监管,否则这一切就是必然发生的。而真要是那样,我们就会走向这样一个世界:要么资源超级集中,我们只能祈祷那一家公司把一切都做对;要么政府让一切慢下来、人们让一切慢下来,进展以某种方式放缓——但愿如此——权力分布也更趋于平衡。
即便我们一路走向 AGI、ASI、RSI,沿途的每一步仍然会导致某些人攫取更多资源。所以很难找到一个框架,能让 AI 不导向超级集中。
现在,这里唯一积极的一点是,今天 Anthropic 并没有攫取大部分价值。我们可以尽情谈论他们如何从每兆瓦 2000 万美元涨到每兆瓦 1 亿美元,但他们为大量买来的算力仍然只付 1300 万美元。但归根结底,他们之所以愿意出到每兆瓦 1 亿美元,是因为 Jane Street 在攫取每兆瓦 3 亿美元或每兆瓦 5 亿美元。或者 Dwarkesh,通过研究他的播客、学习信贷知识,攫取的是每兆瓦多少美元?现在你能用多少?难说。
但我认为这就是唯一的一线希望:经济中的其他部分或许能从 Anthropic 身上获利多得多——
不,但你之前铺陈的整套逻辑——他们把推理重新调配给 AI 研发——这整套逻辑的前提是,AI 实验室内部劳动力的回报远高于外部。
是的。这就是我的自我安慰。我同意。在世界的所有可能情形中……有 80,000 个世界,而其中只有一个世界里,Anthropic 没有拥有整个世界。再说一次,权力会集中,因为我不想把 token 送到外面去。它们在内部更有价值。所以道理是一样的。我为什么要让 Jane Street 从这些堕落的期权交易者身上赚走所有这些钱?
嘿,他们是赞助商,拜托。天哪。
不,我觉得这很棒。让世界拥有一个高效的市场,这对世界来说是很好的价值。Jane Street 通过正确把握世界观赚走所有这些钱,从堕落的期权交易者身上赚钱,不管是什么,Anthropic 为什么要为此分配算力?如果 Jane Street 每兆瓦的最终变现是 $200 million,所以他们愿意付给 Anthropic $100 million……那么,如果 Anthropic 在内部使用这些算力,每兆瓦就能直接产生数亿美元呢?这就是正在发生的事。
在这个沉重的基调上,我想等 RSI 正式启动时,我们会再见面。
你有大概两个月不会让我再上你的播客了?
好的,酷。谢了,兄弟。
来源:Dwarkesh Patel:Podcast & Blog(RSS) · dwarkesh.com