大佬观点

作为一名程序员，我从未感到如此落后。这个职业正在被剧烈地重构，程序员所贡献的比特越来越稀疏、零散。我有一种感觉，如果我能把过去大约一年里涌现出来的东西妥善地串联起来，我可能会强大 10 倍，而未能抓住这波提升，感觉分明就是能力问题。有一层新的可编程抽象层需要掌握（除了下面那些惯常的层级之外），涉及智能体、子智能体、它们的提示词、上下文、记忆、模式、权限、工具、插件、技能、钩子、MCP、LSP、斜杠命令、工作流、IDE 集成，并且需要为那些从根本上随机、易错、难以理解且不断变化的实体建立起一个包罗万象的心智模型——这些实体突然与过去那种老派良好的工程实践混杂在一起。显然，某个强大的外星工具被传了一圈，但它没有附带说明书，每个人都得自己摸索怎么拿、怎么操作，而由此引发的 9 级地震正在撼动整个职业。卷起袖子干吧，别掉队。

参与无监督 FSD 测试的随行体验 https://t.co/AsyBHnndj8

Yann在这里完全说错了，他把通用智能和万能智能混为一谈了。 大脑是我们在宇宙中（迄今为止）所知的最精妙、最复杂的现象，而且它们事实上极其通用。 显然，人们无法绕过“没有免费午餐”定理，因此在一个实际且有限的系统中，总得围绕所学习的目标分布存在某种程度的专门化。 但关于通用性的要点在于，从理论上讲，在图灵机的意义上，这样一个通用系统的架构能够在给定足够时间、内存（和数据）的情况下学习任何可计算的东西，而人脑（以及AI基础模型）都是近似的图灵机。 最后，关于Yann对国际象棋棋手的评论，令人惊叹的是人类竟然能首先发明国际象棋（以及现代文明从科学到747飞机的所有其他方面！），更不用说像Magnus这样的人能把它下得如此出色。他可能并非严格意义上的最优（毕竟他的记忆有限，做决定的时间也有限），但考虑到他和我们的大脑是为狩猎采集而进化出来的，我们能用大脑做到的事情实在令人难以置信。

以下是今天伊利亚·苏茨克维播客中最重要的几点： - 超级智能将在5-20年内出现 - 当前的扩展将严重停滞；我们回到了真正的研究 - 超级智能 = 超快速持续学习者，而非完成态的预言机 - 模型的泛化能力比人类差100倍，这是AGI最大的障碍 - 需要全新的机器学习范式（我有想法，现在不能分享） - AI的影响将很猛烈，但只有在经济扩散之后才会显现 - 历史上的突破几乎不需要算力 - SSI拥有足够的专注研究算力来取胜 - 当前的强化学习消耗的算力已经超过预训练

我不断看到关于 TPU 的东西，有什么实质性的新进展吗？ 没有证据表明 Google 曾在非 TPU 硬件上训练过 Gemini，这可以追溯到多年前 GPT 之前的模型，比如 BERT。TPU 比 Nvidia 自己的张量核心还要早。 Anthropic（以及 Character、SSI 和 Midjourney……）长期以来一直在使用 TPU，如果 Meta *没有* 在考虑它们，我会感到惊讶。 Nvidia 的护城河对大型实验室来说从来都不深——看看 OpenAI 决定它可以做得比 CUDA 更好，转而投资 Triton，在基准测试中经常胜过 CUDNN。这一切都没有什么神奇或结构性的东西，只是优秀的工程师在做优秀的工作。 TPU 并不比 GPU 高效多少，而微小的性能/功耗差异与 Meta 是否拥有正确的内核/系统工程人才来做到这一点相比，简直微不足道。Nvidia 和 Google 的护城河都很小，我们仍然处于个别优秀工程师就能扭转整个平衡的阶段。见下面的旧帖。 这难道……没有被定价进去吗？这些都是超级古老的公开信息。

“AGI 和预训练发生的事情是，从某种意义上说，它们超出了目标。 你会意识到，人类并不是 AGI。因为人类缺乏大量知识。相反，我们依赖持续学习。 如果我培养出一个超级聪明的 15 岁少年，他们其实什么都不太懂。一个优秀的学生，非常渴望学习。[你可以说，]‘你去当程序员。你去当医生。去学习吧。’ 所以你可以想象，部署本身会涉及某种学习试错期。这是一个过程，而不是你直接拿出成品。” @ilyasut