我之前说的一点没被传达清楚： - 继续扩展当前的技术会持续带来进步。特别是，它不会停滞。 - 但某些重要的东西仍会继续缺失。 [引用 @haider1]：以下是今天 ilya sutskever 播客的要点： - 5-20 年内实现超级智能 - 当前的扩展将严重停滞；我们回到了真正的研究 - 超级智能 = 超快速的持续学习者，而非完成的预言机 - 模型的泛化能力比人类差 100 倍，这是最大的 AGI 阻碍 - 需要全新的 ML 范式（我有想法，现在不能分享） - AI 影响将很剧烈，但只在经济扩散之后 - 历史上的突破几乎不需要算力 - SSI 有足够的专注研究算力来获胜 - 当前的 RL 已经比预训练消耗更多算力
顶级科学家修正观点：Scaling将持续有效但无法触及AGI核心，亟需范式革命
我提出的一个观点没有传达清楚：
- 扩展当前模式将继续带来改进。具体来说，它不会停滞。
- 但一些重要的东西仍将持续缺失。
以下是今天伊利亚·苏茨克维播客中最重要的几点： - 超级智能将在5-20年内出现 - 当前的扩展将严重停滞；我们回到了真正的研究 - 超级智能 = 超快速持续学习者，而非完成态的预言机 - 模型的泛化能力比人类差100倍，这是AGI最大的障碍 - 需要全新的机器学习范式（我有想法，现在不能分享） - AI的影响将很猛烈，但只有在经济扩散之后才会显现 - 历史上的突破几乎不需要算力 - SSI拥有足够的专注研究算力来取胜 - 当前的强化学习消耗的算力已经超过预训练
原文
here are the most important points from today's ilya sutskever podcast: - superintelligence in 5-20 years - current scaling will stall hard; we're back to real research - superintelligence = super-fast continual learner, not finished oracle - models generalize 100x worse than humans, the biggest AGI blocker - need completely new ML paradigm (i have ideas, can't share rn) - AI impact will hit hard, but only after economic diffusion - breakthroughs historically needed almost no compute - SSI has enough focused research compute to win - current RL already eats more compute than pre-training
来源：Ilya Sutskever · x.com