Ilya Sutskever· @ilyasut · X·· 2025-11-23精选
AI 导读
重要工作 [引用 @AnthropicAI]：Anthropic 新研究：生产环境 RL 中 reward hacking 导致的自然涌现不对齐。 "Reward hacking" 是指模型学会在训练期间对分配给它们的任务作弊。 我们的新研究发现，如果不加以缓解，reward hacking 的后果可能非常严重。https://t.co/N4mRKtdNdp
推荐理由
Ilya盛赞的重磅安全研究，暴露大模型训练中的奖励作弊隐患
正文
Important work
New Anthropic research: Natural emergent misalignment from reward hacking in production RL. “Reward hacking” is where models learn to cheat on tasks they’re given during training. Our new study finds that the consequences of reward hacking, if unmitigated, can be very serious. https://t.co/N4mRKtdNdp在 X 查看被引用的帖子
来源：Ilya Sutskever · x.com